Mini-LLM - Modèle de Langage Transformer en Rust

Le Défi

Comprendre en profondeur le fonctionnement interne des grands modèles de langage en reconstruisant un Transformer de type GPT depuis zéro, sans s'appuyer sur l'écosystème Python habituel. L'enjeu était de réimplémenter chaque brique mathématique (attention multi-têtes, connexions résiduelles, normalisation de couche, calcul de loss et rétropropagation) dans un langage système typé statiquement, tout en gardant le code lisible et pédagogique plutôt que sur-optimisé.

La Solution

Implémentation complète en Rust avec Candle, le framework ML de Hugging Face, structurée en modules clairs, le tokenizer (caractère), le modèle (architecture Transformer) et la boucle d'entraînement. Chaque composant (embeddings de tokens et de position, blocs d'attention, FFN, tête de sortie) est écrit explicitement et commenté. La génération de texte est autorégressive avec échantillonnage contrôlé par température. Le tout compile en un binaire unique offrant une CLI pour entraîner et générer, avec un support GPU optionnel (CUDA / Metal).

Résultats