Comment fonctionnent les LLM, partie 4 : le transformer, bloc par bloc

Le transformer est l'architecture au cœur de ChatGPT, Claude, Gemini, Llama et de presque tous les autres modèles de langage. Voici la quatrième partie de notre série sur le fonctionnement des LLM. Vous y découvrirez la structure de 2017 bloc par bloc (encodeur, décodeur, plongements, positions, connexions résiduelles, normalisation et masques), puis les trois variantes majeures aujourd'hui : les modèles décodeur seul, les mélanges d'experts (MoE) et les modèles multimodaux.