Comment fonctionnent les LLM, partie 3 : l'attention, requêtes, clés et valeurs

L'attention est l'idée maîtresse sur laquelle repose chaque grand modèle de langage. Elle permet à chaque token d'observer tous les autres tokens du texte et de déterminer lesquels comptent pour en comprendre le sens. Voici la troisième partie de notre série sur le fonctionnement des LLM. Vous y découvrirez pourquoi l'attention a remplacé la lecture mot à mot, comment elle résout le sens dans une phrase réelle, ainsi que les calculs exacts des requêtes, clés et valeurs, sans omettre d'étape.