Comment fonctionnent les LLM, partie 5 : pré-entraînement et lois d'échelle

Les mathématiques et l'architecture ne forment que les fondations. Un modèle ne devient intelligent qu'en lisant une quantité gigantesque de texte et en apprenant à prédire ce qui suit. Cette étape s'appelle le pré-entraînement. Voici la cinquième partie de notre série sur le fonctionnement des LLM. Vous y découvrirez comment du texte brut se transforme en exemples d'entraînement, ce que représentent un pas d'apprentissage et une époque, d'où proviennent les données et comment elles sont nettoyées, et pourquoi les modèles plus grands entraînés sur plus de données continuent de progresser.