Comment fonctionnent les LLM, partie 7 : RLHF, PPO, GRPO, DPO et raisonnement

L'ajustement fin apprend à un modèle à reproduire de bonnes réponses. L'apprentissage par renforcement lui apprend lesquelles sont réellement supérieures, et c'est ce qui a rendu possibles des modèles de raisonnement comme o1 et DeepSeek-R1. Voici l'ultime partie de notre série sur le fonctionnement des LLM. Vous y découvrirez le fonctionnement de l'apprentissage par renforcement, la manière dont le RLHF aligne un modèle avec les attentes humaines, les spécificités des trois grands algorithmes (PPO, GRPO et DPO), et pourquoi le raisonnement constitue aujourd'hui le principal levier de…