Wie LLMs funktionieren, Teil 7: RLHF, PPO, GRPO, DPO und Reasoning

Fine-Tuning bringt einem Modell bei, gute Antworten zu imitieren. Reinforcement Learning lehrt es, welche Antworten tatsächlich besser sind, und bildet die Grundlage für moderne Reasoning-Modelle wie o1 und DeepSeek-R1. Dies ist der abschließende Teil unserer Reihe zur Funktionsweise von LLMs. Sie erfahren, wie Reinforcement Learning funktioniert, wie RLHF ein Modell an menschliche Wünsche anpasst, worin sich PPO, GRPO und DPO unterscheiden und warum Reasoning heute der wichtigste Hebel für klügere Modelle ist.