Wie LLMs funktionieren, Teil 5: Pretraining und Skalierungsgesetze

Die mathematischen Grundlagen und die Architektur bilden nur das Fundament. Wirklich intelligent wird ein Modell erst, indem es gewaltige Textmengen liest und lernt, was als Nächstes folgt. Diese Phase nennt man Pretraining (Vortraining). Dies ist Teil 5 unserer Reihe zur Funktionsweise von LLMs. Sie erfahren, wie aus Rohtext Trainingsbeispiele entstehen, was ein Trainingsschritt und eine Epoche bedeuten, woher die Daten stammen und wie sie bereinigt werden, und warum größere Modelle mit mehr Trainingsdaten kontinuierlich besser werden.