Wie LLMs funktionieren, Teil 3: Attention, Queries, Keys und Values

Attention (Aufmerksamkeit) ist der zentrale Gedanke, auf dem jedes große Sprachmodell aufbaut. Der Mechanismus erlaubt es jedem Token, alle anderen Tokens im Text zu betrachten und zu entscheiden, welche für das Verständnis entscheidend sind. Dies ist Teil 3 unserer Reihe zur Funktionsweise von LLMs. Sie erfahren, warum Attention das sequentielle Lesen abgelöst hat, wie Bedeutung in echten Sätzen aufgelöst wird und wie die genaue Mathematik von Queries, Keys und Values funktioniert, ohne Schritte zu überspringen.