Große Sprachmodelle: Grundlagen und Praxis

Grundlagen großer Sprachmodelle: Von den Grundlagen zur Praxis

Ein Sprachmodell schätzt die Wahrscheinlichkeit des nächsten Tokens gegeben den Kontext: P(w_t | w_1, ..., w_{t-1}). Dies ist das Kernprinzip aller modernen Systeme, einschließlich LLMs.

Die Entwicklung durchlief drei Phasen:

• Statistische n-Gramme: Zählung der Häufigkeiten von 2–3-Wort-Sequenzen. Schnell, aber sie ignorieren langreichweitigen Kontext und Semantik.
• Vektorembeddings (word2vec, GloVe): Wörter als Punkte in einem mehrdimensionalen Raum, wobei der Abstand semantische Ähnlichkeit widerspiegelt.
• Transformers: Der Attention-Mechanismus ermöglicht die Berücksichtigung von Verbindungen zwischen entfernten Tokens und damit ein tiefes Textverständnis.

Transformers bilden die Basis für LLMs, die kohärenten Text generieren können.

Größe großer Sprachmodelle

LLMs unterscheiden sich in ihrer Größe: Hunderte Milliarden Tokens in den Trainingsdaten, Parameter von 7B bis 175B. Parameter sind die Gewichte des neuronalen Netzes, die statistische Sprachmuster erfassen.

Modelle mit 7B–14B können lokal in quantisierter Form auf einer GPU laufen. Größere erfordern Cluster. In großem Maßstab erfassen LLMs nicht nur Linguistik, sondern auch kodiertes Wissen aus Texten – von Fakten bis Logik. Dies sind Foundation Models für Chatbots, Analysen und Generierung.

Instruct- und konversationelle LLMs

Basis-LLMs prognostizieren Tokens, folgen aber nicht immer Aufgaben. Instruct-Modelle werden auf Anweisungs-Antwort-Paaren mit RLHF feinjustiert: Menschliche Bewertungen formen Vorlieben für Höflichkeit und Konsistenz.

Ergebnis: konversationelle Systeme wie ChatGPT, Claude, Gemini. Sie klären Anfragen, strukturieren Antworten und erklären das Denken.

Tokenisierung und Kontextfenster

LLMs arbeiten mit Tokens – Subwort-Einheiten (Wörter, Morpheme, Satzzeichen). Der Tokenizer erstellt ein Vokabular aus dem Korpus, indem er häufige Sequenzen mergt.

Prozess:

• Text → Tokens.
• Tokens → Embeddings.
• Eingabe ins Modell.

Kontextfenster – Token-Limit (z. B. 128k). API-Kosten und Generierung werden nach Tokens abgerechnet. Wortlänge ≠ Tokens.

Wichtige Generierungsparameter

• Temperature: steuert die Zufälligkeit. Niedrig (0.1–0.3) – deterministische Antworten. Hoch (0.8+) – Kreativität, aber Risiko von Halluzinationen.
• Max tokens: Ausgabelimit, verhindert unendliche Generierung.

Parameter werden für Aufgaben abgestimmt: Stabilität in der Produktion, Vielfalt beim Brainstorming.

Multimodalität in LLMs

Multimodale Modelle integrieren Text, Bilder, Audio, Video. Tokens aus verschiedenen Modalitäten werden in einen gemeinsamen Raum projiziert.

Beispiele: GPT-4o, Gemini, Claude 3. Fähigkeiten:

• Bildbeschreibungen.
• Diagramm-/Tabellenanalysen.
• Antworten auf visuelle Anfragen.

Dies erweitert LLMs zu universellen Systemen.

Praxis: Qwen in Google Colab ausführen

Für Experimente offene Modelle nutzen. Qwen2.5-3B-Instruct – nur Text, Qwen2.5-VL-3B-Instruct – multimodal. Die Qualität ist niedriger als bei proprietären, aber ausreichend für Prototypen.

Textmodell

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import textwrap

model_name = "Qwen/Qwen2.5-3B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

prompt = "Explain prostymi slovami, that takoe bolshaya yazykovaya model."

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=150,
    temperature=0.7
)

generated_tokens = outputs[0][inputs["input_ids"].shape[-1]:]
answer = tokenizer.decode(generated_tokens, skip_special_tokens=True)
print()
print(textwrap.fill(answer.strip(), width=80))

Die Ausgabe demonstriert eine kohärente Erklärung trotz nur 3B Parametern.

Multimodales Modell

Ähnlich Qwen2.5-VL-3B-Instruct laden und Bilder als Eingabe übergeben.

Wichtige Erkenntnisse

• LLMs entwickelten sich von n-Grammen zu Transformern mit Attention.
• Größe (Parameter, Daten) führt zu emergentem Verhalten und Wissen.
• Instruct + RLHF sorgen für Aufgabentreue.
• Tokens definieren Limits: Kontextfenster, Kosten.
• Multimodalität vereint Modalitäten in einem Raum.

— Editorial Team