Podstawy dużych modeli językowych: od podstawowych pojęć do praktyki
Model językowy ocenia prawdopodobieństwo następnego tokena na podstawie kontekstu: P(w_t | w_1, ..., w_{t-1}). Jest to podstawowa zasada wszystkich współczesnych systemów, w tym LLM.
Rozwój przeszedł trzy etapy:
- Statystyczne n-gramy: liczenie częstotliwości sekwencji z 2–3 słów. Szybkie, ale ignorują odległy kontekst i semantykę.
- Wektorowe osadzenia (word2vec, GloVe): słowa jako punkty w wielowymiarowej przestrzeni, gdzie odległość odzwierciedla semantyczną bliskość.
- Transformery: mechanizm attention pozwala uwzględniać powiązania między odległymi tokenami, zapewniając głębokie zrozumienie tekstu.
Transformery stały się podstawą LLM zdolnych do generowania spójnego tekstu.
Skala dużych modeli językowych
LLM wyróżniają się objętością: setki miliardów tokenów w danych treningowych, parametry od 7B do 175B. Parametry to wagi sieci neuronowej, utrwalające statystyczne wzorce języka.
Modele 7B–14B uruchamiają się lokalnie w formie skwantowanej na GPU. Większe wymagają klastrów. Wraz ze skalą LLM obejmują nie tylko lingwistykę, ale i zakodowane w tekstach wiedzę — od faktów po logikę. Są to foundation models dla chatbotów, analityki i generowania.
Instrukcyjne i dialogowe LLM
Podstawowe LLM przewidują tokeny, ale nie zawsze realizują zadania. Modele instruct dopełniają trening na parach „instrukcja–odpowiedź” z RLHF: ludzkie oceny kształtują preferencje co do uprzejmości i spójności.
Rezultat: systemy dialogowe jak ChatGPT, Claude, Gemini. One doprecyzowują zapytania, strukturyzują odpowiedzi, wyjaśniają rozumowanie.
Tokenizacja i okno kontekstowe
LLM pracują z tokenami — podjednostkami podsłowia (słowa, morfemy, znaki). Tokenizator buduje słownik na korpusie, łącząc częste sekwencje.
Proces:
- Tekst → tokeny.
- Tokeny → osadzenia.
- Wejście do modelu.
Okno kontekstowe (context window) — limit tokenów (np. 128k). Koszt API i generacja liczone są po tokenach. Długość w słowach ≠ liczba tokenów.
Kluczowe parametry generacji
- Temperature: kontroluje losowość. Niska (0.1–0.3) — deterministyczne odpowiedzi. Wysoka (0.8+) — kreatywność, ale ryzyko halucynacji.
- Max tokens: limit wyjścia, zapobiega nieskończonej generacji.
Parametry dostosowuje się do zadań: stabilność w produkcji, różnorodność w burzy mózgów.
Multimodalność w LLM
Modele multimodalne integrują tekst, obrazy, audio, wideo. Tokeny różnych modalności projekowane są do wspólnej przestrzeni.
Przykłady: GPT-4o, Gemini, Claude 3. Możliwości:
- Opis obrazów.
- Analiza wykresów/tabel.
- Odpowiedzi na zapytania wizualne.
To rozszerza LLM do uniwersalnych systemów.
Praktyka: uruchomienie Qwen w Google Colab
Do eksperymentów używaj otwartych modeli. Qwen2.5-3B-Instruct — tekstowa, Qwen2.5-VL-3B-Instruct — multimodalna. Jakość niższa niż proprietaryjnych, ale wystarczająca dla prototypów.
Model tekstowy
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import textwrap
model_name = "Qwen/Qwen2.5-3B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.float16,
device_map="auto"
)
prompt = "Explain prostymi slovami, that takoe bolshaya yazykovaya model."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=150,
temperature=0.7
)
generated_tokens = outputs[0][inputs["input_ids"].shape[-1]:]
answer = tokenizer.decode(generated_tokens, skip_special_tokens=True)
print()
print(textwrap.fill(answer.strip(), width=80))Wyjście pokazuje spójne wyjaśnienie mimo zaledwie 3B parametrów.
Model multimodalny
Podobnie ładuj Qwen2.5-VL-3B-Instruct, przekazuj obrazy jako wejście.
Co ważne
- LLM ewoluowały od n-gramów do transformerów z attention.
- Skala (parametry, dane) daje emergent abilities i wiedzę.
- Instruct + RLHF zapewniają realizację zadań.
- Tokeny określają limity: context window, koszt.
- Multimodalność łączy modalności w jednolitą przestrzeń.
— Editorial Team
Brak komentarzy.