Velké jazykové modely: základy a praxe

# Základy velkých jazykových modelů: od základních pojmů k praxi

Jazykový model vyhodnocuje pravděpodobnost následujícího tokenu podle kontextu: P(w_t | w_1, ..., w_{t-1}). To je základní princip všech moderních systémů, včetně LLM.

Rozvoj prošel třemi etapami:

• Statistické n-gramy: počítání frekvencí sekvencí z 2–3 slov. Rychlé, ale ignorují vzdálený kontext a sémantiku.
• Vektorové embeddingy (word2vec, GloVe): slova jako body v mnohovyměrném prostoru, kde vzdálenost odráží sémantickou blízkost.
• Transformery: mechanismus attention umožňuje zohlednit vazby mezi vzdálenými tokeny a zajišťuje hluboké porozumění textu.

Transformery tvoří základ LLM schopných generovat koherentní text.

Měřítko velkých jazykových modelů

LLM se liší objemem: stovky miliard tokenů v trénovacích datech, parametry od 7B do 175B. Parametry jsou váhy neuronové sítě, které fixují statistické vzory jazyka.

Modely 7B–14B lze spustit lokálně v kvantovaném formátu na GPU. Větší vyžadují klastry. Při měřítku LLM zachycují nejen lingvistiku, ale i zakódovaná znalosti z textů – od faktů po logiku. Jedná se o foundation models pro chat-boty, analýzu a generování.

Instrukční a dialogové LLM

Základní LLM predikují tokeny, ale ne vždy následují úkoly. Instruct-modely se doladňují na párech „instrukce–odpověď“ s RLHF: lidské hodnocení formuje preference pro zdvořilost a konzistentnost.

Výsledek: dialogové systémy jako ChatGPT, Claude, Gemini. Ty upřesňují požadavky, strukturovaně odpovídají a vysvětlují uvažování.

Tokenizace a kontextové okno

LLM pracují s tokeny – subslovními jednotkami (slova, morfémy, znaky). Tokenizátor vytváří slovník na korpusu a slučuje časté sekvence.

Proces:

• Text → tokeny.
• Tokeny → embeddingy.
• Vstup do modelu.

Kontextové okno (context window) – limit tokenů (např. 128k). Cena API a generování se počítají podle tokenů. Délka ve slovech ≠ počet tokenů.

Klíčové parametry generování

• Temperature: ovládá náhodnost. Nízká (0.1–0.3) – deterministické odpovědi. Vysoká (0.8+) – kreativita, ale riziko halucinací.
• Max tokens: limit výstupu, zabraňuje nekonečné generaci.

Parametry se ladí pro úkoly: stabilita v produkci, rozmanitost v brainstorming.

Multimodalita v LLM

Multimodální modely integrují text, obrázky, audio, video. Tokeny různých modalit se projektují do společného prostoru.

Příklady: GPT-4o, Gemini, Claude 3. Možnosti:

• Popis obrázků.
• Analýza grafů/tabulek.
• Odpovědi na vizuální požadavky.

To rozšiřuje LLM na univerzální systémy.

Praxe: spuštění Qwen v Google Colab

Pro experimenty použijte otevřené modely. Qwen2.5-3B-Instruct – textová, Qwen2.5-VL-3B-Instruct – multimodální. Kvalita nižší než u proprietárních, ale dostatečná pro prototypy.

Textová model

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import textwrap

model_name = "Qwen/Qwen2.5-3B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

prompt = "Explain prostymi slovami, that takoe bolshaya yazykovaya model."

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=150,
    temperature=0.7
)

generated_tokens = outputs[0][inputs["input_ids"].shape[-1]:]
answer = tokenizer.decode(generated_tokens, skip_special_tokens=True)
print()
print(textwrap.fill(answer.strip(), width=80))

Výstup demonstruje koherentní vysvětlení navzdory 3B parametrům.

Multimodální model

Analogicky načtěte Qwen2.5-VL-3B-Instruct a předejte obrázky jako vstup.

Co je důležité

• LLM se vyvinuly od n-gramů k transformerům s attention.
• Měřítko (parametry, data) dává emergent abilities a znalosti.
• Instruct + RLHF zajišťují následování úkolů.
• Tokeny určují limity: context window, cena.
• Multimodalita spojuje modality do jediného prostoru.

— Editorial Team