Analýza 14 klíčových benchmarků pro hodnocení LLM: jak fungují a kde mají limity
Claude Opus 4.5 dosahuje 80,6 % na SWE-bench Verified, GPT-5.2 80,0 % a Gemini 3 Pro 76,2 %. Tyto čísla neodrazují univerzální programátorskou zdatnost, ale schopnost řešit konkrétní úkoly v populárních open-source Pythonových repozitářích. Detailní rozbor 14 nejpoužívanějších benchmarků odhaluje jejich zaměření, metodiku testování i slabiny — především pro middle a senior vývojáře, kteří hodnotí jazykové modely pro reálné nasazení.
SWE-bench Verified: oprava chyb v známém kódu
Benchmark testuje opravu drobných chyb v 12 open-source Pythonových projektech, například v Django. Z původních 2294 úkolů bylo ručně ověřeno 500 úloh po kritice OpenAI kvůli nejednoznačnosti formulací.
Postup testování:
- Testy se spouštějí v Dockeru, aby se potvrdilo selhání před opravou.
- Model dostane popis chyby (issue), kontext repozitáře a vygeneruje diff jediným průchodem.
- Diff se aplikuje a testy se znovu spustí – úspěch vyžaduje, aby všechny testy prošly a základní testovací sada zůstala neporušená.
Příklad z Django (ID django__django-16485):
from decimal import Decimal
from django.template.defaultfilters import floatformat
floatformat('0.00', 0)
floatformat(Decimal('0.00'), 0)Oba volání vyvolají ValueError: valid range for prec is [1, MAX_PREC]. Výsledkem je procento úloh, u nichž po opravě projdou všechny testy.
Kritika: 161 úloh lze vyřešit 1–2 řádky kódu; data pocházejí z veřejných repozitářů, které jsou s velkou pravděpodobností součástí trénovacího datasetu modelů. Alternativy: SWE-bench Multilingual a soukromý SWE-bench Pro.
Terminal-Bench 2.0: práce v Linuxovém terminálu
Testuje 89 úloh v terminálovém prostředí – od transkripce videa po kompilaci jádra Linuxu. Benchmark vytvořily Laude Institute a Stanford ručně, každý úkol má integrované pytest testy.
Klíčové vlastnosti:
- Izolované prostředí pomocí Dockerfile a tmux přes framework Terminus-2.
- Modely mají přístup k internetu, avšak autoři nekontrolovali možné úniky informací přes síť.
Příklad: Transkribovat video Zork a uložit postup řešení do /app/solution.txt jako posloupnost příkazů typu n nebo get bag.
Lídři: GPT-5.2 (64,9 %), Claude Opus 4.5 (63,1 %). Kritika je minimální díky novosti benchmarku; výsledky jsou přímo relevantní pro devops a systémové úlohy.
τ² (tau-bench): simulace služby zákaznické podpory
Zaměřeno na živé chaty v oblastech retailu, letecké dopravy a telekomunikací. Sierra Research vygenerovala realistické schémata databází a nástroje, které následně ověřili lidé.
Metrika pass^k: Úspěch v k po sobě jdoucích úspěšných pokusech (maximálně pass^4).
- Agent i uživatel jsou simulováni jedním LLM.
- Model má přístup k tool-calling: vyhledávání uživatelů, rezervací apod.
Příklad z leteckého domény: Stížnost Gold-zákaznice Mei Brown (ID mei_brown_7075) na zpoždění letu HAT045 z PHX do SEA. Hodnocení probíhá na základě volání get_user_details a následného rozhodnutí LLM-„soudce“.
Kritika: zjednodušená schémata databází; potenciální „dveře zadním vchodem“ v promptech; OpenAI vyloučil letecký doménu kvůli nedostatečné kvalitě referenčních odpovědí (ground truth).
MCP Atlas: vícekrokové volání nástrojů
Scale AI: 1000 dotazů vyžadujících kombinaci několika MCP-nástrojů (Open Library, arXiv atd.). Polovina úloh je veřejná, polovina soukromá.
Hodnocení: >75 % tvrzení je správných (posuzuje LLM-„soudce“, částečné body 0,5 za částečně správné odpovědi).
Příklad: Jaká je nejstarší kniha o vulkánech a kdy byla zaregistrována doména pro její obálky?
Kritika: libovolně stanovený práh 75 %; pouze read-only nástroje (žádné změny dat); otázky ohledně neutrality Scale AI jako tvůrce benchmarku.
OSWorld: automatizace GUI pomocí pyautogui
369 úloh v desktopových aplikacích (Ubuntu/Windows). 30 % vyžaduje práci s více aplikacemi, 30 úloh je teoreticky neřešitelných.
Testování: Virtuální stroj s pravidelnými screenshoty, ovládání klávesnice a myši přes pyautogui. Hodnocení je založeno na konečném stavu systému.
Příklad v VS Code: Nastavit soft wrap na 50 znaků.
Kritika: některé úlohy s Chrome jsou nefunkční; možnost obejít GUI pomocí příkazu sed, což zkresluje výsledky.
ARC-AGI: test základní inteligence
Vizuální hádanky založené na elementárních znalostech (např. mřížky pixelů). ARC-AGI 2 (2025): 1360 úloh, navržených tak, aby bránily hrubé síle (anti-brute-force).
Lídři: GPT-5.2 (54,2 %). Liší se od skill-based benchmarků tím, že se zaměřuje na schopnost zobecnění (generalization), nikoli na osvojení konkrétních dovedností.
| Benchmark | Nejlepší model | % | Zaměření |
|-----------|----------------|----|----------|
| SWE-bench Verified | Claude Opus 4.5 | 80,6 | Oprava chyb v Pythonu |
| Terminal-Bench 2.0 | GPT-5.2 | 64,9 | Práce v Linuxovém shellu |
| τ² | GPT-5.2 | 90,4 | Volání nástrojů v chatu |
| MCP Atlas | Claude Opus 4.5 | 62,3 | Dotazy vyžadující více nástrojů |
| OSWorld | Claude Opus 4.5 | 66,2 | Automatizace GUI |
| ARC-AGI | GPT-5.2 | 54,2 | Vizuální úsudek |
Co je důležité
- SWE-bench Verified je zastaralý kvůli tzv. contamination – veřejná data pravděpodobně obsahují trénovací data modelů; čekáme na SWE-bench Pro.
- Terminal-Bench 2.0 nejlépe odráží reálné vývojářské úkoly v terminálu.
- τ² a MCP Atlas zdůrazňují důležitost tool-calling, ale trpí závislostí na LLM-„soudcích“ a zjednodušením scénářů.
- OSWorld a ARC-AGI testují nové scénáře: automatizaci GUI a základní úsudek bez předchozího tréninku.
- Výběr benchmarku musí odpovídat konkrétnímu use case – doporučujeme kombinovat veřejné benchmarky s vlastními interními testy.
Článek dále podrobně rozebírá zbývající benchmarky stejným způsobem: GPQA, MMLU-Pro atd., s důrazem na praktickou metodiku pro produkční hodnocení LLM v softwarových týmech.
— Editorial Team
Zatím žádné komentáře.