Analiza 14 kluczowych benchmarków do oceny LLM: mechanika i ograniczenia
Claude Opus 4.5 osiąga 80,6% na SWE-bench Verified, GPT-5.2 — 80,0%, a Gemini 3 Pro — 76,2%. Te wyniki nie odzwierciedlają uniwersalnej biegłości w programowaniu, lecz zdolność rozwiązywania konkretnych zadań w publicznych repozytoriach Pythona. Przegląd 14 popularnych benchmarków ujawnia ich zakres, metodologię testowania oraz słabe strony — szczególnie dla programistów średnio- i starszego szczebla oceniających modele.
SWE-bench Verified: naprawa błędów w znanym kodzie
Benchmark sprawdza zdolność do korygowania drobnych błędów w 12 projektach open source w Pythonie, np. Django. Spośród 2294 oryginalnych zadań wybrano 500 zweryfikowanych ręcznie po krytyce OpenAI dotyczącej niejednoznaczności.
Proces testowania:
- Testy uruchamiane są w środowisku Docker, aby potwierdzić wystąpienie błędu.
- Modele otrzymują opis problemu (issue), kontekst repozytorium i generują poprawkę (diff) w jednym przebiegu.
- Poprawka jest stosowana, a testy sprawdzane pod kątem powodzenia — bez niszczenia podstawowego zestawu testów.
Przykład z Django (ID django__django-16485):
from decimal import Decimal
from django.template.defaultfilters import floatformat
floatformat('0.00', 0)
floatformat(Decimal('0.00'), 0)Oba wywołania powodują ValueError: valid range for prec is [1, MAX_PREC]. Wynik to procent zadań, przy których testy przechodzą po poprawce.
Krytyka: 161 zadań rozwiązuje się w 1–2 liniach kodu; dane pochodzą z publicznych repozytoriów, które prawdopodobnie trafiły do zbioru treningowego. Alternatywy: SWE-bench Multilingual i prywatny SWE-bench Pro.
Terminal-Bench 2.0: praca w terminalu Linuxa
Testuje 89 zadań w terminalu — od transkrypcji wideo po kompilację jądra systemu. Opracowany ręcznie przez Laude Institute i Stanford z testami pytest.
Kluczowe cechy:
- Środowisko testowe budowane za pomocą Dockerfile i tmux przez framework Terminus-2.
- Modele mają dostęp do internetu, ale autorzy nie monitorowali możliwych wycieków danych.
Przykład: Transkrybuj wideo Zork i zapisz sekwencję akcji w /app/solution.txt jako n lub get bag.
Liderzy: GPT-5.2 (64,9%), Claude Opus 4.5 (63,1%). Krytyka minimalna ze względu na nowość; benchmark szczególnie przydatny przy zadaniach devopsowych.
τ² (tau-bench): symulacja obsługi klienta
Skupia się na rzeczywistych czatach live w branżach retail, lotniczej i telekomunikacyjnej. Sierra Research wygenerowała schematy baz danych i narzędzia, które zostały zweryfikowane przez ludzi.
Metryka pass^k: Sukces w k kolejnych, niezależnych próbach (do pass^4).
- Agent i użytkownik są obsługiwani przez jedną LLM.
- Dostęp do narzędzi (tool-calling): wyszukiwanie użytkowników, sprawdzanie rezerwacji itp.
Przykład z branży lotniczej: Skarga złotego klienta Mei Brown (ID mei_brown_7075) na opóźnienie lotu HAT045 z PHX do SEA. Ocena opiera się na wywołaniu get_user_details oraz ocenie przez LLM-judge.
Krytyka: uproszczone schematy baz danych; luki w promptach; OpenAI wykluczyła domenę lotniczą z powodu braku wiarygodnego ground truth.
MCP Atlas: wieloetapowe wywoływanie narzędzi
Scale AI: 1000 zapytań wymagających użycia kilku narzędzi MCP (np. Open Library, arXiv). 500 zadań publicznych, 500 prywatnych.
Ocena: ponad 75% odpowiedzi uznano za poprawne (ocena przez LLM-judge; częściowy punkt — 0,5).
Przykład: Najstarsza książka o wulkanach + data rejestracji domeny z okładkami.
Krytyka: arbitralny próg 75%; dostęp tylko do narzędzi typu read-only; pytania o obiektywność Scale AI.
OSWorld: automatyzacja interfejsu graficznego przez pyautogui
369 zadań w aplikacjach desktopowych (Ubuntu/Windows). 30% dotyczy wielu aplikacji, 30 zadań uznano za nierozwiązywalne.
Testowanie: Maszyna wirtualna z zrzutami ekranu, sterowanie klawiaturą i myszą przez pyautogui. Ocena oparta na końcowym stanie systemu.
Przykład w VSCode: Włącz zawijanie linii (soft wrap) po 50 znakach.
Krytyka: uszkodzone zadania z Chrome; obejście przez sed zamiast interfejsu GUI.
ARC-AGI: test podstawowej inteligencji
Wizualne łamigłówki oparte na podstawowej wiedzy (siatki pikseli). ARC-AGI 2 (2025): 1360 zadań, odporność na brute-force.
Lider: GPT-5.2 (54,2%). Różni się od benchmarków opartych na umiejętnościach silnym naciskiem na generalizację.
| Benchmark | Najlepszy model | % | Zakres |
|----------|----------------|----|--------|
| SWE-bench Verified | Claude Opus 4.5 | 80,6 | Naprawa błędów w Pythonie |
| Terminal-Bench 2.0 | GPT-5.2 | 64,9 | Shell Linuxa |
| τ² | GPT-5.2 | 90,4 | Wywoływanie narzędzi w czacie |
| MCP Atlas | Claude Opus 4.5 | 62,3 | Zapytania wielonarzędziowe |
| OSWorld | Claude Opus 4.5 | 66,2 | Automatyzacja GUI |
| ARC-AGI | GPT-5.2 | 54,2 | Rozumowanie wizualne |
Kluczowe wnioski
- SWE-bench Verified utracił aktualność z powodu „zanieczyszczenia” danymi publicznymi — czekamy na SWE-bench Pro.
- Terminal-Bench 2.0 najlepiej oddaje rzeczywiste zadania developerskie związane z shell-em.
- τ² i MCP Atlas podkreślają znaczenie tool-calling, ale cierpią na niedoskonałości oceny przez LLM-judge i uproszczenia.
- OSWorld i ARC-AGI testują zupełnie nowe scenariusze: automatyzację GUI i podstawowe rozumowanie.
- Wybór benchmarku zależy od konkretnego przypadku użycia — warto łączyć je z własnymi, prywatnymi testami.
Artykuł omawia pozostałe benchmarki w podobny sposób: GPQA, MMLU-Pro i inne — z naciskiem na mechanikę testowania przy ocenie LLM w środowisku produkcyjnym.
— Editorial Team
Brak komentarzy.