DeepMind přehodnocuje dimenzi umělé inteligence: kognitivní taxonomie místo benchmarků
DeepMind nepředstavila pouze nový test na cestě k AGI — navrhla zásadní posun v paradigmatu hodnocení umělé inteligence. Místo jednotného skóre nebo průměrného výsledku v MMLU tým nabízí desetidimenzionální kognitivní taxonomii založenou na empiricky ověřených schopnostech lidského rozumu. Nejde o nástroj pro marketingová vyjádření, ale o technický protokol pro střední a vyšší vývojáře a výzkumníky, který umožňuje diagnostikovat systémové slabiny modelů — i když jejich celkový percentil vypadá působivě.
Proč současné benchmarky nefungují pro AGI
Stávající hodnotící sady dat (MMLU, HumanEval, GPQA) trpí dvěma závažnými nedostatky, které je činí nepoužitelnými pro měření pokroku směrem k AGI:
- Znečištění učících se dat — modely se opakovaně setkávají s odpověďmi na tyto testy ještě před inferencí. Výsledek je vysoké skóre za zapamatování, nikoli za porozumění. Model řeší „co“, ale ne „proč“ ani „jak se adaptovat na změněné podmínky“.
- Nerozlišení mezi modelem a systémem — při testování ChatGPT nebo Claude hodnotíme nejen jazykovou model, ale i externí komponenty: systémový prompt, interpretátor kódu, webové vyhledávání, řetězec úvah (CoT). Současné benchmarky nerozlišují, kde končí model a začíná jeho okolí.
To vedlo k klamné jistotě: systém dosahuje 89 % na MATH, ale selže v základní úloze přepnutí strategie při vícestupňovém plánování — protože exekutivní funkce nejsou testovány samostatně.
Deset kognitivních schopností: od vnímání po sociální poznání
Taxonomie vychází z rozdělení obecné inteligence na deset vzájemně nezávislých schopností. Osm je základních, dvě jsou složené (nelze je redukovat na součet základních).
Základní schopnosti:
- Vnímání — zpracování senzorických signálů. U LLM to není vidění, ale tokenizace jako alternativní kanál přístupu k jazyku. Rozdíl je zásadní: člověk vidí objekt, model dostává jeho popis.
- Generace — výroba výstupů (text, kód, akce) a interních úvah. CoT zde není hack, ale projev generativní schopnosti oddělené od logického dedukce.
- Pozornost — řízení fokusu v dynamickém kontextu. Nejde o mechanismus pozornosti v transforméru, ale o kognitivní schopnost vyvažovat koncentraci a citlivost na nové stimuly.
- Učení — trvalá změna chování díky zkušenostem. Kontextové učení (in-context learning) se v tomto smyslu nepočítá jako učení: znalosti se neuchovávají mimo danou seanci.
- Paměť — čtyři typy: deklarativní (znalosti), epizodická (události), procedurální (dovednosti), prospektivní (úmysly). Zapomínání je zahrnuto jako užitečná funkce — moderní modely neumí selektivně odstraňovat zastaralé parametry.
- Úvaha — dedukce, indukce, abdukce, analogie, matematické myšlení. Automatické porovnávání vzorců je vyloučeno: hádání podle formálních znaků otázky není úvaha.
- Metakognice — monitorování vlastní jistoty, detekce chyb, korekce strategií. Hlavní propast mezi lidmi a AI: modely nevědí, co nevědí.
- Exekutivní funkce — stanovování cílů, plánování, brzdění impulsů, kognitivní flexibilita, pracovní paměť. Právě zde se agenty nejčastěji zadrhávají při přepínání mezi podúkoly.
Složené schopnosti:
- Řešení problémů — orchestrace vnímání, úvahy, plánování a učení. Selhání v jakékoli základní schopnosti kaskádovitě naruší řešení.
- Sociální poznání — modelování přesvědčení a úmyslů druhých, kooperace, vyjednávání, přesvědčování a dokonce i podvod. Podvod je zahrnut ne jako etická hrozba, ale jako diagnostický marker hloubky sociálního poznání.
Protokol měření: tři fáze a radarová diagrama
Klasifikace bez měření je akademická abstrakce. DeepMind navrhuje třífázový protokol:
- Izolované testování každé schopnosti — úkoly jsou striktně jednorozměrné, nesmíchávají kompetence. Testovací banky jsou uzavřené a podléhají nezávislému auditu. Formáty — od multiple-choice až po multimodální scénáře s časovou škálou.
- Kontrolní vzorek lidí — stejná skupina úkolů, stejné instrukce, stejný přístup k nástrojům. Žádné výhody pro AI: pokud model používá vyhledávání, i člověk dostane webový interface.
- Percentilové srovnání — pro každou z deseti os se vypočítá, jaký procent lidí model překonává. Výsledkem je radarový diagram (jagged profile), nikoli jednotné skóre.
To umožňuje identifikovat kritické nerovnováhy: například 95. percentil v úvaze a 20. v metakognici. Takový model je nebezpečný v high-stakes scénářích — bude sebevědomě chybovat.
Co je důležité
- Taxonomie nenahrazuje benchmarky — vyžaduje jejich přepracování: každý test musí být přesně vázaný na jednu schopnost, bez „křížového znečištění“.
- Jagged profile není nedostatek, ale objektivní charakteristika. AGI by měla demonstrovat vyváženost ve všech deseti osách, nikoli maximální hodnoty v jednotlivých.
- Absence standardních nástrojů pro učení, metakognici, pozornost, exekutivní funkce a sociální poznání není technickou zpožděním, ale metodologickým mezí v průmyslu.
- Měření musí být relativní: ne „kolik úloh vyřešeno“, ale „je-li model lepší než X % lidí za stejných podmínek“.
- Úspěšná implementace protokolu vyžaduje přepracování architektur: například dlouhodobá paměť a mechanismy zapomínání by měly být primárními komponentami, nikoli externími plug-iny.
Pět „děr“ v současném diagnostikování AI
DeepMind jasně označuje oblasti, kde chybí spolehlivé měřicí nástroje:
- Učení — jak rozeznat osvojení nového poznatku od reprodukce naučeného vzorce? Potřebuje se test na přenos: učení v jednom doméně → aplikace v jiném, bez opětovného fine-tuningu.
- Metakognice — existují studie na kalibraci jistoty, ale nejsou standardizované ani škálovatelné. Potřebují se úkoly, kde má model explicitně ohodnotit svou pravděpodobnost správnosti před odpovědí.
- Pozornost — současné testy (například „jehla v kupě sena“) jsou příliš primitivní. Potřebuje se hodnocení odolnosti vůči dynamickým rušivým faktorům v dlouhých dialozích s proměnlivými cíli.
- Exekutivní funkce — chybí benchmarky pro kognitivní flexibilitu. Příklad: systém by se měl přepnout z algoritmického řešení na heuristické při změně omezení v reálném čase.
- Sociální poznání — stávající testy na teorii mysli (ToM) nerozlišují pokročilé modely. Potřebují se scénáře s multiuserovým vyjednáváním, skrytými úmysly a protichůdnými signály.
Protokol DeepMind nemění modely chytřejšími. Dělá je měřitelnými. Pro vývojáře to znamená přechod od „máme 87 % na MMLU“ k „máme 62. percentil v metakognici — vyžaduje se refaktoring modulu samokontroly“. Není to reklama, ale technická specifikace.
— Editorial Team
Zatím žádné komentáře.