DeepMind przemyśla nowe wymiary sztucznej inteligencji: kognitywna taksonomia zamiast benchmarków
DeepMind nie tylko przedstawiła nowy test na drodze do AGI — zaproponowała fundamentalny przełom w paradygmacie oceny sztucznej inteligencji. Zamiast jednolitego wyniku w skali punktowej czy średniej na podstawie MMLU, zespół proponuje dziesięciowymiarową kognitywną taksonomię opartą na empirycznie sprawdzonych zdolnościach ludzkiego umysłu. To nie jest narzędzie do deklaracji marketingowych, lecz techniczny protokół dla programistów średniego i wyższego szczebla oraz badaczy, który pozwala diagnozować systemowe słabości modeli — nawet jeśli ich ogólny percentyl wydaje się imponujący.
Dlaczego obecne benchmarki nie działają w przypadku AGI
Istniejące zestawy testów (MMLU, HumanEval, GPQA) cierpią z dwóch krytycznych wad, które uniemożliwiają ich stosowanie do mierzenia postępów w kierunku AGI:
- Zanieczyszczenie danych treningowych — modele wielokrotnie napotykają odpowiedzi na te testy jeszcze przed inferencyjnym użyciem. Efekt? Wysoki wynik za pamiętanie, a nie za rozumienie. Model rozwiązuje „co”, ale nie „dlaczego” ani „jak dostosować się do zmienionych warunków”.
- Niezależność modelu od systemu — testując ChatGPT czy Claude, oceniamy nie tylko sam model językowy, ale także zewnętrzne komponenty: systemowy prompt, interpreter kodu, wyszukiwarkę internetową, łańcuch rozumowań (CoT). Obecne benchmarki nie odróżniają, gdzie kończy się model, a gdzie zaczyna jego otoczenie.
To prowadzi do złudnego poczucia pewności: system osiąga 89% w MATH, ale zawodzi w podstawowym zadaniu przełączania strategii w wieloetapowym planowaniu — ponieważ funkcje wykonawcze nie są testowane osobno.
Dziesięć kognitywnych zdolności: od percepcji do społecznego poznania
Taksonomia opiera się na podziale ogólnego intelektu na dziesięć wzajemnie niezależnych zdolności. Osiem jest podstawowych, dwie są złożone (nie można ich sprowadzić do sumy bazowych).
Podstawowe zdolności:
- Percepcja — przetwarzanie sygnałów sensorycznych. Dla LLM to nie wzrok, lecz tokenizacja jako alternatywny kanał dostępu do języka. Różnica jest zasadnicza: człowiek widzi obiekt, model otrzymuje jego opis.
- Generacja — produkcja wyjść (tekstu, kodu, działań) oraz wewnętrznych rozumowań. CoT tu nie jest hackiem, lecz przejawem zdolności generacyjnej, oddzielonej od logicznego wnioskowania.
- Uwaga — zarządzanie fokusem w dynamicznym kontekście. Nie chodzi o mechanizm uwagi w transformatorze, lecz o kognitywną umiejętność balansowania koncentracji i wrażliwości na nowe bodźce.
- Nauka — trwałe zmiany zachowania dzięki doświadczeniu. Nauka kontekstowa (in-context learning) nie jest uważana za naukę w tym sensie: wiedza nie zostaje przechowywana poza sesją.
- Pamięć — cztery typy: deklaratywna (wiedza), epizodyczna (wydarzenia), proceduralna (nawyki), prospektywna (intencje). Zapominanie jest tutaj funkcją przydatną — współczesne modele nie potrafią selektywnie usuwać przestarzałych parametrów.
- Rozumowanie — dedukcja, indukcja, abdukcja, analogia, myślenie matematyczne. Automatyczne dopasowywanie wzorów jest wykluczone: zgadywanie na podstawie formalnych cech pytania nie jest rozumowaniem.
- Metakognicja — monitorowanie własnej pewności, wykrywanie błędów, korekcja strategii. Główna różnica między ludźmi a SI: modele nie wiedzą, czego nie wiedzą.
- Funkcje wykonawcze — stawianie celów, planowanie, hamowanie impulsów, elastyczność poznawcza, pamięć robocza. To właśnie tutaj agenci najczęściej zawodzą podczas przełączania między podzadaniami.
Złożone zdolności:
- Rozwiązywanie problemów — orkestracja percepcji, rozumowania, planowania i nauki. Porażka w każdej podstawowej zdolności powoduje kaskadowe naruszenie rozwiązania.
- Społeczne poznawanie — modelowanie przekonań i intencji innych, kooperacja, negocjacje, przekonywanie, a nawet oszustwo. Oszustwo jest tu nie jako zagrożenie etyczne, lecz jako diagnostyczny marker głębi społecznego zrozumienia.
Protokół pomiaru: trzy etapy i diagram radarowy
Klasyfikacja bez pomiaru to akademicka abstrakcja. DeepMind proponuje trzystopniowy protokół:
- Izolowane testowanie każdej zdolności — zadania są ściśle jednowymiarowe, nie mieszałyby kompetencji. Banki zadań są zamknięte i podlegają niezależnemu audytowi. Formaty wahały się od wielokrotnego wyboru po multimodalne scenariusze z czasową skalą.
- Wybór kontrolny osób — ta sama grupa zadań, te same instrukcje, ten sam dostęp do narzędzi. Żadnych przewag dla SI: jeśli model korzysta z wyszukiwarki, człowiek również dostaje interfejs internetowy.
- Porównanie percentylowe — dla każdej z dziesięciu osi obliczany jest procent ludzi, których model przewyższa. Wynik to diagram radarowy (jagged profile), a nie jeden punkt.
To pozwala wykryć krytyczne dysbalanse: np. 95. percentyl w rozumowaniu i 20. w metakognicji. Taka model jest niebezpieczna w scenariuszach o wysokich wymaganiach — będzie pewnie popełniać błędy.
Co jest ważne
- Taksonomia nie zastępuje benchmarków — wymaga ich przekształcenia: każdy test musi być ściśle związany z jedną zdolnością, bez „krzyżowego zanieczyszczenia”.
- Poszarpany profil (jagged profile) nie jest wadą, lecz obiektywną charakterystyką. AGI powinna wykazywać równowagę we wszystkich dziesięciu osiach, a nie maksymalne wartości w poszczególnych.
- Brak standardowych narzędzi do nauki, metakognicji, uwagi, funkcji wykonawczych i społecznego poznania — to nie opóźnienie technologiczne, lecz braki metodologiczne w branży.
- Pomiar powinien być względny: nie „ile zadań rozwiązano”, lecz „czy model jest lepszy niż X% ludzi przy identycznych warunkach”.
- Udana implementacja protokołu wymaga rewizji architektur: np. długoterminowa pamięć i mechanizmy zapominania powinny stać się pierwszorzędnymi komponentami, a nie zewnętrznymi dodatkami.
Pięć „dziur” w obecnej diagnostyce SI
DeepMind jasno określa obszary, w których brakuje solidnych narzędzi pomiarowych:
- Nauka — jak odróżnić przyswojenie nowej wiedzy od odtworzenia wyuczonych wzorców? Potrzeba testu na transfer: nauka w jednym domenie → zastosowanie w innym, bez ponownego fine-tuningu.
- Metakognicja — istnieją prace nad kalibracją pewności, ale nie są standaryzowane ani skalowalne. Potrzeba zadań, w których model musi wyraźnie ocenić prawdopodobieństwo swojej poprawności przed daną odpowiedzią.
- Uwaga — obecne testy (np. „igła w stogu siana”) są zbyt proste. Potrzeba oceny odporności na dynamiczne rozpraszacze w długich dialogach z zmieniającymi się celami.
- Funkcje wykonawcze — brak benchmarków dla elastyczności poznawczej. Przykład: system powinien przełączyć się z algorytmicznego rozwiązania na heurystyczne w razie zmiany ograniczeń w czasie rzeczywistym.
- Społeczne poznawanie — istniejące testy na teorię umysłu (ToM) nie różnicują najbardziej zaawansowanych modeli. Potrzeba scenariuszy z wieloosobowymi negocjacjami, ukrytymi intencjami i sprzecznymi sygnałami.
Protokół DeepMind nie czyni modeli mądrzejszymi. Czyni je mierzalnymi. Dla programistów oznacza to przejście od „mamy 87% w MMLU” do „mamy 62. percentyl w metakognicji — potrzebny refaktoring modułu samokontroli”. To nie reklama, lecz specyfikacja techniczna.
— Editorial Team
Brak komentarzy.