DeepMind AGI Taxonomy: 10가지 인지 능력

딥마인드, AI 측정법 재정의: 벤치마크 대신 인지 분류 체계

딥마인드가 AGI로 가는 길에 새로운 테스트를 도입한 것만이 아니라, 인공지능을 평가하는 패러다임 자체를 근본적으로 전환했습니다. MMLU 기반 단일 점수나 평균 결과 대신, 연구팀은 실증적으로 검증된 인간의 인지 능력을 바탕으로 한 10차원 인지 분류 체계를 제안했습니다. 이는 마케팅용 주장이 아닌, 중급 및 고급 개발자와 연구자들을 위한 기술 프로토콜로서, 모델의 전반적인 백분위 수가 인상적으로 보여도 시스템적 약점을 진단할 수 있도록 합니다.

현재 벤치마크가 AGI에 적합하지 않은 이유

기존 벤치마크 데이터셋(MMLU, HumanEval, GPQA)은 AGI로의 진전을 측정하기에 부적합한 두 가지 치명적인 결함을 안고 있습니다:

• 훈련 데이터 오염—모델들은 추론에 앞서 이미 이러한 테스트의 정답을 반복적으로 접하게 됩니다. 그 결과, 이해보다는 암기를 통해 높은 점수를 얻게 되며, 모델은 ‘무엇’을 해결했을 뿐 ‘왜’ 또는 ‘변화된 환경에 어떻게 적응해야 하는지’는 파악하지 못합니다.
• 모델과 시스템 간 구분 부족—ChatGPT나 Claude를 테스트할 때 우리는 언어 모델뿐만 아니라 외부 구성 요소인 시스템 프롬프트, 코드 인터프리터, 웹 검색, 그리고 사고 과정 추론(CoT)까지 함께 평가합니다. 그러나 현재 벤치마크는 모델의 경계와 환경의 경계를 구분하지 않습니다.

이는 잘못된 자신감으로 이어집니다: 시스템이 MATH에서 89%를 받았더라도 다단계 계획에서 전략을 전환하는 기본 작업에서 실패할 수 있는데, 이는 실행 기능이 별도로 테스트되지 않기 때문입니다.

10가지 인지 능력: 지각부터 사회적 인지까지

분류 체계는 일반 지능을 서로 독립적인 10가지 능력으로 나눕니다. 이 중 8가지는 기본 능력이고, 2가지는 복합 능력(기본 능력의 합으로 축소될 수 없는 능력)입니다.

기본 능력:

• 지각—감각 신호 처리. LLM의 경우 이는 시각이 아니라 토큰화라는 대체 채널을 통해 언어에 접근하는 것입니다. 중요한 차이는 인간은 물체를 본다면 모델은 그 설명을 받는다는 점입니다.
• 생성—출력(텍스트, 코드, 행동)과 내부 추론 생성. 여기서 CoT는 해킹이 아니라 생성 능력의 발현이며, 논리적 추론과는 별개입니다.
• 주의—동적 상황에서 집중을 관리하는 능력. 이는 트랜스포머의 주의 메커니즘이 아니라, 새로운 자극에 민감하면서도 집중을 조절하는 인지 능력입니다.
• 학습—경험을 통해 지속적인 행동 변화를 일으키는 능력. 문맥 내 학습은 이 의미에서 학습으로 간주되지 않습니다: 세션 외에는 지식이 유지되지 않습니다.
• 기억—4가지 유형: 선언적(사실), 에피소딕(사건), 절차적(기술), 그리고 전향적(의도). 망각도 유용한 기능으로 포함됩니다—최신 모델은 오래된 파라미터를 선택적으로 삭제할 수 없습니다.
• 추론—연역, 귀납, 역추론, 유사성 추론, 그리고 수학적 사고. 자동 패턴 매칭은 제외됩니다: 형식적인 질문 단서에 기반한 추측은 추론이 아닙니다.
• 메타인지—자신의 확신을 모니터링하고, 오류를 감지하며, 전략을 수정하는 능력. 인간과 AI의 가장 큰 격차는 모델이 자신이 모르는 것을 모른다는 점입니다.
• 실행 기능—목표 설정, 계획 수립, 충동 조절, 인지적 유연성, 그리고 작업 기억. 이는 에이전트가 하위 작업 간 전환 시 가장 많이 무너지는 영역입니다.

복합 능력:

• 문제 해결—지각, 추론, 계획, 학습을 조율하는 능력. 어떤 기본 능력이든 실패하면 전체 해결책이 연쇄적으로 무너집니다.
• 사회적 인지—타인의 신념과 의도를 모델링하고, 협력, 협상, 설득, 심지어 속임수까지 가능합니다. 속임수는 윤리적 위협이 아니라 사회적 이해의 깊이를 진단하는 지표로 포함됩니다.

측정 프로토콜: 3단계와 레이더 차트

분류만으로 측정이 이루어진다면 그것은 학문적 추상에 불과합니다. 딥마인드는 3단계 프로토콜을 제안합니다:

• 각 능력의 고립된 테스트—테스크는 엄격히 1차원적이며, 여러 능력을 섞지 않습니다. 테스크 은행은 폐쇄되어 독립적인 감사를 받습니다. 형식은 객관식부터 시간 제한이 있는 다중 모달 시나리오까지 다양합니다.
• 인간 대조군—동일한 테스크 세트, 동일한 지침, 그리고 동일한 도구 접근 권한을 제공합니다. AI에게 특혜가 없어야 합니다: 모델이 검색을 사용한다면 인간도 웹 인터페이스를 이용합니다.
• 백분위 비교—10개 축 각각에 대해 모델이 인간의 몇 %를 능가하는지 계산합니다. 결과는 단일 점수가 아니라 레이더 차트(톱니 모양의 프로파일)입니다.

이렇게 하면 중요한 불균형을 파악할 수 있습니다: 예를 들어, 추론에서는 95번째 백분위를 기록했지만 메타인지에서는 20번째 백분위를 기록했다면, 이런 모델은 고위험 상황에서 지속적으로 오류를 범하게 될 것입니다.

무엇이 중요한가

• 이 분류 체계는 벤치마크를 대체하는 것이 아니라, 벤치마크를 재구성하도록 요구합니다: 각 테스트는 반드시 단일 능력과 명확히 연결되어야 하며, ‘교차 오염’이 없어야 합니다.
• 톱니 모양의 프로파일은 결점이 아니라 객관적인 특징입니다. AGI는 개별 영역에서의 최고치가 아니라 10개 축 모두에서 균형을 보여야 합니다.
• 학습, 메타인지, 주의, 실행 기능, 그리고 사회적 인지에 대한 표준 도구의 부재는 기술적 지연이 아니라 업계의 방법론적 격차입니다.
• 측정은 상대적이어야 합니다: ‘얼마나 많은 테스크를 해결했는가’가 아니라 ‘동일한 조건에서 X%의 사람들보다 모델이 더 나은가?’ 입니다.
• 프로토콜의 성공적인 구현을 위해서는 아키텍처를 재검토해야 합니다: 예를 들어, 장기 기억과 망각 메커니즘은 외부 플러그인이 아니라 1등급 구성 요소가 되어야 합니다.

현대 AI 진단의 5가지 ‘갭’

딥마인드는 신뢰할 수 있는 측정 도구가 부족한 영역을 명확히 규명합니다:

• 학습—새로운 지식 습득과 이미 학습된 패턴의 재생을 어떻게 구분할까요? 전이 테스트가 필요합니다: 한 영역에서 학습 → 다른 영역에서 적용, 재微调 없이.
• 메타인지—확신을 교정하는 연구는 있지만 표준화되거나 확장성이 없습니다. 모델이 답변하기 전에 스스로 정답 확률을 평가하는 테스크가 필요합니다.
• 주의—현재 테스트(예: ‘바늘 찾기’)는 너무 단순합니다. 목표가 계속 변하는 긴 대화에서 동적 방해 요소에 대한 저항력을 평가하는 테스트가 필요합니다.
• 실행 기능—인지적 유연성을 평가하는 벤치마크가 없습니다. 예를 들어, 시스템은 제약 조건이 실시간으로 변경되면 알고리즘적 해결에서 휴리스틱 접근으로 전환해야 합니다.
• 사회적 인지—기존 마음 이론(ToM) 테스트는 고급 모델을 구분하지 못합니다. 다중 사용자 협상, 숨은 의도, 그리고 상충되는 신호가 포함된 시나리오가 필요합니다.

딥마인드의 프로토콜은 모델을 더 똑똑하게 만드는 것이 아닙니다. 오히려 모델을 측정 가능하게 만듭니다. 개발자들에게는 ‘우리는 MMLU에서 87%를 받았다’에서 ‘우리는 메타인지에서 62번째 백분위를 기록했다—자기 통제 모듈을 재작업해야 한다’로 전환하는 의미입니다. 이것은 광고가 아니라 기술 사양입니다.

— Editorial Team