Google, TPUv8을 훈련과 추론을 위한 두 전문 칩으로 분리
Google은 차세대 Tensor Processing Units TPUv8을 모델 훈련용 TPUv8t와 추론용 TPUv8i 두 개의 독립 라인으로 전략적으로 분리한다고 발표했습니다. 이 접근 방식은 AI 산업의 변화—범용 가속기에서 특정 유형의 계산 작업에 최적화된 전문 솔루션으로의 전환—을 반영합니다. Broadcom(훈련용) 및 MediaTek(추론용)과 협력하여 개발이 진행 중이며, 새로운 칩들은 Arm 아키텍처 기반 Axion 프로세서와 긴밀하게 통합될 예정입니다.
AI 워크로드의 증가하는 복잡성에 대응한 전문화
이전에는 TPU가 훈련과 추론 모두에 적합한 다재다능한 가속기로 사용되었습니다. 그러나 모델 규모가 커지고 사용자 쿼리 처리에서 지연 요구사항이 엄격해지면서, 이 만능 모델은 비효율적이 됩니다. Google의 수석 과학자 Jeff Dean이 지적한 바와 같이, “훈련용이든 추론용이든 특정 목적에 맞춘 칩을 전문화하는 것이 합리적입니다.”
TPUv8t(코드네임 Sunfish)는 대형 언어 모델의 고성능 훈련에 초점을 맞췄습니다. 대용량 데이터 배치, 높은 메모리 대역폭, 클러스터 간 효율적인 그래디언트 분산에 최적화되어 있습니다. 반면 TPUv8i(Zebrafish)는 AI 에이전트와 챗봇의 동적 요청 시나리오에서 추론 지연을 최소화하는 데 중점을 둡니다.
이 분리는 다음과 같은 이점을 제공합니다:
- 불필요한 기능 제거로 전력 소비 감소;
- 데이터센터 랙 내 칩 밀도 향상;
- 냉각 및 전원 시스템 설계 간소화;
- 작업별 소프트웨어 스택과의 더 나은 호환성.
Arm 생태계 및 타사 소프트웨어와의 통합
새로운 TPU들은 Arm 아키텍처 기반 Google 자체 개발 Axion 프로세서와 함께 작동할 예정입니다. 이는 인프라 구성 요소에서 x86에서의 추가 이탈을 시사합니다. SoC 수준 통합과 인터커넥트를 통해 CPU와 가속기 간 지연을 최소화합니다.
게다가 Google은 자체 클라우드 인프라뿐만 아니라 고객 데이터센터에서의 TPU 배포를 테스트 중입니다. 이는 Google 내부 솔루션 외의 타사 프레임워크인 PyTorch 같은 도구와 오케스트레이션 도구로의 문을 열어줍니다. 인프라 기술 이사 Amin Vahdat에 따르면, 이 움직임은 한 벤더 생태계에 갇히기 싫어하는 기업 고객을 유치하는 데 필수적입니다.
확장 및 신뢰성 도전 과제
수십만 개의 가속기를 운영할 때, 사소한 제조 결함조차 재앙적인 결과를 초래할 수 있습니다. Gemini 팀 리드 중 한 명인 Paul Barham이 회상한 바에 따르면, Google은 한때 하드웨어 결함으로 모델이 “완전 자가 파괴”되는 상황을 겪었습니다—훈련 결과가 무효화되었지만 명백한 실패 징후는 없었습니다. 진단과 수정에 몇 주가 걸렸습니다.
이제 회사는 수십만 개의 칩을 10초 만에 검사할 수 있는 자동화 테스트 시스템을 도입하고 있습니다. 이 시스템들은 전형적인 AI 워크로드를 시뮬레이션하고 제조사 사양 내이더라도 계산 정확도 편차를 감지합니다.
확장 시 주요 도전 과제:
- 칩 개발 주기—약 3년 소요되지만 AI 아키텍처는 6~12개월마다 진화.
- 소프트웨어-하드웨어 피드백 루프—밀접한 통합이 혁신을 저해해 개발자들이 현재 플랫폼의 “박스 안”에서 생각하게 함.
- 생산 용량 부족—제한된 생산량이 Anthropic과 Meta의 수십억 달러 규모 계약에서 병목현상을 초래.
시장 맥락과 경쟁
Nvidia는 훈련 분야에서 여전히 지배적이지만, 추론 시장은 빠르게 분화되고 있습니다. Groq, Cerebras, SambaNova, 그리고 이제 Google에서 전문 솔루션이 등장하고 있습니다. Meta의 TPUv8i 관심은 대형 기업들이 AI 서비스의 지연과 서비스 비용을 줄이기 위해 대안을 찾고 있음을 강조합니다.
Anthropic은 이미 백만 개 TPU에 접근 권한을 확보하고 고급 에이전트 시스템에 사용할 계획입니다. 아부다비의 G42와 Citadel Securities도 플랫폼을 적극 테스트 중입니다. 그럼에도 칩 부족으로 접근 제한을 받은 소규모 고객들은 좌절하고 있습니다.
중요 사항:
- Google이 TPUv8을 두 칩으로 분리: 훈련용 TPUv8t와 추론용 TPUv8i.
- Broadcom 및 MediaTek과 개발, Arm 기반 Axion 프로세서와 통합.
- 새로운 칩들이 특정 워크로드에 최적화되어 데이터센터 효율성 향상.
- Google, PyTorch 등 다른 프레임워크 호환성을 위해 자체 클라우드 외 TPU 배포 테스트.
- 주요 위험: 개발 주기, 용량 부족, 소프트웨어-하드웨어 상호의존성.
— Editorial Team
아직 댓글이 없습니다.