TPUv8 de Google: dos chips para entrenamiento e inferencia de IA

Google divide TPUv8 en dos chips especializados para entrenamiento e inferencia

Google ha anunciado una división estratégica de las Unidades de Procesamiento Tensorial de próxima generación TPUv8 en dos líneas independientes: TPUv8t para el entrenamiento de modelos y TPUv8i para inferencia. Este enfoque refleja un cambio en la industria de la IA: de aceleradores de propósito general a soluciones especializadas optimizadas para tipos específicos de cargas de trabajo computacionales. El desarrollo está en marcha en colaboración con Broadcom (para entrenamiento) y MediaTek (para inferencia), y los nuevos chips se integrarán estrechamente con los procesadores Axion basados en la arquitectura Arm.

Especialización como respuesta a la creciente complejidad de las cargas de trabajo de IA

Anteriormente, las TPUs funcionaban como aceleradores versátiles aptos tanto para entrenamiento como para inferencia. Sin embargo, a medida que los modelos crecen en escala y los requisitos de latencia se endurecen para procesar consultas de usuarios, este modelo único se vuelve ineficiente. Como señaló Jeff Dean, director científico de Google: «tiene sentido especializar chips diseñados para entrenamiento o para inferencia».

TPUv8t (nombre en código Sunfish) está orientada al entrenamiento de alto rendimiento de grandes modelos de lenguaje. Está optimizada para lotes de datos grandes, alto ancho de banda de memoria y distribución eficiente de gradientes en clústeres. Mientras tanto, TPUv8i (Zebrafish) se centra en minimizar la latencia de inferencia, especialmente en escenarios con solicitudes dinámicas de agentes de IA y chatbots.

Esta divergencia permite:

• Reducción del consumo de energía al eliminar funciones redundantes;
• Mayor densidad de chips en los racks de centros de datos;
• Diseño simplificado de sistemas de refrigeración y alimentación;
• Mejor compatibilidad con pilas de software específicas para tareas.

Integración con el ecosistema Arm y software de terceros

Las nuevas TPUs trabajarán en tándem con los procesadores Axion, un desarrollo interno de Google basado en la arquitectura Arm. Esto indica un alejamiento aún mayor de x86 en los componentes de infraestructura. La integración a nivel de system-on-chip (SoC) y mediante interconexiones asegura una latencia mínima entre la CPU y el acelerador.

Además, Google está probando el despliegue de TPUs en centros de datos de clientes, no solo en su propia infraestructura en la nube. Esto abre la puerta a frameworks de terceros como PyTorch y herramientas de orquestación más allá de las soluciones internas de Google. Según Amin Vahdat, director técnico de infraestructura, este movimiento es esencial para atraer clientes empresariales que no quieren quedar atados al ecosistema de un solo proveedor.

Desafíos de escalabilidad y fiabilidad

Al operar cientos de miles de aceleradores, incluso defectos de fabricación minúsculos pueden llevar a resultados desastrosos. Como relató Paul Barham, uno de los líderes del equipo de Gemini, Google una vez enfrentó un fallo de hardware que provocó la «destrucción completa» de un modelo: los resultados del entrenamiento se volvieron inválidos sin signos obvios de fallo. Diagnosticarlo y corregirlo tomó semanas.

Ahora la compañía está implementando sistemas de pruebas automatizadas que pueden verificar cientos de miles de chips en 10 segundos. Estos sistemas simulan cargas de trabajo típicas de IA y detectan desviaciones en la precisión de los cálculos, incluso si están dentro de las especificaciones del fabricante.

Desafíos clave en la escalabilidad:

• Ciclo de desarrollo de chips—alrededor de tres años, mientras las arquitecturas de IA evolucionan cada 6–12 meses.
• Bucle de retroalimentación software-hardware—la integración estrecha puede frenar la innovación, obligando a los desarrolladores a «pensar dentro de la caja» de la plataforma actual.
• Faltantes de capacidad—volúmenes de producción limitados crean cuellos de botella, especialmente con acuerdos multimillonarios de Anthropic y Meta.

Contexto de mercado y competencia

Nvidia sigue siendo la fuerza dominante en entrenamiento, pero el mercado de inferencia se está fragmentando rápidamente. Están surgiendo soluciones especializadas de Groq, Cerebras, SambaNova y ahora Google. El interés de Meta en TPUv8i subraya cómo las grandes empresas buscan alternativas para reducir latencia y costos de servicio en servicios de IA.

Anthropic ya ha asegurado acceso a un millón de TPUs y planea usarlas para sistemas de agentes avanzados. G42 de Abu Dhabi y Citadel Securities también están probando activamente la plataforma. Aun así, los faltantes de chips frustran a clientes más pequeños con límites de acceso.

Lo importante:

• Google divide TPUv8 en dos chips: TPUv8t (entrenamiento) y TPUv8i (inferencia).
• Desarrollo con Broadcom y MediaTek, integrado con procesadores Axion basados en Arm.
• Nuevos chips optimizados para cargas de trabajo específicas, mejorando la eficiencia en centros de datos.
• Google prueba despliegue de TPU fuera de sus nubes para compatibilidad con PyTorch y otros frameworks.
• Riesgos clave: ciclos de desarrollo, faltantes de capacidad e interdependencias software-hardware.

— Editorial Team