Google divide TPU 8 en chips para entrenamiento e inferencia

Google está dividiendo su próxima ola de silicio para IA en dos carriles: TPU 8t para entrenamiento intensivo de modelos y TPU 8i para inferencia rápida. La propuesta es bastante simple: a medida que los agentes de IA pasan de demostraciones de chatbots a flujos de trabajo multipaso, un diseño de chip ya no encaja en todos los trabajos.

Eso importa porque el cuello de botella en la IA está cambiando. El entrenamiento aún requiere fuerza bruta, pero el servicio de sistemas de agentes cada vez más activos ahora exige baja latencia, mayor ancho de banda de memoria y menos ciclos desperdiciados. Google apuesta a que la especialización, y no un acelerador único para todo, es la forma de mantenerse al ritmo de rivales que impulsan su propio silicio personalizado y pilas en la nube de los hiperescaladores.

TPU 8t está diseñado para entrenamientos masivos

TPU 8t es el monstruo de cómputo en el par. Google afirma que puede reducir el desarrollo de modelos de frontera de meses a semanas, y que un único superpod escala hasta 9,600 chips con dos petabytes de memoria compartida de alto ancho de banda. La compañía también dice que ofrece 121 exaFLOPS de cómputo y casi 3x el rendimiento de cómputo por pod frente a la generación anterior.

Hay una razón práctica para esa ambición. El entrenamiento de modelos grandes se ha convertido en una carrera armamentista de infraestructura, y cada ganancia en rendimiento o “goodput” puede ahorrar tiempo real en trabajos gigantes que de otro modo se atorarían por fallos, problemas de red o reinicios de puntos de control. Google dice que TPU 8t está diseñado para más del 97% de goodput, con reenvío y conmutación de circuitos ópticos pensados para mantener el entrenamiento en marcha.

• Escala de superpod TPU 8t: 9,600 chips
• Memoria compartida: dos petabytes
• Cómputo: 121 exaFLOPS
• Afirmación de rendimiento: casi 3x el rendimiento de cómputo por pod

TPU 8i se orienta a la inferencia de baja latencia

TPU 8i es la bestia de trabajo en servidor para la inferencia, y Google apunta claramente a la realidad desordenada de la IA agentiva, donde una solicitud puede desencadenar una cadena de llamadas a modelos, herramientas y razonamiento de seguimiento. El chip combina 288 GB de memoria de alto ancho de banda con 384 MB de SRAM en chip, duplica los hosts de CPU físicos por servidor usando CPUs Axion basadas en Arm y duplica el ancho de banda ICI a 19.2 Tb/s.

Recomendado

Hassabis dice que las STEM te hacen 10 veces mejor en IA

Google dice que esos cambios ofrecen un 80% mejor rendimiento por dólar que la generación anterior y pueden casi doblar el volumen de clientes al mismo coste. Ese es un argumento familiar en la nube, pero también es el que más importa a los clientes: las facturas de inferencia, no las diapositivas de benchmarks, tienden a decidir si un producto de IA sobrevive al contacto con la realidad.

• Memoria: 288 GB de memoria de alto ancho de banda
• SRAM en chip: 384 MB
• Ancho de banda ICI: 19.2 Tb/s
• Afirmación de rendimiento: 80% mejor rendimiento por dólar

Google vuelve a impulsar el argumento de pila completa

Lo que Google realmente está vendiendo aquí no son solo chips, sino control. Tanto TPU 8t como TPU 8i funcionan sobre hosts de CPU Axion basadas en Arm, soportan de forma nativa JAX, MaxText, PyTorch, SGLang y vLLM, y ofrecen acceso bare metal para clientes que quieran acercarse al metal sin la sobrecarga de la virtualización. Eso es palanca típica de un hiperescalador: si posees el silicio, la red, la refrigeración y la pila de software, puedes afinar todo el sistema alrededor de una carga de trabajo en lugar de esperar que el hardware genérico se comporte bien.

El momento también encaja con el mercado. Los competidores corren para afianzar sus propios ecosistemas de infraestructura de IA, mientras que los mayores compradores en la nube están bajo presión para exprimir más producción de presupuestos de energía limitados. Google dice que TPU 8t y TPU 8i ofrecen hasta dos veces mejor rendimiento por vatio que Ironwood, y que sus centros de datos ahora entregan seis veces más potencia de cómputo por unidad de electricidad que hace cinco años.

Disponibilidad de TPU 8 a finales de este año

Ambos chips estarán generalmente disponibles a finales de este año, y los clientes pueden solicitar más información ahora. Eso deja a Google con una tarea sencilla: demostrar que su diseño dividido realmente hace que los agentes de IA sean más rápidos, más baratos y más fáciles de escalar que las alternativas de fuerza bruta. Si funciona, TPU 8t y TPU 8i podrían sostener la idea de que la era agentiva trata menos de modelos más grandes y más de una mejor infraestructura.