Google presenta dos chips de IA, TPU 8tx y TPU 8i Max

Google presentó este lunes dos sistemas nuevos de sus chips TPU de octava generación: TPU 8tx, para correr modelos de IA sobre datos confidenciales, y TPU 8i Max, para contextos muy largos. Con ellos suma cuatro sistemas de esta generación en un solo año.

Hoy no cambia nada para quien usa IA desde México: estos chips viven en centros de datos y Google los alquila por Google Cloud. El anuncio en su blog no da fecha de lanzamiento, regiones ni precio. El efecto, si llega, será para empresas que quieran usar modelos sin sacar datos reservados de su entorno, como en banca o salud.

TPU 8tx está pensado para inferencia, es decir, usar un modelo ya entrenado, con protección en el propio hardware. Reutiliza el silicio de TPU 8t, va con procesadores AMD EPYC de quinta generación y sirve también para entrenamientos pequeños. Amin Vahdat, tecnólogo jefe de IA e infraestructura de Google, dice que "integra la seguridad directamente en la capa de hardware". Con su red Boardfly, la compañía promete hasta 2 veces menos latencia que TPU 8t.

TPU 8i Max combina dos TPU 8i en un único paquete. Frente a TPU 8i multiplica por dos el cómputo, la SRAM y el ancho de banda de la memoria HBM sin ocupar más espacio en el rack, asegura Google. Apunta a las ventanas de contexto grandes (el texto que un modelo puede tener presente a la vez), que los agentes de IA exigen por sus tareas largas. Para Vahdat, el sistema "escala el cómputo y la memoria en paralelo".

Todas las cifras de rendimiento son de Google: no hay pruebas independientes de estos dos sistemas.

Sus clientes de TPU suman cerca de 100, según la compañía: laboratorios de IA, firmas de trading, tiendas y universidades. Junto al anuncio, declaró de código abierto TorchTPU, XLA Serving Engine y TPU Sync, y dejó en vista previa su suite de agentes para TPU.