Así es el chip TPU V4 de Google

Google ha revelado detalles sobre los componentes de las supercomputadoras que está utilizando para entrenar sus propios modelos con Inteligencia Artificial, diciendo que sus sistemas actuales son "más rápidos y eficientes energéticamente" en comparación a equipos similares que utilizan componentes de NVIDIA.

Para esto, Google revela en una publicación de su blog el diseño de la cuarta generación de su chip "Unidad de Procesamiento de Tensor" o TPU, pensado para entrenar modelos de IA, demostrando también la forma en que se pudieron conectar más de 4,000 de estos chips.

A través de un artículo científico, la compañía muestra cómo se logró unir estos chips en una supercomputadora utilizando interruptores ópticos a la medida para ayudar a conectar máquinas individuales en un total de 4,096 chips, permitiendo por ejemplo reconfigurar las conexiones "sobre la marcha", corregir problemas y hasta hacer ajustes para mejorar el rendimiento.

Recordemos que los modelos de lenguaje detrás de las IAs como la propia Bard de Google o ChatGPT de OpenAI se han disparado en tamaño, volviéndose demasiado grandes para ser almacenados en un solo chip, por lo que tienen que ser divididos entre múltiples equipos que luego se tienen que usar en simultáneo para entrenar al modelo.

Midjourney aprovechó los chips de Google para entrenar su modelo

Por ejemplo, la compañía detalla que para entrenar al modelo de lenguaje PaLM, se le tuvo que dividir entre dos supercomputadoras de 4,000 chips cada una durante 50 días.

Google también detalla que la supercomputadora con los chips TPU v4 ya se han estado utilizando en varias ocasiones. Una de estas en su propio centro de datos en el condado de Mayes, Oklahoma, donde han estado en línea desde 2020, así como en "equipos líderes de IA en todo el mundo".

Sin embargo también se han usado en otras implementaciones más conocidas, como la versión cuatro de Midjourney, que ha aprovechado los TPU v4 para entrenar a su modelo de última generación, el mismo que recientemente estuvo en el ojo del huracán por crear imágenes falsas del papa a la moda y de Trump siendo arrestado.

El TPU V4 en cifras y en comparativas

La empresa dice que sus chips son hasta 1.7 veces más rápidos y pueden ser hasta 1.9 veces más eficientes energéticamente que un sistema basado en el chip A100 de NVIDIA.

Eso sí, también acepta que no se comparó su TPU V4 con el chip más reciente de NVIDIA, el H100 anunciado en 2022, ya que este llegó al mercado después de que el chip de Google ya se estaba utilizando, además de que está fabricado con una tecnología más nueva.

La compañía incluso apunta a que la "competencia apropiada" para el H100 sería el sucesor del TPU V4, siempre y cuando se implemente en un mismo periodo de tiempo y con una construcción similar.