Google dévoile les pods TPU v5p pour accélérer l’entraînement en IA

Google a révélé une version optimisée de sa puce de traitement tensoriel (TPU), appelée v5p, conçue pour réduire le temps nécessaire à l’entraînement de grands modèles linguistiques. La puce repose sur le TPU v5e annoncé plus tôt cette année. Mais alors que cette puce était présentée comme l’accélérateur d’IA la plus «efficace» de Google, le TPU v5p est conçu pour pousser plus de FLOPS et évoluer vers des grappes encore plus grandes. Google s’est appuyé depuis plusieurs années sur ses TPU personnalisés, qui ne sont en fait que de grands accélérateurs de calcul matriciel, pour alimenter le nombre croissant de fonctionnalités d’apprentissage automatique intégrées à ses produits web tels que Gmail, Google Maps et YouTube. Plus récemment, cependant, Google a commencé à ouvrir ses TPU au public pour lancer des jobs d’apprentissage et d’inférence IA. Selon Google, le TPU v5p est son plus puissant à ce jour, capable de pousser 459 teraFLOPS de performance bfloat16 ou 918 teraoctets de Int8. Cela est soutenu par 95 Go de mémoire à haut débit capable de transférer des données à une vitesse de 2,76 To/s. Jusqu’à 8 960 accélérateurs v5p peuvent être couplés ensemble dans un seul module en utilisant l’interconnexion entre puces de 600 Go/s de Google pour entraîner des modèles plus rapidement ou avec une plus grande précision. Pour mémoire, c’est 35 fois plus que ce qui était possible avec le TPU v5e et plus de deux fois plus que ce qui était possible avec le TPU v4.