Google présente les nouveaux TPU v5p pods pour accélérer l’entraînement en IA

Google a révélé une version optimisée de son unité de traitement de tenseur (TPU) appelée v5p destinée à réduire l’engagement en termes de temps nécessaire à l’entraînement de grands modèles linguistiques. La puce repose sur le TPU v5e annoncé plus tôt cette année. Mais alors que cette puce était présentée comme l’accélérateur d’IA «le plus rentable» de Google, son TPU v5p est conçu pour pousser plus de FLOPS et s’adapter à des clusters encore plus importants. Google a longtemps fait appel à ses TPU personnalisés, qui ne sont essentiellement que de grandes accélérations de mathématiques matricielles, pour alimenter le nombre croissant de fonctionnalités d’apprentissage machine intégrées à ses produits Web tels que Gmail, Google Maps et YouTube. Plus récemment, cependant, Google a commencé à ouvrir ses TPU au public pour lancer des jobs d’entraînement et d’inférence IA. Selon Google, le TPU v5p est son plus puissant à ce jour, capable de pousser 459 teraFLOPS de performance en bfloat16 ou 918 teraOPS en Int8. Cela est soutenu par 95 Go de mémoire à haut débit capable de transférer des données à une vitesse de 2,76 TB / s. Jusqu’à 8 960 accélérateurs v5p peuvent être couplés ensemble dans un seul pod en utilisant l’interconnexion entre puces de Google de 600 Go / s pour entraîner des modèles plus rapidement ou avec une précision accrue. Pour mémoire, c’est 35 fois plus que ce qui était possible avec le TPU v5e et plus de deux fois plus que ce qui était possible sur le TPU v4.