2023 a été sans aucun doute l’année de l’IA générative, et Google clôture cette année avec encore plus de développements en IA. La société a annoncé la création de son TPU (abréviation de Tensor Processing Units) le plus puissant à ce jour, Cloud TPU v5p, ainsi qu’un ordinateur hyper-intelligent de Google Cloud. « La croissance des modèles d’IA générative – avec un accroissement de dix fois du nombre de paramètres par an au cours des cinq dernières années – implique des exigences accrues en matière de formation, d’affinage et d’inférence », a déclaré Amin Vahdat, ingénieur en chef et vice-président de l’équipe Machine Learning, Systems et Cloud AI de Google, dans un communiqué. Cloud TPU v5p est un accélérateur d’IA, formant et servant des modèles. Google a conçu les Cloud TPUs pour fonctionner avec des modèles qui sont grands, ont une longue période d’entraînement, sont principalement constitués de calculs de matrices et n’ont aucune opération personnalisée à l’intérieur de leur boucle d’entraînement principale, comme TensorFlow ou JAX. Chaque nœud TPU v5p apporte 8 960 puces lorsqu’il utilise le connecteur inter-puce à large bande passante de Google. Cloud TPU v5p suit les itérations précédentes telles que v5e et v4. Selon Google, TPU v5p a deux fois plus de FLOPs et est quatre fois plus évolutif lorsqu’on considère FLOPS par nœud que TPU v4. Il peut également former des modèles LLM 2,8 fois plus rapidement et intégrer des modèles denses 1,9 fois plus rapidement que TPU v4. Puis il y a le nouvel ordinateur hyper-intelligent, qui comprend un système intégré avec un logiciel ouvert, des composants matériels optimisés pour les performances, des frameworks d’apprentissage machine et des modèles de consommation flexibles. L’idée est que cette association permettra d’améliorer la productivité et l’efficacité par rapport à une situation où chaque élément serait examiné séparément. Les composants matériels optimisés pour les performances de l’ordinateur hyper-intelligent utilisent la technologie de réseau de centres de données Jupiter de Google. Pour une fois, Google fournit un logiciel ouvert aux développeurs avec « un soutien complet » pour les frameworks d’apprentissage machine tels que JAX, PyTorch et TensorFlow. Cette annonce intervient à la suite du lancement de Meta et d’IBM de l’Alliance IA, qui privilégie le partage du code source (et Google n’est notablement pas impliqué). L’ordinateur hyper-intelligent introduit également deux modèles, le mode Flex Start et le mode Calendar.
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle
Les Problèmes Communs Rencontrés par la Société dans l’Utilisation Efficace des Derniers Développements de l’Intelligence Artificielle Introduction L’intelligence artificielle (IA)
