Les superchips CPU-GPU GH200 de Nvidia, tant attendues, sont finalement mises en vente et la puce de 1 000 watts, conçue pour fonctionner dans des serveurs et gérer de lourdes tâches d’entraînement et d’inférences AI, est même disponible dans une station de travail de la startup allemande gptshop.ai. Bernhard Guentner, le cerveau derrière cette start-up, a intégré le GH200 dans une station de travail après avoir été insatisfait des performances des RTX 4090 grand public de Nvidia pour exécuter de grands modèles et en raison de sa préférence de garder le travail hors du cloud. Il a donc modifié un serveur QCT pour le faire rentrer dans un boîtier PC grand public. Et si vous avez entre 47 500 € ($ 50 900) et 59 500 € ($ 63 700) à disposition, il affirme qu’il en construira un pour vous également. « J’ai commencé à expérimenter avec les RTX 4090 de Nvidia. J’en ai acheté plusieurs et je les ai installés dans une étagère de minage pour effectuer quelques tests. J’ai rapidement compris que ce n’était pas la bonne solution », explique Guentner dans une interview avec The Register. Bien que de nombreux modèles de langage disponibles sur des plates-formes telles que Hugging Face soient volumineux, Guentner s’est rapidement heurté à un problème familier à tous ceux qui ont expérimenté avec l’inférence d’IA : plus le modèle est grand, plus vous avez besoin de mémoire vidéo.
« Les livres de Penguin Random House disent maintenant explicitement ‘non’ à la formation IA »
‘Écrit par Emma Roth, dont le portfolio couvre aussi bien les percées technologiques grand public, les dynamiques de l’industrie du
