‘Cette semaine, Hugging Face a dévoilé une nouvelle offre appelée HUGS, qui est présentée comme un concurrent des Inference Microservices (NIMs) de Nvidia. L’introduction de HUGS vise à faciliter et à élargir le déploiement et la mise en œuvre de grands modèles de langage et d’autres modèles d’IA, promettent les créateurs.
En essence, les services d’IA générative de Hugging Face (HUGS) sont des images de modèles conteneurisées. Ils peuvent fournir aux utilisateurs tous les outils nécessaires pour implémenter leurs modèles, éliminant ainsi la nécessité de lutter avec des modèles de langage spécifiques pour obtenir des performances optimales et une évolutivité. Les utilisateurs peuvent désormais lancer sans effort une image de conteneur pré-formatée via Docker ou Kubernetes et s’y connecter de manière transparente en utilisant des appels d’API OpenAI conventionnels.
La conception de HUGS repose fortement sur les cadres et les bibliothèques de Text Generation Inference (TGI) et Transformers en source ouverte. Cette base assure que HUGS peut être mis en œuvre sur diverses plateformes matérielles, y compris les GPU Nvidia et AMD. Les créateurs de HUGS prévoient également d’accueillir des accélérateurs d’IA spécialisés comme l’Inferentia d’Amazon ou les TPU de Google dans un avenir proche. Aucune information n’est encore disponible concernant le support pour les plateformes Intel Gaudi.
Bien que HUGS repose sur des technologies en source ouverte, elles ne sont pas proposées gratuitement, tout comme les NIMS de Nvidia. Lorsqu’il est déployé sur AWS ou Google Cloud, HUGS coûte environ 1$ par heure et par conteneur. Ce prix contraste fortement avec les tarifs des NIMs de Nvidia, qui coûtent 1$ de l’heure par GPU lorsqu’ils sont déployés dans le cloud ou 4 500$ par an par GPU sur site. De ce fait, l’avantage financier bascule considérablement en faveur de Hugging Face lors du déploiement de modèles plus importants, comme le Llama 3.1 405B de Meta, qui nécessite huit GPU.
En fin de compte, l’avantage distinct de HUGS est son support pour divers types de matériel, ce qui permet aux utilisateurs de ne pas être confinés à l’écosystème matériel de Nvidia. Le lancement de HUGS souligne un développement excitant dans l’espace de l’IA, apportant plus d’options, de personnalisation et de valeur pour les utilisateurs.’
