Cloudflare lance de nouveaux outils AI pour aider les clients à déployer et à exécuter des modèles.

Dans le but de profiter de la folie des IA, Cloudflare, le fournisseur de services en nuage, lance une nouvelle gamme de produits et d’applications visant à aider ses clients à construire, déployer et exécuter des modèles d’IA au niveau du réseau. L’une des nouvelles offres, Workers AI, permet aux clients d’accéder à des processeurs graphiques localisés physiquement à proximité hébergés par les partenaires de Cloudflare, afin de pouvoir exécuter des modèles d’IA sur la base d’un paiement à l’utilisation. Un autre, Vectorize, fournit une base de données vectorielles pour stocker des embeddings vectoriels – des représentations mathématiques des données – générés par des modèles issus de Workers AI. Enfin, AI Gateway est conçu pour fournir des métriques permettant aux clients de mieux gérer le coût de fonctionnement des applications d’IA. Selon le PDG de Cloudflare, Matthew Prince, le lancement de la nouvelle suite de produits axée sur l’IA était motivé par un désir fort de la part des clients de Cloudflare d’une solution de gestion des IA plus simple et plus facile à utiliser, axée sur les économies réalisées. «Les offres déjà présentes sur le marché sont toujours très complexes – elles nécessitent de coudre ensemble de nombreux nouveaux fournisseurs, et cela devient vite coûteux», a déclaré Prince à TechCrunch dans une interview par e-mail. «Il y a également très peu de données disponibles actuellement sur la façon dont vous dépensez de l’argent en matière d’IA; l’observabilité est un gros challenge alors que les dépenses en IA augmentent rapidement. Nous pouvons aider à simplifier tous ces aspects pour les développeurs. » À cet effet, Workers AI tente de s’assurer que l’inférence d’IA a toujours lieu sur des GPUs proches des utilisateurs (du point de vue géographique) afin de fournir une expérience utilisateur finale basée sur l’IA à faible latence. En s’appuyant sur ONNX, le kit d’interconnexion d’apprentissage machine soutenu par Microsoft utilisé pour convertir entre différents frameworks d’IA, Workers AI permet aux modèles d’IA de s’exécuter là où le traitement a le plus de sens en termes de bande passante, de latence, de connectivité, de traitement et de contraintes de localisation.

Share the Post: