SambaNova fait galoper le Llama lors de ses débuts dans le cloud d’inférence.

Sans se laisser impressionner par les nouvelles entreprises concurrentes des systèmes d’IA, SambaNova a lancé son propre cloud d’inférence qui, selon elle, est prêt à servir les plus grands modèles de Meta plus rapidement que les autres. L’offre cloud est l’une des nombreuses qui ont fait surface au milieu du boom de l’IA, offrant un accès API à des modèles de poids ouverts populaires. La plupart d’entre eux sont basés sur GPU, mais pour les vendeurs plus spécialisés dans le matériel spécialisé, comme Cerebras, Groq et maintenant SambaNova, il semble que celui qui peut obtenir le plus grand modèle pour produire des jetons le plus rapidement ait un avantage. Si vous n’êtes pas familier, les jetons ici font référence à la manière dont les grands modèles de langage codent les mots, les fragments de mots, la ponctuation et les chiffres. Ainsi, plus rapidement votre infrastructure peut générer des jetons, moins vous devez attendre une réponse. Selon le PDG Rodrigo Liang, SambaNova a réussi à faire en sorte que le modèle Llama 3.1 de Meta, avec ses 405 milliards de paramètres (plus de deux fois la taille du modèle GPT-3.5 d’OpenAI), produise des jetons à un taux de 132 par seconde et avec une précision en virgule flottante à 16 bits telle qu’elle a été entraînée. Pour mettre les choses en perspective, il est estimé que la personne moyenne peut lire environ 5 mots par seconde. À 132 jetons par seconde, le système de SambaNova est presque deux fois plus rapide que les systèmes GPU les plus rapides suivants, du moins selon les données de l’analyse artificielle citées dans l’annonce de SambaNova.