« Les benchmarks montrent qu’une ancienne Nvidia RTX 3090 est suffisante pour servir des LLM à des milliers de personnes. »

Si vous voulez mettre à l’échelle un grand modèle linguistique (LLM) pour quelques milliers d’utilisateurs, vous pourriez penser qu’une carte graphique d’entreprise puissante est une exigence difficile. Cependant, selon Backprop au moins, tout ce dont vous avez réellement besoin est une carte graphique quatre ans. Dans un article récent, la start-up estonienne de cloud GPU a démontré comment un seul Nvidia RTX 3090, lancé fin 2020, pouvait servir un LLM modeste comme Llama 3.1 8B à FP16 en traitant plus de 100 demandes simultanées tout en maintenant des débits acceptables. Comme seule une petite fraction des utilisateurs est susceptible de faire des demandes à un moment donné, Backprop affirme qu’un seul 3090 pourrait en réalité prendre en charge des milliers d’utilisateurs finaux. La start-up loue des ressources GPU depuis trois ans et a récemment basculé vers une offre de cloud en libre-service. Bien que l’alimentation d’un cloud avec du matériel grand public puisse sembler être un choix étrange, Backprop n’est guère le premier à le faire. Le fournisseur allemand de services d’infrastructure Hetzner propose depuis longtemps des serveurs bare metal basés sur la famille de processeurs AMD Ryzen. En tant que GPU, le RTX 3090 n’est pas une mauvaise carte pour exécuter des LLMs. En termes de performances, il offre 142 téraFLOPS de performances FP16 denses et propose une bande passante mémoire de 936 Go/s, cette dernière étant un facteur clé de performance dans les charges de travail d’inférence LLM.