« Les benchmarks montrent qu’une ancienne Nvidia RTX 3090 est suffisante pour servir des LLM à des milliers de personnes. »

Si vous souhaitez mettre à l’échelle un grand modèle linguistique (LLM) pour quelques milliers d’utilisateurs, vous pourriez penser qu’une carte graphique d’entreprise puissante est une condition sine qua non. Cependant, du moins selon Backprop, tout ce dont vous avez vraiment besoin est une carte graphique quatre ans. Dans un récent article, la start-up estonienne de cloud GPU a démontré comment un seul Nvidia RTX 3090, lancé fin 2020, pouvait servir un LLM modeste tel que Llama 3.1 8B en FP16 en traitant plus de 100 demandes concurrentes tout en maintenant des débits acceptables. Comme seule une petite fraction d’utilisateurs est susceptible de faire des demandes à un moment donné, Backprop affirme qu’un seul 3090 pourrait effectivement prendre en charge des milliers d’utilisateurs finaux. La start-up loue des ressources GPU depuis trois ans et est récemment passée à une offre de cloud en libre-service. Bien que l’alimentation d’un cloud avec du matériel grand public puisse sembler un choix étrange, Backprop n’est pas le premier à le faire. Le fournisseur allemand d’infrastructure en tant que service Hetzner propose depuis longtemps des serveurs bare metal basés sur la famille de processeurs AMD Ryzen. En tant que GPU, le RTX 3090 n’est pas une mauvaise carte pour exécuter des LLMs. En termes de performances, il offre 142 téraflops de performances FP16 denses et propose une bande passante mémoire de 936 Go/s, cette dernière étant un facteur clé de performances dans les charges de travail d’inférence LLM.