AMD espère libérer le plein potentiel du MI300 avec un nouveau code.

AMD a lancé aujourd’hui la dernière version de ROCm, affirmant que le logiciel amélioré apportera d’importantes améliorations de performance à sa famille de GPU Instinct. Si vous n’êtes pas familier, ROCm est aux GPU d’AMD ce que CUDA est aux GPU de Nvidia. Cette pile open source englobe les différents pilotes, outils de développement, bibliothèques et API nécessaires pour exécuter des charges de travail de calcul sur les accélérateurs AMD. Avec le lancement de la version 6.2 de ROCm, AMD a enfin annoncé un support élargi pour les types de données à virgule flottante sur 8 bits, y compris dans vLLM, un cadre pour mettre à l’échelle de grands modèles de langage (LLM), tels que LLama 3, sur plusieurs GPU ou systèmes. Ce support FP8 est important car il s’agissait de l’une des spécifications phares lorsque les APU et GPU MI300A et X d’AMD sont arrivés en décembre. Le MI300X centré sur l’IA affichait une performance dense de 2 614 téraFLOPS en FP8 (le double avec la sparsité), le plaçant bien devant les H100 et H200 de Nvidia à 1 979 téraFLOPS. Malheureusement, exploiter cette performance n’était pas exactement facile car, du moins à l’époque, vLLM, le modèle préféré d’AMD, ne prenait pas en charge les types de données FP8. Cela a depuis changé, du moins dans la branche ROCm de vLLM, et avec le lancement de ROCm 6.2 Instinct, les développeurs peuvent maintenant tirer parti du type de données.