« La Chine entraîne un modèle d’IA de 100 milliards de paramètres sur une infrastructure nationale »

L’Institut de recherche en IA de China Telcom affirme avoir entraîné un modèle de 100 milliards de paramètres en utilisant uniquement de la puissance de calcul produite nationalement – un exploit qui suggère que les entités du Moyen Royaume ne sont pas colossalement perturbées par des sanctions qui étouffent les exportations de technologies occidentales vers le pays. Le modèle s’appelle TeleChat2-115B et, selon une mise à jour de GitHub postée le 20 septembre, il a été « entraîné entièrement avec de la puissance de calcul nationale et open source ». « Le modèle open source TeleChat2-115B est entraîné en utilisant 10 billions de jetons provenant d’un corpus chinois et anglais de haute qualité », indique la page GitHub du projet. La page contient également une indication sur la manière dont China Telecom a pu entraîner le modèle, avec une mention de la compatibilité avec le serveur d’entraînement « Ascend Atlas 800T A2 » – un produit Huawei répertorié comme prenant en charge les processeurs Kunpeng 920 7265 ou Kunpeng 920 5250, respectivement fonctionnant avec 64 cœurs à 3.0 GHz et 48 cœurs à 2.6 GHz. Huawei construit ces processeurs en utilisant l’architecture Arm 8.2 et les décrit comme étant produits avec un processus en 7 nm.