Les prodiges de l’informatique défient OpenAI, tandis que Google reste hermétique.

Les scientifiques ont réussi à ouvrir des services d’IA fermés d’OpenAI et de Google grâce à une attaque qui récupère une partie cachée des modèles de transformateur. L’attaque illumine partiellement un certain type de modèle appelé « boîte noire », révélant la couche de projection d’incorporation d’un modèle de transformateur à travers des requêtes API. Le coût varie de quelques dollars à plusieurs milliers, selon la taille du modèle attaqué et le nombre de requêtes. Pas moins de 13 informaticiens de Google DeepMind, de l’ETH Zurich, de l’Université de Washington, d’OpenAI et de l’Université McGill ont rédigé un article décrivant l’attaque, qui s’appuie sur une technique d’attaque par extraction de modèle proposée en 2016. « Pour moins de 20 dollars américains, notre attaque extrait l’ensemble de la matrice de projection des modèles de langage ada et babbage d’OpenAI », déclarent les chercheurs dans leur article. « Nous confirmons ainsi, pour la première fois, que ces modèles de boîte noire ont une dimension cachée de 1024 et 2048, respectivement. Nous récupérons également la taille exacte de la dimension cachée du modèle gpt-3.5-turbo, et estimons qu’il en coûterait moins de 2 000 dollars en requêtes pour récupérer l’ensemble de la matrice de projection. » Les chercheurs ont communiqué leurs conclusions à OpenAI et Google, qui auraient mis en place des défenses pour atténuer l’attaque. Ils ont choisi de ne pas publier la taille de deux modèles OpenAI gpt-3.5-turbo, qui sont toujours en cours d’utilisation. Les modèles ada et babbage sont tous deux obsolètes, donc la divulgation de leurs tailles respectives a été jugée sans danger.