« Les as de l’informatique défient OpenAI, les modèles fermés de Google »

Les scientifiques ont réussi à ouvrir les services d’IA fermés d’OpenAI et de Google avec une attaque qui récupère une partie cachée des modèles transformateurs. L’attaque illumine partiellement un type particulier de modèle de « boîte noire », révélant la couche de projection d’incorporation d’un modèle transformateur grâce à des requêtes API. Le coût de cette opération varie de quelques dollars à plusieurs milliers, en fonction de la taille du modèle attaqué et du nombre de requêtes. Pas moins de 13 informaticiens de Google DeepMind, de l’ETH Zurich, de l’Université de Washington, d’OpenAI et de l’Université McGill ont rédigé un article décrivant l’attaque, qui s’appuie sur une technique d’attaque d’extraction de modèle proposée en 2016. « Pour moins de 20 USD, notre attaque extrait l’ensemble de la matrice de projection des modèles de langage ada et babbage d’OpenAI », déclarent les chercheurs dans leur article. « Nous confirmons ainsi, pour la première fois, que ces modèles de boîte noire ont une dimension cachée de 1024 et 2048, respectivement. Nous récupérons également la taille exacte de la dimension cachée du modèle gpt-3.5-turbo, et estimons qu’il en coûterait moins de 2 000 USD en requêtes pour récupérer l’ensemble de la matrice de projection. » Les chercheurs ont communiqué leurs résultats à OpenAI et Google, qui auraient mis en place des défenses pour atténuer l’attaque. Ils ont choisi de ne pas publier la taille de deux modèles OpenAI gpt-3.5-turbo, qui sont toujours en cours d’utilisation. Les modèles ada et babbage sont tous deux obsolètes, il a donc été jugé sans danger de divulguer leurs tailles respectives.