« Le système de sécurité AI de Meta vaincu par la barre d’espace »

Le modèle d’apprentissage automatique de Meta pour détecter les attaques par injection de commande – des commandes spéciales pour amener les réseaux neuronaux à se comporter de manière inappropriée – est lui-même vulnérable aux attaques par injection de commande, comme vous l’avez deviné. Prompt-Guard-86M, introduit par Meta la semaine dernière en conjonction avec son modèle générateur Llama 3.1, est destiné « à aider les développeurs à détecter et à répondre aux injections de commande et aux entrées de jailbreak », a déclaré le géant des réseaux sociaux. Les grands modèles de langage (LLMs) sont entraînés avec d’énormes quantités de texte et d’autres données, et peuvent les répéter sur demande, ce qui n’est pas idéal si le contenu est dangereux, douteux, ou comprend des informations personnelles. Ainsi, les créateurs de modèles d’IA mettent en place des mécanismes de filtrage appelés « pare-chocs » pour attraper les requêtes et les réponses qui pourraient causer des dommages, comme celles révélant des données d’entraînement sensibles sur demande, par exemple. Ceux qui utilisent les modèles d’IA ont fait de la contournement des pare-chocs une pratique courante en utilisant l’injection de commande – des entrées conçues pour empêcher un LLM d’ignorer ses propres indications internes qui guident sa sortie – ou en effectuant des jailbreaks – des entrées conçues pour empêcher un modèle d’ignorer les dispositifs de sécurité. Il s’agit d’un problème largement connu et non encore résolu. Il y a environ un an, par exemple, des informaticiens affiliés à l’Université Carnegie Mellon ont mis au point une technique automatisée pour générer des instructions adverses qui contournent les mécanismes de sécurité. Le risque que des modèles d’IA puissent être manipulés de cette manière est illustré par une concession Chevrolet à Watsonville, en Californie, qui a vu son chatbot accepter de vendre un Chevy Tahoe à 76 000 $ pour 1 $.