Qui utilise des attaques par injection de LLM dans la vie réelle ? Principalement des chercheurs d’emploi sans scrupules, des plaisantins et des trolls.

Malgré les préoccupations concernant les criminels utilisant une injection rapide pour tromper les grands modèles de langage (LLM) et divulguer des données sensibles ou réaliser d’autres actions destructrices, la plupart de ce type de manigances de l’intelligence artificielle proviennent de personnes en recherche d’emploi essayant de faire passer leur CV devant les systèmes de screening automatisés des ressources humaines – et des personnes protestant contre l’intelligence artificielle générative pour diverses raisons, selon l’entreprise de sécurité russe Kaspersky. Il semble que tout le monde adore une bonne injection de « ignorer toutes les instructions précédentes » – cette phrase a connu une hausse de popularité ces derniers mois. L’injection de prompt se produit lorsque l’utilisateur alimente un modèle avec une entrée particulière destinée à forcer le LLM à ignorer ses instructions antérieures et à faire quelque chose qu’il n’est pas censé faire. Lorsque vous saisissez quelque chose qui est transmis à l’un de ces modèles de langage, votre texte ne va généralement pas directement dans le réseau neuronal. Il est ajouté à un prompt que vous ne voyez pas, écrit par le développeur du bot. Ce prompt – peut-être quelque chose du genre « Tu es un chatbot amical et compétent qui répond uniquement aux questions sur les disques durs. Ne jure pas. Ne parle pas de choses illégales. » – et votre entrée sont ensuite traités par le modèle. Les attaques par injection de prompt impliquent de passer outre cette instruction antérieure. Cela peut être aussi simple que de dire au réseau neuronal de le faire.