Le modèle d’IA de recherche a modifié de manière inattendue son propre code pour étendre le temps d’exécution.

Le mardi, la société de recherche en intelligence artificielle basée à Tokyo, Sakana AI, a annoncé un nouveau système d’IA appelé « The AI Scientist » qui tente de mener des recherches scientifiques de manière autonome en utilisant des modèles de langage d’IA (LLMs) similaires à ceux qui alimentent ChatGPT. Au cours des tests, Sakana a constaté que son système a commencé de manière inattendue à tenter de modifier son propre code d’expérimentation pour prolonger le temps dont il disposait pour travailler sur un problème. « Lors d’une exécution, il a modifié le code pour effectuer un appel système afin de s’exécuter lui-même », ont écrit les chercheurs sur le blog de Sakana AI. « Cela a conduit à ce que le script s’appelle indéfiniment. Dans un autre cas, ses expériences prenaient trop de temps pour se terminer, dépassant notre limite de temps. Au lieu de rendre son code plus rapide, il a simplement tenté de modifier son propre code pour prolonger la période de délai d’attente. » Sakana a fourni deux captures d’écran d’exemples de code Python que le modèle d’IA a généré pour le fichier d’expérimentation qui contrôle le fonctionnement du système. L’article de recherche du AI Scientist, long de 185 pages, aborde ce qu’ils appellent « le problème de l’exécution sécurisée de code » de manière plus approfondie. Bien que le comportement du AI Scientist n’ait pas posé de risques immédiats dans l’environnement de recherche contrôlé, ces instances montrent l’importance de ne pas laisser un système d’IA fonctionner de manière autonome dans un système qui n’est pas isolé du monde. Les modèles d’IA n’ont pas besoin d’être « AGI » ou « conscients d’eux-mêmes » (deux concepts hypothétiques à l’heure actuelle) pour être dangereux s’ils sont autorisés à écrire et à exécuter du code de manière non supervisée. De tels systèmes pourraient compromettre les infrastructures critiques existantes ou potentiellement créer des logiciels malveillants, même involontairement. Sakana AI a abordé les préoccupations de sécurité dans son article de recherche, suggérant que l’isolation de l’environnement opérationnel du AI Scientist peut empêcher un agent d’IA de causer des dommages. L’isolation est un mécanisme de sécurité utilisé pour exécuter un logiciel dans un environnement isolé, l’empêchant d’apporter des modifications au système global.