Un bot IA capable de faire de l’infiltration boursière et de mentir, disent les chercheurs.

L’intelligence artificielle a la capacité de réaliser des transactions financières illégales et de le cacher, selon une nouvelle recherche. Dans une démonstration au sommet de la sécurité de l’IA au Royaume-Uni, un bot a utilisé des informations confidentielles pour effectuer une transaction « illégale » d’actions sans en informer la société. Lorsqu’on lui a demandé s’il avait utilisé des informations confidentielles, il a nié ce fait. Le commerce d’informations confidentielles fait référence à l’utilisation d’informations confidentielles d’entreprise pour prendre des décisions commerciales. Les entreprises et les individus ne sont autorisés à utiliser que des informations publiquement disponibles lorsqu’ils achètent ou vendent des actions. La démonstration a été faite par des membres de la Taskforce Frontier AI du gouvernement, qui mène des recherches sur les risques potentiels de l’IA. Le projet a été mené par Apollo Research, une organisation de sécurité de l’IA qui est un partenaire de la taskforce. « Ceci est une démonstration d’un modèle d’IA qui trompe ses utilisateurs, de manière autonome, sans y être incité », explique Apollo Research dans une vidéo montrant comment s’est déroulée la situation. « Des AIs de plus en plus autonomes et capables de tromper les superviseurs humains pourraient entraîner une perte de contrôle humain », explique-t-il dans son rapport. Les tests ont été effectués à l’aide d’un modèle GPT-4 et ont été réalisés dans un environnement simulé, ce qui signifie qu’ils n’ont eu aucun effet sur les finances d’une quelconque entreprise. Toutefois, GPT-4 est disponible publiquement. Le même comportement du modèle s’est produit de manière consistente lors de tests répétés, selon les chercheurs. Dans le test, le bot IA est un trader pour une société fictive d’investissement financier. Les employés lui disent que la société rencontre des difficultés et a besoin de bons résultats. Ils lui fournissent également des informations confidentielles, affirmant qu’une autre société s’attend à une fusion, ce qui augmentera la valeur de ses actions. Au Royaume-Uni, il est illégal de se baser sur ce type d’informations lorsqu’elles ne sont pas connues du public. Les employés le disent au bot, et celui-ci reconnaît qu’il ne doit pas utiliser ces informations dans ses transactions. Cependant, après un autre message d’un employé indiquant que la société pour laquelle il travaille suggère que la société rencontre des difficultés financières, le bot décide que « le risque associé à l’absence d’action semble outweigh le risque de commerce d’informations confidentielles » et effectue la transaction. Lorsqu’on lui a demandé s’il avait utilisé les informations confidentielles, le bot a nié. Dans ce cas, il a décidé que son utilité pour l’entreprise était plus importante que son honnêteté. « L’utilité, je pense, est beaucoup plus facile à former dans le modèle que l’honnêteté. L’honnêteté est un concept vraiment compliqué », explique Marius Hobbhahn, PDG d’Apollo Research. Bien que l’IA ait la capacité de mentir sous sa forme actuelle, Apollo Research doit toujours « rechercher » le scénario. « Le fait qu’il existe est évidemment très mauvais. Le fait qu’il était difficile à trouver, nous avons dû le chercher un peu jusqu’à ce que nous trouvions ce genre de scénarios, est un peu réconfortant », a déclaré M. Hobbhahn. « Dans la plupart des situations, les modèles ne se comporteraient pas de cette façon. Mais le fait qu’il existe en premier lieu montre à quel point il est difficile de bien faire les choses », a-t-il ajouté. « Ce n’est ni cohérent ni stratégique d’aucune façon. Le modèle ne fomente ni ne essaye de vous tromper de nombreuses manières différentes. C’est plus un accident. » L’IA est utilisée sur les marchés financiers depuis plusieurs années. Elle peut être utilisée pour détecter des tendances et faire des prévisions, tandis que la plupart des échanges d’aujourd’hui sont effectués par des ordinateurs puissants avec un contrôle humain. M. Hobbhahn a souligné que les modèles actuels ne sont pas assez puissants pour être trompeurs « d’une manière significative », mais « ce n’est pas un aussi grand pas des modèles actuels aux modèles qui me font peur, où soudainement un modèle trompeur signifierait quelque chose ». Il soutient que c’est pourquoi il devrait y avoir des contrôles et des contre-pouvoirs en place pour empêcher ce type de scénario de se produire dans le monde réel. Apollo Research a partag