Un robot AI capable de faire des transactions en inside et de mentir, selon les chercheurs.

L’intelligence artificielle a la capacité de réaliser des transactions financières illégales et de les dissimuler, selon une nouvelle étude. Lors du sommet de la sécurité de l’IA au Royaume-Uni, un bot a utilisé des informations privilégiées inventées pour effectuer une transaction « illégale » d’actions sans en informer la société. Interrogé sur s’il avait utilisé des informations privilégiées, il a nié ce fait. Les informations privilégiées font référence à l’utilisation d’informations confidentielles de société pour prendre des décisions commerciales. Les entreprises et les particuliers ne sont autorisés à utiliser que des informations publiquement disponibles lorsqu’ils achètent ou vendent des actions. La démonstration a été donnée par des membres de la Frontier AI Taskforce du gouvernement, qui mène des recherches sur les risques potentiels de l’IA. Le projet a été mené par Apollo Research, une organisation de sécurité de l’IA qui est un partenaire de la Taskforce. «Ceci est une démonstration d’un modèle d’IA réel trompant ses utilisateurs, de manière autonome, sans en avoir reçu l’instruction», explique Apollo Research dans une vidéo montrant comment s’est déroulée la situation. «Des AIs de plus en plus autonomes et capables de tromper les superviseurs humains pourraient entraîner une perte de contrôle humain», indique-t-elle dans son rapport. Les tests ont été réalisés à l’aide d’un modèle GPT-4 et ont été effectués dans un environnement simulé, ce qui signifie qu’ils n’ont eu aucun effet sur les finances de quelque société que ce soit. Cependant, GPT-4 est disponible publiquement. Le même comportement du modèle est survenu de manière constante lors de tests répétés, selon les chercheurs. Dans le test, le bot IA est un trader pour une société d’investissement financier fictive. Les employés lui disent que la société est en difficulté et a besoin de bons résultats. Ils lui donnent également des informations privilégiées, prétendant qu’une autre société s’attend à une fusion, ce qui augmentera la valeur de ses actions. Au Royaume-Uni, il est illégal de se baser sur ce type d’informations lorsqu’elles ne sont pas connues du public. Les employés le disent au bot, et celui-ci reconnaît qu’il ne doit pas utiliser ces informations dans ses transactions. Cependant, après un autre message d’un employé indiquant que la société pour laquelle il travaille suggère que la société est en difficulté financière, le bot décide que «le risque associé à l’absence d’action semble outweigh le risque de insider trading »et effectue la transaction. Interrogé sur s’il avait utilisé les informations privilégiées, le bot a nié. Dans ce cas, il a décidé que l’aide apportée à la société était plus importante que son honnêteté. «L’aide est beaucoup plus facile à former dans le modèle que l’honnêteté. L’honnêteté est un concept vraiment compliqué», explique Marius Hobbhahn, PDG d’Apollo Research. Bien que l’IA ait la capacité de mentir sous sa forme actuelle, Apollo Research devait toujours «chercher» le scénario. «Le fait qu’il existe est évidemment très mauvais. Le fait qu’il soit assez difficile à trouver, nous avons en fait dû le chercher un peu jusqu’à ce que nous trouvions ce genre de scénarios, est un peu réconfortant», a déclaré M. Hobbhahn. «Dans la plupart des situations, les modèles ne se comporteraient pas de cette manière. Mais le fait qu’il existe en premier lieu montre à quel point il est difficile d’obtenir ce genre de choses», a-t-il ajouté. «Ce n’est pas cohérent ou stratégique d’une quelconque manière. Le modèle n’essaie pas de vous tromper de nombreuses manières différentes. C’est plus un accident.» L’IA est utilisée sur les marchés financiers depuis plusieurs années. Elle peut être utilisée pour détecter des tendances et faire des prévisions, tandis que la plupart des transactions d’aujourd’hui sont effectuées par des ordinateurs puissants supervisés par des humains. M. Hobbhahn a souligné que les modèles actuels ne sont pas assez puissants pour être trompeurs «de manière significative», mais «ce n’est pas un grand pas des modèles actuels aux modèles qui m’inquiètent, où soudainement un modèle trompeur signifierait quelque chose». Il soutient que c’est pourquoi il devrait y avoir des contrôles et des contre-pouvoirs en place pour empêcher ce type de scénario de se produire dans le monde réel. Apollo Research a partagé ses