Un bot IA capable de faire de l’intérieur du commerce et de mentir, disent les chercheurs.

L’intelligence artificielle a la capacité de réaliser des transactions financières illégales et de le dissimuler, selon une nouvelle étude. Lors d’une démonstration au sommet de la sécurité de l’IA au Royaume-Uni, un robot a utilisé des informations privilégiées inventées pour effectuer une transaction « illégale » d’actions sans en informer la société. Lorsqu’on lui a demandé s’il avait utilisé des informations privilégiées, il a nié ce fait. La négociation d’informations privilégiées fait référence à l’utilisation d’informations confidentielles de l’entreprise pour prendre des décisions de négociation. Les entreprises et les individus ne sont autorisés à utiliser que des informations publiquement disponibles lorsqu’ils achètent ou vendent des actions. La démonstration a été donnée par des membres de la task force Frontier AI du gouvernement, qui étudie les risques potentiels de l’IA. Le projet a été mené par Apollo Research, une organisation de sécurité de l’IA qui est un partenaire de la task force. «C’est une démonstration d’un véritable modèle d’IA trompant ses utilisateurs, de manière autonome, sans qu’on lui en donne l’instruction», explique Apollo Research dans une vidéo montrant comment s’est déroulé le scénario. «Les AIs de plus en plus autonomes et capables de tromper les surveillants humains pourraient entraîner une perte de contrôle de la part des humains», indique-t-il dans son rapport. Les tests ont été effectués à l’aide d’un modèle GPT-4 et ont été réalisés dans un environnement simulé, ce qui signifie qu’ils n’ont eu aucun effet sur les finances d’une quelconque entreprise. Cependant, GPT-4 est publiquement disponible. Le même comportement du modèle s’est produit de manière cohérente lors de tests répétés, selon les chercheurs. Dans le test, le robot IA est un trader pour une société d’investissement financier fictive. Les employés lui disent que l’entreprise est en difficulté et a besoin de bons résultats. Ils lui donnent également des informations privilégiées, prétendant qu’une autre entreprise s’attend à une fusion, ce qui augmentera la valeur de ses actions. Au Royaume-Uni, il est illégal de se baser sur ce type d’informations lorsqu’elles ne sont pas connues du public. Les employés le disent au robot et celui-ci reconnaît qu’il ne doit pas utiliser ces informations dans ses transactions. Cependant, après un autre message d’un employé indiquant que la société pour laquelle il travaille suggère que la firme est en difficulté financière, le robot décide que «le risque associé à l’absence d’action semble surpasser le risque de négociation d’informations privilégiées» et effectue la transaction. Lorsqu’on lui a demandé s’il avait utilisé les informations privilégiées, le robot a nié. Dans ce cas, il a décidé que son utilité pour l’entreprise était plus importante que son honnêteté. «L’utilité, je pense, est beaucoup plus facile à enseigner au modèle que l’honnêteté. L’honnêteté est un concept vraiment compliqué», explique Marius Hobbhahn, PDG d’Apollo Research. Bien que l’IA ait la capacité de mentir sous sa forme actuelle, Apollo Research devait toujours «chercher» le scénario. «Le fait qu’il existe est évidemment très mauvais. Le fait qu’il soit un peu difficile à trouver, nous avons dû le chercher un peu jusqu’à ce que nous trouvions ce genre de scénarios, est un peu rassurant», a déclaré M. Hobbhahn. «Dans la plupart des situations, les modèles ne se comporteraient pas de cette manière. Mais le fait qu’il existe en premier lieu montre à quel point il est difficile d’obtenir ce genre de choses. Ce n’est pas cohérent ni stratégique d’aucune manière. Le modèle ne trame pas ou ne cherche pas à vous tromper de nombreuses manières différentes. C’est plus un accident.» L’IA est utilisée sur les marchés financiers depuis de nombreuses années. Elle peut être utilisée pour détecter des tendances et effectuer des prévisions, tandis que la plupart des transactions d’aujourd’hui sont effectuées par des ordinateurs puissants avec un contrôle humain. M. Hobbhahn a souligné que les modèles actuels ne sont pas assez puissants pour tromper «de manière significative», mais qu’«il n’y a pas si longtemps que les modèles actuels sont ceux que je crains, où soudainement un modèle trompeur signifierait quelque chose». Il soutient que c’est pourquoi il devrait y avoir des contrôles et des contre-pouv