La biais des IA représente un danger pour le secteur financier, avertit la Banque d’Angleterre.

Selon un rapport publié mercredi par Kathleen Blake, une experte en technologie financière travaillant pour la Banque d’Angleterre, les biais implicites des modèles de génération d’IA actuels rendent leur adoption rapide dans le secteur financier dangereuse. Le rapport de Blake divise les biais de l’IA en deux catégories: les biais fondés sur les données d’entraînement sous-jacentes et les biais fondés sur les résultats de la sortie du modèle. Bien que les deux reflètent les biais humains que les développeurs et les créateurs apportent aux modèles d’IA, la première catégorie est impossible à contrer simplement en supprimant les points de données qui indiquent, par exemple, la féminité ou la non-blancheur. Blake a comparé le biais des données à la pratique du marquage par zones rouges dans le crédit immobilier. Dans un système de marquage par zones rouges, les assureurs immobiliers et les prêteurs hypothécaires évaluent les clients non blancs comme étant «à risque» en fonction de leur quartier, rendant le crédit et l’assurance plus difficiles à obtenir pour les personnes de couleur, sans attribuer directement les refus ou les prix élevés à la race. Une logique similaire est déjà visible dans les systèmes d’IA, a noté Blake. «[…] Le modèle peut faire des corrélations sous-jacentes qui conduisent à une prise de décision biaisée sur la base de caractéristiques non protégées», a écrit Blake. «En d’autres termes, les caractéristiques non protégées restantes pourraient agir comme des proxies pour les caractéristiques protégées.» Le biais sociétal, en revanche, est «ce qui se produit lorsque les normes et les héritages négatifs d’une société créent des aveuglements». Blake a cité un algorithme de recrutement d’Amazon qui tendait à recommander plus de candidats masculins que féminins, car les données, historiquement, montraient que les hommes étaient généralement embauchés plus souvent.