L’avertissement du Gouverneur de la Banque d’Angleterre sur les dangers de la partialité envers l’IA pour le secteur financier

Selon un rapport publié mercredi par Kathleen Blake, une experte en technologie financière travaillant pour la Banque d’Angleterre, les biais implicites des modèles actuels d’intelligence artificielle générative rendent leur adoption rapide dans le secteur financier dangereuse. Le rapport de Blake divise les biais des modèles IA en deux catégories: les biais fondés sur les données d’entraînement sous-jacentes et les biais fondés sur les résultats de la sortie du modèle. Bien que les deux reflètent les biais humains que les développeurs et les créateurs apportent aux modèles d’IA, la première catégorie est impossible à contrer simplement en éliminant les points de données qui indiquent, par exemple, la féminité ou la non-blancheur. Blake a comparé le biais des données à la pratique du marquage par zones des prêts hypothécaires. Dans un système de marquage par zones, les assureurs hypothécaires et les prêteurs évaluent les clients non blancs comme étant «à risque» en fonction de leur quartier, ce qui rend le crédit et l’assurance plus difficiles à obtenir pour les personnes de couleur, sans attribuer directement les refus ou les prix plus élevés à la race. Une logique similaire est déjà visible dans les systèmes d’IA, a souligné Blake. «[…] Le modèle peut faire des corrélations sous-jacentes qui entraînent une prise de décision biaisée fondée sur des caractéristiques non protégées», a écrit Blake. «En d’autres termes, les caractéristiques non protégées restantes pourraient agir en tant que proxies pour des caractéristiques protégées.» Le biais social, en revanche, est «celui où les normes et les héritages négatifs d’une société créent des zones aveugles». Blake a cité un algorithme de recrutement d’Amazon qui tendait à recommander plus de candidats masculins que féminins, car les données, historiquement, montraient que les hommes étaient généralement embauchés plus souvent.