La biais de l’IA pose un danger pour le secteur financier, avertit la Banque d’Angleterre.

Selon un rapport publié mercredi par Kathleen Blake, une experte en technologie financière travaillant pour la Banque d’Angleterre, les biais implicites des modèles d’apprentissage automatique actuels rendent leur adoption rapide dans le secteur financier dangereuse. Le rapport de Blake divise les biais des modèles d’IA en deux catégories: les biais fondés sur les données d’entraînement sous-jacentes et les biais fondés sur les résultats de la sortie du modèle. Bien que les deux reflètent les biais humains que les développeurs et les créateurs apportent aux modèles d’IA, il est impossible de contrer la première catégorie uniquement en supprimant les points de données qui indiquent, par exemple, la féminité ou la non-blancheur. Blake a comparé le biais des données à la pratique de la délimitation des lignes rouges dans le prêt hypothécaire. Dans un système de délimitation des lignes rouges, les assureurs de logements et les prêteurs hypothécaires évaluent les clients non blancs comme étant «à risque» en fonction de leur quartier, ce qui rend le crédit et l’assurance plus difficiles à obtenir pour les personnes de couleur, sans attribuer directement les refus ou les prix plus élevés à la race. De telles logiques sont déjà visibles dans les systèmes d’IA, a noté Blake. «[…] Le modèle peut faire des corrélations sous-jacentes qui conduisent à une prise de décision biaisée sur la base de caractéristiques non protégées», a écrit Blake. «En d’autres termes, les caractéristiques non protégées restantes pourraient agir en tant que proxies pour les caractéristiques protégées.» Le biais sociétal, en revanche, est «celui où les normes et les héritages négatifs d’une société créent des zones aveugles». Blake a cité un algorithme de recrutement d’Amazon qui tendait à recommander plus de candidats masculins que féminins, car les données montraient que, historiquement, les hommes étaient plus souvent embauchés.