L’avertissement du Gouverneur de la Banque d’Angleterre sur les dangers de la biais de l’IA pour le secteur financier

Les biais implicites des modèles d’IA générative actuels rendent leur adoption rapide dans le secteur financier dangereuse, selon un rapport d’un expert en technologie financière travaillant pour la Banque d’Angleterre. Le rapport de Kathleen Blake, publié mercredi, divise le biais de l’IA en deux catégories: le biais fondé sur les données d’entraînement sous-jacentes et le biais fondé sur les résultats de la sortie du modèle. Bien que les deux reflètent les biais humains que les développeurs et les créateurs apportent aux modèles d’IA, la première catégorie est impossible à contrer simplement en supprimant les points de données qui indiquent, par exemple, la féminité ou la non-blancheur. Blake a comparé le biais de données à la pratique de la délimitation des zones rouges dans le prêt hypothécaire. Dans un système de délimitation des zones rouges, les assureurs immobiliers et les prêteurs hypothécaires évaluent les clients non blancs comme étant «à risque» en fonction de leur quartier, rendant le crédit et l’assurance plus difficiles à obtenir pour les personnes de couleur, tout en n’attribuant pas directement les refus ou les prix plus élevés à la race. Une logique similaire est déjà visible dans les systèmes d’IA, a souligné Blake. «[…] Le modèle peut faire des corrélations sous-jacentes qui conduisent à une prise de décision biaisée sur la base de caractéristiques non protégées», a écrit Blake. «En d’autres termes, les caractéristiques non protégées restantes pourraient agir en tant que proxies pour les caractéristiques protégées.» Le biais sociétal, en revanche, est «celui où les normes et les héritages négatifs d’une société créent des aveuglements». Blake a cité un algorithme de recrutement Amazon qui tendait à recommander plus de candidats masculins que féminins, car les données, historiquement, montraient que les hommes étaient généralement embauchés plus souvent.