L’avertissement du Bank of England sur les dangers de la AI pour le secteur financier

Selon un rapport publié mercredi par Kathleen Blake, une experte en technologie financière travaillant pour la Banque d’Angleterre, les biais implicites des modèles actuels d’intelligence artificielle générative rendent leur adoption rapide dans le secteur financier dangereuse. Le rapport de Blake divise les biais des modèles d’IA en deux catégories: les biais fondés sur les données d’entraînement sous-jacentes et les biais fondés sur les résultats des sorties du modèle. Bien que les deux reflètent les biais humains que les développeurs et les créateurs apportent aux modèles d’IA, la première catégorie est impossible à contrer simplement en éliminant les points de données qui indiquent, par exemple, la féminité ou le manque de couleur. Blake a comparé le biais des données à la pratique du marquage par des lignes rouges dans le crédit immobilier. Dans un système de marquage par des lignes rouges, les assureurs immobiliers et les prêteurs hypothécaires évaluent les clients non blancs comme étant «à risque» en fonction de leur quartier, ce qui rend le crédit et l’assurance plus difficiles à obtenir pour les personnes de couleur, tout en n’attribuant pas directement les refus ou les prix plus élevés à la race. De telles logiques sont déjà visibles dans les systèmes d’IA, a souligné Blake. «[…] Le modèle peut établir des corrélations sous-jacentes qui entraînent une prise de décision biaisée en fonction de caractéristiques non protégées», a écrit Blake. «En d’autres termes, les caractéristiques non protégées restantes pourraient agir en tant que proxies pour des caractéristiques protégées.» À l’inverse, le biais sociétal est «celui où les normes et les héritages négatifs d’une société créent des aveuglements». Blake a cité un algorithme de recrutement d’Amazon qui tendait à recommander plus de candidats masculins que féminins, car les données, historiquement, ont montré que les hommes étaient généralement embauchés plus souvent.