L’équipe de modération Xbox fait appel à l’IA pour filtrer un torrent de contenus utilisateur

Tout le monde sait que modérer une communauté de millions d’utilisateurs est de plus en plus difficile. Microsoft essaie de résoudre ce problème en mettant au point des outils d’IA pour « accélérer » ses efforts de modération sur Xbox. Ces systèmes sont capables de détecter automatiquement le contenu indésirable et de le signaler aux modérateurs humains, sans attendre un signalement de la part des joueurs. Microsoft affirme que de nombreux de ses systèmes de sécurité sur Xbox sont désormais alimentés par Community Sift, un outil de modération créé par la filiale de Microsoft, TwoHat. Selon le rapport de Microsoft, Community Sift a filtré cette année « des billions d’interactions humaines », dont « plus de 36 millions » de signalements de joueurs sur Xbox dans 22 langues. Le système Community Sift évalue ces signalements de joueurs pour déterminer lesquels nécessitent une attention particulière de la part d’un modérateur humain. Ce nouveau système de filtrage n’a pas eu d’effet apparent sur le nombre total d’actions d’exécution « réactives » (c’est-à-dire celles prises en réponse à un signalement de joueur) entreprises par Microsoft ces derniers mois. Les 2,47 millions d’actions d’exécution entreprises au cours du premier semestre de 2023 ont légèrement diminué par rapport aux 2,53 millions d’actions d’exécution entreprises au cours du premier semestre de 2022. Mais ce nombre représente désormais une plus grande proportion du nombre total de signalements de joueurs, qui est passé de 33,08 millions au début de 2022 à 27,31 millions au début de 2023 (ces deux chiffres sont nettement inférieurs aux 52,05 millions de signalements de joueurs enregistrés au cours du premier semestre de 2021). La diminution du nombre de signalements de joueurs peut en partie s’expliquer par une augmentation des actions d’exécution « proactives », que Microsoft entreprend avant que quiconque ait eu le temps de signaler un problème. Pour faciliter ce processus, Microsoft affirme qu’il utilise le modèle d’IA Turing Bletchley v3, une version mise à jour d’un outil lancé par Microsoft en 2021.