L’essai du gouvernement australien révèle que l’IA est bien pire que les humains pour résumer.

L’étude de preuve de concept de l’ASIC (PDF), qui s’est déroulée en janvier et février, a été rédigée en mars et publiée en réponse à une enquête du Sénat en mai, présente un certain nombre de limitations qui rendent difficile de généraliser sur les capacités de synthèse des LLM de pointe de nos jours. Néanmoins, l’étude du gouvernement met en évidence de nombreux pièges potentiels auxquels les grandes organisations devraient réfléchir avant de simplement insérer les sorties des LLM dans leurs flux de travail existants. Pour son étude, l’ASIC s’est associée à Amazon Web Services pour évaluer la capacité des LLM à résumer « un échantillon de soumissions publiques faites dans le cadre d’une enquête d’un comité parlementaire mixte externe, examinant les cabinets d’audit et de conseil ». Dans le cadre des objectifs de l’ASIC, un bon résumé de l’une de ces soumissions mettrait en avant toute mention de l’ASIC, les recommandations pour éviter les conflits d’intérêts et les appels à davantage de réglementation, le tout avec des références aux numéros de page et un « bref contexte » pour expliquer.