Les LLMs peuvent rédiger et répondre à des questionnaires, mais ne sont pas tout à fait prêts à perturber la soirée de jeux de connaissances.

Un développeur a mis de grands modèles de langage (LLMs) à l’épreuve, littéralement, en créant AutoQuizzer – un outil qui crée des quiz à partir du texte sur les pages web. L’application a été créée par Stefano Fiorucci – dont le travail quotidien le voit travailler comme ingénieur logiciel pour l’entreprise d’IA Deepset – et le code est disponible sur GitHub. Fiorucci héberge également une version d’AutoQuizzer sur Hugging Face. Utiliser l’application est facile : Donnez-lui une URL, cliquez sur « Générer le quiz, » et préparez-vous à vous tester contre l’interprétation d’un LLM du contenu de la page dans un quiz à choix multiple créé par le modèle. Le système tente de générer cinq questions par page. Dans nos tests, il a seulement fallu une seconde ou deux pour créer un quiz, que les utilisateurs peuvent remplir eux-mêmes ou renvoyer pour que le système d’IA réponde. Lorsque l’application elle-même passe le quiz, vous avez la possibilité de la forcer en mode « examen sur livre fermé », où le modèle se base uniquement sur le sujet de la page, les questions et les informations sur lesquelles il a été formé pour choisir une réponse. Alternativement, l’IA peut être autorisée à considérer les trois premiers résultats Google concernant le sujet de la page web. Dans les deux modes, le code de l’IA a besoin de quelques secondes pour trouver des réponses. Fiorucci a expliqué à The Register que la création d’AutoQuizzer était en fait « très simple », car les composants pour le construire étaient déjà disponibles. L’application utilise le framework open source Haystack de Deepset pour extraire le texte d’une page spécifique, et le passer à l’LLaMa-3-8B-Instruct LLM de Meta via l’API d’inférence gratuite de Groq. Le réseau neuronal LLaMa est incité à analyser le texte et à générer un quiz basé sur ce contenu au format JSON pour que l’application web l’affiche, et soit l’utilisateur soit LLaMa peut répondre.