Le nouveau modèle « CriticGPT » d’OpenAI est entraîné pour critiquer les sorties de GPT-4.

Le jeudi, les chercheurs d’OpenAI ont présenté CriticGPT, un nouveau modèle d’IA conçu pour identifier les erreurs dans le code généré par ChatGPT. Son objectif est d’améliorer le processus de faire en sorte que les systèmes d’IA se comportent de la manière souhaitée par les humains (appelée « alignement ») grâce à l’Apprentissage par Renforcement à partir des Retours Humains (RLHF), qui aide les examinateurs humains à rendre les sorties des grands modèles de langage (LLM) plus précises. Comme décrit dans un nouvel article de recherche intitulé « Les critiques des LLM aident à repérer les bugs des LLM », OpenAI a créé CriticGPT pour agir comme un assistant d’IA pour les formateurs humains qui examinent le code de programmation généré par l’assistant d’IA ChatGPT. CriticGPT – basé sur la famille GPT-4 de LLM – analyse le code et signale les erreurs potentielles, facilitant ainsi la détection par les humains des erreurs qui pourraient autrement passer inaperçues. Les chercheurs ont formé CriticGPT sur un ensemble de données d’échantillons de code avec des bugs intentionnellement insérés, lui apprenant à reconnaître et à signaler divers types d’erreurs de codage. Les chercheurs ont constaté que les critiques de CriticGPT étaient préférées par les annotateurs par rapport aux critiques humaines dans 63 % des cas impliquant des erreurs naturelles des LLM et que les équipes humaines-machines utilisant CriticGPT rédigeaient des critiques plus complètes que les humains seuls tout en réduisant les taux de confabulation (hallucination) par rapport aux critiques générées uniquement par l’IA. Le développement de CriticGPT a nécessité de former le modèle sur un grand nombre d’entrées contenant des erreurs insérées délibérément. Les formateurs humains devaient modifier le code écrit par ChatGPT, introduisant des erreurs et fournissant ensuite des retours d’exemple comme s’ils avaient découvert ces bugs. Ce processus a permis au modèle d’apprendre à identifier et à critiquer divers types d’erreurs de codage. Dans les expériences, CriticGPT a démontré sa capacité à repérer à la fois les bugs insérés et les erreurs naturelles dans les sorties de ChatGPT. Les critiques du nouveau modèle étaient préférées par les formateurs par rapport à celles générées par ChatGPT lui-même dans 63 % des cas impliquant des bugs naturels (la statistique mentionnée ci-dessus). Cette préférence était en partie due au fait que CriticGPT produisait moins de « chipotages » inutiles et générant moins de faux positifs, ou de problèmes hallucinés.