Un des ingrédients clés qui ont fait de ChatGPT un succès fulgurant a été une armée de formateurs humains qui ont donné des conseils au modèle d’intelligence artificielle derrière le bot sur ce qui constitue des sorties bonnes et mauvaises. OpenAI affirme maintenant que l’ajout de plus d’IA dans le mélange – pour aider à assister les formateurs humains – pourrait aider à rendre les assistants IA plus intelligents et plus fiables. En développant ChatGPT, OpenAI a été précurseur dans l’utilisation de l’apprentissage par renforcement avec retour humain, ou RLHF. Cette technique utilise les retours des testeurs humains pour peaufiner un modèle IA de sorte que sa sortie soit jugée plus cohérente, moins répréhensible et plus précise. Les évaluations données par les formateurs alimentent un algorithme qui guide le comportement du modèle. La technique s’est avérée cruciale à la fois pour rendre les chatbots plus fiables et utiles, et pour les empêcher de mal se comporter. « RLHF fonctionne très bien, mais elle présente quelques limitations clés », indique Nat McAleese, chercheur chez OpenAI impliqué dans le nouveau projet. D’une part, le retour humain peut être incohérent. D’autre part, il peut être difficile pour même des humains qualifiés de noter des sorties extrêmement complexes, comme du code logiciel sophistiqué. Le processus peut également optimiser un modèle pour produire un résultat qui semble convaincant plutôt que d’être réellement précis. OpenAI a développé un nouveau modèle en affinant son offre la plus puissante, GPT-4, pour aider les formateurs humains chargés d’évaluer du code. L’entreprise a constaté que le nouveau modèle, surnommé CriticGPT, pouvait repérer des bogues que les humains avaient manqués, et que les juges humains trouvaient ses critiques du code meilleures 63 % du temps. OpenAI prévoit d’étendre cette approche à d’autres domaines que le code à l’avenir. « Nous commençons à intégrer cette technique dans notre ensemble de chat RLHF », déclare McAleese. Il souligne que l’approche est imparfaite, car CriticGPT peut également faire des erreurs en hallucinant, mais ajoute que cette technique pourrait contribuer à rendre les modèles d’OpenAI ainsi que des outils comme ChatGPT plus précis en réduisant les erreurs lors de la formation humaine. Il ajoute que cela pourrait également s’avérer crucial pour aider les modèles IA à devenir beaucoup plus intelligents, car cela pourrait permettre aux humains de contribuer à former une IA dépassant leurs propres capacités. « Et à mesure que les modèles continueront de s’améliorer, nous pensons que les gens auront besoin de plus d’aide », conclut McAleese.
Donnez vie à vos histoires avec Epidemic Sound
Dans le monde numérique d’aujourd’hui, le contenu visuel est roi. Mais qu’est-ce qui transforme une bonne vidéo en une expérience
