Microsoft publie Orca 2, un ensemble de deux petits modèles de langage qui surprennent les modèles plus volumineux.

Êtes-vous prêt à accroître la visibilité de votre marque? Devenez un commanditaire du circuit AI Impact. En savoir plus sur les opportunités ici. Même si le monde assiste au conflit des pouvoirs et à la démission en masse d’OpenAI, de Microsoft, le principal soutien des IA, ne ralentit pas ses propres efforts en IA. Aujourd’hui, le bras de recherche de la société dirigée par Satya Nadella a publié Orca 2, un ensemble de petits modèles linguistiques qui égalent ou dépassent de 5 à 10 fois les modèles linguistiques plus importants, y compris Llama-2 Chat-70B de Meta, lorsqu’ils sont testés sur des tâches de raisonnement complexes dans des environnements sans données d’apprentissage. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et reposent sur le travail effectué sur le modèle Orca original de 13B qui a montré de fortes capacités de raisonnement en imitant les traces de raisonnement pas à pas de modèles plus importants et plus performants il y a quelques mois. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent permettre à de plus petits modèles linguistiques d’acquérir des capacités de raisonnement améliorées, que l’on ne retrouve généralement que dans de plus grands modèles linguistiques», ont écrit les chercheurs de Microsoft dans un billet de blog conjoint.