Microsoft publie Orca 2, un duo de petits modèles de langage qui surpasse leurs homologues de taille plus importante.

Êtes-vous prêt à accroître la notoriété de votre marque? Devenez parrain de The AI Impact Tour. En savoir plus sur les opportunités ici. Même si le monde assiste au conflit de pouvoir et à la démission en masse d’OpenAI, Microsoft, le principal soutien d’AI, ne ralentit pas ses propres efforts en matière d’IA. Aujourd’hui, le bras de recherche de la société dirigée par Satya Nadella a publié Orca 2, un ensemble de petits modèles de langage qui égalent ou surpassent de cinq à dix fois les modèles de langage plus importants, y compris Llama-2 Chat-70B de Meta, lorsqu’ils sont testés sur des tâches de raisonnement complexes dans des environnements sans contexte. Les modèles se présentent en deux tailles, 7 milliards et 13 milliards de paramètres, et reposent sur le travail effectué sur le modèle Orca original de 13B qui, il y a quelques mois, a démontré de solides capacités de raisonnement en imitant les traces de raisonnement pas à pas des modèles plus grands et plus performants. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent doter les modèles de langage plus petits de capacités de raisonnement améliorées, généralement trouvées uniquement dans les modèles de langage beaucoup plus importants», ont écrit les chercheurs de Microsoft dans un message blog conjoint.