Microsoft a publié Orca 2, un duo de petits modèles linguistiques qui surpasse les performances de leurs homologues plus grands.

Êtes-vous prêt à accroître la visibilité de votre marque? Devenez un commanditaire de The AI Impact Tour. En savoir plus sur les opportunités ici. Même si le monde assiste au struggle pour le pouvoir et aux massives démissions chez OpenAI, Microsoft, le soutien de longue date de cette entreprise d’IA, ne ralentit pas ses propres efforts en IA. Aujourd’hui, le bras de recherche de la firme dirigée par Satya Nadella a lancé Orca 2, un ensemble de petits modèles linguistiques qui, selon les tests effectués sur des tâches de raisonnement complexes dans des conditions de non-apprentissage, égalent ou surpassent de 5 à 10 fois les modèles linguistiques plus importants, y compris Llama-2 Chat-70B de Meta. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et reposent sur le travail effectué sur le modèle Orca original de 13B qui, il y a quelques mois, a démontré de solides capacités de raisonnement en imitant les traces de raisonnement pas à pas de modèles plus gros et plus performants. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent permettre aux petits modèles linguistiques d’acquérir des capacités de raisonnement améliorées, généralement trouvées uniquement dans les modèles linguistiques beaucoup plus importants», ont écrit les chercheurs de Microsoft dans un message blog conjoint.