Microsoft a publié Orca 2, un ensemble de deux petits modèles linguistiques qui selon les évaluations ont un meilleur rendement que leurs équivalents de plus grande tail

Êtes-vous prêt à sensibiliser davantage votre marque? Devenez sponsor du AI Impact Tour. En savoir plus sur les opportunités ici. Même si le monde assiste au combat des pouvoirs et à la démission de masse chez OpenAI, Microsoft, le principal soutien de l’entreprise de IA, ne ralentit pas ses propres efforts en IA. Aujourd’hui, le bras de recherche de la société de Satya Nadella a lancé Orca 2, un ensemble de petits modèles de langage qui égalent ou surpassent de cinq à dix fois les modèles de langage plus importants, y compris Llama-2 Chat-70B de Meta, lorsqu’ils sont testés sur des tâches de raisonnement complexes en settings sans données. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et reposent sur le travail effectué sur le modèle Orca original de 13B qui a montré de fortes capacités de raisonnement en imitant les traces de raisonnement pas à pas de modèles plus grands et plus capables il y a quelques mois. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent donner aux modèles de langage plus petits les capacités de raisonnement améliorées, qui ne se trouvent généralement que dans les modèles de langage beaucoup plus importants», ont écrit les chercheurs de Microsoft dans un message blog conjoint.