Microsoft a publié Orca 2, une paire de petits modèles de langage qui surpasse les modèles plus importants.

Êtes-vous prêt à accroître la visibilité de votre marque? Devenez un commanditaire du circuit AI Impact. En savoir plus sur les opportunités ici. Même si le monde assiste aux luttes de pouvoir et aux démissions en masse chez OpenAI, Microsoft, le principal bailleur de fonds de l’IA, ne ralentit pas ses propres efforts en matière d’IA. Aujourd’hui, le bras de recherche de la société dirigée par Satya Nadella a lancé Orca 2, un ensemble de petits modèles linguistiques qui égalent ou surpassent de cinq à dix fois les modèles linguistiques plus importants, y compris Llama-2 Chat-70B de Meta, lorsqu’ils sont testés sur des tâches de raisonnement complexes dans des paramètres nuls. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et reposent sur le travail effectué sur le modèle Orca original de 13B, qui a démontré de solides capacités de raisonnement en imitant les traces de raisonnement pas à pas de modèles plus gros et plus performants il y a quelques mois. «Avec Orca 2, nous continuons à montrer que des signaux d’entraînement et des méthodes améliorés peuvent donner aux modèles linguistiques plus petits les capacités de raisonnement améliorées que l’on trouve généralement uniquement dans les modèles linguistiques beaucoup plus importants», ont écrit les chercheurs de Microsoft dans un message blog conjoint.