Microsoft a publié Orca 2, un duo de petits modèles de langue qui surpasse les modèles plus larges.

Êtes-vous prêt à apporter une plus grande visibilité à votre marque? Devenez sponsor du AI Impact Tour. En savoir plus sur les opportunities ici. Alors que le monde est témoin de la lutte pour le pouvoir et de la démission en masse d’OpenAI, Microsoft, le soutien de longue date de la société d’intelligence artificielle, n’a pas ralenti ses propres efforts en matière d’IA. Aujourd’hui, le bras de recherche de la société de Satya Nadella a lancé Orca 2, un ensemble de petits modèles de langage qui égalent ou surpassent de 5 à 10 fois les modèles de langage plus importants, y compris Meta’s Llama-2 Chat-70B, lorsqu’ils sont testés sur des tâches de raisonnement complexes dans des environnements sans contrainte. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et s’appuient sur le travail accompli sur le modèle Orca original de 13B qui a démontré de solides capacités de raisonnement en imitant les traces de raisonnement pas à pas de modèles plus grands et plus capables il y a quelques mois. «Avec Orca 2, nous continuons à montrer que des signaux d’entraînement et des méthodes améliorées peuvent permettre aux modèles de langage plus petits d’acquérir des capacités de raisonnement améliorées, généralement trouvées uniquement dans les modèles de langage beaucoup plus importants», ont écrit les chercheurs de Microsoft dans un message blog conjoint.