Microsoft a publié Orca 2, une paire de petits modèles de langage qui surpassent leurs homologues plus grands.

Êtes-vous prêt à sensibiliser davantage votre marque? Devenez un commanditaire du The AI Impact Tour. En savoir plus sur les opportunités ici. Même si le monde assiste au combat pour le pouvoir et à la démission en masse d’OpenAI, Microsoft, le soutien de longue date de l’un des principaux acteurs de l’IA, n’envisage pas de ralentir ses propres efforts en matière d’IA. Aujourd’hui, le bras de recherche de la société dirigée par Satya Nadella a publié Orca 2, une paire de petits modèles linguistiques qui égalent ou surpassent de cinq à dix fois les modèles linguistiques plus importants, y compris Llama-2 Chat-70B de Meta, lorsqu’ils sont testés sur des tâches de raisonnement complexes dans des situations sans contexte. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et s’appuient sur le travail effectué sur le modèle Orca original de 13B qui, il y a quelques mois, a montré de solides capacités de raisonnement en imitant les traces de raisonnement étape par étape de modèles plus grands et plus performants. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent donner aux modèles linguistiques plus petits les capacités de raisonnement améliorées que l’on trouve généralement uniquement dans les modèles linguistiques beaucoup plus importants», ont écrit les chercheurs de Microsoft dans un article de blog conjoint.