Microsoft a publié Orca 2, une paire de petits modèles de langue qui surpassent les modèles plus importants.

Êtes-vous prêt à accroître la visibilité de votre marque? Devenez un commanditaire de The AI Impact Tour. En savoir plus sur les opportunités ici. Même si le monde assiste en direct à la lutte pour le pouvoir et à la démission en masse d’OpenAI, Microsoft, le principal soutien d’AI, ne ralentit pas ses propres efforts en matière d’IA. Aujourd’hui, le bras de recherche de la société dirigée par Satya Nadella a lancé Orca 2, un ensemble de petits modèles linguistiques qui égalent ou surpassent de 5 à 10 fois les modèles linguistiques plus volumineux, y compris Llama-2 Chat-70B de Meta, lorsqu’ils sont testés sur des tâches de raisonnement complexes dans des environnements sans données d’apprentissage. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et s’appuient sur le travail effectué sur le modèle Orca original de 13B qui, il y a quelques mois, a démontré d’excellentes capacités de raisonnement en imitant les traces de raisonnement pas à pas de modèles plus grands et plus performants. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent donner aux petits modèles linguistiques les capacités de raisonnement améliorées que l’on trouve généralement uniquement dans les modèles linguistiques beaucoup plus volumineux», ont écrit les chercheurs de Microsoft dans un message blog conjoint.