Microsoft a publié Orca 2, un ensemble de deux petits modèles de langage qui ont une meilleure performance que leurs homologues plus volumineux.

Étes-vous prêt à accroître la visibilité de votre marque? Devenez un commanditaire du AI Impact Tour. En savoir plus sur les opportunités ici. Même si le monde assiste au conflit des pouvoirs et à la démission en masse d’OpenAI, de Microsoft, le principal soutien des AI depuis longtemps, n’a pas ralenti ses propres efforts en matière d’IA. Aujourd’hui, le bras de recherche de la société dirigée par Satya Nadella a lancé Orca 2, une paire de petits modèles de langage qui égalent ou surpassent de 5 à 10 fois les modèles de langage plus importants, y compris Llama-2 Chat-70B de Meta, lorsqu’ils sont testés sur des tâches de raisonnement complexes dans des environnements sans données d’apprentissage. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et reposent sur le travail effectué sur le modèle Orca original de 13B qui a montré de solides capacités de raisonnement en imitant les traces de raisonnement étape par étape de modèles plus importants et plus capables il y a quelques mois. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’apprentissage améliorés peuvent donner aux petits modèles de langage la capacité d’exécuter des tâches de raisonnement améliorées, généralement trouvées uniquement dans les modèles de langage beaucoup plus importants», ont écrit les chercheurs de Microsoft dans un message blog conjoint.