Microsoft a publié Orca 2, un ensemble de deux petits modèles de langage qui se démarquent des modèles plus larges.

Êtes-vous prêt à sensibiliser davantage votre marque? Considérez de devenir un commanditaire du AI Impact Tour. En savoir plus sur les opportunités ici. Même si le monde assiste au combat pour le pouvoir et à la démission en masse d’OpenAI, Microsoft, le soutien de longue date de l’importante entreprise d’IA, n’envisage pas de ralentir ses propres efforts en IA. Aujourd’hui, le bras de recherche de la société dirigée par Satya Nadella a publié Orca 2, un ensemble de petits modèles de langage qui égalent ou surpassent de 5 à 10 fois les modèles de langage plus grands, notamment Llama-2 Chat-70B de Meta, lorsqu’ils sont testés sur des tâches de raisonnement complexes en conditions de tirage zéro. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et s’appuient sur le travail effectué sur le modèle Orca 13B original, qui a montré de fortes capacités de raisonnement en imitant les traces de raisonnement pas à pas de modèles plus grands et plus capables il y a quelques mois. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent permettre aux plus petits modèles de langage d’acquérir des capacités de raisonnement améliorées, généralement trouvées uniquement dans les modèles de langage beaucoup plus grands», ont écrit les chercheurs de Microsoft dans un billet de blog conjoint.