Microsoft publie Orca 2, un duo de petits modèles linguistiques qui surprennent les modèles plus grands.

Êtes-vous prêt à sensibiliser davantage votre marque? Considérez de devenir un commanditaire pour The AI Impact Tour. En savoir plus sur les opportunités ici. Même si le monde assiste aux luttes de pouvoir et aux démissions en masse chez OpenAI, Microsoft, le soutien de longue date du principal acteur de l’IA, n’accélère pas ses propres efforts en IA. Aujourd’hui, le bras de recherche de la société de Satya Nadella a lancé Orca 2, un ensemble de petits modèles de langage qui égalent ou surpassent de cinq à dix fois les modèles de langage plus volumineux, y compris Llama-2 Chat-70B de Meta, lorsqu’ils sont testés sur des tâches de raisonnement complexes dans des environnements sans données d’entraînement. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et reposent sur le travail effectué sur le modèle Orca original de 13B qui a démontré de solides capacités de raisonnement en imitant les traces de raisonnement étape par étape de modèles plus grands et plus performants il y a quelques mois. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent donner aux modèles de langage plus petits les capacités de raisonnement améliorées, généralement trouvées uniquement dans les modèles de langage beaucoup plus volumineux», ont écrit les chercheurs de Microsoft dans un message blog conjoint.