Microsoft a publié Orca 2, un duo de petits modèles de langage qui surpasse leurs homologues plus grands.

Êtes-vous prêt à sensibiliser davantage votre marque? Pensez à devenir un commanditaire pour le AI Impact Tour. En savoir plus sur les opportunités ici. Même si le monde assiste en direct à la lutte pour le pouvoir et à la démission en masse d’OpenAI, Microsoft, le soutien de longue date de l’important acteur de l’IA, n’accélère pas pour autant ses propres efforts en IA. Aujourd’hui, le bras de recherche de la société dirigée par Satya Nadella a lâché Orca 2, un petit modèle de langage qui égale ou surpasse de 5 à 10 fois les modèles de langage plus grands, y compris Llama-2 Chat-70B de Meta, lorsqu’il est testé sur des tâches de raisonnement complexes dans des paramètres nuls. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et s’appuient sur le travail effectué sur le modèle Orca original de 13B, qui a montré de fortes capacités de raisonnement en imitant les traces de raisonnement étape par étape de modèles plus grands et plus capables il y a quelques mois. «Avec Orca 2, nous continuons à montrer que de meilleurs signaux et méthodes d’entraînement peuvent donner aux modèles de langage plus petits les capacités de raisonnement améliorées, que l’on trouve généralement que dans les modèles de langage beaucoup plus grands», ont écrit les chercheurs de Microsoft dans un message blog conjoint.