Microsoft a publié Orca 2, un ensemble de deux petits modèles de langage qui surclassent leurs homologues de taille plus importante.

Êtes-vous prêt à sensibiliser davantage votre marque? Devenez un sponsor du AI Impact Tour. En savoir plus sur les opportunités ici. Même si le monde assiste au conflit de pouvoir et à la démission en masse d’OpenAI, Microsoft, le principal soutien d’AI, ne ralentit pas ses propres efforts en matière d’IA. Aujourd’hui, le bras de recherche de la Satya Nadella-led a lancé Orca 2, un petit modèle de langage qui égale ou surpasse de 5 à 10 fois les modèles de langage plus importants, y compris Llama-2 Chat-70B de Meta, lorsqu’il est testé sur des tâches de raisonnement complexes dans des conditions de zéro tirage. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et s’appuient sur le travail effectué sur le modèle Orca d’origine de 13B qui a démontré de fortes capacités de raisonnement en imitant les traces de raisonnement étape par étape de modèles plus gros et plus capables il y a quelques mois. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent donner aux plus petits modèles de langage les capacités de raisonnement améliorées, que l’on ne trouve généralement que dans les modèles de langage beaucoup plus importants», ont écrit les chercheurs de Microsoft dans un message blog conjoint.