Microsoft a publié Orca 2, un ensemble de deux petits modèles de langage qui ont une meilleure performance que leurs équivalents plus grands.

Êtes-vous prêt à sensibiliser davantage votre marque? Pensez à devenir un commanditaire pour la tournée AI Impact. En savoir plus sur les opportunités ici. Même si le monde est témoin de la lutte pour le pouvoir et de la démission en masse d’OpenAI, Microsoft, le principal soutien d’AI, ne ralentit pas ses propres efforts en matière d’IA. Aujourd’hui, le bras de recherche de la société de Satya Nadella a lancé Orca 2, un ensemble de petits modèles de langage qui égalent ou surpassent de 5 à 10 fois les modèles de langage plus grands, y compris Llama-2 Chat-70B de Meta, lorsqu’ils sont testés sur des tâches de raisonnement complexes dans des paramètres nuls. Les modèles existent en deux tailles, 7 milliards et 13 milliards de paramètres, et s’appuient sur le travail effectué sur le modèle Orca original de 13B qui, il y a quelques mois, a montré de solides capacités de raisonnement en imitant les traces de raisonnement pas à pas de modèles plus grands et plus capables. «Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent doter les modèles de langage plus petits de capacités de raisonnement améliorées, généralement trouvées uniquement dans les modèles de langage beaucoup plus grands», ont écrit les chercheurs de Microsoft dans un message blog conjoint.