Publié
12 décembre 2023
Par
Mojan Javaheripi,
Chercheur Principal
Sébastien Bubeck,
Directeur de Recherche Associé
Partager cette page : Marah Abdin, Jyoti Aneja, Sebastien Bubeck, Caio César Teodoro Mendes, Weizhu Chen, Allie Del Giorno, Ronen Eldan, Sivakanth Gopi, Suriya Gunasekar, Mojan Javaheripi, Piero Kauffmann, Yin Tat Lee, Yuanzhi Li, Anh Nguyen, Gustavo de Rosa, Olli Saarikivi, Adil Salim, Shital Shah, Michael Santacroce, Harkirat Singh Behl, Adam Taumann Kalai, Xin Wang, Rachel Ward, Philipp Witte, Cyril Zhang, Yi Zhang.
Au cours des derniers mois, notre équipe de Fondements de l’Apprentissage Automatique chez Microsoft Research a publié une suite de petits modèles linguistiques (SLMs) appelée « Phi » qui atteignent des performances remarquables sur une variété de références. Notre premier modèle, le Phi-1 de 1,3 milliard de paramètres, a obtenu des performances de pointe en programmation Python parmi les SLM existants (spécifiquement sur les références HumanEval et MBPP). Nous avons ensuite étendu notre focus au raisonnement du bon sens et à la compréhension du langage, et créé un nouveau modèle de 1,3 milliard de paramètres appelé Phi-1.5, dont les performances sont comparables à celles de modèles 5 fois plus grands.
