Publié
12 décembre 2023
Par
Mojan Javaheripi,
Chercheur principal
Sébastien Bubeck,
Directeur de la recherche, partenaire
Partager cette page Marah Abdin, Jyoti Aneja, Sebastien Bubeck, Caio César Teodoro Mendes, Weizhu Chen, Allie Del Giorno, Ronen Eldan, Sivakanth Gopi, Suriya Gunasekar, Mojan Javaheripi, Piero Kauffmann, Yin Tat Lee, Yuanzhi Li, Anh Nguyen, Gustavo de Rosa, Olli Saarikivi, Adil Salim, Shital Shah, Michael Santacroce, Harkirat Singh Behl, Adam Taumann Kalai, Xin Wang, Rachel Ward, Philipp Witte, Cyril Zhang, Yi Zhang Au cours des derniers mois, notre équipe de Fondations d’apprentissage automatique de Microsoft Research a publié une suite de petits modèles de langage (SLM) appelés «Phi» qui ont permis d’obtenir des performances remarquables sur une variété de benchmarks. Notre premier modèle, Phi-1 de 1,3 milliard de paramètres (ouvert dans un nouvel onglet), a permis d’obtenir les meilleures performances sur le codage Python parmi les SLM existants (plus précisément sur les benchmarks HumanEval et MBPP). Nous avons ensuite élargi notre focus sur la raisonnement commun et la compréhension du langage et créé un nouveau modèle de 1,3 milliard de paramètres nommé Phi-1.5 (ouvert dans un nouvel onglet) avec des performances comparables aux modèles 5 fois plus grands.
« La Croisade acharnée d’un couple pour arrêter un tueur génétique »
En y repensant, cela aurait pu être un indice. Mais au début de l’année 2010, lorsque Kamni Vallabh a commencé
