‘8 employés de Google ont inventé l’IA moderne. Voici l’histoire de l’intérieur.’

Huit noms sont énumérés en tant qu’auteurs sur “Attention Is All You Need,” un article scientifique écrit au printemps de 2017. Ils étaient tous des chercheurs de Google, bien qu’à l’époque l’un d’entre eux avait déjà quitté l’entreprise. Lorsque le contributeur le plus expérimenté, Noam Shazeer, a vu un premier brouillon, il a été surpris de voir son nom apparaître en premier, suggérant que sa contribution était primordiale. “Je n’y ai pas pensé,” dit-il. C’est toujours un acte d’équilibre délicat de décider comment lister les noms – qui obtient la position de tête convoitée, qui est relégué en arrière-plan. Surtout dans un cas comme celui-ci, où chaque participant a laissé une marque distincte dans un véritable effort de groupe. Alors que les chercheurs se dépêchaient de terminer leur article, ils ont finalement décidé de “saboter” la convention de classement des contributeurs. Ils ont ajouté un astérisque à chaque nom et une note de bas de page : “Contributeur égal,” lisait-on. “L’ordre de la liste est aléatoire.” Les auteurs ont envoyé l’article à une prestigieuse conférence sur l’intelligence artificielle juste avant la date limite – et ont lancé une révolution. Approchant son septième anniversaire, l’article “Attention” a atteint un statut légendaire. Les auteurs ont démarré avec une technologie florissante et en progression – une variété d’IA appelée réseaux neuronaux – et en ont fait quelque chose de nouveau : un système numérique si puissant que sa production peut sembler être le fruit d’une intelligence extraterrestre. Appelée transformers, cette architecture est la sauce pas si secrète derrière tous ces produits impressionnants d’IA, y compris ChatGPT et des générateurs graphiques tels que Dall-E et Midjourney. Shazeer plaisante maintenant en disant que s’il avait su à quel point l’article deviendrait célèbre, il aurait “peut-être plus pris en compte l’ordre des auteurs.” Les huit signataires sont maintenant des microcélébrités. “Des gens me demandent des selfies – parce que je suis sur un article!” dit Llion Jones, qui est (aléatoirement, bien sûr) le cinquième nom de la liste. “Sans transformers, je ne pense pas que nous serions ici maintenant,” dit Geoffrey Hinton, qui n’est pas l’un des auteurs mais qui est peut-être le scientifique en IA le plus en vue du monde. Il fait référence aux temps révolutionnaires dans lesquels nous vivons, alors qu’OpenAI et d’autres entreprises construisent des systèmes qui rivalisent et dans certains cas dépassent la création humaine. Les huit auteurs ont depuis quitté Google. Comme des millions d’autres, ils travaillent maintenant d’une manière ou d’une autre avec des systèmes alimentés par ce qu’ils ont créé en 2017. J’ai parlé aux Huit Transformers pour reconstituer l’anatomie d’une percée, une réunion d’esprits humains pour créer une machine qui pourrait bien se réserver le dernier mot.