‘Le domaine de l’intelligence artificielle (IA) a connu une transformation et une progression frappantes, perpétuant une innovation colossale dans de nombreux secteurs. Dernièrement, nous observons une décélération perceptible des avancées en IA, une éventualité longtemps prévue dans le paysage dynamique de l’IA. Ce ralentissement est largement attribué à un phénomène connu sous le nom de lois d’échelle de l’IA qui a été essentiel pour améliorer les capacités de l’IA au fil du temps.
La montée continue de l’IA a beaucoup reposé sur ces lois d’échelle, embrassant l’idée que plus grand est invariablement supérieur, en particulier lors de l’augmentation des modèles de langage à grande échelle (LLM). Les LLM, en essence, représentent des modèles d’IA complexes incarnant une intelligence humainesque. Le principe des lois d’échelle de l’IA repose sur la conviction qu’un afflux accru de données et de puissance de calcul peut invariablement rendre un LLM plus compétent et sage.
Cependant, une analyse récente de Bloomberg suggère que des géants technologiques tels qu’OpenAI, Google et Microsoft constatent que la tactique autrefois fiable consistant simplement à augmenter le volume de données et la puissance de calcul ne pourrait pas offrir des avancées équivalentes pour les LLM comme on le supposait auparavant. Cela n’implique en aucun cas une cessation de la progression de l’IA, mais signale plutôt un besoin impératif de réévaluer et d’innover notre approche envers les lois d’échelle de l’IA pour un développement futur.
Lors de l’influent événement Microsoft Ignite 2024, Satya Nadella, le PDG de l’entreprise, a fait allusion à une nouvelle incarnation de la loi d’échelle qui pourrait annoncer l’aube de la prochaine étape majeure de la progression de l’IA. Ce nouveau concept, appelé la loi « Test-time compute », propose un changement significatif dans les modèles traditionnels. Il suggère qu’au lieu de concentrer toutes les ressources de calcul pendant les étapes de pré-apprentissage, il pourrait être plus avantageux de différer une allocation de calcul plus importante une fois qu’une incitation est introduite. Ceci, en essence, donne à l’IA l’occasion de « réfléchir ».
D’éminents chercheurs en IA perçoivent cette stratégie innovante de « temps pour réfléchir » avec un optimisme éclatant. Yoshua Benjio, un éminent chercheur en IA, l’a résumé en disant : « Une nouvelle forme d’échelle de calcul apparaît. Pas seulement plus de données d’entraînement et de modèles plus grands, mais plus de temps consacré à ‘réfléchir’ sur les réponses. »
Le ralentissement perçu de l’IA ne signifie pas sa fin, mais plutôt une recalibration. Il révèle que l’industrie de l’IA se prépare à un changement de paradigme dans son approche de l’échelle de l’IA. L’avènement de cette nouvelle loi proposée annonce une résurgence des développements de l’IA. L’industrie technologique reste inébranlable dans son engagement à explorer et à investir dans le potentiel inexploré de l’IA, annonçant un avenir passionnant et progressif dans l’IA.’
