« Votre PC peut probablement exécuter des inférences parfaitement – il s’agit donc déjà d’un PC doté d’intelligence artificielle. »

Opinion Qu’est-ce qui fait d’un PC un PC AI ? Au-delà de quelques gestes vagues montrant la présence d' »unités de traitement neuronal » et d’autres fonctionnalités uniquement disponibles sur le dernier silicium de pointe, personne n’a proposé de définition au-delà d’une tentative de marketing de FOMO. Alors qu’Intel suggère que les développeurs d’applications infuseront bientôt l’IA dans tous les logiciels, et que les PC doivent être prêts pour cela, la charge de travail qui compte le plus actuellement est l’inférence pour alimenter de grands modèles de langage. Tout PC AI digne de ce nom doit donc effectuer rapidement et efficacement l’inférence. L’inférence est le processus qui transforme une requête soumise en sa réponse. Pour cela, il est nécessaire d’avoir une machine capable de traiter de multiples gigaoctets de données – et encore plus de multiplications matricielles. Alors qu’une tâche aussi intensément calculatoire semble pouvoir dépasser les capacités d’un ordinateur de bureau (ChatGPT et ses semblables tournant dans des data centers colossaux), j’ai découvert que beaucoup du matériel que nous possédons déjà peut accomplir un travail adéquat d’inférence. N’importe qui peut exécuter un chatbot « assez bon » sur un PC – à condition que le PC ait suffisamment de RAM et un GPU de gamme moyenne.

Share the Post: