Comment exécuter un LLM sur votre PC, pas dans le cloud, en moins de 10 minutes.

Avec toutes les discussions sur les vastes clusters d’entraînement d’apprentissage automatique et les ordinateurs IA, vous seriez pardonné de penser que vous avez besoin d’un type de matériel spécial pour jouer avec de grands modèles linguistiques (LLMs) générant du texte et du code à la maison. En réalité, il y a de fortes chances que le système de bureau sur lequel vous lisez ceci soit tout à fait capable d’exécuter une large gamme de LLMs, y compris des chatbots comme Mistral ou des générateurs de code source comme Codellama. En fait, avec des outils disponibles gratuitement comme Ollama, LM Suite et Llama.cpp, il est relativement facile de faire fonctionner ces modèles sur votre système. Dans un souci de simplicité et de compatibilité multiplateforme, nous allons examiner Ollama, qui, une fois installé, fonctionne plus ou moins de la même manière sur Windows, Linux et Mac. Un mot sur les performances, la compatibilité et le support GPU AMD :