Comment exécuter un LLM sur votre PC, pas dans le cloud, en moins de 10 minutes

Mains sur Avec tout le discours sur les énormes clusters d’apprentissage automatique et les PC AI, vous seriez pardonné de penser que vous avez besoin d’un matériel spécial pour jouer avec les grands modèles de langage (LLM) générant du texte et du code à la maison. En réalité, il y a de fortes chances que le système de bureau sur lequel vous lisez ceci soit plus que capable d’exécuter une large gamme de LLM, y compris des chatbots comme Mistral ou des générateurs de code source comme Codellama. En fait, avec des outils disponibles publiquement comme Ollama, LM Suite et Llama.cpp, il est relativement facile d’exécuter ces modèles sur votre système. Dans un souci de simplicité et de compatibilité multiplateforme, nous allons examiner Ollama, qui, une fois installé, fonctionne plus ou moins de la même manière sur Windows, Linux et Mac. Un mot sur les performances, la compatibilité et le support GPU AMD :

Share the Post: