Comment exécuter un LLM sur votre PC, sans passer par le cloud, en moins de 10 minutes.

« En pratique Avec tout ce bruit autour des énormes clusters d’apprentissage machine et des PC d’IA, on pourrait penser qu’il est nécessaire d’avoir un certain type de matériel spécial pour s’amuser avec des modèles de langage larges (LLMs) générant du texte et du code à la maison. En réalité, il y a de fortes chances que le système de bureau sur lequel vous lisez ceci soit parfaitement capable d’exécuter toute une variété de LLMs, y compris des chatbots comme Mistral ou des générateurs de code source comme Codellama. En fait, avec des outils disponibles publiquement comme Ollama, LM Suite et Llama.cpp, il est relativement facile de faire fonctionner ces modèles sur votre système. Dans un souci de simplicité et de compatibilité multiplateforme, nous allons examiner Ollama, qui une fois installé fonctionne à peu près de la même manière sur Windows, Linux et Mac. Un mot sur les performances, la compatibilité et le support des GPU AMD : « 

Share the Post: