« Intégrer un LLM avec des invites personnalisées dans votre application ? Bien sûr ! Voici comment commencer »

Les modèles linguistiques de grande taille (LLMs) sont généralement associés à des chatbots tels que ChatGPT, Copilot et Gemini, mais ils ne se limitent en aucun cas aux interactions de type questions-réponses. De plus en plus, les LLMs sont intégrés dans tout, des environnements de développement intégrés aux suites bureautiques. Outre la génération de contenu, ces modèles peuvent être utilisés, par exemple, pour évaluer le sentiment d’un texte, identifier des sujets dans des documents ou nettoyer des sources de données, bien sûr, avec la formation adéquate, les instructions et les barrières de sécurité. Comme il s’avère, intégrer des LLMs à ces fins dans le code de votre application pour ajouter une analyse basée sur le langage n’est pas si difficile grâce à des moteurs d’inférence hautement extensibles, tels que Llama.cpp ou vLLM. Ces moteurs se chargent du processus de chargement et d’analyse d’un modèle, ainsi que de l’inférence avec celui-ci. Dans ce travail pratique, destiné aux développeurs de niveau intermédiaire ou supérieur, nous jetterons un œil à un moteur LLM relativement nouveau écrit en Rust appelé Mistral.rs. Ce code open source offre un support pour un nombre croissant de modèles populaires et pas uniquement ceux de Mistral la startup, apparemment l’inspiration pour le nom du projet. De plus, Mistral.rs peut être intégré à vos projets en utilisant des API Python, Rust ou compatibles avec OpenAI, ce qui rend son insertion relativement facile dans des projets nouveaux ou existants. Cependant, avant d’aborder comment mettre en place Mistral.rs ou les différentes façons dont il peut être utilisé pour intégrer des modèles d’IA génératrice dans votre code, nous devons discuter des exigences matérielles et logicielles.