« Cuire un LLM avec des invites personnalisées dans votre application ? Bien sûr ! Voici comment commencer. »

Les modèles linguistiques de grande envergure (LLM) sont généralement associés à des chatbots tels que ChatGPT, Copilot et Gemini, mais ils ne se limitent en aucun cas aux interactions de type questions-réponses. De plus en plus, les LLM sont intégrés dans tout, des IDE aux suites de productivité bureautique. Outre la génération de contenu, ces modèles peuvent être utilisés, par exemple, pour évaluer le sentiment de l’écriture, identifier les sujets dans les documents ou nettoyer les sources de données, bien entendu avec la formation, les instructions et les garde-fous appropriés. En fait, intégrer ces LLM dans le code de votre application pour ajouter une analyse basée sur le langage n’est pas si difficile grâce aux moteurs d’inférence hautement extensibles, tels que Llama.cpp ou vLLM. Ces moteurs se chargent du chargement et de l’analyse d’un modèle, ainsi que de son inférence. Dans cette pratique, destinée aux développeurs de niveau intermédiaire ou supérieur, nous examinerons un moteur LLM relativement nouveau écrit en Rust appelé Mistral.rs. Ce code source ouvert offre un support pour un nombre croissant de modèles populaires et pas seulement ceux de Mistral la start-up, apparemment l’inspiration du nom du projet. De plus, Mistral.rs peut être intégré à vos projets en utilisant des API Python, Rust ou compatibles avec OpenAI, ce qui le rend relativement facile à insérer dans des projets nouveaux ou existants. Mais avant d’aborder la manière de mettre en route Mistral.rs ou les différentes façons dont il peut être utilisé pour intégrer des modèles d’IA générative dans votre code, nous devons discuter des exigences matérielles et logicielles.