« Intégrer un LLM avec des invites personnalisées dans votre application ? Bien sûr ! Voici comment commencer. »

Les grands modèles de langage (LLM) sont généralement associés à des chatbots tels que ChatGPT, Copilot et Gemini, mais ils ne se limitent en aucun cas aux interactions de type questions-réponses. De plus en plus, les LLMs sont intégrés dans tout, des IDE aux suites de productivité de bureau. Outre la génération de contenu, ces modèles peuvent être utilisés, par exemple, pour évaluer le sentiment d’écriture, identifier des sujets dans des documents ou nettoyer des sources de données, avec bien sûr la formation, les invites et les garde-fous appropriés. Il se trouve que l’incorporation de ces LLMs à des fins d’analyse basée sur le langage dans le code de votre application n’est pas si difficile grâce à des moteurs d’inférence hautement extensibles, tels que Llama.cpp ou vLLM. Ces moteurs se chargent du processus de chargement et d’analyse d’un modèle, ainsi que de l’inférence qui en découle. Dans cette activité pratique, destinée aux développeurs de niveau intermédiaire ou supérieur, nous examinerons un moteur LLM relativement nouveau écrit en Rust et appelé Mistral.rs. Ce code open source prend en charge un nombre croissant de modèles populaires, pas seulement ceux de Mistral, la startup, qui semble avoir inspiré le nom du projet. De plus, Mistral.rs peut être intégré dans vos projets en utilisant des API Python, Rust ou compatibles avec OpenAI, ce qui facilite son insertion dans des projets nouveaux ou existants. Mais, avant d’expliquer comment mettre en place Mistral.rs ou les différentes manières dont il peut être utilisé pour intégrer des modèles IA génératifs dans votre code, nous devons discuter des exigences matérielles et logicielles.