Les modèles linguistiques de grande taille (LLM) sont généralement associés à des chatbots tels que ChatGPT, Copilot et Gemini, mais ils ne se limitent en aucun cas aux interactions de type questions-réponses. De plus en plus, les LLM sont intégrés dans tout, des IDE aux suites de productivité de bureau. Outre la génération de contenu, ces modèles peuvent être utilisés, par exemple, pour évaluer le sentiment de l’écriture, identifier des sujets dans des documents ou nettoyer des sources de données, avec bien sûr la bonne formation, les invitations et les garde-fous. À vrai dire, intégrer des LLM à ces fins dans le code de votre application pour ajouter une analyse basée sur le langage n’est pas si difficile grâce à des moteurs d’inférence hautement extensibles, tels que Llama.cpp ou vLLM. Ces moteurs se chargent du processus de chargement et d’analyse d’un modèle, ainsi que de l’inférence associée. Dans ce tutoriel pratique, destiné aux développeurs de niveau intermédiaire ou plus avancé, nous jetterons un coup d’œil à un moteur LLM relativement récent écrit en Rust appelé Mistral.rs. Ce code source ouvert offre un support pour un nombre croissant de modèles populaires, et pas seulement ceux de Mistral la start-up, qui semble être l’inspiration du nom du projet. De plus, Mistral.rs peut être intégré à vos projets en utilisant des API Python, Rust ou compatibles avec OpenAI, ce qui le rend relativement facile à insérer dans des projets nouveaux ou existants. Mais avant d’aborder la manière de mettre en route Mistral.rs, ou les différentes façons dont il peut être utilisé pour intégrer des modèles d’IA génératrice dans votre code, nous devons discuter des exigences en matière de matériel et de logiciel.
Donnez vie à vos histoires avec Epidemic Sound
Dans le monde numérique d’aujourd’hui, le contenu visuel est roi. Mais qu’est-ce qui transforme une bonne vidéo en une expérience
