« Chat With RTX » de Nvidia est une application de style ChatGPT qui s’exécute sur votre propre GPU.

Le mardi, Nvidia a lancé Chat With RTX, un chatbot IA personnalisé et gratuit similaire à ChatGPT qui peut fonctionner localement sur un PC équipé d’une carte graphique Nvidia RTX. Il utilise les LLM (Large Language Models) ouverts Mistral ou Llama et peut rechercher dans les fichiers locaux et répondre aux questions à leur sujet. Chat With RTX fonctionne sur les PC Windows équipés des GPU NVIDIA GeForce RTX 30 ou 40 Series avec au moins 8 Go de VRAM. Il utilise une combinaison de génération avec renforcement de récupération (RAG), du logiciel NVIDIA TensorRT-LLM et de l’accélération RTX pour permettre des capacités d’IA générative directement sur les appareils des utilisateurs. Cette configuration permet d’engager des conversations avec le modèle IA en utilisant des fichiers locaux comme ensemble de données. « Les utilisateurs peuvent rapidement et facilement connecter des fichiers locaux sur un PC comme ensemble de données à un modèle de langage volumineux open source tel que Mistral ou Llama 2, ce qui permet des requêtes pour des réponses rapides et pertinentes dans le contexte », écrit Nvidia dans un article de blog promotionnel. Avec Chat With RTX, les utilisateurs peuvent discuter de divers sujets ou demander au modèle IA de résumer ou d’analyser des données, tout comme ils pourraient interagir avec ChatGPT. En particulier, le modèle Mistral-7B est construit avec des paramètres intégrés pour éviter certains sujets sensibles (comme le sexe et la violence, bien sûr), mais les utilisateurs pourraient éventuellement brancher un modèle IA non censuré et discuter de sujets interdits sans la paternalisme inhérent aux modèles censurés. De plus, l’application prend en charge différentes formats de fichiers, y compris .TXT, .PDF, .DOCX et .XML. Les utilisateurs peuvent diriger l’outil pour parcourir des dossiers spécifiques, que Chat With RTX scanne ensuite pour répondre rapidement aux requêtes. Il permet même l’incorporation d’informations à partir de vidéos YouTube et de listes de lecture, offrant ainsi un moyen d’inclure du contenu externe dans sa base de connaissances (sous forme d’embeddings) sans nécessiter de connexion Internet pour traiter les requêtes.