La start-up Patronus crée un outil de diagnostic pour détecter les erreurs d’IA génétique.

Alors que les plateformes d’IA générative (genAI) telles que ChatGPT, Dall-E2 et AlphaCode avancent à un rythme effréné, il est presque impossible d’empêcher ces outils de délirer et de produire des réponses erronées ou offensantes.
Jusqu’à présent, il y a eu peu de méthodes pour garantir que des informations exactes émanent des grands modèles de langage (LLM) qui servent de base à la genAI.
À mesure que les outils d’IA évoluent et deviennent meilleurs pour imiter le langage naturel, il sera bientôt impossible de distinguer les résultats faux des résultats réels, incitant les entreprises à mettre en place des « balises de sécurité » contre les pires scénarios, qu’ils soient accidentels ou le résultat d’efforts intentionnels de mauvais acteurs.
Les outils de genAI sont essentiellement des moteurs de prédiction de mots suivants. Ces générateurs de mots suivants, comme ChatGPT, le Copilot de Microsoft et le Bard de Google, peuvent dérailler et commencer à produire de fausses informations trompeuses.
En septembre, une start-up fondée par deux anciens chercheurs de Meta AI a lancé une plateforme d’évaluation et de sécurité automatisée qui aide les entreprises à utiliser les LLM en toute sécurité en utilisant des tests adversariaux pour surveiller les modèles en termes d’incohérences, d’erreurs, de délires et de biais.

Share the Post: