Les métatests du projet Purple Llama pour les développeurs d’IA visent à évaluer les risques de sécurité des modèles.

Meta a lancé Purple Llama – un projet visant à créer des outils open source pour aider les développeurs à évaluer et à améliorer la confiance et la sécurité de leurs modèles génératifs d’IA avant le déploiement. Le projet a été annoncé jeudi par le président des affaires mondiales de la plateforme (et ancien vice-premier ministre du Royaume-Uni) Nick Clegg. «La collaboration en matière de sécurité permettra de gagner la confiance des développeurs qui propulsent cette nouvelle vague d’innovation, et nécessite des recherches et des contributions supplémentaires en matière d’IA responsable», a expliqué Meta. «Les personnes qui construisent des systèmes d’IA ne peuvent pas aborder les défis de l’IA dans le vide, c’est pourquoi nous voulons mettre tout le monde sur un pied d’égalité et créer un centre de gravité pour la confiance et la sécurité ouvertes». Dans le cadre du projet Purple Llama, Meta collabore avec d’autres développeurs d’applications d’IA, notamment les plateformes cloud comme AWS et Google Cloud, les concepteurs de puces comme Intel, AMD et Nvidia, et les entreprises de logiciels comme Microsoft, pour publier des outils permettant de tester les capacités des modèles et de détecter les risques de sécurité. Le logiciel sous licence Purple Llama prend en charge la recherche et les applications commerciales. Le premier package dévoilé comprend des outils permettant de tester les problèmes de cybersécurité dans les modèles de génération de logiciels, et un modèle de langage qui classe le texte inapproprié ou qui aborde des activités violentes ou illégales. Le package, baptisé CyberSec Eval, permet aux développeurs de lancer des tests de référence pour vérifier la probabilité qu’un modèle d’IA génère du code non sécurisé ou aide les utilisateurs à mener des attaques de cybersécurité.