L’ingénierie rapide est une tâche qui devrait être laissée aux modèles d’IA.

Les grands modèles de langage ont donné naissance à l’art sombre de l’ingénierie des invitations – un processus pour composer des instructions système qui suscitent de meilleures réponses de chatbot. Comme indiqué dans un article de recherche récent, « L’efficacité déraisonnable des invitations automatiques excentriques » de Rick Battle et Teja Gollapudi de Broadcom VMware, des variations apparemment triviales dans la rédaction des invitations ont un effet significatif sur les performances du modèle. L’absence d’une méthodologie cohérente pour améliorer les performances du modèle via l’optimisation des invitations a conduit les praticiens de l’apprentissage automatique à incorporer le soi-disant « pensée positive » dans les invitations du système. L’invitation du système donne des instructions au modèle sur la manière de se comporter et précède la requête de l’utilisateur. Ainsi, lorsqu’on demande à un modèle d’IA de résoudre un problème mathématique, une invitation du système comme « Vous êtes professeur de mathématiques » produit probablement – bien que pas toujours – de meilleurs résultats que d’omettre cette déclaration. Rick Battle, ingénieur en apprentissage automatique chez VMware, a déclaré à The Register lors d’une interview téléphonique qu’il conseillait spécifiquement contre cela. « Le point général de l’article est que l’essai et l’erreur est la mauvaise façon de faire les choses », a-t-il expliqué.