OpenAI met en garde contre le risque que les utilisateurs puissent devenir émotionnellement accro à son mode vocal.

À la fin de juillet, OpenAI a commencé à déployer une interface vocale étrangement semblable à un humain pour ChatGPT. Dans une analyse de sécurité publiée aujourd’hui, l’entreprise reconnaît que cette voix anthropomorphe pourrait inciter certains utilisateurs à devenir émotionnellement attachés à leur chatbot. Les avertissements sont inclus dans une « carte système » pour GPT-4o, un document technique qui expose ce que l’entreprise estime être les risques associés au modèle, ainsi que des détails sur les tests de sécurité et les efforts d’atténuation que l’entreprise déploie pour réduire les risques potentiels. OpenAI a fait l’objet de critiques ces derniers mois après le départ de plusieurs employés travaillant sur les risques à long terme de l’IA. Certains ont ensuite accusé OpenAI de prendre des risques inutiles et de museler les opposants dans sa course à la commercialisation de l’IA. Révéler davantage de détails sur le régime de sécurité d’OpenAI pourrait aider à atténuer les critiques et rassurer le public sur le sérieux avec lequel l’entreprise aborde le problème. Les risques explorés dans la nouvelle carte système sont divers, et incluent la possibilité pour GPT-4o d’amplifier les biais sociaux, de propager la désinformation et de contribuer au développement d’armes chimiques ou biologiques. Elle révèle également des détails sur les tests conçus pour s’assurer que les modèles d’IA ne chercheront pas à se libérer de leurs contrôles, à tromper les gens, ou à concevoir des plans catastrophiques. Certains experts extérieurs saluent la transparence d’OpenAI mais estiment qu’elle pourrait aller plus loin.