Google’s Project Ellman: Merging photo and search data to create digital twin chatbot

Selon CNBC, Google envisagerait d’utiliser ses derniers modèles d’IA Gemini pour analyser les images de Google Photos et le texte de la recherche afin de constituer une histoire de vie pour les utilisateurs. La technologie est actuellement explorée dans le cadre du projet « Ellman », et serait alimentée par le nouveau modèle linguistique multimodal Gemini de Google, annoncé cette semaine. L’idée est d’ingérer différents types de données provenant de plusieurs sources, comme des photographies stockées sur Google Photos ou des informations publiques extraites d’Internet, pour créer un chatbot plus personnalisé. Des employés travaillant sur Google Photos et Gemini ont présenté le projet Ellman et décrit le produit potentiel de la manière suivante : « Imaginons que ChatGPT soit déjà au courant de tout ce qui concerne votre vie. Que lui demanderiez-vous ? », Selon CNBC. Le projet porte apparemment le nom du critique littéraire et biographe Richard David Ellmann, spécialisé dans l’écriture sur des écrivains irlandais comme James Joyce, Oscar Wilde et William Butler Yeats. Le projet Ellman utiliserait l’IA pour créer une biographie des utilisateurs à partir de leurs données personnelles. « Nous ne pouvons pas répondre à des questions difficiles ou raconter de bonnes histoires sans avoir une vue d’ensemble de votre vie », a déclaré Google dans ses diapositives de présentation. « Nous passons en revue vos photos, en regardant leurs tags et leurs emplacements pour identifier un moment significatif. Lorsque nous faisons un pas en arrière et que nous comprenons votre vie dans son ensemble, votre histoire globale devient claire. » Les utilisateurs atteints d’amnésie peuvent probablement demander à Ellman Chat s’ils ont eu un animal de compagnie ou non, et il examinera s’ils ont des photos d’animaux dans leurs données, et s’ils y a d’autres photos de membres de la famille à côté, par exemple un chien ou un chat, pour déterminer la réponse.