Le projet Ellman de Google : fusion des données de photo et de recherche pour créer un chatbot jumeau numérique

Selon CNBC, Google envisagerait d’utiliser ses derniers modèles d’IA Gemini pour analyser les images de Google Photos et le texte de la recherche afin de rassembler une histoire de vie pour les utilisateurs. La technologie est actuellement explorée dans le cadre du projet Ellman et serait alimentée par le nouveau modèle de langage multimodal Gemini de Google, annoncé cette semaine. L’idée est d’ingérer différents types de données à partir de plusieurs sources, comme des photographies stockées sur Google Photos ou des informations publiques extraites d’Internet, pour créer un chatbot plus personnalisé. Des employés travaillant sur Google Photos et Gemini ont présenté le projet Ellman et ont décrit le produit potentiel comme suit: « Imaginez ouvrir ChatGPT mais qu’il sache déjà tout sur votre vie. Que lui demanderiez-vous? « , Selon CNBC. Le projet porte apparemment le nom du critique littéraire et biographe Richard David Ellmann, spécialisé dans l’écriture sur des auteurs irlandais comme James Joyce, Oscar Wilde et William Butler Yeats. Le projet Ellman utiliserait l’IA pour créer une biographie des utilisateurs à partir de leurs données personnelles. « Nous ne pouvons pas répondre à des questions difficiles ou raconter de bonnes histoires sans avoir une vue d’ensemble de votre vie », a déclaré Google dans ses diapositives de présentation. « Nous passons en revue vos photos, en regardant leurs tags et leurs emplacements pour identifier un moment significatif. Lorsque nous faisons un pas en arrière et que nous comprenons votre vie dans son ensemble, votre histoire globale devient claire. » Les utilisateurs atteints d’amnésie peuvent supposément demander à Ellman Chat s’ils avaient un animal de compagnie ou non, et il regarderait s’ils avaient des photos d’animaux dans leurs données, et s’il y avait d’autres photos de membres de la famille à côté d’un chien ou d’un chat, pour trouver la réponse.