Gemini peut désormais répondre aux questions sur le contenu de l'écran de votre smartphone

Gemini pour Android bénéficie de deux nouvelles fonctionnalités qui permettront aux utilisateurs de poser des questions sur l'écran actuel de leur smartphone. Baptisées « Poser une question sur cet écran » et « Poser une question sur cette vidéo », ces outils capturent une capture d'écran et traitent le contenu de l'écran. Ensuite, lorsque l'utilisateur y est invité, il peut répondre avec les informations pertinentes que l'utilisateur recherche. La fonction vidéo, qui ne semble compatible qu'avec YouTube, peut également fournir des résumés vidéo à condition que des sous-titres soient ajoutés à la vidéo.

Gemini permet désormais aux utilisateurs de poser des questions sur leur écran

Les employés de Gadgets 360 ont repéré ces fonctionnalités dans la version 15.33.38.28.arm64 de l’application Google et dans les versions ultérieures de plusieurs smartphones. Elles apparaissent en haut de la fenêtre flottante de Gemini lorsqu’un utilisateur appelle l’assistant IA. Ceux qui ont accès à cette fonctionnalité verront une bande rectangulaire distincte avec le texte « Poser une question sur cet écran » et une icône de capture d’écran. Si Gemini a été activé pendant la lecture d’une vidéo sur YouTube, le texte est remplacé par « Poser une question sur cette vidéo » et l’icône YouTube.

Gemini Demandez des informations sur cette fonctionnalité d'écran

En appuyant sur l'icône « Poser une question sur cet écran », une capture d'écran temporaire est effectuée dans Gemini. L'utilisateur peut alors poser n'importe quelle question sur l'écran. Les réponses seront uniquement basées sur ce que l'IA peut voir dans la capture d'écran. Cependant, les utilisateurs peuvent également demander à Gemini d'accéder à Internet pour trouver plus d'informations. L'un de ses cas d'utilisation pourrait être de demander un bref résumé d'un article d'actualité.

Pour poser une question complémentaire, les utilisateurs peuvent simplement appuyer sur l'icône du microphone ou sur l'icône du clavier en bas de la fenêtre flottante. Il convient de noter que la capture d'écran n'est pas enregistrée sur l'appareil. De plus, les captures d'écran longues ne sont pas prises en charge avec cette fonctionnalité.

La fonctionnalité « Poser une question sur cette vidéo » ne fonctionne que pour une vidéo YouTube sur laquelle des sous-titres ont été ajoutés. Lors de nos tests, nous avons constaté qu'aucune autre plateforme vidéo, malgré le statut des sous-titres, n'était compatible avec cette fonctionnalité. Cependant, sur une vidéo YouTube, l'utilisation de cette fonctionnalité permet aux utilisateurs de poser des questions sur la vidéo. Les réponses sont générées en fonction des sous-titres et la vidéo elle-même n'est pas analysée.