
GUIDED VISION, UNE AIDE PRéCIEUSE.
Dans cet épisode de Numérique Autrement, nous testons Guided Vision sur Android avec TalkBack dans des situations concrètes. Le tutoriel montre comment l’outil décrit une scène (ordinateur, jouets, montre), localise un objet à l’aide de repères spatiaux, reconnaît un produit (une boîte de Cracotte Pain des Fleurs) et guide le cadrage pour mieux lire l’emballage. Il identifie la version aux noisettes et lit les ingrédients visibles, tout en indiquant clairement lorsque certaines informations ne sont pas lisibles. Côté vêtements, Guided Vision décrit couleurs et motifs sans trancher sur des choix esthétiques. Sur un appareil à plusieurs boutons, il décrit les commandes, conserve une organisation par colonnes et permet une exploration progressive via des questions successives. La sortie se fait en langage naturel, et la transcription reste accessible dans l’interface Gemini. Rappels importants : l’outil s’appuie sur ce que voit la caméra et ne remplace pas une canne blanche ou un chien guide. Il s’agit d’un complément pour comprendre l’environnement immédiat. Des tests sur des documents plus complexes sont envisagés. Ce contenu a été généré par intelligence artificielle. Contenu audio GUIDED VISION, UNE AIDE PRECIEUSE.mp3 Regarder sur YouTube https://youtu.be/xCCGFLlAxcw Transcription Guided Vision avec TalkBack Bienvenue sur Numérique Autrement, le podcast qui voit le numérique différemment. Aujourd’hui, pour le tutoriel, nous allons tester Guided Vision sur Android avec TalkBack. L’objectif n’est pas de reprendre une présentation théorique de la fonction, mais de voir ce qu’elle peut réellement apporter à une personne aveugle dans des situations très concrètes. Pendant ce test, j’ai utilisé Guided Vision pour décrire une scène, retrouver un objet, identifier un produit, lire des informations sur un emballage, décrire des vêtements et analyser les commandes d’un appareil. Et les résultats ont été plutôt intéressants. Description de scène Commençons par le lancement. Guided Vision peut être ouvert directement depuis le menu TalkBack. Une fois la fonction lancée, Gemini Live utilise la caméra du téléphone pour analyser ce qui se trouve devant vous. Le premier test était très simple. J’ai pointé mon téléphone vers une table et j’ai demandé à Gemini de me décrire ce qu’il voyait. Il a identifié un ordinateur, reconnu sa marque, décrit plusieurs jouets présents autour, ainsi qu’une montre posée à proximité. Ce premier test montre déjà quelque chose d’important. Guided Vision ne se contente pas nécessairement de dire qu’il y a plusieurs objets. Il peut fournir une description plus détaillée et essayer de distinguer différents éléments présents dans la scène. Repérage d’objet J’ai ensuite voulu voir s’il pouvait m’aider à retrouver un objet précis. Je lui ai demandé où se trouvait la montre. Gemini m’a indiqué qu’elle était située à droite de l’ordinateur, entre l’ordinateur et un autre téléphone. Ce type de réponse est particulièrement intéressant, car il utilise des repères relatifs. Au lieu de simplement dire que la montre est visible, il donne une position par rapport aux objets qui l’entourent. Pour une personne aveugle, c’est évidemment beaucoup plus utile. Cela permet de construire mentalement l’organisation de la scène et de savoir dans quelle direction chercher. Aide au cadrage Le test suivant concernait un emballage alimentaire. J’ai montré une boîte de Cracotte Pain des Fleurs. Guided Vision a reconnu le produit et la marque. Mais surtout, lorsque le cadrage n’était pas suffisamment bon, il ne s’est pas contenté de dire qu’il ne voyait pas correctement. Il m’a guidée pour améliorer la prise de vue. Il m’a notamment demandé de reculer le téléphone et de bien le placer au-dessus de la boîte. C’est une fonction particulièrement importante. Lorsqu’on ne voit pas ce que filme la caméra, savoir comment repositionner le téléphone peut être compliqué. Ici, Guided Vision peut donner des indications très concrètes pour améliorer le cadrage. Lecture d’emballage Une fois la boîte mieux positionnée, je lui ai demandé de quelle gamme de Cracotte il s’agissait. Il a correctement identifié la version aux noisettes. Je lui ai ensuite demandé davantage d’informations sur la composition. Il a détecté plusieurs farines, notamment la farine de noisettes et les autres ingrédients visibles sur l’emballage. Concernant les quantités, il m’a indiqué qu’elles n’étaient pas disponibles sur la partie de l’emballage qu’il pouvait lire. Et ce point est intéressant. Guided Vision est resté centré sur ce que voyait réellement la caméra. Sans demande explicite de ma part, il n’est pas allé chercher automatiquement sur Internet des informations complémentaires concernant le produit. Cela permet de mieux distinguer ce qui provient directement de l’observation de l’emballage et ce qui pourrait éventuellement être obtenu ensuite grâce à une recherche en ligne. Reconnaissance de vêtements Nous avons ensuite testé les vêtements. Je lui ai présenté un tee-shirt et un pantalon. Guided Vision a correctement identifié les deux types de vêtements. Il a également décrit leurs couleurs et leurs motifs. Je lui ai ensuite demandé si les deux vêtements allaient bien ensemble. Et sa réponse était assez intéressante. Il n’a pas essayé de me donner un avis catégorique. Il a rappelé que cela dépendait aussi de mes goûts personnels. Je trouve cette réaction plutôt pertinente. Une intelligence artificielle peut décrire les couleurs, les motifs et éventuellement expliquer pourquoi deux vêtements peuvent sembler assortis. Mais elle évite ici de présenter un choix esthétique comme une vérité absolue. Description par colonnes Le test suivant était probablement l’un des plus intéressants. J’ai utilisé Guided Vision sur un appareil comportant plusieurs boutons. Gemini a commencé par décrire les commandes, leur emplacement et leur fonction. Mais il a également identifié que les boutons étaient organisés en plusieurs colonnes. Je lui ai donc demandé de reprendre la description colonne par colonne. D’abord la première. Puis la deuxième. Puis la troisième. Et il a réussi à conserver cette organisation spatiale tout au long de la conversation. C’est un point particulièrement important. Lorsque l’on découvre un appareil complexe, recevoir toutes les informations d’un seul coup peut être difficile à mémoriser. Pouvoir dire : « Décris-moi uniquement la première colonne. » Puis : « Maintenant la deuxième. » permet d’explorer progressivement l’interface. Guided Vision conserve alors suffisamment le contexte pour comprendre de quelle partie on parle. Conversation contextuelle Ce fonctionnement conversationnel change beaucoup de choses. On ne demande pas simplement une photographie décrite une fois pour toutes. On peut poser une première question, puis approfondir. On peut demander : « Qu’est-ce que c’est ? » Puis : « Où est ce bouton ? » Puis : « À quoi sert-il ? » Ou encore : « Décris-moi uniquement la partie de gauche. » Cette capacité à maintenir le contexte rend l’utilisation beaucoup plus naturelle. Elle permet aussi de réduire la quantité d’informations reçues en une seule fois. Sortie en langage naturel J’ai également testé la manière de quitter Guided Vision. Plutôt que de chercher un bouton particulier, j’ai simplement indiqué à Gemini que j’avais terminé le test et je lui ai demandé de quitter la conversation. La session vidéo et vocale s’est arrêtée. Après quelques bips du téléphone, je suis revenue directement sur l’interface Gemini. Et la transcription de toute la conversation était encore disponible. Là encore, c’est intéressant du point de vue de l’accessibilité. La sortie peut se faire en langage naturel. Il n’est donc pas nécessaire de retrouver visuellement un bouton de fermeture ou de mémoriser un geste spécifique. Et le fait de conserver la transcription permet également de relire ensuite ce qui a été dit. Capacités et limites Après ces différents essais, que peut-on retenir ? D’abord, Guided Vision est capable de produire des descriptions assez détaillées d’une scène. Il peut utiliser des repères spatiaux pour aider à localiser un objet. Il sait guider le cadrage lorsque la caméra n’est pas correctement positionnée. Il peut identifier un produit et lire une partie de son emballage. Il peut reconnaître des vêtements, leurs couleurs et leurs motifs. Et il peut aussi analyser une interface comportant plusieurs boutons tout en conservant une organisation par zones ou par colonnes. Mais il faut aussi garder certaines limites en tête. Guided Vision travaille d’abord à partir de ce qu’il voit réellement avec la caméra. Il ne faut donc pas supposer qu’il va automatiquement compléter une information manquante en allant la chercher ailleurs. Dans mon test, lorsqu’une information n’était pas visible sur l’emballage, il me l’a simplement indiqué. Pas une aide à la mobilité Il y a aussi une limite essentielle à rappeler concernant les déplacements. Guided Vision lui-même me l’a indiqué pendant notre conversation : il ne remplace pas une aide à la mobilité comme une canne blanche ou un chien guide. C’est un point important. Même si l’outil peut décrire ce qui se trouve devant vous ou vous donner des indications sur la position d’un objet, il ne doit pas être utilisé comme un système de déplacement autonome ou de détection fiable des obstacles. Une canne blanche, un chien guide ou les techniques de locomotion restent indispensables pour se déplacer en sécurité. Guided Vision doit plutôt être considéré comme un outil complémentaire. Son intérêt se trouve dans la compréhension de l’environnement immédiat. Identifier un objet. Lire un emballage. Comprendre les commandes d’un appareil. Décrire un vêtement. Ou encore obtenir de l’aide pour mieux cadrer la caméra. C’est là que la fonction devient réellement intéressante. Lecture de documents Et il reste encore beaucoup de choses à tester. Par exemple, nous n’avons pas encore essayé Guided Vision sur un document plus complexe. Il serait intéressant de lui montrer un courrier, une notice ou une page imprimée et de lui demander non seulement de la lire, mais aussi de la résumer ou d’en extraire une information précise. Ce sera peut-être le sujet d’un prochain tutoriel. Si vous souhaitez que je teste Guided Vision sur un document plus complexe, par exemple pour lire un courrier, comprendre une notice ou retrouver une information précise dans une page imprimée, dites-le-moi. Cela pourra faire l’objet d’un prochain tutoriel consacré cette fois à la lecture et à la compréhension de documents avec Guided Vision. Atout conversationnel Pour ce premier test, Guided Vision m’a surtout donné l’impression d’un outil qui ne cherche pas seulement à décrire ce que voit la caméra. Sa vraie force vient de la conversation. On peut demander une précision. Revenir sur un détail. Explorer une zone particulière. Demander où se trouve un objet. Ou faire décrire progressivement une interface complexe. Et pour une personne aveugle, cette possibilité d’interroger directement ce que voit la caméra peut apporter une autonomie supplémentaire dans de nombreuses situations du quotidien. Il faudra évidemment continuer à tester la fiabilité de la fonction dans d’autres contextes. Mais ce premier essai montre déjà qu’elle peut devenir un complément intéressant à TalkBack et aux autres outils d’accessibilité d’Android. Si cet épisode vous a intéressé, n’hésitez pas à le partager autour de vous et à vous abonner à Numérique Autrement pour ne manquer aucun prochain tutoriel. Vous pouvez nous retrouver sur le site Numérique Autrement, mais aussi sur YouTube, Apple Podcasts, Spotify et Amazon Music. C’était le tutoriel de la semaine sur Numérique Autrement. On se retrouve la semaine prochaine pour continuer de découvrir le numérique différemment. Ce contenu a été généré par intelligence artificielle.







