Ces dernières années, Google a développé pas mal de fonctionnalités d’accessibilité pour son écosystème. Par exemple, sur Android, il est possible d’utiliser la fonctionnalité Live Caption qui sous-titre automatiquement n’importe quelle vidéo ou son qui est lancé sur une app.

Et avec Live Transcribe, Google permet aux personnes sourdes ou malentendantes de communiquer avec leurs smartphones. En substance, cette app transcrit les conversations (et décrit les sons), puis permet à l’utilisateur de répondre en utilisant le clavier (le texte saisi est ensuite prononcé par le smartphone).

Une nouvelle application d’accessibilité pour communiquer en utilisant les yeux

Récemment, Google a dévoilé une nouvelle application expérimentale pour les personnes handicapées qui ne peuvent pas utiliser leurs mains ni parler. Appelée Look to Speak (lien dans la « source de cet article), cette application permet à l’utilisateur de communiquer facilement en utilisant leurs yeux.

Comment ça marche ? L’application Android utilise l’IA pour détecter le regard de l’utilisateur. Et celui-ci peut regarder vers la gauche, vers la droite ou vers le haut pour sélectionner des phrases prédéfinies qui seront alors prononcées par l’appareil.

Les dispositifs utilisant des commandes oculaires existent déjà, pour aider les personnes handicapées. Et l’application imaginée par Google ne remplace pas vraiment ceux-ci.

Une solution qui est accessible sur les smartphones Android

Cependant, son application peut être plus pratique dans certains scénarios, puisqu’au lieu de saisir sur un clavier en utilisant ses yeux, l’utilisateur se sert de trois mouvements (regarde vers le haut, à gauche et à droite) pour sélectionner des phrases. Et l’autre avantage de cette solution, c’est que celle-ci est disponible sur les smartphones Android. Pour développer cette nouvelle solution d’accessibilité, Google a collaboré avec un patient et un spécialiste.

Ci-dessous, vous avez une petite animation expliquant comment se font les interactions avec l’application, en regardant à gauche ou à droite pour choisir une phrase, ou en regardant vers le haut pour annuler la sélection.

« Sarah Ezekiel est une artiste qui a reçu un diagnostic de maladie du motoneurone en 2000. Elle fait partie des millions de personnes dans le monde vivant avec des troubles de la parole et des troubles moteurs. En 2020, avec son orthophoniste Richard Cave, elle a rencontré un petit groupe de Google explorant comment l’apprentissage automatique sur des appareils plus petits pourrait rendre la technologie de communication oculaire plus accessible à un plus grand nombre de personnes », explique la firme de Mountain View.

Sinon, on rappelle que de son côté, la société Neuralink d’Elon Musk développe une puce qui pourrait être implantée au cerveau et qui permettrait à celui-ci de communiquer directement avec les machines.

(Source – Experiments with Google)