App Spots Objets pour les malvoyants

Alors que je me promenais dans mon bureau un matin récent, une voix féminine sur mon iPhone a raconté les objets que j'ai croisés. Brique, mur, téléphone, dit-elle d'un ton neutre. La voix s'est arrêtée lorsque je suis tombé sur un vélo accroché à un support mural, puis a entonné, vélo.

La voix fait partie d'une application gratuite de reconnaissance d'images appelée Aipoly qui essaie de permettre aux personnes ayant une déficience visuelle de reconnaître plus facilement leur environnement. Pour l'utiliser, vous pointez la caméra arrière du téléphone vers ce que vous voulez qu'il identifie, et Aipoly dira ce qu'il voit (ou, du moins, ce qu'il pense voir) et affichera le nom de l'objet sur l'écran du téléphone. Aipoly fonctionne directement sur votre téléphone, il n'a donc pas besoin d'un accès Internet pour fonctionner, et il peut identifier un objet après l'autre lorsque vous déplacez le téléphone, sans vous obliger à prendre une photo de chaque chose.

Les créateurs d'Aipoly espèrent que l'application pourra être utile aux personnes souffrant de troubles visuels graves, et peut-être à celles qui essaient d'apprendre une nouvelle langue. Ils espèrent également qu'il sera plus rapide que d'autres applications liées à la reconnaissance d'images qui dépendent de l'aide d'autres humains, comme Sois mes yeux , ou qui nécessitent Internet, comme TapTapVoir .

L'application a été déployée pour l'iPhone au début de cette année par une startup du même nom basée à Melbourne. Le cofondateur d'Aipoly, Simon Edwardsson, affirme qu'il reconnaît les images en utilisant l'apprentissage en profondeur, qui est une technique d'apprentissage automatique inspirée des études sur le cerveau. C'est la même technologie utilisée par Facebook pour la reconnaissance des visages et Google pour la recherche d'images.

L'application détermine ce qu'est quelque chose en décomposant une image en différentes caractéristiques, telles que des courbes, des lignes et des motifs (tels que des rayures), puis utilise ces caractéristiques pour déterminer la probabilité que l'image soit un objet spécifique.

Aipoly a pu me dire quelles sont les nombreuses choses que je peux trouver autour de mon bureau, même si cela nécessite encore beaucoup de travail. Il ne peut reconnaître qu'environ 1 000 objets jusqu'à présent ; Edwardsson dit que la société essaie d'augmenter ce nombre jusqu'à 5 000, bien que ce ne soit toujours pas si nombreux si vous considérez le nombre de choses distinctes que vous rencontrez chaque jour.

Et tandis que l'application était souvent correcte lors de la détection d'un objet, même partiellement occulté (comme des écouteurs en bandoulière autour du cou de mon collègue), il y avait aussi beaucoup de ratés.

Par exemple, sa voix féminine disait Chevrolet, puis volant, et, enfin, souris tandis que le téléphone était focalisé sur ma souris d'ordinateur. Et l'application n'arrêtait pas d'identifier à tort un micro-ondes comme AC.

L'application iPhone d'Aipoly utilise l'intelligence artificielle pour identifier les objets lorsque vous déplacez votre téléphone.

Les utilisateurs peuvent former Aipoly en tapant un mot ou une phrase correcte pour identifier un objet qui se trompe ; ces données seront ensuite téléchargées sur les serveurs d'Aipoly et la startup ajoutera des descriptions à Aipoly toutes les quelques semaines environ à mesure qu'elle publiera de nouvelles versions de l'application, explique Edwardsson.

Jeff Bigham , professeur agrégé en interaction homme-machine à l'Université Carnegie Mellon qui étudie les technologies d'assistance, dit qu'Aipoly semble fonctionner plutôt bien, et qu'il pourrait être utilisé pour avoir une idée de votre environnement en déplaçant le téléphone autour de vous. Mais il s'interroge sur l'utilité de certaines de ses capacités d'identification d'objets, car les gens ont tendance à être doués pour déterminer ce qu'est quelque chose en le touchant.

Ce qui est beaucoup plus utile, c'est de distinguer des choses qui sont autrement impossibles à distinguer, dit-il, comme des boîtes de conserve ou des boîtes de nourriture qui ont à peu près la même sensation.

cacher