211service.com
Comment votre appareil connaît votre vie à travers des images
De nouvelles recherches sur les réseaux de neurones pourraient permettre aux ordinateurs d'identifier nos actions quotidiennes avec plus de précision que les applications sur le marché qui suivent des éléments tels que la localisation GPS et la fréquence cardiaque. Un nouveau modèle informatique a réussi une précision d'environ 83 % dans l'identification des activités qu'il voit dans les images réelles - et avec juste un peu de formation, il pourrait le faire pour n'importe quel utilisateur qu'il rencontre.
Dirigés par les étudiants diplômés de Georgia Tech, Daniel Castro et Steven Hickson, les chercheurs ont créé un réseau de neurones artificiels conçu pour identifier des scènes dans des photographies dites égocentriques prises du point de vue de l'utilisateur. Celles-ci proviennent généralement d'appareils photo portables tels que Narrative Clip, MeCam, Google Glass et GoPro, mais les photos de téléphone portable classiques fonctionnent souvent aussi. L'équipe a donné sa compétence au réseau en l'entraînant avec un ensemble d'environ 40 000 images prises par un seul individu sur une période de six mois. Ce bénévole dévoué a associé manuellement chaque image à une activité et a naturellement opté pour l'utilisation de 19 étiquettes d'activité de base. Ces étiquettes incluent la conduite, la télévision, le temps passé en famille et l'hygiène.
Un algorithme d'apprentissage séparé combine les suppositions du réseau neuronal avec des métadonnées sur le jour et l'heure auxquels l'image a été capturée. Cela permet au réseau d'apprendre des associations communes entre les activités et même de faire des prédictions sur le calendrier à venir de l'utilisateur.
C'est cette méthode de type ensemble, où nous nous sommes entraînés en plus d'une méthode d'apprentissage en profondeur, explique Hickson. Ainsi, il peut tirer parti de l'apprentissage en profondeur et des informations contextuelles de base sur les activités quotidiennes. (Voir 10 technologies révolutionnaires 2013 : Apprentissage en profondeur. )
Les développeurs de technologies portables pourraient offrir des services beaucoup plus perspicaces avec cette technologie. Les chercheurs imaginent une application qui remarque les habitudes alimentaires ou d'exercice d'un utilisateur et suggère des ajustements possibles. Et comme il peut apprendre votre emploi du temps, il pourrait faire des suggestions intelligentes à la volée, comme partir tôt pour le travail en raison d'un rapport de circulation. Castro dit qu'il pourrait même laisser une application réorganiser vos activités tout au long de la journée afin que vous puissiez les parcourir plus efficacement.
Le chercheur de Microsoft, Gordon Bell, a travaillé sur ce que l'on appelle la mémoire électronique, qui vise à faciliter le rappel humain avec les ordinateurs. Il dit que la clé est de donner aux machines la capacité de reconnaître le contenu des photos. Chacune de ces avancées [pour l'apprentissage automatique] est incroyablement précieuse, déclare Bell. Je considérerais [cette capacité d'indexation] comme quelque chose qui améliorera votre mémoire à long terme en étant capable de trouver des choses dans des situations antérieures. Il dit qu'à l'avenir, les algorithmes de mémoire électronique pourraient rechercher une grande variété de photos à partir de plus qu'un simple point de vue égocentrique, il a donc un large éventail d'applicabilité.
Heureusement, tous les utilisateurs n'ont pas à compiler une base de données de 40 000 images pour tirer parti de cette technologie. Lorsque l'équipe a testé son ensemble d'apprentissage automatique sur deux nouveaux volontaires, elle a eu du mal avec les changements de mode de vie. Hickson dit qu'ils n'ont fait qu'une étude rapide sur l'effet de peaufiner le modèle, en l'entraînant avec une seule journée de photos égocentriques de leurs deux nouveaux volontaires. La précision des résultats a augmenté de façon spectaculaire, dit-il.
Comme toujours avec les caméras portables, cependant, il existe des problèmes complexes de confidentialité et de confiance des utilisateurs. La photographie de point de vue (égographie) permet des informations qui peuvent être extrêmement utiles lorsqu'elles sont mises en œuvre pour les utilisateurs, mais elles peuvent également créer une cible très souhaitable pour les pirates informatiques et les agences de publicité curieuses. La pratique devient même politique grâce à la généralisation de l'utilisation des caméras du corps policier pour enregistrer automatiquement les interactions avec les suspects (voir Contrôler quand les caméras enregistrent).
Certains des problèmes pourraient disparaître si le matériel nécessaire pour exécuter des algorithmes d'apprentissage automatique intensifs sur des appareils mobiles grand public devenait disponible. Si les données ne doivent plus transiter par Internet pour être traitées, selon les chercheurs, la sécurité devient beaucoup plus gérable. Castro dit que le défi est de savoir si nous pouvons déterminer quels sont ces problèmes de confidentialité maintenant afin de ne pas rencontrer de problèmes plus tard, disons cinq ans plus tard, lorsque ces appareils seront disponibles.
Les chercheurs examinent la possibilité d'un algorithme d'analyse d'images qui pourrait compléter le leur en identifiant et en supprimant automatiquement les informations privées des images - une demande occasionnelle de la communauté de l'apprentissage automatique qui aurait semblé beaucoup trop ambitieuse il y a quelques années à peine.