AI pense que cette photo d'inondation est une toilette. Une réparation qui pourrait améliorer la réponse aux catastrophes.

Graves inondations dans le Midwest. Avec l'aimable autorisation du laboratoire MIT Lincoln

Andrew Weinert et ses collègues étaient profondément frustrés. Après que l'ouragan Maria a frappé Porto Rico, les chercheurs du laboratoire Lincoln du MIT ont travaillé dur pour aider l'Agence fédérale de gestion des urgences (FEMA) à évaluer les dégâts. Ils avaient en main l'ensemble de données parfait : 80 000 prises de vues aériennes de la région prises par la Civil Air Patrol juste après la catastrophe.

Mais il y avait un problème : il y avait trop d'images à trier manuellement et les systèmes commerciaux de reconnaissance d'images ne parvenaient pas à identifier quoi que ce soit de significatif. Dans un exemple particulièrement flagrant, ImageNet, la norme d'or pour la classification des images, a recommandé d'étiqueter une image d'une zone inondée majeure comme des toilettes.

Il y avait ce contenu d'information incroyable, mais il n'était pas accessible, dit Weinert.

Ils ont vite compris que ce problème n'était pas unique. Dans tout scénario de catastrophe à grande échelle, des équipes d'intervenants d'urgence comme la FEMA pourraient économiser beaucoup de temps et de ressources en examinant les détails des conditions sur le terrain avant leur arrivée. Mais la plupart des systèmes de vision par ordinateur sont formés sur des images quotidiennes régulières, de sorte qu'ils ne peuvent pas sélectionner de manière fiable les détails pertinents dans les zones sinistrées.

La réalisation a obligé l'équipe à compiler et à annoter un nouvel ensemble de photos et de séquences spécifiques aux scénarios d'intervention d'urgence. Ils ont publié l'ensemble de données ainsi qu'un papier cette semaine dans l'espoir qu'il sera utilisé pour former des systèmes de vision par ordinateur à l'avenir.

L'ensemble de données comprend plus de 620 000 images et 96,5 heures de vidéo qui englobent des images des 50 États des États-Unis. La plupart des médias provenaient de bases de données gouvernementales ou de vidéos Creative Commons sur YouTube ; une petite fraction a également été filmée par le personnel du Lincoln Lab lui-même.

Images du jeu de données. Avec l'aimable autorisation du laboratoire MIT Lincoln

Pour le rendre véritablement utile aux intervenants d'urgence, les chercheurs ont envisagé divers scénarios d'urgence susceptibles de déclencher des systèmes de classification d'images courants. Ils ont compilé des images de voitures dans des eaux inondées, par exemple ; la plupart des systèmes verraient l'eau et étiquetteraient immédiatement le véhicule comme un bateau, simplement comme un symptôme de leurs données d'entraînement.

Ils ont également passé beaucoup de temps à trouver la meilleure façon d'annoter les images. Ils voulaient que les annotations offrent aux intervenants d'urgence un contexte utile pour leurs missions, et avaient également besoin que le schéma d'annotation soit suffisamment simple pour que les étiqueteurs de données puissent fonctionner rapidement avec un minimum d'erreurs. Ils ont donc imité la structure organisationnelle d'ImageNet, qui regroupe les photos en catégories d'objets de plus en plus spécifiques, comme animal, chien, puis labrador retriever. Plutôt que des catégories d'objets, cependant, les chercheurs ont regroupé des photos basées sur des caractéristiques de catastrophe de plus en plus spécifiques : y a-t-il des dégâts ? Oui ou non? Y a-t-il de l'eau ? Oui ou non? L'eau devrait-elle être là? Oui ou non?

De telles qualifications permettront aux chercheurs en vision par ordinateur de trier facilement l'ensemble de données et de sélectionner les segments pertinents pour former les systèmes de reconnaissance d'images liés aux catastrophes. Ces systèmes aideraient ensuite un intervenant d'urgence à traiter rapidement les images de nouveaux scénarios de catastrophe pour avoir une idée des pires zones d'impact, des types de conditions sur le terrain auxquelles s'attendre et des fournitures à préparer pour leur mission.

Weinert dit que c'est toujours un travail en cours, mais il est enthousiasmé par son potentiel. Si nous pouvions trouver un moyen de dire : 'C'est ainsi que vous devez qualifier les images d'intervention en cas de catastrophe', Amazon, Task Rabbit et toutes les autres entités sources du cloud pourraient commencer à l'utiliser comme norme de l'industrie, dit-il, et commencer à en développer davantage. systèmes de reconnaissance en cas de catastrophe.

Les chercheurs mettent maintenant l'ensemble de données à la disposition de l'Institut national des normes et de la technologie et ont commencé à travailler avec d'autres organisations pour organiser des concours de reconnaissance d'images autour de son utilisation. Nous cherchons des moyens de mettre cela entre les mains des chercheurs en vision par ordinateur, dit Weinert.

Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous à notre newsletter AI nominée par Webby, The Algorithm. C'est gratuit.

cacher