Les avancées de l'IA permettent de rechercher et d'acheter avec des images

Le Web a beaucoup changé au cours des 20 dernières années, mais les champs de recherche de texte sont une constante. La saisie de texte dans des rectangles pixélisés reste un élément essentiel de la façon dont nous interagissons avec les sites Web et les applications mobiles telles que les boutiques en ligne.

Les utilisateurs de Pinterest peuvent rechercher des éléments sur le service en sélectionnant des parties d'une image.

Les progrès récents des logiciels de reconnaissance d'images sont utilisés pour contester cela. Le réseau social Pinterest et le détaillant de chaussures en ligne Shoes.com testent de nouvelles façons de rechercher ou de naviguer en utilisant uniquement des images plutôt que du texte.

Les deux sociétés se sont tournées vers une technique connue sous le nom d'apprentissage en profondeur, qui a récemment permis aux logiciels de faire correspondre les humains sur certains repères pour la reconnaissance d'images. La technique alimente la recherche d'images de Google et le service d'organisation de photos qu'il a lancé cet été (voir Google Rolls Out New Automated Helpers).

Le nouvel outil de recherche visuelle de Pinterest vous permet de dessiner un cadre autour de quelque chose vu dans une image sur le service pour trouver des éléments visuellement similaires à partir d'un index de plus d'un milliard. Par exemple, lors d'un test rapide de la fonctionnalité, dessiner autour d'une cafetière vue sur une photo d'une cuisine en a révélé d'autres comme celle-ci, y compris des photos en gros plan du même modèle.

Certains articles invoqués par une recherche visuelle sont accompagnés de boutons d'achat, une fonctionnalité que Pinterest a introduite cet été. La fonction de recherche d'images est déployée cette semaine auprès de tous les utilisateurs du site Web et des applications mobiles de l'entreprise. Le système de Pinterest a appris à comprendre les images en s'appuyant sur le texte que les personnes ont joint aux photos partagées sur le service.

Les entreprises ont déjà essayé d'utiliser la technologie de recherche d'images pour faciliter les achats ou la découverte de produits. Par exemple, Amazon a fourni une application pour rechercher des produits pris sur une photo avec son smartphone Fire floppé l'année dernière. En 2010, Google a acheté Like.com, qui avait lancé un site de comparaison d'achats qui pouvait trouver des produits visuellement similaires à celui que vous avez sélectionné et même vous permettre de mettre en évidence des détails importants sur une image pour guider ses sélections. Google affiche aujourd'hui des produits visuellement similaires sur son site d'achat, mais ne vous permet pas de mettre en évidence les détails.

Kevin Jing, responsable de la recherche visuelle chez Pinterest, affirme que la recherche visuelle a désormais de meilleures chances de devenir indispensable. La représentation d'image issue de l'apprentissage en profondeur est beaucoup, beaucoup plus précise, dit-il. Même cette année, il y a eu tellement d'améliorations. Les nouveaux outils de recherche visuelle ne sont cependant pas parfaits. Ce n'est que lorsque de nombreuses personnes auront eu la chance de les essayer qu'il deviendra clair si la technologie sous-jacente s'est suffisamment améliorée pour changer de manière significative la façon dont les gens interagissent avec les services en ligne.

Le détaillant de chaussures Shoes.com teste une approche différente de la recherche visuelle, également alimentée par l'apprentissage en profondeur. La société est la première à utiliser la technologie de traitement d'images destinée aux détaillants développée par la startup d'intelligence artificielle Sentient, qui a levé plus de 143 millions de dollars auprès d'investisseurs (voir AI Supercomputer Built by Tapping Data Warehouses for Idle Computing Power).

Shoes.com teste initialement la technologie de Sentient dans le rayon bottes femme de son magasin canadien. Cliquez sur le bouton de filtre visuel et vous obtenez une grille de 12 images qui, selon le logiciel de Sentient, représentent les groupes de styles les plus distincts du catalogue d'environ 7 000 bottes. Sélectionnez celui qui se rapproche le plus de ce que vous recherchez et le logiciel utilisera les caractéristiques visuelles de votre choix pour actualiser la grille afin d'en afficher 11 autres qui lui ressemblent. Répéter ce processus plusieurs fois permet de cibler une sélection de bottes aux caractéristiques bien particulières.

Nigel Duffy, directeur de la technologie de Sentient, affirme que la nouvelle fonctionnalité démontre comment un logiciel capable de comprendre les images rend les achats en ligne plus efficaces. C'est une catégorie où il est très difficile de décrire avec des mots à un moteur de recherche ce que vous recherchez, dit-il. Nous pouvons obtenir des préférences vraiment granulaires très rapidement.

Roger Hardy, PDG de Shoes.com, affirme qu'il existe des preuves que la fonction de filtre visuel augmente les ventes et qu'il envisage de l'étendre à d'autres catégories de chaussures. Duffy de Sentient dit qu'il s'attend à voir la technologie sous-jacente appliquée à d'autres produits tels que des bijoux, des sacs et d'autres accessoires.

cacher