Le défi Netflix d'un million de dollars

Plus tôt cette semaine, Netflix, le service de location de films en ligne, a annoncé qu'il attribuerait 1 million de dollars à quiconque peut proposer un algorithme qui améliore la précision de son service de recommandation de films.

Le système de classement par étoiles de Netflix aide à déterminer des recommandations de films personnalisées. Maintenant, l'entreprise se tourne vers des développeurs externes pour améliorer ces recommandations.

Ce faisant, la société lance un appel aux chercheurs spécialisés dans l'apprentissage automatique, le type d'intelligence artificielle utilisé pour créer des systèmes qui recommandent de la musique, des livres et des films. Le participant qui pourra augmenter la précision du système de recommandation Netflix, qui s'appelle Cinematch, de 10 pour cent d'ici 2011 remportera le prix.

Les systèmes de recommandation tels que ceux utilisés par Netflix, Amazon et d'autres détaillants Web sont basés sur le principe que si deux personnes apprécient le même produit, elles auront probablement d'autres favoris en commun.

Mais derrière cette prémisse simple se cache un algorithme complexe qui intègre des millions d'évaluations d'utilisateurs, des dizaines de milliers d'articles et des relations en constante évolution entre les préférences des utilisateurs.

Pour faire face à cette complexité, les algorithmes des systèmes de recommandation sont entraînés sur d'énormes ensembles de données. Un ensemble de données utilisé dans le système de Netflix contient les classements par étoiles (un à cinq) que les clients de Netflix attribuent aux films. En utilisant ces informations initiales, de bons algorithmes sont capables de prédire les évaluations futures et peuvent donc suggérer d'autres films qu'un individu pourrait aimer.

Parce que l'accès à un tel ensemble de données est essentiel pour améliorer la qualité de ses systèmes de recommandation, la société a également publié 100 millions de recommandations, dépourvues de toute information d'identification personnelle, selon Jim Bennett, vice-président des systèmes de recommandations chez Netflix.

Nous avons discuté avec Bennett cette semaine du fonctionnement des systèmes de recommandation et des défis d'en créer un meilleur.

Examen de la technologie : Avant de construire un meilleur système de recommandation, il serait utile de comprendre votre approche actuelle. Comment fonctionne Cinematch ?

Jim Bennett : Tout d'abord, vous collectez 100 millions d'évaluations d'utilisateurs pour environ 18 000 films. Prenez deux films et trouvez les personnes qui les ont notés tous les deux. Ensuite, regardez si les personnes qui évaluent l'un des films évaluent fortement l'autre, s'ils ont aimé l'un et pas l'autre, ou s'ils n'ont pas aimé l'un ou l'autre des films. Sur la base de leurs notes, Cinematch voit s'il existe une corrélation entre ces personnes. Maintenant, faites cela pour toutes les paires possibles de 65 000 films.

TR : Donc Cinematch me recommanderait des films sur la base des évaluations des personnes qui ont évalué les films comme je l'ai fait. Cette méthode fonctionne-t-elle pour tous les films sur Netflix ?

JB : Beaucoup de disques vraiment obscurs, par exemple, les DVD Comment tondre une pelouse, n'ont pas beaucoup de notes et cette méthode ne fonctionne pas aussi bien. Pour les films avec un grand nombre de notes, vous vous en sortez considérablement. Mais pour que cela fonctionne, il faut beaucoup de réglages des données car les gens peuvent parfois avoir des modèles de notation intéressants.

TR : Comme quoi?

JB : Par exemple, il y a beaucoup de gens qui évaluent un film avec seulement une étoile ou cinq étoiles. Et il y a des gens qui évaluent tout simplement avec trois étoiles. Ce que vous recherchez, c'est un éventail intéressant d'opinions parce que vous essayez de saisir des corrélations. C'est le coeur du moteur.

TR : Comment mesurer quantitativement la précision de votre système ?

JB : Nous avons formé Cinematch sur 100 millions d'audiences et lui avons demandé de prédire ce que seraient les 3 autres millions. Nous avons comparé les nôtres avec les réponses réelles. On fait ça tous les jours. Nous obtenons environ 2 millions de notes par jour et nous suivons les fluctuations quotidiennes du système. Nous prévoyons de mesurer les soumissions au concours [de la même manière]. L'ensemble de données de prix réel est de 103 millions de notes, mais nous n'en avons publié que 100 millions.

TR : Afin de gagner le prix d'un million de dollars, un nouvel algorithme doit améliorer la précision des recommandations de 10 % par rapport à Cinematch. Vous récompensez également un prix de progression de 50 000 $ chaque année pour l'algorithme qui montre la plus grande amélioration par rapport au meilleur algorithme de l'année précédente, d'au moins 1%. Que signifieront ces pourcentages d'amélioration pour un client Netflix ?

JB : Si vous visitez le site Web et notez 100 films pour nous, les étoiles rouges affichées sous chaque film sont personnalisées pour vous. Nous utilisons ces notes pour ajuster la prédiction par rapport à la recommandation moyenne, selon vos goûts. Une différence de trois pour cent, par exemple, pourrait faire une différence d'un quart d'étoile. Nous avons des millions de personnes qui évaluent des millions de DVD, et cette différence d'un quart d'étoile nous aide à trier la liste. La recommandation de film individuel n'est peut-être pas tellement meilleure, mais, dans l'ensemble, l'ensemble de films recommandés est très différent. Déplacez un peu un cuirassé, et cela fait une énorme différence.

TR : Pourquoi les systèmes de recommandation sont-ils si difficiles à améliorer ?

JB : L'une des raisons est qu'il n'y a pas d'ensembles de données. De nombreuses applications d'apprentissage automatique nécessitent des ensembles de données assez importants qui contiennent facilement des millions de points de données. Il existe de nombreuses approches différentes pour résoudre le problème, mais elles nécessitent toutes de grands ensembles de données. Et comme pour de nombreux ensembles de données, une fois que nous avons appliqué les techniques à ces ensembles de données, il n'y a plus d'endroit où aller.

TR : Vous cherchez donc un algorithme qui aborde le problème d'une manière complètement différente de celle de Cinematch ?

JB : Correct. Autant que nous le sachions, il y a beaucoup de bonnes idées sur le terrain. Nous ne pouvons tout simplement pas tous les tester. Nous savons qu'il y a des gens qui sont vraiment au top de la littérature qui connaissent les tenants et les aboutissants des [systèmes de recommandation] et nous aimerions vraiment savoir lesquels seraient les meilleurs.

TR : Quelles approches, discutées dans la littérature, pourraient fonctionner, mais n'ont pas encore été testées avec des recommandations de films ?

JB : C'est difficile à dire. Il y avait un article dans La science il y a quelques mois [28 juillet 2006] qui utilisait une combinaison intéressante de deux types de réseaux neuronaux [une méthode informatique qui trie les données de la même manière que le cerveau humain]. Un réseau de neurones supervise l'apprentissage automatique et l'autre dirige cet apprentissage. Chez Netflix, nous examinons les corrélations entre les notes, et c'est un modèle linéaire. Toutes les connaissances ne peuvent pas être représentées par une combinaison linéaire de caractéristiques. Ce modèle particulier dans La science utilise une approche non linéaire. Je pense que cette technique pourrait être assez bonne.

TR : Existe-t-il d'autres défis techniques urgents chez Netflix qui pourraient être résolus en offrant un prix ?

JB : Je ne voudrais pas spéculer sur plus de concours. Y a-t-il d'autres défis techniques? Absolument. Au-delà du défi des systèmes de maintenir les moteurs de recommandation opérationnels avec une clientèle croissante, nous avons également un grand nombre de défis au sein de l'entreprise, comme essayer d'expédier deux millions de disques par jour aux gens. Et des défis intéressants nous attendent alors que nous nous préparons pour le monde du téléchargement [où les gens peuvent télécharger des films via Internet]. L'entreprise est remplie de défis énormes.

cacher