Watson sur Jeopardy, partie 2

Regarder la première nuit du Péril match opposant le programme IBM Watson à des concurrents humains était très amusant. Une touche agréable était l'affichage des coulisses qui montrait trois réponses que Watson envisageait pour chaque question et la confiance de la machine en elles. C'est intéressant, car cela vous donne un aperçu de l'éventail des choses qu'il envisageait.

Certaines des catégories étaient évidemment des balles molles pour Watson. Une catégorie, Beatles People, était facile car le simple fait de faire correspondre les paroles des chansons permettrait au programme de trouver la réponse très loin (mais pas complètement). Les règles du jeu interdisaient à l'ordinateur d'aller sur le Web pour trouver des réponses. Watson doit s'appuyer sur ses propres ressources, stockées à l'avance. Mais dans ses 15 pétaoctets de stockage, Watson a fondamentalement, plus ou moins, une copie d'une bonne partie du Web.

De toute évidence, il avait une copie des paroles des Beatles qu'il cherchait. Sinon, il n'aurait pas eu de prière sur ces questions.

Watson a terminé le premier tour à égalité au premier rang, avec 5 000 $; Ken Jennings a terminé troisième avec 2 000 $. Mais pour avoir une idée de ce que Watson a vraiment fait, vous pouvez organiser votre propre concours à la maison, contre ce qui est le véritable concurrent de Watson. Pas Brad Rutter ou Ken Jennings, mais un moteur de recherche comme Google. Tapez simplement l'indice sur Google et voyez ce que vous obtenez. Comme Watson, Google analyse d'énormes quantités de texte, compte les mots et suit la fréquence à laquelle les mots ont tendance à apparaître ensemble. Comme Watson, Google utilise plusieurs approches pour analyser le texte, puis dispose d'une sorte de schéma de vote pour déterminer à quel point il est sûr de la réponse.

Il existe de nombreuses différences entre Watson et Google, mais cela vous donnera une bonne idée du problème. La plupart du temps, ce que vous obtiendrez, ce sont des pages Web qui contiennent la réponse quelque part, mais choisir la réponse parmi tout ce qui se trouve sur la page, les publicités et tout, n'est pas une mince affaire. Comprendre ce qui constitue une réponse est le problème central.

Il est intéressant de noter que l'échec de Watson était parfois plus instructif que lorsqu'il a réussi.

Indice : C'était cette bizarrerie anatomique du gymnaste américain George Eyser….

Réponse de Ken Jennings : Manquer une main (faux)

Réponse de Watson : jambe (faux)

Bonne réponse : il manque une jambe

Ce que Watson n'a pas réalisé, c'est que le mot jambe, en soi, n'était pas en fait une réponse à la question. C'est du bon sens pour les gens, car la jambe est une partie anatomique, pas une bizarrerie anatomique, bien que Watson se soit rendu compte que les jambes étaient impliquées d'une manière ou d'une autre. Ce qui s'est passé ici aurait pu être quelque chose de plus profond qu'un simple bug. David Ferrucci, chef de projet de Watson, a attribué l'échec à la difficulté du mot bizarrerie dans la question. Pour comprendre ce qui peut être étrange, il faut le comparer à ce qui ne l'est pas, c'est-à-dire à ce qui relève du bon sens. Un problème avec l'approche de Watson est que si une phrase apparaît dans sa base de données, elle ne peut pas dire si quelqu'un l'a mise là simplement parce qu'elle est vraie, ou parce que quelqu'un a estimé qu'elle était si inhabituelle qu'elle devait être dite.

Un ordinateur qui manque de bon sens, malheureusement, n'est pas une bizarrerie. Cela devrait peut-être l'être.

Henry Lieberman est un chercheur qui travaille sur l'intelligence artificielle au Media Laboratory du MIT.

cacher