Comment numériser un million de livres

Quinze mois après que Google a annoncé un projet de numérisation de livres aux proportions bibliques - un effort pour numériser l'ensemble des collections de livres de la bibliothèque publique de New York et des bibliothèques de l'Université Harvard, entre autres - la société reste secrète sur la façon dont elle résout les problèmes techniques clés. et ne dira pas tout ce qu'ils ont accompli jusqu'à présent.

Cependant, un projet similaire quoique plus petit - le Projet d'un million de livres à l'Université Carnegie Mellon de Pittsburgh - est en cours depuis environ sept ans. Cela pourrait fournir des indices. Le directeur du projet, l'informaticien Raj Reddy, affirme que ses collègues et lui n'ont pas plus de connaissances sur les méthodes ou les progrès de Google que quiconque, mais ils s'attaquent à bon nombre des mêmes défis.

L'objectif de Google Book Search est de rendre tous les livres hors ligne - actuellement invisibles aux yeux de Google - consultables. Cela signifie numériser physiquement des centaines de millions de pages reliées entre les couvertures d'environ 18 millions de livres, reconnaître environ 430 langues et toutes sortes de polices, rendre les résultats disponibles pour les recherches de texte et reproduire l'expérience de navigation traditionnelle dans la bibliothèque lorsque tout est terminé. Daniel Clancy, directeur technique de Google Book Search, dit qu'il ne peut pas commenter ce que l'entreprise a accompli jusqu'à présent.

Dans le projet CMU, cependant, la technologie de numérisation est prête à l'emploi. Ils utilisent facilement disponibles Minolta PS 7000 des scanners de livres installés dans 40 stations de numérisation en Inde et en Chine, où les gouvernements locaux contribuent à maintenir les coûts bas pour le projet à but non lucratif. Dans cette configuration, les travailleurs tournent manuellement chaque page. Sept ans après le début du projet, environ 600 000 livres (principalement des ouvrages du domaine public expédiés du monde entier) ont été numérisés, et chaque jour 100 000 pages supplémentaires rejoignent le corpus numérique. À ce rythme, cela pourrait prendre un peu moins de cinq ans pour terminer le projet CMS.

En revanche, Clancy affirme que Google a développé sa propre technologie de numérisation. Mais la société est muette sur les détails techniques du matériel, du logiciel de reconnaissance optique des caractères (OCR) et du taux de numérisation dans ses cinq centres de numérisation à proximité des bibliothèques partenaires coopérantes à Harvard, Stanford, Université du Michigan, Université d'Oxford et New York Bibliotheque publique.

Reddy dit disponible dans le commerce Logiciel pour reconnaître l'anglais fonctionne bien pour le Million Book Project. Les défis auxquels ils sont confrontés avec l'OCR sont relevés par leurs partenaires chinois, qui développent des logiciels spécifiques pour mieux reconnaître les polices non conventionnelles et les écritures calligraphiques souvent trouvées dans les livres plus anciens. De plus, leurs partenaires en Égypte développent l'OCR pour l'arabe. À l'heure actuelle, dit Reddy, l'OCR est un domaine de recherche actif dans lequel de nombreux pays apportent leur expertise.

Une fois les livres numérisés et leurs textes accessibles, le défi majeur est de rendre le texte utile pour la recherche. L'incohérence dans la qualité physique des livres peut causer des problèmes, dit Clancy, en particulier, avec la numérotation des pages. Par exemple, des pages entières peuvent être manquantes ou des coins écornés peuvent révéler un numéro de page incorrect. Et si la pagination est erronée dans une partie du livre, l'erreur se propage tout au long de l'ouvrage.

Ce problème est en train d'être surmonté, dit Reddy de CMU, en concevant un logiciel qui ne repose pas sur les numéros de page. Au lieu de cela, il crée des métadonnées structurelles, qui sont essentiellement des balises qui résument la signification des informations contenues dans un livre, afin que les chercheurs puissent lier les mots de la table des matières aux chapitres correspondants. De plus, les termes indexés peuvent être liés aux passages corrects. Malheureusement, dit Reddy, l'établissement des liens est toujours un processus manuel ; personne n'a développé de logiciel capable d'établir ces hyperliens avec une précision supérieure à 90 pour cent environ. Si la technique peut être affinée, cependant, cela pourrait rendre les recherches de texte plus significatives.

En fin de compte, dit Clancy, Google aimerait que la recherche de livres donne le même résultat que quelqu'un qui se rend dans une bibliothèque, regarde dans ses piles et trouve par hasard un livre intéressant ou utile. Une façon de le faire serait de lier les livres les uns aux autres par catégories et thèmes, suggère-t-il. La tâche se complique cependant lorsqu'on relie des œuvres de Virginia Woolf, par exemple, à des critiques de son travail, des œuvres qui l'ont inspirée ou des auteurs qui ont écrit à la même époque. Concevoir des algorithmes capables d'organiser efficacement toutes ces nouvelles informations, dit Clancy, est l'un des grands défis et prendra de nombreuses années.

Reddy dit que les chercheurs de la CMU tentent de relever ce défi en utilisant une approche statistique pour organiser les informations. Dans cette approche, les phrases de flux de conscience de Virginia Woolf, par exemple, seraient analysées par un algorithme qui trouverait des modèles basés sur la longueur, la structure et la ponctuation de la phrase. Cette technique pourrait trouver une œuvre de James Joyce, l'une des influences de Woolf - ou celle d'un auteur obscur dont les écrits n'auraient peut-être jamais été retrouvés.

En attendant, les chercheurs recherchent des raccourcis pour rechercher parmi les auteurs, les livres et les genres, dit Reddy. De la même manière que le filtrage collaboratif chez Amazon utilise les achats passés des utilisateurs pour aider les autres à trouver des achats potentiels, les utilisateurs de Recherche de livres pourraient s'entraider. L'approche communautaire est une idée que Google n'a pas annoncée, dit Clancy, mais elle pourrait ajouter une autre couche à la recherche dans les livres et créer un enthousiasme populaire pour le projet.

Certes, tenir ses cartes serrées n'est pas nouveau pour Google. Ils gardent le secret sur presque tout ce qu'ils font… c'est très courant avec les entreprises de la Silicon Valley, dit Reddy de la CMU. Dans le cas de Book Search, dit-il, Google veut avoir une solution captive pour toutes les bibliothèques. Néanmoins, Reddy est enthousiasmé par le projet de Google et pense qu'il finira par compléter ses recherches. Je suis sûr qu'à un moment donné, ils auront un pointeur sur nos livres, dit-il.

Pendant ce temps, Google doit faire face au problème non technique des détenteurs de droits d'auteur mécontents qui les traînent devant les tribunaux. La Guilde des auteurs et un certain nombre d'éditeurs les ont poursuivis en justice, affirmant que le projet de Google violait la loi sur le droit d'auteur. (Le professeur de Stanford, Lawrence Lessig, a fait un exposé de 30 minutes vidéo sur la controverse juridique.)

Mais si les défis juridiques et techniques peuvent être surmontés, les livres physiques numérisés pourraient largement dépasser les milliards de pages Web existantes en termes d'étendue et de profondeur d'informations. En effet, un seul catalogue complet de fiches en ligne pour des millions de livres du monde a le potentiel de créer un tout nouveau chapitre dans l'ère de l'information.

cacher