Chapter 2
Quelques numéros de livres sont réservés pour l’avenir, par exemple le numéro 1984 (eBook #1984) pour le roman éponyme de George Orwell, publié en 1949, et qui est donc loin d’être tombé dans le domaine public.
En 2002, les collections s’accroissent de 203 titres par mois. Au printemps 2002, elles représentent le quart des oeuvres du domaine public en accès libre sur le web, recensées de manière pratiquement exhaustive par l’Internet Public Library (IPL). Un beau résultat dû au patient travail de milliers de volontaires actifs dans plusieurs pays.
1.000 livres en août 1997, 2.000 livres en mai 1999, 3.000 livres en décembre 2000, 4.000 livres en octobre 2001, 5.000 livres en avril 2002, 10.000 livres en octobre 2003. Le 10.000e livre est The Magna Carta, qui fut le premier texte constitutionnel anglais, signé au début du 13e siècle.
Entre avril 2002 et octobre 2003, les collections doublent, passant de 5.000 à 10.000 livres en dix-huit mois. La moyenne mensuelle est de 348 livres numérisés en 2003.
Un CD «Best of Gutenberg» est disponible en août 2003 avec une sélection de 600 livres. En décembre 2003, date à laquelle le Projet Gutenberg franchit la barre des 10.000 livres, la quasi-totalité des livres (9.400 livres) est gravée sur un DVD. CD et DVD sont envoyés gratuitement à qui en fait la demande. Libre ensuite à chacun de faire autant de copies que possible et de les distribuer autour de soi.
Dix mille livres. Un chiffre impressionnant quand on pense à ce que cela représente de pages scannées, relues et corrigées. Cette croissance rapide est due à l’activité de Distributed Proofreaders (DP), un site conçu en 2000 par Charles Franks pour permettre la correction partagée. Les volontaires choisissent un livre en cours de traitement pour relire et corriger une page donnée. Chacun travaille à son propre rythme. A titre indicatif, le site conseille de relire une page par jour. C’est peu de temps sur une journée, et c’est beaucoup pour le projet.
= De dix mille à vingt mille livres
En décembre 2003, les collections approchent les 11.000 livres. Plusieurs formats sont désormais présents, à commencer par les formats HTML, XML et RTF, le format principal (et obligatoire) restant l’ASCII. Le tout représente 46.000 fichiers, soit une capacité totale de 110 gigaoctets. Le 13 février 2004, date de la conférence de Michael Hart au siège de l’UNESCO à Paris, les collections comprennent très exactement 11.340 livres dans 25 langues différentes. En mai 2004, les 12.581 livres disponibles représentent 100.000 fichiers dans vingt formats différents, soit une capacité totale de 135 gigaoctets, destinée à doubler chaque année avec l’ajout de plus de 300 livres par mois (348 livres en 2003 et 338 livres en 2004).
Parallèlement, le Project Gutenberg Consortia Center (PGCC), qui avait été lancé en 1997 pour rassembler des collections de livres numériques avec point d’accès unique, est officiellement affilié au Projet Gutenberg en 2003. Par ailleurs, à l’instigation du Projet Rastko, basé à Belgrade (Serbie), les activités du Projet Gutenberg Europe débutent en janvier 2004, avec la mise en ligne des cent premiers livres dans les mois qui suivent. La présence de plusieurs langues reflète la diversité linguistique prévalant en Europe. Cent langues sont prévues sur le long terme.
En janvier 2005, le Projet Gutenberg fête ses 15.000 livres, avec la mise en ligne de The Life of Reason de George Santayana (paru en 1906). En juin 2005, le nombre de livres s’élève à 16.000 et 42 langues sont représentées. Le 3 août 2005, outre l’anglais (14.590 livres), six langues disposent d’un nombre de livres significatif: le français (578 livres), l’allemand (349 livres), le finnois (225 livres), le hollandais (130 livres), l’espagnol (105 livres) et le chinois (69 livres).
Lancé en août 2001, le Project Gutenberg of Australia fête ses 500 livres en juillet 2005, tandis que le Project Gutenberg of Canada est en gestation, avec un suivi grâce à la liste PGCanada. Les choses sont en bonne voie pour un Projet Gutenberg au Portugal et aux Philippines.
En décembre 2006, le Projet Gutenberg franchit la barre des 20.000 livres, dont 10.000 produits par Distributed Proofreaders depuis octobre 2000. La moyenne est de 346 nouveaux livres par mois en 2006. Le nombre de nouveaux livres pour l’année 2006 s’élève à 4.146 alors qu’il était de 3 186 pour l’année 2005. S'il a fallu 32 ans pour numériser les 10.000 premiers livres, entre juillet 1971 et octobre 2003, il n’a fallu que trois ans et deux mois, d’octobre 2003 à décembre 2006, pour numériser les 10.000 livres suivants. Le Project Gutenberg of Australia approche les 1.500 livres (c'est chose faite en avril 2007). Le Projet Gutenberg Europe compte 500 livres.
La section Project Gutenberg PrePrints débute en janvier 2006 pour accueillir de nouveaux documents suffisamment intéressants pour être mis en ligne, mais ne pouvant être intégrés aux collections existantes sans traitement ultérieur par des volontaires, pour diverses raisons: collections incomplètes, qualité insuffisante, conversion souhaitée dans un autre format, etc. Cette section comprend 379 titres en décembre 2006.
Le site Project Gutenberg News débute en novembre 2006 à l’instigation de Mike Cook, le nouvel éditeur de la lettre d’information hebdomadaire et mensuelle. Le site offre par exemple les statistiques de production hebdomadaires, mensuelles et annuelles depuis 2001. La production hebdomadaire est de 24 livres en 2001, 47 livres en 2002, 79 livres en 2003, 78 livres en 2004, 58 livres en 2005 et 80 livres en 2006. La production mensuelle est de 104 livres en 2001, 203 livres en 2002, 348 livres en 2003, 338 livres en 2004, 251 livres en 2005 et 346 livres en 2006. La production annuelle est de 1.244 livres en 2001, 2.432 livres en 2002, 4.176 livres en 2003, 4.058 livres en 2004, 3.017 livres en 2005 et 4.146 livres en 2006.
3.2. La méthode adoptée
Qu’ils aient été numérisés il y a des années ou qu’ils soient numérisés maintenant, tous les livres sont numérisés en mode texte, en utilisant l’ASCII original. Présent dès les débuts de l’informatique et dénommé Plain Vanilla ASCII, cet ASCII sur sept bits traite 128 caractères, dont 97 caractères imprimables correspondant aux touches du clavier anglais ou américain (A-Z, a-z, chiffres, ponctuation et quelques symboles). Dans le cas de langues autres que l’anglais, on utilise des extensions de l’ASCII (appelées ISO-8859 ou ISO-Latin) prenant en compte les caractères accentués. Mais, même dans ce cas, le Projet Gutenberg propose systématiquement en complément une version ASCII sur sept bits sans accents. Sauf, bien entendu, dans le cas de langues non traduisibles en ASCII, comme le chinois, qui est encodé au format Big-5.
Dénommé à juste titre le plus petit dénominateur commun, l’ASCII sur sept bits est le seul format compatible avec 99% des machines et des logiciels, et pouvant être converti dans d’autres formats. Il sera toujours utilisé quand d’autres formats auront disparu, à commencer par les formats éphémères liés à quelques tablettes de lecture commercialisées entre 1999 et 2003 et déjà disparues du marché. Il est l’assurance que les collections ne deviendront jamais obsolètes, et survivront aux changements technologiques des prochaines décennies ou même des prochains siècles. Il n’existe pas d’autre standard aussi largement utilisé pour le moment, y compris l’Unicode, système d’encodage «universel» créé en 1991.
Le Projet Gutenberg propose toutefois certains livres dans d’autres formats, notamment dans les trois formats répandus que sont les formats HTML, XML et RTF. Des fichiers Unicode sont également présents. De plus, tout format proposé par tel ou tel volontaire (PDF, LIT, TeX et beaucoup d’autres) est généralement accepté, dans la mesure où un fichier ASCII est également présent.
Pour une conversion à grande échelle dans un format donné, le relais est passé à d’autres organismes. Par exemple Blackmask Online, qui puise dans les collections du Projet Gutenberg pour proposer des milliers de livres gratuits dans huit formats différents, tous issus du format Open eBook (OeB). Ou encore Manybooks.net, qui convertit les collections du Projet Gutenberg dans des formats lisibles sur PDA. Ou encore GutenMark, un outil permettant de reformater les livres aux formats HTML et LaTEX pour une lecture plus attractive ou de les reformater au format PDF pour une impression à la demande. Ou encore MobileBooks, qui propose 5.000 livres en Java pour lecture sur l’écran d’un téléphone portable. Ou encore Bookshare.org, la grande bibliothèque numérique destinée aux personnes aveugles et malvoyantes résidant aux Etats-Unis. Bookshare.org utilise les collections du Projet Gutenberg pour offrir les classiques du domaine public au format braille et au format DAISY, qui permet l’écoute du livre sur synthèse vocale.
En quoi consiste exactement le travail des volontaires, une fois reçue la confirmation que le livre est bien du domaine public? Il consiste à scanner le livre page après page, ce qui donne des fichiers numérisés en mode image, puis à utiliser un logiciel OCR (optical character recognition), qui permet de convertir chaque fichier image en un fichier texte. Il consiste ensuite à relire le contenu du fichier texte au regard de l’original (image scannée ou livre imprimé) en corrigeant les erreurs, à savoir dix erreurs par page en moyenne quand le logiciel OCR est de qualité.
Le livre est relu et corrigé à deux reprises par deux personnes différentes. Les livres anciens sont parfois saisis ligne après ligne si le texte original manque de clarté. Certains volontaires préfèrent également taper eux-mêmes des textes courts ou des oeuvres qu’ils aiment particulièrement. Mais les livres sont le plus souvent scannés et «OCRisés», puis relus et corrigés.
Contrairement à la numérisation en mode image (qui s’arrête à l’étape du scanner), la numérisation en mode texte permet la copie du texte, l’indexation, la recherche plein texte, l’analyse textuelle, une étude comparative entre plusieurs textes, etc. On peut aussi lancer une recherche à partir de la fonction «chercher» proposée par n’importe quel programme, sans logiciel de recherche intermédiaire.
Le Projet Gutenberg dispose d’un moteur de recherche pour l’ensemble de ses collections, grâce à un partenariat avec Google, avec mise à jour mensuelle. Tout comme une recherche sur les métadonnées (auteur, titre, descriptif, mots-clés) grâce à un partenariat avec Yahoo!, avec mise à jour hebdomadaire. Pour la recherche avancée (Advanced Search), la recherche multicritères (auteur, titre, sujet, langue, catégorie, classification, format, numéro) inclut désormais un critère supplémentaire de recherche plein texte (Full Text), à titre expérimental.
Les avantages de la numérisation en mode texte sont multiples. Les fichiers prennent peu de place et circulent d’autant plus facilement. Contrairement à d’autres formats, le téléchargement d’un livre au format texte ne requiert pas de bande passante large. Le fichier texte peut être copié à l’infini, et constituer la base de centaines de nouvelles versions numériques et imprimées, pour un coût pratiquement nul. A tout moment, on peut corriger les erreurs typographiques qui auraient pu subsister. Les lecteurs peuvent changer à volonté la taille et la police des caractères, ainsi que les marges ou le nombre de lignes par page. Le lecteur malvoyant peut grossir la taille des polices et le lecteur aveugle utiliser un logiciel de reconnaissance vocale. Tout ceci est nettement plus difficile, sinon impossible, avec nombre d’autres formats.
Si la correction par deux personnes différentes permet de mettre en ligne un texte fiable à 99,9%, le but n’est pas pour autant de créer des éditions faisant autorité, ou d’épiloguer sans fin avec un lecteur pointilleux sur le bien-fondé ou non d’un signe de ponctuation tel que deux points à la place d’un point virgule entre deux propositions.
Le Projet Gutenberg insiste régulièrement sur la nécessité de la relecture, qu’il juge essentielle. Utiliser directement des livres scannés puis convertis au format texte par un logiciel OCR, sans relecture, donne un résultat de bien moindre qualité, avec une fiabilité de 99% dans le meilleur des cas. L’étape de la relecture avec correction permet d’atteindre une fiabilité de 99,95%, un pourcentage élevé qui est aussi le standard de la Library of Congress.
Le Projet Gutenberg s’inscrit donc dans une perspective assez différente de la bibliothèque de l’Internet Archive (qui héberge également les collections du Projet Gutenberg, en tant que deuxième site de distribution et site de sauvegarde). Dans le cas de l’Internet Archive, les livres sont scannés puis «OCRisés», mais ils ne sont pas relus par des correcteurs s’attachant à traquer les erreurs. Plus rapide et moins fiable quant au résultat, la numérisation des livres sans relecture est aussi la méthode adoptée par Google, Microsoft et bien d’autres pour leurs propres bibliothèques numériques.
Disponible sur le site du Projet Gutenberg, le File Recode Service permet de convertir les fichiers d’un système d’encodage (ASCII, ISO-8859, Unicode, Big-5, etc.) à un autre. A l’avenir, un logiciel de conversion beaucoup plus puissant devrait permettre la conversion automatique dans bien d’autres formats (XML, HTML, PDF, TeX, RTF, BRF, etc.). Il sera également possible de choisir d’emblée la taille et la police des caractères, ainsi que le fonds d’écran. Une autre conversion très attendue est la conversion d’une langue à une autre par le biais d’un logiciel de traduction automatique. Une telle conversion pourrait être possible dans quelques années, quand ce type de logiciel aura gagné en qualité.
3.3. La correction partagée
La croissance rapide des collections depuis 2001 est due à l’activité de Distributed Proofreaders, site lancé en octobre 2000 par Charles Franks pour gérer la correction partagée entre les volontaires. A l’origine, il s’agit seulement d’intensifier la production de livres du Projet Gutenberg. Mais le succès est tel que le site devient la principale source des collections. En 2002, Distributed Proofreaders est officiellement affilié au Projet Gutenberg.
Les volontaires n’ont aucun quota à respecter. A titre indicatif, il est suggéré de relire une page par jour, si possible. Cela semble peu, mais une page multipliée par des centaines de volontaires représente un chiffre considérable. La progression est rapide. En 2003, une moyenne de 250 à 300 relecteurs quotidiens permet de produire entre 2.500 et 3.000 pages par jour, ce qui représente deux pages par minute. En 2004, la moyenne est de 300 à 400 relecteurs quotidiens produisant entre 4.000 et 7.000 pages par jour, à savoir quatre pages par minute. Distributed Proofreaders comptabilise un total de 3.000 livres en février 2004, 5.000 livres en octobre 2004, 7.000 livres en mai 2005, 8.000 livres en février 2006 et 10.000 livres en mars 2007, avec plusieurs milliers de volontaires dans le monde et une production de cinq livres par jour.
Le site a pour but de permettre à plusieurs correcteurs de travailler simultanément au même livre, sur des pages différentes. Le volontaire commence par s’inscrire. Il reçoit des directives détaillées. Ces directives concernent par exemple les parties en gras, en italique et soulignées, ou les notes, qui sont toutes traitées de la même manière. Un forum permet de poser des questions et de demander de l’aide si nécessaire. Quand le volontaire se connecte au site, il sélectionne le livre de son choix à partir d’une liste donnée. Une page du livre choisi apparaît simultanément en deux versions: d’une part l’image scannée, d’autre part le texte issu de cette image, produit par un logiciel OCR. Le relecteur compare les deux versions et corrige les différences. Un logiciel OCR étant fiable à 99%, cela représente une moyenne de dix erreurs à corriger par page. La page est ensuite sauvegardée. Le relecteur peut soit cesser le travail, soit opter pour la correction d’une autre page. Tous les livres sont relus et corrigés deux fois de suite et, la deuxième fois, uniquement par des correcteurs expérimentés. Les pages corrigées sont ensuite formatées selon des règles précises et assemblées par d’autres volontaires pour obtenir un livre numérique. Durant tout le processus, un livre donné est suivi par un responsable (project manager) qui s’assure du bon déroulement des opérations. Après la mise en forme suit la mise en ligne, avec indexation (titre, sous-titre, numéro de l’ebook et format) puis catalogage (dates de naissance et de décès de l’auteur, classification de la Library of Congress, etc.).
Les volontaires peuvent aussi travailler de manière indépendante, en s’adressant directement au Projet Gutenberg. Ils peuvent saisir leur livre préféré de bout en bout sur le traitement de texte de leur choix. Ils peuvent aussi scanner eux-mêmes un livre, le convertir en texte par le biais d’un logiciel OCR et faire les corrections nécessaires en comparant le résultat à l’original. Dans les deux cas, une deuxième relecture est faite par une autre personne. Toute participation est bienvenue, quelle que soit la méthode adoptée. Il est tout à fait possible de joindre des fichiers dans d'autres formats en complément du fichier ASCII.
Aussi bien pour Distributed Proofreaders (DP-INT) que pour Distributed Proofreaders Europe (DP Europe), de nouveaux volontaires sont bienvenus, y compris pour les livres en français. La tâche est immense. Comme indiqué sur les deux sites, «DP ne s’attend pas à un engagement inconditionnel de votre part. Corrigez des textes aussi souvent que vous le voulez, et le nombre de pages que vous voulez. Nous encourageons les gens à corriger une page par jour, mais vous êtes tout à fait libre de faire ce qui vous plaît. Nous espérons que vous vous joindrez à notre mission de préserver "la littérature mondiale dans un format gratuit et disponible pour tous".»
3.4. Des collections multilingues
Qu’en est-il exactement des langues? Dans un premier temps, le Projet Gutenberg est essentiellement anglophone, puisqu’il est basé aux Etats-Unis et qu’il sert en priorité la communauté anglophone nationale et internationale.
En octobre 1997, Michael Hart annonce son intention d’intensifier la production de livres dans d’autres langues. Début 1998, le catalogue comprend quelques oeuvres en allemand, en espagnol, en français (dix titres), en italien et en latin. En juillet 1999, Michael Hart écrit: «J’introduis une nouvelle langue par mois maintenant, et je vais poursuivre cette politique aussi longtemps que possible.»
Début 2004, 25 langues sont représentées. En juillet 2005, 42 langues sont représentées, dont l’iroquois, le sanscrit et les langues mayas. Outre l’anglais (14 548 livres le 27 juillet 2005), six langues disposent de plus de cinquante titres: le français (577 livres), l’allemand (349 livres), le finnois (218 livres), le hollandais (130 livres), l’espagnol (103 livres) et le chinois (69 livres). En décembre 2006, 50 langues sont représentées. Les langues comprenant plus de 50 titres sont l’anglais (17 377 livres le 16 décembre 2006), le français (966 titres), l’allemand (412 titres), le finnois (344 titres), le hollandais (244 titres), l’espagnol (140 titres), l’italien (102 titres), le chinois (69 titres), le portugais (68 titres) et le tagalogue (51 titres).
La quantité de livres progresse rapidement pour chaque langue. Pour le français par exemple, sur 11 340 livres disponibles le 13 février 2004, on comptait seulement 181 livres en français. Sur 15 505 livres disponibles le 16 mai 2005, on compte 547 livres en français. Soit trois fois plus en quinze mois. Sur 19 996 livres disponibles le 16 décembre 2006, on compte 966 livres en français, soit un peu moins du double en dix-huit mois. Le mouvement devrait sensiblement s’accélérer avec le lancement du Projet Gutenberg Europe en janvier 2004.
Les premiers titres disponibles dans la langue de Molière sont six romans de Stendhal et deux romans de Jules Verne, tous mis en ligne au début de 1997. Les six romans de Stendhal sont L’Abbesse de Castro, Les Cenci, La Chartreuse de Parme, La Duchesse de Palliano, Le Rouge et le Noir et Vittoria Accoramboni, et les deux romans de Jules Verne De la terre à la lune et Le tour du monde en quatre-vingts jours. A la même date, si aucun titre de Stendhal n’est disponible en anglais, trois romans de Jules Verne le sont : 20,000 Leagues Under the Seas (Vingt mille lieues sous les mers, mis en ligne en septembre 1994), Around the World in 80 Days (Le tour du monde en quatre-vingts jours, mis en ligne en janvier 1994) et From the Earth to the Moon (De la terre à la lune, mis en ligne en septembre 1993). Stendhal et Jules Verne sont suivis par Edmond Rostand avec Cyrano de Bergerac, mis en ligne en mars 1998.
A la fin de 1999, le «Top 20», à savoir la liste des vingt auteurs les plus lus, mentionne Jules Verne à la onzième place, et Emile Zola à la seizième place. Ils sont toujours en bonne position dans le «Top 100» actuel.
A titre anecdotique, le premier document illustré disponible toutes langues confondues est French Cave Paintings (Peintures des cavernes en France), mis en ligne dès avril 1995, avec une version XHTML ajoutée en novembre 2000. Il s’agit de quatre photos de peintures paléolithiques retrouvées dans une grotte de l’Ardèche (département de la région Rhône-Alpes). Ces photos sous droits ont été mises à la disposition du Projet Gutenberg par Jean Clottes, conservateur général du patrimoine, pour être largement diffusées.
En 2004, le multilinguisme devient l’une des priorités du Projet Gutenberg, tout comme l’internationalisation. Michael Hart prend son bâton de pèlerin vers l’Europe, avec des étapes à Bruxelles, Paris et Belgrade. Le 12 février 2004, il donne une conférence au siège de l’UNESCO (Organisation des Nations Unies pour l’éducation, la science et la culture) à Paris. Le lendemain, toujours à Paris, il anime un débat à l’Assemblée nationale. La semaine suivante, il s’adresse au Parlement européen à Bruxelles. Puis il rend visite à l’équipe du Projet Rastko à Belgrade, pour soutenir la création du Projet Gutenberg Europe (PG Europe) et de Distributed Proofreaders Europe (DP Europe).
Le lancement de DP Europe par le Projet Rastko en janvier 2004 représente une étape importante. DP Europe est calqué sur le site original de Distributed Proofreaders, pour gérer la relecture partagée du Projet Gutenberg Europe. Dès ses débuts, DP Europe est un site multilingue, qui prend en compte les principales langues nationales. En avril 2004, grâce à des traducteurs volontaires, le site de DP Europe est disponible en douze langues. L’objectif à moyen terme est soixante langues, et donc soixante équipes linguistiques, avec prise en compte de toutes les langues européennes. Quand il aura atteint sa vitesse de croisière, DP Europe devrait alimenter plusieurs bibliothèques numériques nationales et/ou linguistiques, par exemple le Projet Gutenberg France pour la France. Le but étant que chaque pays ou région ait son propre accès réseau autorisé (respectant la législation en vigueur dans le pays donné), qui sera un accès local au sein d’un réseau continental (dans le cas de la France, le réseau européen) et d’un réseau global (à l’échelle de la planète).
Quelques mots maintenant sur le Projet Rastko, qui s’est porté volontaire pour un pari aussi fou, catalysant du même coup les bonnes volontés européennes à l’est comme à l’ouest. Fondé en 1997, le Projet Rastko est une initiative non gouvernementale à vocation culturelle et pédagogique. L’un de ses objectifs est la mise en ligne de la culture serbe. Il fait partie de la Balkans Cultural Network Initiative, un réseau culturel régional couvrant la péninsule des Balkans, située au sud-est de l’Europe.