Un ordinateur corrige Hemingway ou Churchill : même pas la moyenne

Clément Solym - 13.11.2009

Patrimoine et éducation - A l'international - Hemingway - correction - ordinateur


Faire avaler à un ordinateur des classiques de la littérature prouve au moins une chose : les machines n'entendent rien au talent. Pour preuve, on a fait analyser par une des ces machines plusieurs textes, explique David Wright, directeur général du Chartered Institute of Educational Assessors, organisme qui chapeaute les conseils d'examens, entre autres.

Passé au crible, un discours de Chruchill, adressé aux Anglais, en 1940, qui n'a pas du tout impressionné le PC : il y a retrouvé une foule de répétitions de "sur" ou "notre", passablement incorrectes, et plusieurs métaphores lui ont touché une puce sans faire bouger l'autre. De fait, l'analyse informatique a tout simplement planté sur ces figures de style : pour elle, ces phrases étaient simplement erronées. De la même manière, explique Herbert Graham, directeur adjoint de l'institut, Sa majesté des mouches ou Orange mécanique ont été décrits comme particulièrement bizarres.

Durant une conférence qui se tenait hier, ces résultats ont été mis en exergue : on s'en souvient, le système de notation anglais est remis en cause, et ce système de contrôle et notation pourrait être amené à gagner du terrain dans les prochaines années. Mais avant de le mettre en place, autant s'assurer qu'il fonctionne un peu. Aujourd'hui, sa plus grande limite, c'est que le logiciel peut reconnaître la structure des phrases, mais il n'est pas en mesure d'en comprendre ni le style ni les intentions.

Herbert précise que de petits malins se sont amusés à craquer le code de la machine, pour écrire dans un style qui soit reconnu et apprécié par le logiciel. Et pourtant, la demande existe dans le monde scolaire pour une machine en mesure de réaliser ces corrections. Les experts scolaires s'attendent en effet à ce qu'un nombre croissant d'écoles adoptent ces outils de tests et d'évaluation.

Entre autres tests, des passages de l'oeuvre d'Ernest Hemingway ont été notés par ce procédé, et la machine a déclaré qu'il méritait pour son texte moins que la moyenne. Les commentaires de l'ordinateur sont assez sidérants :
  • témoigne d'un manque de soin dans le style de l'écriture et du vocabulaire
  • structures inexactes et phrases irrégulières
  • incompréhensible