Les intelligences artificielles ne peuvent pas lire de bandes dessinées

Antoine Oury - 24.11.2016

Manga/BD/comics - Univers BD - intelligences artificielles BD - robots bande dessinée - Mohit Iyyer University of Maryland


Reconnaissance d'images ou jeu de go, les intelligences artificielles font parfois preuve d'une maîtrise supérieure à celle des humains, ce qui ne manque pas, à la fois, d'inquiéter et de faire rêver quant à leurs capacités futures. Un chercheur de l'université du Maryland a voulu confronter une IA au 9e Art : la machine n'a rien compris à l'art subtil de la narration en bande dessinée.

 

IT IS TIME WE ROBOTS REBELLED AGAINST YOU PUNY HUMANS! (1961) #talesofastonish #comics

(Kich Anfoly, CC BY-NC 2.0)

 

 

Visiblement, les aventures de Tintin, les pitreries de Gaston Lagaffe ou les mésaventures des super-héros de Watchmen resteront connues des seuls humains pour quelques années encore. Mohit Iyyer et son équipe de chercheurs de l'université du Maryland et de celle du Colorado en sont arrivés à cette conclusion après une recherche menée sur la capacité des intelligences artificielles à appréhender des séquences narratives composées d'images et de textes.

 

Comme pour tout travail avec les intelligences artificielles, il aura d'abord fallu constituer une base de données conséquente sur laquelle la machine puisse s'appuyer. Les chercheurs ont donc téléchargé tout un corpus de bandes dessinées publiées entre 1930 et 1950 aux États-Unis, une période qui correspond certes à l'âge d'or des comics américains, mais permettait également d'utiliser des contenus libres de droits.

 

1,2 million de cases ont ainsi été ingurgitées par la machine, au cours de différents processus nécessaires à la compréhension du médium. Les chercheurs ont d'abord mis au point un algorithme pour que la machine « comprenne » l'enchaînement entre les cases, et reconnaisse le plus précisément les représentations : si les intelligences artificielles se débrouillent plus ou moins bien avec les photographies, le dessin pose bien entendu problème, surtout au vu de la variété des styles.

 

Une fois ces étapes techniques effectuées, l'heure du test est venue : plusieurs cases ont été « montrées » aux machines, leur tâche consistant à deviner l'image ou le texte suivant. Si les humains réussissent cet exercice avec un score qui s'échelonne de 84 à 87 sur 100, les intelligences artificielles atteignent péniblement un score de 68, ce qui les place « très à la traîne derrière les humains », soulignent les chercheurs.

 

Structure d'analyse pour les textes des bandes dessinées

 

 

Sans surprise, la machine s'est avérée la plus performante lorsqu'elle prenait en compte à la fois les textes et les images qui lui ont été proposés pour deviner la suite de la bande dessinée. Cela dit, la relation forte entre une image et un texte pouvait parfois détourner la machine du contexte global du comic-strip : en somme, elle considérait une seule case plutôt que l'ensemble de l'histoire.

 

Si les chercheurs avaient bon espoir de rendre une IA suffisamment performante pour « comprendre » une bande dessinée, le résultat ne les surprend guère : « C'est ce que les créateurs ne dessinent pas qui rend les comics vraiment intéressants, les conversations silencieuses et les actions qui se glissent entre des cases contigües », juge Mohit Iyyer.

 

À lire : Edito : les robots littéraires rêvent-ils de best-sellers éclectiques ?

 

Les résultats de la recherche de Mohit Iyyer, Varun Manjunatha, Anupam Guha, Yogarshi Vyas, Jordan Boyd-Graber, Hal Daume III et Larry Davis, des universités du Maryland et du Colorado, sont accessibles à cette adresse ou ci-dessous.

 

via MIT Technology Review