On fabrique des maisons avec des imprimantes 3D, on stocke des vidéos sur de l’ADN et on crée même des écouteurs polyglottes… Alors pourquoi a-t-on mis si longtemps à traduire la langue des signes ? Il a fallu attendre qu’une start-up hongroise SignAll s’intéresse à la question pour qu’un outil permettant aux personnes sourdes et malentendantes de communiquer voie enfin le jour. 

Une langue non verbale complexe

Dans l’univers de la traduction, la difficulté est proportionnelle à la similarité des deux langues que l’on traduit. Un traducteur automatique aura ainsi plus d’aisance à traduire du français à l’italien que du français au galindien (langue morte de la Prusse-Orientale).

Quand on en vient à la langue des signes, un paramètre – certes évident, mais de taille – s’ajoute à la complexité de la traduction : les mots n’existent pas, ce sont les doigts qui parlent. Et cela va même au-delà, comme l’explique Zsolt Robotka – CEO de SignAll – à TechCrunch : « C’est une communication multicanale ; il ne s’agit pas seulement de formes ou de mouvements de mains. Si l’on veut vraiment traduire la langue des signes, il faut suivre tout le haut du corps et les expressions faciales ».

Une technologie intelligente

C’est donc en prenant en compte chaque mouvement de la main, leurs rythmes, les pauses, l’émotion, mais aussi les expressions faciales que SignAll est parvenu pour la première fois à créer une technologie capable de traduire la langue des signes en direct. Par quel moyen ? En installant trois webcams, dont deux latérales pour plus de couverture, ainsi qu’une Kinect, toutes reliées au même ordinateur.

Le dispositif doit être ajusté, de manière à être adapté à chaque utilisateur, qui aura une manière personnelle de signer. « Nous avons besoin de cette configuration complexe, car elle nous permet d’éviter une faible résolution, à la fois temporelle et spatiale (c’est-à-dire le taux de rafraîchissement et le nombre de pixels), en ayant différents points de vue », explique Márton Kajtár, chef du service Recherche & Développement.

Encore des mots, toujours des mots

Autre challenge : comprendre où commence un signe et où il s’arrête. « La nature de ce langage, c’est des signes en continue. On ne peut pas traduire mot à mot, ni les identifier à un certain vocabulaire », analyse ainsi Robotka. Le système de traduction automatique se base donc sur des phrases complètes, plus adaptées à une interprétation réellement sensée et moins robotisée. On est alors bien loin de Google Traduction !

Une fac comme terrain d’essai

La technologie SignAll s’apprête à être mise à la disposition du public pour la première fois, au centre d’accueil de la Gallaudet University, une fac pour les personnes sourdes installée à Washington D.C. Les questions des visiteurs seront retranscrites à l’écrit, dans le cas où le personnel malentendant ne lirait pas sur les lèves, puis les membres de l’université pourront répondre directement en signant. SignAll traduira alors en direct en retranscrivant l’information sous la forme d’un tchat.

« Plus de 100 millions de personnes ne peuvent entendre. Dans les prochaines années, nous espérons que SignAll sera utilisé dans les lieux publics et les organisations privées à travers le monde », expliquent les créateurs du système sur leur site.

Crédits : SignAll/YouTube

Auteure : Laura Boudoux