Steve Jobs a provoqué un formidable « Wow ! »  à Macworld, et dans le monde, en faisant le 9 janvier dernier la démo du iPhone. Un geste, restitué sur écran géant, a particulièrement marqué les esprits : lorsqu’il zoome sur une photo, en appliquant son pouce ET son index sur l’écran puis en les écartant. Magique. Le monde connaissait  un peu l’écran tactile, il découvrait l’écran « multi-tactile » (« multi-touch »).
Si son application au iPhone est une prouesse, l’écran multi-tactile est loin d’être tout neuf. Les recherches en ce domaine remontent à plus de 20 ans. Bill Buxton, un pape de l’IHM (Interaction homme-machine), en fut l’un des premiers acteurs. J’ai connu ce chercheur canadien il y a dix ans alors que je concoctais un numéro spécial de La Recherche sur l’IHM (L’ordinateur au doigt et à l’œil, mars 1996). Son article nous fit découvrir toutes sortes d’écrans étonnants.
En 1985, Bill Buxton, alors chercheur à l’Université de Toronto, présentait déjà à CHI (« Computer Human Interface », la grande messe annuelle de l’IHM) un papier titré : A Multi-Touch Three Dimensional Touch-Sensitive Tablet.  Bien d’autres suivront (voir ici et là) sur ce thème. Et les équipes travaillant sur le multi-tactile se multiplieront. Bill Buxton conte cette épopée ici.
Le Digital Desk de Pierre Wellner, l’une de mes plus grosses surprises dans mes voyages en territoire IHM, est un cas à part. Cette maquette, plutôt que prototype, montre, dès 1991, une interaction à deux doigts, comme sur un écran tactile actuel, mais en l’occurrence sans écran. Elle repose sur la projection et la vision. À voir absolument.
Les choses se précisent en 2001 quand le Diamond Touch est mis au point au Mitsubishi Research Labs, à Cambridge (MA). On peut y jouer à quatre mains et plus, et il reconnaît même chaque utilisateur grâce à un bidule porté à la ceinture. L’objet est commercialisé depuis quatre ans environ.
Jun Rekimoto (Sony Computer Science Laboratories, Tokyo), à CHI 2002, démontre SmartSkin (vidéo), un dispositif capable d’apprécier la distance du doigt à l’écran.
En 2003, l’entreprise JazzMutant dévoile un écran multi-tactile qu’elle emploie dans son Lemur, un contrôleur Midi destiné à piloter un studio de musique électronique (vidéo, encore). C’est, d’après Bill Buxton, le premier produit commercialisé au monde intégrant un écran multi-touch. JazzMutant est sise à Bordeaux (France).
Depuis 2004, c’est la bousculade. Entre autres, Microsoft Research s’y met, avec son projet TouchLight d’Andrew Wilson, qui enchaînera avec PlayAnywhere. Son approche repose sur la vision. Puis, en 2005, Matsushita propose un écran qui voit littéralement l’ombre des doigts. Il comporte tout simplement des pixels rouges, verts, bleus et… d’autres photosensibles.
Et puis il y a Jeff Han, un chercheur de la NYU (New York University). Lui est un peu connu depuis que la vidéo de sa prestation devant le public de TED 2006 a fait le tour des blogs technoïdes. Un excellent article de Fast Company propose une nouvelle démo. Éblouissant !