Lorsque je parle de Réalité Augmentée avec les gens, je m’aperçois souvent que ce concept n’est pas totalement clair pour tout le monde. Alors parlons un peu de Réalité Augmentée !

Mélanger les mondes virtuels et les mondes réels est un rêve qui anime l’humanité depuis de nombreuses années. En 1951, Bradbury a publié La Brousse. [Bradbury 1951]. Dans cette nouvelle, la chambre des enfants leur permet de visiter des endroits lointains, et de découvrir ainsi le monde sans quitter leur maison. Si attrayant que cela puisse sembler, Bradbury nous met également face à nos peurs, en estompant progressivement la frontière entre le réel et le virtuel : qu’est ce qui est réel ? Qu’est ce qui ne l’est pas ? Ces deux questions sont d’autant plus importantes lorsque vos enfants se trouvent face à des lions, au beau milieu de la savane…

La Brousse – Ray Bradbury

Quelques années plus tard, dans le livre «Les androïdes rêvent-ils de moutons électriques ? » (Que vous connaissez plus probablement sous le titre «Blade Runner») [Dick 1968], nous découvrons la boîte à empathie : un mécanisme qui permet permet aux gens de basculer dans un monde virtuel pour y vivre et y ressentir les expériences d’une autre personne. Cela amène évidemment une question primordiale dans ce livre : Qu’est ce que l’empathie ?

Les androïdes rêvent-ils de moutons électriques ? – Philip K. Dick

Mais alors, que peut-il se passer si nous mélangeons le réel et le virtuel ? Le monde réel se fera-t-il vampiriser par le monde virtuel ? Atteindrons-nous l’empathie absolue ? Les deux mondes pourraient-ils se mélanger ? Voyons ça ensemble !

Avant de nous plonger dans des détails techniques, observons quelques exemples.

Pokemon Go - Niantic

Créativité Augmentée - Disney Research

En 1995, Milgram et Kishino définissent un continuum entre la réalité et une prétendue virtualité [Milgram 1995]. J’apprécie assez cette idée de continuum, sans frontière nette entre le réel et le virtuel. Ce qu’il est particulièrement intéressant de noter ici, c’est que la Réalité Augmentée est placée juste après l’environnement réel : de cette façon, la Réalité Augmentée se contente d’ajouter un contenu virtuel au monde réel.

Continuum Réalité-Virtualité – Reproduit de [Milgram 1995][1]

C’est là toute la différence avec la Réalité Virtuelle : avec la Réalité Virtuelle, le monde réel est étouffé et remplacé par le monde virtuel. Avec la Réalité Augmentée, le monde réel est toujours présent, et juste… Augmenté (héhé) avec du contenu virtuel.

Réalité Augmentée vs Réalité Virtuelle

Une autre définition de la Réalité Augmentée qui me plaît est celle proposée par Azuma en 1997 [Azuma 1997]. Azuma explique qu’un système peut être considéré comme de la Réalité Augmentée si :

• Il combine le réel et le virtuel – Nous l’avons déjà vu, les deux cohabitent.
• Il est interactif en temps réel – Donc idéalement, vous pouvez interagir avec le monde réel et le contenu virtuel sans briser l’illusion.
• Il fonctionne en 3 dimensions – Cela signifie que le système est en mesure d’analyser et d’interpréter la position des éléments virtuels par rapport à l’environnement réel.

Regardons un nouvel exemple !

Behind the Art - ETH Game Technology Center

Ici, vous pouvez voir comment la Réalité Augmentée est utilisée pour apporter à la fois informations et interactions à des tableaux réels. Ces interactions sont intéressantes : par exemple, lorsque vous vous rapprochez d’un endroit précis du tableau, vous obtenez des informations sur cette partie qui vous intéresse. Cela vous permet donc d’explorer un tableau à votre rythme, et dans l’ordre qui vous semble le plus judicieux.

Ah, une dernière chose avant de passer à la suite : cette application basée sur l’utilisation de smartphone n’est pas le seul accès possible à la Réalité Augmentée [Van Krevelen 2007] !

See-through vs Spatial Augmented Reality

Jusque là, je ne vous ai montré que des exemples de ce qui est appelé en anglais « see-through Augmented Reality ». « See-through » (littéralement, « voir à travers ») signifie que vous voyez le monde réel à travers un système et que ce système va ajouter de contenu virtuel par dessus. Typiquement, c’est l’exemple de Pokemon Go : vous voyez le monde réel sur votre écran de téléphone, et le jeu vient y sur-imprimer les pokemons.

Mais il existe aussi la Réalité Augmentée spatiale (désolée, aucun rapport avec les fusées !). Dans cette configuration, le contenu virtuel est projeté directement dans le monde réel. Dans l’exemple qui suit, «Flippapper», vous dessinez votre tableau de flipper sur une feuille de papier, dans le monde réel. Ce dessin est ensuite « augmenté » avec un système de projection, pour devenir un véritable jeu. La Réalité Augmentée spatiale est particulièrement intéressante, parce qu’elle n’implique pas de se promener avec un appareil spécifique. Cependant, comme elle implique l’utilisation de projecteurs, elle est particulièrement sensible à environnement lumineux.

Flippaper - Jérémie Cortial & Roman Miletitch

> the extra bit_

Mais alors, comment ça fonctionne ? Pour la plupart de mes lecteurs humains (donc vous), lorsque vous regardez autour de vous, vous êtes capables d’identifier ce que vous voyez : ça c’est une table, ça c’est un chat, ça c’est une personne qui porte une robe. Si je vous donnais une photo d’une table, en vous disant de dessiner quelque chose sur la table, vous seriez capable de le faire de manière satisfaisante.

Pour les ordinateurs, c’est un peu plus compliqué. L’ordinateur voit des pixels, et il a une compréhension de l’image extrêmement limitée. Si vous voulez que votre ordinateur affiche quelque chose sur une table, vous allez devoir lui apprendre comment faire.

Pour faire de la Réalité Augmentée, nous avons besoin que l’ordinateur sache faire les choses suivantes :
· Identifier à quel endroit du monde réel il doit ajouter le contenu virtuel
· Ajouter le contenu virtuel
· Déplacer le contenu virtuel correctement en fonction des mouvements du monde réel

C’est ce qui est appelé « tracking » (littéralement « pistage »). Il existe plusieurs façon de le faire. Je ne vais vous en présenter qu’une ici, juste pour vous donner une idée, mais vous trouverez à la fin de l’article plusieurs liens pour aller plus loin, si vous êtes curieux.

Penchons-nous sur le cas du tracking utilisant des images-cibles. Cela consiste à utiliser une image spécifique (la « cible ») dans le monde réel, pour ajouter du contenu par dessus. Dans l’exemple du musée, utilisé plus tôt, les images-cibles sont les tableaux : c’est cela qui est reconnu par l’ordinateur et utilisé pour placer le contenu virtuel.

Allez, mettons-ça en pratique !

Imaginons que nous voulons créer un jeu musical : vous êtes dans une pièce avec différentes photos d’instruments, et, en tant que chef d’orchestre, vous pouvez pointer votre téléphone vers eux pour les faire jouer.

En premier lieux vous auriez besoin de définir une image cible : une image qui est logique par rapport à votre jeu, mais qui est aussi facilement identifiable par un ordinateur. Par exemple dans ce cas, j’aimerais une image de batterie, de piano, et de violon. Je vais utiliser les magnifiques illustrations d’Aquasixio pour illustrer cet exemple [2].

Rage, FiddleBack, Le Pianoquarium - Aquasixio

Maintenant, comment l’ordinateur va-t-il reconnaître mon image ? Et bien, en utilisant ce que nous appelons des « features ». Il s’agit de zones particulièrement spécifiques à l’image : elles devront permettre à l’ordinateur d’identifier l’image, ainsi que son orientation. Ainsi quand je filmerai quelque chose avec mon téléphone, il cherchera en permanence ces «features» dans le flux vidéo, pour voir si l’image-cible à apparaît, et s’il doit faire apparaître le contenu augmenté ou pas. J’ai utilisé Vuforia, un kit de développement de réalité augmentée très utilisé, pour identifier les « features » de mon image-cible « batterie ».

Les features de l’image-cible « batterie »

Vous voyez de quelle manière les « features » s’accumulent sur les angles et les bords bien définis ? C’est parce que ces zones sont facilement identifiables par l’ordinateur, quelle que soit l’orientation de l’image. Il est également intéressant de noter que Vuforia utilise une version en nuances de gris de mes images. Pourquoi ? Parce que les couleurs ne sont pas particulièrement utiles pour identifier une image : si nous utilisions des couleurs pour identifier quelque chose, cela arrêterait de fonctionner dès le premier changement de luminosité, parce que les couleurs perçues par le téléphone seraient complètement différentes. Maintenant, il ne reste plus qu’à ajouter, et faire bouger, le contenu virtuel.

Nous sommes maintenant dehors, pointant joyeusement notre téléphone vers toutes sortes de choses, espérant que la magie agira. Au fil de nos mouvements, le téléphone analysera le flux vidéo, essayant désespérément de trouver l’une des images que nous lui avons appris à reconnaître. Pour cela, il essaiera de repérer les features enregistrées à partir de l’image. Il cherchera ensuite une zone contenant un grand nombre de features, dans laquelle elles seront placées de la même manière que sur l’image de départ. Si les similitudes sont nombreuses, le téléphone vous annocera fièrement qu’il a trouvé l’image !

1 – Le téléphone mémorise les features de l’image 2 – Il recherches toutes les features ressemblant à celles de l’image, dans un environnement extérieur 3 – Il trouve la zone dans laquelle l’assemblage des features ressemble particulièrement à celui de l’image de départ.

Maintenant, une dernière chose ! Nous devons placer le contenu augmenté sur l’image, avec la même orientation. Si l’image a pivoté (par rapport à l’image de départ), le contenu augmenté doit l’être également, et selon le même angle (pour conserver la magie de l’illusion mentionnée plus tôt). Comme nous avons déjà trouvé les features, ce n’est pas trop compliqué. Nous devons juste calculer la manière dont le set de features est déformé : par exemple, si l’image est face à nous, le set ne sera pas déformé du tout, puisqu’il s’agit de la position utilisée sur l’image de départ. En revanche, si l’image est dirigée vers le haut, le set sera fortement contracté dans une direction. Nous pouvons exprimer cette déformation en utilisant Les Maths™, puis simplement utiliser cette position et orienter le contenu augmenté. Si nous en avons le courage, je pourrais aller plus loin sur ce sujet dans de prochains articles et tutoriels !

: Le téléphone a appris le set de features à partir de l’image de départ. Quand l’image est orientée différemment, le set apparaît de manière déformée sur le téléphone. Cette déformation indique à quel endroit et dans quelle direction le contenu augmenté doit être ajouté.

> the extra bit_over_

Pour faire court : avec la Réalité Augmentée, nous pouvons ajouter du contenu virtuel dans le monde réel. Ça peut être particulièrement impactant dans le domaine de l’éducation, pour plusieurs raisons. Premièrement, vous manipulez des objets physiques tangibles, dans le monde réel, ce qui ancre l’activité dans la réalité. Ensuite, grâce au côté virtuel, vous pouvez personnaliser l’expérience en fonction de l’utilisateur : cela signifie que vous pouvez vérifier l’avancée de votre élève, et le pousser (plus ou moins) gentiment à avancer lorsqu’il en a besoin. Et enfin, les activités en Réalité Augmentée favorisent bien plus la collaboration, par rapport à des activités sur ordinateur [Billinghurst 2002]. Toutes cela est extrêmement important pour l’apprentissage, comme nous le verront dans d’autres articles.

Malheureusement, ce n’est pas si simple. En fait, de nombreux joueurs de Pokemon Go on totalement désactivé la Réalité Augmentée, parce qu’ils trouvaient cela pénible sur le long terme. La raison ? Il s’agissait plus d’un gadget que d’une fonctionnalité vraiment utile pour le jeu [Alha 2019]. De la même manière, la plupart des applications éducatives en Réalité Augmentée disponibles en ligne n’utilise pas réellement la Réalité Augmentée. Il s’agit généralement d’un petit gadget amusant, qui n’est absolument pas exploité dans un objectif d’apprentissage. Dans un monde idéal, les enseignants seraient impliqués dans le processus de développement des activités en Réalité Augmentée, mais cela demande de nombreux efforts, et nécessite des connaissances et une expertise spécifique. En outre, le résultat ne serait qu’une activité précise, concernant une toute petite part du programme éducatif. Heureusement, des gens travaillent sur le sujet, alors restons en contact, et découvrons ensemble ce que le futur nous réserve !

xoxo,

The Diverter

Image bonus : quelques premiers prototypes de Réalité Augmentée pour les mathématiques [Kaufmann 2002]. Ils me font toujours rire, pour des raisons phalliques.

Pour aller plus loin :

Si vous êtes curieux.ses et voulez commencer à jouer avec la RA, cliquez sur ces liens !

• Unity + Vuforia
• Vuforia tracking features
• AR core (Google)
• ARKit (Apple)

Notes :

[1] Certains d'entres vous ont peut-être déjà entendu parler de Réalité Mixte dans d'autres contextes, décrivant des produits comme HoloLens. En ce qui me concerne, je n'ai jamais trouvé une définition de Réalité Mixte qui me convienne. Si vous êtes curieux.ses concernant l'état du débat, jetez un coup d'œil à ce papier : “What is Mixed Reality?” [Speicher 2019].

[2] Si vous avez l'intention de réaliser des applications commerciales, soyez bien sûr.e.s d'avoir tous les droit nécessaires pour utiliser les images.

Réferences :

[Alha 2019] K. Alha, E. Koskinen, J. Paavilainen, and J. Hamari. Why do people play location-based augmented reality games: A study on Pokémon GO. 2019.

[Azuma 1997] R. T. Azuma. A survey of augmented reality. Presence: Teleoperators & Virtual Environments. 1997.

[Billinghurst 2002] M. Billinghurst and H. Kato. Collaborative augmented reality. 2002.

[Bradbury 1951] R. Bradbury. The Veldt. 1951.

[Dick 1968] P. K. Dick. Do Androids Dream of Electric Sheep?. 1968.

[Kaufmann 2002] H. Kaufmann, & D. Schmalstieg. Mathematics and geometry education with collaborative augmented reality. 2002.

[Koutromanos 2015] G. Koutromanos, A. Sofos, L. Avraamidou. The use of Augmented Reality Games in Education: a review of the literature. 2015.

[Milgram 1995] P. Milgram, H. Takemura, A. Utsumi, and F. Kishino. Augmented reality: A class of displays on the reality-virtuality continuum. 1995.

[Speicher 2019] M. Speicher, B. D. Hall, & M. Nebeling. What is Mixed Reality?. 2019.

[Van Krevelen 2007] R. Van Krevelen. Augmented reality: Technologies, applications, and limitations. 2007.