Réalité augmentée

Wikitude (en) sur iPhone utilisant le GPS et une boussole

Capture du plan d'un édifice avec un gyroscope à 3 axes et des accéléromètres.

La réalité augmentée désigne les systèmes informatiques qui rendent possible la superposition d'un modèle virtuel 3D ou 2D à la perception que nous avons naturellement de la réalité et ceci en temps réel. Elle désigne les différentes méthodes qui permettent d'incruster de façon réaliste des objets virtuels dans une séquence d'images. Elle s'applique aussi bien à la perception visuelle (superposition d'image virtuelle aux images réelles) qu'aux perceptions proprioceptives comme les perceptions tactiles ou auditives. Ses applications sont multiples et touchent de plus en plus de domaines, tels que les jeux vidéo, l'éducation par le jeu, les chasses au trésor virtuelles, le cinéma et la télévision (post-production, studios virtuels, retransmissions sportives...), les industries (conception, design, maintenance, assemblage, pilotage, robotique et télérobotique, implantation, étude d'impact...) ou le médical.

Principes

La technologie insère des images de synthèse sur les images du monde réel grâce à l'appareil photo d'un téléphone portable ou à des lunettes vidéo spéciales. De petites caméras situées au milieu et à l'extérieur de chaque verre envoient des images vidéo en continu à deux écrans à cristaux liquides sur la face interne des lunettes par l'intermédiaire d'un processeur mobile. Une fois reliées à un smartphone ou à un ordinateur, les lunettes combinent les données informatiques avec ce qui est filmé en direct, créant un champ de vision stéréoscopique unique sur l'écran LCD, où les images de synthèse fusionnent avec celles du monde réel.

Agrémenter d'objets fictifs une séquence vidéo issue d'un plan fixe ne pose guère de problèmes. Les applications visées demandant souvent énormément de réalisme, il est indispensable que l'ajout d'objets dans une scène ne perturbe pas la cohérence du contenu filmé. Le fait de déplacer la caméra implique cependant un mouvement dans l'image de la scène filmée. Pour assurer la cohérence entre les deux flux réels et virtuels, un lien rigide doit être maintenu entre les deux mondes. Afin de donner l'illusion que ces objets fictifs appartiennent au même monde, il est nécessaire de bien les placer, bien les orienter et de respecter des facteurs d'échelle par rapport aux objets réellement filmés. Bien placer les objets virtuels par rapport aux objets de la scène nécessite de connaître la position de la caméra par rapport à la scène.

Le problème de la localisation de la caméra est donc important et peut être résolu par diverses approches. On peut utiliser un système de capteurs, comme des capteurs magnétiques qui mesurent la distorsion du champ magnétique pour calculer leur position, des capteurs optiques, des encodeurs sur les moteurs du pied des caméras ou encore, évidemment, le flux vidéo.

Dans le cas de l'utilisation de capteurs externes au système de prise de vue, les informations de ce système (angle, position, focale) sont récupérées à l'aide de capteurs et l'incrustation est directement reproduite à la bonne échelle sur l'image à augmenter.

Cependant, si l'on considère uniquement les informations acquises par la caméra, le problème de réalité augmentée se ramène à un problème de vision par ordinateur. Dans certains contextes applicatifs comme le cinéma, l'ensemble de la séquence vidéo est disponible avant le traitement. Dans cette optique de post-production, des traitements lourds en termes de temps de calcul sont envisageables. Des techniques permettant à la fois la reconstruction 3D d'un certain nombre de points de la scène et la localisation 3D de la caméra sont mises en œuvre par des techniques d'autocalibrage ou d'ajustement de faisceaux. Des logiciels commerciaux reposant sur ce principe sont d'ores et déjà disponibles (on peut citer Boujou de la société 2d3 — issue de l'université d'Oxford —, MatchMover de la société Realviz—issue du projet Robotvis de l'INRIA Sophia Antipolis —, D-Fusion de la société Total Immersion ou encore en version web RevelActions de la société ActenGo). Ces méthodes sont cependant très dépendantes de la qualité de la mise en correspondance des primitives 2D (bruit d'extraction, distribution spatiale, nombre d'erreurs d'appariement...) et l'utilisateur est parfois mis à contribution.

Dans le cadre d'applications interactives (audiovisuel dans les « conditions du direct », industrie, jeux vidéo interactifs, médical, militaire) le recours à des techniques d'autocalibrage n'est pas possible. Des techniques permettant la localisation de la caméra à partir de l'image courante (et éventuellement des précédentes) sont nécessaires. Si un modèle de la scène (ou d'une partie de celle-ci) est disponible, le calcul de points de vue est évidemment une solution idéale à ce problème. Dans le cas où la structure 3D de la scène est (partiellement) inconnue, d'autres approches reposant, par exemple, sur le calcul du déplacement de la caméra sont envisageables. Les avantages de ces approches interactives sont multiples :

• Elles permettent une intégration réelle-virtuelle en temps réel (ie, à la cadence vidéo) car les calculs sous-jacents sont relativement peu coûteux.
• Il n'est pas non plus nécessaire de faire un étalonnage « lourd » du système comme c'est le cas si on utilise d'autres types de capteurs, ni de disposer a priori de la séquence complète.
• Elle peut fonctionner sur des plates-formes PC standards ce qui implique un coût relativement faible.

Dans tous les cas, une fois la caméra localisée par rapport à la scène, ces informations servent à adapter le modèle informatique de la scène, de manière à être capable de calculer les caractéristiques des objets virtuels que l'on veut y insérer. Ces objets virtuels subissent alors des transformations géométriques qui permettront de les « plaquer » dans l'image source, de manière à les y intégrer de la manière la plus naturelle possible.

Applications

Presse écrite

Les journaux Le Parisien-Aujourd'hui en France lus par 4 millions de personnes en France chaque jour, utilisent ce principe afin de rendre leurs quotidiens interactifs et permettre aux lecteurs de réagir aux articles.^{[réf. nécessaire]} En mars 2010, Télé 7 Jours présente pour ses 50 ans une couverture en réalité augmentée avec Johnny Hallyday et deux publicités interactives^[1].

Édition

Orange, Robert Laffont et Jacques Attali éditent le premier livre 'hyperactif' (Hyperlivre - Le sens des choses)^[2]. Edité à 50 000 exemplaires, le livre est parsemé de codes barres 2D permettant d'accéder à des contenus complémentaires.

Musique

Le dernier album du rappeur français SINIK (Ballon d'or, 2009) utilise ce principe, en tant que Bonus^[3].
L'album Live! d'Alexx & Mooonshiners propose une eBoite à musique en réalité augmentée^[4]. Un tag à l'ouverture de l'album permet l'affichage d'un jukebox animé en 3D proposant l'écoute des morceaux de l'album, chacun étant associé à une animation propre.

Publicité

La réalité augmentée sert par exemple à insérer des encarts publicitaires dans des images vidéos tournées sur des terrains de sport : les logos des entreprises partenaires d'un événements peuvent ainsi être toujours visibles quel que soit l'angle de vue choisi par le réalisateur, il est de plus possible d'afficher différents messages sur un même emplacement.

En 2011, Volkswagen réfléchit à un moyen de faire découvrir la Nouvelle Golf Cabriolet dans ses concessions alors que le modèle n'est pas encore sur place. De cette réflexion est venue l'idée de se servir de la réalité augmentée pour voir la voiture à taille réelle. Jusqu'alors, plusieurs marques utilisaient la réalité augmentée pour montrer un produit via un ordinateur ; Volkswagen a innové en le faisant pour la première fois via un smartphone. Présent en presse, sur carte postale et disponible sur le web, le marqueur (image permettant au smartphone de faire apparaître la voiture) relaye l'opération sur un maximum de supports pour faire vivre l'expérience au plus grand nombre^[5].

Loisir

La réalité augmentée permet aussi de plonger le spectateur au cœur d'un monde partiellement réel (des décors réels) et partiellement virtuel (des objets, des animaux...). Le spectateur devient acteur en interagissant avec les objets virtuels au moyen de capteurs. Une première application accessible au grand public existe au Futuroscope depuis avril 2008, dans l'attraction Les Animaux du Futur, réalisée par la société française Total Immersion.

À l'occasion de la sortie du film Arthur et la Vengeance de Maltazard en décembre 2009, Dassault Systèmes a conçu un jeu en réalité augmentée sur les paquets de Chocapic^[6].

Patrimoine

La réalité augmentée est également un atout pour les sites patrimoniaux ; l'Abbaye de Cluny a ainsi mis en place des bornes qui permettent de voir l'état de l'abbaye au XVème siècle^[7] et à Cherbourg, il est possible de visualiser le château-fort disparu^[8] depuis un smartphone ou une tablette. La première expérience dans ce domaine a été menée par Amiens avec la possibilité de télécharger une application permettant de visualiser la cathédrale en 3D et en couleurs ^[9].

Industrielle

La réalité augmentée permet d'insérer des automobiles n'existant que dans un ordinateur dans des décors réels filmés (villes par exemple) et de les faire interagir avec les éléments réels afin de visualiser l'intégration du prototype dans le paysage réel.

E-Commerce

La réalité augmentée est un élément d'aide à la prise de décision dans l'acte d'achat pour le e-commerce. Cela permet, dans le cas du secteur du mobilier, de visualiser des meubles dans son propre intérieur grâce à une photo. Le mobilier modélisé en 3D est ainsi représenté dans ses proportions réelles, chez soi ou dans quelque visuel que ce soit, ce qui rassure grandement le cyber-acheteur lors de son choix de mobilier^{[citation nécessaire]} (taille, couleur, placement dans la pièce, etc...), comme il est possible de le voir dans l'émission La Matinale sur Canal Plus, avec l'exemple d'Achatdesign.com. Les acteurs du e-commerce sont de plus en plus nombreux à proposer ce service à leurs clients : les sites de But, Made In Design, La Redoute, par exemple, se sont dotés en 2010 d'une cabine d'essayage pour le mobilier et les objets de décoration de leur catalogue^[10].

Dans le domaine de l'optique les technologies d'essayage virtuel permettent de faciliter l'achat de lunettes. L'internaute était jusqu'alors freiné par l'impossibilité de voir le rendu de la lunette sur son visage ce qui provoquait un faible taux de conversion et des retours importants. Il est possible d'essayer ses lunettes sur photo ou webcam avec les technologies développées par FittingBox, une startup toulousaine^[11]

Tourisme

Le principe de réalité augmentée apparaît dans plusieurs applications sur smartphone (iPhone, Blackberry, Android). La réalité augmentée permet d'enrichir l'expérience du visiteur en proposant des contenus associés à ce qu'il est en train de regarder^[12].

Cuisine

La réalité augmentée peut permettre d'apporter une aide à la découpe des mets. Comme avec l'application Slice pour IPhone qui superpose un patron lorsque l'on filme sa pizza ou son gateau^[13].

Immobilier

La réalité augmentée permet aussi de trouver votre appartement depuis la rue, une terrasse de café... Une première application accessible au grand public existe sur Smartphones et Tablettes avec Geoimmo une marque de Appsfactory une startup lyonnaise^[14].

Notes et références

Voir aussi

Liens internes

• Réalité virtuelle
• Projet SixthSense
• Image de synthèse
• Ville augmentée

Lien externe

• Vers la Réalité augmentée Futura-Sciences

• Portail de l’informatique
• Portail de l’imagerie numérique