Microsoft Live Labs: Photosynth

Photosynth
Développeur	Université de Washington : Noah Snavely, Steve Seitz. Microsoft : Richard Szelisk
Dernière version	2.109.415.1554 [+/−]
Environnement	Windows
Langues	anglais
Type	monde 3D
Site Web	http://www.photosynth.net

Photosynth est un logiciel en ligne de représentation et d'exploration visuelle, sur écran, dites immersives de parties du Monde, mêlant photographies et 3D. Publié par Microsoft, dont le Globe virtuel Virtual Earth est un support, il se présente sous la forme d'une visionneuse interactive pour navigateurs Web. Premier d'un nouveau type d'application grand public, Photosynth offre une approche assez différente de celle des outils de Google Earth que sont Sketchup, Street View et son positionnement de photos.

Sommaire 1 En pratique 1.1 Accès 1.2 Généralité 1.3 Contraintes 1.4 Méthode 2 Technique 2.1 Support 2.2 Technologies 2.3 Fonctions exploratrices 2.4 Fonctions externes 2.5 Remarques sur les capacités de reconstitution 3 Évolutions et fonctions à venir 3.1 Prochainement 3.2 Hypothétiques 4 Historique 5 Exemple 6 Notes et références 7 Liens externes

En pratique

Accès

La version publique actuelle de Photosynth est disponible entièrement gratuitement.

Généralité

Actuellement il permet de voir à, par petit espace, un lieu, des "objets", le tout nommé une "scène", ou dans le langage du logiciel un "synth" (image synthétique en volume). Cette scène étant restituée avec les 3 à 300 photographies que chaque utilisateur peut fournir par scène, 300 étant un nombre maximum conseillé mais plus étant possible avec comme conséquence un calcul beaucoup plus long non proportionnel.

Ces photographies sont positionnées très précisément spatialement les unes par rapport aux autres. Pour l'utilisateur l'exploration, parcours et manipulations, se fait librement à la souris ou au clavier, ou en automatique, via des transitions et fusions en 3D ; sorte de diaporama 3D interactif dans l'espace.

Contraintes

• L'utilisateur devra d'abord avoir un compte Windows Live préexistant ou bien le créer, puis devra s'inscrire spécifiquement chez Photosynth pour obtenir un espace de stockage.

• La limite de stockage par compte Photosynth est de 20 Go de données (les fichiers de photos), donc quelques centaines à quelques milliers de photos, selon leurs résolutions photographiques.

• Le système pour créer une scène nécessite l'envoi d'images d'un même parcours spatial, qu'elles soient dites d'intérieur ou d'extérieur, mais pas obligatoirement simultanées ou immédiatement consécutives dans le temps. Une scène peut être enrichie à posteriori en ajoutant dans son dossier source d'autres photos correspondant à cette même scène.

• Chaque photo doit au préalable être bien orientée et surtout correspondre, à au moins 50% de sa surface, avec au minimum deux autres photos de la série.

• Pour qu'un objet soit parfaitement manipulable à 360°, il vaut mieux au moins 36 vue prises tout autour de l'objet, c'est-à-dire une vue tous les 10° d'angle autour de l'objet, cela autant pour la rotation horizontale que celle verticale, donc 72 vues pour les deux.

• Le résultat est la scène 3D explorable de manière interactive. Celle-ci n'est pas, en 2008, enregistrable sous cette forme dans l'ordinateur client.

Méthode

Même si devant toujours être d'une même zone spatiale, comme chaque scènes peut être composée de photographies récentes ou anciennes - du moment que numérisées - les évolutions temporelles peuvent y être observées et représentées ; à noter qu'actuellement aucun outil n'y organise cet aspect.

Utilisant le mode commun d'installation des logiciels pour Windows il est composé de plusieurs outils, dont deux intégrés, sont installés dans l'ordinateur de l'usager :

1) un complément pour chaque navigateur disponible et compatible installé, permettant cette visualisation si particulière à travers les images des autres utilisateurs...
puis les vôtres.
2) une l'interface spécifique non-navigateur, appelable soit par celui-ci, soit via l'icône Photosynth, de chargement (exportation, ou "upload") vers votre espace personnel dans les unités de stockage de Microsoft. Les photographies sont chargées en un groupe par scène, plusieurs groupes correspondant à plusieurs scènes aux intitulés différents.

Puis en final :
3) un système de traitement automatiquement et immédiat de vos photographies.

Le résultat, visible sur la page Web, met quelques minutes à plusieurs heures pour apparaître, selon le nombre de photographies à traiter.

Technique

Support

La version publique est disponible, actuellement seulement, pour les systèmes Windows XP et Vista et les navigateurs Internet Explorer et Firefox.

Technologies

La technologie principale utilisée est une méthode de structuration de l'espace en un nuage de points en 3D Point cloud (visualisable lui-même en 3D exploratrice dans Photosynth).

Elle produit des groupes de "points" géométriques, principalement à partir d'une analyse des "objets" présents dans chaque photographie et de leurs formes distinguables et marquables par une méthode de triangulation 2D automatique (ce type de fonction est, dans le domaine de la 2D, par exemple, désormais intégré dans les logiciels de fusion de photographies pour panoramas Category:Photo stitching software).
Ensuite la comparaison entre les images pour y trouver les groupes de points qui leurs sont communs en les situant dans un espace à 3 dimensions, permet de reconstituer la topologie 3D de cet espace fragmentaire.

En final, on obtient une scène, nommé un "Synth", composé d'abord de cette structure 3D (le nuage) support de la scène globale, puis la technologie de navigation (SeaDragon), permet d'explorer à la souris à partir, pour chaque vue, d'un lien délimité par un cadre. Ce cadre est positionné de telle manière qu'il correspond à la position et orientation, dans la scène globale, de l'appareil photo lors de la prise de vue, le cadre étant orienté vers la vue elle-même. Quand on clique sur un cadre l'image qu'il représente et quelques-unes alentour, s'affichent de manière progressive, fluide et rapide en commençant par des versions basse-résolution des photos. Cet affichage se fait en flux Internet direct, le streaming, les photos et le nuages de point ne sont, à aucun moment, stockés dans le disque dur de l'ordinateur de l'utilisateur, la seule solution actuelle, partielle, d'enregistrement étant la capture d'écran.

Fonctions exploratrices

• Il est possible de basculer entre le mode de navigation 3D et une vue de type planche contact, zoomable à volonté : ceci est très utile particulièrement pour repérer les vues isolées, chargées, mais non intégrées à la scène.
• Déplacement dans la scène 3D pour regarder tous les angles de vue.
• Zoom avant ou arrière dans chaque photo (particulièrement celle fournies en haute résolution)
• Des cadres qui indiquent les photos et leurs positions relatives de prise de vue les unes par rapport aux autres.
• Navigation/manipulation d' "objet" 3D à l'aide d'une poignée saisissable en forme de couronne segmentée nommée "halo" permettant de tourner autour de l'objet et dans tous les sens ; les segments du halo sont cliquables et correspondent chacun à l'une des vues composant l'objet.

Fonctions externes

• Indication de l'adresse publique (différente de l'adresse privée, donc, dans l'interface utilisateur) d'une scène pour l'envoi, par exemple par courriel ou messenger.
• Production du code à intégrer pour incruster une scène dans une page de site Web.
• Localiser une scène dans Virtual Earth.

Remarques sur les capacités de reconstitution

La pré-version de démonstration, non disponible au public pour la production, à déjà été capable de démontrer une puissance de traitement un peu supérieure par la réalisation de scènes comprenant jusqu'à près de 500 images, par exemple pour une vue de la Yosemite Valley [1] (497 images). À noter qu'il s'agit là pour cet exemple et le suivant d'un partenariat avec la revue National Geographic, qui fournit parmi les plus belles scènes immersives assemblées avec Photosynth. [2]

Encore plus spectaculaire est une scène de la Place Saint Marc à Venise [3], composée de 467 photos, où des capacités, encore en développement de Photosynth, sont bien imaginables et commencent à être visibles : ici spécifiquement ses capacités de synthèse en volume 3D avec un rendu des matières et en couleur.

Ce synth, par exemple, en se plaçant juste devant la porte centrale de la Basilique Saint Marc, peut être tourné, grâce a un halo, sur 360° à l'horizontale et sur 180° à la verticale.

Mais bien plus surprenant est le rendu en couleur des objets, par les points colorés eux-mêmes. Ce sont les circonstances d'éclairage lors des prises de vue qui ont permis cela. Cette qualité est particulièrement visible pour la peinture nommée "Il Giudizio Universale" au-dessus de la porte principale. Savoir profiter au mieux des éclairages semble donc essentiel pour la qualité du rendu 3D. On peut imaginer sans mal que le rendu 3D ne sera plus uniquement un nuage de points, mais sera assez réaliste lorsque le système assemblera bien plus de photos, et surtout lorsqu'il disposera les textures extraites des photos.

Évolutions et fonctions à venir

Prochainement

• Intégration à la version 3D de Virtual Earth .
• Parcours temporels : varier la visualisation selon l'heure du jour souhaitée (si photo disponible), ou bien à travers les années [4]

Hypothétiques

• Modélisation 3D des espaces extérieurs, intérieurs et objets basés sur un placage de texture (image de synthèse) issues des photographies sur le nuage de point.

Historique

Ce système logiciel a préalablement commencé à être développé à l'Université de Washington sous le nom de laboratoire de "Photo Tourisme" [5] par Noah Snavely (UW), Steve Seitz (UW). Puis avec Richard Szeliski de Microsoft Research[6] ^[1]. Ainsi que, pour la partie navigation, par la société SeaDragon, rachetée en 2006 par Microsoft.

Une version de démonstration n'incluant que l'outil de visualisation a été disponible en téléchargement du 9 novembre 2006 au 20 août 2008, pour Internet Explorer, et pour, Firefox sous forme d'un plugin xpi.

Pour le grand public, la première version opérationnelle est sortie le 21 août 2008. Elle porte le numéro interne de version 2.0.1403.5.

Exemple

La place principale de Lorient

Notes et références

Liens externes

• Photosynth