Utiliser l'Anti-fantôme

De Autopano.

Sommaire


Principe

L'Anti-fantôme est l’algorithme de découpage intelligent des images (apparu depuis la version 2.5 d'Autopano).


Lors du mélange des images assemblées, les pixels superposés ne sont pas forcément identiques.
Ceci peut provenir de problèmes d'assemblage (non respect du point nodal, distorsions de lentilles difficiles à corriger...) et/ou d'objets ayant bougés entre les prises de vue.

Le rôle de l'anti-fantôme est de trouver un chemin de découpage entre les images pour éviter ce mélange de pixels hétérogènes.
Le côté "intelligent" consiste à choisir un découpage qui conserve au maximum l'intégrité des sujets photographiés.


Introduction

Ce nouvel algorithme remplace l'étape de découpage effectuée par Smartblend avant la version 2.5 d'Autopano.
La première partie de ce tutoriel présente les différences de conception entre l'Anti-fantôme et le Smartblend et justifie les choix (souvent meilleurs) de l'Anti-fantôme.
Les résultats n'étant pas toujours parfaits (ou du moins ne ressemblant pas toujours à ce que l'on attend), nous montrerons quelques possibilités permettant d'orienter les choix de découpage.
Enfin le giga avantage du nouvel algorithme est son application aux images gigapixels contrairement à l'ancien Smartblend. La dernière partie illustrera ceci sur l'image Paris 26 gigapixels.


Anti-fantôme VS Smartblend

Pour illustrer les différences entre les deux algorithmes, voici une scène comportant beaucoup de recouvrement et un sujet principal en mouvement :

Le résultat attendu devrait conserver ou élimier entièrement le cycliste de chaque image.


Voici le résultat obtenu avec Smartblend (Autopano 2.0) :

Et voici le résultat obtenu avec l'Anti-fantôme (Autopano 2.5) :

Dans les deux cas le résultat n'est pas parfait, cependant, il est meilleur avec l'Anti-fantôme.
Les techniques utilisées sont très proches mais une différence majeure permet d'expliquer ces résultats :

  • Smartblend effectue le choix du chemin image par image. C'est à dire qu'à chaque fois qu'une image est ajoutée, le découpage avec les images déjà présentes est validé sans connaissance des images qui seront ajoutées ultérieurement.
  • L'anti-fantôme prend en compte toutes les images superposées pour prendre sa décision.


Ceci s'illustre bien sur la partie droite du panorama : Smartblend a conservé un cycliste lors de l'ajout d'une image et ne peut plus le supprimer lors de l'ajout de l'image suivante.
Le raisonnement étant plus global avec l'Anti-fantôme, il peut se permettre de faire des mauvais choix à un moment donné et de les modifier au fur a mesure des connaissances des contraintes.

Même avec le nouvel Anti-fantôme, le résultat n'est pas encore parfait. Le chapitre suivant présente quelques astuces pour corriger les problèmes éventuels.


Ajustement manuel de l'Anti-fantôme

Choix des images

Dans le cas où les zones de recouvrement sont suffisantes il est souvent intéressant de supprimer certaines images afin de faciliter les choix de l'Anti-fantôme.

Image:tutorial2-trial-250-corrected.gif


Avec moins de contraintes à résoudre, le résultat correspond désormais à ce que l'on attendait.


Influence de la correction de couleur

Lorsqu'il n'y a pas autant de recouvrement que dans l'exemple précédent, il n'est plus possible de supprimer l'intégralité d'une image pour orienter le travail de l'Anti-fantôme :
Dans le cas suivant un drapeau en mouvement est situé dans une zone de recouvrement et contrairement à l'exemple précédent, il est impossible de supprimer une image sans altérer fortement l'ensemble du panorama.

Voici le rendu obtenu lorsqu'aucune correction de couleur n'est appliquée :
L'Anti-fantôme a choisi de conserver le drapeau de l'image du zénith (image 7) alors que nous préférerions conserver celui venant de l'image centrale (Image 1).
De plus, ce choix de découpage ne compense pas l'erreur d'ajustement présente autour du mât.

Si cette fois-ci on applique une correction de couleur, les choix de l'Anti-fantôme sont différents et correspondent au résultat visuel que l'on attendait :

C'est un peu le hasard qui permet de conserver le bon drapeau grâce à la correction de couleur. Mais ce qui est intéressant ici, c'est de comprendre en quoi la correction de couleur a pu influencer les choix de l'anti-fantôme :
Pour sélectionner le meilleur chemin de découpage, l'algorithme se base sur l'analyse des différences entre les images. Lorsqu'une différence d'exposition et/ou de balance des blancs existe entre deux images, cela gène l'Anti-fantôme à trouver le chemin de découpage dans les zones de ressemblance.

Dans le premier cas, sans la correction de couleur, la teinte du ciel du zénith (Image 7) est assez différente de celle de l'image centrale (Image 1). C'est donc moins pénalisant de faire une erreur de découpage de quelques pixels autour du mât que de cumuler des différences en effectuant le découpage dans le ciel.

Dans le second cas, la correction de couleur permet d'harmoniser les teintes du ciel, le découpage dans le ciel devient alors moins pénalisant. L'Anti-fantôme préfère découper dans le ciel plutôt qu'autour du mât où l'erreur d'ajustement est finalement plus pénalisante.


Ajout d'une couche de transparence

Conservons le même exemple et imaginons que même avec la correction de couleur, le drapeau que nous préférons n'est toujours pas conservé par l'Anti-fantôme.
L'idée est de faire disparaitre les données superposées à l'objet que nous voulons conserver. Ainsi l'Anti-fantôme n'aura pas d'autre choix que de le conserver et de trouver le meilleur chemin de découpage autour de cet objet.


Ici nous avons donc modifié le zénith (Image 7), peint en transparence sur la zone censée recouvrir le drapeau de l'image centrale (Image 1) et converti dans un format acceptant la transparence (tif ou png par exemple).
Remarque : Il faut faire attention car certains éditeurs font perdre les informations EXIF, il faudra les re-paramétrer manuellement dans les Propriétés des images du groupe (dans le cas présent, l’information fisheye peut se perdre).

Voici le résultat de l'assemblage en remplaçant le zénith initial par celui comportant de la transparence.

Il n'est pas toujours évident de repérer les zones de recouvrement dans les images initiales (non déformées pour l'assemblage). L'ajout d'un outil permettant d'orienter les choix de l'Anti-fantôme directement intégré à Autopano est déjà planifié.


Utilisation Gigapixel

Comme notifié en introduction, le nouvel Anti-fantôme peut s'appliquer à des images Gigapixels. Nous avons rendu l'image Paris 26 Gigapixels initialement produite avec Autopano 2.0 avec la version 2.5.
En attendant que cette image soit intégrée à un nouveau site, voici quelques captures d'écran du nouveau rendu.
Vous pouvez essayer de retrouver ces captures dans l'image originale afin de comparer le résultat : Paris 26 Gigapixels


Les deux premières captures illustrent bien l'efficacité de l'Anti-fantôme qui a permis de conserver des véhicules et des personnages complets. Ainsi les zones de flou existantes dans le rendu réalisé avec la version 2.0 ont disparues.


Cette dernière capture montre qu'il reste tout de même des erreurs. C'est généralement dû à des cas insolubles :
Le début d'un objet apparait dans une zone de non recouvrement (donc obligatoirement conservé) et n'existe plus sur l'image voisine puisque dans un gigapixel, l'écart de temps de prise de vue entre images voisines peut être très long.










Support technique / Documentation Autopano Pro / Documentation Autopano Giga

Outils personnels
Autres langues