Post-prod VR “Poetry In Motion”

J’ai eu l’immense honneur de collaborer avec Isabelle Raynauld, professeure au département de l’histoire de l’art et d’études cinématographiques à l’Université de Montréal et scénariste/réalisatrice sur son dernier film documentaire tourné en 360 stéréoscopique “Poetry In Motion – Reverse in Harvard Yard”, en tant que monteur image stéréo.

 

 

Le film met en scène l’installation audio “Re-verse in Harvard Yard” de l’artiste sonore Halsey Burgund que vous pouvez découvrir ici.

Ce documentaire est très particulier, puisqu’il a été tourné en 360 stéréoscopique avec la caméra OZO de Nokia. La réalisatrice a confié l’édition d’image stéréoscopique au Laboratoire de Vision 3D de l’Université de Montréal, sous la direction de Mr. Sébastien Roy.

Je vous présente ici un rapide aperçu des différentes étapes de la post-production en stéréo. Si jamais vous avez des questions, n’hésitez pas à poster un commentaire en bas de la page.

 

Export via OZO Creator : Stitching, rendus…

Pour pouvoir exploiter correctement les fichiers RAW, la caméra utilise un logiciel propriétaire, le OZO Creator. À partir de là, on peut finaliser le stitching et exporter en MP4 H.264 sans perte en deux pistes stéréo Left/Right. Il faut savoir qu’il faut un ordinateur équipé d’une carte graphique puissante afin d’exporter correctement les vidéos. Nokia recommande une GeForce GTX 1080, mais on a pu exporter sans aucun problème avec une 1070.

 

 

Stitching directement via le logiciel OZO Creator 1.4

 

 

L’interface de OZO Creator 1.4 avec les images du documentaire. Au moment de l’écriture de cet article, Nokia annonce la sortie de OZO Creator 1.5 avec quelques améliorations.

 

 

Il est possible, en effet, d’exporter dans plusieurs formats : DPX, OpenEXR, Stitché, non stitché, Fisheye et faire le stitching ailleurs…etc. même le son ambisonic peut être exporter seul en 8 canaux. On a préféré un export en MP4 haute qualité avec des images séparées dans deux pistes vidéos. On pouvait exporté en DPX mais par manque de temps, on a préféré une autre solution pour pouvoir gérer au mieux le workflow.

Pour vous donner une idée : environs 21h de rendus pour seulement 5 minutes avec une GeForce GTX 1070.

 

 

 

Passage par FFMPEG

Par la suite, convertir les deux streams vidéo Left/Right (4096×2160 pour chaque stream vidéo) en une seule image top/bottom (4096×4096) grâce à ffmpeg.

 

ffmpeg -i captureLR.mp4 -an -filter_complex '[0] vstack [x]' -map '[x]' captureUD.mp4

 

Capture d’écran de l’image TOP/BOTTOM (4096×4096)
IMAGE PARTIELLEMENT MONOSCOPIQUE ?

La caméra OZO ne film pas en stéréo derrière la caméra. Quand je dis derrière, j’entends par là la face où se place la batterie d’alimentation. En superposant l’image top/bottom avec Mathematica, on obtient une carte de disparité, une Depth Map, cette carte là nous indique la disparité qu’il y a entre les images. Force est de constater que les côtés gauche et droit, qui représentent ce qui est capté par le derrière de la caméra, n’indiquent aucune profondeur !

 

Le derrière de la caméra OZO est monoscopique (côté gauche et côté droit, aucune disparité).

 

Le montage est fait, il ne reste plus qu’à remplacer les images mono en stéréo. Adobe Premiere CC supporte très bien le montage en VR top/bottom et nous donne même un aperçu soit en mono (choisir le côté qu’on veut), soit en anaglyphe, de quoi ressortir les vieilles lunettes 3D en carton !

Retouche : trépied, ombre…etc.

Beaucoup de manipulation aussi pour supprimer le trépied, son ombre et aussi celui de la caméra : on est en 360, tout se voit, rien ne se cache ! en voici quelques exemples :

Avant

Après

Résultat après

Résultat après

 

 

Andrew Hazelden a publié une méthode intéressante pour enlever le tripod d’une image équirectangulaire avec Photoshop (voir le tutoriel ici) et un autre s’est basé sur sa méthode pour produire le script Tripod Removal (voir le lien de téléchargement un peu plus bas). Pour réussir cela, il faut exporter un snapshot en .tif, utiliser le script Tripod Removal en retournant l’image, convertir d’une image équirectangulaire à fisheye, faire la manipulation nécessaire, aplatir l’image, retourner d’équirectangulaire à fisheye et finalement importer le résultat sur Premiere. Il est très important de modifier aussi bien l’image en haut que l’image en bas. Généralement, on peut très bien modifier un seul côté et remplacer l’autre côté par la même image modifié, cela va être en monoscopique en bas mais sachez que le centre d’intérêt se trouve tout le temps au centre de l’image et le spectateur va rarement s’attarder de ce qu’il y a en bas. La plupart des plans ont été retouchés aussi grâce à After Effects.

Enlever le trépied donne aussi l’impression de flottement, c’est d’ailleurs pour cela que beaucoup d’expérience en VR remplace le Nadir, le point le plus bas, par une chaise, ou encore un trou noir (dans le cas des productions de Felix&Paul), un logo… Finalement, chaque expérience est unique, puisque chaque réalisateur à sa vision de la place de la caméra dans l’espace qu’on veut montrer…

Enfin, le générique a été fait essentiellement avec Photoshop et un plugin de déformation pour adapter le texte à une image équirectangulaire.

TripodRemoval.zip (1Ko) – Tutoriel sur Youtube

 

 

Export pour le Samsung Gear VR

Le film est destiné à être diffusé sur un casque Samsung Gear VR, l’exportation vidéo doit respecter certains paramètres afin de garantir une compatibilité sans faille avec le support de diffusion, un Samsung Galaxy S7 :

  • Compression H264
  • Bitrate de 20Mbit/s
  • 3840×2160 (en 30i/s)
  • un ratio 16:9
  • YUV 420 en p

ce qui, sur ffmpeg, donnerait ça après un export en Prores de Premiere :

 

ffmpeg -i film.mov -c:v libx264 -vf scale=3840:2160,setdar=16:9 -profile:v main -pix_fmt yuv420p -b:v 20M filmfinal.mp4

 

Note : la fonction “setdar” s’applique ici pour forcer ffmpeg le changement de ratio de 1:1 (4096×4096) à 16:9.

J’ai aussi expérimenté avec le x265, moins de taille pour une qualité égale, les derniers Samsung supportent ce format, contrairement à mon Mac, sauf via le lecteur divx Player et le plugin HEVC.

Les mêmes paramètres peuvent s’appliquer pour un export vers Youtube, sauf pour le bitrate qui peut aller jusqu’à 56 Mbit/s.

À titre d’information, voici les paramètres recommandés pour du 360° :

 

Support Codec Résolution Bitrate FPS
Samsung Gear VR 3D 30fps h264/h265 3840×2160 10-20Mb/s 30
Samsung Gear VR 3D 60fps h264/h265 2048×2048 10-20Mb/s 60
Samsung Gear VR 2D 30fps h264/h265 4096×4096 10-20Mb/s 30
Android Cardboard 3D h264 (Baseline, level 4.2) 3840×2160 20-30Mb/s 30
iOS Cardboard 3D h264 (Baseline, level 3.1) 1920×1080 10-14Mb/s 30
Oculus Rift 3D h265 / h264 4096×4096 40-60Mb/s 60

Note : 3D = image stéréoscopique / 2D = image monoscopique

 

Son ambisonic
Interface de AUDIO 360 ENCODER

Le son Ambisonic 4 pistes, un travail de Clovis Gouaillier, a été associé à la vidéo grâce à l’outil Encoder de FB360 Spatial Workstation. Bien que j’ai tenté une méthode avec ffmpeg, cet outil me parait efficace et plus simple à utiliser. Le logiciel nous offre aussi un moyen d’exporter les vidéos destinées à Facebook ou encore Youtube. La suite offre aussi des templates ProTools et Reaper ainsi qu’un plugin de spatialisation et un lecteur de vidéo 360°, tout cela bien très bien documenté.

 

 

 

 

 

 

Photo de l’équipe :

Photo de l’équipe. de gauche à droite : Peter Krieger, directeur photo / Isabelle Raynauld, réalisatrice / Clovis Gouaillier, mixage son ambisonic / Sébastien Roy et Emir Chouchane / Lab VISION 3D, édition stéréoscopique. Crédit Photo FIFA 2017.

 

Emir C. Écrit par :

Soyez le premier à commenter

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *