Voir la source de Scan 3D

==Introduction==

Dans le cadre de la cinquième année nous avons pour consigne de réaliser un projet en rapport avec notre formation. Nous avons choisi de travailler sur le projet du Scan 3D car nous sommes tous les deux intéressé par l'utilisation des capacités de la Kinect.

Ce projet est un projet industriel en lien avec la société Oxylane. Au sein de cette dernière, beaucoup de prototypes ont été réalisés sans passer préalablement par une phase de conception 3D. Ce sont des prototypes uniques, des objets difficilement duplicables. De plus en plus de concepteurs, de designers et de chercheurs aimeraient pouvoir continuer à travailler sur ces objets physiques dans le monde virtuel. Oxylane cherche donc un moyen de scanner ces objets sans passer par des équipements très coûteux.

== Présentation du projet ==

Ce projet consiste donc de réaliser un prototype de scanner 3D en utilisant la Kinect, permettant de transformer des objets réels en forme 3D. Les besoins les plus forts concernent actuellement les casques de vélo et les chaussures. 

Cependant avant de se lancer directement dans le scan 3D, nous devons tout d'abord étudier ce qu'il est possible de faire actuellement avec la Kinect. De nombreux documents sont là pour nous aider ainsi qu'une base de logiciel permettant le scan 3D : Kinect Fusion (KinFu).

== Etat de l'art ==

De nos jours, la volonté de reconstruire la géométrie à l'aide de capteurs actifs, de caméras passives ou d'images en ligne sont des points très étudiés dans la recherche en informatique graphique et vision. L'utilisation de caméra à infrarouges est très étendue et de nombreuses sociétés créent leur propre caméra utilisant cette technologie (Microsoft avec la Kinect, Asus avec son Asus Xtion, ou encore Leap de Leap Motion). 
Alors que les caméras de profondeur ne sont pas totalement nouvelles, Kinect a fait de ces capteurs, des capteurs accessibles à tous. La qualité de la détection de profondeur, étant donné la nature à faible coût et en temps réel de l'appareil, est convaincante et en a fait un capteur populaire auprès des chercheurs et des amateurs. La Kinect de Microsoft est donc l'une des plus populaires et des plus abordables. 


Microsoft a eu la volonté d'améliorer les compétences de sa Kinect et il s'est attardé sur la possibilité, avec KinectFusion, de créer rapidement et en temps réel une reconstruction 3D d'une scène d'intérieur. Pour ce faire, la caméra Kinect utilise une technique structurée de la lumière pour générer des cartes de profondeur en temps réel contenant des mesures de distances discrètes de la scène physique. Ces données peuvent être projetées comme un ensemble de points discrets 3D (ou nuage de points). Même si les données de profondeur Kinect sont convaincantes, en particulier par rapport aux autres appareils de profondeur disponibles dans le commerce, il existe toujours du bruit. Les mesures de profondeur fluctuent souvent et les cartes de profondeur contiennent de nombreux «trous» où la lecture n'a pas été obtenue.

Pour des systèmes simples, comme les jeux vidéo, ce bruit, ces trous peuvent être éliminés en faisant la moyenne des points qui les entourent. Pour des objectifs plus complexes comme un modèle 3D, il est nécessaire de capturer plusieurs vues de la scène physique et de les fusionnées pour en faire une seule représentation. C'est pour ces travaux plus complexes que le programme Kinect Fusion a été inventé.

== Installations, Découverte de Kinect Fusion ==

Lors des 4 premières séances de projets que nous avons pu faire, nous nous sommes intéressé à l'installation et à l'utilisation des OpenSources de Kinect Fusion. Voici les différents outils que nous avons eu  besoin d'installer pour faire fonctionner la Kinect et l'Open Source sur un Linux.

===Installation de OpenNi, Nite, SensorKinect===

*Installer OpenNi Unstable

**Pré-requis 

        Obligatoires :
                1) GCC 4.x
                  apt-get install g++
                2) Python 2.6+/3.x
                 apt-get install python
                3) LibUSB 1.0.x
                 apt-get install libusb-1.0-0-dev
                4) FreeGLUT3
                 apt-get install freeglut3-dev
                5) JDK 6.0
                 apt-get install openjdk-6-jdk

        Optionel (Pour la documentation):
                1) Doxygen
                  apt-get install doxygen
                2) GraphViz
                   apt-get install graphviz

**Installation

        cd ~/OpenNi/Platform/Linux/CreateRedist
        chmod +x RedistMaker
        ./RedistMaker
        cd ~/OpenNi/Platform/Linux/Redist/OpenNI-Bin-Dev-Linux-x64-v1.5.4.0
        su
        ./install.sh

*Installation de SensorKinect :

        cd ~/SensorKinect/Platform/Linux/CreateRedist
        chmod +x RedistMaker
        ./RedistMaker
        cd ~/SensorKinect/Platform/Linux/Redist/Sensor-Bin-Linux-x64-v5.1.2.1
        ./install.sh

===Installation de la PCL Expérimentale ===

Obligatoire : 
*cmake
 apt-get install cmake

*Boost ≥ 1.46
 apt-get install libboost-all-dev

*Eigen ≥ 3.0
 apt-get install libeigen3-dev

*FLANN ≥ 1.7.1
 apt-get install libflann-dev

*VTK ≥ 5.6
 apt-get install libvtk5-dev


Installation

 cd ~Pcl/trunk
 mkdir build && cd build && cmake ..
 make
 make install

===Utilisation de KinFu LargeScale===

*d'après le tutoriel :
http://pointclouds.org/documentation/tutorials/using_kinfu_large_scale.php

*./bin/pcl_kinfu_largeScale -r -et
*./bin/pcl_kinfu_largeScale_mesh_output world.pcd 
*Fusionner les mesh générés avec MeshLab et l'exporter dans KinFuSnapshots
*./bin/pcl_kinfu_largeScale_texture_output KinFuSnapshots/merged_mesh.ply

===Utilisation de KinFu App===

Nous nous sommes ensuite attardé sur cette partie de KinFu et nous nous sommes rendu-compte qu'elle permet de scanner un objet en 3 dimensions et d'en faire facilement le tour. Nous récupérons ensuite le scan dans un fichier .ply exploitable par le logiciel MeshLab. Voici les commandes que nous devons taper pour le faire fonctionner :

* cd ~/trunk/build/bin
* ./kinfu_app
* Une fois le programme lancé, voici les trois fenêtres qui s'ouvrent :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Application_de_base.png Application KinFu]

* On peut observer dans la fenêtre View3D from ray tracing le mesh 3D en cours de la Kinect
* Appuyer succéssivement sur A dans la fenêtre Scene Cloud Viewer pour ajouter le mesh en cours au mesh que l'on souhaite exporter.
* Appuyer sur 7 pour exporter le mesh de la fenêtre Scene Cloud Viewer dans un fichier PLY


Plusieurs options sont disponibles dans kinfu_app, notamment l'option -volume_size <size_in_meters> qui permet de réduire le champ de vision de la kinect en profondeur

=== Réunion du 12 novembre avec Oxylane ===

Nous avons rencontré lors de cette réunion le responsable du service innovation de Oxylane. Nous lui avons montré nos avancements dans les tests de Kinect Fusion et nous nous sommes mis d'accord sur les trois points d'études suivants :

*'''''Etude des limites du programme Kinect Fusion (avantages, inconvénients, ajouts de fonctionnalités possibles).'''''
Etudier le principe de fonctionnement de l'Open Source KinFu de Kinect Fusion et se rendre compte de ce qu'il est possible de faire ou de ne pas faire avec le programme (textures, couleurs ...)
   
*'''''Tests avec la Kinect de bureau pour améliorer la précision.'''''
Pouvoir donner une idée de que l'on peut faire et ce que l'on peut améliorer avec une Kinect de bureau plutôt que la Kinect Xbox.

*'''''Tests pour la création d'un scénario complet de scan d'un casque de vélo.'''''
Ce test permettrait de mettre l'accent sur les points bloquants lors d'un scan d'un objet quelconque (éventualité d'isoler l'objet de son environnement par exemple). Ce test nous permettra aussi de prendre du recul sur les outils disponibles et sur la réalité des compétences qu'ont besoin d'avoir ceux qui voudraient utiliser une kinect pour faire du scan 3D.

== Réalisations ==

=== Etude appronfondie du fonctionnment de Kinect Fusion ===
Une fois les différents premiers tests effectués, nous avons voulu savoir comment fonctionner KinFu. Pour cela, nous avons tout d'abord cherché sur Internet quelques recherches et nous sommes tombés sur ce site expliquant de manière globale le fonctionnement de Kinect Fusion : [http://www.tumblr.com/tagged/kinect+fusion
]

Afin de détecter la profondeur des objets présents dans la scène, Kinect Fusion utilise la caméra infra-rouge de la kinect. Un projecteur infrarouge projette une lumière invisible sur la scène. Il a été spécialement conçu pour projeter les points à la manière d'un laser de telle sorte que les points ne se dilatent pas avec la distance. Cette lumière est lu par la caméra infrarouge. Une fois que ce schéma est lu par la caméra infrarouge, le programme Kinect Fusion recherche des corrélations. Si il en trouve,le processeur dans le kinect est alors en mesure d'utiliser cette information pour trianguler la position 3D des points.

=== Réunion du Mercredi 5 décembre avec Oxylane===

Oxylane et son pôle Innovation (IT Pole "Oxylane brands") organise chaque année, les "IT Days Oxylane". Il s'agit d'un salon où chaque pôle de recherche présente ses différents projets en cours. Il se déroulera le Mercredi 12 décembre à Décathlon Campus.

Notre tuteur entreprise M. Jean VANBERSELAERT, nous a proposé d'y participer pour présenter nos travaux. Nous nous sommes donc vus en réunion pour discuter de ce que nous allons présenter lors de ce salon. Comme nous ne sommes disponibles que le mercredi après-midi, nous allons nous y rendre la veille pour préparer notre stand et installer sur une de leur machine les différents éléments nécessaires pour pouvoir utiliser la Kinect et le programme Kinect Fusion. M. VANBERSELAERT a également pensé de nous filmer pour avoir une explication de notre projet à présenter le matin du salon.

Lors de cette réunion, on nous a fourni un rouleau de papier fluorescent ainsi qu'un casque de vélo pour faire des tests avec la Kinect. En effet, nous pensions que ce type de couleur absorerait les rayons infra-rouges et nous permettrait d'isoler un élément à scanner de son environnement. Nous avons fait quelques tests après la réunion et nous nous sommes rendu compte que cela ne fonctionnait pas. Nous avons alors essayer de poser le casque sur une boite en plastique transparent et nous obtenons le résultat suivant :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Casque_sur_plastique.png#filelinks Image du scan d'un casque de vélo]

=== Le "IT Day Oxylane" ===

Oxylane et son pôle Innovation (IT Pole "Oxylane brands") organise chaque année, le "IT Day Oxylane". Il s'agit d'un salon où chaque pôle de recherche présente ses différents projets en cours. Il s’est déroulé le Mercredi 12 décembre à Décathlon Campus.
Notre tuteur entreprise M. Jean VANBERSELAERT, nous a proposé d'y participer pour présenter nos travaux. Nous nous sommes donc vus en réunion pour discuter de ce que nous allions présenter lors de ce salon. Comme nous n’étions disponibles que le mercredi après-midi, nous nous y sommes rendu la veille pour préparer notre stand et installer sur une de leur machine les différents éléments nécessaires pour pouvoir utiliser la Kinect et le programme
Kinect Fusion.
Cependant l’installation de KinFu sur leur machine fut plus difficile que prévu. En effet, la carte graphique de la machine ne correspondait pas aux besoins que demande Kinect Fusion, par conséquent l’installation faisait une erreur au bout de 35%. Afin d’avoir tout de même quelque chose à présenter lors du salon, nous avons installé sur une machine Windows le logiciel ReconstructMe. Sur la machine Linux, nous avons tenté de mettre à jour les différents drivers de la carte graphique et nous avons recommencé l’installation de KinFu le mercredi après-midi. Cette fois ci l’installation s’est arrêtée à 75%. Nous avons lors du make de l’installation l’option « –i » qui ignore les erreurs et cela à fonctionner. Nous avons pu montrons alors notre réel travail.

Voici quelques photos de notre stand :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image_1.jpeg Image 1 de notre stand]

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image%282%29.jpeg Image 2 de notre stand]

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image.jpeg Image 3 de notre stand]

Vous pouvez voir sur la machine de gauche le logiciel ReconstructMe et sur celle de gauche Kinfu. Cet évènement, nous aura permis de nous rendre compte que l’installation de KinFu dépend également de la machine de travail. En effet, à Polytech’Lille nous avons des machines puissantes et mises à jour et ce n’est pas forcément le cas chez les industriels.

=== Planning pour les mois de Janvier et de Février ===

Afin de gérer au mieux les deux derniers mois de projet, nous avons choisi de faire un planning. En effet, il nous reste 5 tâches à effectuer :

* Test avec la Kinect de bureau ou le zoom Nyko
* Isolation de l'objet par rapport à son environnement
* Comprendre le fonctionnement de cmake => build d’un projet PCL + Qt dans KDevelop4
* Créer une interface graphique permettant à l'utilisateur d'utiliser facilement KinFu
* Ajouter la texture et les couleurs au Mesh

Voici donc le planning que nous avons élaboré :

[http://projets-ima.plil.net/mediawiki/images/b/be/Planning.png Planning]

=== Compréhension du fonctionnement de cmake et de Qt dans KDevelop ===

=== Création de l'interface graphique ===

Comme vu au paragraphe précédent, nous savons maintenant modifier le programme KinFu et nous savons également développer en Qt. Grâce à cela, nous avons pu créer une interface graphique afin qu'un utilisateur "lambda" puisse utiliser facilement le programme KinFu sans devoir taper sur des touches (A pour scanner et 7 pour sauvegarder). 

Nous avions tout d'abord essayer de rajouter notre interface dans l'application KinFu_app mais nous nous sommes rendu compte que le programme affichait d'abord notre interface puis nous devions la fermer pour avoir les trois fenêtres de l'application. Par conséquent, nous avons choisi de faire tourner les deux interfaces en parallèle grâce au threads.

Nous avons donc créer l'interface graphique dans une classe qui lui est propre et nous appelons cette classe dans le "main" de l'application KinFu de la manière suivante :

 QApplication qtApp(argc, argv);
 KinectInterface kinectInterface;//= new KinectInterface;
 AppThreadKinect thread(&kinectInterface);
 thread.setArgc(argc);
 thread.setArgv(argv);

La classe "KinectInterface" utilise la bibliothèque graphique Qt et fait appel aux différentes fonctions de sauvegarde ou de scan du programme KinFu. 

Voici à quoi ressemble notre interface :

* L'utilisateur doit tout d'abord saisir la distance maximale en mètre qu'il veut scanner 

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Lancement.png Démarrage de l'application]

* Ensuite ces différentes fenêtres apparaissent :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Application.png Application avec interface]

On se rend compte que nous deux applications tournent en parallèle. Il suffit maintenant à l'utilisateur de choisir l'intervalle en secondes entre deux ajouts, de ce que la caméra scanne, au mesh. Puis il appuie sur "scanner" et lorsque son scan est terminé il clique sur le bouton "Sauver au format ply", 
son travail est alors enregistré et l'application se ferme.

=== Intégration des couleurs au mesh ===