Wiki de Projets IMA - Contributions de l’utilisateur [fr]

Scan 3D

2013-02-13T14:14:01Z

Fsueur : /* Compréhension du fonctionnement de cmake et de Qt dans KDevelop */

==Introduction==

Dans le cadre de la cinquième année nous avons pour consigne de réaliser un projet en rapport avec notre formation. Nous avons choisi de travailler sur le projet du Scan 3D car nous sommes tous les deux intéressé par l'utilisation des capacités de la Kinect.

Ce projet est un projet industriel en lien avec la société Oxylane. Au sein de cette dernière, beaucoup de prototypes ont été réalisés sans passer préalablement par une phase de conception 3D. Ce sont des prototypes uniques, des objets difficilement duplicables. De plus en plus de concepteurs, de designers et de chercheurs aimeraient pouvoir continuer à travailler sur ces objets physiques dans le monde virtuel. Oxylane cherche donc un moyen de scanner ces objets sans passer par des équipements très coûteux.

== Présentation du projet ==

Ce projet consiste donc de réaliser un prototype de scanner 3D en utilisant la Kinect, permettant de transformer des objets réels en forme 3D. Les besoins les plus forts concernent actuellement les casques de vélo et les chaussures.

Cependant avant de se lancer directement dans le scan 3D, nous devons tout d'abord étudier ce qu'il est possible de faire actuellement avec la Kinect. De nombreux documents sont là pour nous aider ainsi qu'une base de logiciel permettant le scan 3D : Kinect Fusion (KinFu).

== Etat de l'art ==

De nos jours, la volonté de reconstruire la géométrie à l'aide de capteurs actifs, de caméras passives ou d'images en ligne sont des points très étudiés dans la recherche en informatique graphique et vision. L'utilisation de caméra à infrarouges est très étendue et de nombreuses sociétés créent leur propre caméra utilisant cette technologie (Microsoft avec la Kinect, Asus avec son Asus Xtion, ou encore Leap de Leap Motion).
Alors que les caméras de profondeur ne sont pas totalement nouvelles, Kinect a fait de ces capteurs, des capteurs accessibles à tous. La qualité de la détection de profondeur, étant donné la nature à faible coût et en temps réel de l'appareil, est convaincante et en a fait un capteur populaire auprès des chercheurs et des amateurs. La Kinect de Microsoft est donc l'une des plus populaires et des plus abordables.

Microsoft a eu la volonté d'améliorer les compétences de sa Kinect et il s'est attardé sur la possibilité, avec KinectFusion, de créer rapidement et en temps réel une reconstruction 3D d'une scène d'intérieur. Pour ce faire, la caméra Kinect utilise une technique structurée de la lumière pour générer des cartes de profondeur en temps réel contenant des mesures de distances discrètes de la scène physique. Ces données peuvent être projetées comme un ensemble de points discrets 3D (ou nuage de points). Même si les données de profondeur Kinect sont convaincantes, en particulier par rapport aux autres appareils de profondeur disponibles dans le commerce, il existe toujours du bruit. Les mesures de profondeur fluctuent souvent et les cartes de profondeur contiennent de nombreux «trous» où la lecture n'a pas été obtenue.

Pour des systèmes simples, comme les jeux vidéo, ce bruit, ces trous peuvent être éliminés en faisant la moyenne des points qui les entourent. Pour des objectifs plus complexes comme un modèle 3D, il est nécessaire de capturer plusieurs vues de la scène physique et de les fusionnées pour en faire une seule représentation. C'est pour ces travaux plus complexes que le programme Kinect Fusion a été inventé.

== Installations, Découverte de Kinect Fusion ==

Lors des 4 premières séances de projets que nous avons pu faire, nous nous sommes intéressé à l'installation et à l'utilisation des OpenSources de Kinect Fusion. Voici les différents outils que nous avons eu besoin d'installer pour faire fonctionner la Kinect et l'Open Source sur un Linux.

===Installation de OpenNi, Nite, SensorKinect===

*Installer OpenNi Unstable

**Pré-requis

Obligatoires :
1) GCC 4.x
apt-get install g++
2) Python 2.6+/3.x
apt-get install python
3) LibUSB 1.0.x
apt-get install libusb-1.0-0-dev
4) FreeGLUT3
apt-get install freeglut3-dev
5) JDK 6.0
apt-get install openjdk-6-jdk

Optionel (Pour la documentation):
1) Doxygen
apt-get install doxygen
2) GraphViz
apt-get install graphviz

**Installation

cd ~/OpenNi/Platform/Linux/CreateRedist
chmod +x RedistMaker
./RedistMaker
cd ~/OpenNi/Platform/Linux/Redist/OpenNI-Bin-Dev-Linux-x64-v1.5.4.0
su
./install.sh

*Installation de SensorKinect :

cd ~/SensorKinect/Platform/Linux/CreateRedist
chmod +x RedistMaker
./RedistMaker
cd ~/SensorKinect/Platform/Linux/Redist/Sensor-Bin-Linux-x64-v5.1.2.1
./install.sh

===Installation de la PCL Expérimentale ===

Obligatoire :
*cmake
apt-get install cmake

*Boost ≥ 1.46
apt-get install libboost-all-dev

*Eigen ≥ 3.0
apt-get install libeigen3-dev

*FLANN ≥ 1.7.1
apt-get install libflann-dev

*VTK ≥ 5.6
apt-get install libvtk5-dev

Installation

cd ~Pcl/trunk
mkdir build && cd build && cmake ..
make
make install

===Utilisation de KinFu LargeScale===

*d'après le tutoriel :
http://pointclouds.org/documentation/tutorials/using_kinfu_large_scale.php

*./bin/pcl_kinfu_largeScale -r -et
*./bin/pcl_kinfu_largeScale_mesh_output world.pcd
*Fusionner les mesh générés avec MeshLab et l'exporter dans KinFuSnapshots
*./bin/pcl_kinfu_largeScale_texture_output KinFuSnapshots/merged_mesh.ply

===Utilisation de KinFu App===

Nous nous sommes ensuite attardé sur cette partie de KinFu et nous nous sommes rendu-compte qu'elle permet de scanner un objet en 3 dimensions et d'en faire facilement le tour. Nous récupérons ensuite le scan dans un fichier .ply exploitable par le logiciel MeshLab. Voici les commandes que nous devons taper pour le faire fonctionner :

* cd ~/trunk/build/bin
* ./kinfu_app
* Une fois le programme lancé, voici les trois fenêtres qui s'ouvrent :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Application_de_base.png Application KinFu]

* On peut observer dans la fenêtre View3D from ray tracing le mesh 3D en cours de la Kinect
* Appuyer succéssivement sur A dans la fenêtre Scene Cloud Viewer pour ajouter le mesh en cours au mesh que l'on souhaite exporter.
* Appuyer sur 7 pour exporter le mesh de la fenêtre Scene Cloud Viewer dans un fichier PLY

Plusieurs options sont disponibles dans kinfu_app, notamment l'option -volume_size <size_in_meters> qui permet de réduire le champ de vision de la kinect en profondeur

=== Réunion du 12 novembre avec Oxylane ===

Nous avons rencontré lors de cette réunion le responsable du service innovation de Oxylane. Nous lui avons montré nos avancements dans les tests de Kinect Fusion et nous nous sommes mis d'accord sur les trois points d'études suivants :

*'''''Etude des limites du programme Kinect Fusion (avantages, inconvénients, ajouts de fonctionnalités possibles).'''''
Etudier le principe de fonctionnement de l'Open Source KinFu de Kinect Fusion et se rendre compte de ce qu'il est possible de faire ou de ne pas faire avec le programme (textures, couleurs ...)

*'''''Tests avec la Kinect de bureau pour améliorer la précision.'''''
Pouvoir donner une idée de que l'on peut faire et ce que l'on peut améliorer avec une Kinect de bureau plutôt que la Kinect Xbox.

*'''''Tests pour la création d'un scénario complet de scan d'un casque de vélo.'''''
Ce test permettrait de mettre l'accent sur les points bloquants lors d'un scan d'un objet quelconque (éventualité d'isoler l'objet de son environnement par exemple). Ce test nous permettra aussi de prendre du recul sur les outils disponibles et sur la réalité des compétences qu'ont besoin d'avoir ceux qui voudraient utiliser une kinect pour faire du scan 3D.

== Réalisations ==

=== Etude appronfondie du fonctionnment de Kinect Fusion ===
Une fois les différents premiers tests effectués, nous avons voulu savoir comment fonctionner KinFu. Pour cela, nous avons tout d'abord cherché sur Internet quelques recherches et nous sommes tombés sur ce site expliquant de manière globale le fonctionnement de Kinect Fusion : [http://www.tumblr.com/tagged/kinect+fusion
]

Afin de détecter la profondeur des objets présents dans la scène, Kinect Fusion utilise la caméra infra-rouge de la kinect. Un projecteur infrarouge projette une lumière invisible sur la scène. Il a été spécialement conçu pour projeter les points à la manière d'un laser de telle sorte que les points ne se dilatent pas avec la distance. Cette lumière est lu par la caméra infrarouge. Une fois que ce schéma est lu par la caméra infrarouge, le programme Kinect Fusion recherche des corrélations. Si il en trouve,le processeur dans le kinect est alors en mesure d'utiliser cette information pour trianguler la position 3D des points.

=== Réunion du Mercredi 5 décembre avec Oxylane===

Oxylane et son pôle Innovation (IT Pole "Oxylane brands") organise chaque année, les "IT Days Oxylane". Il s'agit d'un salon où chaque pôle de recherche présente ses différents projets en cours. Il se déroulera le Mercredi 12 décembre à Décathlon Campus.

Notre tuteur entreprise M. Jean VANBERSELAERT, nous a proposé d'y participer pour présenter nos travaux. Nous nous sommes donc vus en réunion pour discuter de ce que nous allons présenter lors de ce salon. Comme nous ne sommes disponibles que le mercredi après-midi, nous allons nous y rendre la veille pour préparer notre stand et installer sur une de leur machine les différents éléments nécessaires pour pouvoir utiliser la Kinect et le programme Kinect Fusion. M. VANBERSELAERT a également pensé de nous filmer pour avoir une explication de notre projet à présenter le matin du salon.

Lors de cette réunion, on nous a fourni un rouleau de papier fluorescent ainsi qu'un casque de vélo pour faire des tests avec la Kinect. En effet, nous pensions que ce type de couleur absorerait les rayons infra-rouges et nous permettrait d'isoler un élément à scanner de son environnement. Nous avons fait quelques tests après la réunion et nous nous sommes rendu compte que cela ne fonctionnait pas. Nous avons alors essayer de poser le casque sur une boite en plastique transparent et nous obtenons le résultat suivant :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Casque_sur_plastique.png#filelinks Image du scan d'un casque de vélo]

=== Le "IT Day Oxylane" ===

Oxylane et son pôle Innovation (IT Pole "Oxylane brands") organise chaque année, le "IT Day Oxylane". Il s'agit d'un salon où chaque pôle de recherche présente ses différents projets en cours. Il s’est déroulé le Mercredi 12 décembre à Décathlon Campus.
Notre tuteur entreprise M. Jean VANBERSELAERT, nous a proposé d'y participer pour présenter nos travaux. Nous nous sommes donc vus en réunion pour discuter de ce que nous allions présenter lors de ce salon. Comme nous n’étions disponibles que le mercredi après-midi, nous nous y sommes rendu la veille pour préparer notre stand et installer sur une de leur machine les différents éléments nécessaires pour pouvoir utiliser la Kinect et le programme
Kinect Fusion.
Cependant l’installation de KinFu sur leur machine fut plus difficile que prévu. En effet, la carte graphique de la machine ne correspondait pas aux besoins que demande Kinect Fusion, par conséquent l’installation faisait une erreur au bout de 35%. Afin d’avoir tout de même quelque chose à présenter lors du salon, nous avons installé sur une machine Windows le logiciel ReconstructMe. Sur la machine Linux, nous avons tenté de mettre à jour les différents drivers de la carte graphique et nous avons recommencé l’installation de KinFu le mercredi après-midi. Cette fois ci l’installation s’est arrêtée à 75%. Nous avons lors du make de l’installation l’option « –i » qui ignore les erreurs et cela à fonctionner. Nous avons pu montrons alors notre réel travail.

Voici quelques photos de notre stand :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image_1.jpeg Image 1 de notre stand]

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image%282%29.jpeg Image 2 de notre stand]

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image.jpeg Image 3 de notre stand]

Vous pouvez voir sur la machine de gauche le logiciel ReconstructMe et sur celle de gauche Kinfu. Cet évènement, nous aura permis de nous rendre compte que l’installation de KinFu dépend également de la machine de travail. En effet, à Polytech’Lille nous avons des machines puissantes et mises à jour et ce n’est pas forcément le cas chez les industriels.

=== Planning pour les mois de Janvier et de Février ===

Afin de gérer au mieux les deux derniers mois de projet, nous avons choisi de faire un planning. En effet, il nous reste 5 tâches à effectuer :

* Test avec la Kinect de bureau ou le zoom Nyko
* Isolation de l'objet par rapport à son environnement
* Comprendre le fonctionnement de cmake => build d’un projet PCL + Qt dans KDevelop4
* Créer une interface graphique permettant à l'utilisateur d'utiliser facilement KinFu
* Ajouter la texture et les couleurs au Mesh

Voici donc le planning que nous avons élaboré :

[http://projets-ima.plil.net/mediawiki/images/b/be/Planning.png Planning]

=== Compréhension du fonctionnement de cmake et de Qt dans KDevelop ===

*cmake est un générateur de Makefile. Son processus de génération est entièrement contrôlé par un fichier de configuration : CMakeLists.txt
La PCL utilise ce générateur de makefile. Voici les commandes que nous utilisons :

mkdir build && cd build
cmake ..
make kinfu_app

Nous ne cherchons ici qu'à compiler notre application : kinfu_app

* Pour créer notre interface graphique, le fait de développer en c++ nous a immédiatement fait penser à utiliser le framework Qt.
Ce framework dispose lui aussi d'un générateur de Makefile : qmake. Cependant, qmake est destiné aux projets fortement qui utilisent fortement Qt, or notre projet est un projet déjà conséquent n'utilisant ni Qt ni qmake.
Heureusement, cmake est capable de gérer Qt. Nous avons donc recherché les macros permettant de compiler nos fenêtre écrites en Qt.

*Voici le principe de fonctionnement de la compilation avec Qt : [http://qt-quarterly.developpez.com/qq-34/cmake/images/qt-build-system-small.png Mécanisme de compilation avec Qt]
On remarque que les fichiers sources sont compilés normalement, mais que les fichiers d'en-tête, formulaire utilisateur (.ui) et fichiers ressources (.qrc) subissent une étape intermédiaire.
** Les fichiers h sont générés par moc
** Les fichiers ui sont générés par uic
** Les fichiers qrc sont générés par rcc

* Voici la partie du CMakeLists.txt que nous avons modifié :
FIND_PACKAGE(Qt4 REQUIRED)
set(the_target kinfu_app)
set(srcs kinfu_app.cpp appthreadkinect.cpp kinectinterface.cpp capture.cpp evaluation.cpp parameterdialog.cpp)
set(rscs resources.qrc)
QT4_WRAP_CPP(mocsqt appthreadkinect.h parameterdialog.h kinectinterface.h)
QT4_ADD_RESOURCES(rccqt ${rscs})
INCLUDE(${QT_USE_FILE})
ADD_DEFINITIONS(${QT_DEFINITIONS})
source_group("Source Files" FILES ${srcs} )
PCL_ADD_EXECUTABLE(${the_target} ${SUBSYS_NAME} ${srcs} ${hdrs} ${mocsqt} ${rccqt})
target_link_libraries(${the_target} pcl_common pcl_io ${OPENNI_LIBRARIES} pcl_visualization pcl_gpu_kinfu ${QT_LIBRARIES})

En résumé :
* On attribut a la variable srcs nos fichiers cpp, et à rscs le fichier de ressources indiquant où se trouvent nos images.
set(srcs kinfu_app.cpp appthreadkinect.cpp kinectinterface.cpp capture.cpp evaluation.cpp parameterdialog.cpp)
set(rscs resources.qrc)
* Pour appeler moc, la macro QT4_WRAP_CPP est utilisée sur uniquement les fichiers h utilisant Qt. Les fichiers sources seront stockés dans la variable mocsqt. C'est le même principe pour les fichiers de ressources.
QT4_WRAP_CPP(mocsqt appthreadkinect.h parameterdialog.h kinectinterface.h)
QT4_ADD_RESOURCES(rccqt ${rscs})

*Pour compiler une application Qt, les répertoires include de Qt doivent être ajoutés et un ensemble de paramètres doit être défini via :
INCLUDE(${QT_USE_FILE})
ADD_DEFINITIONS(${QT_DEFINITIONS})

* Enfin, on définit le nom de l'exécutable, ainsi que les bibliothèques qui doivent être liées.
PCL_ADD_EXECUTABLE(${the_target} ${SUBSYS_NAME} ${srcs} ${hdrs} ${mocsqt} ${rccqt})
target_link_libraries(${the_target} pcl_common pcl_io ${OPENNI_LIBRARIES} pcl_visualization pcl_gpu_kinfu ${QT_LIBRARIES})

=== Création de l'interface graphique ===

Comme vu au paragraphe précédent, nous savons maintenant modifier le programme KinFu et nous savons également développer en Qt. Grâce à cela, nous avons pu créer une interface graphique afin qu'un utilisateur "lambda" puisse utiliser facilement le programme KinFu sans devoir taper sur des touches (A pour scanner et 7 pour sauvegarder).

Nous avions tout d'abord essayer de rajouter notre interface dans l'application KinFu_app mais nous nous sommes rendu compte que le programme affichait d'abord notre interface puis nous devions la fermer pour avoir les trois fenêtres de l'application. Par conséquent, nous avons choisi de faire tourner les deux interfaces en parallèle grâce au threads.

Nous avons donc créer l'interface graphique dans une classe qui lui est propre et nous appelons cette classe dans le "main" de l'application KinFu de la manière suivante :

QApplication qtApp(argc, argv);
KinectInterface kinectInterface;//= new KinectInterface;
AppThreadKinect thread(&kinectInterface);
thread.setArgc(argc);
thread.setArgv(argv);

La classe "KinectInterface" utilise la bibliothèque graphique Qt et fait appel aux différentes fonctions de sauvegarde ou de scan du programme KinFu.

Voici à quoi ressemble notre interface :

* L'utilisateur doit tout d'abord saisir la distance maximale en mètre qu'il veut scanner

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Lancement.png Démarrage de l'application]

* Ensuite ces différentes fenêtres apparaissent :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Application.png Application avec interface]

On se rend compte que nous deux applications tournent en parallèle. Il suffit maintenant à l'utilisateur de choisir l'intervalle en secondes entre deux ajouts, de ce que la caméra scanne, au mesh. Puis il appuie sur "scanner" et lorsque son scan est terminé il clique sur le bouton "Sauver au format ply",
son travail est alors enregistré et l'application se ferme.

=== Intégration des couleurs au mesh ===

Une fois que nous avons réalisé une base d'interface graphique, nous avons voulu ajouter la texture (la couleur) à nos scan. Pour cela nous nous sommes basés sur le fonctionnement de l'application KinFu LargeScale qui possédait déjà l'intégration des couleurs dans ses options grace à l'option -et (enable_texture) -r (registration) dans sa commande :
./bin/pcl_kinfu_largeScale -r -et

KinFu_Large_Scale fonctionne de la manière suivante :

* Au cours du scan, l'application prend différentes photos sous le format n°.png, les enregistre dans le dossier KinFuSnapshots/ et ajoute un n°.txt contenant la position de la caméra lors de la prise de la photo. L'application crée à la fin du scan un fichier world.pcd qui est dans cet état inutilisable.

* Une fois le scan terminé, l'utilisateur doit transformer le .pcd en .ply grâce à la commmande :
./bin/pcl_kinfu_largeScale_mesh_output world.pcd

Cette commande crée alors plusieurs fichiers .ply en fonction de la durée du scan. Il faut que l'utilisateur fusionne les différents fichiers .ply et enregistre cette fusion dans le dossier KinFuSnapshots/ contenant déjà les différentes photos.

* Enfin, il doit lancer sur son terminal la commande suivante qui associe les différentes photos au mesh fusionné :
./bin/pcl_kinfu_largeScale_texture_output KinFuSnapshots/merged_mesh.ply

Les photos sont correctement placées sur le mesh grâce aux différents fichiers .txt qui possèdent les différentes positions

Nous, nous utilisons l'application KinFu_App qui ne contient pas l'option d'intégration des couleurs au mesh. Par conséquent, nous l'avons modifié pour d'une certaine manière fusionner les options -r et -et de KinFu LargeScale avec l'application KinFu_App.

Pour ce faire, nous avons tout d'abord ajouter la prise des photos à notre application. Nous nous sommes rendus compte qu'il existait dans KinFu_Large_Scale une classe "Screenshot_manager" qui permet de prendre et d'enregistrer les photos mais aussi d'enregistrer la position de la caméra. Par conséquent, nous avons ajouter cette classe à KinFu_App.

Nous avons laissé le choix à l'utilisateur d'activer ou pas la prise de ces photos. Nous avons donc ajouté un checkbox au lancement de l'application permettant à l'utilisateur d'activer ou pas cette option. Voici à quoi notre nouvelle interface ressemble :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Texture.png Ajout de l'option texture]

Grâce à cette option, nous appelons la classe "Screenshot_manager" que si elle a été sélectionnée.

Nous nous également rendus compte que KinFu_App crée directement, à la fin du scan, un et un seul fichier .ply. Par conséquent les étapes nécessaires dans KinFu_LargeScale :

./bin/pcl_kinfu_largeScale_mesh_output world.pcd
./bin/pcl_kinfu_largeScale_texture_output KinFuSnapshots/merged_mesh.ply

ne sont plus à réaliser dans notre situation. Par conséquent, l'utilisateur ne doit plus que réaliser la commande suivante (dans le dossier KinFuSnapshots/) :
../bin/pcl_kinfu_largeScale_texture_output mesh.ply
et son mesh possédera la couleur.

=== Amélioration de la précision ===

Suite à cela, nous nous sommes replongé dans le code pour essayer de trouver un moyen d'améliorer la précision du scan. En effet, nous nous étions rendus compte lors du "IT Day" que la précision était encore faible et que par exemple, les différents trous qu'il peut y avoir dans un casque n'était pas assez prononcés.

Nous avons trouvé dans la classe kinfu_app.cpp de l'application le paramètre de la fonction setTsdfTruncDist(), qui nous permet en mètre de définir la distance de troncature à partir de laquelle la TSDF (outil qui permet d'assigner une valeur de profondeur à chaque pixel de la grille vue par la caméra, et la compare avec la grille de l’itération précédente) va corriger, approximer les erreurs de scan. Initialement, elle était à 30cm et c'est pour cette raison que la précision restait faible. Nous avons mis cette valeur à 3cm et voici ce que nous obtenons :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Casqueprecis.png Casque précis]

On se rend bien compte que les trous du casque sont beaucoup plus prononcés et que la couleur a bien été ajoutée au mesh.

=== Réunion du lundi 11 février avec Oxylane ===

Suite à ces différentes avancées, nous avons décidé de fixer un rendez-vous avec Oxylane afin de leur montrer nos travaux. Cet entretien a eu lieu le lundi 11 février.

Lors de ce dernier, Oxylane a pu constater avec joie que nous travaux avaient très bien avancés et ils semblaient de plus en plus satisfait par la qualité des différents scan que nous leur avons montrés. Lors de cette réunion, ils nous ont fournis un zoom Nyko et une Kinect For Windows afin que nous continuons d'essayer d'améliorer la précision.

=== Test du zoom Nyko et de la Kinect For Windows ===

Suite à la réunion avec Oxylane, nous avons tout d'abord essayé le zoom Nyko. L'installation fut facile et aucun paramètre dans l'application a dû être modifié. Cependant le résultat que nous obtenons n'a pas répondu à nos attentes. En effet, le zoom Nyko produit un effet de loupe, "d'oeil de poisson" sur la scène et donc la déforme. Voici une comparaison des images capturées par la Kinect sans et avec le zoom Nyko :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Capture_du_2013-02-13_14-25-36.png Capture sans le zoom Nyko]

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Capture_du_2013-02-13_14-26-47.png Capture avec le zoom Nyko]

En ce qui concerne la Kinect For Windows, nous n'avons aucune difficulté à l'utiliser sur Linux, les drivers de la Kinect pour Xbox 360 ont suffit. Cependant, nous n'avons pas vu de différences flagrantes entre les deux Kinect.

=== Amélioration de notre interface graphique ===

Afin de rendre l'interface plus ergonomique, nous avons décidé de remplacer les boutons "texte" par des boutons icônes. De plus, en améliorant cette interface nous avons ajouté plusieurs fonctions.

* Le bouton start permet de lancer le scan. Il est transformé en bouton pause lorsqu'il est actionné.
* Le bouton power permet d'arrêter à tout instant l'application
* Le bouton reset permet d'effacer toutes les différentes captures qui ont déjà été effectuées (mesh et photos)
* Le bouton stop devrait être supprimé à moins que nous lui trouvions une utilité
* Le bouton info permettra d'obtenir des informations sur l'application et éventuellement une aide
* Le bouton enregistrer permet d'enregistrer le mes au format ply. Nous envisageons d'ajouter des options pour le format d'enregistrement.

Voici à quoi ressemble notre interface :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Interface_ergo.png Notre nouvelle interface]

Scan 3D

2013-02-13T13:58:49Z

Fsueur : /* Compréhension du fonctionnement de cmake et de Qt dans KDevelop */

==Introduction==

Dans le cadre de la cinquième année nous avons pour consigne de réaliser un projet en rapport avec notre formation. Nous avons choisi de travailler sur le projet du Scan 3D car nous sommes tous les deux intéressé par l'utilisation des capacités de la Kinect.

Ce projet est un projet industriel en lien avec la société Oxylane. Au sein de cette dernière, beaucoup de prototypes ont été réalisés sans passer préalablement par une phase de conception 3D. Ce sont des prototypes uniques, des objets difficilement duplicables. De plus en plus de concepteurs, de designers et de chercheurs aimeraient pouvoir continuer à travailler sur ces objets physiques dans le monde virtuel. Oxylane cherche donc un moyen de scanner ces objets sans passer par des équipements très coûteux.

== Présentation du projet ==

Ce projet consiste donc de réaliser un prototype de scanner 3D en utilisant la Kinect, permettant de transformer des objets réels en forme 3D. Les besoins les plus forts concernent actuellement les casques de vélo et les chaussures.

Cependant avant de se lancer directement dans le scan 3D, nous devons tout d'abord étudier ce qu'il est possible de faire actuellement avec la Kinect. De nombreux documents sont là pour nous aider ainsi qu'une base de logiciel permettant le scan 3D : Kinect Fusion (KinFu).

== Etat de l'art ==

De nos jours, la volonté de reconstruire la géométrie à l'aide de capteurs actifs, de caméras passives ou d'images en ligne sont des points très étudiés dans la recherche en informatique graphique et vision. L'utilisation de caméra à infrarouges est très étendue et de nombreuses sociétés créent leur propre caméra utilisant cette technologie (Microsoft avec la Kinect, Asus avec son Asus Xtion, ou encore Leap de Leap Motion).
Alors que les caméras de profondeur ne sont pas totalement nouvelles, Kinect a fait de ces capteurs, des capteurs accessibles à tous. La qualité de la détection de profondeur, étant donné la nature à faible coût et en temps réel de l'appareil, est convaincante et en a fait un capteur populaire auprès des chercheurs et des amateurs. La Kinect de Microsoft est donc l'une des plus populaires et des plus abordables.

Microsoft a eu la volonté d'améliorer les compétences de sa Kinect et il s'est attardé sur la possibilité, avec KinectFusion, de créer rapidement et en temps réel une reconstruction 3D d'une scène d'intérieur. Pour ce faire, la caméra Kinect utilise une technique structurée de la lumière pour générer des cartes de profondeur en temps réel contenant des mesures de distances discrètes de la scène physique. Ces données peuvent être projetées comme un ensemble de points discrets 3D (ou nuage de points). Même si les données de profondeur Kinect sont convaincantes, en particulier par rapport aux autres appareils de profondeur disponibles dans le commerce, il existe toujours du bruit. Les mesures de profondeur fluctuent souvent et les cartes de profondeur contiennent de nombreux «trous» où la lecture n'a pas été obtenue.

Pour des systèmes simples, comme les jeux vidéo, ce bruit, ces trous peuvent être éliminés en faisant la moyenne des points qui les entourent. Pour des objectifs plus complexes comme un modèle 3D, il est nécessaire de capturer plusieurs vues de la scène physique et de les fusionnées pour en faire une seule représentation. C'est pour ces travaux plus complexes que le programme Kinect Fusion a été inventé.

== Installations, Découverte de Kinect Fusion ==

Lors des 4 premières séances de projets que nous avons pu faire, nous nous sommes intéressé à l'installation et à l'utilisation des OpenSources de Kinect Fusion. Voici les différents outils que nous avons eu besoin d'installer pour faire fonctionner la Kinect et l'Open Source sur un Linux.

===Installation de OpenNi, Nite, SensorKinect===

*Installer OpenNi Unstable

**Pré-requis

Obligatoires :
1) GCC 4.x
apt-get install g++
2) Python 2.6+/3.x
apt-get install python
3) LibUSB 1.0.x
apt-get install libusb-1.0-0-dev
4) FreeGLUT3
apt-get install freeglut3-dev
5) JDK 6.0
apt-get install openjdk-6-jdk

Optionel (Pour la documentation):
1) Doxygen
apt-get install doxygen
2) GraphViz
apt-get install graphviz

**Installation

cd ~/OpenNi/Platform/Linux/CreateRedist
chmod +x RedistMaker
./RedistMaker
cd ~/OpenNi/Platform/Linux/Redist/OpenNI-Bin-Dev-Linux-x64-v1.5.4.0
su
./install.sh

*Installation de SensorKinect :

cd ~/SensorKinect/Platform/Linux/CreateRedist
chmod +x RedistMaker
./RedistMaker
cd ~/SensorKinect/Platform/Linux/Redist/Sensor-Bin-Linux-x64-v5.1.2.1
./install.sh

===Installation de la PCL Expérimentale ===

Obligatoire :
*cmake
apt-get install cmake

*Boost ≥ 1.46
apt-get install libboost-all-dev

*Eigen ≥ 3.0
apt-get install libeigen3-dev

*FLANN ≥ 1.7.1
apt-get install libflann-dev

*VTK ≥ 5.6
apt-get install libvtk5-dev

Installation

cd ~Pcl/trunk
mkdir build && cd build && cmake ..
make
make install

===Utilisation de KinFu LargeScale===

*d'après le tutoriel :
http://pointclouds.org/documentation/tutorials/using_kinfu_large_scale.php

*./bin/pcl_kinfu_largeScale -r -et
*./bin/pcl_kinfu_largeScale_mesh_output world.pcd
*Fusionner les mesh générés avec MeshLab et l'exporter dans KinFuSnapshots
*./bin/pcl_kinfu_largeScale_texture_output KinFuSnapshots/merged_mesh.ply

===Utilisation de KinFu App===

Nous nous sommes ensuite attardé sur cette partie de KinFu et nous nous sommes rendu-compte qu'elle permet de scanner un objet en 3 dimensions et d'en faire facilement le tour. Nous récupérons ensuite le scan dans un fichier .ply exploitable par le logiciel MeshLab. Voici les commandes que nous devons taper pour le faire fonctionner :

* cd ~/trunk/build/bin
* ./kinfu_app
* Une fois le programme lancé, voici les trois fenêtres qui s'ouvrent :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Application_de_base.png Application KinFu]

* On peut observer dans la fenêtre View3D from ray tracing le mesh 3D en cours de la Kinect
* Appuyer succéssivement sur A dans la fenêtre Scene Cloud Viewer pour ajouter le mesh en cours au mesh que l'on souhaite exporter.
* Appuyer sur 7 pour exporter le mesh de la fenêtre Scene Cloud Viewer dans un fichier PLY

Plusieurs options sont disponibles dans kinfu_app, notamment l'option -volume_size <size_in_meters> qui permet de réduire le champ de vision de la kinect en profondeur

=== Réunion du 12 novembre avec Oxylane ===

Nous avons rencontré lors de cette réunion le responsable du service innovation de Oxylane. Nous lui avons montré nos avancements dans les tests de Kinect Fusion et nous nous sommes mis d'accord sur les trois points d'études suivants :

*'''''Etude des limites du programme Kinect Fusion (avantages, inconvénients, ajouts de fonctionnalités possibles).'''''
Etudier le principe de fonctionnement de l'Open Source KinFu de Kinect Fusion et se rendre compte de ce qu'il est possible de faire ou de ne pas faire avec le programme (textures, couleurs ...)

*'''''Tests avec la Kinect de bureau pour améliorer la précision.'''''
Pouvoir donner une idée de que l'on peut faire et ce que l'on peut améliorer avec une Kinect de bureau plutôt que la Kinect Xbox.

*'''''Tests pour la création d'un scénario complet de scan d'un casque de vélo.'''''
Ce test permettrait de mettre l'accent sur les points bloquants lors d'un scan d'un objet quelconque (éventualité d'isoler l'objet de son environnement par exemple). Ce test nous permettra aussi de prendre du recul sur les outils disponibles et sur la réalité des compétences qu'ont besoin d'avoir ceux qui voudraient utiliser une kinect pour faire du scan 3D.

== Réalisations ==

=== Etude appronfondie du fonctionnment de Kinect Fusion ===
Une fois les différents premiers tests effectués, nous avons voulu savoir comment fonctionner KinFu. Pour cela, nous avons tout d'abord cherché sur Internet quelques recherches et nous sommes tombés sur ce site expliquant de manière globale le fonctionnement de Kinect Fusion : [http://www.tumblr.com/tagged/kinect+fusion
]

Afin de détecter la profondeur des objets présents dans la scène, Kinect Fusion utilise la caméra infra-rouge de la kinect. Un projecteur infrarouge projette une lumière invisible sur la scène. Il a été spécialement conçu pour projeter les points à la manière d'un laser de telle sorte que les points ne se dilatent pas avec la distance. Cette lumière est lu par la caméra infrarouge. Une fois que ce schéma est lu par la caméra infrarouge, le programme Kinect Fusion recherche des corrélations. Si il en trouve,le processeur dans le kinect est alors en mesure d'utiliser cette information pour trianguler la position 3D des points.

=== Réunion du Mercredi 5 décembre avec Oxylane===

Oxylane et son pôle Innovation (IT Pole "Oxylane brands") organise chaque année, les "IT Days Oxylane". Il s'agit d'un salon où chaque pôle de recherche présente ses différents projets en cours. Il se déroulera le Mercredi 12 décembre à Décathlon Campus.

Notre tuteur entreprise M. Jean VANBERSELAERT, nous a proposé d'y participer pour présenter nos travaux. Nous nous sommes donc vus en réunion pour discuter de ce que nous allons présenter lors de ce salon. Comme nous ne sommes disponibles que le mercredi après-midi, nous allons nous y rendre la veille pour préparer notre stand et installer sur une de leur machine les différents éléments nécessaires pour pouvoir utiliser la Kinect et le programme Kinect Fusion. M. VANBERSELAERT a également pensé de nous filmer pour avoir une explication de notre projet à présenter le matin du salon.

Lors de cette réunion, on nous a fourni un rouleau de papier fluorescent ainsi qu'un casque de vélo pour faire des tests avec la Kinect. En effet, nous pensions que ce type de couleur absorerait les rayons infra-rouges et nous permettrait d'isoler un élément à scanner de son environnement. Nous avons fait quelques tests après la réunion et nous nous sommes rendu compte que cela ne fonctionnait pas. Nous avons alors essayer de poser le casque sur une boite en plastique transparent et nous obtenons le résultat suivant :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Casque_sur_plastique.png#filelinks Image du scan d'un casque de vélo]

=== Le "IT Day Oxylane" ===

Oxylane et son pôle Innovation (IT Pole "Oxylane brands") organise chaque année, le "IT Day Oxylane". Il s'agit d'un salon où chaque pôle de recherche présente ses différents projets en cours. Il s’est déroulé le Mercredi 12 décembre à Décathlon Campus.
Notre tuteur entreprise M. Jean VANBERSELAERT, nous a proposé d'y participer pour présenter nos travaux. Nous nous sommes donc vus en réunion pour discuter de ce que nous allions présenter lors de ce salon. Comme nous n’étions disponibles que le mercredi après-midi, nous nous y sommes rendu la veille pour préparer notre stand et installer sur une de leur machine les différents éléments nécessaires pour pouvoir utiliser la Kinect et le programme
Kinect Fusion.
Cependant l’installation de KinFu sur leur machine fut plus difficile que prévu. En effet, la carte graphique de la machine ne correspondait pas aux besoins que demande Kinect Fusion, par conséquent l’installation faisait une erreur au bout de 35%. Afin d’avoir tout de même quelque chose à présenter lors du salon, nous avons installé sur une machine Windows le logiciel ReconstructMe. Sur la machine Linux, nous avons tenté de mettre à jour les différents drivers de la carte graphique et nous avons recommencé l’installation de KinFu le mercredi après-midi. Cette fois ci l’installation s’est arrêtée à 75%. Nous avons lors du make de l’installation l’option « –i » qui ignore les erreurs et cela à fonctionner. Nous avons pu montrons alors notre réel travail.

Voici quelques photos de notre stand :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image_1.jpeg Image 1 de notre stand]

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image%282%29.jpeg Image 2 de notre stand]

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image.jpeg Image 3 de notre stand]

Vous pouvez voir sur la machine de gauche le logiciel ReconstructMe et sur celle de gauche Kinfu. Cet évènement, nous aura permis de nous rendre compte que l’installation de KinFu dépend également de la machine de travail. En effet, à Polytech’Lille nous avons des machines puissantes et mises à jour et ce n’est pas forcément le cas chez les industriels.

=== Planning pour les mois de Janvier et de Février ===

Afin de gérer au mieux les deux derniers mois de projet, nous avons choisi de faire un planning. En effet, il nous reste 5 tâches à effectuer :

* Test avec la Kinect de bureau ou le zoom Nyko
* Isolation de l'objet par rapport à son environnement
* Comprendre le fonctionnement de cmake => build d’un projet PCL + Qt dans KDevelop4
* Créer une interface graphique permettant à l'utilisateur d'utiliser facilement KinFu
* Ajouter la texture et les couleurs au Mesh

Voici donc le planning que nous avons élaboré :

[http://projets-ima.plil.net/mediawiki/images/b/be/Planning.png Planning]

=== Compréhension du fonctionnement de cmake et de Qt dans KDevelop ===

*cmake est un générateur de Makefile. Son processus de génération est entièrement contrôlé par un fichier de configuration : CMakeLists.txt
La PCL utilise ce générateur de makefile. Voici les commandes que nous utilisons :

mkdir build && cd build
cmake ..
make kinfu_app

Nous ne cherchons ici qu'à compiler notre application : kinfu_app

* Pour créer notre interface graphique, le fait de développer en c++ nous a immédiatement fait penser à utiliser le framework Qt.
Ce framework dispose lui aussi d'un générateur de Makefile : qmake. Cependant, qmake est destiné aux projets fortement qui utilisent fortement Qt, or notre projet est un projet déjà conséquent n'utilisant ni Qt ni qmake.
Heureusement, cmake est capable de gérer Qt. Nous avons donc recherché les macros permettant de compiler nos fenêtre écrites en Qt.

*Voici le principe de fonctionnement de la compilation avec Qt : [http://qt-quarterly.developpez.com/qq-34/cmake/images/qt-build-system-small.png Mécanisme de compilation avec Qt]
On remarque que les fichiers sources sont compilés normalement, mais que les fichiers d'en-tête, formulaire utilisateur (.ui) et fichiers ressources (.qrc) subissent une étape intermédiaire.
** Les fichiers h sont générés par moc
** Les fichiers ui sont générés par uic
** Les fichiers qrc sont générés par rcc

* Voici la partie du CMakeLists.txt que nous avons modifié :
set(the_target kinfu_app)
set(srcs kinfu_app.cpp appthreadkinect.cpp kinectinterface.cpp capture.cpp evaluation.cpp parameterdialog.cpp)
set(rscs resources.qrc)
QT4_WRAP_CPP(mocsqt appthreadkinect.h parameterdialog.h kinectinterface.h)
QT4_ADD_RESOURCES(rccqt ${rscs})
source_group("Source Files" FILES ${srcs} )
PCL_ADD_EXECUTABLE(${the_target} ${SUBSYS_NAME} ${srcs} ${hdrs} ${mocsqt} ${rccqt})
target_link_libraries(${the_target} pcl_common pcl_io ${OPENNI_LIBRARIES} pcl_visualization pcl_gpu_kinfu ${QT_LIBRARIES})

*En résumé, on attribut a la variable srcs nos fichiers cpp

=== Création de l'interface graphique ===

Comme vu au paragraphe précédent, nous savons maintenant modifier le programme KinFu et nous savons également développer en Qt. Grâce à cela, nous avons pu créer une interface graphique afin qu'un utilisateur "lambda" puisse utiliser facilement le programme KinFu sans devoir taper sur des touches (A pour scanner et 7 pour sauvegarder).

Nous avions tout d'abord essayer de rajouter notre interface dans l'application KinFu_app mais nous nous sommes rendu compte que le programme affichait d'abord notre interface puis nous devions la fermer pour avoir les trois fenêtres de l'application. Par conséquent, nous avons choisi de faire tourner les deux interfaces en parallèle grâce au threads.

Nous avons donc créer l'interface graphique dans une classe qui lui est propre et nous appelons cette classe dans le "main" de l'application KinFu de la manière suivante :

QApplication qtApp(argc, argv);
KinectInterface kinectInterface;//= new KinectInterface;
AppThreadKinect thread(&kinectInterface);
thread.setArgc(argc);
thread.setArgv(argv);

La classe "KinectInterface" utilise la bibliothèque graphique Qt et fait appel aux différentes fonctions de sauvegarde ou de scan du programme KinFu.

Voici à quoi ressemble notre interface :

* L'utilisateur doit tout d'abord saisir la distance maximale en mètre qu'il veut scanner

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Lancement.png Démarrage de l'application]

* Ensuite ces différentes fenêtres apparaissent :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Application.png Application avec interface]

On se rend compte que nous deux applications tournent en parallèle. Il suffit maintenant à l'utilisateur de choisir l'intervalle en secondes entre deux ajouts, de ce que la caméra scanne, au mesh. Puis il appuie sur "scanner" et lorsque son scan est terminé il clique sur le bouton "Sauver au format ply",
son travail est alors enregistré et l'application se ferme.

=== Intégration des couleurs au mesh ===

Une fois que nous avons réalisé une base d'interface graphique, nous avons voulu ajouter la texture (la couleur) à nos scan. Pour cela nous nous sommes basés sur le fonctionnement de l'application KinFu LargeScale qui possédait déjà l'intégration des couleurs dans ses options grace à l'option -et (enable_texture) -r (registration) dans sa commande :
./bin/pcl_kinfu_largeScale -r -et

KinFu_Large_Scale fonctionne de la manière suivante :

* Au cours du scan, l'application prend différentes photos sous le format n°.png, les enregistre dans le dossier KinFuSnapshots/ et ajoute un n°.txt contenant la position de la caméra lors de la prise de la photo. L'application crée à la fin du scan un fichier world.pcd qui est dans cet état inutilisable.

* Une fois le scan terminé, l'utilisateur doit transformer le .pcd en .ply grâce à la commmande :
./bin/pcl_kinfu_largeScale_mesh_output world.pcd

Cette commande crée alors plusieurs fichiers .ply en fonction de la durée du scan. Il faut que l'utilisateur fusionne les différents fichiers .ply et enregistre cette fusion dans le dossier KinFuSnapshots/ contenant déjà les différentes photos.

* Enfin, il doit lancer sur son terminal la commande suivante qui associe les différentes photos au mesh fusionné :
./bin/pcl_kinfu_largeScale_texture_output KinFuSnapshots/merged_mesh.ply

Les photos sont correctement placées sur le mesh grâce aux différents fichiers .txt qui possèdent les différentes positions

Nous, nous utilisons l'application KinFu_App qui ne contient pas l'option d'intégration des couleurs au mesh. Par conséquent, nous l'avons modifié pour d'une certaine manière fusionner les options -r et -et de KinFu LargeScale avec l'application KinFu_App.

Pour ce faire, nous avons tout d'abord ajouter la prise des photos à notre application. Nous nous sommes rendus compte qu'il existait dans KinFu_Large_Scale une classe "Screenshot_manager" qui permet de prendre et d'enregistrer les photos mais aussi d'enregistrer la position de la caméra. Par conséquent, nous avons ajouter cette classe à KinFu_App.

Nous avons laissé le choix à l'utilisateur d'activer ou pas la prise de ces photos. Nous avons donc ajouté un checkbox au lancement de l'application permettant à l'utilisateur d'activer ou pas cette option. Voici à quoi notre nouvelle interface ressemble :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Texture.png Ajout de l'option texture]

Grâce à cette option, nous appelons la classe "Screenshot_manager" que si elle a été sélectionnée.

Nous nous également rendus compte que KinFu_App crée directement, à la fin du scan, un et un seul fichier .ply. Par conséquent les étapes nécessaires dans KinFu_LargeScale :

./bin/pcl_kinfu_largeScale_mesh_output world.pcd
./bin/pcl_kinfu_largeScale_texture_output KinFuSnapshots/merged_mesh.ply

ne sont plus à réaliser dans notre situation. Par conséquent, l'utilisateur ne doit plus que réaliser la commande suivante (dans le dossier KinFuSnapshots/) :
../bin/pcl_kinfu_largeScale_texture_output mesh.ply
et son mesh possédera la couleur.

=== Amélioration de la précision ===

Suite à cela, nous nous sommes replongé dans le code pour essayer de trouver un moyen d'améliorer la précision du scan. En effet, nous nous étions rendus compte lors du "IT Day" que la précision était encore faible et que par exemple, les différents trous qu'il peut y avoir dans un casque n'était pas assez prononcés.

Nous avons trouvé dans la classe kinfu_app.cpp de l'application le paramètre de la fonction setTsdfTruncDist(), qui nous permet en mètre de définir la distance de troncature à partir de laquelle la TSDF (outil qui permet d'assigner une valeur de profondeur à chaque pixel de la grille vue par la caméra, et la compare avec la grille de l’itération précédente) va corriger, approximer les erreurs de scan. Initialement, elle était à 30cm et c'est pour cette raison que la précision restait faible. Nous avons mis cette valeur à 3cm et voici ce que nous obtenons :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Casqueprecis.png Casque précis]

On se rend bien compte que les trous du casque sont beaucoup plus prononcés et que la couleur a bien été ajoutée au mesh.

=== Réunion du lundi 11 février avec Oxylane ===

Suite à ces différentes avancées, nous avons décidé de fixer un rendez-vous avec Oxylane afin de leur montrer nos travaux. Cet entretien a eu lieu le lundi 11 février.

Lors de ce dernier, Oxylane a pu constater avec joie que nous travaux avaient très bien avancés et ils semblaient de plus en plus satisfait par la qualité des différents scan que nous leur avons montrés. Lors de cette réunion, ils nous ont fournis un zoom Nyko et une Kinect For Windows afin que nous continuons d'essayer d'améliorer la précision.

=== Test du zoom Nyko et de la Kinect For Windows ===

Suite à la réunion avec Oxylane, nous avons tout d'abord essayé le zoom Nyko. L'installation fut facile et aucun paramètre dans l'application a dû être modifié. Cependant le résultat que nous obtenons n'a pas répondu à nos attentes. En effet, le zoom Nyko produit un effet de loupe, "d'oeil de poisson" sur la scène et donc la déforme. Voici une comparaison des images capturées par la Kinect sans et avec le zoom Nyko :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Capture_du_2013-02-13_14-25-36.png Capture sans le zoom Nyko]

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Capture_du_2013-02-13_14-26-47.png Capture avec le zoom Nyko]

En ce qui concerne la Kinect For Windows, nous n'avons aucune difficulté à l'utiliser sur Linux, les drivers de la Kinect pour Xbox 360 ont suffit. Cependant, nous n'avons pas vu de différences flagrantes entre les deux Kinect.

=== Amélioration de notre interface graphique ===

Scan 3D

2013-02-13T13:32:16Z

Fsueur : /* Compréhension du fonctionnement de cmake et de Qt dans KDevelop */

==Introduction==

Dans le cadre de la cinquième année nous avons pour consigne de réaliser un projet en rapport avec notre formation. Nous avons choisi de travailler sur le projet du Scan 3D car nous sommes tous les deux intéressé par l'utilisation des capacités de la Kinect.

Ce projet est un projet industriel en lien avec la société Oxylane. Au sein de cette dernière, beaucoup de prototypes ont été réalisés sans passer préalablement par une phase de conception 3D. Ce sont des prototypes uniques, des objets difficilement duplicables. De plus en plus de concepteurs, de designers et de chercheurs aimeraient pouvoir continuer à travailler sur ces objets physiques dans le monde virtuel. Oxylane cherche donc un moyen de scanner ces objets sans passer par des équipements très coûteux.

== Présentation du projet ==

Ce projet consiste donc de réaliser un prototype de scanner 3D en utilisant la Kinect, permettant de transformer des objets réels en forme 3D. Les besoins les plus forts concernent actuellement les casques de vélo et les chaussures.

Cependant avant de se lancer directement dans le scan 3D, nous devons tout d'abord étudier ce qu'il est possible de faire actuellement avec la Kinect. De nombreux documents sont là pour nous aider ainsi qu'une base de logiciel permettant le scan 3D : Kinect Fusion (KinFu).

== Etat de l'art ==

De nos jours, la volonté de reconstruire la géométrie à l'aide de capteurs actifs, de caméras passives ou d'images en ligne sont des points très étudiés dans la recherche en informatique graphique et vision. L'utilisation de caméra à infrarouges est très étendue et de nombreuses sociétés créent leur propre caméra utilisant cette technologie (Microsoft avec la Kinect, Asus avec son Asus Xtion, ou encore Leap de Leap Motion).
Alors que les caméras de profondeur ne sont pas totalement nouvelles, Kinect a fait de ces capteurs, des capteurs accessibles à tous. La qualité de la détection de profondeur, étant donné la nature à faible coût et en temps réel de l'appareil, est convaincante et en a fait un capteur populaire auprès des chercheurs et des amateurs. La Kinect de Microsoft est donc l'une des plus populaires et des plus abordables.

Microsoft a eu la volonté d'améliorer les compétences de sa Kinect et il s'est attardé sur la possibilité, avec KinectFusion, de créer rapidement et en temps réel une reconstruction 3D d'une scène d'intérieur. Pour ce faire, la caméra Kinect utilise une technique structurée de la lumière pour générer des cartes de profondeur en temps réel contenant des mesures de distances discrètes de la scène physique. Ces données peuvent être projetées comme un ensemble de points discrets 3D (ou nuage de points). Même si les données de profondeur Kinect sont convaincantes, en particulier par rapport aux autres appareils de profondeur disponibles dans le commerce, il existe toujours du bruit. Les mesures de profondeur fluctuent souvent et les cartes de profondeur contiennent de nombreux «trous» où la lecture n'a pas été obtenue.

Pour des systèmes simples, comme les jeux vidéo, ce bruit, ces trous peuvent être éliminés en faisant la moyenne des points qui les entourent. Pour des objectifs plus complexes comme un modèle 3D, il est nécessaire de capturer plusieurs vues de la scène physique et de les fusionnées pour en faire une seule représentation. C'est pour ces travaux plus complexes que le programme Kinect Fusion a été inventé.

== Installations, Découverte de Kinect Fusion ==

Lors des 4 premières séances de projets que nous avons pu faire, nous nous sommes intéressé à l'installation et à l'utilisation des OpenSources de Kinect Fusion. Voici les différents outils que nous avons eu besoin d'installer pour faire fonctionner la Kinect et l'Open Source sur un Linux.

===Installation de OpenNi, Nite, SensorKinect===

*Installer OpenNi Unstable

**Pré-requis

Obligatoires :
1) GCC 4.x
apt-get install g++
2) Python 2.6+/3.x
apt-get install python
3) LibUSB 1.0.x
apt-get install libusb-1.0-0-dev
4) FreeGLUT3
apt-get install freeglut3-dev
5) JDK 6.0
apt-get install openjdk-6-jdk

Optionel (Pour la documentation):
1) Doxygen
apt-get install doxygen
2) GraphViz
apt-get install graphviz

**Installation

cd ~/OpenNi/Platform/Linux/CreateRedist
chmod +x RedistMaker
./RedistMaker
cd ~/OpenNi/Platform/Linux/Redist/OpenNI-Bin-Dev-Linux-x64-v1.5.4.0
su
./install.sh

*Installation de SensorKinect :

cd ~/SensorKinect/Platform/Linux/CreateRedist
chmod +x RedistMaker
./RedistMaker
cd ~/SensorKinect/Platform/Linux/Redist/Sensor-Bin-Linux-x64-v5.1.2.1
./install.sh

===Installation de la PCL Expérimentale ===

Obligatoire :
*cmake
apt-get install cmake

*Boost ≥ 1.46
apt-get install libboost-all-dev

*Eigen ≥ 3.0
apt-get install libeigen3-dev

*FLANN ≥ 1.7.1
apt-get install libflann-dev

*VTK ≥ 5.6
apt-get install libvtk5-dev

Installation

cd ~Pcl/trunk
mkdir build && cd build && cmake ..
make
make install

===Utilisation de KinFu LargeScale===

*d'après le tutoriel :
http://pointclouds.org/documentation/tutorials/using_kinfu_large_scale.php

*./bin/pcl_kinfu_largeScale -r -et
*./bin/pcl_kinfu_largeScale_mesh_output world.pcd
*Fusionner les mesh générés avec MeshLab et l'exporter dans KinFuSnapshots
*./bin/pcl_kinfu_largeScale_texture_output KinFuSnapshots/merged_mesh.ply

===Utilisation de KinFu App===

Nous nous sommes ensuite attardé sur cette partie de KinFu et nous nous sommes rendu-compte qu'elle permet de scanner un objet en 3 dimensions et d'en faire facilement le tour. Nous récupérons ensuite le scan dans un fichier .ply exploitable par le logiciel MeshLab. Voici les commandes que nous devons taper pour le faire fonctionner :

* cd ~/trunk/build/bin
* ./kinfu_app
* Une fois le programme lancé, voici les trois fenêtres qui s'ouvrent :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Application_de_base.png Application KinFu]

* On peut observer dans la fenêtre View3D from ray tracing le mesh 3D en cours de la Kinect
* Appuyer succéssivement sur A dans la fenêtre Scene Cloud Viewer pour ajouter le mesh en cours au mesh que l'on souhaite exporter.
* Appuyer sur 7 pour exporter le mesh de la fenêtre Scene Cloud Viewer dans un fichier PLY

Plusieurs options sont disponibles dans kinfu_app, notamment l'option -volume_size <size_in_meters> qui permet de réduire le champ de vision de la kinect en profondeur

=== Réunion du 12 novembre avec Oxylane ===

Nous avons rencontré lors de cette réunion le responsable du service innovation de Oxylane. Nous lui avons montré nos avancements dans les tests de Kinect Fusion et nous nous sommes mis d'accord sur les trois points d'études suivants :

*'''''Etude des limites du programme Kinect Fusion (avantages, inconvénients, ajouts de fonctionnalités possibles).'''''
Etudier le principe de fonctionnement de l'Open Source KinFu de Kinect Fusion et se rendre compte de ce qu'il est possible de faire ou de ne pas faire avec le programme (textures, couleurs ...)

*'''''Tests avec la Kinect de bureau pour améliorer la précision.'''''
Pouvoir donner une idée de que l'on peut faire et ce que l'on peut améliorer avec une Kinect de bureau plutôt que la Kinect Xbox.

*'''''Tests pour la création d'un scénario complet de scan d'un casque de vélo.'''''
Ce test permettrait de mettre l'accent sur les points bloquants lors d'un scan d'un objet quelconque (éventualité d'isoler l'objet de son environnement par exemple). Ce test nous permettra aussi de prendre du recul sur les outils disponibles et sur la réalité des compétences qu'ont besoin d'avoir ceux qui voudraient utiliser une kinect pour faire du scan 3D.

== Réalisations ==

=== Etude appronfondie du fonctionnment de Kinect Fusion ===
Une fois les différents premiers tests effectués, nous avons voulu savoir comment fonctionner KinFu. Pour cela, nous avons tout d'abord cherché sur Internet quelques recherches et nous sommes tombés sur ce site expliquant de manière globale le fonctionnement de Kinect Fusion : [http://www.tumblr.com/tagged/kinect+fusion
]

Afin de détecter la profondeur des objets présents dans la scène, Kinect Fusion utilise la caméra infra-rouge de la kinect. Un projecteur infrarouge projette une lumière invisible sur la scène. Il a été spécialement conçu pour projeter les points à la manière d'un laser de telle sorte que les points ne se dilatent pas avec la distance. Cette lumière est lu par la caméra infrarouge. Une fois que ce schéma est lu par la caméra infrarouge, le programme Kinect Fusion recherche des corrélations. Si il en trouve,le processeur dans le kinect est alors en mesure d'utiliser cette information pour trianguler la position 3D des points.

=== Réunion du Mercredi 5 décembre avec Oxylane===

Oxylane et son pôle Innovation (IT Pole "Oxylane brands") organise chaque année, les "IT Days Oxylane". Il s'agit d'un salon où chaque pôle de recherche présente ses différents projets en cours. Il se déroulera le Mercredi 12 décembre à Décathlon Campus.

Notre tuteur entreprise M. Jean VANBERSELAERT, nous a proposé d'y participer pour présenter nos travaux. Nous nous sommes donc vus en réunion pour discuter de ce que nous allons présenter lors de ce salon. Comme nous ne sommes disponibles que le mercredi après-midi, nous allons nous y rendre la veille pour préparer notre stand et installer sur une de leur machine les différents éléments nécessaires pour pouvoir utiliser la Kinect et le programme Kinect Fusion. M. VANBERSELAERT a également pensé de nous filmer pour avoir une explication de notre projet à présenter le matin du salon.

Lors de cette réunion, on nous a fourni un rouleau de papier fluorescent ainsi qu'un casque de vélo pour faire des tests avec la Kinect. En effet, nous pensions que ce type de couleur absorerait les rayons infra-rouges et nous permettrait d'isoler un élément à scanner de son environnement. Nous avons fait quelques tests après la réunion et nous nous sommes rendu compte que cela ne fonctionnait pas. Nous avons alors essayer de poser le casque sur une boite en plastique transparent et nous obtenons le résultat suivant :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Casque_sur_plastique.png#filelinks Image du scan d'un casque de vélo]

=== Le "IT Day Oxylane" ===

Oxylane et son pôle Innovation (IT Pole "Oxylane brands") organise chaque année, le "IT Day Oxylane". Il s'agit d'un salon où chaque pôle de recherche présente ses différents projets en cours. Il s’est déroulé le Mercredi 12 décembre à Décathlon Campus.
Notre tuteur entreprise M. Jean VANBERSELAERT, nous a proposé d'y participer pour présenter nos travaux. Nous nous sommes donc vus en réunion pour discuter de ce que nous allions présenter lors de ce salon. Comme nous n’étions disponibles que le mercredi après-midi, nous nous y sommes rendu la veille pour préparer notre stand et installer sur une de leur machine les différents éléments nécessaires pour pouvoir utiliser la Kinect et le programme
Kinect Fusion.
Cependant l’installation de KinFu sur leur machine fut plus difficile que prévu. En effet, la carte graphique de la machine ne correspondait pas aux besoins que demande Kinect Fusion, par conséquent l’installation faisait une erreur au bout de 35%. Afin d’avoir tout de même quelque chose à présenter lors du salon, nous avons installé sur une machine Windows le logiciel ReconstructMe. Sur la machine Linux, nous avons tenté de mettre à jour les différents drivers de la carte graphique et nous avons recommencé l’installation de KinFu le mercredi après-midi. Cette fois ci l’installation s’est arrêtée à 75%. Nous avons lors du make de l’installation l’option « –i » qui ignore les erreurs et cela à fonctionner. Nous avons pu montrons alors notre réel travail.

Voici quelques photos de notre stand :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image_1.jpeg Image 1 de notre stand]

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image%282%29.jpeg Image 2 de notre stand]

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Image.jpeg Image 3 de notre stand]

Vous pouvez voir sur la machine de gauche le logiciel ReconstructMe et sur celle de gauche Kinfu. Cet évènement, nous aura permis de nous rendre compte que l’installation de KinFu dépend également de la machine de travail. En effet, à Polytech’Lille nous avons des machines puissantes et mises à jour et ce n’est pas forcément le cas chez les industriels.

=== Planning pour les mois de Janvier et de Février ===

Afin de gérer au mieux les deux derniers mois de projet, nous avons choisi de faire un planning. En effet, il nous reste 5 tâches à effectuer :

* Test avec la Kinect de bureau ou le zoom Nyko
* Isolation de l'objet par rapport à son environnement
* Comprendre le fonctionnement de cmake => build d’un projet PCL + Qt dans KDevelop4
* Créer une interface graphique permettant à l'utilisateur d'utiliser facilement KinFu
* Ajouter la texture et les couleurs au Mesh

Voici donc le planning que nous avons élaboré :

[http://projets-ima.plil.net/mediawiki/images/b/be/Planning.png Planning]

=== Compréhension du fonctionnement de cmake et de Qt dans KDevelop ===

cmake est un générateur de Makefile. Son processus de génération est entièrement contrôlé par un fichier de configuration : CMakeLists.txt
La PCL utilise ce générateur de makefile. Voici les commandes que nous utilisons :

mkdir build && cd build
cmake ..
make kinfu_app

Nous ne cherchons ici qu'à compiler notre application : kinfu_app

=== Création de l'interface graphique ===

Comme vu au paragraphe précédent, nous savons maintenant modifier le programme KinFu et nous savons également développer en Qt. Grâce à cela, nous avons pu créer une interface graphique afin qu'un utilisateur "lambda" puisse utiliser facilement le programme KinFu sans devoir taper sur des touches (A pour scanner et 7 pour sauvegarder).

Nous avions tout d'abord essayer de rajouter notre interface dans l'application KinFu_app mais nous nous sommes rendu compte que le programme affichait d'abord notre interface puis nous devions la fermer pour avoir les trois fenêtres de l'application. Par conséquent, nous avons choisi de faire tourner les deux interfaces en parallèle grâce au threads.

Nous avons donc créer l'interface graphique dans une classe qui lui est propre et nous appelons cette classe dans le "main" de l'application KinFu de la manière suivante :

QApplication qtApp(argc, argv);
KinectInterface kinectInterface;//= new KinectInterface;
AppThreadKinect thread(&kinectInterface);
thread.setArgc(argc);
thread.setArgv(argv);

La classe "KinectInterface" utilise la bibliothèque graphique Qt et fait appel aux différentes fonctions de sauvegarde ou de scan du programme KinFu.

Voici à quoi ressemble notre interface :

* L'utilisateur doit tout d'abord saisir la distance maximale en mètre qu'il veut scanner

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Lancement.png Démarrage de l'application]

* Ensuite ces différentes fenêtres apparaissent :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Application.png Application avec interface]

On se rend compte que nous deux applications tournent en parallèle. Il suffit maintenant à l'utilisateur de choisir l'intervalle en secondes entre deux ajouts, de ce que la caméra scanne, au mesh. Puis il appuie sur "scanner" et lorsque son scan est terminé il clique sur le bouton "Sauver au format ply",
son travail est alors enregistré et l'application se ferme.

=== Intégration des couleurs au mesh ===

Une fois que nous avons réalisé une base d'interface graphique, nous avons voulu ajouter la texture (la couleur) à nos scan. Pour cela nous nous sommes basés sur le fonctionnement de l'application KinFu LargeScale qui possédait déjà l'intégration des couleurs dans ses options grace à l'option -et (enable_texture) -r (registration) dans sa commande :
./bin/pcl_kinfu_largeScale -r -et

KinFu_Large_Scale fonctionne de la manière suivante :

* Au cours du scan, l'application prend différentes photos sous le format n°.png, les enregistre dans le dossier KinFuSnapshots/ et ajoute un n°.txt contenant la position de la caméra lors de la prise de la photo. L'application crée à la fin du scan un fichier world.pcd qui est dans cet état inutilisable.

* Une fois le scan terminé, l'utilisateur doit transformer le .pcd en .ply grâce à la commmande :
./bin/pcl_kinfu_largeScale_mesh_output world.pcd

Cette commande crée alors plusieurs fichiers .ply en fonction de la durée du scan. Il faut que l'utilisateur fusionne les différents fichiers .ply et enregistre cette fusion dans le dossier KinFuSnapshots/ contenant déjà les différentes photos.

* Enfin, il doit lancer sur son terminal la commande suivante qui associe les différentes photos au mesh fusionné :
./bin/pcl_kinfu_largeScale_texture_output KinFuSnapshots/merged_mesh.ply

Les photos sont correctement placées sur le mesh grâce aux différents fichiers .txt qui possèdent les différentes positions

Nous, nous utilisons l'application KinFu_App qui ne contient pas l'option d'intégration des couleurs au mesh. Par conséquent, nous l'avons modifié pour d'une certaine manière fusionner les options -r et -et de KinFu LargeScale avec l'application KinFu_App.

Pour ce faire, nous avons tout d'abord ajouter la prise des photos à notre application. Nous nous sommes rendus compte qu'il existait dans KinFu_Large_Scale une classe "Screenshot_manager" qui permet de prendre et d'enregistrer les photos mais aussi d'enregistrer la position de la caméra. Par conséquent, nous avons ajouter cette classe à KinFu_App.

Nous avons laissé le choix à l'utilisateur d'activer ou pas la prise de ces photos. Nous avons donc ajouté un checkbox au lancement de l'application permettant à l'utilisateur d'activer ou pas cette option. Voici à quoi notre nouvelle interface ressemble :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Texture.png Ajout de l'option texture]

Grâce à cette option, nous appelons la classe "Screenshot_manager" que si elle a été sélectionnée.

Nous nous également rendus compte que KinFu_App crée directement, à la fin du scan, un et un seul fichier .ply. Par conséquent les étapes nécessaires dans KinFu_LargeScale :

./bin/pcl_kinfu_largeScale_mesh_output world.pcd
./bin/pcl_kinfu_largeScale_texture_output KinFuSnapshots/merged_mesh.ply

ne sont plus à réaliser dans notre situation. Par conséquent, l'utilisateur ne doit plus que réaliser la commande suivante (dans le dossier KinFuSnapshots/) :
../bin/pcl_kinfu_largeScale_texture_output mesh.ply
et son mesh possédera la couleur.

=== Amélioration de la précision ===

Suite à cela, nous nous sommes replongé dans le code pour essayer de trouver un moyen d'améliorer la précision du scan. En effet, nous nous étions rendus compte lors du "IT Day" que la précision était encore faible et que par exemple, les différents trous qu'il peut y avoir dans un casque n'était pas assez prononcés.

Nous avons trouvé dans la classe kinfu_app.cpp de l'application le paramètre de la fonction setTsdfTruncDist(), qui nous permet en mètre de définir la distance de troncature à partir de laquelle la TSDF (outil qui permet d'assigner une valeur de profondeur à chaque pixel de la grille vue par la caméra, et la compare avec la grille de l’itération précédente) va corriger, approximer les erreurs de scan. Initialement, elle était à 30cm et c'est pour cette raison que la précision restait faible. Nous avons mis cette valeur à 3cm et voici ce que nous obtenons :

[http://projets-ima.plil.net/mediawiki/index.php?title=Fichier:Casqueprecis.png Casque précis]

On se rend bien compte que les trous du casque sont beaucoup plus prononcés et que la couleur a bien été ajoutée au mesh.

=== Réunion du lundi 11 février avec Oxylane ===

Suite à ces différentes avancées, nous avons décidé de fixer un rendez-vous avec Oxylane afin de leur montrer nos travaux. Cet entretien a eu lieu le lundi 11 février.

Lors de ce dernier, Oxylane a pu constater avec joie que nous travaux avaient très bien avancés et ils semblaient de plus en plus satisfait par la qualité des différents scan que nous leur avons montrés. Lors de cette réunion, ils nous ont fournis un zoom Nyko et une Kinect For Windows afin que nous continuons d'essayer d'améliorer la précision.

=== Test du zoom Nyko et de la Kinect For Windows ===

=== Amélioration de notre interface graphique ===

Scan 3D

2012-11-28T11:03:38Z

Fsueur : /* Utilisation de KinFu App */

Scan 3D

2012-11-28T11:01:19Z

Fsueur : /* Utilisation de KinFu App */

Scan 3D

2012-11-07T16:22:57Z

Fsueur :

Scan 3D

2012-11-07T16:20:16Z

Fsueur :

Scan 3D

2012-11-05T09:02:59Z

Fsueur :

Scan 3D

2012-11-05T08:29:25Z

Fsueur :

Fichier:Rapport-Kinect2012.pdf

2012-05-13T18:09:52Z

Fsueur : Interaction via kinect sur un rayon commercial Rapport de projet de quatrième année Département IMA DELBERGHE Calvin SUEUR Florent

Interaction via kinect sur un rayon commercial

Rapport de projet de quatrième année
Département IMA

DELBERGHE Calvin
SUEUR Florent

Kinect2012

2012-05-13T18:07:46Z

Fsueur :

= Liste du matériel =

== Présent ==

<ul>
<li>Kinect</li>
</ul>

== A acheter ==

= Présentation =

Ce projet a pour objectif de mettre en place un système de choix d'appareil en espace commercial. Il s'agit, sur la base d'un système existant, d'améliorer le système de sélection des produits afin de le rendre plus ergonomique, de pouvoir le paramétrer plus simplement (par un vendeur), eventuellement d'augmenter le nombre de gestes reconnaissable. La situation d'usage pressentie est une catégorie de vente de produits difficilement déplacable par un client, pour des raisons de poids (par exemple un appareil de musculation) ou de taille (par exemple une tente).

== Avancement du projet==

=== Objectifs suggérés par les encadrants ===

*Objectif principal : Améliorer un dispositif de sélection d'articles par gestes

* Objectifs détaillés :
**Passer à la nouvelle version du SDK
**Enlever la calibration du squelette
**Interface pour un utilisateur lambda

=== Réalisations concrètes ===

=== Séances ===

==== Séance du 08/02/2012 ====
*Récupération des sources stables de OpenNI,PrimeSense Sensor Module for OpenNI et NITE
*Installation des dépendances requises pour installer OpenNI, PrimesSense et NITE d'après les README
*Compilation des sources
*Essais de compilation de quelques samples en java pour reconnaitre une personne ou une main
**Erreurs dans la compilation => Manque de fichiers JAR ?

==== Séance du 13/02/2012 ====

*Installation terminé, la Kinect fonctionne et est reconnue.
*Installation de SensorKinect à la place de PrimeSense Sensor qui n’était pas le driver associé à la kinect (avin2-SensorKinect-faf4994)
*Test des samplesfournis avec OpenNi

==== Séance du 15/02/2012 ====

*Création d'un makefile pour compiler nos projet cpp
*Prise en main de Simpleread (profondeur, largeur, hauteur)
*Développement d'un petit soft "salut ça va" en fonction juste de la position en x,y,z qui marche entre 500 et 800 mm de profondeur
(en dirigeant la main en haut à gauche, le terminal affiche "Salut !", en dirigeant la main en haut à droite, le terminal affiche"ca va")

==== Séance du 20/02/2012 ====

*Récupération du projet de l'an passé ainsi que le rapport rapport de l’an dernier
*Installation de librairie SDL
*Modification du Makefile afin de pouvoir compiler le projet sur un PC
*Test du programme => fonctionne mis à part petit problème de résolution sur l’image d’instruction
*Regarder les exemples de NITE => rien de concluant pour le moment
*Sur le projet de l’an dernier => pas forcément besoin de psy pose pour calibration mais calibration néanmoins nécéssaire.

==== Séance du 22/02/2012 ====

*Résolution du problème d'affichage du programme de l’ancien projet, test du programme.
*Calibration automatique avec la nouvelle version de nite (doc, sans “psi” pose)
? comment intégrer Player-sample au projet ?

==== Séance du 07/03/2012 ====

*Réinstallation compléte de OpenNi, Nite, KinectSensor, ainsi que leurs dépendances respectives et des librairies nécessaires à l'ancien projet car changement d'ordinateur...
*Problème pour lancer les Sample de OpenNi :
''Open failed: Failed to set USB interface!
Press any key to continue . . .''

Résolution : rmmod gspca_kinect

*Création du Makefile pour déveloper avec Nite (Makefile à executer dans Sample Tests du dossier de Nite)
*Aucune idée sur comment aborder l'intégration de NITE au projet de l'an dernier...

==== Séance du 12/03/2012 ====

*Fonction pour sauvegarder et charger des squelette vers / depuis un fichier trouvée et en attente de test faute de kinect accessible.

==== Séance du 14/03/2012 ====

*Ajout de la fonction permettant de sauvegarder un squelette
*La fonction de chargement d’un fichier de squelette nous retourne une erreur :
Function was not implemented!

==== Séance du 19/03/2012 ====

*Bloqué à Loadcalibrationdatatofile
*Confirmation de Laurent Grisoni, ces fonctions ne sont plus implémenter. Il faut installer une version de NITE antérieur pour pouvoir les utiliser.

==== Séance du 21/03/2012 ====
*Installation de libmagick++-dev pour manipuler des images
*Création du programme permettant de prendre une image et un fichier texte en paramètre
l’image peut être un article du magasin tel qu’une tente, le texte correspond à la description de l’article précédemment cité.

Compilation et utilisation :
#gcc -o image image.cpp `Magick++-config --cppflags --cxxflags --ldflags --libs`
#./image
Impossible d'ouvrir le fichier !
Utilisation :
./image nomImage.xxx nomFichier.xxx
# ./image tente.JPG description_tente.txt

==== Séance du 28/03/2012 ====

Réflexions quant à une réelle amélioration du projet :

* Pouvoir calibrer la position d'un objet dans un environnement 3D. Pour l'instant les objets sont définis statiquement dans un tableau du programme. Si on veut changer l'objet de place, il faut que le développeur entre dans les sources et recompose le projet.

* Faire une interface graphique simple en qt en partant un projet/exemple dans qt creator. Cette interface est surtout écrite en qml. Il s'agit d'une grille de rectangle contenant chacun une image. On pourrait ainsi faire un menu avec deux rectangle :
•un menu catalogue
•un menu qui lance le projet de l'an passé

Dans le catalogue on aurait une liste de filtres : sport, randonné, camping etc et les images des objets à vendre par décathlon dans une grille de rectangle.

L'exemple dont je parle plus haut est navigable entièrement avec les flèches du clavier.
Aussi, on pourrait simuler l'appui sur une touche directionnelle des qu'un mouvement spécifique est reconnu par nite.

Travail réalisé lors de la séance :

*Compréhension du placement des items et de comment le modifier dans le cadre du programme que nous voulons créer. (itemsset.cpp, itemsset.hpp)

*Révision du programme de création des images (presque terminé)

*Le vendeur pourra bientôt, depuis le programme principal de la Kinect, afficher ses 8 images/textes, qu'il aura au préalable placés dans un dossier spécifique. Le programme est appelé lors de de l'initialisation du tableau d'items

==== Séance du 04/04/2012 ====

*Exemple pour utiliser la Kinect comme une souris trouvé
http://www.keyboardmods.com/2010/12/howto-use-kinect-as-mouse-in-linux.html
Ce programme permet de simuler le déplacement d'une souris sous linux via la librairie ioinput

*Adaptation du code pour simuler les touches d’un clavier :
gestes reconnus :
** swipe left associé à la touche gauche
** swipe right associé à la touche droite
** swipe up associé à la touche haut
** swipe down associé à la touche bas

Problème : dès qu’un mouvement est reconnu, exemple swipe left, alors le curseur se ballade vers la gauche sans s’arrêter.

*Commencement de la programmation de l’interface à partir d’un exemple sur QTcreator en Qt Quick (focus), pour l’instant possibilité de mettre plusieurs noms rentrés a la main dans une liste, ainsi que différentes images nommées de la façon suivante: “<nom>+(index+1)+<.extension>”.
*En attente d’une solution pour associer une grille d’image différente pour chaque instance de cette liste.
Projet d’interface pouvant être lancé depuis n’importe quel ordinateur sur lequel QTCreator est installé.

==== Séance du 05/04/2012 ====

*Problème d’appui long sur les touches résolu, mais touche entrée (push) et steady toujours pas reconnus.

==== Séance du 11/04/2012 ====

*Le programme reconnait maintenant l’appui sur la touche entrée quand on fait le mouvement push.
*Tentative d’implémenter la combinaison de touche LEFTALT+TAB pour changer de fenêtre mais inefficace. Pourtant le mouvement Circle qui lui est associé est bien reconnu.

==== Séance du 16/04/2012 ====

*Interface opérationnelle sous linux. Problème : reconnaissance des gestes hasardeuse …

*Le programme qui reconnaît les mouvements de la main est capable de lancer en tâche de fond l’interface graphique

*A faire :
**Lier les 2 projets ainsi que le programme utilisant la librairie imagemagick
**Surtout : Comment revenir du projet de l’an passé à celui de cet année : dessiner un cercle avec la main qui enverrait un signal pour tuer le processus ?

*Le context menu :
**Aide sur comment utiliser l’interface ?
**Lancer le projet de l’an passé (javascript?)

*Il faut étoffer aussi le catalogue car pour l’instant, il n’y a que 3 élement dans la liste => télécharger et classer des articles depuis le site de décathlon (faute de base de donnée en ligne)

=== Résultats ===

*Le programme principal:
**On le lance et il lance l'interface graphique créée avec QT dans un fork et il gère la Kinect dans le même temps.
**En faisant un cercle avec la main, on peut passer au programme créé lors du projet de l'an dernier, lorsque l'on fait ce mouvement, le programme principal tue le processus de l'interface et lance celui de l'ancien projet à l'aide d'un nouveau fork.
**De même, lorsque le projet de l'an dernier est lancé, un mouvement circulaire de la main permet de revenir à l'interface.

*Le programme de l'interface:
**On peut naviguer avec le clavier (Touches Haut,Bas,Droite,Gauche pour se déplacer et Tab pour valider) ou en faisant des mouvements avec la main reconnus par la Kinect et le programme(On pousse pour Tab(Push), on bouge la main dans la direction souhaitée pour se déplacer)
**Une aide sur l'utilisation peut être affichée si l'on va a gauche de la liste du catalogue.
**Le programme détecte lorsque l'utilisateur a fini un mouvement et est revenu dans sa position initiale en envoyant le signal de touche y pressée, autorise un autre mouvement et affiche le contour de l'objet selectionné en rouge lorsque c'est le cas.

== Rapport ==

[[media:rapport-Kinect2012.pdf]]

Kinect2012

2012-04-04T20:47:47Z

Fsueur : /* Séance du 19/03/2012 */

Kinect2012

2012-04-04T20:46:00Z

Fsueur : /* Séance du 04/04/2012 */

= Liste du matériel =

== Présent ==

<ul>
<li>Kinect</li>
</ul>

== A acheter ==

= Présentation =

Ce projet a pour objectif de mettre en place un système de choix d'appareil en espace commercial. Il s'agit, sur la base d'un système existant, d'améliorer le système de sélection des produits afin de le rendre plus ergonomique, de pouvoir le paramétrer plus simplement (par un vendeur), eventuellement d'augmenter le nombre de gestes reconnaissable. La situation d'usage pressentie est une catégorie de vente de produits difficilement déplacable par un client, pour des raisons de poids (par exemple un appareil de musculation) ou de taille (par exemple une tente).

== Avancement du projet==

=== Objectifs suggérés par les encadrants ===

*Objectif principal : Améliorer un dispositif de sélection d'articles par gestes

* Objectifs détaillés :
**Passer à la nouvelle version du SDK
**Enlever la calibration du squelette
**Interface pour un utilisateur lambda

=== Réalisations concrètes ===

=== Séances ===

==== Séance du 08/02/2012 ====
*Récupération des sources stables de OpenNI,PrimeSense Sensor Module for OpenNI et NITE
*Installation des dépendances requises pour installer OpenNI, PrimesSense et NITE d'après les README
*Compilation des sources
*Essais de compilation de quelques samples en java pour reconnaitre une personne ou une main
**Erreurs dans la compilation => Manque de fichiers JAR ?

==== Séance du 13/02/2012 ====

*Installation terminé, la Kinect fonctionne et est reconnue.
*Installation de SensorKinect à la place de PrimeSense Sensor qui n’était pas le driver associé à la kinect (avin2-SensorKinect-faf4994)
*Test des samplesfournis avec OpenNi

==== Séance du 15/02/2012 ====

*Création d'un makefile pour compiler nos projet cpp
*Prise en main de Simpleread (profondeur, largeur, hauteur)
*Développement d'un petit soft "salut ça va" en fonction juste de la position en x,y,z qui marche entre 500 et 800 mm de profondeur
(en dirigeant la main en haut à gauche, le terminal affiche "Salut !", en dirigeant la main en haut à droite, le terminal affiche"ca va")

==== Séance du 20/02/2012 ====

*Récupération du projet de l'an passé ainsi que le rapport rapport de l’an dernier
*Installation de librairie SDL
*Modification du Makefile afin de pouvoir compiler le projet sur un PC
*Test du programme => fonctionne mis à part petit problème de résolution sur l’image d’instruction
*Regarder les exemples de NITE => rien de concluant pour le moment
*Sur le projet de l’an dernier => pas forcément besoin de psy pose pour calibration mais calibration néanmoins nécéssaire.

==== Séance du 22/02/2012 ====

*Résolution du problème d'affichage du programme de l’ancien projet, test du programme.
*Calibration automatique avec la nouvelle version de nite (doc, sans “psi” pose)
? comment intégrer Player-sample au projet ?

==== Séance du 07/03/2012 ====

*Réinstallation compléte de OpenNi, Nite, KinectSensor, ainsi que leurs dépendances respectives et des librairies nécessaires à l'ancien projet car changement d'ordinateur...
*Problème pour lancer les Sample de OpenNi :
''Open failed: Failed to set USB interface!
Press any key to continue . . .''

Résolution : rmmod gspca_kinect

*Création du Makefile pour déveloper avec Nite (Makefile à executer dans Sample Tests du dossier de Nite)
*Aucune idée sur comment aborder l'intégration de NITE au projet de l'an dernier...

==== Séance du 12/03/2012 ====

*Fonction pour sauvegarder et charger des squelette vers / depuis un fichier trouvée et en attente de test faute de kinect accessible.

==== Séance du 14/03/2012 ====

*Ajout de la fonction permettant de sauvegarder un squelette
*La fonction de chargement d’un fichier de squelette nous retourne une erreur :
Function was not implemented!

==== Séance du 19/03/2012 ====

bloqué à Loadcalibrationdatatofile

==== Séance du 21/03/2012 ====
*Installation de libmagick++-dev pour manipuler des images
*Création du programme permettant de prendre une image et un fichier texte en paramètre
l’image peut être un article du magasin tel qu’une tente, le texte correspond à la description de l’article précédemment cité.

Compilation et utilisation :
#gcc -o image image.cpp `Magick++-config --cppflags --cxxflags --ldflags --libs`
#./image
Impossible d'ouvrir le fichier !
Utilisation :
./image nomImage.xxx nomFichier.xxx
# ./image tente.JPG description_tente.txt

==== Séance du 28/03/2012 ====

Réflexions quant à une réelle amélioration du projet :

* Pouvoir calibrer la position d'un objet dans un environnement 3D. Pour l'instant les objets sont définis statiquement dans un tableau du programme. Si on veut changer l'objet de place, il faut que le développeur entre dans les sources et recompose le projet.

* Faire une interface graphique simple en qt en partant un projet/exemple dans qt creator. Cette interface est surtout écrite en qml. Il s'agit d'une grille de rectangle contenant chacun une image. On pourrait ainsi faire un menu avec deux rectangle :
•un menu catalogue
•un menu qui lance le projet de l'an passé

Dans le catalogue on aurait une liste de filtres : sport, randonné, camping etc et les images des objets à vendre par décathlon dans une grille de rectangle.

L'exemple dont je parle plus haut est navigable entièrement avec les flèches du clavier.
Aussi, on pourrait simuler l'appui sur une touche directionnelle des qu'un mouvement spécifique est reconnu par nite.

Travail réalisé lors de la séance :

*Compréhension du placement des items et de comment le modifier dans le cadre du programme que nous voulons créer. (itemsset.cpp, itemsset.hpp)

*Révision du programme de création des images (presque terminé)

*Le vendeur pourra bientôt, depuis le programme principal de la Kinect, afficher ses 8 images/textes, qu'il aura au préalable placés dans un dossier spécifique. Le programme est appelé lors de de l'initialisation du tableau d'items

==== Séance du 04/04/2012 ====

*Exemple pour utiliser la Kinect comme une souris trouvé
http://www.keyboardmods.com/2010/12/howto-use-kinect-as-mouse-in-linux.html
Ce programme permet de simuler le déplacement d'une souris sous linux via la librairie ioinput

*Adaptation du code pour simuler les touches d’un clavier :
gestes reconnus :
** swipe left associé à la touche gauche
** swipe right associé à la touche droite
** swipe up associé à la touche haut
** swipe down associé à la touche bas

Problème : dès qu’un mouvement est reconnu, exemple swipe left, alors le curseur se ballade vers la gauche sans s’arrêter.

*Commencement de la programmation de l’interface à partir d’un exemple sur QTcreator en Qt Quick (focus), pour l’instant possibilité de mettre plusieurs noms rentrés a la main dans une liste, ainsi que différentes images nommées de la façon suivante: “<nom>+(index+1)+<.extension>”.
*En attente d’une solution pour associer une grille d’image différente pour chaque instance de cette liste.
Projet d’interface pouvant être lancé depuis n’importe quel ordinateur sur lequel QTCreator est installé.

=== Résultats ===

Kinect2012

2012-04-04T20:43:41Z

Fsueur : /* Séances */

= Liste du matériel =

== Présent ==

<ul>
<li>Kinect</li>
</ul>

== A acheter ==

= Présentation =

Ce projet a pour objectif de mettre en place un système de choix d'appareil en espace commercial. Il s'agit, sur la base d'un système existant, d'améliorer le système de sélection des produits afin de le rendre plus ergonomique, de pouvoir le paramétrer plus simplement (par un vendeur), eventuellement d'augmenter le nombre de gestes reconnaissable. La situation d'usage pressentie est une catégorie de vente de produits difficilement déplacable par un client, pour des raisons de poids (par exemple un appareil de musculation) ou de taille (par exemple une tente).

== Avancement du projet==

=== Objectifs suggérés par les encadrants ===

*Objectif principal : Améliorer un dispositif de sélection d'articles par gestes

* Objectifs détaillés :
**Passer à la nouvelle version du SDK
**Enlever la calibration du squelette
**Interface pour un utilisateur lambda

=== Réalisations concrètes ===

=== Séances ===

==== Séance du 08/02/2012 ====
*Récupération des sources stables de OpenNI,PrimeSense Sensor Module for OpenNI et NITE
*Installation des dépendances requises pour installer OpenNI, PrimesSense et NITE d'après les README
*Compilation des sources
*Essais de compilation de quelques samples en java pour reconnaitre une personne ou une main
**Erreurs dans la compilation => Manque de fichiers JAR ?

==== Séance du 13/02/2012 ====

*Installation terminé, la Kinect fonctionne et est reconnue.
*Installation de SensorKinect à la place de PrimeSense Sensor qui n’était pas le driver associé à la kinect (avin2-SensorKinect-faf4994)
*Test des samplesfournis avec OpenNi

==== Séance du 15/02/2012 ====

*Création d'un makefile pour compiler nos projet cpp
*Prise en main de Simpleread (profondeur, largeur, hauteur)
*Développement d'un petit soft "salut ça va" en fonction juste de la position en x,y,z qui marche entre 500 et 800 mm de profondeur
(en dirigeant la main en haut à gauche, le terminal affiche "Salut !", en dirigeant la main en haut à droite, le terminal affiche"ca va")

==== Séance du 20/02/2012 ====

*Récupération du projet de l'an passé ainsi que le rapport rapport de l’an dernier
*Installation de librairie SDL
*Modification du Makefile afin de pouvoir compiler le projet sur un PC
*Test du programme => fonctionne mis à part petit problème de résolution sur l’image d’instruction
*Regarder les exemples de NITE => rien de concluant pour le moment
*Sur le projet de l’an dernier => pas forcément besoin de psy pose pour calibration mais calibration néanmoins nécéssaire.

==== Séance du 22/02/2012 ====

*Résolution du problème d'affichage du programme de l’ancien projet, test du programme.
*Calibration automatique avec la nouvelle version de nite (doc, sans “psi” pose)
? comment intégrer Player-sample au projet ?

==== Séance du 07/03/2012 ====

*Réinstallation compléte de OpenNi, Nite, KinectSensor, ainsi que leurs dépendances respectives et des librairies nécessaires à l'ancien projet car changement d'ordinateur...
*Problème pour lancer les Sample de OpenNi :
''Open failed: Failed to set USB interface!
Press any key to continue . . .''

Résolution : rmmod gspca_kinect

*Création du Makefile pour déveloper avec Nite (Makefile à executer dans Sample Tests du dossier de Nite)
*Aucune idée sur comment aborder l'intégration de NITE au projet de l'an dernier...

==== Séance du 12/03/2012 ====

*Fonction pour sauvegarder et charger des squelette vers / depuis un fichier trouvée et en attente de test faute de kinect accessible.

==== Séance du 14/03/2012 ====

*Ajout de la fonction permettant de sauvegarder un squelette
*La fonction de chargement d’un fichier de squelette nous retourne une erreur :
Function was not implemented!

==== Séance du 19/03/2012 ====

bloqué à Loadcalibrationdatatofile

==== Séance du 21/03/2012 ====
*Installation de libmagick++-dev pour manipuler des images
*Création du programme permettant de prendre une image et un fichier texte en paramètre
l’image peut être un article du magasin tel qu’une tente, le texte correspond à la description de l’article précédemment cité.

Compilation et utilisation :
#gcc -o image image.cpp `Magick++-config --cppflags --cxxflags --ldflags --libs`
#./image
Impossible d'ouvrir le fichier !
Utilisation :
./image nomImage.xxx nomFichier.xxx
# ./image tente.JPG description_tente.txt

==== Séance du 28/03/2012 ====

Réflexions quant à une réelle amélioration du projet :

* Pouvoir calibrer la position d'un objet dans un environnement 3D. Pour l'instant les objets sont définis statiquement dans un tableau du programme. Si on veut changer l'objet de place, il faut que le développeur entre dans les sources et recompose le projet.

* Faire une interface graphique simple en qt en partant un projet/exemple dans qt creator. Cette interface est surtout écrite en qml. Il s'agit d'une grille de rectangle contenant chacun une image. On pourrait ainsi faire un menu avec deux rectangle :
•un menu catalogue
•un menu qui lance le projet de l'an passé

Dans le catalogue on aurait une liste de filtres : sport, randonné, camping etc et les images des objets à vendre par décathlon dans une grille de rectangle.

L'exemple dont je parle plus haut est navigable entièrement avec les flèches du clavier.
Aussi, on pourrait simuler l'appui sur une touche directionnelle des qu'un mouvement spécifique est reconnu par nite.

Travail réalisé lors de la séance :

*Compréhension du placement des items et de comment le modifier dans le cadre du programme que nous voulons créer. (itemsset.cpp, itemsset.hpp)

*Révision du programme de création des images (presque terminé)

*Le vendeur pourra bientôt, depuis le programme principal de la Kinect, afficher ses 8 images/textes, qu'il aura au préalable placés dans un dossier spécifique. Le programme est appelé lors de de l'initialisation du tableau d'items

==== Séance du 04/04/2012 ====

*Exemple pour utiliser la Kinect comme une souris trouvé
http://www.keyboardmods.com/2010/12/howto-use-kinect-as-mouse-in-linux.html
Ce programme permet de simuler le déplacement d'une souris sous linux via la librairie ioinput

*Adaptation du code pour simuler les touches d’un clavier :
gestes reconnus :
- swipe left associé à la touche gauche
- swipe right associé à la touche droite
- swipe up associé à la touche haut
- swipe down associé à la touche bas

Problème : dès qu’un mouvement est reconnu, exemple swipe left, alors le curseur se ballade vers la gauche sans s’arrêter.

*Commencement de la programmation de l’interface à partir d’un exemple sur QTcreator en Qt Quick (focus), pour l’instant possibilité de mettre plusieurs noms rentrés a la main dans une liste, ainsi que différentes images nommées de la façon suivante: “<nom>+(index+1)+<.extension>”.
*En attente d’une solution pour associer une grille d’image différente pour chaque instance de cette liste.
Projet d’interface pouvant être lancé depuis n’importe quel ordinateur sur lequel QTCreator est installé.

=== Résultats ===

Kinect2012

2012-03-14T17:48:11Z

Fsueur : /* Séance du 22/02/2012 */

Kinect2012

2012-03-14T17:47:15Z

Fsueur : /* Séances */

Kinect2012

2012-03-07T18:59:55Z

Fsueur : /* Séance du 07/03 */

Kinect2012

2012-03-07T18:57:44Z

Fsueur : /* Séance du 07/03 */

Kinect2012

2012-03-07T18:57:06Z

Fsueur : /* Première séance */

Kinect2012

2012-02-08T22:25:38Z

Fsueur : /* Première séance */

= Liste du matériel =

== Présent ==

<ul>
<li>Kinect</li>
</ul>

== A acheter ==

= Présentation =

Ce projet s'incrit en collaboration avec Oxylane (branche recherche et développement de Décathlon) pour mettre en place un système de choix d'appareil en espace commercial. Il s'agit, sur la base d'un système existant, d'améliorer le système de sélection des produits afin de le rendre plus ergonomique, de pouvoir le paramétrer plus simplement (par un vendeur), eventuellement d'augmenter le nombre de gestes reconnaissable. La situation d'usage pressentie est une catégorie de vente de produitsvdifficilement déplacable par un client, pour des raisons de poids (par exemple un appareil de musculation) ou de taille (par exemple une tente).

== Avancement du projet==

=== Objectifs suggérés par les encadrants ===

*Objectif principal : Améliorer un dispositif de sélection d'articles par gestes

* Objectifs détaillés :
**Passer à la nouvelle version du SDK
**Enlever la calibration du squelette
**Interface pour un utilisateur lambda

=== Réalisations concrètes ===

=== Séances ===

==== Première séance ====
''Le 08/02/2012''
*Récupération des sources stables de OpenNI,PrimeSense Sensor Module for OpenNI et NITE
*Installation des dépendances requises pour installer OpenNI, PrimesSense et NITE d'après les README
*Compilation des sources
*Essais de compilation de quelques samples en java pour reconnaitre une personne ou une main
**Erreurs dans la compilation => Manque de fichiers JAR ?

=== Résultats ===

Kinect2012

2012-02-08T22:25:06Z

Fsueur : /* Première séance */

= Liste du matériel =

== Présent ==

<ul>
<li>Kinect</li>
</ul>

== A acheter ==

= Présentation =

Ce projet s'incrit en collaboration avec Oxylane (branche recherche et développement de Décathlon) pour mettre en place un système de choix d'appareil en espace commercial. Il s'agit, sur la base d'un système existant, d'améliorer le système de sélection des produits afin de le rendre plus ergonomique, de pouvoir le paramétrer plus simplement (par un vendeur), eventuellement d'augmenter le nombre de gestes reconnaissable. La situation d'usage pressentie est une catégorie de vente de produitsvdifficilement déplacable par un client, pour des raisons de poids (par exemple un appareil de musculation) ou de taille (par exemple une tente).

== Avancement du projet==

=== Objectifs suggérés par les encadrants ===

*Objectif principal : Améliorer un dispositif de sélection d'articles par gestes

* Objectifs détaillés :
**Passer à la nouvelle version du SDK
**Enlever la calibration du squelette
**Interface pour un utilisateur lambda

=== Réalisations concrètes ===

=== Séances ===

==== Première séance ====
''Le 08/02/2012''
*Récupération des sources stables de OpenNI,PrimeSense Sensor Module for OpenNI et NITE
*Installation des dépendances requises pour installer OpenNI, PrimesSense et NITE d'après les README
*Compilation des sources
*Compilation d'un sample en java pour reconnaitre une personne ou une main
**Erreurs dans la compilation => Manque de fichiers JAR ?

=== Résultats ===

Kinect2012

2012-02-08T22:24:36Z

Fsueur :

= Liste du matériel =

== Présent ==

<ul>
<li>Kinect</li>
</ul>

== A acheter ==

= Présentation =

Ce projet s'incrit en collaboration avec Oxylane (branche recherche et développement de Décathlon) pour mettre en place un système de choix d'appareil en espace commercial. Il s'agit, sur la base d'un système existant, d'améliorer le système de sélection des produits afin de le rendre plus ergonomique, de pouvoir le paramétrer plus simplement (par un vendeur), eventuellement d'augmenter le nombre de gestes reconnaissable. La situation d'usage pressentie est une catégorie de vente de produitsvdifficilement déplacable par un client, pour des raisons de poids (par exemple un appareil de musculation) ou de taille (par exemple une tente).

== Avancement du projet==

=== Objectifs suggérés par les encadrants ===

*Objectif principal : Améliorer un dispositif de sélection d'articles par gestes

* Objectifs détaillés :
**Passer à la nouvelle version du SDK
**Enlever la calibration du squelette
**Interface pour un utilisateur lambda

=== Réalisations concrètes ===

=== Séances ===

==== Première séance ====
''Le 08/02/2012''
*Récupération des sources stables de OpenNI,PrimeSense Sensor Module for OpenNI et NITE
*Installation des dépendances requises pour installer OpenNI, PrimesSense et NITE d'après les README
*Compilation des sources
*Compilation d'un sample en java pour reconnaitre une personne ou une main
**Erreurs dans la compilation => Manque de fichier JAR ?

=== Résultats ===

Kinect2012

2012-02-08T22:13:16Z

Fsueur :

Kinect2012

2012-02-08T22:10:38Z

Fsueur : /* Présentation */

Kinect2012

2012-02-08T21:41:26Z

Fsueur :

= Liste du matériel =

== Présent ==

<ul>
<li>Kinect</li>
</ul>

== A acheter ==

= Présentation =

== Avancement du projet==

=== Objectifs suggérés par les encadrants ===

=== Réalisations concrètes ===

=== Séances ===

==== Première séance ====

=== Résultats ===

Controle de sonar

2011-05-16T18:00:10Z

Fsueur : /* Rapport */

= Sujet =

Le sujet se trouve à la page [http://rex.plil.fr/Enseignement/Systeme/Projet.IMA3/systeme009.html http://rex.plil.fr/Enseignement/Systeme/Projet.IMA3/systeme009.html]

=Avancement du projet =

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :
* Réalisation des différentes horloges utiles
* Création du signal pilotant le Module à ultrasons

=Partie informatique =
* Machine utilisée : TUTUR01
* /home/pifou/sonar/ contient entre autre fileaccess2.c qui selon un angle fait faire une rotation au robot de l'angle en question
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :
** su (mdp : glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/serie : permet de lancer la liaison série

* lancer correctement la page Web 2.0 :
# su www-data
# /root/serie
# lancer un navigateur internet et lancer la page [http://localhost/web2.html http://localhost/web2.html]
# entrer un angle
# l'image de la distance se lance

=Partie électronique =
* Réalisation du bit de sortie permettant l'envois de l'octet
* Réalisation du rafraîchissement toutes les secondes
* Réalisation de la parte analogique + tests effectués

Schéma :
[[Fichier:Schema.png]]

= Rapport =
I) Cahier des charges

La carte FPGA mesure en permanence la distance avec l'obstacle le plus proche. La mesure de distance est basée sur la mesure du décalage entre l'émission d'un signal ultrason et sa réception, après rebond sur l'obstacle. La valeur de ce temps sera codée sur huit bits (1 octet). Le taux de rafraîchissement de la mesure sera fixé à 1 seconde. La vitesse du son sera considérée comme égale à 340 m/s.

II) Résolution du CDC partie numérique

1)Les différentes horloges

Nous avons décidé pour faciliter le câblage des différents composant du FPGA et de la propreté du signal de sortie de la partie analogique d’avoir une distance maximale de mesure de 1,80 m pour un mot de 254, en cas d’absence d’objet nous prendrons la valeur 255.
Ainsi nous avons les relations suivantes:

f=1/T

v=d/t

D’où t=d/v=(2×1,8)/340=10,588 ms

Où t est le temps totale que met l’onde pour faire l’aller-retour à une distance de 1,80m
Donc on a une résolution de (10,588×〖10〗^(-3))/255 =41.52 µs qui correspond a 7mm pour un bit d’écart
Ainsi on a la fréquence d’entrée du compteur 8 bits qui nous donnera le mot image de la distance.

f=1/T=1/(41.52 µs )≈2400

Nous allons donc divisé la fréquence par 2400 (U3, U4 et U6)
Les autres diviseurs (U7, U8, U13 et U14) sont présents pour avoir une période 40khz pour le signal d’entrée de la partie analogique pour le module à ultrasons.
Le compteur (U1) permet de diviser la fréquence pour avoir une période de 1s avec un petit temps à l’état haut.

2)liaison entre le MU et la nanobord

Le compteur (U11) permet de compter le nombre de période envoyé au MU est de s’arrêter à dix grâce aux NANDs et ANDs (U10, U12 et U15) information appelé « fin transmission » puis repart dans un OR avec l’information de « réinitialisation nouvelle séquence » la sortie commande la remise a zéro du compteur mais aussi dans la commande de la bascule JK qui commande le blocage du compteur
Table de vérité du blocage du compteur.

[[Fichier:Tableverite.png]]

Quand CE=1 alors le compteur est bloqué et arrête d’envoyer la transmission sinon il continu de compter.
 
J= Réinitialisation nouvelle séquence
 
[[Fichier:Formule.png]]

Le signal provenant de l’émetteur MU entre dans une bascule D qui sera remis à zéro lors de l’information « réinitialisation nouvelle séquence » et la sortie commandera le blocage du compteur qui donne l’image de la distance en pilotant le bit CE.
 
[[Fichier:Chronogramme.png]]
 
III) Résolution du CDC partie analogique
 

La partie analogique est divisée en deux parties :
- L’émission du signal
- La réception du signal

1) L’émission du signal

Nous avons choisi de prendre un AOP en montage suiveur pour évité de demander trop de courant de la carte vers le MU (voir schéma)

2) La réception du signal

Pour la réception du signal dans un premier temps le signal est d’abord amplifier grâce a un non inverseur avec un gain de 101 puis ce signal est comparé à une tension de 4V pour éliminer touts les parasites qui ont été trop amplifiés.
 

[[Fichier:Analogique.png]]

Controle de sonar

2011-05-15T15:34:59Z

Fsueur :

Controle de sonar

2011-05-15T15:34:31Z

Fsueur :

= Sujet =

Le sujet se trouve à la page [http://rex.plil.fr/Enseignement/Systeme/Projet.IMA3/systeme009.html]

=Avancement du projet =

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :

=Partie informatique =
* Machine utilisée : TUTUR01
* /home/pifou/sonar/ contient entre autre fileaccess2.c qui selon un angle fait faire une rotation au robot de l'angle en question
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :
** su (mdp : glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/serie : permet de lancer la liaison série

* lancer correctement la page Web 2.0 :
# su www-data
# /root/serie
# lancer un navigateur internet et lancer la page [http://localhost/web2.html http://localhost/web2.html]
# entrer un angle
# l'image de la distance se lance

=Partie électronique =
Schéma :

Controle de sonar

2011-05-15T15:32:14Z

Fsueur : /* Partie électronique : */

=Avancement du projet =

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :

=Partie informatique =
* Machine utilisée : TUTUR01
* /home/pifou/sonar/ contient fileaccess2.c qui selon un angle fait faire une rotation au robot de l'angle en question
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :
** su (mdp : glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/sonar/serie : permet de lancer la liaison série

* lancer correctement la page Web 2.0 :
# su www-data
# /root/sonar/serie
# lancer un navigateur internet et lancer la page [http://localhost/web2.html http://localhost/web2.html]
# entrer un angle
# l'image de la distance se lance

=Partie électronique =
Schéma :

Controle de sonar

2011-05-15T15:32:01Z

Fsueur : /* Partie informatique : */

Controle de sonar

2011-05-15T15:31:45Z

Fsueur : /* Avancement du projet : */

=Avancement du projet =

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :

=Partie informatique :=
* Machine utilisée : TUTUR01
* /home/pifou/sonar/ contient fileaccess2.c qui selon un angle fait faire une rotation au robot de l'angle en question
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :
** su (mdp : glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/sonar/serie : permet de lancer la liaison série

* lancer correctement la page Web 2.0 :
# su www-data
# /root/sonar/serie
# lancer un navigateur internet et lancer la page [http://localhost/web2.html http://localhost/web2.html]
# entrer un angle
# l'image de la distance se lance

=Partie électronique :=
Schéma :

Controle de sonar

2011-05-15T15:31:03Z

Fsueur : /* Partie informatique : */

=Avancement du projet :=

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :

=Partie informatique :=
* Machine utilisée : TUTUR01
* /home/pifou/sonar/ contient fileaccess2.c qui selon un angle fait faire une rotation au robot de l'angle en question
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :
** su (mdp : glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/sonar/serie : permet de lancer la liaison série

* lancer correctement la page Web 2.0 :
# su www-data
# /root/sonar/serie
# lancer un navigateur internet et lancer la page [http://localhost/web2.html http://localhost/web2.html]
# entrer un angle
# l'image de la distance se lance

=Partie électronique :=
Schéma :

Controle de sonar

2011-05-15T15:28:14Z

Fsueur : /* Partie informatique : */

=Avancement du projet :=

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :

=Partie informatique :=
* Machine utilisée : TUTUR01
* /home/pifou/sonar/
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :
** su (mdp : glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/sonar/serie : permet de lancer la liaison série

* lancer correctement la page Web 2.0 :
# su www-data
# /root/sonar/serie
# lancer un navigateur internet et lancer la page [http://localhost/web2.html http://localhost/web2.html]
# entrer un angle
# l'image de la distance se lance

=Partie électronique :=
Schéma :

Controle de sonar

2011-05-15T15:27:32Z

Fsueur : /* Partie informatique : */

=Avancement du projet :=

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :

=Partie informatique :=
* Machine utilisée : TUTUR01
* /home/pifou/sonar/
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :
** su (mdp : glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/sonar/serie : permet de lancer la liaison série

* lancer correctement la page Web 2.0 :
# su www-data
# /root/sonar/serie
# lancer un navigateur internet et lancer la page [http://localhost/web2.html http://localhost/web2.html]
# entrer un angle
# l'image de la distance se lance

Controle de sonar

2011-05-15T15:26:53Z

Fsueur : /* Partie informatique : */

=Avancement du projet :=

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :

=Partie informatique :=
* Machine utilisée : TUTUR01
* /home/pifou/sonar/
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :
** su (mdp : glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/sonar/serie : permet de lancer la liaison série

* lancer correctement la page Web 2.0 :
# su www-data
# /root/sonar/serie
# lancer un navigateur internet et lancer la page [http://localhost.web2.html http://localhost.web2.html]
# entrer un angle
# l'image de la distance se lance

Controle de sonar

2011-05-15T15:24:59Z

Fsueur : /* Partie informatique : */

=Avancement du projet :=

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :

=Partie informatique :=
* Machine utilisée : TUTUR01
* /home/pifou/sonar/
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :
** su (mdp : glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/sonar/serie : permet de lancer la liaison série

* lancer correctement la page Web 2.0 :
=* su www-data
=* /root/sonar/serie
=* lancer un navigateur internet et lancer la page [http://localhost.web2.html http://localhost.web2.html]
=* entrer un angle
=* l'image de la distance se lance

Controle de sonar

2011-05-15T15:24:23Z

Fsueur : /* Partie informatique : */

=Avancement du projet :=

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :

=Partie informatique :=
* Machine utilisée : TUTUR01
* /home/pifou/sonar/
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :
** su (mdp : glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/sonar/serie : permet de lancer la liaison série

* lancer correctement la page Web 2.0 :
*= su www-data
*= /root/sonar/serie
*= lancer un navigateur internet et lancer la page [http://localhost.web2.html http://localhost.web2.html]
*= entrer un angle
*= l'image de la distance se lance

Controle de sonar

2011-05-15T15:18:43Z

Fsueur : /* Avancement du projet : */

=Avancement du projet :=

==Première Séance (06/05/2011)==

===Objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011)==

===Objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
Partie informatique :
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Partie électronique :

== Troisième Séance (13/05/2011)==

===Objectifs :===
* Avant la séance, avancer la partie informatique en continuant sur le site web :
** Élaboration de la requête Ajax envoyée vers un script PHP qui récupère la distance mesurée par le sonar par scrutation et les renvoie vers la page Web 2.0(donnees.php)
** Élaboration de la page Affichage.php qui récupère une série de distance et un angle. Cette page utilise GD en affichant un cercle vert ainsi que les axes X et Y en coordonnées cartésienne
** Modification de la page Web 2.0 avec l'ajout un script sous javascript qui lance Affichage.php par une requête Ajax en ajoutant à l'adresse de l'url, les valeurs mesurées par le radar ainsi que l'angle associé
* Test de toutes les pages créées chez nous et résolution des bugs si nécessaire
===Réalisations concrètes :===
Partie informatique :
* Compilation du programme permettant de lire les données renvoyées par le sonar par la liaison série
* Modification des pages Web 2.0 et donnees.php pour récupérer les données du sonar
* Modification de la page Web 2.0 et affichage.php qui pour résoudre le problème de l'affiche de l'image permettant d'afficher la cible du radar qui ne s'affichait pas

Malheureusement, afficher le point devant indiqué la distance de l'obstacle par rapport au sonar a été plus difficile que l'on ne pensait et faute de temps, nous n'avons pas réussi à finir cette partie.

Partie électronique :

=Partie informatique :=
* Machine utilisée : TUTUR01
* /home/pifou/sonar/
* /var/www contient :
**web2.html : Page principale Web 2.0
**prototype.js
**donnes.php
**affichage.php

* Les commandes :

** su (+ glopglop) : Mode superutilisateur
** su www-data : Permet de prendre l’identité de www-data
** /root/serie : permet de lancer la liaison série

Controle de sonar

2011-05-15T15:11:30Z

Fsueur : /* Réalisations concrètes : */

Controle de sonar

2011-05-15T15:09:33Z

Fsueur : /* Réalisations concrètes : */

Controle de sonar

2011-05-15T15:08:47Z

Fsueur : /* Réalisations concrètes : */

Controle de sonar

2011-05-15T15:07:14Z

Fsueur : /* Avancement du projet : */

Controle de sonar

2011-05-15T14:55:46Z

Fsueur : /* Objectifs : */

Controle de sonar

2011-05-15T14:53:35Z

Fsueur : /* Avancement du projet : */

Controle de sonar

2011-05-15T14:21:31Z

Fsueur : /* Avancement du projet : */

Controle de sonar

2011-05-13T11:57:08Z

Fsueur :

=Avancement du projet :=

==Première Séance (06/05/2011) -- 4h ==

===objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming

===Réalisations concrètes :===

* Tutoriel Altium effectué
* Elaboration du compteur mesurant le temps sous Altium

==Deuxième Séance (11/05/2011) -- 4h==

===objectifs :===
* Continuer la partie électronique en résolvant les derniers problémes
* Commencer la partie informatique en élaborant la structure du programme et sous programmes

===Réalisations concrètes :===
* Installation des librairies nécessaires pour piloter le servo moteur
* Modification du programme c pour pouvoir entrer un angle en paramétre et ainsi placer le sonar à l'angle indiqué
* Création du site Web 2.0 avec un champ texte pour entrer un angle et placer le sonar au bon angle, grâce à une intéraction entre le javascript et le programme c précédemment créé.

Controle de sonar

2011-05-10T20:20:18Z

Fsueur : /* ""Deuxième Séance (11/05/2011) -- 4h */

Controle de sonar

2011-05-10T20:20:02Z

Fsueur : /* Avancement du projet : */

Controle de sonar

2011-05-10T20:17:32Z

Fsueur : /* objectifs : */

Controle de sonar

2011-05-10T20:15:34Z

Fsueur :

=Avancement du projet :=

==Première Séance (06/05/2011) -- 4h ==

===objectifs :===
* établir le cahier des charges technique
* répartir les tâches au sein du binôme
* brainstorming