Wiki de Projets IMA - Contributions de l’utilisateur [fr]

P57 CHRU Lille : Smart Picking

2014-10-28T17:31:08Z

Mbossenn : /* Semaine 5 (20/10) */ Demo de la détection par infrarouges

== Présentation ==

=== Contexte : ===

Le picking des médicaments dans une pharmacie de grande taille (CHRU de Lille : plus de 3000 références de médicaments, stockés sur 3 étages) est une tâche répétitive et non optimisée. Des erreurs peuvent se produire et un temps important est perdu pour l'orientation des préparateurs de commande (notamment en formation).
Nous proposons de mettre en place une méthode "Smart picking" permettant l’agrégation de 6 demandes différentes ainsi que la localisation du préparateur et l'assistance au déplacement (chemin le plus court et évitant le croisement de plusieurs chariots). Une solution passe par la mise au point d'un chariot intelligent à 6 bacs permettant :
la localisation dans l'entrepôt par l'utilisation de balises BLE
l'affichage d'un parcours optimisé pour le picking des médicaments
la vérification de l'intégrité de la commande (médicaments dans le bon bac)
Le chariot embarquera une tablette sous Android.

=== Cahier des charges : ===
<ul>
<li>Base de données :

<ul>
<li>Liste des médicaments avec leur emplacement</li>
<li>Historique des pickings</li>
</ul>
</li>

<li>Localisation d'une tablette Android dans un batiment avec balises BLE, localisation sur un plan, et calcul du chemin optimal jusqu'au prochain medicament (prendre en compte la position des autres chariots).

[[Fichier:MOD-nRF8001.jpg]]

(https://www.olimex.com/Products/Modules/RF/MOD-nRF8001/)
</li>

<li>Application Android donnant :

<ul>
<li>la liste des médicaments à récupérer</li>
<li>le plan du batiment avec la localisation et le chemin à suivre</li>
<li>indication du contenu des bacs, des bacs à remplir</li>
</ul>
</li>

<li>Système pour détecter qu'un médicament à été mis dans un bac :
<ul>
<li>Solution envisagée : capteurs infrarouges OU capteurs ultrasons avec arduino</li>
<li>Envoie des informations à la tablette </li>
</ul>
</li>

<li>Ajout d'une diode à côté de chaque bac pour signaler le bac à remplir</li>

<li>Interface web pour créer les plans, voir l'historique, ajouter/modifier les emplacements des médicaments, vue sur un plan de la position de tous les chariots en temps réel.</li>
</ul>

=== Matériel utilisé ===

<ul>
<li>Tablette Android compatible BLE</li>
<li>LEDs infrarouges et phototransistors (quantité à définir)</li>
<li>Arduino Uno</li>
<li>Balises BLE MOD-nRF8001 (quantité à définir)</li>
</ul>

== Avancement ==

=== Semaine 1 (22/09) ===

Visite de la pharmacie et présentation d’une “maquette” de l’application :

[[Fichier:Tablette_layout1.png|border|500px]]
[[Fichier:Tablette_layout2.png|border|500px]]

=== Semaine 2 (29/09) ===

<ul>
<li> Recherche et lecture de tutoriels sur le développement d'applications Android</li>
</ul>

=== Semaine 3 (06/10) ===
<ul>
<li>Poursuite de l'apprentissage du développement sur Android</li>
<li>Installation d'un serveur WAMP avec PHP et base de donnée MySql en local</li>
</ul>

=== Semaine 4 (13/10) ===
<ul>
<li> Début de la réalisation d'un prototype pour la détection du dépôt de médicament dans un bac.</li>
<li> Utilisation de LEDs infrarouges et phototransistors reliés à un Arduino, qui signalera le passage d'un médicament entre les deux.</li>
</ul>

=== Semaine 5 (20/10) ===
<ul>
<li>Fin de la réalisation du prototype pour la détection du dépôt de médicament dans un bac.</li>

<include noesc iframe src="https://docs.google.com/file/d/0B7uoVFbcqLCfa21RLWF5UDJZMEk/preview" width="640" height="480"/>

La LED s'allume lorsqu'un objet passe par l'ouverture du bac, montrant le bon fonctionnement de la détection.
</ul>

=== Semaine 6 (27/10) ===

=== Semaine 7 (03/11) ===

=== Semaine 8 (10/11) ===

=== Semaine 9 (17/11) ===

=== Semaine 10 (24/11) ===

=== Semaine 11 (01/12) ===

=== Semaine 12 (08/12) ===

=== Semaine 13 (15/12) ===

P57 CHRU Lille : Smart Picking

2014-10-08T12:14:59Z

Mbossenn :

Fichier:Oculus.pdf

2014-04-15T22:01:29Z

Mbossenn :

Navigation 3D

2014-04-15T22:00:19Z

Mbossenn : Rapport

== Présentation du projet ==

=== Objectifs du projet ===

L'objectif de ce projet est d'utiliser l'Oculus Rift afin de permettre la visualisation de monde en 3D, en l’occurrence dans le cas présent la visualisation de gros projets architecturaux. Le second objectif de ce projet est de faciliter l'immersion en combinant un système comme Kinect avec le casque afin d’interpréter d'autres mouvements que celui de la tête.

=== L'Oculus Rift ===
[[Fichier:Oculus_Rift.jpg|500px|]]

L'Oculus Rift est un casque de réalité virtuelle, permettant une vision en 3D stéréoscopique et couvrant tout le champ de vision contrairement à un écran classique, ce qui permet une plus grande immersion d'où son utilisation dans ce projet, l'immersion en étant la problématique principale.
Il n'existe pour le moment qu'en version pour développeurs, la version grand public sortant fin 2014.

=== Kinect ===
[[Fichier:Kinect_1.jpg|500px|]]

Kinect est un périphérique initialement créé pour la Xbox 360 mais qui a fini par arriver sur pc. C'est une caméra permettant de suivre les mouvements d'une ou plusieurs personnes. Kinect est idéal pour ce projet car grâce à son capteur de profondeur, elle peut localiser les différentes parties du corps en 3 dimensions.

== Cahier des charges ==

* Permettre l'utilisation de l'Oculus Rift pour visualiser les projets architecturaux à la première personne, à l'aide de Unity et du SDK de l'Oculus Rift.

* Utiliser les capteurs propres à l'Oculus Rift pour adapter l'image aux mouvements de la tête.

* Rajouter Kinect au système dans le but de capter d'autres mouvement.

== Avancement du projet ==

=== Semaine 1 : ===

* J'ai commencé par l'installation du logiciel Unity, et n'ayant pas encore accès à l'Oculus Rift, je me suis concentré sur l'apprentissage de l'interface du logiciel, donc des fonctions basiques comme créer une scène, y ajouter des objets.
[[Fichier:Unity.JPG|500px|]]

=== Semaine 2 : ===

* Poursuite de l'apprentissage du logiciel, cette semaine a été l'occasion de comprendre le fonctionnement des scripts. Ceux-ci peuvent êtres écrits en JavaScript, C# ou en Boo, et permettent d'ajouter des propriétés aux objets ou de modifier celles déjà existantes.

=== Semaine 3 : ===

* Installation des librairies utiles pour la suite du projet, c'est a dire le SDK d'Oculus VR ainsi que le SDK de Kinect.
* Étude du SDK de Kinect : il permet de détecter une personne et d'associer des points à chaque partie du corps, les points vont alors suivre les mouvements de l'utilisateur. Ces point vont donc pouvoir êtres associés à différentes parties d'un avatar qui suivra les mouvements de l'utilisateur.

=== Semaine 4 : ===

* Étude du SDK de l'Oculus : celui-ci se présente sous la forme d'un objet, dont l'orientation suis celle du casque grâce aux capteurs. Cet objet sert de caméra compatible avec l'Oculus Rift.

=== Semaine 5 : ===

* Rencontre avec Damien Marchal, ingénieur de recherche travaillant déjà sur l'Oculus Rift à l'IRCICA. Cette rencontre a été l'occasion d'établir les axes à développer dans le projet : ses travaux portant sur l’interaction à l'aide d'une tablette tactile, il serait intéressant de comparer le résultat avec une interaction à l'aide Kinect, sur deux plans : l'immersion et l'efficacité. La suite du projet consistera donc à interagir avec les objets de la scène avec Kinect.
* Cette semaine a aussi été l'occasion de recevoir un Oculus Rift et donc de commencer à travailler dessus.

=== Semaine 6 : ===

* Ajout de la gestion de Kinect dans Unity : ajout d'un squelette reproduisant les mouvements de l'utilisateur.
* Développement d'une fonctionnalité permettant à l'utilisateur de sélectionner un objet de la scène en le pointant du doigt. Cela a été fait à l'aide de plusieurs scripts : le premier permet de positionner la caméra de l'Oculus Rift à l'emplacement de la tête détecté par Kinect, et ce à chaque instant. Le deuxième permet d'avoir un rayon suivant l'axe tête-main et de faire en sorte que lorsque ce rayon rentre en contact avec un objet spécifique, change ce dernier de couleur. Étant donné que ce script n'est actif que lors d'un contact, un troisième script, attaché à chaque objet, le remet à sa couleur d'origine s'il n'est pas désigné par le deuxième script.

=== Semaine 7 : ===

* L'axe tête-main ne semblait pas très naturel, car lorsque l'on pointe quelque chose du doigt, c'est plutôt l'axe du doigt qui devrais être pris en compte, cependant cela est irréalisable dans ce projet avec Kinect à cause de la distance par rapport à la caméra. L'ajout d'une option permettant de suivre l'axe coude-main, qui s'en rapproche dans la plupart des cas a donc été réalisée. Celle-ci présente au final effectivement une sélection plus facile des objets.
[[Fichier:Tete_main.jpg|400px|Rayon tête-main]][[Fichier:Coude_main.JPG|400px|Rayon coude-main]]

* Étude des fonctions d'Unity ayant un rapport avec les mouvements et les collisions tels que Rigidbody, qui gère les collisions et la gravité.

=== Semaine 8 : ===

* Implémentation des fonctions permettant de déplacer les objets. J'ai pour cela utilisé une souris sans fil : un clic gauche permet d'attraper un objet, celui-ci va donc se déplacer suivant le même axe ayant servit à le sélectionner c'est à dire que l'objet va rester dans l'axe coude-main à une distance constante. Un clic gauche permet de lâcher l'objet, qui tombe donc avec la gravité. La roulette permet d'approcher ou d'éloigner l'objet et enfin un clic central permet de lancer l'objet, la fonction est identique à celle du lâcher sauf avec une accélération suivant l'axe coude-main.

=== Semaine 9 : ===

* Cette semaine a été l'occasion de corriger des bugs en rapport avec le déplacement et d'embellir un peu la scène pour la vidéo.

== Bilan ==

Le résultat final est bien là, la combinaison de l'Oculus Rift et de Kinect pour déplacer des objets fonctionne bien.
Je regrette cependant de ne pas avoir eu le temps d'implémenter l'Art Track, qui aurait pu au final être plus précis et réactif que Kinect, mais ayant finis l'implémentation de Kinect une semaine avant la fin le temps manquait.

== Rapport ==
[[fichier:Oculus.pdf]]

Navigation 3D

2014-04-15T19:07:53Z

Mbossenn :

Fichier:Coude main.JPG

2014-04-15T18:58:41Z

Mbossenn :

Fichier:Tete main.jpg

2014-04-15T18:58:19Z

Mbossenn :

Fichier:Unity.JPG

2014-04-15T18:57:42Z

Mbossenn :

Fichier:Kinect 1.jpg

2014-04-15T18:57:23Z

Mbossenn :

Navigation 3D

2014-04-15T18:56:33Z

Mbossenn :

== Présentation du projet ==

=== Objectifs du projet ===

L'objectif de ce projet est d'utiliser l'Oculus Rift afin de permettre la visualisation de monde en 3D, en l’occurrence dans le cas présent la visualisation de gros projets architecturaux. Le second objectif de ce projet est de faciliter l'immersion en combinant un système comme Kinect avec le casque afin d’interpréter d'autres mouvements que celui de la tête.

=== L'Oculus Rift ===
[[Fichier:Oculus_Rift.jpg|500px|]]

L'Oculus Rift est un casque de réalité virtuelle, permettant une vision en 3D stéréoscopique et couvrant tout le champ de vision contrairement à un écran classique, ce qui permet une plus grande immersion d'où son utilisation dans ce projet, l'immersion en étant la problématique principale.
Il n'existe pour le moment qu'en version pour développeurs, la version grand public sortant fin 2014.

=== Kinect ===
[[Fichier:Kinect_1.jpg|500px|]]

Kinect est un périphérique initialement créé pour la Xbox 360 mais qui a fini par arriver sur pc. C'est une caméra permettant de suivre les mouvements d'une ou plusieurs personnes. Kinect est idéal pour ce projet car grâce à son capteur de profondeur, elle peut localiser les différentes parties du corps en 3 dimensions.

== Cahier des charges ==

* Permettre l'utilisation de l'Oculus Rift pour visualiser les projets architecturaux à la première personne, à l'aide de Unity et du SDK de l'Oculus Rift.

* Utiliser les capteurs propres à l'Oculus Rift pour adapter l'image aux mouvements de la tête.

* Rajouter Kinect au système dans le but de capter d'autres mouvement.

== Avancement du projet ==

=== Semaine 1 : ===

* J'ai commencé par l'installation du logiciel Unity, et n'ayant pas encore accès à l'Oculus Rift, je me suis concentré sur l'apprentissage de l'interface du logiciel, donc des fonctions basiques comme créer une scène, y ajouter des objets.
[[Fichier:Unity.jpg|500px|]]

=== Semaine 2 : ===

* Poursuite de l'apprentissage du logiciel, cette semaine a été l'occasion de comprendre le fonctionnement des scripts. Ceux-ci peuvent êtres écrits en JavaScript, C# ou en Boo, et permettent d'ajouter des propriétés aux objets ou de modifier celles déjà existantes.

=== Semaine 3 : ===

* Installation des librairies utiles pour la suite du projet, c'est a dire le SDK d'Oculus VR ainsi que le SDK de Kinect.
* Étude du SDK de Kinect : il permet de détecter une personne et d'associer des points à chaque partie du corps, les points vont alors suivre les mouvements de l'utilisateur. Ces point vont donc pouvoir êtres associés à différentes parties d'un avatar qui suivra les mouvements de l'utilisateur.

=== Semaine 4 : ===

* Étude du SDK de l'Oculus : celui-ci se présente sous la forme d'un objet, dont l'orientation suis celle du casque grâce aux capteurs. Cet objet sert de caméra compatible avec l'Oculus Rift.

=== Semaine 5 : ===

* Rencontre avec Damien Marchal, ingénieur de recherche travaillant déjà sur l'Oculus Rift à l'IRCICA. Cette rencontre a été l'occasion d'établir les axes à développer dans le projet : ses travaux portant sur l’interaction à l'aide d'une tablette tactile, il serait intéressant de comparer le résultat avec une interaction à l'aide Kinect, sur deux plans : l'immersion et l'efficacité. La suite du projet consistera donc à interagir avec les objets de la scène avec Kinect.
* Cette semaine a aussi été l'occasion de recevoir un Oculus Rift et donc de commencer à travailler dessus.

=== Semaine 6 : ===

* Ajout de la gestion de Kinect dans Unity : ajout d'un squelette reproduisant les mouvements de l'utilisateur.
* Développement d'une fonctionnalité permettant à l'utilisateur de sélectionner un objet de la scène en le pointant du doigt. Cela a été fait à l'aide de plusieurs scripts : le premier permet de positionner la caméra de l'Oculus Rift à l'emplacement de la tête détecté par Kinect, et ce à chaque instant. Le deuxième permet d'avoir un rayon suivant l'axe tête-main et de faire en sorte que lorsque ce rayon rentre en contact avec un objet spécifique, change ce dernier de couleur. Étant donné que ce script n'est actif que lors d'un contact, un troisième script, attaché à chaque objet, le remet à sa couleur d'origine s'il n'est pas désigné par le deuxième script.

=== Semaine 7 : ===

* L'axe tête-main ne semblait pas très naturel, car lorsque l'on pointe quelque chose du doigt, c'est plutôt l'axe du doigt qui devrais être pris en compte, cependant cela est irréalisable dans ce projet avec Kinect à cause de la distance par rapport à la caméra. L'ajout d'une option permettant de suivre l'axe coude-main, qui s'en rapproche dans la plupart des cas a donc été réalisée. Celle-ci présente au final effectivement une sélection plus facile des objets.
[[Fichier:Tete_main.jpg|400px|]][[Fichier:Coude_main|400px|.jpg]]

* Étude des fonctions d'Unity ayant un rapport avec les mouvements et les collisions tels que Rigidbody, qui gère les collisions et la gravité.

=== Semaine 8 : ===

* Implémentation des fonctions permettant de déplacer les objets. J'ai pour cela utilisé une souris sans fil : un clic gauche permet d'attraper un objet, celui-ci va donc se déplacer suivant le même axe ayant servit à le sélectionner c'est à dire que l'objet va rester dans l'axe coude-main à une distance constante. Un clic gauche permet de lâcher l'objet, qui tombe donc avec la gravité. La roulette permet d'approcher ou d'éloigner l'objet et enfin un clic central permet de lancer l'objet, la fonction est identique à celle du lâcher sauf avec une accélération suivant l'axe coude-main.

=== Semaine 9 : ===

* Cette semaine a été l'occasion de corriger des bugs en rapport avec le déplacement et d'embellir un peu la scène pour la vidéo.

== Bilan ==

Le résultat final est bien là, la combinaison de l'Oculus Rift et de Kinect pour déplacer des objets fonctionne bien.
Je regrette cependant de ne pas avoir eu le temps d'implémenter l'Art Track, qui aurait pu au final être plus précis et réactif que Kinect, mais ayant finis l'implémentation de Kinect une semaine avant la fin le temps manquait.

Fichier:Oculus Rift.jpg

2014-04-15T18:55:22Z

Mbossenn :

Navigation 3D

2014-04-15T18:54:53Z

Mbossenn : Ajout d'images

== Présentation du projet ==

=== Objectifs du projet ===

L'objectif de ce projet est d'utiliser l'Oculus Rift afin de permettre la visualisation de monde en 3D, en l’occurrence dans le cas présent la visualisation de gros projets architecturaux. Le second objectif de ce projet est de faciliter l'immersion en combinant un système comme Kinect avec le casque afin d’interpréter d'autres mouvements que celui de la tête.

=== L'Oculus Rift ===
[[Fichier:Oculus_Rift.jpg|500px|]]
L'Oculus Rift est un casque de réalité virtuelle, permettant une vision en 3D stéréoscopique et couvrant tout le champ de vision contrairement à un écran classique, ce qui permet une plus grande immersion d'où son utilisation dans ce projet, l'immersion en étant la problématique principale.
Il n'existe pour le moment qu'en version pour développeurs, la version grand public sortant fin 2014.

=== Kinect ===
[[Fichier:Kinect_1.jpg|500px|]]

Kinect est un périphérique initialement créé pour la Xbox 360 mais qui a fini par arriver sur pc. C'est une caméra permettant de suivre les mouvements d'une ou plusieurs personnes. Kinect est idéal pour ce projet car grâce à son capteur de profondeur, elle peut localiser les différentes parties du corps en 3 dimensions.

== Cahier des charges ==

* Permettre l'utilisation de l'Oculus Rift pour visualiser les projets architecturaux à la première personne, à l'aide de Unity et du SDK de l'Oculus Rift.

* Utiliser les capteurs propres à l'Oculus Rift pour adapter l'image aux mouvements de la tête.

* Rajouter Kinect au système dans le but de capter d'autres mouvement.

== Avancement du projet ==

=== Semaine 1 : ===

* J'ai commencé par l'installation du logiciel Unity, et n'ayant pas encore accès à l'Oculus Rift, je me suis concentré sur l'apprentissage de l'interface du logiciel, donc des fonctions basiques comme créer une scène, y ajouter des objets.
[[Fichier:Unity.jpg|400px|]]

=== Semaine 2 : ===

* Poursuite de l'apprentissage du logiciel, cette semaine a été l'occasion de comprendre le fonctionnement des scripts. Ceux-ci peuvent êtres écrits en JavaScript, C# ou en Boo, et permettent d'ajouter des propriétés aux objets ou de modifier celles déjà existantes.

=== Semaine 3 : ===

* Installation des librairies utiles pour la suite du projet, c'est a dire le SDK d'Oculus VR ainsi que le SDK de Kinect.
* Étude du SDK de Kinect : il permet de détecter une personne et d'associer des points à chaque partie du corps, les points vont alors suivre les mouvements de l'utilisateur. Ces point vont donc pouvoir êtres associés à différentes parties d'un avatar qui suivra les mouvements de l'utilisateur.

=== Semaine 4 : ===

* Étude du SDK de l'Oculus : celui-ci se présente sous la forme d'un objet, dont l'orientation suis celle du casque grâce aux capteurs. Cet objet sert de caméra compatible avec l'Oculus Rift.

=== Semaine 5 : ===

* Rencontre avec Damien Marchal, ingénieur de recherche travaillant déjà sur l'Oculus Rift à l'IRCICA. Cette rencontre a été l'occasion d'établir les axes à développer dans le projet : ses travaux portant sur l’interaction à l'aide d'une tablette tactile, il serait intéressant de comparer le résultat avec une interaction à l'aide Kinect, sur deux plans : l'immersion et l'efficacité. La suite du projet consistera donc à interagir avec les objets de la scène avec Kinect.
* Cette semaine a aussi été l'occasion de recevoir un Oculus Rift et donc de commencer à travailler dessus.

=== Semaine 6 : ===

* Ajout de la gestion de Kinect dans Unity : ajout d'un squelette reproduisant les mouvements de l'utilisateur.
* Développement d'une fonctionnalité permettant à l'utilisateur de sélectionner un objet de la scène en le pointant du doigt. Cela a été fait à l'aide de plusieurs scripts : le premier permet de positionner la caméra de l'Oculus Rift à l'emplacement de la tête détecté par Kinect, et ce à chaque instant. Le deuxième permet d'avoir un rayon suivant l'axe tête-main et de faire en sorte que lorsque ce rayon rentre en contact avec un objet spécifique, change ce dernier de couleur. Étant donné que ce script n'est actif que lors d'un contact, un troisième script, attaché à chaque objet, le remet à sa couleur d'origine s'il n'est pas désigné par le deuxième script.

=== Semaine 7 : ===

* L'axe tête-main ne semblait pas très naturel, car lorsque l'on pointe quelque chose du doigt, c'est plutôt l'axe du doigt qui devrais être pris en compte, cependant cela est irréalisable dans ce projet avec Kinect à cause de la distance par rapport à la caméra. L'ajout d'une option permettant de suivre l'axe coude-main, qui s'en rapproche dans la plupart des cas a donc été réalisée. Celle-ci présente au final effectivement une sélection plus facile des objets.
[[Fichier:Tete_main.jpg|400px|]][[Fichier:Coude_main|400px|.jpg]]
* Étude des fonctions d'Unity ayant un rapport avec les mouvements et les collisions tels que Rigidbody, qui gère les collisions et la gravité.

=== Semaine 8 : ===

* Implémentation des fonctions permettant de déplacer les objets. J'ai pour cela utilisé une souris sans fil : un clic gauche permet d'attraper un objet, celui-ci va donc se déplacer suivant le même axe ayant servit à le sélectionner c'est à dire que l'objet va rester dans l'axe coude-main à une distance constante. Un clic gauche permet de lâcher l'objet, qui tombe donc avec la gravité. La roulette permet d'approcher ou d'éloigner l'objet et enfin un clic central permet de lancer l'objet, la fonction est identique à celle du lâcher sauf avec une accélération suivant l'axe coude-main.

=== Semaine 9 : ===

* Cette semaine a été l'occasion de corriger des bugs en rapport avec le déplacement et d'embellir un peu la scène pour la vidéo.

== Bilan ==

Le résultat final est bien là, la combinaison de l'Oculus Rift et de Kinect pour déplacer des objets fonctionne bien.
Je regrette cependant de ne pas avoir eu le temps d'implémenter l'Art Track, qui aurait pu au final être plus précis et réactif que Kinect, mais ayant finis l'implémentation de Kinect une semaine avant la fin le temps manquait.

Navigation 3D

2014-04-15T13:58:28Z

Mbossenn : Avancement du projet

== Présentation du projet ==

=== Objectifs du projet ===

L'objectif de ce projet est d'utiliser l'Oculus Rift afin de permettre la visualisation de monde en 3D, en l’occurrence dans le cas présent la visualisation de gros projets architecturaux. Le second objectif de ce projet est de faciliter l'immersion en combinant un système comme Kinect avec le casque afin d’interpréter d'autres mouvements que celui de la tête.

=== L'Oculus Rift ===

L'Oculus Rift est un casque de réalité virtuelle, permettant une vision en 3D stéréoscopique et couvrant tout le champ de vision contrairement à un écran classique, ce qui permet une plus grande immersion d'où son utilisation dans ce projet, l'immersion en étant la problématique principale.
Il n'existe pour le moment qu'en version pour développeurs, la version grand public sortant fin 2014.

== Cahier des charges ==

* Permettre l'utilisation de l'Oculus Rift pour visualiser les projets architecturaux à la première personne, à l'aide de Unity et du SDK de l'Oculus Rift.

* Utiliser les capteurs propres à l'Oculus Rift pour adapter l'image aux mouvements de la tête.

* Rajouter Kinect au système dans le but de capter d'autres mouvement.

== Avancement du projet ==

=== Semaine 1 : ===

* J'ai commencé par l'installation du logiciel Unity, et n'ayant pas encore accès à l'Oculus Rift, je me suis concentré sur l'apprentissage de l'interface du logiciel, donc des fonctions basiques comme créer une scène, y ajouter des objets.

=== Semaine 2 : ===

* Poursuite de l'apprentissage du logiciel, cette semaine a été l'occasion de comprendre le fonctionnement des scripts. Ceux-ci peuvent êtres écrits en JavaScript, C# ou en Boo, et permettent d'ajouter des propriétés aux objets ou de modifier celles déjà existantes.

=== Semaine 3 : ===

* Installation des librairies utiles pour la suite du projet, c'est a dire le SDK d'Oculus VR ainsi que le SDK de Kinect.
* Étude du SDK de Kinect : il permet de détecter une personne et d'associer des points à chaque partie du corps, les points vont alors suivre les mouvements de l'utilisateur. Ces point vont donc pouvoir êtres associés à différentes parties d'un avatar qui suivra les mouvements de l'utilisateur.

=== Semaine 4 : ===

* Étude du SDK de l'Oculus : celui-ci se présente sous la forme d'un objet, dont l'orientation suis celle du casque grâce aux capteurs. Cet objet sert de caméra compatible avec l'Oculus Rift.

=== Semaine 5 : ===

* Rencontre avec Damien Marchal, ingénieur de recherche travaillant déjà sur l'Oculus Rift à l'IRCICA. Cette rencontre a été l'occasion d'établir les axes à développer dans le projet : ses travaux portant sur l’interaction à l'aide d'une tablette tactile, il serait intéressant de comparer le résultat avec une interaction à l'aide Kinect, sur deux plans : l'immersion et l'efficacité. La suite du projet consistera donc à interagir avec les objets de la scène avec Kinect.
* Cette semaine a aussi été l'occasion de recevoir un Oculus Rift et donc de commencer à travailler dessus.

=== Semaine 6 : ===

* Ajout de la gestion de Kinect dans Unity : ajout d'un squelette reproduisant les mouvements de l'utilisateur.
* Développement d'une fonctionnalité permettant à l'utilisateur de sélectionner un objet de la scène en le pointant du doigt. Cela a été fait à l'aide de plusieurs scripts : le premier permet de positionner la caméra de l'Oculus Rift à l'emplacement de la tête détecté par Kinect, et ce à chaque instant. Le deuxième permet d'avoir un rayon suivant l'axe tête-main et de faire en sorte que lorsque ce rayon rentre en contact avec un objet spécifique, change ce dernier de couleur. Étant donné que ce script n'est actif que lors d'un contact, un troisième script, attaché à chaque objet, le remet à sa couleur d'origine s'il n'est pas désigné par le deuxième script.

=== Semaine 7 : ===

* L'axe tête-main ne semblait pas très naturel, car lorsque l'on pointe quelque chose du doigt, c'est plutôt l'axe du doigt qui devrais être pris en compte, cependant cela est irréalisable dans ce projet avec Kinect à cause de la distance par rapport à la caméra. L'ajout d'une option permettant de suivre l'axe coude-main, qui s'en rapproche dans la plupart des cas a donc été réalisée. Celle-ci présente au final effectivement une sélection plus facile des objets.
* Étude des fonctions d'Unity ayant un rapport avec les mouvements et les collisions tels que Rigidbody, qui gère les collisions et la gravité.

=== Semaine 8 : ===

* Implémentation des fonctions permettant de déplacer les objets. J'ai pour cela utilisé une souris sans fil : un clic gauche permet d'attraper un objet, celui-ci va donc se déplacer suivant le même axe ayant servit à le sélectionner c'est à dire que l'objet va rester dans l'axe coude-main à une distance constante. Un clic gauche permet de lâcher l'objet, qui tombe donc avec la gravité. La roulette permet d'approcher ou d'éloigner l'objet et enfin un clic central permet de lancer l'objet, la fonction est identique à celle du lâcher sauf avec une accélération suivant l'axe coude-main.

=== Semaine 9 : ===

* Cette semaine a été l'occasion de corriger des bugs en rapport avec le déplacement et d'embellir un peu la scène pour la vidéo.

== Bilan ==

Le résultat final est bien là, la combinaison de l'Oculus Rift et de Kinect pour déplacer des objets fonctionne bien.
Je regrette cependant de ne pas avoir eu le temps d'implémenter l'Art Track, qui aurait pu au final être plus précis et réactif que Kinect, mais ayant finis l'implémentation de Kinect une semaine avant la fin le temps manquait.

Navigation 3D

2014-02-05T16:35:12Z

Mbossenn : Création de la page