IMA4 2017/2018 P44 : Différence entre versions
(→Séance 2 - 17/01/18) |
m (→Séance 1 - 15/01/18) |
||
| Ligne 248 : | Ligne 248 : | ||
*choix de la kinect360 | *choix de la kinect360 | ||
| − | *possible kinect - ROS - | + | *possible kinect - ROS - Raspberry |
*Choix du CDCF pour reconnaitre une MPS | *Choix du CDCF pour reconnaitre une MPS | ||
Version du 24 janvier 2018 à 15:21
Sommaire
Présentation générale
Description
L’Association de Robotique de Polytech Lille a pour but principal de participer à la RoboCup, compétition internationale de robotique, dans la Logistic League.
Pour l'instant une machine de production (MPS) est identifiée par un AR Tag (QR Code). Le but de ce projet est de réussir à identifier une machine par une autre façon, sans utiliser les tags, mais en identifiant les structures de production qui sont positionnées sur chaque MPS. Il y en a 5 types:
- une Base Station à 3 tours de stockage pour chaque couleur de base ;
- une Cap Station à un rail de dépôt pour l’ajout de bases ;
- une Delivery Station à 3 voies de stockages pour les produits finis ;
- une Ring Station à 2 structures pneumatiques de dépose de cap ;
- une Storage Station à 1 structure en étagère assez haute.
Chaque machine à 2 types de côté: actif, large où le robot interagit ou ignorés, étroit où il n'y aura pas d’interaction.
On a la liberté du choix du moyen de vision: une ou deux caméras (stéréo vision), une Kinect, un scanner laser, une Intel SR300 ... mais il faudra veiller à choisir un système efficace et robuste.
Ce sujet permettra d'aborder les notions de développement logiciel en C et Python, du framework robotique ROS, mais également le travail en équipe et pourquoi pas la participation à une compétition internationale de robotique en avril (Open German à Magdebourg, Allemagne).
Objectifs
L'objectif principal de notre projet est donc d'analyser le plus rapidement possible et avec une fiabilité maximale face à quelle machine de production le robot se situe. Il faudra donc trouver une caractéristique unique pour chaque machine de production afin de les différencier le plus rapidement possible. Et si ce n'est pas possible (si 2 machines sont trop semblables) pouvoir comparer l'image vue par le robot avec les caractéristiques visuelles générales de chaque MPS. Ainsi la storage station est facilement identifiable par sa taille mais les autres MPS semblent relativement semblables aux premiers abords. Une analyse en détail de leurs dimensions va nous permettre d'évaluer s'il serait possible de les différencier facilement. Par exemple la cap station pourrait être identifiée par son rail. On pourrait également s'appuyer sur les différences de profondeur de certaines zones des MPS pour les différencier, grâce au capteur infra rouge notamment .
Lors de la compétition 3 minutes maximum sont allouées à la phase d'exploration.
Il s'agira de reconnaissance spécifique: identifier une MPS en particulier sur une image.
Analyse du projet
Positionnement par rapport à l'existant
Il y a de nombreux projets et de plus en plus de projets sur la reconnaissance d’objets par traitement d’image, notamment dans la recherche. Ces projets sont le plus souvent axés sur un axe industriel , comme pour ce projet. Ou sur une utilisation dans la vie quotidienne: robot humanoïdes, reconnaissances d’objets de formes basiques (cubes …) comme dans certaines compétitions de robotique. Comme ce sera le cas pour nous, grand nombre de ces projets ne fonctionnent que dans des conditions particulières: un nombre d’objets limité et un environnement connu. En effet il est très difficile de programmer un robot pour qu’il puisse reconnaître tous les objets existants. Une difficulté importante pour la reconnaissance d’objets sont les variations: de luminosité, de taille de l’objet, de son orientation … De nombreuses applications de détection d’objets sont développées sur l'OS ROS.
Analyse du premier concurrent
L’API CLOUD VISION de Google permet de comprendre le contenu d'une image en intégrant de puissants modèles de machine learning dans une API facile à utiliser. Cloud Vision classe les images rapidement dans des milliers de catégories (par exemple, "bateau", "lion", "tour Eiffel"). L’avantage de la solution présentée par notre projet et de pouvoir reconnaître les objets plus précisément, en effet il ne s’agit pas de savoir que c’est juste une MPS comme pourrait le faire cette API mais de préciser de quelle MPS il s’agit. L’avantage de CLOUD VISION est qu’il peut concerner un domaine plus large et est plus applicable à différentes compétitions. En effet l'API Vision s'appuie sur la puissance de la fonctionnalité de recherche de Google Images pour trouver des entités thématiques, elle permet donc par exemple de reconnaître des logos.
Analyse du second concurrent
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4029636/ Ce projet s’appuie sur une Kinect comme nous pouvons envisager de le faire. La Kinect est ici utilisée pour reconnaître les contours de l’objet. Le projet réalisé par Carlos Astua, Ramon Barber, Jonathan Crespo, et Alberto Jardon décrit dans cet article met en avant la difficulté à reconnaître un objet en fonction de la position du robot.
Scénario d'usage du produit ou du concept envisagé
Après des semaines d'intense préparation le Robotino de l'association de robotique de Polytech Lille est prêt à entrer en piste pour l'épreuve de Logistique de la Robocup 2018. Il s'agit d'une compétition en 1 contre 1 où l'objectif est de marquer le plus de points en un temps imparti. Sa première mission et celle qui fait référence à notre projet est la phase d'exploration: il va devoir analyser les 14 machines de production présentes sur la piste (emplacement et orientation aléatoire) pour définir leur type. Chaque équipe est associée à 7 MPS. Le robotino va donc se déplacer face à chaque MPS et l'analyser par le traitement d'image pour repérer de quelle type de machine il s'agit. Pour repérer ces machines et leur position il a un temps imparti de 3 minutes.
Réponse à la question difficile
Comment communiquer avec la Kinect ?
Il nous faut un moyen de communication qui nous permette d'une part de récupérer ce que voie la Kinect, de pouvoir le traiter et de pouvoir comparer ces informations avec ce que nous savons sur les MPS.
Le plus difficile est de trouver comment traiter les informations récupérée via la Kinect. Cela sera rendu possible par l'utilisation d'une RaspberryPi alimentée par une batterie externe.
Préparation du projet
Cahier des charges
L'objectif est de permettre au Robotino de différencier 5 machines de production connues d'avance dans le cadre d'un challenge de robotique. Les caractéristiques principales de l'environnement sont également connues d'avance. Pour cela nous possédons les modélisations en 3D des MPS au format WRL (juste ici https://github.com/robocup-logistics/full-size-models/tree/master/mps). L'objectif est donc de pouvoir sur place la MPS située face au robot avec les informations que nous connaissons sur les 5 types de MPS, au moyen d'une kinect vraisemblablement.
L'objectif final est que notre projet fonctionne de la manière suivante :
- Récupérer l'image vue par la kinect (profondeur)
- Extraire les contours
- Comparer avec les contours connus des MPS
- Si il y a correspondance à plus de 70%, envoyer l'id de la machine au Robotino
- Sinon se placer sur un autre côté de la machine puis retour étape 1.
Pour cela nous devrons:
- Créer plusieurs vues des différentes MPS à partir des modélisations 3D à notre disposition
- Extraire les contours de ces images(formes, nombre de formes, placement)
- Si après avoir analysé les 4 faces de la MPS il n'y a aucune correspondance à plus de 70%, faire la moyenne des correspondances pour les 4 faces pour chaque MPS et choisir celle qui a le taux de correspondance le plus élevé (*)
Remarques:
- Si une machine a déjà été reconnue autant de fois qu'elle se trouve sur le terrain (information connue préalablement) on effectuera pas de comparaison avec les images de celle-ci puisque c'est inutile (optimisation du temps)
- Si a un moment donné, il y a le même taux de correspondance pour 2 MPS après l'analyse des 4 phases, envoi des 2 ID au Robotino. A la fin de l'analyse on pourra déduire le vrai ID puisqu'on connaît le nombre de MPS de chaque type présentes sur le terrain.
- (*) Sauf si le taux de correspondance est inférieur à 40% on envoie "on ne sait pas".
Choix techniques : matériel et logiciel
Pour le choix du moyen de prise d'image:
- la stéréo vision (utilisation de 2 caméras) nécessite l'acquisition d'au moins 2 images de l'objet à mesurer de 2 points de vues différents. Après la prise de vue de la MPS les coordonnées d'image (couple stéréoscopique) des points à mesurer sont déterminées sur chaque des images puis mises en concordance. Pour déterminer les dimensions de l'objet il est nécessaire détalonner le système de mesure. Problématique: étant donné la taille du robot par rapport à celle des MPS, sera-t-il possible de prendre les 2 images de l'objet en laissant le robot immobile face à la MPS (en plaçant les 2 caméras à des endroits différents du robot) ? Si ce n'est pas possible il faudra donc que le robot se déplace par rapport à la MPS, ce qui rendrait le processus de reconnaissance plus long.
- la kinect possède une caméra RGB ainsi qu'une caméra infrarouge, cette caméra infrarouge permet de mesurer les différences de profondeur.
Avantage: Avoir une image infrarouge avec les différences de profondeur des objet présents dans le visuel du robot pourrait nous être très utile pour différencier les différents MPS.
Problématique: la caméra RGB et la caméra infrarouge ne sont pas situées au même endroit sur la kinect, nous auront donc 2 prises de vues non superposables. Serait-il possible d'utiliser uniquement la caméra infrarouge ? Ou de synchroniser les 2 images ?
Champ de vision :
Champ de vision horizontal : 57 degrés
Champ de vision vertical : 43 degrés
Marge de déplacement du capteur : ± 27 degrés
Portée du capteur : 1,2 m – 3,5 m - la caméra Intel® RealSense™ SR300 possède tout comme la kinect une caméra couleur, une caméra infrarouge et un émetteur infrarouge. Portée en profondeur: 0.2m à 1.5m
Une des différences principales entre la kinect et la Intet SR300 est la portée du capteur de profondeur: on a une vision plus rapprochée pour la SR300 par rapport à la kinect.
Nous choisirons donc d'utiliser la Kinect. En effet avec la kinect, la manière dont l'image des profondeurs est générée permet de passer outre les conditions d'éclairage; ce qui rend moins difficile la comparaison avec les informations déjà connues car l'image est beaucoup plus stable et facile à traiter par le calcul.
Matériel :
- Kinect
- RaspberryPi
- Batterie pour la RaspberryPi (à préciser)
- Câble pour connecter la Kinect à la RaspberryPi (à préciser)
- Câble pour connecter la RaspberryPi au Robotino (à préciser)
Liste des tâches à effectuer
- Connexion de la kinect à la RaspberryPi
- Fonction pour récupérer l'image vue par la kinect
- Fonction permettant l'extraction des contours sur cette image
- Extraction des contours d'après les modélisations 3D à notre disposition
- Fonction de comparaison
- Connexion de la RaspberryPi au Robotino
- Fonction permettant l'envoi de l'id de la machine reconnue au Robotino
- Fonction permettant l'envoi de la demande au Robotino de se déplacer pour visualiser une autre phase de la MPS
Calendrier prévisionnel
Réalisation du Projet
Feuille d'heures
| Tâche | Séance 0 | Séance 1 | Séance 2 | Séance 3 | Séance 4 | Séance 5 | Séance 6 | Séance 7 | Séance 8 | Séance 9 | Séance 10 | Total |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Analyse du projet | 6 | 6 | ||||||||||
| Mise en place du protocole de reconnaissance | 0,5 | 0,5 | 0,5 | 1 | 2,5 | |||||||
| Utilisation de la profondeur d'image | 2 | 2 | ||||||||||
| Solution IBM - Watson | 0,2 | 0,2 | ||||||||||
| Kinect (choix, configuration..) | 2 | 2 | ||||||||||
| Fichier MPS 3D .wrl | 0,2 | 0,2 | ||||||||||
| TOTAL | 13 |
Séance 0
- connaissance/mise en place du CDCF
- analyse concurrentielle
- analyse matérielle
- réponses aux questions difficiles/vagues
Séance 1 - 15/01/18
- choix de la kinect360
- possible kinect - ROS - Raspberry
- Choix du CDCF pour reconnaitre une MPS
- le robot se met “face” à la MPS
- si il trouve → s'arrête
- sinon refais sur une autre face
- associe les proba de la 1ere face et la 2eme
- si toujours pas de pourcentage assez élevé
- fais sur une troisieme face et ainsi dessuite…
- fin au bout de 4 faces repérées
- WIKI mis à jour
- Excel pour séances et nombres d’heures passées
Séance 2 - 17/01/18
- format fichier MPS 3D .wrl
- prendre point associés qu’à la partie haute
- Code en plusieurs parties :
- récupération de la surface de l'objet avec fichier wrl (plan 3D)
- récupération des points infra-rouge de la kinect
- récupération d’une photo 2D prise avec la kinect
- programme qui passe plan 3D en 2D → besoin de la couleur ? surtout forme objets ?
- 1ere comparaison avec photo 2D (si gain de temps) - machine learning sur piece 2D
- si reconnaissance <70%
- sinon passe à la 2eme comparaison
- 2eme comparaison : fichier 3D - points relevés avec la kinect - machine learning sur piece 3D ? On prend que la profondeur ?
(Si oui, algo pour reconnaissance d’image et entrainement avec une base de données)
- Si Pourcentage entre les machines reconnus >70% algo fin et renvoie de l’ID de la MPS sinon --> refait la même chose avec une autre face
- Si <70% garde analyse en pourcentage et efface points kinect
Scéance 3 - 18/01/18
- Solution pour code :
- faire avec photos 2D
- essayer avec l’outil de google (https://cloud.google.com/vision/?hl=fr - https://cloud.google.com/ml-engine/)
- reprendre le code
- enlever la dernière couche
- mettre les photos d’une machines
- obtenir un vecteur (correspond au coefficient des noeuds)
- repasser ce vecteur dans l’algorithme
- essayer avec l’outil d’IBM (https://www.ibm.com/watson/services/visual-recognition/ ) avec 20 photos → donne déjà assez bon résultat
- transferred learning --> pas pour nous
