P7 Utilisation d'un Robot Nao pour les enfants autistes

Cahier des charges

Contexte

De nos jours, la robotique envahi nos foyers de plus en plus. On peut les remarquer dans nos cuisines mais aussi dans nos salons. La société Aldebaran Robotics est allé plus loin en créant un robot humanoïde du nom de NAO. Véritable compagnon éléctronique, ce robot est entièrement programmable et autonome et mesure 60 cm et présente des intérêts dans tous les domaines qu'il soit industriel, pédagogique mais aussi sociologique. GAPAS est une associaciation de plusieurs services au personnes handicapées. Parmi ceux-ci, on retrouve l'aide aux enfants autistes avec des difficultés visuelles. L'éducation de ces enfants diffère de celle donnée dans les écoles régulières. Il est important de s'adapter à leur(s) déficience(s) et donc de s'adapter à chacun d'eux. L'autisme se caractérise par des difficultés cognitves, socio-affectives et motrices. Cela se reflète par des troubles de la communication et de mauvaise compréhensions des émotions de leurs interlocuteurs et entraîne un repli de l'enfant. Le robot Nao par sa voix neutre et son manque d'expression faciale peut aider un enfant atteint de ces difficultés à apprendre et interagir avec le monde

«  Les enfants autistes ont un besoin d’attention considérable et NAO permet de combler ce vide en proposant des jeux simples, sans jamais se lasser. Le robot et l’enfant autiste partagent un trait commun : une lassitude inexistante. NAO vient les aider en éduquant et en faisant jouer les enfants sans se lasser. » (site internet : robotique TPE)

Objectif

Imaginer une collaboration avec la création de séquences de jeux et d’exercices éducatifs spécifiques aux problématiques rencontrées par les jeunes en utilisant l’aspect ludique et novateur de Nao. Il s’agirait de développer, en lien avec les professionnels un programme dédié à l’éducation des enfants souffrants de l’autisme : utiliser un robot Nao dans le cadre de leur accompagnement, pour stimuler les apprentissages. Par l’intermédiaire du Robot, on vise à stimuler les capacités de concentration, la capacité d’écoute, les interactions donc le travail sur la reconnaissance et l’expression des émotions.

Il s’agirait de développer des applications éducatives ayant toutes un objectif thérapeutique bien précis.

Rapport de soutenance Mi-parcours [[Fichier:Fichier:Projetpfenaomi.jpg]]

Caractéristiques du NAO

Hauteur 58 cm

Poids 4,8 kg

Autonomie 90 min

Degrés de liberté de 14 à 25 selon la version

Processeur Intel ATOM 1,6 GHz (V4) ou AMD Geode 550Mhz (V3.3 ...) selon la version

Système d'exploitation intégré Linux

Systèmes d'exploitation compatibles Windows, Mac OS, Linux

Langages de programmation C++, Python, Java, MATLAB, Urbi, C, .Net

Connectivité Ethernet, Wi-Fi ( b,g,n )

Vision 2 caméras 920p, 30ips (localisation, reconnaissance de visages ou d'bojets)

Audio 4 Microphones (reconnaissance vocale, localisation de source)

Capteurs:

-1 Capteur tactile au niveau de la tête et 1 au niveau de chaque main

-2 bumpers (capteur de contact) au niveau des avant-pieds

-2 sonars utilisant des capteurs ultrason (émetteurs et récepteurs)

-1 accéléromètre 3 axes

-2 gyromètres

-2 LED infrarouges

-2 Haut-parleurs (synthèse vocale)

Exemple de collaboration avec NAO [ https://www.youtube.com/watch?v=8BiayzQxTQA ]

Déroulement du projet

Semaine 1 : 15/09 - 21/09

Prise de contact avec les différents acteurs du projet.

Semaine 2 : 22/09 - 28/09

Recherche sur les besoins des enfants autiste. Constitution d'un dossier avec des méthodes de développement

Méthode ABBA [1]

Méthode de développement Fichier:Autisme.pdf

Méthode TEACCH Fichier:TEACCH.pdf

Semaine 3 : 29/09 - 05/10

Mise en place d'un cahier des charges et prise de rendez vous avec l'IME la pépinière

Semaine 4 : 06/10 - 12/10

Entretien avec notre professeur encadrant M. Grisoni. Différents points ont été abordés, notamment:

-La bonne prise en main du projet et l'élaboration du cahier des charges.

-La faisabilité du projet au regard des capacités techniques du NAO (Technologie embarquée, temps de charge, logiciels,... )

-Le déroulement des séquences de jeux et la prise en compte de chaque détail dans la réalisations de celles ci.

Semaine 5 : 13/10 - 19/10

Rencontre avec les représentants de GAPAS à l'IME la pépinière à Loos, en présence notamment des accompagnateurs des enfants et adolescents atteints d'autisme et de déficience visuelle, ainsi qu'une orthophoniste qui suit régulièrement le progrès de ces derniers.

-Présentation du robot NAO et discussion autour de ces différentes possibilités techniques.

-Débat autour de la faisabilité du projet et de l'influence d'un robot tel que NAO dans le processus d'épanouissement et d'éveil d'enfants atteints d'autisme.

- Discussion autour des différentes possibilités de séquences de jeux entre le robot et les enfants qui favoriseraient le développement dudit processus. Prise en compte des différences entre enfants et adultes (salle Esperenza et salle Argos)

-Dialogue autour de la technologie à utiliser pour que le NAO puisse reconnaitre chaque enfant en sa présence. Utilisation de la technologie RFID par exemple, notamment sous forme de patch à coller sur des vêtements.

-Choix d'une première séquence de jeu avec le robot qui permettrait une approche initiale avec les enfants.

-Visite des locaux et des salle de jeux

Semaine 6 : 20/10 - 26/10

Suite à la rencontre au sein de l'IME la pépinière, nous avons commencé un brainstorming autour des technologies à utiliser pour la réalisation de séquences de jeux avec le NAO et les enfants. Etant donnée le manque de fiabilité de la reconnaissance faciale ou vocale du NAO, il nous a fallu trouver une solution pour pallier à ce problème afin que le robot puisse reconnaitre et interagir avec les enfants présents lors des séances. Des lors, plusieurs solutions nous ont parues réalisables:

-Utilisation de puces BLE (Bluetooth Low Energy)

-Utilisation de la technologie RFID (Radio Frequency IDentification)

-

Nous avons également demandé l'accès au NAO afin que l'on puisse débuter la programmation de la première séquence.

Semaine 7 : 27/10 - 02/11

Vacances de la Toussaint.

Semaine 8 : 03/11 - 09/11

Discussion via emails avec GAPAS pour définir la technologie à utiliser lors des séquences de jeux. Ici, plusieurs paramètres ont été pris en compte, notamment le prix des composants, leur fiabilité et l'implémentation de la technologie en question.

Robot NAO toujours indisponible pour le début de la programmation.

Semaine 9 : 10/11 - 16/11

Récupération du robot NAO et prise en main du logiciel de programmation associé "choregraphe". Test des différents modes de connexion du robot afin de choisir le plus adapté aux futurs exercices.

Semaine 10: 17/11 - 23/11

Développement de la première séquence sur "choregraphe" qui permettra une première approche entre les enfants et le NAO.

Semaine 11: 24/11 - 30/11

Finalisation de la séquence, vérification et test.

Cette séquence sera réalisée de la façon suivante:

-NAO se lève puis, fait quelques pas et se présente en disant "Bonjour je suis NAO et je suis un robot, et toi, comment t'appelles tu ?"

-Un enfant arrive et lui répond. Lorsque c'est chose faite, un éducateur appuie sur la tête du NAO.

-NAO répond alors "Appuie sur ma main" en tendant la main droite.

-NAO attend un contact avec sa main droite puis répond "c'est bien".

-A ce stade, l'éducateur à deux possibilités: appuyer sur la tête du NAO pour que celui ci demande à un second enfant de se présenter puis d'appuyer sur sa main droite, ou appuyer sur sa main gauche afin que le robot exécute une danse et dise au revoir aux enfants.

Séquence réalisée afin de favoriser un premier contact visuel, tactile et auditif avec les enfants.

Prise de rendez vous avec les représentants de GAPAS afin d'effectuer un premier test avec les enfants.

Semaine 12: 01/12 - 07/12

Amélioration du programme précédent, notamment en ajoutant un bruitage encourageant lorsque l'enfant réussi a appuyer sur la main du robot, et en ajoutant une musique d'introduction lorsque le robot se lève et fait quelques pas.

Ajout de quelques mouvements afin d'accompagner les paroles de NAO.

Confirmation du rendez vous à l'IME pour la semaine suivante.

Semaine 12: 08/12 - 14/12

expérience avec les enfants