P33 Réalisations en faveur de l'accessibilité de jeux vidéos

Cahier des charges

Présentation générale du projet

Contexte

La Gerlotte de l'association La vie,autrement ...

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ? En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

Objectif du projet

Permettre à des personnes handicapées l'accès aux jeux vidéos.

Description du projet

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam... Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

Étapes du projet

• Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
• "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
• Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

Choix techniques : matériel et logiciel

• Arduino Leonardo [fourni le 13/10/2015]
• STM32F4-Discovery Board [fourni le 13/10/2015]
• Sparkfun Analog Joystick [fourni le 21/10/2015]
• 2 boutons poussoirs [fourni le 21/10/2015]

Avancement du Projet

Semaine 1 (du 28/09/2015 au 04/10/2015)

Rendez-vous à la Gerlotte du mercredi 30/09/2015 :

• Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
• Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
• Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
• Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

Semaine 2 (du 05/10/2015 au 11/10/2015)

Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf CapGame) :

• GlovePie : commande des jeux par la voix
• AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
• Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
• UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
• Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

Semaine 3 (du 12/10/2015 au 18/10/2015)

Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :

• adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier (lien), solution orientée pour la console Nintendo Wii
• création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
• intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

Semaine 4 (du 19/10/2015 au 25/10/2015)

Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)

Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : JoystickLeonardo

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

Test de Kirby Nightmare in Dreamland sur GBA fonctionnel

Arduino Leonardo comme manette de jeux

Semaine 6 (du 02/11/2015 au 08/11/2015)

Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:

• découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
• observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
• présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
• discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

Semaine 7 (du 09/11/2015 au 15/11/2015)

Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

Contacteur Jelly Bean Twist

Semaine 8 (du 16/11/2015 au 22/11/2015)

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

Semaine 9 (du 22/11/2015 au 29/11/2015)

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:

• Présentation du prototype et des améliorations qui ont été apportées
• Discussion sur les prochaines modifications:
  • Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
  • Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.
• Nous envisageons de visiter le salon Autonomic de Lille, (3 et 4 décembre 2015) afin de mieux appréhender la manière dont les outils pour personne à mobilité réduite sont développés et s'informer de l'avancée technologique dans le domaine du handicap et de l'autonomie à domicile.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:

• Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
• Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
• Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement l'on puisse profiter des réalisations.
• Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.