P33 Réalisations en faveur de l'accessibilité de jeux vidéos

Cahier des charges

Présentation générale du projet

Contexte

La Gerlotte de l'association La vie,autrement ...

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ? En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

Objectif du projet

Permettre à des personnes handicapées l'accès aux jeux vidéos.

Description du projet

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam... Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

Étapes du projet

• Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
• "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
• Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

Choix techniques : matériel et logiciel

• Arduino Leonardo [fourni le 13/10/2015]
• STM32F4-Discovery Board [fourni le 13/10/2015]
• Sparkfun Analog Joystick [fourni le 21/10/2015]
• 2 boutons poussoirs [fourni le 21/10/2015]

Avancement du Projet

Semaine 1 (du 28/09/2015 au 04/10/2015)

Rendez-vous à la Gerlotte du mercredi 30/09/2015 :

• Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
• Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
• Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
• Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

Semaine 2 (du 05/10/2015 au 11/10/2015)

Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf CapGame) :

• GlovePie : commande des jeux par la voix
• AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
• Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
• UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
• Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

Semaine 3 (du 12/10/2015 au 18/10/2015)

Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :

• adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier (lien), solution orientée pour la console Nintendo Wii
• création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
• intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

Semaine 4 (du 19/10/2015 au 25/10/2015)

Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)

Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur le repertoire Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : JoystickLeonardo

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

Test de Kirby Nightmare in Dreamland sur GBA fonctionnel

Arduino Leonardo comme manette de jeux