Site web par SMS

Présentation

cahier des charges

Objectif :

Réaliser une plateforme permettant un accès à des services web simples uniquement par SMS.

Description :

La consultation de site internet ou la lecture de courriel est devenue monnaie courante sur téléphone. Ces services peuvent être fortement limités lorsque la couverture réseau est faible ou à l'étranger (coût de la connexion). Ce projet propose de réaliser une application Android permettant de lire ses courriels ou accéder à des sites tels que twitter uniquement par le biais de SMS. Il conviendra :

• de mettre en oeuvre un module GSM compatible Arduino qui recevra et transmettra les SMS de et vers un téléphone mobile,
• réaliser une application client sous Android.

Développement Android

Spécification techniques

Les points suivant représente les problématiques techniques induites par le cahier des charges.

• L'application doit pouvoir stocker les mails. En effet il est primordial que toutes informations reçues ne soient pas re-demandées à l'arduino.
• L'application doit limiter le nombre s’envoie de SMS, principalement pour des raisons économique (le coût pour l'utilisateur de l'envoie de SMS) mais également de temps de réponse.
• L'interface et le design principal doit cacher le fonctionnement par SMS. On visera une qualité professionnelle en terme de design, clarté, expérience utilisateur.

Choix techniques

Pour répondre au cahier des charges ainsi qu'aux spécifications techniques voici les solutions techniques retenues :

• Langage android

Pour une plus grande flexibilité et une expérience pédagogique intéressante le développement se fera sans framework. Les logiciels utilisés sont Eclipse et les librairies android IDE uniquement. L'interface est décrite en langage XML spécifique à android et le coeur est en Java-Android.

• Base de données

Toutes les informations relatives aux mails sont dynamique. On utilisera donc une base de données SQLiteDatabase. Cette base de données sera optimisé et complète pour pouvoir traiter un nombre de mail important.

• Fonctionnement en fond

//TODO solution efficace et bien personnelle

Avancement du Projet

Séance 1 (04/02/13)

Partie Android

Début le lecture de tutoriels Android. Le tuto le plus complet et accessible pour tous niveaux : Le site du zéro

Liste des points important, l'application doit :

• Envoyer / recevoir des SMS
• Masquer l'utilisation de ces SMS, rendre la communication invisible
• Stocker des données / les traiter

Remarque : il est important de minimiser l'envoie de SMS.

Partie Arduino

• Prise en main du sujet
• Etude de la documentation du module TM2 GSM/GPRS de chez TELTONIKA, modem fourni par le service info pour le projet.
• Etude de la platine EasyGsm de chez MikroElectronika, support de connection pour le module TM2 et son Antenne

Séance 2 (07/02/13)

Partie Android

Objectifs :

• Envoyer/recevoir des SMS
• Créer les premières "Activités", les vues, de l'application.

Envoi de SMS : Deux tutos utiles mobiforge (anglais) et tutomobile (français). L'envoie de SMS est géré entièrement par la librairie Android.

Réception de SMS : Voir le cours du Site du Zéro et/ou vogella (anglais) Utilisation de la classe BroadcastReceiver.

Remarque de conception : Un BroadcastReceiver peut être instancié soit dynamiquement dans une activité Android, soit par le système. Dans un cas ces deux objets Java peuvent interagir par appel de méthode, dans l'autre cas non. Cependant l'avantage de lancer de BroadcastReceiver par le système est que celui ci existera même si l'application n'est pas lancée. Ainsi le système peut recevoir des SMS même si l'utilisateur n'a pas lancé l'application et même s'il n'utilise pas son téléphone.

Partie Arduino

• 1er communication "à la main" à l'aide des commandes AT avec le module GSM grâce à un adaptateur TTL/RS232 (Module <--> PC) bricolé à base d'un MAX232.
• 1er Communication avec la carte SIM (B&You) insérée dans le module. Nous arrivons à nous identifier avec le code PIN mais l'identification ne reste que quelques secondes. Nous suspectons un problème d'alimentation car la documentation nous apprend que le module passe automatiquement en recherche de réseau après que l'on ai rentré le Code PIN et consomme ainsi plus de courant qu'au repos.

Séance 3 (11/02/13)

Partie Android

La création des activités (vues) Android avance, cependant petite difficulté pour passer d'une vue à une autre. Bon tuto trouvé ici.

L'organisation proposé est la suivante :

• Vue 1 connexion, protection par mot de passe, choix du numéro de téléphone de l'Arduino
• Vue 2 liste de services, lecture et écriture de mails ?
• Vue 3 liste des mails reçus
• Vue 4 lecture d'un mail

Partie Arduino

• Mesure de la Consommation du module : 30mA au repos / 200mA en recherche de réseau
• Test des différentes sources d'alimentation disponibles en salle E306.

• Problèmes : Brancher le module directement sur la sortie 5V de l'Arduino n'est pas suffisant. Utiliser un transformateur secteur n'est pas très pratique

• Solution trouvée ! : Utiliser un autre port USB que celui qui permet la programmation de l'Arduino pour alimenter le module. Indentification PIN Stable.

• 1er envoie de SMS !

Séance 4 (14/02/13)

Partie Android

Développement en quelques heures d'une application autonome.

L'application joue seule à un jeu de "Plus ou Moins". Elle génère un nombre aléatoire. Elle envoie (à elle même) des estimations (par dichotomie) par SMS. Elle récupère les SMS reçus, analyse les estimations et répond par "+ ou -" Etc...

Ce test rapide m'a permis de tester le fonctionnement en totale autonomie des classes de réception et d’envoi de SMS. Remarque : l'envoie se fait dans l'activité et le BroadcastReceiver est instancié dans l'activité.

Objectif à venir :

• Créer un Service lié à l'envoi de SMS capable de construire les messages en parallèle.
• Trouver comment faire communiquer des activités, des services et des BroadcastReceiver.

Partie Arduino

• On essai de faire communiquer le module GSM avec un PC à travers un Arduino UNO (pour commencer).

• Problèmes : Utiliser les broches RX/TX de l'Arduino n'est pas viable si l'on veut envoyer une commande et visualiser correctement le resultat. Utiliser d'autres broches et la librairie Software Serial fournie de base avec l'IDE Arduino ne comporte par définition aucun élément Hardware comme par exemple les buffers d'emission/reception, on risque donc de perdre des données.

• Solution trouvée ! : Utiliser un Arduino Mega 2530 qui comporte 3 vraies UART supplémentaires. On aura donc Serial0 (Arduino <--> PC) et Serial1 (Arduino <--> Module GSM).

Séance 5 (25/02/13)

Partie Arduino

• Detarmination des commandes AT utiles au projet.

    AT      : Renvoie simplement OK
    AT+CPIN : Permet fournir le Code PIN de la carte SIM au module 
    AT+COPS : Permet de slecttionner un operateur
    AT+CMGF : Permet de choisir le mode d'envoie des SMS (ici mode TEXT)
    AT+CMGS : Permet d'envoyer un SMS
    AT+CMGR : Permet de lire un SMS dans la mémoire de la SIM en précisant son Id
    AT+CMGD : Permet de supprimer un SMS dans la méméoire

• Implémentation d'une fonction dans l'arduino pour faire le lien entre les liaisons séries. (RX sur S0 --> TX sur S1 et inversement)

    void GSM_Terminal_Command()

• 1er envoie de SMS à travers l'Arduino Mega !

    Hello World !

Séance 6 (27/02/13)

Partie Android

Pause dans la partie SMS.

Nouvel objectif : stoker les mails.

Après plusieurs recherches, la solution la plus adapté est l'utilisation de base de données. Cette fonctionnalité est déjà proposé par Android. Trois classes sont nécessaires :

• une classe abstraite (DAOBase). Elle implémente les fonctions d'appel de création, destruction, et d'ouverture de la base de donnée. Cette classe permet également de gérer des versions de base de donnée.

• Une classe (DataBaseHandler) qui hérite de SQLiteOpenHelper.

Elle implémente les fonctions de création et destruction des tables. Toutes les requêtes de création sont écrite dans cette classe.

• La classe principale (MailReceivedDAO) qui hérite de la classe abstraite précédente. Elle implémente toute les fonctions de manipulation de la base de donnée. Toutes les requêtes liées sont implémenté dans cette classe.

Partie Arduino

• Implémentation de toutes les primitives nécessaires à la commande du module GSM par l'Arduino liées au commandes AT.

    void GSM_Init_PIN(char * pin);
    void GSM_Init_NET();
    void GSM_Send_SMS(char * tel,char * mess);
    void GSM_Read_SMS(int num, int disp);
    void GSM_Del_SMS(int num);
    void GSM_Clear_SIM();

Séance 7 (28/02/13)

Partie Arduino

• On continu de travailler sur void GSM_Read_SMS(int num, int disp) afin de bien extraire le numéro de l'expéditeur et le message d'après ce que le module nous renvoi.

• Mise en forme des données affichées dans le terminal ( "[ Service : Time Code ] Message" )

Séance 8 (04/03/13)

Partie Arduino

• Etude de différentes librairies permettant d'utiliser un TIMER avec l'Arduino. Candidat retenu : "SimpleTimer" (http://playground.arduino.cc/Code/SimpleTimer)

• Etude du Protocol Mail,POP3, Header...

Ci-dessous les commandes POP3 utiles au projet

(Source : http://irp.nain-t.net/doku.php/180pop3:020_commandes)

    NOOP    : Permet de garder la connexion active en ne faisant rien
    USER    : Commande pour rentrer le login
    PASS    : Commande pour rentrer le password
    UIDL    : Affiche le tableau de correspondance Num/Id
    RETR n  : Affiche le message complet de numéro n
    TOP n x : Affiche l'entête et les x premières lignes du mail n
    QUIT    : Ferme la connexion

Séance 9 (06/03/13)

En Commun

• Mise en Place du Protocol Android ---> Arduino ( "#Commande%Argument&" )

    #P%n& : Commande de PING où n est un entier que l'arduino doit renvoyer
    #D%n& : Demande des Id des n derniers mails recus
    #H%id1+id2+id3...+idn& : Demande des Headers des mails correspondant aux différents id
    #M%id& : Demande du Corps du Mail correspondant à l'id en argument
    #T%id& : Envoi dans l'ordre de tout les id des mails plus récents que l'id en argument.
    #V%(0 ou 1)& : Permet à l'application Android d'indiquer si elle va envoyer des requetes 
                   ou si l'arduino doit lui même scruter les nouveaux mails 
                   sans jamais recevoir d'accusé ("Mode Etrangé" ou Economique)

Partie Arduino

• Implémentation des fonctions d'interprétation du contenu des SMS (Execution des Commandes)

    void GSM_Com_Execute();

Séance 10 (07/03/13)

Partie Arduino

• Test du Parsing SMS et de toutes les commandes (sans appelle de fonction de traitement)
• 1ers tests de la partie réseau du Shield Ethernet Arduino
• 1ers tests de la partie Carte SD du Shield Ethernet Arduino

Séance 11 (11/03/13)

Partie Arduino

• Test de differentes solutions de traitement des données du serveur POP3. Structure,Variables Globales, Carte SD...

• Solution retenue : ne pas utiliser la carte SD et traiter les données dès leur arrivée.

Séance 12 (13/03/13)

Partie Arduino

• Implémentation des Fonctions de Connection/Deconnection au serveur de Mail POP3

    void ETH_Init(int config);
    void POP3_Connect(char * login, char * pass, int config);
    void POP3_Disconnect();

Séance 13 (18/03/13)

Partie Arduino

• Implémentation des Primitives permetant de récupérer la liste des Id des messages (UIDL), L'entete d'un message et le corps.
• Dans cette 1er version tout est sauvegardé dans des structures ou des tableaux de charactères tout en essayant d'optimiser la place des données en RAM.
• Rq : Ces fonctions sont appelés pour chaque Mail

    void POP3_Head(int n);
    void POP3_Mess(int n);
    void POP3_UIDL();

Séance 14 (20/03/13)

Partie Arduino

• Implémentation des fonctions de conversion Num <-> Id, où Num est le numéro du message dans la liste, c'est ce qui est utilisé dans les commandes TOP ou RETR du protocol POP3 alors que l'Id est une chaîne de caractère qui l'identifie de façon unique.

    char * POP3_NumToId(int n);
    int POP3_IdtoNum(char id[100]);

Séance 15 (21/03/13)

Partie Arduino

• Implémentation d'un fonction très importante.

    int POP3_Extract_File(char *cmp,char fin);

Elle permet à partir d'une source de données brutes suite à la récupération de l'entête, du corps, ou autre... de détecter des mots clés et de récupérer la chaîne de caractère située entre ce mot clé et la fin de la ligne (ou délimiteur perso). Le principe est celui du fenêtrage. Puisque l'on lit les données du module ethernet caractère par caractère on rempli un tableau par la fin et on décale à chaque fois vers le haut. Quand le tableau contient le mot recherché on enregistre en tant que résultat tout la suite de la ligne.

• Rq : Toutes les manipulations de chaînes de caractères sont réalisées grâces au fonction de la librairie "String" standard du C et disponible sur Arduino

(Liste des fonctions : http://fr.wikipedia.org/wiki/String.h).

Séance 16 (25/03/13)

Partie Arduino

• Integration de POP3_Extract_File() dans des fonctions permettant l'analyse de l'entête et du corps une fois ceux ci enregistrés par les fonctions vu précédement.

   void POP3_Read_Top(int n);
   void POP3_Read_Mess(int n);

Séance 17 (27/03/13)

Partie Arduino

• Realisation avec Altium du Typon du PCB permetant de relier le module à l'Arduino comme un Sheld standard.

Séance 18 (28/03/13)

En Commun

• Mise en place du Protocol Arduino --> Android

    pong%n : Reponse au PING
    L%id1+id2+id3+... : Renvoi des Id demandés
    E%id%auteur%cc1;cc2;cc3;...%date%objet%type : Envoi de l'Entête demandée
    C%id%corp : Envoi du Corps de mail demandé
    NO : Indique qu'il n'y a pas de nouveaux mails

Partie Arduino

• Implementation des fontions mettant en forme les données et permettant l'envoi d'un id, d'une entête et d'un corps à l'application android

    void Send_Head(char * id);
    void Send_Mess(char * id);

Séance 19 (03/04/13)

Partie Arduino

• A partir des primitives implémentées à la séance précédente, on créé les fonctions correspondant aux ordres possibles provenant de l'application android

    void Send_LastN(int n); // Envoie les Id des n derniers mails
    void Send_AllId(char *id); // Envoie les Id de tout les mails plus recent que l'id en paramètre

Séance 20 (04/04/13)

Partie Arduino

• Recuparation du PCB auprès du service electronique, perçage des trous, mise en place des connecteurs

Séance 21 (08/04/13)

Partie Arduino

• Refonte des fonctions d'enregistrement et d'analyse des données POP3 et GSM. Utiliser des structures et des tableaux de caractères s'ai avéré mal adapté quand il a fallu prendre en compte de grandes quantités de données.

Nous avons donc utilisé le Slot Carte SD disponible sur le Shield Ethernet Arduino

Refonte des fonctions suivantes :

    void POP3_Head(int n);
    void POP3_Mess(int n);
    void POP3_UIDL();

    int POP3_Extract_File(char *cmp,char fin);

    void GSM_Rx(int disp);
    void GSM_Read_SMS(int num, int disp);

• Creation de fonctions liées à la gestions de la carte SD cachant l'utilisation de librairie SD Arduino

(Source : http://arduino.cc/en/Reference/SD)

    void F_Init();                        // Initialise la Carte SD
    void F_Open_R(int fc,char *name);     // Ouvre un fichier en Lecture
    void F_Open_W(int fc,char *name);     // Ouvre un fichier en Ecriture
    void F_Close(int fc);                 // Ferme un fichier indiqué par son descripteur
    void F_Display(int fc,char * name);   // Affiche le contenu d'un fichier dans le terminal

Séance 22 (10/04/13)

En Commun

• Nous avons réalisé que le module GSM n'accepté pas de messages de plus de 160 caractères ce qui pose vite problème concernant le corps du mail ou même dans certains cas pour les envois d'entêtes. Nous avons donc decidé de modifier le protocal Arduino --> Android de la façon suivante en tenant compte de la fragmentation

    ##            : En debut de chaque SMS si non fragmentation 
    #id;num;size# : En debut de chaque SMS si fragmentation

Avec :

    id   : Un entier quelconque mais différent pour chaque message en cours de fragmentation
    num  : Un entier de 0 à size-1 correspndant à la partie de message en cours d'envoie
    size : Un entier entre 02 et 99 correspondant au nombre total de parties

Partie Arduino

• Implementation d'une fonction permetant à partir d'un fichier texte de le découper en plusieurs parties de 155 caractères (entêtes de fragmentation incluses) et de les envoyer au fur et à mesure de la lecture.

    void Send_Cut(int fc, char * name, char * head);

• Modification des fonctions d'envoi pour tenir compte de la fragmentation

    void Send_Head(char * id);
    void Send_Mess(char * id);
    void Send_LastN(int n);
    void Send_AllId(char *id);

Séance 23 (11/04/13) et Vacances

Partie Arduino

• On continue de travailler sur le "Parsing" des Entêtes et du Corps afin de gerer des types de Mails différents tels que le Text/Plain, le Multipart/Alternative et le Text/Html.

• Rq : Le traitement est loin d'être exhaustif mais permet déjà de traiter les cas principaux. Un parsing plus avancé serait necessaire en cas de commercialisation de l'application

• Identification du type d'encodage des caractères

• Finalisation de l'envoi fragmenté

Séance 24 (29/04/13)

• Tests et Fusions

Partie Arduino

• Modifications dans tout le code selon les bugs detectés
• Implémentation de "Gardes fous" et détections de certaines erreurs (Erreur de Parsing, Erreur de Connexion POP3, ...)

Séance 25 (02/05/13)

• Réalisation de la Vidéo de notre projet et finalisation du Wiki