Projets:Read For Me V3

Description du projet

Le but est de créer une machine à lire capable d’acquérir le texte à partir d'une capture d'image et de le lire au moyen d’une synthèse vocale.

Historique du projet

• Le projet est basé sur PiTextReader

• Il a été initié lors du Fabrikarium 2020 : Read_For_Me (V1)

• Puis développé lors de l'événement "Focus Vision" : Read_For_Me_V2

Version actuelle

Le code est disponible sur github.

Objectif du Fabrikarium

1. Design

• Revoir le design pour augmenter la stabilité

2. Fonctionnalités

• Améliorer le séquencement
• Améliorer l'OCR (multicolomne)
• Rendre fonctionnel le bouton On/Off
• Ajouter un haut parleur

3. Performance

• Améliorer les performances

Autres pistes et questions :

• Détection automatique de l'orientation du texte (portrait/paysage)

Cahier des charges

Voir le cahier des charges de la V1

Analyse de l'existant

Voir l'analyse de l'existant de la V1

Equipe (Porteur de projet et contributeurs)

• Porteurs du projet : François, Laurence
• Concepteurs/contributeurs : Jean-Jacques, Audrey, Roger, Marie, Déborah, Quentin, Florian, Rémi
• Fabmanager référent :
• Responsable de documentation : Laurent

Matériel nécessaire et coût

• 1 Raspberry pi 4 ou 3 modèle B
• 1 caméra pour Raspberry Pi
• 1 batterie 5V USB avec deux sorties USB
• du ruban LED RVB addressable
• 1 enceinte
• 1 circuit d'amplification
• CP peuplier
• filament PLA pour impression 3d

Référence	coût unitaire	nombre	coût	liens
Raspberry pi 4	60€	1	60€	kubii.fr
Carte microSD 16Go	10€	1	10€
Module caméra Raspberry pi	27,90€	1	27,90€	kubii.fr
Nappe Cable pour module caméra	1€	1	1€	kubii.fr
Ampli audio mono	14,90€	1	14,90€	gotronic doc
Haut parleur 80mm 5W 4ohms	10,00€	1	10,00€
Batterie portable USB 2 ports	20€	1	20€
Boutons poussoirs	0.5€	11	5.5€
Ruban led 2 x 8cm	5€	1	5€
Prise jack 3.5mm stéréo	1€	1	1€
Mini câble USB-A/USB-C	2€	1	2€

• Stripboard pour fixer les boutons poussoir au boitier.
• Quelques petites vis pour fixer le Raspi au boitier

Outils nécessaires

• Imprimante 3d
• Découpeuse laser
• Fer à souder

Fichiers source

Sources + fichiers machine

• Boutons (sources Solidworks, .step et .stl)

• Logo (sources Solidworks, .step et .stl)

Remarque

Trois logiciels propriétaires ont été utilisés pour les deux prototypes.

• Catia pour le prototype 1
• Sketchup pour le prototype 2
• Solidworks pour les boutons

Les fichiers de sortie sont exploitables sans accès à ces logiciels (dxf pour les découpes et stl pour les impressions) mais c'est plus compliqué avec les fichier sources natifs de chaque logiciel.

Catia et solidworks peuvent produire des step, qui ne sont pas maillés contrairement au stl, mais qui ne permettent pas d'accéder aux "primitives" de modélisation.

Prototype 1

• Prototype 1 (sources Catia, fichier de découpe .dxf/.svg et fichier d'impression .stl)

• Découpe CP 3mm pour le boitier (fichier RFM_proto1_decoupe_boitier.dxf|svg)

• Impression bras support de caméra en deux parties

Prototype 2

• Prototype 2 (sources Solidworks, .step, fichier de découpe .dxf/.svg et fichier d'impression .stl)

• Découpe CP 3mm pour le boitier (fichier RFM_proto2_decoupe_CP_3mm.svg)

• Impression entretoises et support de caméra

Etapes de fabrication pas à pas

Fabrication Prototype 1

1. Découpe et impression des pièces

Voir les fichiers source plus haut.

2. Assemblage du boîtier

Pour ce prototype, les différents éléments sont fixés au pistolet à colle.

Fabrication Prototype 2

1. Découpe et impression des pièces

Voir les fichiers sources plus haut.

2. Assemblage du boîtier

Pour ce prototype, les différents éléments sont fixés à la superglue, et maintenus en place avec du ruban adhésif de peinture pendant la prise de la colle.

Cablâge

Schémas de cablage

Broche	Bouton/fonction
3	On/Off
5	Annuler
6	Capture
13	Volume +
19	Volume -
26	Vitesse de lecture +
23	Vitesse de lecture -
20	Play/pause
16	Avancer
12	Reculer
7	Niveau batterie (non implémenté) } Circuit audio Durée de fabrication du prototype final Développement du Fabrikarium 2021 Design Au regard du retour d'expérience sur les deux prototypes précédent au format "table", on décide d'abandonner l'idée et de revenir sur un boitier directement posé sur la table. Problème : nous ne disposons pas d'une nappe suffisament longue pour la déporter par dessus la feuille. Il est donc décidé de partir sur deux prototype : Prototype 1 - à plat: boîtier posé sur la table avec un bras articulé pour déporter la caméra au dessus de la feuille Prototype 2 - chevalet : boîtier posé sur un côté et sur deux pieds rétractables avec la caméra proche du Raspberry Pi mais qui permet néanmoins plus de stabilité. Prototype 1 Prototype 2 Hardware Changement de capteur Testé et fonctionnel Il y a des problème de qualité optique avec le capteur actuel pour laquelle une partie de la page est floue. On essaie donc une nouvelle raspicam version 2.1 avec 8 megapixels au lieu de 5, et les résultats semblent effectivement bien meilleurs. Calcul théorique de la distance de prise de vue** D'après ce tutoriel, on peut calculer la distance de la caméra à la page (D) en fonction de la taille du capteur (y), de la distance focale (f) et de la taille de la page (Y) : D = (f * Y) / y Le capteur fait 1/4" soit **3,6 x 2,7 mm**, avec une focale de **3,04 mm** direction distance focale taille du capteur taille de la page distance obtenue Largeur 3,04 2,7 240 236 Hauteur 3,04 3,6 297 253 Hauteur + marge (15mm) 3,04 3,6 330 280.5 On obtient une hauteur théorique du capteur de 28cm. Éclairage leds Testé et fonctionnel Des leds avaient été ajoutée à la V1 puis retirées pour la V2. Elles semblent néanmoins indispensable si la lumière ambiante est insuffisante ou pour éviter les ombres projetées si elle est trop importante. Pour le Fabrikarium, nous disposons de ruban de leds RVB addressables. L'utilisation de leds addressables complexifie un peu la partie logicielle mais simplifie le circuit puisqu'elle ne necessite pas de circuit supplémentaire pour gérer la luminosité. Nous nous appuyons sur la documentation de NeoPixels sur Raspberry Pi par Adafruit. Après une série d'essais, il semble que seul la broche GPIO21 permet de faire fonctionner le ruban. Haut parleur et prise jack 3.5mm partiellement fonctionnel La version 1 avait un haut parleur intégré. La version 2 un haut parleur amplifié externe relié directement au Raspi par un jack stéréo 3,5mm ce qui rends la conception électronique beaucoup plus simple. Pour cette version 3 nous souhaitons donner le choix à l'utilisateur. Il y a donc un haut parleur interne, qui est désactivé lorsqu'un cable est connecté sur la prise jack du boitier. Documentation pour faire un by pass avec un jack Fabrication d'une rallong pour la nappe/câble du capteur Non fonctionnel Malgré un courage, une abnégation et une dextérité hors norme, Jean-Jacques n'est pas parvenu à réaliser une rallonge fonctionnelle pour la nappe du capteur. Software Contrôle de la lecture avec mplayer Bouton On/Off Testé et fonctionnel En ajoutant une ligne dans le fichier de configuration du Raspi, il est possible de configurer la broche GPIO3 comme bouton On/Off d'un ordinateur. Cela pose cependant un pblème : si l'extinction est gérée directement par le Raspi, on ne peut pas prévenir les fausses manipulations, ni même prévenir l'utilisateur que le Raspi est effectivement éteint. L'astuce est donc de conserver la même broche que celle qui permet d'allumer le Raspi (GPIO3) pour appeler une fonction dans PiTextReader. Au premier appui, on peut donc demander à l'utilisateur d'appuyer une seconde fois pour confirmer l'extinction. Pico TTs Testé et fonctionnel Transformer un fichier texte text.txt en fichier audio text.wav /usr/bin/pico2wave -l fr-FR -w /tmp/text.wav < /tmp/text.txt Nettoyage du script Testé et fonctionnel Le script python principale est pitextreader.py. Afin de faciliter les futurs développements et deboggage, il est décidé de le rendre plus modulaire. Séparation en plusieurs fichiers pitextreader.py est toujours le script principal, mais il ne contient plus qu'une fonction qui fait le lien entre l'application et les boutons du raspberry pi. app.py contient le coeur du logiciel, c'est-à-dire l'objet settings qui gère les paramètres de lecture et d'enregistrement, et l'association entre les broches du raspberry pi et les fonctions de callback constantes.py contient toute la configuration : numéro des broches du GPIO liens vers les dossiers et fichiers (sons et fichier de sauvegarde de la configuration) toutes les commandes bash au format texte comme par exemple les commandes pour faire déclencher la prise de vue ou l'OCR. logger.py contient les outils de logs qui permettent d'écrire la sortie standard en même temps dans un fichier et dans la console reader.py contient les fonctions de prise de vue et de traitement des données jusqu'à l'obtention d'un fichier audio. player.py contient un objet permettant le lire les fichiers audio et de modifier les paramètres de lecture en direct via mplayer Comparaison des performances entre les Raspberry Pi 3 et 4 Conclusion du Fabrikarium Pistes d'amélioration Ressources - Comparaison de logiciels Text-to-Speech Journal de bord Mardi matin Présentation du projet et tour de table Définition des enjeux Design Ergonomie Marquage Optique Choix de l'optique éclairage Logiciel Séquencement Power On/Off OCR Gestion du format portrait / paysage Répartition en 2 équipes et demi Équipe Design : Laurence, Dorian, Quentin, Audrey, Rémi Equipe optique : Deborah, Roger, Marie - test de différentes optique et mise au point Équipe logiciel : Jean Jacques - Remise en route du prototype V2 Mardi après-midi Design : développement de deux versions Version penchée Version avec le boitier posé sur la table OCR Test de tesseract avec le nouveau capteur et raspberry pi 4. Mise en place d'une procédure de test avec 4 images Leds Ajout et contrôle de ruban led rgb Bouton on/off Allumer / éteindre le raspberry à partir du GPIO Mercredi Design (Re)design des boutons Dessin des deux versions Code Refactoring PiTextReader Démarrage automatique Électronique Haut-parleur et amplification Fabrication d'une longue nappe pour la caméra Documentation Mise à jour du script d'installation Mise à jour de la page V1