Projets:Chuchoter

Description du projet

Malgré l'existence de nombreuses prothèses auditives sur le marché, il semble que la filtration des bruits ambiant laisse encore à désirer. Ce projet vise à prototyper une prothèse auditive tirant parti des récentes avancées dans le domaine du Deep Learning.

L'usage du Deep Learning nous semble particulièrement approprié pour différentes raisons:

• La communauté Deep Learning est très ouverte: les articles de recherches sont rendus accessibles gratuitement, accompagné d'implémentation open source robustes et bien documentées. Cela rends ces techniques faciles à exploiter.
• Il est possible de faire tourner ces algorithmes sur du hardware abordable et disponible au grand publique (Nvidia Jetson Nano).
• Le Deep Learning pour apporter une robustesse plus difficile à atteindre avec du traitement du signal classique. Par exemple, un filtrage par bande ne peut pas filtrer les bruits dont les fréquences chevauchent la voix. À l'inverse, un algorithme de Deep Learning peut reconstruire le signal et ainsi filtrer les bruits, peu importe leur fréquence.
• Il est possible d'entrainer des réseaux de neurones pour différentes tâches. On peut imaginer filtrer les bruits ambiants et isoler les voix dans un contexte de réunion ou isoler la musique et supprimer les voix dans un contexte de concert.

Ce prototype utilise le code de l'article Real Time Speech Enhancement in the Waveform Domain (Interspeech 2020) et le rends deployable sur un Jetson Nano. Couplé à une interface audio disposant de micros cela permet d'amplifier les voix et de les retransmettre dans un casque audio.

Les deux principaux challenges restants sont:

• La latence. 73.3ms sont actuellement nécessaires pour traiter le signal. Le son des interlocuteurs est donc un peu trop décalé pour qu'il soit synchronisé avec les lèvres. Cela rends l'association des mouvement de la bouche aux sons difficile. S'entendre en double avec cette latence rend également l'expression orale compliquée. Heureusement, il semble possible d'optimiser le modèle (cf. TensorRT).
• Transmettre le son à l'utilisateur. Utiliser un casque audio par dessus un appareil auditif est dangereux (risque de larsen) et il semble difficile de se procurer du hardware de prothèse auditives. Une piste pourrait être de reverse engineer une aide auditive pour comprendre comment utiliser ses micros et son haut-parleur? Ou utiliser une prothèse auditive disposant d'une connectivité bluetooth? Ou continuer d'utiliser un simple casque pour les malentendants non appareillés.

Equipe (Porteur de projet et contributeurs)

• Porteurs du projet :
• Concepteurs/contributeurs :
• Animateur (coordinateur du projet)
• Fabmanager référent
• Responsable de documentation