Tests d’écoute biométriques avec LabVIEW Real-Time pour l’évaluation et la validation des codecs audio.

Author(s):
Matthias BAUDOT - Université de Sherbrooke

Industry:
Biotechnology, Research, Medical, Machine Vision/Imaging

Products:
Real-Time Module, Sound and Vibration, Vision Development Module, Real-Time Deployment License - Desktop PCs, Multifunction DAQ, Analog Image Acquisition Devices

The Challenge:
Développer une nouvelle génération de tests d’écoute pour l’évaluation et la validation des codecs audio.

The Solution:
Mesurer, parallèlement à la génération de sons codés (compressés), les réactions physiologiques de l’auditeur à l’aide d’une application déterministe sous LabVIEW Real-Time, intégrant un contrôle vidéo automatisé, et une supervision des tests avec une interface NI LabVIEW distante connectée sur le réseau.

Afin de répondre au contexte socio-économique actuel des communications multimédias sur des appareils mobiles (téléphones cellulaires par exemple), de nouveaux systèmes de codage du son (parole et musique) toujours plus performants sont développés, testés par des centaines d’auditeurs sur la planète, et standardisés par des organismes internationaux (ITU – International Telecommunication Union, par exemple) avant commercialisation.

Cependant, la manière de tester ces codecs ne permet de récupérer qu’une information très subjective et imprécise puisque seule une note sur la qualité audio est donnée par l’auditeur pour caractériser la performance du codec. Aussi, on s’aperçoit actuellement que ces codecs, omniprésents, surtout chez les jeunes générations avec le MP3, les jeux vidéos, la TV numérique, etc., pourraient entraîner un mauvais « formatage » du système auditif et cognitif, amenant des problèmes de compréhension et d’expression, et ainsi à des troubles de l’apprentissage.

C’est la raison pour laquelle il devient absolument nécessaire d’évaluer les codecs audio de manière plus représentative du « ressenti » humain, et donc de développer une nouvelle génération de tests d’écoute biométriques, qui permettent, à l’aide des réactions physiologiques de l’auditeur (activité neuronale, musculaire, cardiaque, etc.), de récupérer une plus grande quantité d’informations sur la perception de la qualité du son.

LabVIEW Real-Time pour des performances temps réel et une synchronisation parfaite des mesures

Ces nouveaux tests d’écoute biométriques impliquent qu’il faut générer dans le casque d’écoute de l’auditeur, par l’intermédiaire de la carte de signaux dynamiques NI PCI-4461, des listes de sons différemment encodés, et observer parallèlement ses réactions physiologiques, et surtout les modifications de ces réactions liées à un changement de codec, et donc un changement de qualité audio.

Les modifications physiologiques interviennent théoriquement dans les quelques millisecondes suivant le changement de stimulus, impliquant la nécessité d’acquérir les mesures avec une résolution de l’ordre de la milliseconde, tout en assurant le synchronisme entre les différents signaux de mesure.

De plus, les électrodes et transducteurs qui permettent les mesures physiologiques sont très sensibles aux mouvements de l’auditeur. Par exemple, alors que nous mesurons les infimes variations d’activité musculaire au niveau du front et des sourcils, si l’auditeur testé se met à bâiller, nos mesures seront totalement bruitées par les déformations de son visage. Il faut donc intégrer en temps réel avec les mesures physiologiques une détection par analyse vision de ce genre d’événements, pour éviter d’avoir à dépouiller manuellement des heures d’enregistrement de mesures. Ceci se fait grâce à une caméra vidéo monochrome branchée sur la carte NI PCI-1410, couplée à des algorithmes développés avec le Module NI Vision Development. Quant aux mesures physiologiques, elles sont obtenues avec des électrodes et transducteurs, reliés à des amplificateurs BIOPAC Série MP100, qui délivrent une tension conditionnée sur ±10 V à la carte NI PCI-6221. L’acquisition analogique se fait sur 5 voies différentielles échantillonnées à 1000 Hz, avec un buffer de 1 échantillon, permettant ainsi de synchroniser, avec une résolution de 1 ms, les mesures physiologiques avec des événements vidéo ou un changement de codec audio.

Sur un PC de bureau doté de 8 cœurs

Ce projet est avant tout un projet de recherche, et le développement de ce banc devait être réalisé rapidement pour pouvoir ensuite concentrer les ressources sur le développement d’algorithmes avancés de traitement et d’analyse des mesures effectuées.

Le langage graphique avec LabVIEW Real-Time 8.6 correspond donc à la solution idéale pour le développement rapide d’un système déterministe qui assure la synchronisation des mesures, et qui permet d’exploiter au maximum les ressources matérielles d’un PC de bureau de 8 cœurs, pour l’exécution parallèle de toutes les tâches d’acquisition, de traitement du signal, et de stockage sur disque, de manière fiable et durable.

Pour s’assurer du bon déroulement des tests (pour lesquels les auditeurs testés sont rémunérés), ajouter des commentaires dans les mesures, et bien sûr gérer la commande de l’ordinateur temps réel, une application développée sous LabVIEW 8.6 et qui se connecte par réseau TCP/IP, permet la supervision distante de toutes les mesures effectuées sur la machine temps réel, tout en gardant un synchronisme parfait entre les voies de mesure.

 Différentes technologies dans un même programme grâce à LabVIEW

L’utilisation de LabVIEW associé à ses Modules Real-Time et Vision permet de développer très rapidement une application qui intègre toutes les technologies nécessaires pour ce projet. En effet, le code aux performances temps réel est développé en langage graphique sous LabVIEW, et est ensuite chargé sur la machine temps réel 8 cœurs. Les performances de la version 8.6 permettent d’utiliser pleinement les ressources de cette machine en assignant chacun des processus principaux (lecture du fichier son, génération du son, acquisition analogique des signaux physiologiques, acquisition vidéo, stockage disque dur, statut des ressources, transmission TCP/IP) à un cœur dédié.

L’utilisation des pilotes NI-DAQmx (pour l’acquisition analogique des mesures physiologiques et la génération du son) et IMAQ (pour l’acquisition vidéo) simplifient grandement le développement de l’application, tout en assurant le déterminisme sur la machine temps réel. Le logiciel NI Vision Assistant 8.6 permet de développer des algorithmes (séquencement de fonctions) d’analyse et de traitement d’images sans avoir à coder. Le résultat du traitement ou de l’analyse apparaît de manière dynamique à l’écran sur des images de test et, une fois validé, le logiciel génère automatiquement du code LabVIEW, directement intégrable dans l’application de la machine temps réel.

 Une application modulaire qui ouvre de nouveaux axes de recherche

L’utilisation du langage graphique sous LabVIEW aura permis le développement complet d’un banc de test très modulaire en très peu de temps, soit une personne à temps plein durant 2 mois. Des conflits matériels entre le bios de la machine temps réel et LabVIEW Real-Time ont quelque peu retardé l’avancement du projet, mais le support technique a fourni tous les efforts nécessaires pour résoudre le problème, en faisant venir la machine en cause dans leur centre de recherche et développement à Austin (Texas – US) pour identifier le problème et pouvoir ainsi me conseiller une machine adéquate aux performances et coûts similaires.

L’architecture de l’application développée permet de faire fonctionner ensemble ou séparément chacun des processus principaux décrits précédemment, avec un déterminisme et un synchronisme parfaits. De plus, il est ainsi possible d’intégrer très facilement de nouveaux algorithmes de traitement du signal, notamment en ce qui concerne les mesures physiologiques. Enfin, l’interface de supervision des tests et la gestion d’erreur mise en place permettent un contrôle total et un suivi très poussé de l’exécution de l’application sur la machine temps réel, offrant ainsi la possibilité d’adapter le banc à diverses applications dans la plus grande fiabilité.

Tout ceci va permettre, d’une part, de faire évoluer le système de validation actuel des codecs qui consiste en une simple note subjective (de 1 à 100 par exemple) donnée par un auditeur sur les sons codés. D’autre part, ce banc annonce d’ores et déjà plusieurs années de tests et de recherches afin de comprendre au mieux la corrélation qui existe entre la perception subjective de qualité audio et les réactions physiologiques humaines.

Enfin, de nouveaux axes de recherche sont ouverts avec ce banc, notamment la possibilité d’étudier les émotions suscitées par la musique ainsi que les expressions faciales, pour en arriver certainement dans quelques années à des algorithmes robustes de classification de musiques par émotion ressentie.

Décembre 2008

Author Information:
Matthias BAUDOT
Université de Sherbrooke
Faculté de Génie - 2500, boulevard de l’Université
Sherbrooke (QC) J1K 2R1
Canada
Tel: +1-819-821-8000 poste 63760
Matthias.Baudot@USherbrooke.ca

Browse All Case Studies »