FR3085221A1 - Systeme multimedia comportant un equipement materiel d’interaction homme-machine et un ordinateur - Google Patents

Abstract

La présente invention concerne un procédé et un système multimédia comportant un équipement matériel d'interaction homme-machine et un ordinateur exécutant un programme commandant le déroulement de séquences audiovisuelles caractérisé en ce qu'il comporte en outre un moyen d'acquisition sonore et/ou visuel associé, une caméra pour la capture d'images faciales et un programme d'ordinateur pour la caractérisation de l'état émotionnel par analyse automatique d'un visage identifié sur lesdites images faciales et pour le paramétrage de l'enchaînement desdites séquences audiovisuelles.

Description

Système multimédia comportant un équipement matériel d'interaction homme-machine et un ordinateur

Domaine de 1'invention

La présente invention concerne le domaine des systèmes multimédias d'interaction homme-machine, destinés notamment à des applications de jeux, de simulation, de formation ou d'apprentissage.

Dans le domaine de la formation et de l'apprentissage, de tels systèmes mettent souvent en œuvre une plateforme d'apprentissage (parfois appelée « environnement numérique d'apprentissage » et en anglais « learning management system — LMS -») qui gère un processus d'apprentissage ou un parcours pédagogique.

Ce genre de système informatique propose un espace numérique de travail comprenant des tests d'évaluation qui sont soit soumis à validation par 1'enseignant soit proposées comme activités de régulation en auto-évaluation.

Dans le domaine des jeux vidéos, une application informatique gère le déroulement des scénarios en fonction des actions du joueur ou des joueurs pour les jeux partagés, selon des règles et processus prédéterminés prenant en compte uniquement les interactions physiques du ou des joueurs avec les commandes délivrant les signaux d'entrée de l'application de jeu.

Récemment, les chercheurs ont établi l'importance de la prise en compte des compétences socio-émotionnelles qui contribuent à l'efficacité individuelle et collective des enseignements. L'éventail de qualités sous-entendues est très large : l'empathie, le respect de l'autre, la capacité de solliciter ou de prêter de l'aide, l'aptitude à ajuster ses

-2émotions aux situations ou à discerner celles d'autrui. L'Organisation mondiale de la Santé les définit comme « un ensemble de capacités permettant à chacun d'adopter un comportement adaptable et positif pour répondre efficacement aux exigences du quotidien ».

L'invention concerne plus précisément la prise en compte des contextes émotionnels dans les systèmes multimédias d'interaction homme-machine.

Etat de la technique

On connaît dans l'état de la technique la demande de brevet américain US20080254434 décrivant un serveur de système de gestion d'apprentissage hébergeant une interface logicielle exposant des fonctions pour traiter des activités d'apprentissage associées à des objets d'apprentissage conformes présentés dans une application client participante ayant un premier adaptateur d'interface logicielle ;

une application tutorielle intelligente pour sélectionner et fournir des objets d'apprentissage pour présentation à un participant via 1'application cliente participante, l'application tutorielle intelligente comprenant un second adaptateur d'interface logicielle pour envoyer des commandes associées à l'objet d'apprentissage conforme, l'application tutorielle intelligente comprenant en outre un module logiciel de recherche et de sélection, un module logiciel d'analyse de style d'apprentissage et un module logiciel de moteur de tutorat.

Un autre document, la demande internationale W02008064431A1A, décrit un procédé et un système de surveillance des changements d'état émotionnel chez un sujet sur la base des expressions du visage, s'appuyant sur la capture de premières puis des deuxièmes données d'image faciale du sujet à un premier puis à un deuxième instant, et le traitement des premières et deuxièmes données d'image faciale pour produire des données de changement d'état

-3 émotionnel relatives au sujet pour la période comprise entre la capture des premières données d'image faciale et des deuxièmes données d'image faciale. Dans certains modes de réalisation, une suite de stimuli est appliquée au sujet et des données de changement d'état émotionnel corrélées avec chaque stimulus sont acquises. Le procédé et le système peuvent être utilisés pour la modélisation des relations entre les réponses cognitives et émotionnelles. Les modèles et l'analyse des changements d'état émotionnel du sujet peuvent être employés dans divers contextes tels que la prise de décisions en matière de gestion, de recrutement, d'évaluation, d'enseignement et d'exploration approfondie de données.

On connaît aussi la demande de brevet US20140234816 décrivant un système éducatif basé sur un réseau pour fournir une éducation sociale et émotionnelle, comprenant :

- un stockage informatique configuré pour stocker une pluralité de compétences pour des scénarios d'apprentissage socio-émotionnel et d'éducation pour la pluralité de compétences ;

un ou plusieurs serveurs configurés pour permettre à l'un des scénarios de formation d'être présenté sur un dispositif utilisateur, dans lequel le ou les serveurs sont configurés pour recevoir une entrée d'un utilisateur enfant en réponse à la présentation de l'un des scénarios de formation ;

dans lequel le stockage informatique est configuré pour stocker l'historique d'un utilisateur enfant en visualisant les scénarios d'éducation, l'entrée de l'utilisateur enfant pendant la présentation des scénarios d'éducation, et une évaluation des compétences de l'utilisateur enfant en compétences émotionnelles sociales;

et un module d'intelligence configuré pour évaluer les compétences de l'utilisateur enfant en matière de compétences socio-émotionnelles, en partie sur la base de la

-4contribution de l'utilisateur enfant lors de la présentation des scénarios d'éducation.

La demande de brevet US20080091515 décrit un procédé de formation de secouriste mettant en œuvre la présentation d'une pluralité d'agents logiciels activables et comportant une table de niveaux associés chacun à un comportement spécifique, et un contrôleur principal commandant l'édition d'un paramètre de niveau commandant la modification de l'état desdits agents logiciels caractérisé en ce qu'il comporte l'enregistrement d'un niveau de consigne et des étapes intermittentes d'acquisition d'informations représentatives de l'état émotionnel dudit secouriste, la modification du niveau commandé par le contrôleur est diminué si le niveau mesuré est supérieur au niveau de consigne, et augmenté si le niveau mesuré est inférieur au niveau de consigne.

Inconvénients de l'art antérieur

Les solutions de l'art antérieur ne permettent pas de prendre en compte dynamiquement la situation émotionnelle de l'utilisateur (joueur, apprenti ou personne en formation) pour faire évoluer en temps réel le processus de jeu ou de formation.

Solution apportée par l'invention

Afin de remédier à cet inconvénient, l'invention concerne selon son acception la plus générale un système multimédia comportant un équipement matériel d'interaction homme-machine et un ordinateur exécutant un programme commandant le déroulement de séquences audiovisuelles caractérisé en ce qu'il comporte en outre un moyen d'acquisition sonore et/ou visuel associé, une caméra pour la capture d'images faciales et un programme d'ordinateur pour la caractérisation de l'état émotionnel par analyse automatique

-5d'un visage identifié sur lesdites images faciales et pour le paramétrage de l'enchaînement desdites séquences audiovisuelles.

Selon des modes de réalisation particuliers de l'invention, le système présente en outre une ou plusieurs des caractéristiques suivantes :

- il comporte en outre un équipement matériel de simulation piloté par un calculateur en fonction de l'état du paramétrage de l'enchaînement desdites séquences audiovisuelles ;

- il comporte en outre un programme paramétrable de jeu interactif ;

- ledit équipement matériel d'interaction hommemachine est constitué par un casque de réalité virtuelle ou de réalité augmentée ;

ledit un programme d'ordinateur pour la caractérisation de l'état émotionnel comporte des moyens d'analyse de la partie non masquée du visage identifié.

L'invention concerne aussi un procédé multimédia pour la commande d'un équipement matériel d'interaction hommemachine comportant une étape de commande du déroulement de séquences audiovisuelle et des étapes de caractérisation de l'état émotionnel par analyse automatique d'un visage identifié sur des images faciales capturées par une caméra.

Avantageusement, le déroulement des séquences audiovisuelles est déterminé en temps réel par le résultat de la caractérisation de l'état émotionnel.

De préférence, les paramètres de difficulté sont déterminés en temps réel par le résultat de la caractérisation de l'état émotionnel.

Selon une variante, l'activation d'aides numériques est déterminée en temps réel par le résultat de la caractérisation de l'état émotionnel.

-6Description détaillée d'un exemple non limitatif de 1'invention

La présente invention sera mieux comprise à la lecture de la description détaillée d'un exemple non limitatif de l'invention qui suit, se référant aux dessins annexés où :

- la figure 1 représente une vue schématique d'un système de simulation pour la formation aux gestions de réanimation cardio-pulmonaire ;

- la figure 2 représente une vue schématique du processus de reconnaissance des émotions.

L'invention est décrite dans ce qui suit pour un exemple non limitatif d'application à la formation aux gestes de réanimation cardio-pulmonaire.

En cas d'arrêt cardiaque extra-hospitalier, une réanimation cardio-pulmonaire pratiquée par un témoin de l'événement est cruciale en termes de survie. Des compressions thoraciques et une défibrillation rapide sont les principaux déterminants de la survie après un arrêt cardiaque extrahospitalier, et plusieurs données montrent que la formation du grand public permet d'améliorer la survie à 30 jours et à 1 an.

La formation du grand public à la réanimation de base est efficace pour améliorer le nombre de personnes volontaires pour pratiquer une réanimation de base en situation réelle notamment dans les populations à haut risque (par exemple, dans les zones où il existe un risque élevé d'arrêt cardiaque mais un faible taux d'intervention par des témoins.

La formation est assurée généralement avec des mannequins permettant de mettre les stagiaires en situation pour s'exercer à la Réanimation Cardio-Pulmonaire.

Ces mannequins présentent des repères anatomiques réalistes permettant d'entrainer les stagiaires à la pratique des gestes de ventilation et compression simulées avec une

-7résistance correspondant à un adulte ou un enfant pour pratiquer et mémoriser les bonnes techniques. De tels mannequins peuvent être associés à des moyens de réalité virtuelle qui permettent d'immerger les stagiaires dans une situation réaliste et leur apprendre les gestes opportuns face à un arrêt cardiaque en étant dans une scène où une personne est victime d'un arrêt cardiaque.

Le système comprend un mannequin (1) présentant la forme et les dimensions d'un torse humain, un masque de réalité virtuelle (2), une caméra (3) pour l'acquisition de la position du mannequin et des mains de l'opérateur en formation et un ordinateur (4) assurant le traitement des images capturées par la caméra (3) et générant le flux vidéo affiché par le masque de réalité virtuelle (2).

Le mannequin (1) est essentiellement de type connu.

Il comporte une plaque supérieure rigide (10) présentant la conformation d'un torse humain et une plaque inférieure rigide (11). Un ressort de compression (12) est installé entre la plaque supérieure (10) et la plaque inférieure (11) pour apporter au torse une résistance comparable à celle d'une cage thoracique humaine.

Le mannequin comporte également un sac gonflable (13) permettant de simuler la reprise de la respiration.

Il comporte aussi une tête (14) présentant un orifice en forme de bouche (15) pour réaliser des simulations d'insufflation.

Un capteur (16) relié à la plaque supérieure (10) mesure l'effort appliqué sur la cage thoracique par l'intermédiaire d'une jauge de contrainte (18) et fournit une information concernant l'effort de compression exercé par l'opérateur, et permettant également d'estimer le risque de fracture de cote.

La position des mains peut également être acquise par l'intermédiaire de système de localisation en réalité

-8virtuelle (22, 23), par exemple les composants commercialisés sous le nom commercial de HTC Vive Tracker 2.0 communiquant avec une balise fixe délivrant les informations sur la position et l'orientation tridimensionnelle de chacun des poignées de l'opérateur.

Traitements d'image

L'ordinateur (4) fournit un flux vidéo correspondant à une scène réaliste visualisée par l'opérateur grâce à un casque de réalité virtuelle (2) lui procurant une perception immersive dans une ambiance simulant un contexte d'intervention.

L'ordinateur calcule par ailleurs l'incrustation dans la scène d'ambiance d'un mannequin numérique, et recalcule en temps réel le repère des images de synthèse par rapport à la position du mannequin réel pour replacer sur l'image de synthèse le mannequin numérique dans une position correspondant à la position du mannequin ( 1 ) par rapport à 1'opérateur.

La caméra (3) capte la position des mains et l'ordinateur (4) analyse l'image des mains pour rechercher dans une bibliothèque d'images numériques une image d'un couple de mains conforme à la position des mains de l'opérateur, et pour commander l'orientation de l'image numérique du couple de main sélectionné par rapport au mannequin numérique, pour la mettre en correspondance avec la position des mains sur le mannequin réel (1).

Ainsi l'opérateur est plongé dans une ambiance totalement immersive, et non pas dans une ambiance de réalité augmentée, et retrouve sur l'écran d'affichage la combinaison des images de synthèse de l'environnement, de l'image de synthèse du mannequin numérique ou l'image d'une véritable victime repositionné en prenant en compte la position du mannequin physique (1) et la position des mains par extraction d'une image de synthèse dans une base d'images numériques, et

-9repositionnées pour correspondre à la position des mains de 1'opérateur.

L'écran d'affichage du casque (2) affiche également des indications techniques, par exemple sur la fréquence et le niveau des compressions, et sur la conformité des gestes de l'opérateur. La position de cette zone d'affichage n'est pas fixe par rapport au référentiel des images de synthèse de l'environnement, mais est déplacée en fonction de la position de la tête de l'opérateur et de la direction de la tête et de 1 'orientation/direction du mannequin. Ainsi, il peut orienter la tête pour prendre connaissance des informations techniques, ou détourner la tête pour déplacer la zone d'affichage de ces informations en dehors de la zone visualisée.

Caméra d'acquisition des expressions faciales du stagiaire

Une caméra (19) est intégrée au mannequin (1) pour capturer l'image du visage de l'opérateur et fournir des images dont l'analyse permet de déterminer son état émotionnel.

La caméra (19) capture l'image de l'opérateur et de son attitude et fourni des images faisant l'objet d'un traitement de caractérisation en fonction d'une base de données d'expressions faciales et d'un algorithme de caractérisation tel que l'algorithme décrit dans la publication « Gil Levi et Tal Hassner. Reconnaissance des émotions dans la nature via les réseaux neuronaux convolutionnels et les modèles binaires mappés. Proc. Conférence internationale ACM sur 1¹ interaction multimodale (ICMI), Seattle, 2015 ».

Ces informations sont exploitées pour commander le scénario de la formation et la sélection des séquences vidéos affichées sur le masque (2).

-10Détection des émotions

Les images captées par la caméra (19) font l'objet d'un premier traitement par un module de détection de visage (100). Ce module est par exemple basé sur la méthode de Viola et Jones de détection d'objet dans une image numérique, par un procédé d'apprentissage supervisé permettant de détecter des visages efficacement et en temps réel des objets dans une image.

Le module (100) est par exemple constitué par une application informatique basée sur des classificateurs Haar rectangulaires et la représentation intégrale d'une image d'entrée, tel que décrit dans l'article de PA Viola, MJ Jones paru dans International Journal of Computer Vision, vol. 57, non. 2, pp. 137-154, 2004, incorporé par référence.

Un exemple de détection de visage utilisant une méthode basée sur Viola-Jones a été implémenté dans une librairie de code libre disponible à l'adresse http;//www.mathworks.com/matlabcentral/fileexchange/19912.

La deuxième étape (200) concerne l'extraction de caractéristiques faciales à partir de la zone de l'image correspondant au visage. Un exemple de traitement est décrit dans l'article « Srinivasan R, Golomb JD, Martinez AM. A Neural Basis of Facial Action Recognition in Humans. The Journal of Neuroscience. 2016 ; 36(16) : 4434-4442. doi: 10.1523/JNEUROSCI.1704-15.2016. ».

On procède ensuite à un traitement de classification par un module (300) de classification d'expression utilisant un classificateur du plus proche voisin (NN) et la machine de vecteur de support (SVM), par exemple, comme décrit dans l'article « Vishnubhotla, S., Support Vector Classification. 2005, » ou l'article « Dasarathy, B. V., Normes du plus proche voisin (NN): NN Pattern Classification Techniques. 1991 », incorporés par référence.

-11 Une règle euclidienne-NN ou la règle cosinus-NN peuvent également être utilisées.

La région faciale à modéliser est annotée automatiquement par une collection de points de repère. Un vecteur de forme est donné par les coordonnées concaténées de tous les points de repère et peut être formellement écrit comme, s = (xl, x2, . .., xL, yl, y2, ..., yL) T, où L est le nombre des points de repère.

Le modèle de forme peut être obtenu en appliquant une analyse en composantes principales (PCA) sur l'ensemble des formes alignées.

Après la création d'un modèle statistique d'apparence, un algorithme (400) est utilisé pour adapter le modèle statistique à une nouvelle image. Ceci détermine la meilleure correspondance du modèle à 1'image permettant de trouver les paramètres du modèle qui génèrent une image synthétique aussi proche que possible de l'image cible.

Ce traitement permet d'associer les caractéristiques géométriques affectées lors de l'expression des émotions.

A titre d'exemples, lorsqu'ils sont surpris, les yeux et la bouche s'ouvrent largement, ce dernier résultant en un menton allongé. La tristesse s'exprime par un clignotement fréquent des yeux. Quand ils sont en colère, les sourcils ont tendance à être attirés ensemble.

Chaque image acquise par la caméra (19) est classée en temps réel en comparant ses paramètres avec un modèle correspondant à chaque expression. Les modèles pour chaque classe sont obtenus par une moyenne sur une succession d'image, ou une médiane, sur le vecteur de paramètres de forme pour chaque expression.

Les classificateurs sont de type expression 1 / expression 2, c'est-à-dire neutre / non-neutre, triste / nontriste, colère / non-colère, dégoûté / non-dégoûté, peur /

-12non-peur, surpris / non-surpris, et heureux / non-heureux, et de type expression / non-expression.

Le résultat de ce traitement défini une combinaison de paramètres représentatifs de l'état émotionnel du stagiaire 5 ou du joueur.

Ces paramètres sont exploités par le programme de simulation ou de jeu pour commander en temps réel le séquencement des interactions homme-machine.

Par exemple, dans une application de simulation, 10 les paramètres émotionnels neutres commanderont la sélection de séquences plus difficiles. Des paramètres émotionnels de peur commanderont la sélection de séquences moins anxiogènes.

Le but est de mettre le stagiaire ou le joueur dans des situations contextuelles variées, adaptées à améliorer sa 15 maîtrise des gestes dans des conditions proches des environnements réelles, en prenant en compte sa capacité d'apprentissage sous stress.

Claims (1)

1. Revendications

   Système multimédia comportant un équipement matériel d'interaction homme-machine et un ordinateur exécutant un programme commandant le déroulement de séquences audiovisuelles caractérisé en ce qu'il comporte en outre un moyen d'acquisition sonore et/ou visuel associé, une caméra pour la capture d'images faciales et un programme d'ordinateur pour la caractérisation de l'état émotionnel par analyse automatique d'un visage identifié sur lesdites images faciales et pour le paramétrage de l'enchaînement desdites séquences audiovisuelles.

   Système multimédia selon la revendication 1 caractérisé en ce qu'il comporte en outre un équipement matériel de simulation piloté par un calculateur en fonction de l'état du paramétrage de l'enchaînement desdites séquences audiovisuelles.

   Système multimédia selon la revendication 1 caractérisé en ce qu'il comporte en outre un programme paramétrable de jeu interactif.

   Système multimédia selon la revendication 1 caractérisé en ce que ledit équipement matériel d'interaction homme-machine est constitué par un casque de réalité virtuelle ou de réalité augmentée.

   Système multimédia selon la revendication précédente caractérisé en ce que ledit un programme d'ordinateur pour la caractérisation de l'état émotionnel comporte des moyens d'analyse de la partie non masquée du visage identifié.

   -14Procédé multimédia pour la commande d'un équipement matériel d'interaction homme-machine comportant une étape de commande du déroulement de séquences audiovisuelle et des étapes de caractérisation de l'état émotionnel par analyse automatique d'un visage identifié sur des images faciales capturées par une caméra.

   Procédé multimédia selon la revendication 6 caractérisé en ce que le déroulement des séquences audiovisuelles est déterminé en temps réel par le résultat de la caractérisation de l'état émotionnel.

   Procédé multimédia selon la revendication 6 caractérisé en ce que les paramètres de difficulté sont déterminés en temps réel par le résultat de la caractérisation de l'état émotionnel.

   Procédé multimédia selon la revendication 6 caractérisé en ce que l'activation d'aides numériques est déterminée en temps réel par le résultat de la caractérisation de l'etat émotionnel