FR3111044A1 - Prediction of negative emotional situations in a connected habitat to promote services invoking positive emotions - Google Patents
Prediction of negative emotional situations in a connected habitat to promote services invoking positive emotions Download PDFInfo
- Publication number
- FR3111044A1 FR3111044A1 FR2005714A FR2005714A FR3111044A1 FR 3111044 A1 FR3111044 A1 FR 3111044A1 FR 2005714 A FR2005714 A FR 2005714A FR 2005714 A FR2005714 A FR 2005714A FR 3111044 A1 FR3111044 A1 FR 3111044A1
- Authority
- FR
- France
- Prior art keywords
- interest
- time series
- user
- signals
- emotion score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 65
- 230000002996 emotional effect Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000002123 temporal effect Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000004590 computer program Methods 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000009434 installation Methods 0.000 description 10
- 230000036541 health Effects 0.000 description 8
- 230000002596 correlated effect Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008909 emotion recognition Effects 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 206010048909 Boredom Diseases 0.000 description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 241001393742 Simian endogenous retrovirus Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000036642 wellbeing Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 208000009989 Posterior Leukoencephalopathy Syndrome Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007510 mood change Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Il est proposé un procédé de prédiction d’un état émotionnel d’un utilisateur et de suggestion d’un service numérique prédéfini. Le procédé comprend une obtention de signaux d’intérêt mesurant respectivement un comportement d’un utilisateur, un état de l’environnement et un contexte extérieur à l’environnement. Le procédé comprend une détermination (P5) de séries temporelles d’intérêt HUM_DB, IN_DB, OUT_DB, une obtention (P6) d’un modèle MOD structurant des corrélations temporelles et multimodales entre les valeurs des séries temporelles d’intérêt et l’état émotionnel en fonction du temps, une inférence (P7), à un instant courant, d’un score d’émotion (E) correspondant à une prédiction de l’état émotionnel à un instant ultérieur, un déclenchement (P10) d’une routine d’animation d’une interface homme-machine pour suggérer un service numérique prédéfini, et à l’obtention (P11) d’un retour de l’utilisateur, un déclenchement (P12) du service numérique prédéfini. Il est également proposé un programme informatique, un support d’enregistrement et un circuit de traitement correspondants. Figure de l’abrégé : Figure 2A method for predicting an emotional state of a user and suggesting a predefined digital service is proposed. The method comprises obtaining signals of interest measuring respectively a behavior of a user, a state of the environment and a context external to the environment. The method comprises a determination (P5) of time series of interest HUM_DB, IN_DB, OUT_DB, an obtaining (P6) of a MOD model structuring temporal and multimodal correlations between the values of the time series of interest and the emotional state as a function of time, an inference (P7), at a current instant, of an emotion score (E) corresponding to a prediction of the emotional state at a later instant, a triggering (P10) of a routine of animation of a man-machine interface to suggest a predefined digital service, and upon obtaining (P11) feedback from the user, triggering (P12) of the predefined digital service. A corresponding computer program, recording medium and processing circuit are also provided. Abstract Figure: Figure 2
Description
La présente divulgation relève du domaine de la science des données.This disclosure falls within the field of data science.
Plus particulièrement, la présente divulgation porte sur des procédés de prédiction d’état émotionnel et de déclenchement de service, ainsi que sur des programmes informatiques, des dispositifs de stockage lisibles par ordinateur et des circuits de traitement pour la mise en œuvre de tels procédés.More particularly, the present disclosure relates to methods of emotional state prediction and service triggering, as well as computer programs, computer-readable storage devices, and processing circuitry for carrying out such methods.
Dans le cadre du maintien à domicile des personnes fragiles (ex : séniors, personnes souffrant de déficience, personnes isolées, etc.), il est primordial de pouvoir évaluer l’autonomie des occupants. Actuellement, des services de télé-vigilance mettent en œuvre ce type d’évaluation en s’appuyant sur des systèmes d’actimétrie.In the context of home support for fragile people (e.g. seniors, people with disabilities, isolated people, etc.), it is essential to be able to assess the autonomy of the occupants. Currently, tele-vigilance services implement this type of evaluation based on actimetry systems.
Dans ce cadre, il apparaît nécessaire d’avoir également une meilleure compréhension des émotions des occupants, afin de fournir une mesure d’autonomie plus robuste et des services adaptés. Cette mesure est un des indicateurs forts pour évaluer la bonne santé physique, sociale et morale des individus par le corps médical lors de services de télévigilance.In this context, it appears necessary to also have a better understanding of the occupants' emotions, in order to provide a more robust measure of autonomy and adapted services. This measurement is one of the strong indicators for evaluating the good physical, social and moral health of individuals by the medical profession during televigilance services.
En effet, les émotions peuvent révéler des variations d’autonomie. Il est trivial de dire que l’ennui, la dépression, la colère ou au contraire la joie, le dynamisme ou l’entrain sont révélateurs du bien-être de la personne et ces caractéristiques influencent sa santé et le maintien à domicile.Indeed, emotions can reveal variations in autonomy. It is trivial to say that boredom, depression, anger or, on the contrary, joy, dynamism or spirit are indicative of a person's well-being and these characteristics influence their health and staying at home.
L’analyse des émotions de personnes à domicile est un domaine de recherche actuel.The analysis of the emotions of people at home is a current area of research.
Différentes solutions proposées sont décrites ci-dessous. Ces solutions diffèrent au niveau de la nature des données analysées, notamment les expressions du visage, la voix, les gestes, les données issues de capteurs domotiques ou les données issues de capteurs de santé. En fonction de la nature des données analysées, les modèles mathématiques sous-jacents diffèrent également.Various proposed solutions are described below. These solutions differ in the nature of the data analyzed, including facial expressions, voice, gestures, data from home automation sensors or data from health sensors. Depending on the nature of the data analyzed, the underlying mathematical models also differ.
Il a été proposé dans B. Nagarajan and V. R. M. Oruganti, "Group Emotion Recognition in Adverse Face Detection," 2019 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019), de mettre en œuvre une reconnaissance d’émotions de groupe à partir d’images de visages. Les difficultés techniques rencontrées pour cette reconnaissance d’émotions sont liées à diverses hétérogénéités au niveau des images à analyser. En effet, sur certaines images, la tête des personnes peut être partiellement occultée. La pose du corps peut différer d’une image à l’autre ou d’une personne à l’autre sur une même image. Divers réglages intérieurs et extérieurs, tels que la luminosité et l’orientation des sources lumineuses ainsi que la définition des images à analyser peuvent également être hétérogènes. L’architecture de l’algorithme proposé s’appuie sur des réseaux neuronaux convolutifs pour extraire les caractéristiques d’un visage et sur un réseau bayésien pour modéliser les corrélations temporelles entre ces caractéristiques. Cependant, reconnaître les émotions d’une personne en se focalisant seulement sur des images du visage de la personne n’est pas réaliste pour une application grand public. En effet, même sans considérer les difficultés techniques précitées, une limitation supplémentaire est le taux très faible d’acceptation de caméras à domicile.It was proposed in B. Nagarajan and V. R. M. Oruganti, "Group Emotion Recognition in Adverse Face Detection," 2019 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019), to implement group emotion recognition at from images of faces. The technical difficulties encountered for this recognition of emotions are linked to various heterogeneities in the images to be analyzed. Indeed, on some images, people's heads may be partially obscured. The pose of the body may differ from image to image or from person to person in the same image. Various interior and exterior settings, such as the brightness and orientation of the light sources as well as the definition of the images to be analyzed can also be heterogeneous. The architecture of the proposed algorithm relies on convolutional neural networks to extract the features of a face and on a Bayesian network to model the temporal correlations between these features. However, recognizing a person's emotions by focusing only on images of the person's face is not realistic for a consumer application. Indeed, even without considering the aforementioned technical difficulties, an additional limitation is the very low rate of acceptance of home cameras.
Il a été proposé dans J. Jia et al., "Inferring Emotions From Large-Scale Internet Voice Data," in IEEE Transactions on Multimedia, vol. 21, no. 7, pp. 1853-1866, July 2019, un modèle de réseau neuronal qui utilise des informations acoustiques, des informations textuelles et trois indicateurs : un indicateur temporel, un indicateur descriptif et un indicateur géosocial. L’objectif visé est d’apporter des informations contextuelles donnant du sens à des informations acoustiques reçues par un assistant vocal en s’appuyant sur la durée d’une requête, sur l’objet de la requête et sur la localisation de l’utilisateur. Une limite de cette approche est que la détermination d’émotion nécessite à la fois que la personne dispose d’un assistant vocal et qu’elle en ait une utilisation régulière. Il serait souhaitable, pour estimer de manière plus robuste l’état émotionnel d’une personne, d’exploiter davantage de sources d’information. Une autre limite de cette approche est la nature des informations exploitées extraites des informations acoustiques, qui se résume à la durée et à l’objet des requêtes. Il serait souhaitable, toujours pour estimer de manière plus robuste l’état émotionnel d’une personne, de pouvoir extraire et exploiter, à partir d’informations acoustiques, d’autres données sémantiques.It has been proposed in J. Jia et al., "Inferring Emotions From Large-Scale Internet Voice Data," in IEEE Transactions on Multimedia, vol. 21, no. 7, p. 1853-1866, July 2019, a neural network model that uses acoustic information, textual information and three indicators: a temporal indicator, a descriptive indicator and a geosocial indicator. The objective is to provide contextual information giving meaning to acoustic information received by a voice assistant based on the duration of a request, the subject of the request and the location of the user. . A limitation of this approach is that determining emotion requires both that the person has a voice assistant and that they use it regularly. It would be desirable, in order to more robustly estimate the emotional state of a person, to exploit more sources of information. Another limitation of this approach is the nature of the exploited information extracted from the acoustic information, which boils down to the duration and the object of the requests. It would be desirable, always to estimate in a more robust way the emotional state of a person, to be able to extract and exploit, from acoustic information, other semantic data.
Il a été proposé dans Z. Yang and S. S. Narayanan, "Modeling Dynamics of Expressive Body Gestures In Dyadic Interactions," in IEEE Transactions on Affective Computing, vol. 8, no. 3, pp. 369-381, 1 July-Sept. 2017, un cadre statistique pour modéliser la dynamique des gestes corporels dans les interactions dyadiques. Les gestes corporels sont un canal d'expression non verbal, important lors de la communication affective. Ils véhiculent les attitudes et les émotions qui se déploient dynamiquement au cours d'une interaction interpersonnelle. Premièrement, la construction d’un modèle générique s’appuyant sur des modèles de mélange gaussiens représente la variabilité gestuelle indépendante du sujet. Ensuite, chaque séquence de gestes est décrite comme une concaténation de gestes sémantiques qui sont dérivés d'une structure d’un modèle de Markov caché construit en parallèle. Un inconvénient de cette approche est que certaines émotions ne sont pas perceptibles par le mouvement corporel, par exemple le dégoût. Par ailleurs certains gestes peuvent être communs à plusieurs types, ou classes, d’émotions, d’où une possibilité de confusion et de détermination incorrecte. Par exemple, les gestes d’une personne peuvent être similaires lorsque la personne est enthousiaste ou contente.It was proposed in Z. Yang and S. S. Narayanan, "Modeling Dynamics of Expressive Body Gestures In Dyadic Interactions," in IEEE Transactions on Affective Computing, vol. 8, no. 3, p. 369-381, 1 July-Sept. 2017, a statistical framework for modeling the dynamics of bodily gestures in dyadic interactions. Body gestures are a non-verbal channel of expression, important in affective communication. They convey the attitudes and emotions that unfold dynamically during an interpersonal interaction. First, the construction of a generic model based on Gaussian mixing models represents subject-independent gestural variability. Then, each gesture sequence is described as a concatenation of semantic gestures that are derived from a structure of a hidden Markov model built in parallel. A disadvantage of this approach is that some emotions are not perceptible through body movement, for example disgust. Moreover, certain gestures may be common to several types, or classes, of emotions, hence the possibility of confusion and incorrect determination. For example, a person's gestures may be similar when the person is excited or happy.
Il a été proposé dans D. Fedotov, Y. Matsuda and W. Minker, "From Smart to Personal Environment: Integrating Emotion Recognition into Smart Houses," 2019 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops), la combinaison d’un système de dialogue et de reconnaissance des émotions dans une maison connectée. Les auteurs estiment que ces deux systèmes sont complémentaires et qu’ils permettent de suivre en permanence l'état de l'utilisateur, interagir avec lui en temps réel et en réaction aux changements d'humeur. L’objectif visé est d’adapter le système de dialogue à l’humeur perçue, confondue dans ces travaux avec l’émotion de la personne. Cependant, dans un service de maintien à domicile pour le bien-être et l’évaluation de la santé des occupants, l’humeur et l’émotion d’une personne doivent être distinguées.It was proposed in D. Fedotov, Y. Matsuda and W. Minker, "From Smart to Personal Environment: Integrating Emotion Recognition into Smart Houses," 2019 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops), the combination of a dialogue and emotion recognition system in a connected home. The authors believe that these two systems are complementary and that they make it possible to constantly monitor the state of the user, interact with him in real time and in reaction to mood changes. The objective is to adapt the dialogue system to the perceived mood, confused in these works with the emotion of the person. However, in a home support service for the well-being and health assessment of occupants, a person's mood and emotion must be distinguished.
Il a été proposé dans K. Lin, F. Xia, W. Wang, D. Tian and J. Song, "System Design for Big Data Application in Emotion-Aware Healthcare," in IEEE Access, vol. 4, pp. 6901-6909, 201, un système améliorant les services de santé en tenant compte du facteur émotionnel. En effet, les systèmes de santé existants se concentrent uniquement sur le raisonnement logique mais ignorent le facteur de l’émotion de l’utilisateur, pourtant considéré comme un facteur important d’impact sur la santé humaine. Les capteurs utilisés sont des bracelets, des montres, des lunettes connectés, etc. Dans cette approche les capteurs sont portés par les utilisateurs ce qui est un frein pour le suivi médicalisé. En effet, l’acceptation de capteurs portés, intrusifs, est de manière générale faible. De plus leur utilisation est inadaptée par exemple pour des périodes de soin, de toilettes, etc.It has been proposed in K. Lin, F. Xia, W. Wang, D. Tian and J. Song, “System Design for Big Data Application in Emotion-Aware Healthcare,” in IEEE Access, vol. 4, p. 6901-6909, 201, a system improving health services taking into account the emotional factor. Indeed, existing health systems focus only on logical reasoning but ignore the user's emotion factor, yet considered an important factor of impact on human health. The sensors used are bracelets, watches, connected glasses, etc. In this approach, the sensors are worn by the users, which is an obstacle for medical monitoring. Indeed, the acceptance of worn, intrusive sensors is generally low. In addition, their use is unsuitable, for example for periods of care, toilets, etc.
Il existe donc un besoin de pouvoir remédier aux inconvénients cités précédemment et proposer une prédiction robuste de situations émotionnelles dites négatives de personnes dans un habitat connecté en vue d’inciter lesdites personnes à avoir des émotions dites plus positives. Il est, de plus, souhaitable que les sources exploitées soient multimodales.There is therefore a need to be able to remedy the drawbacks mentioned above and to propose a robust prediction of so-called negative emotional situations of people in a connected habitat in order to encourage said people to have so-called more positive emotions. It is also desirable that the sources used be multimodal.
RésuméSummary
La présente divulgation vient améliorer la situation.This disclosure improves the situation.
Il est proposé un procédé de prédiction d’un état émotionnel d’un utilisateur et de suggestion d’un service numérique prédéfini à l’utilisateur, le procédé étant mis en œuvre par un circuit de traitement connecté à une pluralité d’équipements communicants installés dans un environnement occupé par l’utilisateur, le procédé comprenant :
- une obtention d’une pluralité de signaux d’intérêt acquis par les équipements communicants, la pluralité de signaux d’intérêt comprenant au moins un signal d’intérêt d’un premier type mesurant un comportement de l’utilisateur, un signal d’intérêt d’un deuxième type mesurant un état de l’environnement et un signal d’intérêt d’un troisième type indicatif d’un contexte extérieur à l’environnement,
- pour chaque signal d’intérêt obtenu, une détermination, sur la base dudit signal obtenu, d’une série temporelle d’intérêt formée d’une séquence de valeurs en fonction du temps,
- une obtention d’un modèle structurant des corrélations temporelles et multimodales entre les valeurs des séries temporelles d’intérêt et l’état émotionnel de l’utilisateur en fonction du temps,
- sur la base du modèle obtenu et des séries temporelles d’intérêt obtenues, une inférence, à un instant courant, d’un score d’émotion correspondant à une prédiction d’un état émotionnel de l’utilisateur à un instant ultérieur,
- sur la base du score d’émotion inféré, un déclenchement d’une routine d’animation d’une interface homme-machine pour suggérer à l’utilisateur au moins un service numérique prédéfini associé au score d’émotion inféré, et
- à l’obtention d’un retour de l’utilisateur, reçu par l’interface homme-machine, un déclenchement du service numérique prédéfini via un signal de commande transmis à au moins un équipement de la pluralité d’équipements communicants.A method is proposed for predicting an emotional state of a user and for suggesting a predefined digital service to the user, the method being implemented by a processing circuit connected to a plurality of communicating equipment installed in a user-occupied environment, the method comprising:
- obtaining a plurality of signals of interest acquired by the communicating equipment, the plurality of signals of interest comprising at least one signal of interest of a first type measuring a behavior of the user, a signal of interest of a second type measuring a state of the environment and a signal of interest of a third type indicative of a context external to the environment,
- for each signal of interest obtained, a determination, on the basis of said signal obtained, of a time series of interest formed of a sequence of values as a function of time,
- obtaining a model structuring the temporal and multimodal correlations between the values of the time series of interest and the emotional state of the user as a function of time,
- on the basis of the model obtained and the time series of interest obtained, an inference, at a current instant, of an emotion score corresponding to a prediction of an emotional state of the user at a later instant,
- on the basis of the inferred emotion score, triggering an animation routine of a man-machine interface to suggest to the user at least one predefined digital service associated with the inferred emotion score, and
- upon obtaining feedback from the user, received by the man-machine interface, triggering of the predefined digital service via a control signal transmitted to at least one device of the plurality of communicating devices.
Le procédé proposé vise à répondre aux inconvénients cités précédemment et à proposer une prédiction robuste de situations émotionnelles « négatives » dans un habitat connecté pour promouvoir des services qui incitent les personnes à avoir des émotions « plus positives ». Un exemple de classification d’émotions est décrit dans Parrott, W. (2001), Emotions in Social Psychology, Key Readings in Social Psychology, Philadelphia: Psychology Press. Dans cet exemple, quinze classes d’émotions sont définies : neutre (1), dégoûté (2), paniqué (3), anxieux (4), en colère (5), colère froide (6), désespéré (7), triste (8), enthousiaste (9), content (10), intéressé (11), ennuyé (12), honteux (13), fier (14) et méprisant (15). Dans un exemple d’implémentation utilisant les classes d’émotions définies ci-dessus, les classes d’émotions dégoûté, paniqué, anxieux, en colère, désespéré, triste, ennuyé et honteux peuvent être considérées comme négatives et les classes d’émotions enthousiaste, content et intéressé peuvent être considérées comme positives.The proposed method aims to respond to the aforementioned drawbacks and to propose a robust prediction of “negative” emotional situations in a connected habitat to promote services that encourage people to have “more positive” emotions. An example of emotion classification is described in Parrott, W. (2001), Emotions in Social Psychology, Key Readings in Social Psychology, Philadelphia: Psychology Press. In this example, fifteen classes of emotions are defined: neutral (1), disgusted (2), panicked (3), anxious (4), angry (5), cold anger (6), desperate (7), sad (8), enthusiastic (9), happy (10), interested (11), annoyed (12), ashamed (13), proud (14) and contemptuous (15). In an example implementation using the emotion classes defined above, the emotion classes disgusted, panicked, anxious, angry, desperate, sad, bored and ashamed can be considered negative and the emotion classes enthusiastic , happy and interested can be considered positive.
Le procédé proposé est innovant sur les sources exploitées qui sont multimodales venant de trois domaines, à savoir :
- des informations propres aux comportements des individus, par exemple liées aux expressions faciales, à la voix, aux gestes, etc.,
- des informations de la maison connectée par exemple liées à la température, à l’humidité, à la consommation d’énergie, etc., et
- des informations extérieures à la maison, par exemple liées aux prévisions météorologiques, aux actualités, etc.
- information specific to the behavior of individuals, for example related to facial expressions, voice, gestures, etc.,
- information from the connected home, for example relating to temperature, humidity, energy consumption, etc., and
- information outside the home, for example related to weather forecasts, news, etc.
Le procédé proposé est, de plus, original dans sa conception de bout en bout. En effet, la mise en œuvre du procédé permet de traiter des données brutes reçues d’équipements communicants, d’inférer un score d’émotion indiquant une situation émotionnelle prédite, et de promouvoir un service adapté afin d’influencer cette situation émotionnelle prédite. Une reconnaissance d’émotions « négatives » est une référence situationnelle pour promouvoir des services invoquant des émotions « positives ».The proposed method is, moreover, original in its end-to-end design. Indeed, the implementation of the method makes it possible to process raw data received from communicating equipment, to infer an emotion score indicating a predicted emotional situation, and to promote an adapted service in order to influence this predicted emotional situation. A recognition of “negative” emotions is a situational reference to promote services invoking “positive” emotions.
Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre. Elles peuvent être mises en œuvre indépendamment les unes des autres ou en combinaison les unes avec les autres :The characteristics exposed in the following paragraphs can, optionally, be implemented. They can be implemented independently of each other or in combination with each other:
Dans un exemple, le procédé comprend en outre une collecte de signaux au cours du temps depuis la pluralité d’équipements communicants et une sélection des signaux d’intérêt parmi les signaux collectés.In one example, the method further comprises a collection of signals over time from the plurality of communicating equipment and a selection of the signals of interest from among the signals collected.
En effet, le procédé est applicable dans de nombreuses configurations possibles d’installations domestiques, notamment aucune restriction n’est imposée sur la nature des équipements communicants présents dans l’installation domestique et des capteurs les équipant.Indeed, the method is applicable in many possible configurations of domestic installations, in particular no restriction is imposed on the nature of the communicating equipment present in the domestic installation and the sensors equipping them.
La pertinence relative des signaux collectés pour la prédiction de situation émotionnelle des habitants peut par exemple être évaluée au cours d’une phase de calibration du modèle, de sorte qu’il soit possible, sur la base de cette évaluation, de ne sélectionner que les signaux obtenus ayant une corrélation avérée avec une situation émotionnelle ultérieure de l’utilisateur. Ainsi, l’utilisation des ressources du circuit de traitement est optimisée pour la prédiction de la situation émotionnelle de l’utilisateur.The relative relevance of the signals collected for the prediction of the emotional situation of the inhabitants can for example be evaluated during a calibration phase of the model, so that it is possible, on the basis of this evaluation, to select only the signals obtained having a proven correlation with a subsequent emotional situation of the user. Thus, the use of the resources of the processing circuit is optimized for the prediction of the emotional situation of the user.
Dans un exemple, le procédé comprend en outre une segmentation temporelle des signaux d’intérêt, et les séries temporelles d’intérêt sont déterminées sur la base des signaux segmentés.In one example, the method further includes temporal segmentation of the signals of interest, and the time series of interest are determined based on the segmented signals.
La segmentation temporelle permet de disposer de séries temporelles d’intérêt chronologiquement synchronisées. Par exemple, une segmentation temporelle en intervalles de temps de 30 secondes a pour effet que toutes les séries temporelles d’intérêt comportent, pour chaque intervalle de temps de 30 secondes, une valeur de grandeur d’intérêt associée. Cette synchronisation temporelle permet par exemple d’établir des corrélations multimodales entre les valeurs de différentes grandeurs d’intérêt au cours d’un même intervalle de temps, ou au cours d’intervalles de temps consécutifs. Ainsi, il est possible de structurer dans le modèle, par exemple, une corrélation entre le débit de parole de l’utilisateur au cours d’un intervalle de temps donné et ses gestes au cours d’un intervalle de temps suivant.Temporal segmentation makes it possible to have chronologically synchronized time series of interest. For example, a temporal segmentation in time intervals of 30 seconds has the effect that all the time series of interest comprise, for each time interval of 30 seconds, an associated value of quantity of interest. This temporal synchronization makes it possible, for example, to establish multimodal correlations between the values of different quantities of interest during the same time interval, or during consecutive time intervals. Thus, it is possible to structure in the model, for example, a correlation between the speech rate of the user during a given time interval and his gestures during a following time interval.
Dans un exemple, le procédé comprend en outre un traitement des signaux d’intérêt, tel qu’un filtrage passe-bas, une normalisation, ou un rééchantillonnage, et les séries temporelles d’intérêt sont déterminées sur la base des signaux traités.In one example, the method further includes processing the signals of interest, such as low-pass filtering, normalization, or resampling, and the time series of interest are determined based on the processed signals.
Ce traitement permet, de manière générale, de mettre en forme les signaux d’intérêt en vue de l’inférence de la situation émotionnelle de l’utilisateur. A titre d’exemples, le filtrage passe-bas permet de débruiter l’information, la normalisation permet d’uniformiser les données et le rééchantillonnage de données permet de synchroniser les sources.This processing makes it possible, in general, to shape the signals of interest with a view to inferring the emotional situation of the user. For example, low-pass filtering makes it possible to denoise the information, normalization makes it possible to standardize the data and data resampling makes it possible to synchronize the sources.
Dans un exemple, les valeurs des séries temporelles d’intérêt sont obtenues par classement des signaux d’intérêt par modalité selon une échelle discrète de valeurs associée audit signal.In one example, the values of the time series of interest are obtained by classifying the signals of interest by modality according to a discrete scale of values associated with said signal.
Ce classement par modalité permet, en synthétisant les informations contenues dans les signaux d’intérêt, de mettre en évidence des sous-séquences récurrentes au sein de chaque série temporelle d’intérêt. Chaque sous-séquence récurrente ainsi mise en évidence peut servir de base à une corrélation temporelle. Ainsi, le classement par modalité d’un signal d’intérêt favorise la détection de corrélations temporelles relativement à ce signal d’intérêt.This classification by modality makes it possible, by synthesizing the information contained in the signals of interest, to highlight recurring sub-sequences within each time series of interest. Each recurrent sub-sequence thus highlighted can serve as a basis for a temporal correlation. Thus, the classification by modality of a signal of interest favors the detection of temporal correlations relative to this signal of interest.
De même, le classement par modalité de plusieurs signaux d’intérêt a pour effet de favoriser la détection de corrélations multimodales entre ces signaux d’intérêt.Similarly, the classification by modality of several signals of interest has the effect of favoring the detection of multimodal correlations between these signals of interest.
Dans un exemple, les corrélations temporelles et multimodales du modèle sont obtenues par apprentissage sur la base :
- pour chaque série temporelle d’intérêt, d’une sous-section de référence formée d’une portion de la séquence de valeurs, la portion couvrant une période temporelle de référence, et
- d’une base de connaissances répertoriant, pour une pluralité d’instants de la période temporelle de référence, un score d’émotion de référence indicatif de l’état émotionnel de l’utilisateur audit instant.In one example, the temporal and multimodal correlations of the model are obtained by training based on:
- for each time series of interest, a reference subsection formed of a portion of the sequence of values, the portion covering a reference time period, and
- a knowledge base listing, for a plurality of instants of the reference time period, a reference emotion score indicative of the emotional state of the user at said instant.
Ainsi, après cet apprentissage, les séries temporelles d’intérêt continuent à être acquises de la même manière que pendant la période temporelle de référence, en utilisant les mêmes équipements communicants.Thus, after this learning, the time series of interest continue to be acquired in the same way as during the reference time period, using the same communicating equipment.
Un score d’émotion ultérieur de l’utilisateur peut alors être inféré en s’appuyant sur les corrélations établies, dans les mêmes conditions, entre les scores d’émotions de la base de connaissance et les sous-sections de référence des séries temporelles d’intérêt.A subsequent user emotion score can then be inferred based on the correlations established, under the same conditions, between the emotion scores of the knowledge base and the reference subsections of the time series d 'interest.
Dans un exemple, le modèle comprend une corrélation temporelle donnée entre plusieurs valeurs d’une série temporelle d’intérêt donnée, et l’inférence du score d’émotion est basée sur la corrélation temporelle donnée.In one example, the model includes a given temporal correlation between several values of a given time series of interest, and the inference of the emotion score is based on the given temporal correlation.
Une sous-séquence particulière peut être identifiée au sein d’une série temporelle d’intérêt. Par exemple, une expression du visage indiquant un ennui peut être détectée de manière répétée au cours de plusieurs instants consécutifs. Il est ainsi possible d’inférer qu’à un instant ultérieur, cette expression du visage se maintiendra. Sur cette base, il est ainsi possible d’inférer un état émotionnel ultérieur « ennuyé ».A particular subsequence can be identified within a time series of interest. For example, a facial expression indicating boredom may be detected repeatedly over several consecutive time points. It is thus possible to infer that at a later moment, this facial expression will be maintained. On this basis, it is thus possible to infer a later emotional state “bored”.
Dans un exemple, les séries temporelles d’intérêt sont regroupées en une pluralité de domaines informationnels, le modèle comprend, pour au moins un domaine informationnel donné, une corrélation multimodale donnée entre une pluralité de séries temporelles d’intérêt dudit domaine informationnel donné, et l’inférence du score d’émotion est basée sur la corrélation multimodale donnée.In one example, the time series of interest are grouped into a plurality of informational domains, the model comprises, for at least one given informational domain, a given multimodal correlation between a plurality of time series of interest of said given informational domain, and the inference of the emotion score is based on the given multimodal correlation.
Par exemple, un score d’émotion peut être inféré en se basant sur une corrélation multimodale avec les actualités et les informations météorologiques. Par exemple, un temps ensoleillé, associé à un événement d’actualité perçu positivement pour une personne donnée, peuvent généralement être corrélés à un état émotionnel positif de la personne donnée.For example, an emotion score can be inferred based on a multimodal correlation with news and weather information. For example, sunny weather, associated with a positively perceived current event for a given person, can generally be correlated with a positive emotional state of the given person.
Dans un exemple, le procédé comprend une obtention d’une série temporelle latente formée d’une séquence de valeurs en fonction du temps, le modèle obtenu comprend une corrélation temporelle donnée entre plusieurs valeurs de la série temporelle latente, l’inférence du score d’émotion comprend une détermination, à l’instant courant, de la valeur de la série temporelle latente à l’instant courant sur la base de la corrélation temporelle donnée, et l’inférence du score d’émotion est basée sur la valeur déterminée de la série temporelle latente.In one example, the method comprises obtaining a latent time series formed of a sequence of values as a function of time, the model obtained comprises a given temporal correlation between several values of the latent time series, the inference of the score d emotion includes determining, at the current time, the value of the latent time series at the current time based on the given time correlation, and inferring the emotion score is based on the determined value of the latent time series.
Une série temporelle latente permet de représenter une grandeur non mesurable, par exemple en l’absence de capteur adéquat, mais néanmoins corrélée à la fois à une ou plusieurs grandeurs mesurables et à l’état émotionnel de la personne. Cette série temporelle latente peut être manipulée en tant que telle par le modèle. Ainsi il est possible de structurer, à l’aide du modèle, une corrélation temporelle entre différentes valeurs de toute série temporelle, qu’elle soit relative à une grandeur mesurable ou à une grandeur latente.A latent time series makes it possible to represent an unmeasurable quantity, for example in the absence of an adequate sensor, but nevertheless correlated both with one or more measurable quantities and with the emotional state of the person. This latent time series can be manipulated as such by the model. Thus it is possible to structure, using the model, a temporal correlation between different values of any time series, whether it relates to a measurable quantity or a latent quantity.
Dans un exemple, le procédé comprend, sur la base du modèle et des séries temporelles obtenues, une détermination, à un instant courant, d’un niveau de confiance associé au score d’émotion inféré, le procédé comprend en outre une comparaison du niveau de confiance déterminé avec un seuil, et le déclenchement de la routine est basé sur le résultat de la comparaison.In one example, the method comprises, on the basis of the model and the time series obtained, a determination, at a current instant, of a level of confidence associated with the inferred emotion score, the method further comprises a comparison of the level confidence determined with a threshold, and the triggering of the routine is based on the result of the comparison.
Ainsi, pour un score d’émotion inféré donné, il est possible de ne recommander un service prédéfini à un utilisateur, par exemple, que si les corrélations multimodales et temporelles ont permis d’inférer le score d’émotion avec un niveau de confiance suffisant. Ceci évite de suggérer des services à un utilisateur sur la base de prédictions erronées de son état émotionnel ultérieur.Thus, for a given inferred emotion score, it is possible to recommend a predefined service to a user, for example, only if the multimodal and temporal correlations have made it possible to infer the emotion score with a sufficient level of confidence. . This avoids suggesting services to a user based on erroneous predictions of his subsequent emotional state.
Dans un exemple, une pluralité de services numériques suggérés sont définis par des liens respectifs stockés dans une table de correspondance en association avec des seuils de scores d’émotion respectifs et, en cas de dépassement d’un seuil par le score d’émotion de l’utilisateur, au moins un lien d’un service numérique correspondant est lu pour suggérer ledit service numérique correspondant à l’utilisateur via l’interface homme-machine.In one example, a plurality of suggested digital services are defined by respective links stored in a correspondence table in association with respective emotion score thresholds and, if a threshold is exceeded by the emotion score of the user, at least one link of a corresponding digital service is read to suggest said corresponding digital service to the user via the man-machine interface.
Ainsi, un service n’est recommandé à l’utilisateur que si l’intensité d’une émotion prédite est suffisamment importante. Ceci a pour effet de réserver la suggestion de services à l’utilisateur aux moments où l’exécution de ces services lui seraient les plus utiles.Thus, a service is only recommended to the user if the intensity of a predicted emotion is sufficiently high. This has the effect of reserving the suggestion of services to the user at times when the execution of these services would be most useful to him.
Dans un exemple, les liens respectifs sont stockés dans la table de correspondance selon un ordre de préférence, en cas de dépassement d’un seuil par le score d’émotion de l’utilisateur, une pluralité de liens de services numériques correspondants est lue selon l’ordre de préférence pour suggérer lesdits services numériques correspondants à l’utilisateur via l’interface homme-machine, le retour de l’utilisateur à l’invitation émise comprend une sélection d’un service numérique parmi lesdits services numériques correspondants, et l’ordre de préférence est mis à jour sur la base de ladite sélection.In one example, the respective links are stored in the correspondence table according to an order of preference, in the event of a threshold being exceeded by the user's emotion score, a plurality of corresponding digital service links are read according to the order of preference to suggest said corresponding digital services to the user via the man-machine interface, the user's return to the issued invitation comprises a selection of a digital service among said corresponding digital services, and the the order of preference is updated based on said selection.
Ainsi, une sélection de services est proposée à l’utilisateur et les services habituellement préférés parmi cette sélection seront mis davantage, ou plus fréquemment, en avant.Thus, a selection of services is offered to the user and the services usually preferred from this selection will be put forward more, or more frequently.
Il est également proposé un programme informatique comportant des instructions pour la mise en œuvre du procédé ci-avant lorsque ce programme est exécuté par un processeur.A computer program is also proposed comprising instructions for implementing the above method when this program is executed by a processor.
Il est également proposé un support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en œuvre du procédé ci-avant lorsque ce programme est exécuté par un processeur.There is also proposed a non-transitory recording medium readable by a computer on which is recorded a program for the implementation of the method above when this program is executed by a processor.
Il est également proposé un circuit de traitement comprenant un processeur connecté au support d’enregistrement non transitoire ci-avant et à une interface de communication.A processing circuit is also proposed comprising a processor connected to the above non-transitory recording medium and to a communication interface.
D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :Other characteristics, details and advantages will appear on reading the detailed description below, and on analyzing the appended drawings, in which:
Fig. 1Fig. 1
Fig. 2Fig. 2
Fig. 3Fig. 3
Les dessins et la description ci-après contiennent, pour l’essentiel, des éléments de caractère certain. Ils pourront donc non seulement servir à mieux faire comprendre la présente divulgation, mais aussi contribuer à sa définition, le cas échéant.The drawings and the description below contain, for the most part, certain elements. They may therefore not only serve to better understand this disclosure, but also contribute to its definition, where applicable.
On se réfère à présent à la Figure 1, qui représente un exemple de circuit de traitement intégré à un équipement communicant, installé dans un espace occupé par une personne, tel qu’un logement.Reference is now made to Figure 1, which shows an example of a processing circuit integrated into communicating equipment, installed in a space occupied by a person, such as a dwelling.
Le circuit de traitement comprend au moins un processeur PROC 100 raccordé à au moins une mémoire MEM 200 et à au moins une interface de communication COM 300.The processing circuit comprises at least one processor PROC 100 connected to at least one memory MEM 200 and to at least one communication interface COM 300.
Un équipement communicant est caractérisé par sa capacité à recevoir et transmettre des informations via l’interface de communication. Par exemple, dans une installation domestique, différents équipements communicants peuvent être configurés pour communiquer les uns avec les autres à travers un réseau de communication local et/ou un réseau de communication étendu. La communication peut être filaire et/ou par ondes radioélectriques.A communicating device is characterized by its ability to receive and transmit information via the communication interface. For example, in a domestic installation, various communicating devices can be configured to communicate with each other through a local communication network and/or an extended communication network. Communication can be wired and/or by radio waves.
Certains équipements communicants peuvent être en outre équipés de capteurs permettant de recueillir des données.Some communicating equipment can also be equipped with sensors to collect data.
On peut citer par exemple comme équipements communicants les smartphones, tablettes, ordinateurs, téléviseurs connectés, passerelles réseau, enceintes connectées, montres, bracelets ou bandeaux connectés, appareils électroménagers, stations météo, compteurs électriques, de gaz ou d’eau, éclairages connectés, caméras connectées, thermostats connectés, etc.Examples of communicating equipment include smartphones, tablets, computers, connected televisions, network gateways, connected speakers, watches, connected bracelets or headbands, household appliances, weather stations, electricity, gas or water meters, connected lighting, connected cameras, connected thermostats, etc.
On se réfère à présent à la Figure 2, qui représente un ordinogramme d’un algorithme général d’un programme informatique stocké sur la mémoire MEM (200) du circuit de traitement représenté sur la Figure 1.Reference is now made to Figure 2, which shows a flowchart of a general algorithm of a computer program stored on the memory MEM (200) of the processing circuit shown in Figure 1.
Ce circuit de traitement est configuré pour obtenir, ou recevoir SIGN OBT (P1), de manière continue, un flux de signaux. Chaque signal transporte au moins un type d’information numérique.This processing circuit is configured to obtain, or receive SIGN OBT (P1), continuously, a stream of signals. Each signal carries at least one type of digital information.
Si le circuit de traitement est intégré à un équipement communicant muni d’un ou de plusieurs capteurs, alors la réception de signaux peut s’effectuer par acquisition à l’aide du ou desdits capteurs.If the processing circuit is integrated into communicating equipment provided with one or more sensors, then the reception of signals can be carried out by acquisition using the said sensor(s).
Par exemple, si l’équipement communicant comprend une caméra, alors il est possible de recueillir un enregistrement vidéo de la personne, en tant que signal transportant plusieurs types d’informations numériques. Cet enregistrement vidéo peut être analysé par le circuit de traitement afin d’identifier lesdites informations numériques. Il est ainsi possible de recueillir différentes caractéristiques du visage ou expressions faciales, différents gestes ou postures, des déplacements de la personne, une luminosité ambiante, etc.For example, if the communicating equipment includes a camera, then it is possible to collect a video recording of the person, as a signal carrying several types of digital information. This video recording can be analyzed by the processing circuit in order to identify said digital information. It is thus possible to collect different facial characteristics or facial expressions, different gestures or postures, movements of the person, ambient light, etc.
La réception de signaux peut s’effectuer en parallèle via l’interface de communication du circuit de traitement, récepteur. Ainsi, il est possible de recevoir des signaux émis par d’autres équipements communicants, émetteurs, de l’installation domestique.The reception of signals can be carried out in parallel via the communication interface of the processing circuit, receiver. Thus, it is possible to receive signals transmitted by other communicating equipment, transmitters, of the domestic installation.
Par exemple, une enceinte connectée, en tant qu’équipement communicant émetteur, peut recueillir un enregistrement audio en tant que signal transportant des informations numériques. Le traitement de cet enregistrement audio directement par l’enceinte connectée peut permettre d’extraire par exemple un niveau sonore ambiant, un débit de parole d’une personne, une estimation de position de la personne, etc. Il est possible de transmettre chaque type d’information numérique extrait séparément. En d’autres termes, l’enceinte connectée peut transmettre une pluralité de signaux. Chaque signal transporte un type d’information numérique, à l’équipement communicant récepteur.For example, a connected speaker, as transmitting communicating equipment, can collect an audio recording as a signal carrying digital information. The processing of this audio recording directly by the connected speaker can make it possible to extract, for example, an ambient sound level, a person's speech rate, an estimate of the person's position, etc. It is possible to transmit each type of digital information extracted separately. In other words, the connected speaker can transmit a plurality of signals. Each signal carries a type of digital information to the receiving communicating equipment.
Alternativement, l’enceinte connectée peut directement transmettre l’enregistrement audio à l’équipement communicant récepteur, sans traitement préalable. Dans ce cas, l’enceinte connectée transmet un signal, audio, transportant plusieurs types d’informations numériques.Alternatively, the connected speaker can directly transmit the audio recording to the receiving communicating equipment, without prior processing. In this case, the connected speaker transmits a signal, audio, carrying several types of digital information.
Par exemple, une station météo, en tant qu’équipement communicant émetteur, peut être munie de capteurs permettant de recueillir de manière continue différentes informations numériques domotiques. On peut citer à titre d’exemple la température ambiante dans différentes pièces, l’humidité, la pression atmosphérique, le taux de dioxyde de carbone, etc. Ces informations numériques domotiques peuvent être transmises sous la forme de séries temporelles, donc sous la forme de séquences de valeurs horodatées.For example, a weather station, as transmitting communicating equipment, can be fitted with sensors to continuously collect various home automation digital information. Examples include ambient temperature in different rooms, humidity, atmospheric pressure, carbon dioxide levels, etc. This digital home automation information can be transmitted in the form of time series, therefore in the form of sequences of timestamped values.
De manière générale, en fonction de la nature et de la configuration des différents équipements communicants préexistants au sein d’une installation domestique particulière, il est possible d’obtenir une grande variété d’informations numériques. En principe, les informations numériques ainsi obtenues sont hétérogènes à la fois par leur nature et leur format.In general, depending on the nature and configuration of the various pre-existing communicating equipment within a particular domestic installation, it is possible to obtain a wide variety of digital information. In principle, the digital information thus obtained is heterogeneous both in nature and in format.
Trois catégories d’informations obtenues sont définies ci-après.Three categories of information obtained are defined below.
Une première catégorie d’informations concerne les informations décrivant le comportement de la personne. Par exemple, il peut s’agir de caractéristiques du visage, de la voix, des gestes, etc. Ce type d’information peut être issu par exemple d’équipements communicants comprenant des capteurs audio et/ou vidéo. Des sous-catégories peuvent être définies. Par exemple, une première sous-catégorie peut englober les caractéristiques du visage. Une deuxième sous-catégorie peut regrouper les caractéristiques de la voix.A first category of information concerns information describing the behavior of the person. For example, it can be features of the face, voice, gestures, etc. This type of information can come, for example, from communicating equipment comprising audio and/or video sensors. Subcategories can be defined. For example, a first subcategory may encompass facial features. A second sub-category can group the characteristics of the voice.
Une deuxième catégorie d’informations concerne les informations liées à l’espace occupé par la personne. Par exemple, il peut s’agir de témoins d’ouverture de portes, de relevés de consommation d’eau, de gaz ou d’électricité, de mesures de température, de luminosité ou de niveau sonore, etc. Ce type d’information peut être acquis par exemple par des capteurs adéquats présents sur divers équipements d’habitat connecté.A second category of information concerns information related to the space occupied by the person. For example, it may be door opening indicators, water, gas or electricity consumption readings, temperature, brightness or sound level measurements, etc. This type of information can be acquired, for example, by appropriate sensors present on various connected home equipment.
Une troisième catégorie d’informations concerne une ou plusieurs informations liées à un contexte extérieur à la maison. Par exemple, il peut s’agir d’informations météorologiques, de fils d’actualité, d’indicateurs de pollution de l’air, etc. Ce type d’information peut être téléchargé par un équipement communicant, par exemple depuis un serveur distant.A third category of information concerns one or more information related to a context outside the home. For example, it can be weather information, news feeds, air pollution indicators, etc. This type of information can be downloaded by a communicating device, for example from a remote server.
Dans le contexte de la divulgation, il est considéré qu’au moins une information numérique est obtenue pour chaque catégorie d’informations définie ci-avant.In the context of disclosure, it is considered that at least one digital information is obtained for each category of information defined above.
D’autres informations numériques n’appartenant à aucune des catégories précitées, ou appartenant à plusieurs catégories précitées, peuvent être obtenues.Other digital information not belonging to any of the aforementioned categories, or belonging to several of the aforementioned categories, can be obtained.
En parallèle à la collecte de données par la réception du flux de signaux, il est possible pour le circuit de traitement d’opérer, pour chaque catégorie ou sous-catégorie d’informations, une sélection SIGN SELEC (S2) de signaux d’intérêt à traiter.In parallel with the collection of data by the reception of the flow of signals, it is possible for the processing circuit to operate, for each category or sub-category of information, a selection SIGN SELEC (S2) of signals of interest treat.
Par exemple, il est possible de ne traiter qu’une sélection de 50 informations domotiques parmi 200 informations domotiques collectées.For example, it is possible to process only a selection of 50 home automation information from among 200 home automation information collected.
De même il est possible de ne traiter qu’une sélection de 10 caractéristiques du visage parmi 50 collectées.Similarly, it is possible to process only a selection of 10 facial characteristics out of 50 collected.
L’intérêt d’opérer une telle sélection est de minimiser les échanges de données entre équipements communicants en ignorant les caractéristiques n’ayant aucune influence sur l’état émotionnel de la personne.The advantage of making such a selection is to minimize the exchange of data between communicating equipment by ignoring the characteristics that have no influence on the emotional state of the person.
Par exemple, il est possible d’opérer un suivi de l’état émotionnel d’une personne au cours d’une période étendue de plusieurs semaines ou mois. Ce suivi peut être mis en œuvre par des itérations répétées du procédé proposé. Ce suivi peut mettre en évidence, par recoupements, que certaines informations obtenues sont décorrélées de l’état émotionnel de ladite personne. Partant de cette constatation, ces informations peuvent être ignorées à l’avenir.For example, it is possible to track a person's emotional state over an extended period of weeks or months. This monitoring can be implemented by repeated iterations of the proposed method. This follow-up can highlight, by cross-checking, that certain information obtained is decorrelated from the emotional state of the said person. Based on this finding, this information may be disregarded in the future.
De plus, une étude sociologique peut mettre en évidence que certaines informations obtenues peuvent être ignorées a priori.Moreover, a sociological study can highlight that certain information obtained can be ignored a priori.
Afin d’homogénéiser les signaux en vue de leur analyse ultérieure, il est possible pour le circuit de traitement de définir SIGN WIND (S3) une fenêtre d’analyse, ou un pas de mesure.In order to homogenize the signals with a view to their subsequent analysis, it is possible for the processing circuit to define SIGN WIND (S3) an analysis window, or a measurement step.
Par exemple, une information domotique telle qu’un niveau sonore ambiant peut être relevée de manière continue, être segmentée en intervalles consécutifs d’une durée prédéfinie, et être représentée par une série temporelle correspondant à une succession de niveaux sonores ambiants moyens au cours de chaque intervalle écoulé.For example, home automation information such as an ambient sound level can be recorded continuously, be segmented into consecutive intervals of a predefined duration, and be represented by a time series corresponding to a succession of average ambient sound levels during each elapsed interval.
Par exemple, une information météorologique telle qu’une température ambiante extérieure peut être relevée de manière discrète de manière à former une série temporelle correspondant à une succession de valeurs instantanées.For example, meteorological information such as an outside ambient temperature can be recorded discreetly so as to form a time series corresponding to a succession of instantaneous values.
Ainsi, il est possible de représenter chaque type d’information obtenu comme une série temporelle formée d’une séquence de valeurs horodatées. En d’autres termes, il est possible d’associer à chaque mesure un instant i correspondant et à chaque série temporelle comprenant n mesures une séquence d’instants consécutifs correspondants (0, 1, …, i-1, i, i+1, … n-1, n), chaque instant correspondant à un intervalle temporel prédéfini.Thus, it is possible to represent each type of information obtained as a time series formed of a sequence of timestamped values. In other words, it is possible to associate with each measurement a corresponding instant i and with each time series comprising n measurements a sequence of corresponding consecutive instants (0, 1, …, i-1, i, i+1 , … n-1, n), each instant corresponding to a predefined time interval.
Dans un exemple d’implémentation, il est possible de segmenter les données toutes les minutes sans recouvrement.In an example implementation, it is possible to segment the data every minute without overlapping.
Le circuit de traitement peut mettre en œuvre divers traitements spécifiques SIGN PROC (P4) des signaux d’intérêt recueillis et segmentés.The processing circuit can implement various SIGN PROC (P4) specific processing of the collected and segmented signals of interest.
Les traitements sont, de façon non exhaustive, du filtrage passe-bas pour débruiter l’information, de la normalisation pour uniformiser les données, du rééchantillonnage de données pour synchroniser les sources, etc.The processing is, in a non-exhaustive way, low-pass filtering to denoise the information, normalization to standardize the data, resampling of the data to synchronize the sources, etc.
Les signaux ainsi obtenus peuvent être classés SIGN CLASS (P5) par modalité. Le terme modalité désigne les différentes valeurs pouvant être prises relativement à un type d’information.The signals thus obtained can be classified SIGN CLASS (P5) by modality. The term modality refers to the different values that can be taken with respect to a type of information.
Dans un exemple d’implémentation, les caractéristiques des visages des individus peuvent être classées sur une échelle d’intensité émotionnelle de 1 à 5, afin de désigner respectivement l’intensité d’émotions telles que neutre, joyeux, dégoûté, en colère ou ennuyé. Pour les voix, le débit de la parole peut par exemple être classé sur une échelle de 1 à 4, désignant respectivement un débit lent, neutre, rapide ou très rapide. L’intensité des gestes peut être classée sur une échelle de 1 à 3, 1 désignant la personne au repos, 2 désignant des gestes d’intensité normale et 3 désignant des gestes énergiques.In an example implementation, features of people's faces can be ranked on an emotional intensity scale of 1 to 5, to designate the intensity of emotions such as neutral, happy, disgusted, angry, or annoyed, respectively. . For voices, the rate of speech can for example be classified on a scale of 1 to 4, indicating respectively a slow, neutral, fast or very fast rate. The intensity of the gestures can be classified on a scale of 1 to 3, with 1 denoting the person at rest, 2 denoting gestures of normal intensity and 3 denoting energetic gestures.
De même les informations caractérisant la maison peuvent être catégorisés sur une échelle de valeurs. Par exemple, il est possible à l’aide d’un contacteur de déterminer à chaque instant si une porte est ouverte ou fermée. La série temporelle résultant du classement par modalité peut être par exemple une alternance de valeurs égales à 1 lorsque la porte est ouverte et à 2 lorsque la porte est fermée. La consommation d’eau, de gaz ou d’électricité peut être comparée à des seuils prédéfinis et être classée par modalité selon une échelle par exemple de 1 à 4, correspondant respectivement à une consommation très faible, faible, forte ou très forte. De même pour la température, la luminosité et le bruit ambiants.Similarly, the information characterizing the house can be categorized on a scale of values. For example, it is possible using a contactor to determine at any time whether a door is open or closed. The time series resulting from the classification by modality can for example be an alternation of values equal to 1 when the door is open and to 2 when the door is closed. The consumption of water, gas or electricity can be compared to predefined thresholds and be classified by modality according to a scale for example of 1 to 4, corresponding respectively to very low, low, high or very high consumption. The same applies to ambient temperature, brightness and noise.
Les informations de contexte venant de l’extérieur de la maison peuvent également être classées. Un exemple d’échelle de 1 à 4 peut désigner respectivement un temps ensoleillé, pluvieux, neigeux ou nuageux. Il peut aussi être rendu compte des actualités majeures du jour à l’aide de telles échelles. Ainsi, il est possible d’affecter une modalité de 1 si l’actualité principale est de type politique, de 2 s’il l’agit d’une actualité sportive, etc. Il est également possible de considérer chaque type d’actualité séparément et d’affecter une modalité à chaque type d’actualités (politique, sportive, santé, de loisir, people etc.) en fonction de la présence ou absence de ce type d’actualité, d’une évaluation de leur intérêt pour la personne et/ou de leur caractère rassurant ou inquiétant.Contextual information from outside the home can also be classified. An example of a scale from 1 to 4 can refer to sunny, rainy, snowy or cloudy weather respectively. It can also be reported on the major news of the day using such scales. Thus, it is possible to assign a modality of 1 if the main news is political, 2 if it is sports news, etc. It is also possible to consider each type of news separately and to assign a modality to each type of news (politics, sports, health, leisure, people, etc.) according to the presence or absence of this type of news. topicality, an assessment of their interest in the person and/or of their reassuring or disturbing nature.
Ainsi, sont constituées des bases de données HUM_DB, IN_DB, OUT_DB pour stocker respectivement les historiques des informations pré-classées pour les trois catégories d’informations, ou domaines informationnels, décrivant l’état des habitants (ex : visages, voix, gestes, etc.), de l’intérieur de l’habitat (ex : température, humidité, consommation d’énergie, etc.) et de l’extérieur de l’habitat (ex : actualités/news, météo, indice de pollution, etc.).Thus, databases HUM_DB, IN_DB, OUT_DB are made up to respectively store the history of pre-classified information for the three categories of information, or informational domains, describing the state of the inhabitants (e.g. faces, voices, gestures, etc.), from inside the home (e.g. temperature, humidity, energy consumption, etc.) and from outside the home (e.g. news/news, weather, pollution index, etc. .).
Un modèle MOD pré-appris est chargé MOD LD (P6) par le circuit de traitement. Le modèle MOD structure des corrélations temporelles et multimodales entre les différentes sources d’informations.A pre-learned MOD model is loaded MOD LD (P6) by the processing circuit. The MOD model structures temporal and multimodal correlations between the different sources of information.
Il est à présent fait référence à un exemple d’implémentation, dans lequel le modèle MOD est un réseau bayésien dynamique. Les inventeurs ont constaté, par validation expérimentale, la robustesse de la prédiction d’un état émotionnel d’une personne sur la base d’un tel modèle.Reference is now made to an example implementation, where the MOD model is a dynamic Bayesian network. The inventors have observed, by experimental validation, the robustness of the prediction of an emotional state of a person on the basis of such a model.
Bien entendu, alternativement, tout type de modèle probabiliste, établissant des corrélations temporelles et multimodales, est applicable. Pour autant, les résultats ainsi procurés n’ont pas nécessairement une robustesse équivalente.Of course, alternatively, any type of probabilistic model, establishing temporal and multimodal correlations, is applicable. However, the results obtained in this way do not necessarily have equivalent robustness.
Le modèle MOD peut être préalablement déterminé, ou appris, lors d’une phase de calibration.The MOD model can be determined beforehand, or learned, during a calibration phase.
Cette détermination s’appuie sur des informations numériques précédemment collectées sur une durée prédéfinie, dite période de référence.This determination is based on digital information previously collected over a predefined period, known as the reference period.
Par exemple, il est possible de s’appuyer sur :
- une sous-section des bases de données HUM_DB, IN_DB, OUT_DB, correspondant aux données collectées pendant une période d’une semaine, et
- une base de connaissance EM_DB labélisant les émotions de la personne pendant cette même période.For example, it is possible to rely on:
- a subsection of the HUM_DB, IN_DB, OUT_DB databases, corresponding to data collected over a period of one week, and
- a knowledge base EM_DB labeling the emotions of the person during this same period.
Dans un exemple d’implémentation, quinze classes d’émotions peuvent être utilisées, soit neutre (1), dégoûté (2), paniqué (3), anxieux (4), en colère (5), colère froide (6), désespéré (7), triste (8), enthousiaste (9), content (10), intéressé (11), ennuyé (12), honteux (13), fier (14) et méprisant (15).In an example implementation, fifteen emotion classes can be used, either neutral (1), disgusted (2), panicked (3), anxious (4), angry (5), cold anger (6), desperate (7), sad (8), enthusiastic (9), happy (10), interested (11), bored (12), ashamed (13), proud (14) and contemptuous (15).
Les labels, désignant les classes d’émotions, peuvent être fournis par la personne elle-même, par exemple sous la forme d’un journal de bord. Alternativement, les labels peuvent être fournis par un tiers de confiance, soit la famille, un proche, le corps médical, etc.The labels, designating the classes of emotions, can be provided by the person himself, for example in the form of a logbook. Alternatively, the labels can be provided by a trusted third party, i.e. the family, a loved one, the medical profession, etc.
Les labels des émotions permettent ainsi d’apprendre des corrélations temporelles et des corrélations multimodales entre les bases de données HUM_DB, IN_DB, OUT_DB et les labels d’émotions EM_DB.The labels of the emotions thus make it possible to learn temporal correlations and multimodal correlations between the databases HUM_DB, IN_DB, OUT_DB and the labels of emotions EM_DB.
Ces corrélations constituent un exemple de modèle MOD personnalisé fourni dans une version initiale d’exploitation. Le modèle MOD est bien entendu amené à évoluer au cours du temps en fonction de l’évolution des données numériques accumulées.These correlations are an example of a custom MOD model provided in an initial production release. The MOD model is of course brought to evolve over time according to the evolution of the accumulated digital data.
Différents modèles MOD, correspondant à différentes personnes, dans différents logements, avec différentes installations domestiques, peuvent être rassemblés afin de constituer des modèles types, génériques, qui peuvent être applicables par défaut à une nouvelle personne dans un nouveau logement ayant une installation domestique comportant un ensemble d’équipements communicants donnés. Par ce biais, il est possible de s’affranchir, dans certains exemples d’implémentations, d’une phase de calibration.Different MOD models, corresponding to different people, in different dwellings, with different domestic installations, can be brought together in order to constitute typical, generic models, which can be applicable by default to a new person in a new dwelling having a domestic installation comprising a set of given communicating devices. In this way, it is possible to dispense with, in certain examples of implementations, a calibration phase.
Il est à présent fait référence à la Figure 3, représentant, dans un exemple d’implémentation, le modèle MOD sous la forme d’un réseau bayésien dynamique.Reference is now made to Figure 3, representing an example implementation of the MOD model as a dynamic Bayesian network.
L’état émotionnel Eid’une personne à un instant i donné dépend potentiellement de l’historique récent des états émotionnels de la personne. En d’autres termes, il existe une corrélation temporelle entre l’état émotionnel E de la personne, d’une part, à un instant futur i+1 et, d’autre part, à l’instant courant i, à l’instant précédent i-1, etc. Cette corrélation temporelle est représentée sur la Figure 3 par les flèches reliant les états émotionnels Ei-1, Eiet Ei+1.The emotional state E i of a person at a given instant i potentially depends on the recent history of the emotional states of the person. In other words, there is a temporal correlation between the emotional state E of the person, on the one hand, at a future instant i+1 and, on the other hand, at the current instant i, at previous instant i-1, etc. This temporal correlation is represented in Figure 3 by the arrows connecting the emotional states E i-1 , E i and E i+1 .
Par ailleurs, il existe des corrélations multimodales entre l’état émotionnel Ei+1de la personne à un instant futur i+1, d’une part, et différentes variables à l’instant courant i, d’autre part. Ces corrélations multimodales sont représentées représentée sur la Figure 3 par les flèches reliant Li, Fi, Vi, Gi, Ti, Hi, Ci, Niet Miavec Ei+1.Moreover, there are multimodal correlations between the emotional state E i+1 of the person at a future instant i+1, on the one hand, and different variables at the current instant i, on the other hand. These multimodal correlations are represented in FIG. 3 by the arrows connecting L i , F i , V i , G i , T i , H i , C i , N i and M i with E i+1 .
On peut citer notamment des variables du premier domaine informationnel, désignant des états de la personne, telles que des caractéristiques du visage, notées F, de la voix, notées V ou des gestes, notées G.Mention may in particular be made of variables of the first informational domain, designating states of the person, such as characteristics of the face, denoted F, of the voice, denoted V or of gestures, denoted G.
On peut aussi citer des variables du deuxième domaine informationnel, désignant des informations domotiques, telles que la température intérieure, notée T, l’humidité intérieure, notée H, ou la consommation d’énergie, notée C.We can also cite variables from the second informational domain, designating home automation information, such as indoor temperature, denoted T, indoor humidity, denoted H, or energy consumption, denoted C.
On peut encore citer des variables du troisième domaine informationnel, désignant des informations de contexte extérieures au domicile, telles que des informations d’actualités, notées N, ou météo, notées M.We can also cite variables from the third informational domain, designating contextual information outside the home, such as news information, denoted N, or weather, denoted M.
On peut citer de plus des variables latentes (non-observables), notées L. De telles variables représentent des grandeurs non mesurables, par exemple en raison d’une absence de capteurs permettant de les mesurer. En l’espèce, une grandeur L est modélisée par corrélation multimodale et/ou temporelle avec d’autres données obtenues. Par exemple, la luminosité en intérieur peut être corrélée à l’éclairage naturel, donc à l’ensoleillement, et à l’éclairage artificiel. Ainsi, la luminosité peut être prise en compte par le modèle MOD même en l’absence de capteur de luminosité. En effet, en admettant les corrélations ci-avant, la luminosité à un instant donné peut être modélisée en s’appuyant sur des informations météorologiques, sur des données de fonctionnement d’éclairages communicants et/ou sur des valeurs modélisées de luminosité à des instants précédents.We can also cite latent (non-observable) variables, denoted L. Such variables represent non-measurable quantities, for example due to a lack of sensors to measure them. In this case, a quantity L is modeled by multimodal and/or temporal correlation with other data obtained. For example, indoor brightness can be correlated with natural lighting, i.e. sunshine, and artificial lighting. Thus, the luminosity can be taken into account by the MOD model even in the absence of a luminosity sensor. Indeed, assuming the above correlations, the luminosity at a given instant can be modeled based on meteorological information, on communicating lighting operating data and/or on modeled luminosity values at instants previous ones.
On notera également que les informations produites par les variables latentes L, les habitants, le domicile et le contexte extérieur sont dépendantes dans le temps, c’est-à-dire que les instants i-1 et i, notamment, influencent l’instant i+1. En d’autres termes, il existe des corrélations temporelles internes à chacune de ces variables.It will also be noted that the information produced by the latent variables L, the inhabitants, the residence and the external context are dependent in time, that is to say that the instants i-1 and i, in particular, influence the instant i+1. In other words, there are internal temporal correlations to each of these variables.
On notera également que la voix et le geste influencent les caractéristiques du visage. Ces corrélations multimodales sont représentées sur la Figure 3 par les flèches reliant Viet Giavec Fi+1. De même, le visage et la voix influencent les gestes et que le visage et les gestes influencent la voix.It will also be noted that the voice and the gesture influence the characteristics of the face. These multimodal correlations are represented in Figure 3 by the arrows connecting V i and G i with F i+1 . Similarly, the face and the voice influence the gestures and that the face and the gestures influence the voice.
De même, des informations de la maison sont corrélées (par exemple : la température et l’humidité influencent la consommation d’énergie, etc.). Également, les informations du contexte extérieur peuvent être liées (ex : météo et actualité, etc.).Similarly, information from the house is correlated (for example: temperature and humidity influence energy consumption, etc.). Also, information from the external context can be linked (eg: weather and news, etc.).
Dans un exemple d’implémentation, il est possible d’exclure a priori certaines corrélations.In an example implementation, it is possible to exclude a priori certain correlations.
Par exemple il est possible de prévoir que, dans le modèle MOD, aucune corrélation ne soit structurée entre différents domaines informationnels. Aucune flèche ne relie sur la Figure 3 les variables F, V et G avec les variable T, H et C par exemple. On considère alors que ces domaines informationnels sont indépendants. Par exemple, il est possible de considérer que les informations produites par les habitants ne sont directement influencées ni par les informations domotiques ni par les informations de contexte extérieur, et vice versa.For example, it is possible to provide that, in the MOD model, no correlation is structured between different informational domains. No arrow in Figure 3 connects the variables F, V and G with the variables T, H and C for example. We then consider that these informational domains are independent. For example, it is possible to consider that the information produced by the inhabitants is not directly influenced either by home automation information or by external context information, and vice versa.
De même il est possible de prévoir qu’une variable latente ne soit déterminée que par corrélation temporelle et non par corrélation multimodale. Ainsi, cette variable latente est indépendante des informations mesurées.Similarly, it is possible to provide for a latent variable to be determined only by temporal correlation and not by multimodal correlation. Thus, this latent variable is independent of the information measured.
Les corrélations pouvant être exclues a priori ne concernent que les interactions entre différentes variables obtenues et/ou latentes, et non les corrélations entre une variable obtenue ou latente, d’une part, et un état émotionnel, d’autre part. En effet, les états émotionnels E sont potentiellement corrélés aux variables obtenues pour chaque domaine informationnel et à chaque variable latente L.The correlations that can be excluded a priori only concern the interactions between different obtained and/or latent variables, and not the correlations between an obtained or latent variable, on the one hand, and an emotional state, on the other hand. Indeed, the emotional states E are potentially correlated with the variables obtained for each informational domain and with each latent variable L.
Le circuit de traitement infère, ou prédit EMOT PRED (P7), un état émotionnel E d’une personne à un instant ultérieur i+1 en s’appuyant sur les corrélations temporelles et multimodales structurées par le modèle MOD.The processing circuit infers, or predicts EMOT PRED (P7), an emotional state E of a person at a later instant i+1 based on the temporal and multimodal correlations structured by the MOD model.
Ces corrélations sont appliquées à l’historique récent des informations obtenues, c’est-à-dire aux informations associées à l’instant courant i et aux informations associées à un ou plusieurs instants précédents i-1, i-2, etc.These correlations are applied to the recent history of the information obtained, i.e. to the information associated with the current instant i and to the information associated with one or more previous instants i-1, i-2, etc.
Lesdites informations obtenues englobent :
- celles issues des bases de données HUM_DB, IN_DB, OUT_DB, et
- les valeurs des variables latentes L exploitées par le modèle MOD.
- those from the HUM_DB, IN_DB, OUT_DB databases, and
- the values of the latent variables L exploited by the MOD model.
Lesdites informations obtenues englobent également l’état émotionnel courant de la personne, tel qu’inféré par une précédente itération.Said information obtained also includes the current emotional state of the person, as inferred by a previous iteration.
Ainsi, le procédé proposé permet, à tout instant, à la fois de déterminer l’état émotionnel courant d’une personne et d’en prédire l’évolution au cours du temps.Thus, the proposed process makes it possible, at any time, both to determine the current emotional state of a person and to predict its evolution over time.
Dans certains exemples de réalisation, une mesure de confiance Z peut être associée CONF COMP (S8), par le circuit de traitement, à la situation émotionnelle de la personne à l’instant i+1 inférée par le modèle MOD.In certain exemplary embodiments, a confidence measure Z can be associated CONF COMP (S8), by the processing circuit, with the emotional situation of the person at time i+1 inferred by the MOD model.
Par exemple, une valeur de maximum de vraisemblance que la situation émotionnelle soit à l’état 3 (i.e. classe représentant « paniqué ») est calculée. Plus cette valeur est haute, et plus la confiance accordée à la prédiction est élevée.For example, a maximum likelihood value that the emotional situation is in state 3 (i.e. class representing “panicked”) is calculated. The higher this value, the greater the confidence in the prediction.
Dans certains exemples de réalisation, il peut être décidé de prendre en compte TEST DIFF (P9) à la fois la situation émotionnelle inférée et la mesure de confiance Z ainsi déterminée pour proposer un service.In certain exemplary embodiments, it may be decided to take into account TEST DIFF (P9) both the inferred emotional situation and the confidence measure Z thus determined in order to offer a service.
Par exemple, il peut être prévu une double condition, telle que :
- si la mesure de confiance Z est supérieure à un seuil A prédéfini (sur une échelle de 0 à 1, le seuil peut être fixé à 0.8 dans un exemple d’implémentation), et
- si la situation émotionnelle prédite de la personne est considérée comme « négative »,
alors un service adapté peut être proposé à la personne.For example, a double condition may be provided, such as:
- if the confidence measure Z is greater than a predefined threshold A (on a scale of 0 to 1, the threshold can be set at 0.8 in an example implementation), and
- if the person's predicted emotional situation is considered "negative",
then an adapted service can be offered to the person.
Dans le cas contraire, il peut être prévu de ne proposer aucun service, de cesser l’itération courante du procédé à l’instant courant i, et de déclencher une itération ultérieure du procédé à l’instant ultérieur i+1.Otherwise, provision may be made to offer no service, to stop the current iteration of the method at the current instant i, and to trigger a subsequent iteration of the method at the subsequent instant i+1.
Dans un exemple d’implémentation, les classes « négatives » peuvent être choisies comme suit : dégoûté (2), paniqué (3), anxieux (4), en colère (5), colère froide (6), désespéré (7), triste (8), ennuyé (12) et honteux (13).In an example implementation, the "negative" classes can be chosen as follows: disgusted (2), panicked (3), anxious (4), angry (5), cold anger (6), desperate (7), sad (8), bored (12) and ashamed (13).
La situation émotionnelle à l’instant inférieur étant inférée, une recommandation de service, adaptée à la prédiction, peut être déclenchée par le circuit de traitement.The emotional situation at the lower instant being inferred, a service recommendation, adapted to the prediction, can be triggered by the processing circuit.
Ainsi, une routine d’animation d’une interface homme-machine de tout équipement communicant de l’installation domestique est déclenchée pour présenter SERV PRES (P10) le service recommandé à la personne.Thus, an animation routine of a man-machine interface of any communicating equipment of the domestic installation is triggered to present SERV PRES (P10) the recommended service to the person.
Dans un exemple d’implémentation, la recommandation du service est exécutée sur le meilleur canal de diffusion pour la personne, telle que la TV du salon, une enceinte communicante, un smartphone, etc.In an example implementation, the service recommendation is executed on the best broadcast channel for the person, such as the living room TV, a communicating speaker, a smartphone, etc.
L’équipement communicant le plus adapté à cet effet peut être sélectionné par exemple sur la base des fonctionnalités offertes par les différents équipements communicants de l’installation.,The most suitable communicating device for this purpose can be selected, for example, on the basis of the functionalities offered by the various communicating devices in the installation.
Un autre critère peut être une estimation de distance, à l’instant courant, entre les différents équipements communicants et la personne, permettant de choisir, parmi les différents équipements communicants de l’installation aptes à déclencher les services proposés, celui étant le plus proche de la personne à l’instant courant.Another criterion can be an estimate of the distance, at the current time, between the various communicating devices and the person, making it possible to choose, among the various communicating devices of the installation capable of triggering the services offered, the one being the closest. of the person at the current time.
La routine d’animation permet de suggérer à la personne au moins un service numérique prédéfini associé au score d’émotion inféré.The animation routine makes it possible to suggest to the person at least one predefined numerical service associated with the inferred emotion score.
Par exemple, si la situation prédite est « paniqué », les services associés dans un modèle de préférences PREF peuvent être dans un ordre de préférence « une recommandation d’une vidéo comique », « une incitation à appeler un ami », ou « une augmentation du confort de la maison par le réglage automatique de la luminosité et du chauffage ».For example, if the predicted situation is "freaked out", the associated services in a PREF preference model can be in order of preference "a comedy video recommendation", "an incentive to call a friend", or "a increase in home comfort through automatic adjustment of brightness and heating”.
D’autres exemples de services peuvent être décrits pour chaque situation émotionnelle « négative » selon les préférences et les habitudes des personnes.Other examples of services can be described for each "negative" emotional situation according to people's preferences and habits.
Ces préférences peuvent être définies par les personnes elles-mêmes ou par un tiers de confiance, telle que la famille, un proche, ou le corps médical.These preferences can be defined by the people themselves or by a trusted third party, such as the family, a loved one, or the medical profession.
Ces préférences peuvent être définies, réorganisées ou mises à jour automatiquement par apprentissage des services utilisés dans le passé en corrélation avec les émotions prédites.These preferences can be set, rearranged or updated automatically by learning the services used in the past in correlation with the predicted emotions.
L’objectif est toujours d’évoquer ou de maintenir une situation émotionnelle positive par le biais de services adaptés.The goal is always to evoke or maintain a positive emotional situation through appropriate services.
Le circuit de traitement peut ensuite évaluer TEST AGR (P11) le retour de la personne à la sollicitation du service adapté. En effet, si une liste de services possibles est suggérée, chaque service de la liste peut être soit activé, refusé, ou ignoré par la personne.The processing circuit can then evaluate TEST AGR (P11) the return of the person to the request for the adapted service. Indeed, if a list of possible services is suggested, each service in the list can either be activated, refused, or ignored by the person.
Si un service est activé par la personne, alors il est possible d’exécuter le service SERV EXEC (P12) proposé.If a service is activated by the person, then it is possible to execute the service SERV EXEC (P12) proposed.
Il est également possible, le cas échéant, de mettre à jour PREF UPD (P13) le modèle des préférences PREF de la personne en fonction de la situation émotionnelle prédite et du service accepté.It is also possible, if necessary, to update the PREF UPD (P13) model of the person's PREF preferences according to the predicted emotional situation and the accepted service.
Il est également possible de mettre à jour le modèle MOD en fonction du retour de la personne à la sollicitation du service adapté. En effet, il peut être prévu que la personne puisse signaler une prédiction incorrecte de son état émotionnel ultérieur, ou puisse signaler lorsque la prédiction est correcte, et ce afin d’améliorer les prédictions lors d’itérations suivantes du procédé.It is also possible to update the MOD model according to the return of the person to the request of the adapted service. Indeed, it can be provided that the person can signal an incorrect prediction of his subsequent emotional state, or can signal when the prediction is correct, in order to improve the predictions during subsequent iterations of the method.
Enfin, lorsqu’un service proposé est activé et exécuté, ou lorsqu’un service proposé est refusé, ou encore lorsqu’aucun service proposé n’est activé à l’issue d’un laps de temps prédéfini, l’itération du procédé à l’instant courant s’achève. Le circuit de traitement peut alors initier une nouvelle itération du procédé pour un instant ultérieur.Finally, when a proposed service is activated and executed, or when a proposed service is refused, or even when no proposed service is activated at the end of a predefined period of time, the iteration of the method to the current instant ends. The processing circuit can then initiate a new iteration of the method for a later time.
Claims (15)
- une obtention d’une pluralité de signaux d’intérêt acquis par les équipements communicants, la pluralité de signaux d’intérêt comprenant au moins un signal d’intérêt d’un premier type mesurant un comportement de l’utilisateur, un signal d’intérêt d’un deuxième type mesurant un état de l’environnement et un signal d’intérêt d’un troisième type indicatif d’un contexte extérieur à l’environnement,
- pour chaque signal d’intérêt obtenu, une détermination (P5), sur la base dudit signal obtenu, d’une série temporelle d’intérêt (HUM_DB, IN_DB, OUT_DB) formée d’une séquence de valeurs en fonction du temps,
- une obtention (P6) d’un modèle MOD structurant des corrélations temporelles et multimodales entre les valeurs des séries temporelles d’intérêt et l’état émotionnel de l’utilisateur en fonction du temps,
- sur la base du modèle obtenu et des séries temporelles d’intérêt obtenues, une inférence (P7), à un instant courant, d’un score d’émotion (E) correspondant à une prédiction d’un état émotionnel de l’utilisateur à un instant ultérieur,
- sur la base du score d’émotion (E) inféré, un déclenchement (P10) d’une routine d’animation d’une interface homme-machine pour suggérer à l’utilisateur au moins un service numérique prédéfini associé au score d’émotion (E) inféré, et
- à l’obtention (P11) d’un retour de l’utilisateur, reçu par l’interface homme-machine, un déclenchement (P12) du service numérique prédéfini via un signal de commande transmis à au moins un équipement de la pluralité d’équipements communicants.Method for predicting an emotional state of a user and suggesting a predefined digital service to the user, the method being implemented by a processing circuit connected to a plurality of communicating equipment installed in an occupied environment by the user, the method comprising:
- obtaining a plurality of signals of interest acquired by the communicating equipment, the plurality of signals of interest comprising at least one signal of interest of a first type measuring a behavior of the user, a signal of interest of a second type measuring a state of the environment and a signal of interest of a third type indicative of a context external to the environment,
- for each signal of interest obtained, a determination (P5), on the basis of said signal obtained, of a time series of interest (HUM_DB, IN_DB, OUT_DB) formed of a sequence of values as a function of time,
- obtaining (P6) a MOD model structuring temporal and multimodal correlations between the values of the time series of interest and the emotional state of the user as a function of time,
- on the basis of the model obtained and the time series of interest obtained, an inference (P7), at a current instant, of an emotion score (E) corresponding to a prediction of an emotional state of the user at a later time,
- on the basis of the inferred emotion score (E), triggering (P10) of an animation routine of a man-machine interface to suggest to the user at least one predefined digital service associated with the score of emotion (E) inferred, and
- upon obtaining (P11) a return from the user, received by the man-machine interface, a triggering (P12) of the predefined digital service via a control signal transmitted to at least one device of the plurality of communicating equipment.
- pour chaque série temporelle d’intérêt, d’une sous-section de référence formée d’une portion de la séquence de valeurs, la portion couvrant une période temporelle de référence, et
- d’une base de connaissances répertoriant, pour une pluralité d’instants de la période temporelle de référence, un score d’émotion de référence indicatif de l’état émotionnel de l’utilisateur audit instant.Method according to one of the preceding claims, in which the temporal and multimodal correlations of the MOD model are obtained by learning on the basis of:
- for each time series of interest, a reference subsection formed of a portion of the sequence of values, the portion covering a reference time period, and
- a knowledge base listing, for a plurality of instants of the reference time period, a reference emotion score indicative of the emotional state of the user at said instant.
- le modèle comprend une corrélation temporelle donnée entre plusieurs valeurs d’une série temporelle d’intérêt donnée, et
- l’inférence du score d’émotion est basée sur la corrélation temporelle donnée.Method according to one of the preceding claims, in which:
- the model includes a given temporal correlation between several values of a given time series of interest, and
- the inference of the emotion score is based on the given temporal correlation.
- les séries temporelles d’intérêt sont regroupées en une pluralité de domaines informationnels,
- le modèle comprend, pour au moins un domaine informationnel donné, une corrélation multimodale donnée entre une pluralité de séries temporelles d’intérêt dudit domaine informationnel donné, et
- l’inférence du score d’émotion est basée sur la corrélation multimodale donnée.Method according to one of the preceding claims, in which:
- the time series of interest are grouped into a plurality of informational domains,
- the model comprises, for at least one given informational domain, a given multimodal correlation between a plurality of time series of interest of said given informational domain, and
- the inference of the emotion score is based on the given multimodal correlation.
- le procédé comprend une obtention d’une série temporelle latente formée d’une séquence de valeurs en fonction du temps,
- le modèle obtenu comprend une corrélation temporelle donnée entre plusieurs valeurs de la série temporelle latente, et
- l’inférence (P7) du score d’émotion comprend une détermination, à l’instant courant, de la valeur de la série temporelle latente à l’instant courant sur la base de la corrélation temporelle donnée, et l’inférence (P7) du score d’émotion est basée sur la valeur déterminée de la série temporelle latente.Method according to one of the preceding claims, in which:
- the method comprises obtaining a latent time series formed of a sequence of values as a function of time,
- the model obtained includes a given temporal correlation between several values of the latent time series, and
- the inference (P7) of the emotion score comprises a determination, at the current instant, of the value of the latent time series at the current instant on the basis of the given temporal correlation, and the inference (P7 ) of the emotion score is based on the determined value of the latent time series.
- le procédé comprenant, sur la base du modèle et des séries temporelles obtenues, une détermination (P8), à un instant courant, d’un niveau de confiance (Z) associé au score d’émotion inféré,
- le procédé comprenant une comparaison (P9) du niveau de confiance déterminé (Z) avec un seuil (A), et
- le déclenchement (P10) de la routine étant basé sur le résultat de la comparaison.Method according to one of the preceding claims,
- the method comprising, on the basis of the model and the time series obtained, a determination (P8), at a current instant, of a confidence level (Z) associated with the inferred emotion score,
- the method comprising a comparison (P9) of the determined confidence level (Z) with a threshold (A), and
- the triggering (P10) of the routine being based on the result of the comparison.
- les liens respectifs sont stockés dans la table de correspondance selon un ordre de préférence,
- en cas de dépassement d’un seuil par le score d’émotion de l’utilisateur, une pluralité de liens de services numériques correspondants est lue selon l’ordre de préférence pour suggérer lesdits services numériques correspondants à l’utilisateur via l’interface homme-machine,
- le retour de l’utilisateur à l’invitation émise comprend une sélection d’un service numérique parmi lesdits services numériques correspondants, et
- l’ordre de préférence est mis à jour sur la base de ladite sélection.Process according to the preceding claim, in which:
- the respective links are stored in the correspondence table according to an order of preference,
- in case of exceeding a threshold by the emotion score of the user, a plurality of links of corresponding digital services are read according to the order of preference to suggest said corresponding digital services to the user via the interface man-machine,
- the user's return to the invitation sent comprises a selection of a digital service from among said corresponding digital services, and
- the order of preference is updated on the basis of said selection.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2005714A FR3111044A1 (en) | 2020-05-29 | 2020-05-29 | Prediction of negative emotional situations in a connected habitat to promote services invoking positive emotions |
PCT/FR2021/050871 WO2021240092A1 (en) | 2020-05-29 | 2021-05-18 | Predicting an emotional state of a user in an environment and triggering a digital service according to the predicted emotional state |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2005714A FR3111044A1 (en) | 2020-05-29 | 2020-05-29 | Prediction of negative emotional situations in a connected habitat to promote services invoking positive emotions |
FR2005714 | 2020-05-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
FR3111044A1 true FR3111044A1 (en) | 2021-12-03 |
Family
ID=72709485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR2005714A Pending FR3111044A1 (en) | 2020-05-29 | 2020-05-29 | Prediction of negative emotional situations in a connected habitat to promote services invoking positive emotions |
Country Status (2)
Country | Link |
---|---|
FR (1) | FR3111044A1 (en) |
WO (1) | WO2021240092A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160270718A1 (en) * | 2013-10-09 | 2016-09-22 | Resmed Sensor Technologies Limited | Fatigue monitoring and management system |
US10481749B1 (en) * | 2014-12-01 | 2019-11-19 | Google Llc | Identifying and rendering content relevant to a user's current mental state and context |
US20200077942A1 (en) * | 2013-03-15 | 2020-03-12 | Youngblood Ip Holdings, Llc | Stress reduction and sleep promotion system |
-
2020
- 2020-05-29 FR FR2005714A patent/FR3111044A1/en active Pending
-
2021
- 2021-05-18 WO PCT/FR2021/050871 patent/WO2021240092A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200077942A1 (en) * | 2013-03-15 | 2020-03-12 | Youngblood Ip Holdings, Llc | Stress reduction and sleep promotion system |
US20160270718A1 (en) * | 2013-10-09 | 2016-09-22 | Resmed Sensor Technologies Limited | Fatigue monitoring and management system |
US10481749B1 (en) * | 2014-12-01 | 2019-11-19 | Google Llc | Identifying and rendering content relevant to a user's current mental state and context |
Non-Patent Citations (5)
Title |
---|
B. NAGARAJANV. R. M. ORUGANTI: "Group Emotion Re-cognition in Adverse Face Detection", 2019 14TH IEEE INTERNATIONAL CONFÉRENCE ON AUTOMATIC FACE & GESTURE RÉCOGNITION, 2019 |
D. FEDOTOVY. MATSUDAW. MINKER: "From Smart to Personal Environment: Integrating Emotion Récognition into Smart Houses", 2019 IEEE INTERNATIONAL CONFÉRENCE ON PERVASIVE COMPUTING AND COMMUNICATIONS WORKSHOPS (PERCOM WORKSHOPS |
J. JIA ET AL.: "Inferring Emotions From Large-Scale Internet Voice Data", IEEE TRANSACTIONS ON MULTIMEDIA, vol. 21, no. 7, July 2019 (2019-07-01), pages 1853 - 1866, XP011731700, DOI: 10.1109/TMM.2018.2887016 |
K. LINF. XIAW. WANGD. TIANJ. SONG: "System Design for Big Data Application in Emotion-Aware Healthcare", IEEE ACCESS, vol. 4, pages 6901 - 6909,201 |
Z. YANGS. S. NARAYANAN: "Modeling Dynamics of Expressive Body Gestures In Dyadic Interactions", IEEE TRANSACTIONS ON AFFECTIVE COMPUTING, vol. 8, no. 3, 1 July 2017 (2017-07-01), pages 369 - 381 |
Also Published As
Publication number | Publication date |
---|---|
WO2021240092A1 (en) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10805654B2 (en) | System and method for updating user availability for wireless communication applications | |
US10579912B2 (en) | User registration for intelligent assistant computer | |
KR102450993B1 (en) | Responding to Remote Media Classification Queries Using Classifier Models and Context Parameters | |
US8600918B2 (en) | Action history search device | |
CN105229629B (en) | For estimating the method to the user interest of media content, electronic equipment and medium | |
US10380208B1 (en) | Methods and systems for providing context-based recommendations | |
US11631401B1 (en) | Conversation system for detecting a dangerous mental or physical condition | |
EP3799047A1 (en) | Device, system and method for identifying a scene from an ordered sequence of sounds captured in an environment | |
FR3111044A1 (en) | Prediction of negative emotional situations in a connected habitat to promote services invoking positive emotions | |
JP2008076904A (en) | Feeling discrimination method, feeling discrimination device, and atmosphere information communication terminal | |
FR3067483A1 (en) | METHOD FOR DETECTING THE PRESENCE OF INDIVIDUALS | |
FR3068810A1 (en) | METHOD AND DEVICE FOR CONTROLLING AN ELECTRONIC DEVICE | |
FR3080921A1 (en) | METHOD FOR ACTIVATING A PRESENCE DETECTION SYSTEM | |
EP4375899A1 (en) | Method and device for recommending activities to at least one user | |
FR3105873A1 (en) | PROCESS AND SYSTEM FOR PREDICTIVE AND AUTOMATIC EMISSION OF A HOME AUTOMATION SIGNAL | |
FR3090974A1 (en) | Method for identifying an activity relating to at least one person among a plurality of people in a building | |
FR3096495A1 (en) | Method and device for measuring the use of a connected building | |
FR3118235A1 (en) | Movement mode recognition by motion sensor | |
FR3130422A1 (en) | Method for selecting voice contents recorded in a database, according to their veracity factor. | |
FR3085525A1 (en) | MONITORING OF PEOPLE WITH ACCOUNT OF VISITS | |
JP2020030489A (en) | Information processor, method for processing information, and information processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20211203 |
|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLFP | Fee payment |
Year of fee payment: 4 |
|
PLFP | Fee payment |
Year of fee payment: 5 |