WO2016129193A1 - 健康管理補助装置及び健康管理補助方法 - Google Patents
健康管理補助装置及び健康管理補助方法 Download PDFInfo
- Publication number
- WO2016129193A1 WO2016129193A1 PCT/JP2015/086238 JP2015086238W WO2016129193A1 WO 2016129193 A1 WO2016129193 A1 WO 2016129193A1 JP 2015086238 W JP2015086238 W JP 2015086238W WO 2016129193 A1 WO2016129193 A1 WO 2016129193A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- facial expression
- score
- subject
- facial
- health
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Definitions
- the present invention relates to a technique for assisting management of human mental health.
- Patent Document 1 discloses diagnosis data obtained by quantifying the left / right symmetry of expression, the tension of eyes, the tension of cheeks, and the angle of mouth from the face image of the person to be diagnosed.
- An apparatus has been proposed in which a vector is generated and the diagnostic results of the paranoia degree, the degree of neurosis, the degree of sociopath, the degree of depression, and the degree of stress are displayed in a graph based on a diagnostic matrix obtained by quantifying the diagnostic data vector and medical knowledge.
- signs of mental illness are often expressed as facial expressions and tensions, and even in actual diagnosis and counseling, specialists are clues to guess the patient's mental health status based on changes in facial expressions. It is one.
- the present invention has been made in view of the above circumstances, and provides a technique capable of providing information useful for mental health management by estimating a person's mental health based on facial expressions recognized from images.
- the purpose is to do.
- a feature related to a temporal change in the facial expression of the subject is detected from the time-series data of the facial expression, and the mental health state of the subject is based on the detected feature.
- the structure of estimating is adopted.
- the health care assistance device is a health care assistance device that assists in the management of the mental health of the subject, and is an image that acquires a plurality of images taken in time series of the subject.
- An estimation unit and an output unit that outputs information on the mental health state of the subject based on the estimation result of the health state estimation unit.
- the present invention since attention is paid to features related to temporal changes in facial expressions, it is possible to detect changes in mental health (deterioration or improvement) that appear as changes in facial expressions. Compared with estimation using facial expressions alone, a highly reliable estimation result can be obtained. And since such a highly reliable estimation result can be obtained automatically and early, it becomes possible to provide useful information according to the mental health status of the subject in a timely manner, Health care can be supported appropriately.
- the health state estimation unit estimates that the mental health state of the subject is deteriorated when a decrease in facial expression showing positive emotion is detected as a feature related to a temporal change in facial expression. .
- the health state estimation unit estimates that the mental health state of the subject has deteriorated when detecting an increase in facial expression showing a negative emotion as a feature related to a temporal change in facial expression. Also good. This is because, in the “depressed state”, which is one of signs (signs) and symptoms of mental illness such as depression and dementia, an increase in facial expressions (such as sadness) showing negative emotions is remarkable.
- the facial expression recognition unit calculates a score obtained by quantifying the degree of each of a plurality of types of facial expressions from the image of the subject, and outputs a score of each facial expression as a facial expression recognition result.
- a positive facial expression score indicating the degree of positive emotion is selected or generated from the multiple types of facial expression scores, and the positive facial expression score of the most recent predetermined period tends to be lower than the normal value as a feature related to temporal changes in facial expression It is preferable to estimate that the mental health state of the subject has deteriorated when it is detected. This makes it possible to quantitatively evaluate the decrease in facial expressions showing positive emotions, and to reliably estimate the deterioration of mental health.
- the health condition estimation unit selects or generates a negative facial expression score indicating a negative emotion level from the plurality of types of facial expression scores, and the negative facial expression of the most recent predetermined period as a feature related to the temporal change of the facial expression
- the score tends to be higher than the normal value
- the increase in the expression which shows a negative emotion can be evaluated quantitatively, and the deterioration of a mental health state can be estimated reliably.
- the facial expression recognition unit calculates a score obtained by quantifying the degree of each of a plurality of types of facial expressions from the image of the subject, and outputs a score of each facial expression as a facial expression recognition result.
- a positive facial expression score indicating the degree of positive emotion is selected or generated from the scores of the plural types of facial expressions, and the positive facial expression score in the most recent predetermined period is an upward trend as compared with a normal value as a feature related to temporal changes in facial expressions It is preferable to estimate that the subject's mental health condition is improving. This makes it possible to quantitatively evaluate the increase in facial expression showing positive emotions and to reliably estimate the improvement in mental health.
- the health condition estimation unit selects or generates a negative facial expression score indicating a negative emotion level from the plurality of types of facial expression scores, and the negative facial expression of the most recent predetermined period as a feature related to the temporal change of the facial expression
- the score tends to be lower than the normal value
- the facial expression recognition unit calculates a score obtained by quantifying the degree of each of a plurality of types of facial expressions from the image of the subject, and outputs the score of each facial expression as a facial expression recognition result.
- the health state estimation unit Selects or generates a positive facial expression score indicating the degree of positive emotion from the scores of the plurality of facial expressions, and the fluctuation range of the positive facial expression score during the most recent predetermined period is a normal value as a feature related to temporal changes in facial expressions It is also preferable to estimate that the mental health state of the subject has deteriorated when it is detected that there is a tendency to decrease compared to.
- the health condition estimation unit selects or generates a negative facial expression score indicating a negative emotion level from the plurality of types of facial expression scores, and the negative facial expression of the most recent predetermined period as a feature related to the temporal change of the facial expression It is also preferable to estimate that the mental health state of the subject has deteriorated when it is detected that the fluctuation range of the score tends to increase compared to the normal value. Thereby, the increase in the expression which shows a negative emotion can be evaluated quantitatively, and the deterioration of a mental health state can be estimated reliably.
- the facial expression recognition unit calculates a score obtained by quantifying the degree of each of a plurality of types of facial expressions from the image of the subject, and outputs the score of each facial expression as a facial expression recognition result.
- the health state estimation unit Selects or generates a positive facial expression score indicating the degree of positive emotion from the scores of the plurality of facial expressions, and the fluctuation range of the positive facial expression score during the most recent predetermined period is a normal value as a feature related to temporal changes in facial expressions It is also preferable to estimate that the mental health state of the subject is improving when it is detected that the subject is in an increasing tendency. As a result, an increase in facial expressions showing positive emotions can be quantitatively evaluated, and improvement in mental health can be estimated with high reliability.
- the health condition estimation unit selects or generates a negative facial expression score indicating a negative emotion level from the plurality of types of facial expression scores, and the negative facial expression of the most recent predetermined period as a feature related to the temporal change of the facial expression It is also preferable to estimate that the mental health state of the subject is improving when it is detected that the fluctuation range of the score is decreasing compared to the normal value. This makes it possible to quantitatively evaluate the decrease in facial expressions showing negative emotions and to reliably estimate the improvement in mental health.
- the facial expression recognition unit calculates a score obtained by quantifying the degree of each of a plurality of types of facial expressions from the image of the subject, and outputs the score of each facial expression as a facial expression recognition result.
- the health state estimation unit Selects or generates a positive facial expression score indicating the degree of positive emotion from the scores of the plurality of facial expressions, and as a feature related to temporal changes in facial expression, the daily fluctuation of the positive facial expression score is higher in the evening than the morning score. It is also preferable to estimate that the mental health state of the subject has deteriorated when it is detected that the scores of the subjects tend to be relatively high.
- the health state estimation unit selects or generates a negative facial expression score indicating a negative emotion level from the multiple types of facial expression scores, and the daily fluctuation of the negative facial expression score is a feature related to temporal changes in facial expressions.
- the evening score tends to be relatively lower than the morning score
- the health state estimation unit may estimate that the mental health state of the subject has deteriorated when a change in the appearance ratio of a plurality of types of facial expressions is detected as a feature related to temporal changes in facial expressions. preferable. This is because a mental illness such as dementia causes a change in emotional expression (change in personality), such as anger.
- the facial expression recognition unit calculates a score obtained by quantifying the degree of each of a plurality of types of facial expressions from the image of the subject, and outputs a score of each facial expression as a facial expression recognition result.
- a threshold as a feature related to temporal changes in facial expressions
- the facial expression recognition unit calculates a score obtained by quantifying the degree of each of a plurality of types of facial expressions from the image of the subject, and outputs a score of each facial expression as a facial expression recognition result.
- a feature related to the temporal change in facial expression when it is detected that the fluctuation range of the score of a certain facial expression during the most recent predetermined period tends to increase compared to the normal value, the mental health state of the subject deteriorates. It is preferable to estimate that it is. This makes it possible to quantitatively evaluate the appearance of a symptom of intense emotional undulations, and to reliably estimate the deterioration of mental health.
- the normal value is preferably a value obtained statistically from the time series data of the subject stored in the storage unit.
- the facial expressions are based on the individuality of the subject's facial expressions (original face creation, normal facial expressions, emotional expressions, etc.) Therefore, it is possible to suppress a decrease in estimation accuracy due to individual differences and further improve the reliability of the estimation process.
- the health state estimation unit estimates a mental health state using time-series data of the subject for a plurality of days.
- the “predetermined predetermined period” is preferably a period longer than one day. Even if a person is healthy, there are ups and downs and emotional changes, so it is difficult to estimate the mental health status of a person with only a change in facial expression over a period of several hours to a day. This is because the reliability is low.
- the “characteristic related to temporal changes in facial expression” to be detected it is preferable to evaluate facial expression changes on a daily, weekly, monthly, or yearly basis. Accordingly, the “predetermined predetermined period” may be set to a period such as several days, one week to several weeks, one month to several months, or one year to several years.
- the present invention can be understood as a health management auxiliary device having at least a part of the above configuration or function.
- the present invention also provides a health care assistance method including at least a part of the above processing, a program for causing a computer to execute the method, or a computer-readable recording medium in which such a program is recorded non-temporarily. Can also be taken as.
- the present invention it is possible to estimate the mental health state of the person based on the facial expression recognized from the image, and to provide information useful for the management of mental health.
- FIG. 1 is a diagram illustrating a configuration example of a health care assistance device.
- FIG. 2 is a flowchart showing the flow of facial expression recognition processing.
- FIG. 3 is an example of time-series data of facial expression recognition results stored in the storage unit.
- FIG. 4 shows an example of changes in positive facial expression scores due to mental illness.
- FIG. 5A is a diagram illustrating an estimation logic of a health state estimation unit in the specific example (1).
- FIG. 5B is a diagram illustrating estimation logic of a health state estimation unit in the specific example (1).
- FIG. 6A is a diagram illustrating estimation logic of a health state estimation unit in the specific example (2).
- FIG. 6B is a diagram illustrating estimation logic of a health state estimation unit in the specific example (2).
- FIG. 5A is a diagram illustrating estimation logic of a health state estimation unit in the specific example (2).
- FIG. 7A is a diagram illustrating estimation logic of a health state estimation unit in a specific example (3).
- FIG. 7B is a diagram illustrating estimation logic of a health state estimation unit in the specific example (3).
- FIG. 8A is a diagram illustrating estimation logic of a health state estimation unit in a specific example (4).
- FIG. 8B is a diagram illustrating estimation logic of a health state estimation unit in the specific example (4).
- FIG. 9A is a diagram showing estimation logic of a health state estimation unit in the specific example (5).
- FIG. 9B is a diagram illustrating estimation logic of a health state estimation unit in the specific example (5).
- FIG. 1 is a diagram illustrating a configuration example of a health care assistance device according to an embodiment of the present invention.
- the health management assisting device 1 is a device for analyzing an image taken of the subject 2 and providing information useful for managing the mental health of the subject 2.
- the health management assisting device 1 can be applied to various uses such as self-check by the subject himself, diagnostic tools for specialists such as doctors and counselors, and mental health care in companies and schools.
- the 1 has an image acquisition unit 10, a facial expression recognition unit 11, a storage unit 12, a health state estimation unit 13, and a result output unit 14 as main components.
- the image acquisition unit 10 has a function of acquiring an image from the imaging device 3.
- a plurality of images obtained by capturing the face of the subject 2 in time series are sequentially captured from the imaging device 3.
- the imaging device 3 is configured by a monochrome or color camera.
- the imaging device 3 is provided separately from the health management auxiliary device 1, but the imaging device 3 may be mounted on the health management auxiliary device 1.
- the facial expression recognition unit 11 has a function of recognizing features of facial expressions from an image by image sensing processing.
- the storage unit 12 has a function of storing the facial expression recognition result output from the facial expression recognition unit 11 as time series data.
- the health state estimation unit 13 detects features related to temporal changes in the facial expression of the subject 2 from the time-series data stored in the storage unit 12, and the mental health state of the subject 2 based on the detected features It has the function to estimate.
- the result output unit 14 has a function of outputting the estimation result of the health state estimation unit 13.
- the interval at which the image of the subject 2 is taken or captured may be set as appropriate according to the use and usage environment of the health care support device 1. For example, if the purpose is to evaluate diurnal changes in facial expressions or changes over multiple days (for example, several days, weeks, months, etc.), a frequency of about once every few seconds to several minutes, or several tens of minutes to several hours It is sufficient to capture or capture images at a frequency of once.
- the target person 2 is always present in the field of view of the imaging device 3, it is possible to take a picture at a fixed time interval or at a fixed time.
- the subject 2 When the subject 2 is not always present in the field of view of the imaging device 3, for example, when the subject 2 can be detected by a human sensor or the like, the subject 2 self-photographs at a predetermined frequency. It is also possible to take a configuration such as shooting.
- the health care auxiliary device 1 can be constituted by a computer including a CPU (processor), a memory, an auxiliary storage device, an input device, a display device, a communication device, and the like. Each function of the health management auxiliary device 1 is realized by loading a program stored in the auxiliary storage device into the memory and executing it by the CPU. However, a part or all of the functions of the health care assisting apparatus 1 can be realized by a circuit such as an ASIC or FPGA. Or you may implement
- a part function For example, the function of the facial expression recognition part 11, the memory
- FIG. 2 is a flowchart showing the flow of facial expression recognition processing.
- the process of FIG. 2 is a process executed every time the subject 2 is photographed by the imaging device 3.
- step S ⁇ b> 201 the image acquisition unit 10 acquires an image obtained by capturing the subject 2 from the imaging device 3. For the purpose of recognizing facial expressions, an image in which the face of the subject 2 is captured from the front (as much as possible) is desirable.
- the facial expression recognition unit 11 detects a face from the image (step S202), and further detects facial organs (eyes, eyebrows, nose, mouth, etc.) (step S203). Since any algorithm such as a known method may be used for face detection and face organ detection, a detailed description is omitted.
- the facial expression recognition unit 11 recognizes features of the facial expression of the target person 2 using the detection results of steps S202 and S203 (step S204).
- the facial expressions are "angry”, “disgusting", “fear”, “joy”, “sadness”, “surprise”, “true face (no expression)”. Classify into types.
- a score obtained by quantifying the degree of each of the seven types of facial expressions (also called facial expression or expression level) to be 100 is output.
- the score of each facial expression is also called a facial expression component value.
- the following numbers may be assigned to the seven facial expressions, and the score of each facial expression may be expressed as S 1 to S 7 . 1: Anger 2: Disgust 3: Fear 4: Joy 5: Sadness 6: Surprise 7: True face
- the facial expression recognition unit 11 extracts feature quantities related to the relative position and shape of the facial organ based on the positional information of the facial organ.
- a Haar-like feature amount, a distance between feature points, a Fourier descriptor, or the like can be used.
- the facial expression recognition unit 11 inputs the extracted feature amount to the discriminator for each of the seven types of facial expressions, and calculates the degree of each facial expression.
- Each discriminator can be generated by learning using a sample image.
- the facial expression recognition unit 11 normalizes the output values from the seven discriminators so that the sum is 100, and outputs seven types of facial expression scores (facial expression component values).
- the facial expression recognition unit 11 stores the facial expression recognition result in the database in the storage unit 12 together with the time stamp information (step S205).
- FIG. 3 is an example of time-series data of facial expression recognition results stored in the storage unit 12. Each row shows a facial expression recognition result obtained from one face image.
- the health condition estimation unit 13 detects features related to temporal changes in the facial expression of the subject 2 from the time-series data of the facial expression recognition results (this process is referred to as “expression data Also referred to as “time series analysis”), the mental health state of the subject 2 is estimated based on the detected feature.
- features related to temporal changes in facial expressions There are various "features related to temporal changes in facial expressions” that can be detected by time series analysis of facial expression data. Specific examples (1) to (5) will be described below.
- “positive facial expression score S pos ” is defined as follows as an index indicating the degree of positive emotion.
- S pos joy score S 4 -anger score S 1 -sadness score S 5
- This positive facial expression score S pos is designed to show a high value when the subject 2 is in good mood and positive, and to show a low value when the mood is depressed or frustrated.
- FIG. 4 shows an example of the daily fluctuation of the positive facial expression score S pos .
- the score S pos varies greatly as shown in the graph on the left side of FIG.
- the score S pos tends to decrease as a whole, or the fluctuation range of the score S pos tends to decrease.
- Another characteristic symptom of depression is that you feel depressed in the morning and rise in the evening. Therefore, it is possible to detect a change (deterioration) in mental health as a sign or symptom of mental illness (especially depression) by detecting such a score change by time series analysis of facial expression data.
- signs of mental illness means symptoms that appear before or at the very early stage of mental illness.
- FIG. 5A is a graph showing changes in the positive facial expression score S pos of a subject 2, where the horizontal axis is the day and the vertical axis is the average of the positive facial expression score S pos per day (hereinafter referred to as score daily average DS pos). ).
- the daily average DS pos of the most recent score is on the decline, showing signs of mental illness (depression).
- FIG. 5B shows a processing flow of the health state estimation unit 13 in the specific example (1).
- step S500 the health condition estimation unit 13 reads time series data for a necessary period (for example, for the past month) from the storage unit 12, and calculates a positive facial expression score S pos for each data.
- the health state estimation unit 13 calculates the daily average DS pos of the positive facial expression score S pos (step S501).
- the health condition estimation unit 13 acquires the normal value RDS of the score daily average DS pos (step S502).
- the normal value RDS is a value of the score daily average DS pos when the mental health state is in a normal state.
- the average of the past one month of the score daily average DS pos of the subject 2 is used as the normal value RDS.
- the health condition estimating unit 13 compares the score daily average DS pos for the most recent predetermined period (for example, several days to one week) with the normal value RDS, and the latest value is lower than the normal value RDS. It is determined whether or not there is a tendency (steps S503 and S504).
- a predetermined period for example, several days to one week
- n is a parameter for adjusting the detection sensitivity, and is set to a value of 1 to 3, for example.
- step S504 When a tendency to decrease the score is detected in step S504, the health condition estimation unit 13 outputs an estimation result that the mental health condition of the subject 2 is deteriorated (step S505). On the other hand, when the tendency to decrease the score is not detected, the health state estimation unit 13 outputs an estimation result that there is no change in the mental health state of the subject 2 (step S506). Thereby, the sign and symptom (for example, suspicion of depression) of the mental disorder of the subject 2 can be discovered automatically and early.
- the sign and symptom for example, suspicion of depression
- FIG. 6A is a graph showing changes in the positive facial expression score S pos of a subject 2, where the horizontal axis is the day and the vertical axis is the variance of the positive facial expression score S pos per day (hereinafter referred to as score daily variance VS pos). ). The latest score daily variance VS pos tends to decrease, showing signs of mental illness (depression).
- FIG. 6B shows a processing flow of the health state estimation unit 13 in the specific example (2).
- step S600 the health condition estimation unit 13 reads time series data for a necessary period (for example, the past one month) from the storage unit 12, and calculates a positive facial expression score S pos for each data.
- the health state estimation unit 13 calculates the daily variance VS pos of the positive facial expression score S pos (step S601).
- the health state estimation unit 13 acquires the normal value RVS of the score daily variance VS pos (step S602).
- the normal value RVS is a value of the score daily variance VS pos when the mental health state is in the normal state.
- the average of the past one month of the score daily variance VS pos of the subject 2 is used as the normal value RVS.
- the health state estimating unit 13 compares the score daily variance VS pos for the most recent predetermined period (for example, several days to one week) with the normal value RVS, and the latest value is lower than the normal value RVS. It is determined whether or not there is a tendency (steps S603 and S604).
- the standard deviation of the past day of the score daily variance VS pos is ⁇
- n is a parameter for adjusting the detection sensitivity, and is set to a value of 1 to 3, for example.
- step S604 When a decreasing tendency of the score fluctuation range is detected in step S604, the health state estimation unit 13 outputs an estimation result that the mental health state of the subject 2 is deteriorated (step S605). On the other hand, when the decreasing tendency of the score fluctuation range is not detected, the health state estimation unit 13 outputs the estimation result that there is no change in the mental health state of the subject 2 (step S606). Thereby, the sign and symptom (for example, suspicion of depression) of the mental disorder of the subject 2 can be discovered automatically and early.
- a decrease in the score daily variance is detected, but the decrease tendency of the score fluctuation range is also detected by detecting the frequency or time decrease in which the value of the positive facial expression score S pos exceeds the threshold value. Can do.
- FIG. 7A is a graph showing the daily fluctuation of the positive facial expression score S pos seen in people with depression, with the horizontal axis representing time and the vertical axis representing the positive facial expression score S pos .
- the morning score is the lowest, the score gradually increases with time, and the evening score is relatively higher than the morning score.
- FIG. 7B shows a processing flow of the health state estimation unit 13 in the specific example (3).
- step S700 the health condition estimating unit 13 reads time series data for one day from the storage unit 12, and calculates a positive facial expression score S pos for each data.
- the health condition estimation unit 13 calculates the average of the positive facial expression scores S pos for each morning and evening (step S701).
- the morning score average AS pos is obtained from the data from 7 am to 9 am
- the evening score average PS pos is obtained from the data from 4 pm to 6 pm.
- the health state estimation unit 13 outputs an estimation result that the mental health state of the subject 2 is deteriorated (step S704).
- the health state estimation unit 13 outputs an estimation result that there is no change in the mental health state of the subject 2 (step S705). Thereby, the possibility (for example, suspicion of depression) of the subject's 2 mental disease can be discovered automatically and early.
- FIG. 8A is a graph showing the appearance ratio of seven facial expressions, where the horizontal axis represents facial expression numbers (1: anger, 2: disgust, 3: fear, 4: joy, 5: sadness, 6: surprise, 7: true face).
- the vertical axis represents the monthly average of the scores S 1 to S 7 .
- FIG. 8B shows a processing flow of the health state estimation unit 13 in the specific example (4).
- step S800 the health condition estimation unit 13 reads time series data for a necessary period (for example, for the past two months) from the storage unit 12, and averages scores S 1 to S 7 for each of seven facial expressions per month. (Score monthly average MS 1 to MS 7 ) is calculated (step S800).
- the health state estimation unit 13 acquires the normal values RMS 1 to RMS 7 of the score monthly averages MS 1 to MS 7 (step S801).
- the normal values RMS 1 to RMS 7 are values of the score averages MS 1 to MS 7 when the mental health state is in the normal state.
- the score averages MS 1 to MS 7 of the subject 2 themselves in the past for example, one month or more before
- the health state estimation unit 13 calculates the difference ⁇ S between the score monthly averages MS 1 to MS 7 and the normal values RMS 1 to RMS 7 by the following equation (step S803).
- ⁇ S ⁇ (
- ) (i 1, 2,..., 7)
- This difference ⁇ S is an index representing the magnitude of the change in the appearance ratio of the facial expression between the most recent predetermined period (here, one month) and the normal time.
- the health state estimation unit 13 compares the difference ⁇ S with the threshold Th2 (step S803). And when difference (DELTA) S is larger than threshold value Th2 (step S803; YES), the healthy condition estimation part 13 outputs the estimation result that the mental health state of the subject 2 is deteriorating (step S804). Conversely, when the difference ⁇ S is equal to or smaller than the threshold Th2 (step S803; NO), the health state estimation unit 13 outputs an estimation result that there is no change in the mental health state of the subject 2 (step S805). Thereby, the sign and symptom (for example, suspicion of dementia) of the mental disorder of the subject 2 can be discovered automatically and early.
- the sign and symptom for example, suspicion of dementia
- the monthly average is evaluated, but the evaluation may be performed using an average of a plurality of days or an average of a plurality of weeks. Further, instead of using the scores of all seven facial expressions, only the scores of facial expressions (for example, “anger”, “disgust”, and “joy”) that appear or decrease due to dementia may be used for evaluation.
- FIG. 9A is a graph showing a change in the anger score S 1 of a subject 2, where the horizontal axis is the day and the vertical axis is the daily variance of the anger score S 1 (hereinafter referred to as score daily variance VS 1 ). Show. The latest score daily variance VS 1 is on the rise, showing signs of mental illness (dementia).
- FIG. 9B shows a processing flow of the health state estimation unit 13 in the specific example (5).
- step S901 the health state estimation unit 13, period required from the storage unit 12 (e.g., past one month min) reads time series data, calculating the variance VS 1 day anger score S 1.
- the health state estimation unit 13 acquires the normal value RVS 1 of the score daily variance VS 1 (step S902).
- the normal value RVS 1 is a value of the score daily variance VS 1 when the mental health state is in the normal state.
- the average of the past one month of the score daily variance VS 1 of the subject 2 is used as the normal value RVS 1 .
- the health condition estimating unit 13 compares the score daily variance VS 1 for the most recent predetermined period (for example, several days to one week) with the normal value RVS 1, and the latest value is compared with the normal value RVS 1. It is then determined whether or not there is an upward trend (steps S903 and S904).
- the standard deviation of the past one month of the score daily variance VS 1 is ⁇
- the score day variance VS 1 that satisfies the condition continues for a predetermined period (for example, several days to one week)
- the most recent score day variance tends to increase (that is, the fluctuation range of the anger score tends to increase) Is determined.
- n is a parameter for adjusting the detection sensitivity, and is set to a value of 1 to 3, for example.
- step S904 When an increasing tendency of the fluctuation range of the anger score is detected in step S904, the health state estimation unit 13 outputs an estimation result that the mental health state of the subject 2 is deteriorated (step S905). On the other hand, when the increasing tendency of the fluctuation range of the anger score is not detected, the health state estimation unit 13 outputs an estimation result that there is no change in the mental health state of the subject 2 (step S906). Thereby, the sign and symptom (for example, suspicion of dementia) of the mental disorder of the subject 2 can be discovered automatically and early.
- the sign and symptom for example, suspicion of dementia
- the value of the anger score S 1 is to detect the increase in the frequency or time exceeds a threshold value, capture an increasing trend of the variation width of anger score be able to.
- anger score S 1 it may be evaluated dispersed or fluctuation width of the other expression score (e.g. aversive score S 2).
- the health state estimation unit 13 of this embodiment has one or a plurality of estimation logics in the specific examples (1) to (5) described above.
- these estimation logics are merely an example of a process for estimating a mental health state based on characteristics related to temporal changes in facial expressions, and other estimation logics may be implemented in the health state estimation unit 13. Absent.
- the result output unit 14 outputs information on the mental health state of the subject 2 based on the estimation result.
- the output destination device, the output information, and the output method are arbitrary, and can be appropriately designed according to the use and configuration of the health care assisting apparatus 1.
- the result output unit 14 may display an image or message on the display device, output audio information to a speaker, or transmit information to an external device (smart phone, other computer, external storage, etc.). it can.
- an external device smartt phone, other computer, external storage, etc.
- any information that is useful for mental health care such as the possibility of mental illness, countermeasures, and advice may be output.
- the result output unit 14 may output the estimation results obtained by each logic separately, or the estimation results of the plurality of logics.
- Health management in the workplace The face of the target person (such as a desk worker) who is working is regularly photographed with sensors installed on the desk or ceiling.
- the health management auxiliary device 1 (server) collects images from each sensor via the LAN, performs facial expression recognition and health state estimation of each subject, and accumulates the estimation results.
- the manager is notified of the information.
- the supervisor can access the health management assisting device 1 and check the mental health status of the subordinate.
- the boss can check the mental health status of his / her subordinates as objective information in real time, so that he / she can quickly notice signs of mental health deterioration and mental illness. Appropriate actions can be taken promptly, such as interviews, reduction of work load, and early cooperation with the health management room.
- the target person is an elderly person living alone.
- the subject's face is photographed regularly by sensors installed in the TV or kitchen.
- the health care assistant device 1 set in the home collects images from the sensors, performs facial expression recognition and health state estimation of the subject, and uploads the estimation results to the cloud server.
- Remote families, social workers, doctors, etc. can access the cloud server and check the mental health status of the target person when needed.
- the notification of the mental health status of the target person is received from the cloud server. According to such a system, it is possible to easily check the health status of an elderly person living alone from a remote place, and to detect signs of dementia and the like early.
- the health care assistance device 1 (for example, a smartphone application) collects images from the sensor, performs facial expression recognition and health state estimation of the subject, and accumulates the estimation results. According to such a system, the user can check his / her mental health state on the smartphone when necessary.
- the configuration of the present embodiment described above has the following advantages. Since the health care assisting device 1 focuses on features related to temporal changes in facial expressions, it can detect changes in mental health (deterioration or improvement) that appear as changes in facial expressions. Compared with estimation using only facial expressions, a highly reliable estimation result can be obtained. And since such a highly reliable estimation result can be obtained automatically and early, it becomes possible to provide useful information according to the mental health status of the subject in a timely manner, Health care can be supported appropriately.
- the temporal changes in facial expressions are quantitatively evaluated based on the time-series data of scores obtained by digitizing seven facial expressions, such as depression and dementia.
- the temporal change of the facial expression can be evaluated on the basis of, for example, the expression of emotions, and so on.
- the configuration of the above-described embodiment is merely a specific example of the present invention, and is not intended to limit the scope of the present invention.
- the present invention can take various specific configurations without departing from the technical idea thereof.
- seven types of facial expression classification are used, but other facial expression classifications may be used.
- the positive facial expression score is generated from the joy score, the anger score, and the sadness score.
- the definition of the positive facial expression score is not limited to this.
- one of seven facial expressions (for example, a pleasure score) may be selected and used as a positive facial expression score.
- depression and dementia are given as examples of mental illness.
- the method of the present invention is effective as long as it is a psychiatric illness that shows signs in the facial expression.
- dissociation disorder, adjustment disorder, schizophrenia, panic disorder / anxiety disorder and the like are assumed. Any method such as regression analysis, frequency analysis, trend estimation, etc. may be applied to the time series analysis of facial expression data.
- the average value was used as a normal value, if it is a value statistically calculated
- the period of facial expression data used for time series analysis is estimated in daily, weekly, monthly, or yearly periods, depending on the estimation logic, the characteristics of temporal changes in facial expressions, the type of mental illness and its signs / symptoms, etc. Can be set as appropriate.
- the expression for the latest few days to one week is used as the evaluation target, and this is compared with the normal value obtained statistically.
- the period for sampling the evaluation target is several days, one week It can be set to a period of up to several weeks, from January to several months, or from one year to several years.
- the period for sampling the normal value can be set to a period of several days, one week to several weeks, one month to several months, or one year to several years.
- the positive facial expression score for the last month has deteriorated compared to the previous score (decrease in score or fluctuation)
- it is determined that the mental health condition has deteriorated and the condition is further reduced to three. If it lasts for months, it may be determined that “the possibility of depression is high”.
- some mental disorders have seasonal variations in symptoms.
- the normal value may be sampled from past data in the same season as the period during which the evaluation target is sampled. For example, when evaluating the progression of symptoms of dementia on a yearly basis, it is possible to compare the facial expression of the most recent month of this year with the facial expressions of the same month for the past several years.
- the positive facial expression score S pos when it is detected that the positive facial expression score S pos is lower than the normal value, it is determined as “deterioration of mental health”, but conversely, the positive facial expression score S pos is a normal value. It can also be determined as “improvement of mental health” when it is detected that the level has risen.
- the score daily average is DS pos
- the normal value is RDS
- the standard deviation of the score daily average DS pos for the past month is ⁇
- the parameter for adjusting the detection sensitivity is n
- the score daily average satisfying the condition continues for a predetermined period, it can be determined that the latest value is in an upward trend.
- the fluctuation range of the positive facial expression score S pos is larger than the normal value (past statistical value)
- a negative facial expression score S neg is high in the morning, which is relatively low in the evening, It can also be determined as “deterioration of mental health”.
- Health care assistance device 2 Target person 3: Imaging device 10: Image acquisition unit 11: Expression recognition unit 12: Storage unit 13: Health state estimation unit 14: Result output unit
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Developmental Disabilities (AREA)
- Psychology (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
健康管理補助装置は、対象者を時系列で撮影した複数の画像を取得する画像取得部と、前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、を有する。
Description
本発明は、人の精神的健康の管理を補助するための技術に関する。
近年、うつ病、認知症などの精神疾患の患者数が著しく増加しており、大きな社会問題となっている。特に我が国では、高齢者の増加に伴い、精神疾患への対策は今後ますます重要な課題になるといわれている。精神疾患については、普段の生活における予防が極めて重要であると共に、早い段階での気づき(早期発見)と適切な治療が回復への近道である。しかしながら、精神疾患に対する正しい認識や知識をもっている人は少なく、精神疾患のサイン(兆候)や症状に気づくことは一般の人では難しいのが実情である。
精神疾患の診断を補助することを目的として、特許文献1では、被診断者の顔画像から、表情の左右対称度、目の緊張度、頬の緊張度、口角の角度を数値化した診断データベクトルを生成し、その診断データベクトルと医学的知見を数値化した診断マトリックスに基づき、パラノイア度・ノイローゼ度・ソシオパス度・うつ度・ストレス度の診断結果をグラフ表示する装置が提案されている。確かに、精神疾患のサインは顔の表情や緊張となって表出することが多く、実際の診断やカウンセリングにおいても、専門家は顔表情の変化を患者の精神的健康状態を推測する手がかりの一つとしている。しかしながら、たとえ専門家であっても、一枚の顔画像をみるだけでは、その表情や目・頬・口角の状態が、精神疾患のサインなのか個性(もともとの顔のつくり、普段の表情)なのかは区別できない。したがって、特許文献1に提案された手法では、信頼性の高い診断情報を得ることは難しいと考えられる。
本発明は上記実情に鑑みなされたものであって、画像から認識した顔表情に基づいてその人の精神的健康状態を推定し、精神的健康の管理に有用な情報を提供可能な技術を提供することを目的とする。
上記目的を達成するために、本発明では、顔表情の時系列データから対象者の顔表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者の精神的健康状態を推定する、という構成を採用する。
具体的には、本発明に係る健康管理補助装置は、対象者の精神的健康の管理を補助する健康管理補助装置であって、前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、を有することを特徴とする。
本発明によれば、顔表情の時間的変化に関わる特徴に注目するため、顔表情の変化として表れる精神的健康状態の変化(悪化又は好転)を検出することができ、一枚の画像における顔表情だけで推定するのに比べて、高信頼の推定結果を得ることができる。そして、そのような高信頼の推定結果を自動で且つ早期に得ることができるため、対象者の精神的健康状態に応じた有用な情報を適時に提供することが可能となり、対象者の精神的健康管理を適切に補助することができる。
前記健康状態推定部は、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の減少を検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。うつ病、認知症などの精神疾患のサイン(兆候)や症状の一つである「抑うつ状態」では、ポジティブな感情を示す表情(喜びの表情など)の減少が顕著だからである。あるいは、前記健康状態推定部は、表情の時間的変化に関わる特徴として、ネガティブな感情を示す表情の増加を検出した場合に、前記対象者の精神的健康状態が悪化していると推定してもよい。うつ病、認知症などの精神疾患のサイン(兆候)や症状の一つである「抑うつ状態」では、ネガティブな感情を示す表情(悲しみの表情など)の増加が顕著だからである。
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて低下傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。これにより、ポジティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアが通常値に比べて上昇傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定してもよい。これにより、ネガティブな感情を示す表情の増加を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて上昇傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定することが好ましい。これにより、ポジティブな感情を示す表情の上昇を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアが通常値に比べて低下傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定してもよい。これにより、ネガティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。
また、前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて減少傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することも好ましい。これにより、ポジティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することも好ましい。これにより、ネガティブな感情を示す表情の増加を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
また、前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定することも好ましい。これにより、ポジティブな感情を示す表情の増加を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて減少傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定することも好ましい。これにより、ネガティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。
また、前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、ポジティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に高い傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することも好ましい。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、ネガティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に低い傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定してもよい。これにより、朝方は気分が沈み、夕方になると気分が上昇するという症状の出現を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
前記健康状態推定部は、表情の時間的変化に関わる特徴として、複数種類の表情の出現割合の変化を検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。認知症などの精神疾患では、例えば怒りやすくなるなど、感情表現の変化(人格の変化)が起きるからである。
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、表情の時間的変化に関わる特徴として、前記複数種類の表情のうちの一部又は全部の表情に関する直近の所定期間のスコア平均と通常値との差が閾値より大きいことを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。これにより、表情の出現割合の変化を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、表情の時間的変化に関わる特徴として、直近の所定期間のある表情のスコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。これにより、感情の起伏が激しくなるという症状の出現を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
前記通常値は、前記記憶部に記憶された前記対象者の時系列データから統計的に求めた値であることが好ましい。対象者自身の時系列データから統計的に求めた値を通常値として用いることにより、その対象者の表情の個性(もともとの顔のつくり、通常時の表情や感情表現など)を基準にして表情の時間的変化を評価できるため、個人差による推定精度の低下を抑制し、推定処理の信頼性をより高めることができる。
前記健康状態推定部は、前記対象者の複数日分の時系列データを用いて、精神的健康状態の推定を行うことが好ましい。また、前記「直近の所定期間」は1日よりも長い期間であることが好ましい。たとえ健康な人であっても気分の浮き沈みや感情の変化はあるので、数時間~1日程度の期間の表情変化だけでは、その人の精神的健康状態を推定することは難しい(推定できたとしても信頼性が低い)からである。検出しようとする「表情の時間的変化に関わる特徴」にもよるが、日単位、週単位、月単位、又は、年単位での表情変化を評価することが好ましい。したがって、「直近の所定期間」は、例えば、数日、1週~数週、1月~数月、又は、1年~数年といった期間に設定するとよい。
なお、本発明は、上記構成ないし機能の少なくとも一部を有する健康管理補助装置として捉えることができる。また本発明は、上記処理の少なくとも一部を含む健康管理補助方法、又は、かかる方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、画像から認識した顔表情に基づいてその人の精神的健康状態を推定し、精神的健康の管理に有用な情報を提供することができる。
以下に図面を参照して、この発明を実施するための好ましい形態を例示的に詳しく説明する。ただし、以下の実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
(装置構成)
図1は、本発明の実施形態に係る健康管理補助装置の構成例を示す図である。健康管理補助装置1は、対象者2を撮影した画像を解析して、対象者2の精神的健康(メンタルヘルス)の管理に役立つ情報を提供するための装置である。この健康管理補助装置1は、対象者自身によるセルフチェック、医師やカウンセラなどの専門家のための診断ツール、企業や学校などにおけるメンタルヘルスケアなど、様々な用途に応用可能である。
図1は、本発明の実施形態に係る健康管理補助装置の構成例を示す図である。健康管理補助装置1は、対象者2を撮影した画像を解析して、対象者2の精神的健康(メンタルヘルス)の管理に役立つ情報を提供するための装置である。この健康管理補助装置1は、対象者自身によるセルフチェック、医師やカウンセラなどの専門家のための診断ツール、企業や学校などにおけるメンタルヘルスケアなど、様々な用途に応用可能である。
図1の健康管理補助装置1は、主な構成として、画像取得部10、表情認識部11、記憶部12、健康状態推定部13、結果出力部14を有している。
画像取得部10は、撮像装置3から画像を取得する機能を有する。本実施形態では、対象者2の顔を時系列で撮影した複数の画像が撮像装置3から順次取り込まれる。撮像装置3はモノクロ又はカラーのカメラにより構成される。図1では撮像装置3を健康管理補助装置1とは別に設けたが、撮像装置3を健康管理補助装置1に搭載してもよい。表情認識部11は、画像センシング処理によって画像から顔表情の特徴を認識する機能を有する。記憶部12は、表情認識部11から出力される表情認識結果を時系列データとして記憶する機能を有する。健康状態推定部13は、記憶部12に記憶された時系列データから対象者2の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者2の精神的健康状態を推定する機能を有する。結果出力部14は、健康状態推定部13の推定結果を出力する機能を有する。
対象者2の画像を撮影ないし取り込む間隔は、健康管理補助装置1の用途や使用環境に応じて適宜設定すればよい。例えば、顔表情の日内変動又は複数日(例えば数日、数週間、数カ月など)にわたる変化を評価する目的であれば、数秒から数分に1回程度の頻度、あるいは、数十分から数時間に1回程度の頻度で画像を撮影ないし取り込めば足りる。対象者2が撮像装置3の視野内に常に存在する場合には、一定の時間間隔や決まった時刻に撮影を行うことができる。対象者2が撮像装置3の視野内に常に存在するとは限らない場合には、例えば、人感センサなどで対象者2を検知できたときに撮影するとか、対象者自身が所定の頻度でセルフ撮影を行う、などの構成を採ることもできる。
健康管理補助装置1は、CPU(プロセッサ)、メモリ、補助記憶装置、入力装置、表示装置、通信装置などを具備するコンピュータにより構成することができる。健康管理補助装置1の各機能は、補助記憶装置に格納されたプログラムをメモリにロードし、CPUが実行することにより実現される。ただし、健康管理補助装置1の一部又は全部の機能をASICやFPGAなどの回路で実現することもできる。あるいは、健康管理補助装置1の一部の機能(例えば、表情認識部11、記憶部12、健康状態推定部13の機能)をクラウドコンピューティングや分散コンピューティングにより実現してもよい。
(表情認識結果の時系列データ)
図2を参照して健康管理補助装置1で実行される表情認識処理の流れを説明する。図2は、表情認識処理の流れを示すフローチャートである。図2の処理は、撮像装置3で対象者2が撮影される度に実行される処理である。
図2を参照して健康管理補助装置1で実行される表情認識処理の流れを説明する。図2は、表情認識処理の流れを示すフローチャートである。図2の処理は、撮像装置3で対象者2が撮影される度に実行される処理である。
ステップS201では、画像取得部10が、撮像装置3から対象者2を撮影した画像を取得する。顔表情の認識が目的のため、対象者2の顔が(可能な限り)正面から写った画像が望ましい。次に、表情認識部11が、画像から顔を検出し(ステップS202)、さらに顔器官(目、眉、鼻、口など)を検出する(ステップS203)。顔検出及び顔器官検出には公知の手法をはじめ、いかなるアルゴリズムを用いてもよいため、詳しい説明は割愛する。
次に、表情認識部11が、ステップS202及びS203の検出結果を利用して、対象者2の顔表情の特徴を認識する(ステップS204)。本実施形態では、ポール・エックマン(Paul Ekman)の表情分析をもとに、顔表情を「怒り」「嫌悪」「恐れ」「喜び」「悲しみ」「驚き」「真顔(無表情)」の7種類に分類する。表情認識結果としては、7種類の表情それぞれの度合い(表情らしさ、表情度とも呼ぶ)を合計が100となるように数値化したスコアが出力される。各表情のスコアは表情成分値とも呼ばれる。以後の説明では、7表情に以下の番号を付し、各表情のスコアをS1~S7と表記する場合がある。
1:怒り
2:嫌悪
3:恐れ
4:喜び
5:悲しみ
6:驚き
7:真顔
1:怒り
2:嫌悪
3:恐れ
4:喜び
5:悲しみ
6:驚き
7:真顔
なお、ステップS204の表情認識には公知の手法をはじめ、いかなるアルゴリズムを用いてよい。以下、表情認識処理の一例を述べる。まず表情認識部11が、顔器官の位置情報に基づき顔器官の相対位置や形状に関わる特徴量を抽出する。特徴量としては、Haar-like特徴量、特徴点間距離、フーリエ記述子などを用いることができる。次に、表情認識部11が、抽出した特徴量を7種類の顔表情それぞれの判別器に入力し、各表情の度合いを計算する。各判別器はサンプル画像を用いた学習によって生成することができる。最後に、表情認識部11は、7つの判別器からの出力値を合計が100になるよう規格化し、7種類の表情のスコア(表情成分値)を出力する。
表情認識部11は、表情認識結果をタイムスタンプ情報と共に記憶部12内のデータベースに格納する(ステップS205)。図3は、記憶部12内に記憶された表情認識結果の時系列データの一例である。各行が1枚の顔画像から得られた表情認識結果を示している。
(精神的健康状態の推定)
次に、精神的健康状態の推定処理について説明する。本実施形態の健康管理補助装置1では、健康状態推定部13が、表情認識結果の時系列データから対象者2の顔表情の時間的変化に関わる特徴を検出し(この処理を「表情データの時系列解析」とも呼ぶ)、その検出された特徴に基づいて対象者2の精神的健康状態を推定する。表情データの時系列解析により検出可能な「顔表情の時間的変化に関わる特徴」には様々なものがある。以下、具体例(1)~(5)を説明する。
次に、精神的健康状態の推定処理について説明する。本実施形態の健康管理補助装置1では、健康状態推定部13が、表情認識結果の時系列データから対象者2の顔表情の時間的変化に関わる特徴を検出し(この処理を「表情データの時系列解析」とも呼ぶ)、その検出された特徴に基づいて対象者2の精神的健康状態を推定する。表情データの時系列解析により検出可能な「顔表情の時間的変化に関わる特徴」には様々なものがある。以下、具体例(1)~(5)を説明する。
(1)ポジティブな感情を示す表情の減少(スコアの低下)
精神疾患の一つである「うつ病」の典型的な症状には、
・気分が沈む(抑うつ気分)
・興味がわかず楽しめない
・疲れを感じたり、気力がわかない
・仕事や家事に集中したり、決断することができない
・動作や話し方が遅い、又はイライラしたり、落着きが無い
・食欲が低下(増加)、体重が増減
・寝付けない、夜中や早朝に目が覚める
・自分に価値が無い、又は申し訳ないと感じる
・この世から消えてしまいたいと思うことがある
などがある。これらの症状のうちの多くは顔表情の変化を生み、例えば「表情が暗い」、「笑顔が減った」、「表情に乏しい」といったサインとして表れる。
精神疾患の一つである「うつ病」の典型的な症状には、
・気分が沈む(抑うつ気分)
・興味がわかず楽しめない
・疲れを感じたり、気力がわかない
・仕事や家事に集中したり、決断することができない
・動作や話し方が遅い、又はイライラしたり、落着きが無い
・食欲が低下(増加)、体重が増減
・寝付けない、夜中や早朝に目が覚める
・自分に価値が無い、又は申し訳ないと感じる
・この世から消えてしまいたいと思うことがある
などがある。これらの症状のうちの多くは顔表情の変化を生み、例えば「表情が暗い」、「笑顔が減った」、「表情に乏しい」といったサインとして表れる。
そこで、具体例(1)では、表情の時間的変化に関わる特徴として「ポジティブな感情を示す表情の減少」に注目する。詳しくは、本実施形態では、ポジティブな感情の度合いを示す指標として「ポジティブ表情スコアSpos」を次のように定義する。
Spos=喜びスコアS4-怒りスコアS1-悲しみスコアS5
このポジティブ表情スコアSposは、対象者2の気分が良好で前向きな場合は高い値を示し、気分が沈んだりイライラした場合には低い値を示すように設計されている。
Spos=喜びスコアS4-怒りスコアS1-悲しみスコアS5
このポジティブ表情スコアSposは、対象者2の気分が良好で前向きな場合は高い値を示し、気分が沈んだりイライラした場合には低い値を示すように設計されている。
図4に、ポジティブ表情スコアSposの日内変動の例を示す。精神的健康状態が良好な人の場合、一日の中で感情の変化があるのが通常であるため、図4の左側のグラフのようにスコアSposは大きく変動する。これに対し、うつ病の人の場合は、図4の右側のグラフのように、スコアSposが全体的に低下したり、スコアSposの変動幅が小さくなる傾向にある。また、うつ病の特徴的な症状として、朝方は気分が沈み、夕方になるにつれ気分が上昇してくる、というものもある。したがって、表情データの時系列解析により、このようなスコア変化を検出することで、精神疾患(特にうつ病)の兆候又は症状としての精神的健康状態の変化(悪化)を発見することが可能となる。本明細書において、「精神疾患の兆候」とは、精神疾患に至る前もしくは精神疾患の極めて初期の段階で現れる症状を意味している。
図5A、図5Bを参照して、健康状態推定部13の処理を説明する。図5Aは、ある対象者2のポジティブ表情スコアSposの変化を示すグラフであり、横軸は日、縦軸はポジティブ表情スコアSposの一日当たりの平均(以下、スコア日平均DSposと呼ぶ)を示している。直近のスコア日平均DSposが低下傾向にあり、精神疾患(うつ病)の兆候が表れている。図5Bは、具体例(1)における健康状態推定部13の処理フローを示す。
ステップS500において、健康状態推定部13は、記憶部12から必要な期間分(例えば、過去一カ月分)の時系列データを読み込み、各データについてポジティブ表情スコアSposを計算する。次に、健康状態推定部13は、ポジティブ表情スコアSposの日平均DSposを計算する(ステップS501)。また、健康状態推定部13は、スコア日平均DSposの通常値RDSを取得する(ステップS502)。通常値RDSは、精神的健康状態が通常状態にあるときのスコア日平均DSposの値である。ここでは、対象者2自身のスコア日平均DSposの過去一カ月の平均を通常値RDSとして用いることとする。
続いて、健康状態推定部13は、直近の所定期間(例えば、数日~1週間)分のスコア日平均DSposと通常値RDSとを比較し、直近の値が通常値RDSに対して低下傾向にあるか否かを判断する(ステップS503,S504)。ここでは、スコア日平均DSposの過去一カ月の標準偏差をσとしたときに、
DSpos<RDS-n×σ
を満たすスコア日平均DSposが所定期間(例えば、数日~1週間)のあいだ続いた場合に、直近の値が低下傾向にあると判定する。nは検出感度を調整するパラメータであり、例えば1~3の値に設定される。
DSpos<RDS-n×σ
を満たすスコア日平均DSposが所定期間(例えば、数日~1週間)のあいだ続いた場合に、直近の値が低下傾向にあると判定する。nは検出感度を調整するパラメータであり、例えば1~3の値に設定される。
ステップS504においてスコアの低下傾向が検出された場合、健康状態推定部13は、対象者2の精神的健康状態が悪化している、との推定結果を出力する(ステップS505)。逆に、スコアの低下傾向が検出されなかった場合、健康状態推定部13は、対象者2の精神的健康状態に変化なし、との推定結果を出力する(ステップS506)。これにより、対象者2の精神疾患の兆候や症状(例えば、うつ病の疑い)を自動で且つ早期に発見することができる。
(2)ポジティブな感情を示す表情の減少(スコアの変動幅の減少)
図4で説明したように、抑うつ状態では、ポジティブ表情スコアSposの変動幅が減少する傾向がある。そこで具体例(2)では、ポジティブ表情スコアSposの分散の低下を検出することで、精神疾患(特にうつ病)の兆候や症状を発見する。
図4で説明したように、抑うつ状態では、ポジティブ表情スコアSposの変動幅が減少する傾向がある。そこで具体例(2)では、ポジティブ表情スコアSposの分散の低下を検出することで、精神疾患(特にうつ病)の兆候や症状を発見する。
図6A、図6Bを参照して、健康状態推定部13の処理を説明する。図6Aは、ある対象者2のポジティブ表情スコアSposの変化を示すグラフであり、横軸は日、縦軸はポジティブ表情スコアSposの一日当たりの分散(以下、スコア日分散VSposと呼ぶ)を示している。直近のスコア日分散VSposが低下傾向にあり、精神疾患(うつ病)の兆候が表れている。図6Bは、具体例(2)における健康状態推定部13の処理フローを示す。
ステップS600において、健康状態推定部13は、記憶部12から必要な期間分(例えば、過去一カ月分)の時系列データを読み込み、各データについてポジティブ表情スコアSposを計算する。次に、健康状態推定部13は、ポジティブ表情スコアSposの日分散VSposを計算する(ステップS601)。また、健康状態推定部13は、スコア日分散VSposの通常値RVSを取得する(ステップS602)。通常値RVSは、精神的健康状態が通常状態にあるときのスコア日分散VSposの値である。ここでは、対象者2自身のスコア日分散VSposの過去一カ月の平均を通常値RVSとして用いることとする。
続いて、健康状態推定部13は、直近の所定期間(例えば、数日~1週間)分のスコア日分散VSposと通常値RVSとを比較し、直近の値が通常値RVSに対して低下傾向にあるか否かを判断する(ステップS603,S604)。ここでは、スコア日分散VSposの過去一カ月の標準偏差をσとしたときに、
VSpos<RVS-n×σ
を満たすスコア日分散VSposが所定期間(例えば、数日~1週間)のあいだ続いた場合に、直近のスコア日分散が低下傾向にある(つまり、スコア変動幅が減少傾向にある)と判定する。nは検出感度を調整するパラメータであり、例えば1~3の値に設定される。
VSpos<RVS-n×σ
を満たすスコア日分散VSposが所定期間(例えば、数日~1週間)のあいだ続いた場合に、直近のスコア日分散が低下傾向にある(つまり、スコア変動幅が減少傾向にある)と判定する。nは検出感度を調整するパラメータであり、例えば1~3の値に設定される。
ステップS604においてスコア変動幅の減少傾向が検出された場合、健康状態推定部13は、対象者2の精神的健康状態が悪化している、との推定結果を出力する(ステップS605)。逆に、スコア変動幅の減少傾向が検出されなかった場合、健康状態推定部13は、対象者2の精神的健康状態に変化なし、との推定結果を出力する(ステップS606)。これにより、対象者2の精神疾患の兆候や症状(例えば、うつ病の疑い)を自動で且つ早期に発見することができる。
なお、具体例(2)では、スコア日分散の低下を検出したが、ポジティブ表情スコアSposの値が閾値を超える頻度又は時間の減少を検出することでも、スコア変動幅の減少傾向を捉えることができる。
(3)朝方と夕方のあいだの表情の変化
図4で説明したように、うつ病の特徴的な症状として、朝方は気分が沈み、夕方になるにつれ気分が上昇してくる、というものがある。そこで具体例(3)では、ポジティブ表情スコアSposの日内変動を評価することで、精神疾患(特にうつ病)の兆候や症状を発見する。
図4で説明したように、うつ病の特徴的な症状として、朝方は気分が沈み、夕方になるにつれ気分が上昇してくる、というものがある。そこで具体例(3)では、ポジティブ表情スコアSposの日内変動を評価することで、精神疾患(特にうつ病)の兆候や症状を発見する。
図7A、図7Bを参照して、健康状態推定部13の処理を説明する。図7Aは、うつ病の人にみられるポジティブ表情スコアSposの日内変動を示すグラフであり、横軸は時間、縦軸はポジティブ表情スコアSposを示している。朝方のスコアが最も低く、時間の経過と共にスコアが徐々に上昇し、夕方のスコアが朝方に比べて相対的に高くなっている。図7Bは、具体例(3)における健康状態推定部13の処理フローを示す。
ステップS700において、健康状態推定部13は、記憶部12から一日分の時系列データを読み込み、各データについてポジティブ表情スコアSposを計算する。次に、健康状態推定部13は、朝方と夕方それぞれのポジティブ表情スコアSposの平均を計算する(ステップS701)。ここでは、午前7時~午前9時のデータから朝方のスコア平均ASposを求め、午後4時~午後6時のデータから夕方のスコア平均PSposを求める。
続いて、健康状態推定部13は、朝方のスコア平均ASposと夕方のスコア平均PSposの差ΔSpos(=PSpos-ASpos)を計算し(ステップS702)、差ΔSposを閾値Th1と比較する(ステップS703)。差ΔSposが閾値Th1より大きい場合(ステップS703;YES)、健康状態推定部13は、対象者2の精神的健康状態が悪化している、との推定結果を出力する(ステップS704)。逆に、差ΔSposが閾値Th1以下の場合(ステップS703;NO)、健康状態推定部13は、対象者2の精神的健康状態に変化なし、との推定結果を出力する(ステップS705)。これにより、対象者2の精神疾患の可能性(例えば、うつ病の疑い)を自動で且つ早期に発見することができる。
なお、具体例(3)では、一日分の日内変動のみを評価したが、直近数日分の日内変動を評価し、図7Aのような日内変動が数日間続いた場合に、精神的健康状態の悪化と判断してもよい。
(4)表情の出現割合の変化
精神疾患の一つである「認知症」の場合、行動・心理症状として、
・不安及び焦燥
・うつ状態
・幻覚及び妄想
・興奮及び暴力
などがある。これらの症状は感情表現の変化(人格の変化)を生じ、例えば、「怒りやすくなった」、「感情の起伏が激しくなった」、「嫌悪や悲しい表情が増えた」といったサインとして表れることがある。
精神疾患の一つである「認知症」の場合、行動・心理症状として、
・不安及び焦燥
・うつ状態
・幻覚及び妄想
・興奮及び暴力
などがある。これらの症状は感情表現の変化(人格の変化)を生じ、例えば、「怒りやすくなった」、「感情の起伏が激しくなった」、「嫌悪や悲しい表情が増えた」といったサインとして表れることがある。
そこで、具体例(4)では、7表情の出現割合の変化を評価することで、精神疾患(特に認知症)の兆候や症状を発見する。
図8A、図8Bを参照して、健康状態推定部13の処理を説明する。図8Aは、7表情の出現割合を示すグラフであり、横軸は表情の番号(1:怒り、2:嫌悪、3:恐れ、4:喜び、5:悲しみ、6:驚き、7:真顔)、縦軸はスコアS1~S7の月平均を示している。精神的健康状態が良好なときには左側のグラフのように「4:喜び」や「5:悲しみ」の表情が多かったのに対し、認知症の症状により、右側のグラフのように「4:喜び」の表情が少なくなり、「1:怒り」や「2:嫌悪」の表情が多くなっていることがわかる。図8Bは、具体例(4)における健康状態推定部13の処理フローを示す。
ステップS800において、健康状態推定部13は、記憶部12から必要な期間分(例えば、過去二カ月分)の時系列データを読み込み、7表情それぞれのスコアS1~S7の一月当たりの平均(スコア月平均MS1~MS7)を計算する(ステップS800)。また、健康状態推定部13は、スコア月平均MS1~MS7の通常値RMS1~RMS7を取得する(ステップS801)。通常値RMS1~RMS7は、精神的健康状態が通常状態にあるときのスコア月平均MS1~MS7の値である。ここでは、対象者2自身の過去(例えば一カ月以上前)のスコア月平均MS1~MS7を通常値RMS1~RMS7として用いることとする。
続いて、健康状態推定部13は、下記式により、スコア月平均MS1~MS7と通常値RMS1~RMS7の差ΔSを計算する(ステップS803)。
ΔS=Σ(|RMSi-MSi|) (i=1,2,…,7)
この差ΔSは、直近の所定期間(ここでは一カ月)と通常時のあいだでの表情の出現割合の変化の大きさを表す指標である。
ΔS=Σ(|RMSi-MSi|) (i=1,2,…,7)
この差ΔSは、直近の所定期間(ここでは一カ月)と通常時のあいだでの表情の出現割合の変化の大きさを表す指標である。
健康状態推定部13は、差ΔSを閾値Th2と比較する(ステップS803)。そして、差ΔSが閾値Th2より大きい場合(ステップS803;YES)、健康状態推定部13は、対象者2の精神的健康状態が悪化している、との推定結果を出力する(ステップS804)。逆に、差ΔSが閾値Th2以下の場合(ステップS803;NO)、健康状態推定部13は、対象者2の精神的健康状態に変化なし、との推定結果を出力する(ステップS805)。これにより、対象者2の精神疾患の兆候や症状(例えば、認知症の疑い)を自動で且つ早期に発見することができる。
なお、具体例(4)では、月平均を評価したが、複数日の平均や複数週の平均を用いて評価を行ってもよい。また、7表情すべてのスコアを用いるのでなく、認知症により出現が多くなる又は少なくなる表情(例えば、「怒り」「嫌悪」「喜び」)のスコアだけを評価に用いてもよい。
(5)感情の起伏の激化
前述したように、認知症の症状として、感情の起伏が激しくなるというものがある。そこで具体例(5)では、7表情のうちのいずれかの表情のスコアの変動幅の増加を検出することで、認知症の兆候や症状を発見する。
前述したように、認知症の症状として、感情の起伏が激しくなるというものがある。そこで具体例(5)では、7表情のうちのいずれかの表情のスコアの変動幅の増加を検出することで、認知症の兆候や症状を発見する。
図9A、図9Bを参照して、健康状態推定部13の処理を説明する。図9Aは、ある対象者2の怒りスコアS1の変化を示すグラフであり、横軸は日、縦軸は怒りスコアS1の一日当たりの分散(以下、スコア日分散VS1と呼ぶ)を示している。直近のスコア日分散VS1が上昇傾向にあり、精神疾患(認知症)の兆候が表れている。図9Bは、具体例(5)における健康状態推定部13の処理フローを示す。
ステップS901において、健康状態推定部13は、記憶部12から必要な期間分(例えば、過去一カ月分)の時系列データを読み込み、怒りスコアS1の日分散VS1を計算する。また、健康状態推定部13は、スコア日分散VS1の通常値RVS1を取得する(ステップS902)。通常値RVS1は、精神的健康状態が通常状態にあるときのスコア日分散VS1の値である。ここでは、対象者2自身のスコア日分散VS1の過去一カ月の平均を通常値RVS1として用いることとする。
続いて、健康状態推定部13は、直近の所定期間(例えば、数日~1週間)分のスコア日分散VS1と通常値RVS1とを比較し、直近の値が通常値RVS1に対して上昇傾向にあるか否かを判断する(ステップS903,S904)。ここでは、スコア日分散VS1の過去一カ月の標準偏差をσとしたときに、
VS1>RVS1+n×σ
を満たすスコア日分散VS1が所定期間(例えば、数日~1週間)のあいだ続いた場合に、直近のスコア日分散が上昇傾向にある(つまり、怒りスコアの変動幅が増加傾向にある)と判定する。nは検出感度を調整するパラメータであり、例えば1~3の値に設定される。
VS1>RVS1+n×σ
を満たすスコア日分散VS1が所定期間(例えば、数日~1週間)のあいだ続いた場合に、直近のスコア日分散が上昇傾向にある(つまり、怒りスコアの変動幅が増加傾向にある)と判定する。nは検出感度を調整するパラメータであり、例えば1~3の値に設定される。
ステップS904において怒りスコアの変動幅の増加傾向が検出された場合、健康状態推定部13は、対象者2の精神的健康状態が悪化している、との推定結果を出力する(ステップS905)。逆に、怒りスコアの変動幅の増加傾向が検出されなかった場合、健康状態推定部13は、対象者2の精神的健康状態に変化なし、との推定結果を出力する(ステップS906)。これにより、対象者2の精神疾患の兆候や症状(例えば、認知症の疑い)を自動で且つ早期に発見することができる。
なお、具体例(5)では、スコア日分散の上昇を検出したが、怒りスコアS1の値が閾値を超える頻度又は時間の増加を検出することでも、怒りスコアの変動幅の増加傾向を捉えることができる。また、怒りスコアS1だけでなく、他の表情のスコア(例えば嫌悪スコアS2)の分散や変動幅を評価してもよい。
本実施形態の健康状態推定部13は、上述した具体例(1)~(5)のうちの1つ又は複数の推定ロジックを有している。ただし、これらの推定ロジックは、表情の時間的変化に関わる特徴に基づき精神的健康状態を推定する処理の一例にすぎず、これらの以外の推定ロジックを健康状態推定部13に実装しても構わない。
(推定結果の出力)
以上のように、健康状態推定部13による推定結果が得られたら、結果出力部14がその推定結果に基づき対象者2の精神的健康状態に関する情報を出力する。出力先のデバイス、出力情報、出力方法は任意であり、健康管理補助装置1の用途や構成に応じて適宜設計できる。例えば、結果出力部14は、表示装置に画像やメッセージを表示したり、スピーカに音声情報を出力したり、外部装置(スマートフォン、他のコンピュータ、外部ストレージなど)へ情報を伝送したりすることができる。出力する情報としては、例えば、精神疾患の可能性、対応策やアドバイスなど、メンタルヘルスケアに役立つ情報であればどのようなものを出力してもよい。また、図5A、図6A、図7A、図8A、図9Aに示したような表情の時間的変化を示すグラフを出力してもよい。このようなグラフ(時間的変化)をみることで、精神的健康状態の良し悪しや傾向などを直観的に理解することができる。
以上のように、健康状態推定部13による推定結果が得られたら、結果出力部14がその推定結果に基づき対象者2の精神的健康状態に関する情報を出力する。出力先のデバイス、出力情報、出力方法は任意であり、健康管理補助装置1の用途や構成に応じて適宜設計できる。例えば、結果出力部14は、表示装置に画像やメッセージを表示したり、スピーカに音声情報を出力したり、外部装置(スマートフォン、他のコンピュータ、外部ストレージなど)へ情報を伝送したりすることができる。出力する情報としては、例えば、精神疾患の可能性、対応策やアドバイスなど、メンタルヘルスケアに役立つ情報であればどのようなものを出力してもよい。また、図5A、図6A、図7A、図8A、図9Aに示したような表情の時間的変化を示すグラフを出力してもよい。このようなグラフ(時間的変化)をみることで、精神的健康状態の良し悪しや傾向などを直観的に理解することができる。
なお、健康状態推定部13が複数の推定ロジックを有している場合、結果出力部14は、各ロジックで得られた推定結果を別々に出力してもよいし、複数のロジックの推定結果を統合した結果(例えば、いずれかのロジックでTRUE(=精神的健康状態が悪化している)と判定されたらTRUEを出力する方法、すべてのロジックでTRUE判定されたときのみTRUEを出力する方法など)を出力してもよい。
(健康管理補助装置の適用例)
健康管理補助装置1の適用例としては、例えば以下のものが想定される。
健康管理補助装置1の適用例としては、例えば以下のものが想定される。
(適用例1)職場での健康管理
デスクや天井に設置したセンサで業務中の対象者(デスクワーカーなど)の顔が定期的に撮影される。健康管理補助装置1(サーバ)がLANを介して各センサから画像を収集し、各対象者の表情認識及び健康状態推定を行い、推定結果を蓄積する。精神疾患の兆候が検出されると、その情報が上司に通知される。また、上司は健康管理補助装置1にアクセスし、部下のメンタルヘルス状態を確認できる。このようなシステムによれば、上司が部下のメンタルヘルス状態をリアルタイムで且つ客観的な情報として確認できるため、メンタルヘルスの低下や精神疾患の兆候にいち早く気付くことができる。そして、面談を行ったり、仕事の負荷を軽減したり、早期に健康管理室と連携したりするなど、適切な行動を迅速にとることが可能となる。
デスクや天井に設置したセンサで業務中の対象者(デスクワーカーなど)の顔が定期的に撮影される。健康管理補助装置1(サーバ)がLANを介して各センサから画像を収集し、各対象者の表情認識及び健康状態推定を行い、推定結果を蓄積する。精神疾患の兆候が検出されると、その情報が上司に通知される。また、上司は健康管理補助装置1にアクセスし、部下のメンタルヘルス状態を確認できる。このようなシステムによれば、上司が部下のメンタルヘルス状態をリアルタイムで且つ客観的な情報として確認できるため、メンタルヘルスの低下や精神疾患の兆候にいち早く気付くことができる。そして、面談を行ったり、仕事の負荷を軽減したり、早期に健康管理室と連携したりするなど、適切な行動を迅速にとることが可能となる。
(適用例2)高齢者見守り
対象者は一人暮らしの高齢者である。テレビやキッチンに設置したセンサで対象者の顔が定期的に撮影される。家庭内に設定された健康管理補助装置1がセンサから画像を収集し、対象者の表情認識及び健康状態推定を行い、推定結果をクラウドサーバにアップロードする。離れて暮らす家族、ソーシャルワーカー、医者などが、必要なときにクラウドサーバにアクセスし、対象者のメンタルヘルス状態を確認できる。あるいは、クラウドサーバから対象者のメンタルヘルス状態の通知を受信する。このようなシステムによれば、一人暮らしの高齢者の健康状態を遠隔地から簡単に確認でき、認知症の兆候なども早期に発見することができる。
対象者は一人暮らしの高齢者である。テレビやキッチンに設置したセンサで対象者の顔が定期的に撮影される。家庭内に設定された健康管理補助装置1がセンサから画像を収集し、対象者の表情認識及び健康状態推定を行い、推定結果をクラウドサーバにアップロードする。離れて暮らす家族、ソーシャルワーカー、医者などが、必要なときにクラウドサーバにアクセスし、対象者のメンタルヘルス状態を確認できる。あるいは、クラウドサーバから対象者のメンタルヘルス状態の通知を受信する。このようなシステムによれば、一人暮らしの高齢者の健康状態を遠隔地から簡単に確認でき、認知症の兆候なども早期に発見することができる。
(適用例3)自宅での自己診断
ドレッサーや洗面台に設置したセンサで対象者の顔が定期的に撮影される。健康管理補助装置1(例えばスマートフォンのアプリ)がセンサから画像を収集し、対象者の表情認識及び健康状態推定行い、推定結果を蓄積する。このようなシステムによれば、ユーザは必要なときにスマートフォン上で自分自身のメンタルヘルス状態をチェックすることができる。
ドレッサーや洗面台に設置したセンサで対象者の顔が定期的に撮影される。健康管理補助装置1(例えばスマートフォンのアプリ)がセンサから画像を収集し、対象者の表情認識及び健康状態推定行い、推定結果を蓄積する。このようなシステムによれば、ユーザは必要なときにスマートフォン上で自分自身のメンタルヘルス状態をチェックすることができる。
以上述べた本実施形態の構成は次のような利点を有する。健康管理補助装置1は、顔表情の時間的変化に関わる特徴に注目するため、顔表情の変化として表れる精神的健康状態の変化(悪化又は好転)を検出することができ、一枚の画像における顔表情だけで推定するのに比べて、高信頼の推定結果を得ることができる。そして、そのような高信頼の推定結果を自動で且つ早期に得ることができるため、対象者の精神的健康状態に応じた有用な情報を適時に提供することが可能となり、対象者の精神的健康管理を適切に補助することができる。また、具体例(1)~(5)で述べたように、7表情を数値化したスコアの時系列データに基づき表情の時間的変化を定量的に評価するため、うつ病や認知症などの精神疾患につながる精神的健康状態の悪化を高信頼に推定することができる。さらに、対象者自身の時系列データから統計的に求めた値(上記の例では平均値)を通常値として用いることにより、その対象者の表情の個性(もともとの顔のつくり、通常時の表情や感情表現など)を基準にして表情の時間的変化を評価できるため、個人差による推定精度の低下を抑制し、推定処理の信頼性をより高めることができる。
なお、上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。例えば、上記実施形態では7種類の表情分類を用いたが、他の表情分類を用いても構わない。また、上記実施形態では、喜びスコアと怒りスコアと悲しみスコアからポジティブ表情スコアを生成したが、ポジティブ表情スコアの定義はこれに限らない。例えば、7表情のうちの1つ(例えば喜びスコア)をそのままポジティブ表情スコアとして選択して用いてもよい。また、上記実施形態では、精神疾患の例としてうつ病と認知症を挙げたが、顔表情に兆候(サイン)が表れる精神疾患であれば本発明の方法は有効である。例えば、解離性障害、適応障害、統合失調症、パニック障害・不安障害などが想定される。また、表情データの時系列解析には、回帰分析、周波数解析、トレンド推定など、いかなる手法を適用してもよい。また、上記実施形態では、通常値として平均値を用いたが、対象者自身の時系列データから統計的に求めた値であれば、他の統計値(例えば、中間値、最頻値など)を用いることも好ましい。
時系列解析に用いる表情データの期間については、推定ロジック、表情の時間的変化の特徴、精神疾患やその兆候・症状の種類などに応じ、日単位、週単位、月単位、又は、年単位で、適宜設定することができる。上記具体例(1)などでは、直近の数日~1週間の表情を評価対象とし、これを統計的に求めた通常値と比較したが、評価対象をサンプルする期間は、数日、1週~数週、1月~数月、又は、1年~数年などの期間に設定することができる。同様に、通常値をサンプルする期間も、数日、1週~数週、1月~数月、又は、1年~数年などの期間に設定することができる。例えば、直近の一カ月のポジティブ表情スコアがそれ以前のスコアと比較して悪化(スコアの低下や変動幅の減少)していたら「精神的健康状態の悪化」と判定し、さらにその状態が三カ月続いたら「うつ病の可能性が高い」と判定することが考えられる。
また、精神疾患によっては症状に季節変動があるものがある。季節変動がある場合には、評価対象をサンプルした期間と同じ季節の過去のデータから通常値をサンプルするとよい。例えば、認知症の症状進行を年単位で評価する場合には、今年の直近一カ月の表情と、過去数年分の同じ月の表情とを比較することが考えられる。
上記具体例(1)では、ポジティブ表情スコアSposが通常値よりも低下したことを検出した場合に「精神的健康状態の悪化」と判定したが、逆に、ポジティブ表情スコアSposが通常値よりも上昇したことを検出した場合に「精神的健康状態の好転」と判定することもできる。例えば、スコア日平均をDSpos、通常値をRDS、スコア日平均DSposの過去一カ月の標準偏差をσ、検出感度を調整するパラメータをn、としたときに、
DSpos>RDS+n×σ
を満たすスコア日平均が所定期間のあいだ続いた場合に、直近の値が上昇傾向にあると判定することができる。同様に、ポジティブ表情スコアSposの変動幅が通常値(過去の統計値)よりも増加したことを検出した場合に「精神的健康状態の好転」と判定してもよい。
DSpos>RDS+n×σ
を満たすスコア日平均が所定期間のあいだ続いた場合に、直近の値が上昇傾向にあると判定することができる。同様に、ポジティブ表情スコアSposの変動幅が通常値(過去の統計値)よりも増加したことを検出した場合に「精神的健康状態の好転」と判定してもよい。
また、ポジティブ表情スコアSposの他に、ネガティブな感情を示す表情の度合いを数値化したネガティブ表情スコアSnegの時間的変化に注目してもよい。ネガティブな感情を示す表情には、悲しみの表情、怒りの表情などが該当し、ネガティブ表情スコアSnegは例えば次のように定義できる。
Sneg=悲しみスコアS5+怒りスコアS1
具体的には、ネガティブ表情スコアSnegが通常値よりも上昇した場合や、ネガティブ表情スコアSnegの変動幅が通常値よりも増加した場合に、「精神的健康状態の悪化」と判定することができる。逆に、ネガティブ表情スコアSnegが通常値よりも低下した場合や、ネガティブ表情スコアSnegの変動幅が通常値よりも減少した場合に、「精神的健康状態の好転」と判定することができる。また、具体例(3)のポジティブ表情スコアSposの代わりにネガティブ表情スコアSnegの日内変動を評価し、ネガティブ表情スコアSnegが朝方に高く、夕方に相対的に低くなっている場合に、「精神的健康状態の悪化」と判定することもできる。
Sneg=悲しみスコアS5+怒りスコアS1
具体的には、ネガティブ表情スコアSnegが通常値よりも上昇した場合や、ネガティブ表情スコアSnegの変動幅が通常値よりも増加した場合に、「精神的健康状態の悪化」と判定することができる。逆に、ネガティブ表情スコアSnegが通常値よりも低下した場合や、ネガティブ表情スコアSnegの変動幅が通常値よりも減少した場合に、「精神的健康状態の好転」と判定することができる。また、具体例(3)のポジティブ表情スコアSposの代わりにネガティブ表情スコアSnegの日内変動を評価し、ネガティブ表情スコアSnegが朝方に高く、夕方に相対的に低くなっている場合に、「精神的健康状態の悪化」と判定することもできる。
1:健康管理補助装置
2:対象者
3:撮像装置
10:画像取得部
11:表情認識部
12:記憶部
13:健康状態推定部
14:結果出力部
2:対象者
3:撮像装置
10:画像取得部
11:表情認識部
12:記憶部
13:健康状態推定部
14:結果出力部
Claims (16)
- 対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、を有する
ことを特徴とする健康管理補助装置。 - 前記健康状態推定部は、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の減少又はネガティブな感情を示す表情の増加を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする請求項1に記載の健康管理補助装置。 - 前記健康状態推定部は、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の増加又はネガティブな感情を示す表情の減少を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
ことを特徴とする請求項1に記載の健康管理補助装置。 - 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて低下傾向にあること、又は、直近の所定期間のネガティブ表情スコアが通常値に比べて上昇傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする請求項1又は2に記載の健康管理補助装置。 - 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて上昇傾向にあること、又は、直近の所定期間のネガティブ表情スコアが通常値に比べて低下傾向にあること、を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
ことを特徴とする請求項1又は3に記載の健康管理補助装置。 - 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて減少傾向にあること、又は、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて増加傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする請求項1又は2に記載の健康管理補助装置。 - 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて増加傾向にあること、又は、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて減少傾向にあること、を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
ことを特徴とする請求項1又は3に記載の健康管理補助装置。 - 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ感情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、ポジティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に高い傾向にあること、又は、ネガティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に低い傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする請求項1に記載の健康管理補助装置。 - 前記健康状態推定部は、表情の時間的変化に関わる特徴として、複数種類の表情の出現割合の変化を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする請求項1に記載の健康管理補助装置。 - 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、表情の時間的変化に関わる特徴として、前記複数種類の表情のうちの一部又は全部の表情に関する直近の所定期間のスコア平均と通常値との差が閾値より大きいことを検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする請求項1又は9に記載の健康管理補助装置。 - 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、表情の時間的変化に関わる特徴として、直近の所定期間のある表情のスコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする請求項1に記載の健康管理補助装置。 - 前記通常値は、前記記憶部に記憶された前記対象者の時系列データから統計的に求めた値である
ことを特徴とする請求項4、5、6、7、10、11のうちいずれか1項に記載の健康管理補助装置。 - 前記直近の所定期間は、1日よりも長い期間である
ことを特徴とする請求項4、5、6、7、10、11、12のうちいずれか1項に記載の健康管理補助装置。 - 前記健康状態推定部は、前記対象者の複数日分の時系列データを用いて、精神的健康状態の推定を行う
ことを特徴とする請求項1~13のうちいずれか1項に記載の健康管理補助装置。 - コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識するステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定するステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、を有する
ことを特徴とする健康管理補助方法。 - 請求項15に記載の健康管理補助方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201580074009.XA CN107205731B (zh) | 2015-02-13 | 2015-12-25 | 健康管理辅助装置及健康管理辅助方法 |
DE112015006150.9T DE112015006150B4 (de) | 2015-02-13 | 2015-12-25 | Gesundheitsfürsorgeunterstützungsvorrichtung und Gesundheitsfürsorgeunterstützungsverfahren |
US15/653,964 US20170311864A1 (en) | 2015-02-13 | 2017-07-19 | Health care assisting device and health care assisting method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015026474A JP6467966B2 (ja) | 2015-02-13 | 2015-02-13 | 健康管理補助装置及び健康管理補助方法 |
JP2015-026474 | 2015-02-13 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/653,964 Continuation US20170311864A1 (en) | 2015-02-13 | 2017-07-19 | Health care assisting device and health care assisting method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016129193A1 true WO2016129193A1 (ja) | 2016-08-18 |
Family
ID=56615157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/086238 WO2016129193A1 (ja) | 2015-02-13 | 2015-12-25 | 健康管理補助装置及び健康管理補助方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20170311864A1 (ja) |
JP (1) | JP6467966B2 (ja) |
CN (1) | CN107205731B (ja) |
DE (1) | DE112015006150B4 (ja) |
WO (1) | WO2016129193A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10769518B1 (en) * | 2015-12-29 | 2020-09-08 | State Farm Mutual Automobile Insurance Company | Method of controlling for undesired factors in machine learning models |
JP6945127B2 (ja) | 2016-09-16 | 2021-10-06 | パナソニックIpマネジメント株式会社 | ストレスマネジメントシステム、ストレスマネジメント方法及びコンピュータプログラム |
EP3525141B1 (en) * | 2016-11-16 | 2021-03-24 | Honda Motor Co., Ltd. | Emotion inference device and emotion inference system |
JP6801459B2 (ja) * | 2017-01-10 | 2020-12-16 | 日本電気株式会社 | 情報処理装置、いじめ発見方法、情報処理システム、および、コンピュータプログラム |
JP6888337B2 (ja) * | 2017-03-09 | 2021-06-16 | 富士フイルムビジネスイノベーション株式会社 | 表示装置、診断システム及びプログラム |
JP2018173763A (ja) * | 2017-03-31 | 2018-11-08 | 積水化学工業株式会社 | 行動支援システム、行動支援方法 |
JP7123539B2 (ja) * | 2017-09-21 | 2022-08-23 | 日清オイリオグループ株式会社 | 診断支援情報提供装置 |
CN109805943A (zh) * | 2017-11-20 | 2019-05-28 | 徐熠 | 一种基于微表情识别的智能评测***及方法 |
JP7106851B2 (ja) * | 2017-12-12 | 2022-07-27 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
US11191341B2 (en) | 2018-01-11 | 2021-12-07 | Casio Computer Co., Ltd. | Notification device, notification method, and storage medium having program stored therein |
CN110755091A (zh) * | 2018-07-26 | 2020-02-07 | 杨万友 | 一种个人心理健康监测***及方法 |
US10960173B2 (en) | 2018-11-02 | 2021-03-30 | Sony Corporation | Recommendation based on dominant emotion using user-specific baseline emotion and emotion analysis |
CN109830280A (zh) * | 2018-12-18 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 心理辅助分析方法、装置、计算机设备和存储介质 |
JP7100575B2 (ja) * | 2018-12-28 | 2022-07-13 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
WO2020209414A1 (ko) * | 2019-04-11 | 2020-10-15 | 주식회사 에버정보기술 | 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서 |
CN110309714A (zh) * | 2019-05-22 | 2019-10-08 | 深圳壹账通智能科技有限公司 | 基于表情识别的心理健康评估方法、装置和存储介质 |
US20220322951A1 (en) * | 2019-06-07 | 2022-10-13 | Daikin Industries, Ltd. | Determination system |
JP2021003476A (ja) * | 2019-06-27 | 2021-01-14 | 富士ゼロックス株式会社 | 評価装置、評価プログラム、及び評価システム |
JP7014761B2 (ja) * | 2019-10-02 | 2022-02-01 | 株式会社エクサウィザーズ | 認知機能推定方法、コンピュータプログラム及び認知機能推定装置 |
WO2022064622A1 (ja) * | 2020-09-24 | 2022-03-31 | 株式会社I’mbesideyou | 感情解析システム |
CN112472088B (zh) * | 2020-10-22 | 2022-11-29 | 深圳大学 | 一种情绪状态评定方法、装置、智能终端及存储介质 |
JP2022072024A (ja) * | 2020-10-29 | 2022-05-17 | グローリー株式会社 | 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム |
CN117813623A (zh) * | 2021-06-11 | 2024-04-02 | 生命探索株式会社 | 情绪推定装置、情绪推定方法以及程序 |
JP7444820B2 (ja) * | 2021-08-05 | 2024-03-06 | Necパーソナルコンピュータ株式会社 | 感情判定装置、感情判定方法、及びプログラム |
CN113707305B (zh) * | 2021-08-30 | 2024-07-19 | 康键信息技术(深圳)有限公司 | 基于深度学习的健康方案推荐方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006305260A (ja) * | 2005-04-28 | 2006-11-09 | Ichiro Hagiwara | 表情診断支援装置 |
JP2010166939A (ja) * | 2009-01-20 | 2010-08-05 | Yaskawa Information Systems Co Ltd | 表情測定方法、表情測定プログラムならびに表情測定装置 |
JP2012000449A (ja) * | 2010-05-17 | 2012-01-05 | Mitsuyoshi Kenkyusho:Kk | 行動分析方法および行動分析装置 |
JP2012034839A (ja) * | 2010-08-06 | 2012-02-23 | Tokyo Univ Of Agriculture & Technology | 精神疾患判定装置、方法、及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3668034B2 (ja) * | 1999-02-26 | 2005-07-06 | 三洋電機株式会社 | 精神状態評価装置 |
US10869626B2 (en) * | 2010-06-07 | 2020-12-22 | Affectiva, Inc. | Image analysis for emotional metric evaluation |
US9503786B2 (en) * | 2010-06-07 | 2016-11-22 | Affectiva, Inc. | Video recommendation using affect |
JP2014511620A (ja) | 2011-02-27 | 2014-05-15 | アフェクティヴァ,インコーポレイテッド | 感情に基づく映像推薦 |
US20140121540A1 (en) | 2012-05-09 | 2014-05-01 | Aliphcom | System and method for monitoring the health of a user |
JP6244643B2 (ja) * | 2013-04-15 | 2017-12-13 | オムロン株式会社 | 表情推定装置、制御方法、制御プログラム、および記録媒体 |
CN203290920U (zh) * | 2013-06-24 | 2013-11-20 | 西南大学 | 便携式情感分析仪 |
JP2015026474A (ja) | 2013-07-25 | 2015-02-05 | 住友電装株式会社 | 基板用コネクタ |
CN103654798B (zh) * | 2013-12-11 | 2015-07-08 | 四川大学华西医院 | 一种情绪监测与记录方法及其装置 |
CN104183091B (zh) * | 2014-08-14 | 2017-02-08 | 苏州清研微视电子科技有限公司 | 一种自适应调整疲劳驾驶预警***灵敏度的*** |
CN104338228A (zh) * | 2014-10-15 | 2015-02-11 | 惠州Tcl移动通信有限公司 | 一种情绪调节方法及终端 |
-
2015
- 2015-02-13 JP JP2015026474A patent/JP6467966B2/ja active Active
- 2015-12-25 DE DE112015006150.9T patent/DE112015006150B4/de active Active
- 2015-12-25 CN CN201580074009.XA patent/CN107205731B/zh active Active
- 2015-12-25 WO PCT/JP2015/086238 patent/WO2016129193A1/ja active Application Filing
-
2017
- 2017-07-19 US US15/653,964 patent/US20170311864A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006305260A (ja) * | 2005-04-28 | 2006-11-09 | Ichiro Hagiwara | 表情診断支援装置 |
JP2010166939A (ja) * | 2009-01-20 | 2010-08-05 | Yaskawa Information Systems Co Ltd | 表情測定方法、表情測定プログラムならびに表情測定装置 |
JP2012000449A (ja) * | 2010-05-17 | 2012-01-05 | Mitsuyoshi Kenkyusho:Kk | 行動分析方法および行動分析装置 |
JP2012034839A (ja) * | 2010-08-06 | 2012-02-23 | Tokyo Univ Of Agriculture & Technology | 精神疾患判定装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20170311864A1 (en) | 2017-11-02 |
JP2016147006A (ja) | 2016-08-18 |
CN107205731A (zh) | 2017-09-26 |
JP6467966B2 (ja) | 2019-02-13 |
DE112015006150B4 (de) | 2024-06-06 |
CN107205731B (zh) | 2020-05-26 |
DE112015006150T5 (de) | 2017-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6467966B2 (ja) | 健康管理補助装置及び健康管理補助方法 | |
JP6945127B2 (ja) | ストレスマネジメントシステム、ストレスマネジメント方法及びコンピュータプログラム | |
US20160345832A1 (en) | System and method for monitoring biological status through contactless sensing | |
JP2019532532A (ja) | プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法 | |
WO2018168095A1 (ja) | 人物動向記録装置、人物動向記録方法、及びプログラム | |
JP7521226B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Mekruksavanich et al. | Fall detection from smart wearable sensors using deep convolutional neural network with squeeze-and-excitation module | |
JP2019097830A (ja) | 異常判定装置、プログラム | |
JP2007102482A (ja) | 自動計数装置、プログラムおよび方法 | |
Dobbins et al. | A lifelogging platform towards detecting negative emotions in everyday life using wearable devices | |
CN107847195B (zh) | 关心度估计装置、关心度估计方法以及记录介质 | |
Banerjee et al. | Exploratory analysis of older adults’ sedentary behavior in the primary living area using kinect depth data | |
Eldib et al. | Sleep analysis for elderly care using a low-resolution visual sensor network | |
JP7306152B2 (ja) | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム | |
Yan et al. | Affect estimation with wearable sensors | |
US20210383667A1 (en) | Method for computer vision-based assessment of activities of daily living via clothing and effects | |
WO2022059249A1 (ja) | 情報処理装置、情報処理システム、情報出力方法、および情報出力プログラム | |
US20220206745A1 (en) | Relationship analysis utilizing biofeedback information | |
JP7385514B2 (ja) | 生体情報管理装置、生体情報管理方法、生体情報管理プログラム及び記憶媒体 | |
Siedel et al. | Contactless interactive fall detection and sleep quality estimation for supporting elderly with incipient dementia | |
JP2019017946A (ja) | 気分推定システム | |
JP2018138155A (ja) | 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム | |
US20220240798A1 (en) | Apparatuses and methods for providing a score indicative of a physiological condition of at least one individual | |
JP2020042709A (ja) | 聴衆間の心理状態の類似度合を評定するシステム | |
WO2022259464A1 (ja) | 情報処理装置、制御方法及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15882066 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 112015006150 Country of ref document: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15882066 Country of ref document: EP Kind code of ref document: A1 |