WO2022176808A1 - 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2022176808A1
WO2022176808A1 PCT/JP2022/005712 JP2022005712W WO2022176808A1 WO 2022176808 A1 WO2022176808 A1 WO 2022176808A1 JP 2022005712 W JP2022005712 W JP 2022005712W WO 2022176808 A1 WO2022176808 A1 WO 2022176808A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
subject
information processing
level
mood
Prior art date
Application number
PCT/JP2022/005712
Other languages
English (en)
French (fr)
Inventor
道央 横山
知親 原田
大輔 吉田
誠 庄原
健一 鈴木
茂幸 瀬古
Original Assignee
道央 横山
株式会社Yume Cloud Japan
知親 原田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 道央 横山, 株式会社Yume Cloud Japan, 知親 原田 filed Critical 道央 横山
Priority to US18/277,691 priority Critical patent/US20240008785A1/en
Priority to JP2023500826A priority patent/JPWO2022176808A1/ja
Publication of WO2022176808A1 publication Critical patent/WO2022176808A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals

Definitions

  • the present invention analyzes and visualizes various data such as questionnaires, voice, facial expressions, pulse waves, heartbeats, etc. of subjects to realize early detection of mental disorders and contribute to solving social problems.
  • the present invention relates to an information processing system, an information processing apparatus, an information processing method, and an information processing program (hereinafter referred to as "information processing system, etc.”).
  • subjects use a medical interview test site on a network such as the Internet to answer a questionnaire about stress (stress check), and then video chat with a counselor and a pulse wave measuring device.
  • a medical interview test site on a network such as the Internet to answer a questionnaire about stress (stress check), and then video chat with a counselor and a pulse wave measuring device.
  • the subject's interview data, facial expression image data, voice data, pulse wave / heart rate data, etc. are acquired, and based on the various data acquired, stress level, brain fatigue level and mood value are calculated.
  • the emotions mental state
  • the subject can be visualized, and information processing to support diagnosis and treatment.
  • information processing to support diagnosis and treatment.
  • the fatigue/stress examination system described in Patent Document 1 analyzes electrocardiogram/pulse wave data measured by an electrocardiogram/pulse wave measuring instrument using an analysis server on the cloud side, and analyzes the balance and strength of the autonomic nervous system. Therefore, the state of stress can be grasped numerically, and the analysis data can be transmitted to the client terminal side and visually displayed on the client terminal side.
  • the health value estimation system described in Patent Document 2 includes location information and movement information acquired from various sensors provided in mobile terminals such as smartphones, power on/off, application startup logs, behavior such as the number of times the phone is used. Based on the history, characteristic behaviors that appear during stress (behavioral features) are classified into multiple clusters and quantified. Based on pre-measured heart rate data, machine learning is used to learn the relationship between stress conditions and building an estimation model. It is something to do. Then, by comparing numerical values of behavioral characteristics newly acquired using a portable terminal such as a smartphone with the constructed estimation model, it is possible to estimate a health value indicating the subject's own health condition.
  • the fatigue/stress examination system described in Patent Document 1 simultaneously measures the electrocardiogram and pulse wave of a subject, measures the state of the subject's autonomic nerves from the electrocardiogram/pulse wave data, and determines the degree of fatigue and stress tendency. is centrally managed as fatigue/analysis result data so that it can be quantified.
  • the fatigue/analysis result data does not reflect subjective judgment results based on the subject's own voice and facial expression, which are conducted by interviews and interviews with doctors, industrial physicians, public health nurses, etc. There is a possibility that analysis of subject's emotions cannot be achieved with high accuracy.
  • the health value estimation system described in Patent Document 2 builds an estimation model using accurately quantified data that can be more appropriate teacher data in supervised machine learning, and estimates the subject's own health value. be able to.
  • the health value estimation system cannot accurately quantify depressed mood if the subject himself/herself is not aware of depression. Subjective judgment results based on voice and facial expressions cannot be used as teacher data.
  • an estimation model that sufficiently reflects the subject's emotions (mental state) cannot be constructed, so the health value estimation system described in Patent Document 2 may not be able to achieve highly accurate analysis of the subject's emotions. be.
  • the subject's quantitative data (pulse wave, heart rate, etc.) measured by a measuring instrument etc.), for example, stress check result data based on a stress check questionnaire (occupational stress simple questionnaire, non-patent document 1), counseling using communication tools such as video chat (video call) Acquire data such as the subject's voice and facial expression images, calculate the stress level, brain fatigue level, and mood level values from those data, and calculate these calculated values from the X axis, Y axis, and Z axis By plotting in a different three-dimensional space, the subject's emotions (mental state) etc. are visualized, and an information processing system etc. that can support diagnosis and treatment are provided.
  • a stress check questionnaire occupational stress simple questionnaire, non-patent document 1
  • video chat video call
  • an information processing apparatus connected to a terminal device of a subject and for visualizing the emotion of the subject comprises at least the subject's voice, facial expression image, pulse a data management unit that acquires data about waves; Calculate the degree of brain fatigue based on the frequency of the voice, extract the emotion of the subject from the facial expression image to calculate the degree of mood, perform frequency analysis on the pulse wave by fast Fourier transform, and perform frequency analysis on the high frequency section and an emotional expression engine that extracts the low frequency section and calculates the stress level, a three-axis processing unit that displays a graph in which points are plotted at coordinates corresponding to the brain fatigue level, the mood level, and the stress level in a three-dimensional space consisting of the X-axis, Y-axis, and Z-axis;
  • the audio data is obtained by recording at least part of a video call with the subject via the terminal device
  • the data on the facial expression image is obtained by recording at least part of a video call with the subject via the terminal device,
  • the data management unit associates the data related to the subject's voice, facial expression image, and pulse wave with the date and time when the data was acquired, and stores the information in the information processing apparatus. stored in a storage means,
  • the three-axis processing unit displays a graph in which points are plotted chronologically at coordinates corresponding to the brain fatigue level, the mood level, and the stress level of the subject for each date and time in the three-dimensional space. characterized by
  • the three-dimensional space is divided into a plurality of type classification categories
  • the 3-axis processing unit notifies the category to which the coordinate point corresponding to the brain fatigue level, the mood level, and the stress level of the subject belongs, among the plurality of classification categories by type in the three-dimensional space. characterized by
  • an improvement proposal to be proposed to the subject is determined for each of the plurality of type-specific categories.
  • the emotional expression engine section is characterized by notifying the improvement proposal for the category to which the points of the coordinates corresponding to the brain fatigue level, the mood level, and the stress level of the subject in the three-dimensional space belong.
  • the audio data is obtained by the subject using a predetermined fixed phrase displayed on the terminal device during a video call with the subject via the terminal device. It is characterized by data in which read-out voice is continuously recorded for at least a predetermined recording time.
  • the emotion expression engine unit executes a brain activity index measurement algorithm for measuring a CEM value representing a brain activity index, thereby obtaining the subject's obtaining one or more CEM values per
  • the degree of brain fatigue is an average value of one or more CEM values.
  • the data on the pulse wave is data obtained by dividing the pulse wave measured by the pulse wave measuring device into one section with a predetermined time interval as one section. It is characterized by
  • the emotion expression engine section divides the pulse wave within the one section with a Hamming window for each section of the pulse wave, and divides the pulse wave within the Hamming window into the For the pulse wave, calculate the pulse interval PPI, which is the interval from the peak of the pulse wave to the next peak, and the time,
  • the emotional expression engine unit is a time-PPI graph in which points are plotted at coordinates corresponding to the pulse interval PPI and the time in a two-dimensional space of the time on the horizontal axis and the PPI on the vertical axis for each section of the pulse wave.
  • the emotional expression engine unit interpolates between discrete values in the time-PPI graph to apply a fast Fourier transform FFT, and calculates the power spectral density PSD of the FFT result in the low frequency interval and the high frequency interval, respectively.
  • FFT fast Fourier transform
  • the stress level is based on at least one of the LF value, the HF value and the LF/HF value.
  • the low frequency section is from 0.04 Hz to less than 0.15 Hz
  • the high frequency section is from 0.15 Hz to less than 0.4 Hz.
  • the data related to the facial expression image includes at least a moving image of the subject's facial expression during a video call with the subject via the terminal device. It is characterized by being data recorded continuously until a predetermined recording time.
  • the emotional expression engine unit executes a facial expression recognition algorithm to generate a moving image of the subject's facial expression included in the data related to the facial expression image.
  • count each of the multiple emotional expressions recognized from The emotional expression engine unit calculates a ratio for each of the plurality of emotional expressions, multiplies a predetermined weight for each of the plurality of emotional expressions by the ratio for each of the plurality of emotional expressions for each emotional expression, and Calculate the mood index for each expression,
  • the mood index is characterized by being based on a value obtained by dividing a maximum mood index among the mood indexes for each of the emotional expressions by a total value of the mood indexes for each of the emotional expressions.
  • the plurality of emotional expressions are happy, surprise, neutral, fear, Characterized by anger, disgust, and sadness.
  • the data management unit acquires environmental data including at least temperature and humidity in addition to data relating to the subject's voice, facial expression image, and pulse wave.
  • the emotion expression engine multiplies the brain fatigue level, the mood level, and the stress level by weighting factors determined based on the discomfort index calculated from the temperature and humidity included in the environmental data, respectively. It is characterized by adjusting each value of the brain fatigue level, the mood level, and the stress level.
  • the data management unit includes, in addition to data related to the subject's voice, facial expression image, and pulse wave, an interview including a score of the stress check result of the subject. get the data,
  • the emotional expression engine multiplies the brain fatigue level, the mood level, and the stress level by weighting factors determined according to the scores included in the medical interview data, respectively, to obtain the brain fatigue level and the mood level. , and each value of the stress degree is adjusted.
  • the information processing method is executed in a server connectable to a terminal device of a subject via a network, acquiring at least data on the subject's voice, facial expression image, and pulse wave from the terminal device; Calculate the degree of brain fatigue based on the frequency of the voice, extract the emotion of the subject from the facial expression image to calculate the degree of mood, perform frequency analysis on the pulse wave by fast Fourier transform, and perform frequency analysis on the high frequency section and a step of extracting a low frequency section and calculating the stress level; displaying a graph in which points are plotted at coordinates corresponding to the brain fatigue level, the mood level, and the stress level in a three-dimensional space consisting of the X-axis, Y-axis, and Z-axis;
  • the audio data is obtained by recording at least part of a video call with the subject via the terminal device
  • the data on the facial expression image is obtained by recording at least part of a video call with the subject via the terminal device,
  • the data on the pulse wave is
  • the information processing system includes: the information processing device; a terminal device that can access the information processing device via a network; The terminal device transmits at least the data on the voice, the data on the facial expression image, and the data on the pulse wave to the information processing device, The information processing device receives the data on the voice, the data on the facial expression image, and the data on the pulse wave, and calculates the brain fatigue level, the mood level, and the stress level calculated based on the received data.
  • a graph is sent to the terminal device, and points are plotted at the coordinates corresponding to the brain fatigue level, the mood level, and the stress level in a three-dimensional space consisting of the X-axis, Y-axis, and Z-axis. It is characterized by displaying.
  • An embodiment of the information processing program according to the present invention is characterized in that the program is executed by a computer to cause the computer to function as each part of the information processing apparatus.
  • Another embodiment of the information processing program according to the present invention is characterized in that the program is executed by a computer to cause the computer to execute each step of the information processing method.
  • the information processing system and the like according to the present invention can be used not only for quantitative data such as pulse waves and heartbeats obtained from a pulse wave measuring device, but also for the results of stress checks, the voice and face of a subject in counseling using a video call.
  • data such as facial expression images, calculating the stress level, brain fatigue level, and mood level values from those data, and plotting them in a three-dimensional space consisting of the X axis, Y axis, and Z axis, the subject's
  • visualizing emotions and providing an information processing system that can support diagnosis and treatment it is possible to analyze the emotions of subjects with high accuracy, thereby realizing early detection of mental disorders. can contribute to solving social issues.
  • FIG. 1 is a block diagram showing an example hardware configuration of an information processing apparatus according to an embodiment of the present invention
  • FIG. 1 is a block diagram showing the configuration of an information processing device according to one embodiment of the present invention
  • FIG. 4 is a diagram showing an example of data stored in a user information database of the information processing apparatus shown in FIG. 3 in tabular form
  • FIG. It is a flowchart which shows the flow of the process which collects various data from a test subject's terminal device.
  • FIG. 4 is a diagram showing an example of a user interface for conducting a stress check using a questionnaire
  • FIG. 10 is a diagram showing an example of a user interface prompting user registration after a stress check;
  • FIG. 10 is a diagram showing an example of a screen displaying stress check results in the form of a radar chart;
  • FIG. 10 is a diagram showing an example of a screen displaying comments about stress check results.
  • FIG. 4 is a diagram showing how a pulse wave measuring device is used to measure a pulse wave and heart rate from a subject's fingertip.
  • FIG. 10 is a diagram showing an example of a screen display of a subject's terminal device when the subject's pulse wave and heart rate are measured by a pulse wave measuring instrument.
  • FIG. 10 is a diagram showing an example of a screen display for acquiring an image of a subject's facial expression from a video call between a counselor during counseling and the subject.
  • FIG. 10 is a diagram showing an example of a screen display for acquiring a subject's voice from a video call between a counselor during counseling and the subject.
  • FIG. 4 is a schematic diagram showing the configuration of an emotional expression engine section that calculates various indices representing brain fatigue, mood, and stress from various collected data.
  • FIG. 4 is a diagram for explaining weighting determined based on Russell's cyclic model of emotions;
  • FIG. 4 is a diagram showing an example of calculating mood levels from various emotional expressions obtained based on Russell's cyclic model of emotions;
  • FIG. 4 is a diagram showing an example of numerical conversion for plotting the obtained values of various indexes representing brain fatigue, mood and stress in a three-axis space.
  • FIG. 4 is a diagram showing an example of a graph display of a three-dimensional space consisting of X-, Y-, and Z-axes plotting changes in a subject's emotion obtained by an emotion expression engine in chronological order
  • FIG. 10 is a diagram showing an example of a graph display of a three-dimensional space composed of X, Y, and Z axes in which changes in emotions of another subject obtained by the emotion expression engine are plotted in chronological order
  • FIG. 4 is a diagram showing an example of classification categories by type defined in a three-dimensional space consisting of a tension axis (X-axis), a brain fatigue axis (Y-axis), and a mood axis (Z-axis).
  • FIG. 1 shows an example of the configuration of an information processing system according to one embodiment of the present invention.
  • An information processing system for visualizing the emotions of a subject illustratively includes an information processing device 10 and n (n is an arbitrary integer value equal to or greater than 1) terminal devices 20-n.
  • terminal devices 20-1, 20-2 to 20-n are shown as n terminal devices.
  • terminal devices 20 when describing without distinguishing these n terminal devices, some reference numerals will be omitted and they will simply be referred to as "terminal devices 20".
  • the information processing device 10 is, for example, a computer connectable to the network N such as a server.
  • the terminal device 20 is a terminal connectable to the network N, such as a personal computer, a notebook computer, a smart phone, a mobile phone, or the like.
  • the network N may be, for example, an open network such as the Internet, an intranet connected by a dedicated line, or a closed network.
  • the network N is not limited to this, and a closed network and an open network can be used in combination, as appropriate, according to the required security level and the like.
  • the information processing device 10 and the terminal device 20 are connected to the network N and can communicate with each other.
  • the subject (user) can use the terminal device 20 to access the information processing device 10 and transmit the responses to the stress check questionnaire (interview sheet) to the information processing device 10 .
  • the stress check questionnaire is, for example, a stress check questionnaire in the Ministry of Health, Labor and Welfare stress check implementation program (Non-Patent Document 1).
  • the subject can also make a video call (video chat) with the counselor via the terminal device 20 in order to receive counseling from the counselor.
  • the terminal device 20 can transmit data on the subject's pulse wave measured using a pulse wave measuring device to the information processing device 10 .
  • a device that measures a pulse wave from a subject's fingertip can be used as the pulse wave measuring device (Non-Patent Document 2).
  • the information processing device 10 can acquire at least data on the subject's voice, facial expression image, and pulse wave from the terminal device 20, and based on these data, the degree of brain fatigue, mood, stress, and It is possible to calculate an index that expresses the subject's emotion (mental state), such as degree.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of an information processing device according to one embodiment of the present invention.
  • the reference numerals corresponding to the hardware of the information processing apparatus 10 are described without parentheses.
  • the hardware configuration of the terminal device 20 is similar to that of the information processing device 10, the reference numerals corresponding to the hardware of the terminal device 20 are described with parentheses.
  • the information processing device 10 is, for example, a server (computer), and illustratively includes a CPU (Central Processing Unit) 11, a memory 12 including a ROM (Read Only Memory), a RAM (Random Access Memory), etc., and a bus 13. , an input/output interface 14 , an input unit 15 , an output unit 16 , a storage unit 17 , and a communication unit 18 .
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 11 executes various processes according to programs recorded in the memory 12 or programs loaded from the storage unit 17 to the memory 12 .
  • the CPU 11 can execute, for example, a program for causing a server (computer) to function as an information processing device capable of visualizing the subject's emotions and supporting diagnosis and treatment. It is also possible to implement at least part of the functions of the information processing apparatus in the form of hardware such as an application specific integrated circuit (ASIC).
  • ASIC application specific integrated circuit
  • the memory 12 also stores data necessary for the CPU 11 to execute various processes as appropriate.
  • the CPU 11 and memory 12 are interconnected via a bus 13 .
  • An input/output interface 14 is also connected to the bus 13 .
  • An input unit 15 , an output unit 16 , a storage unit 17 and a communication unit 18 are connected to the input/output interface 14 .
  • the input unit 15 can be realized by an input device such as a keyboard and a mouse that is independent of the main body that accommodates the other parts of the information processing device 10. Various information can be input according to the operation. Note that the input unit 15 may be configured with various buttons, a touch panel, a microphone, or the like.
  • the output unit 16 is composed of a display, a speaker, etc., and outputs data related to text, still images, moving images, audio, and the like.
  • the text data, still image data, moving image data, audio data, etc. output by the output unit 16 are output from a display, a speaker, or the like as characters, images, moving images, or audio so that the user can recognize them.
  • the storage unit 17 is composed of a storage device such as a semiconductor memory such as a DRAM (Dynamic Random Access Memory), a solid state drive (SSD), a hard disk, or the like, and can store various data.
  • a storage device such as a semiconductor memory such as a DRAM (Dynamic Random Access Memory), a solid state drive (SSD), a hard disk, or the like, and can store various data.
  • DRAM Dynamic Random Access Memory
  • SSD solid state drive
  • hard disk or the like
  • the communication unit 18 implements communication with other devices.
  • the communication unit 18 can communicate with other devices (for example, the terminal devices 20-1, 20-2 to 20-n) via the network N with each other.
  • the information processing apparatus 10 is appropriately provided with a drive as necessary.
  • Removable media such as magnetic disks, optical disks, magneto-optical disks, or semiconductor memories are installed in the drives as appropriate.
  • the removable media has a function to visualize the subject's emotions, etc. by calculating the stress level, brain fatigue level, and mood level of the subject and plotting them in a three-dimensional space consisting of the X-axis, Y-axis, and Z-axis.
  • Programs for implementation and various data such as text data and image data are stored.
  • Programs and various data read from the removable medium by the drive are installed in the storage unit 17 as required.
  • the terminal device 20 illustratively includes a CPU 21, a memory 22, a bus 23, an input/output interface 24, an input unit 25, an output unit 26, a storage unit 27, a communication unit 28 and.
  • a CPU 21 central processing unit
  • a memory 22 a main memory
  • a bus 23 an input/output interface 24
  • an input unit 25 an output unit 26
  • a storage unit 27 a communication unit 28
  • Each of these units has the same function as each unit with the same name that is provided in the above-described information processing apparatus 10 and is different only in reference numerals. Therefore, redundant description is omitted.
  • each hardware included in the terminal device 20 a display, and a speaker may be realized as an integrated device.
  • FIG. 3 is a block diagram showing the configuration of an information processing apparatus according to one embodiment of the present invention.
  • a server (computer) acquires at least the subject's voice, facial expression image, and pulse wave data from the terminal device 20, calculates the degree of brain fatigue based on the frequency of the voice, facial expression extracting the emotion of the subject from the image and calculating the mood level, performing frequency analysis on the pulse wave by fast Fourier transform, extracting the high frequency section and the low frequency section and calculating the stress level, X axis, In a three-dimensional space consisting of the Y axis and the Z axis, when a program for performing processing such as displaying a graph plotting points at coordinates corresponding to brain fatigue level, mood level, and stress level is executed,
  • the server exemplarily functions as the information processing apparatus 10, and includes at least an emotion expression engine unit 111, a three-axis processing unit 112, and
  • the storage unit 17 can be used to make the storage unit 17 function as the user information database 171 .
  • the user information database 171 can be configured by an external storage device separate from the information processing apparatus 10, and cloud storage, for example, can be used as the external storage device. In these embodiments, the user information database 171 is used as one storage device, but it may be divided into two or more storage devices.
  • the emotional expression engine unit 111 uses brain fatigue, mood, and stress as indicators of the subject's emotion. can be calculated. For example, the emotional expression engine unit 111 calculates the degree of brain fatigue based on the frequency of the voice, extracts the emotion of the subject from the facial expression image, calculates the mood, and converts the pulse wave to the frequency by fast Fourier transform. It is possible to analyze and extract the high frequency section and the low frequency section to calculate the stress level.
  • the 3-axis processing unit 112 generates a graph in which points are plotted at coordinates corresponding to the brain fatigue level, the mood level, and the stress level calculated by the emotional expression engine unit 111, and displays the graph on the information processing device 10 or the terminal device 20. be able to.
  • the 3-axis processing unit 112 for each date and time when data related to the subject's voice, facial expression image, and pulse wave is acquired, in a 3-dimensional space consisting of the X axis, the Y axis, and the Z axis. It is possible to generate a graph in which points are plotted in chronological order at coordinates corresponding to the degree of stress, the degree of mood, and the degree of stress, and display the graph on the information processing device 10 or the terminal device 20 .
  • the data management unit 113 acquires at least data related to the subject's voice, facial expression image, and pulse wave from the terminal device 20, and stores the data in the storage means (for example, the user information database 171) of the information processing device 10. be able to.
  • the data management unit 113 can store data related to the subject's voice, facial expression image, and pulse wave in the storage means (user information database 171) of the information processing apparatus in association with the date and time when the data was acquired. can.
  • FIG. 4 shows an example of data stored in the user information database of the information processing device shown in FIG. 3 in tabular form.
  • the table R1 associates and stores a user ID, which is information for identifying a subject (user), sex such as male, female, or others, and age.
  • the user information database 171 can store tables R2 and R3, for example, in association with user information in table R1.
  • table R2 records voice data, facial expression image data, pulse wave data, interview data including responses of the subject to the stress check, behavior of the subject, etc. received from the terminal device 20 in association with date and time.
  • the date and time included in the table R2 are the date and time when data related to the subject's voice, facial expression image, and pulse wave were received from the terminal device 20, the date and time when the subject accessed the information processing device 10 using the terminal device 20, and the like. is.
  • the subject's stress level, brain fatigue level, and mood level calculated by the emotion expression engine unit 111 are plotted on the X axis, Y axis, and It is stored as the Z-axis value.
  • Standardization of the date and time can be realized, for example, by converting the date and time into UNIX (registered trademark) time.
  • FIG. 5 is a flow chart showing the flow of processing for collecting various data from the subject's terminal device.
  • the processing is executed by the terminal device 20, for example.
  • the terminal device 20 collects interview data including responses to the stress check questionnaire of the subject, and transmits the data to the information processing device 10 (step S1). Further, in step S ⁇ b>1 , life log data recording the subject's life, activities, actions, etc. can be collected together with the interview data and transmitted to the information processing apparatus 10 .
  • the terminal device 20 displays the interview results on the screen (step S2). 6 to 9 show screen displays of the terminal device 20 when the processes from step 1 to step 2 are executed.
  • Fig. 6 shows an example of a user interface for conducting a stress check using a questionnaire. It is an example of a stress check questionnaire displayed on the screen of the terminal device 20 . Below the message “A. I would like to ask you about your job. Please select the most appropriate answer.”, the question “1. I have to do a lot of work” is displayed. The subject can select one of the options of "yes”, “somewhat”, “somewhat disagree", and "no” by performing a selection operation such as clicking or tapping. The same is true for other questions. The number of questions can be, for example, 57 items of the stress check questionnaire of the Ministry of Health, Labor and Welfare (Non-Patent Document 1).
  • FIG. 7 shows an example of a user interface prompting user registration after the stress check. Following the message "The test is complete below. Let's register as a user and check the results.” Subject information is registered by pressing the registration button.
  • FIG. 8 shows an example of a screen displaying the results of the stress check as a radar chart.
  • the radar chart shows that the closer to the center, the higher the subject's stress.
  • FIG. 9 shows an example of a screen displaying comments about the stress check results.
  • the terminal device 20 displays, on the upper half of the screen, a comment from the counselor (expert) according to the interview result of the subject, such as "You seem to be in a slightly high-stress state now.” be able to.
  • the terminal device 20 displays a message in the lower half of the screen that reads, "Currently, the number of registrants for Step 2, which allows chat consultation with experts and stress measurement using a measuring instrument, has reached its upper limit. Please use Step 2. If you are interested, please register from the registration page below.” will be displayed, and by performing a selection operation such as clicking or tapping "To user registration" at the bottom of the screen, more detailed personal information of the subject will be displayed. can encourage the registration of The subject's personal information transmitted from the terminal device 20 to the information processing device 10 is stored in, for example, a user information database by the data management unit 113 .
  • FIG. 10 shows how a pulse wave measuring device is used to measure a pulse wave and a heartbeat from a subject's fingertip.
  • the pulse wave measuring device 30 includes a body portion 32 , a waveform display portion 34 provided on the body portion 32 , and a measurement portion 36 .
  • the subject By pressing the fingertip against the measurement unit 36 of the pulse wave measuring device 30, the subject can measure the pulse wave and heart rate of the subject.
  • a waveform based on the pulse wave and heart rate is displayed on the .
  • the measurement time by the pulse wave measuring device 30 can be set to 180 seconds (3 minutes) per time, for example.
  • the terminal device 20 can be communicatively connected to the pulse wave measuring device 30 and can receive the subject's pulse wave data from the pulse wave measuring device 30 .
  • FIG. 11 shows an example of the screen display of the subject's terminal device when the subject's pulse wave and heart rate are measured by the pulse wave measuring device.
  • the terminal device 20, for example can display a waveform based on the subject's pulse wave data on the screen, and also displays a pulse interval (Peak-to-Peak Interval: PPI), low frequency section (Low Frequency: LF) / high frequency section (High Frequency: HF) of pulse wave data, etc. can also be displayed on the screen.
  • PPI Puleak-to-Peak Interval
  • LF Low Frequency
  • HF High Frequency
  • the terminal device 20 records at least a part of the video call (video chat) with the counselor or the expert to obtain data on the facial expression image of the subject. , to acquire data about voice (step S4).
  • the subject's pulse wave can be continuously measured by the pulse wave measuring device in step 3, and the terminal device 20 can collect pulse wave data even during the video call.
  • the terminal device 20 can collect environmental data including temperature, humidity, etc., and transmit it to the information processing device 10 (step 5).
  • the processing of steps 4 and 5 can be performed in the information processing device 10 instead of the terminal device 20 .
  • FIG. 12 shows an example of a screen display for acquiring an image of a subject's facial expression from a video call between a counselor during counseling and the subject.
  • the subject's facial expression is displayed on the upper side of the screen shown in FIG. 12, and the counselor is displayed on the lower side of the screen.
  • the terminal device 20 or the information processing device 10 records the video call during counseling until at least a predetermined recording time (for example, 15 minutes) is reached.
  • the data on the facial expression image of the subject is data obtained by continuously recording the moving image of the subject's facial expression for at least a predetermined recording time during the video call with the subject via the terminal device 20. be.
  • FIG. 13 shows an example of a screen display for acquiring the subject's voice from a video call between a counselor during counseling and the subject.
  • fixed phrases for the subject to read aloud for example, "Once upon a time, an old man and an old woman lived in a certain place. The old man went to the mountains."
  • the counselor is displayed at the bottom of the screen.
  • the terminal device 20 or the information processing device 10 records the read aloud speech of the fixed phrase until it reaches at least a predetermined recording time (for example, about 40 seconds).
  • the data about the voice is, during the video call with the subject via the terminal device 20, the voice read aloud by the subject of a predetermined fixed phrase displayed on the terminal device 20, which is continued for at least a predetermined recording time. This is recorded data.
  • FIG. 14 is a schematic diagram showing the configuration of an emotional expression engine section that calculates various indexes representing brain fatigue, mood, and stress from various collected data.
  • the emotional expression engine section 111 can be functionally divided into an emotional expression core section 111A and an overlapping unit section 111B.
  • the emotional expression core unit 111A can calculate the brain fatigue level, mood level, and stress level, which are quantitative indexes related to brain fatigue, mood, and stress.
  • the emotional expression core unit 111A can normalize the date and time, calculate the discomfort index, and the like.
  • the intussusception unit 111B multiplies the brain fatigue level, the mood level, and the stress level by weighting coefficients determined based on the discomfort index calculated from the temperature and humidity included in the environmental data, thereby obtaining the emotional expression core part.
  • the intussusception unit unit 111B acquires interview data including the score of the stress check result of the subject, and a weighting factor determined according to the score included in the interview data, By multiplying the brain fatigue level, the mood level, and the stress level, respectively, the values of the brain fatigue level, the mood level, and the stress level calculated by the emotional expression core unit 111A can be adjusted.
  • the emotional expression engine unit 111 calculates the degree of brain fatigue in the emotional expression core unit 111A from the subject's voice data obtained as input data.
  • the degree of brain fatigue is obtained by calculating the CEM (Cerebral Exponent Macro: CEM) value that represents the brain activity index, and the brain activity index measurement algorithm (SiCECA algorithm, non Patent document 3) can calculate a brain activity index (CEM value) from voice.
  • the emotional expression engine unit 111 can acquire one or more (for example, about 2 to 5) CEM values per subject from the voice data of the subject by executing the brain activity index measurement algorithm.
  • the degree of brain fatigue for example, corresponds to a value obtained by averaging one or more of these CEM values.
  • Fig. 17 shows an example of numerical conversion for plotting the obtained values of various indexes representing brain fatigue, mood and stress on a three-axis space.
  • four CEM values of 431.08, 360.73, 342.76, and 360.45 are acquired by the brain activity index measurement algorithm, and the brain fatigue level is 373.755, which is the average value of those CEM values.
  • the emotional expression engine unit 111 calculates the mood level in the emotional expression core unit 111A from the subject's facial expression image data acquired as input data.
  • the mood level is determined according to the number of counts of a plurality of emotional expressions recognized from moving images of facial expressions of the subject based on a facial expression recognition algorithm.
  • a facial expression recognition algorithm an open software "Face classification and detection" (Non-Patent Document 4) algorithm can be used.
  • the emotional expression engine unit 111 can recognize a plurality of emotional expressions from the moving image of the subject's facial expression included in the data related to the facial expression image.
  • a plurality of emotional expressions are, for example, happy, surprise, neutral, fear, angry, and disgust in Russel's emotional cyclic model (Non-Patent Document 5). (disgust) and pessimism (sad).
  • the emotional expression engine unit 111 executes a facial expression recognition algorithm (for example, open software "Face classification and detection") to recognize the subject's facial expression from the moving image included in the facial expression image data. Count each of the multiple emotional expressions given.
  • the emotional expression engine unit 111 calculates a ratio for each of the plurality of emotional expressions, multiplies a predetermined weight for each of the plurality of emotional expressions by the ratio for each of the plurality of emotional expressions, Calculate the mood index of Predetermined weights for each of the plurality of emotional expressions can be determined based on Russell's cyclic model of emotions as shown in FIG. 15, and can be determined as shown in FIG.
  • FIG. 15 is a diagram for explaining weighting determined based on Russell's cyclic model of emotions.
  • FIG. 16 shows an example of calculating mood levels from various emotional expressions obtained based on Russell's cyclic model of emotions. Predetermined weights for each of the plurality of emotional expressions are weighted in the order of happy, surprise, neutral, fear, angry, disgust, and sad. can be adjusted. Referring to FIG. 16, for example, a weighting factor (weighting factor) for happy can be set to 100, surprise to 70, neutral to 50, and the like.
  • the ratio for each of the multiple emotional expressions shows the highest ratio of neutral at 69.91001, followed by the ratio of happy at 6.299213.
  • Multiplying the neutral fraction (F) of 69.91001 by a predetermined weighting factor (G) of 50 gives the mood index F ⁇ G value of 3495.501.
  • the mood index F ⁇ G value of 629.9213 is calculated.
  • the emotional expression engine unit 111 multiplies a predetermined weight for each of the plurality of emotional expressions by the ratio of each of the plurality of emotional expressions for each emotional expression to calculate the mood index for each emotional expression.
  • the emotional expression engine unit 111 can set the mood as a value obtained by dividing the largest maximum mood index among the mood indexes for each emotional expression by the total value of the mood indexes for each emotional expression.
  • a neutral mood index of 3495.501 is the maximum mood index.
  • the display since there is no value related to anaerobic (disgust), the display is omitted.
  • the emotional expression engine unit 111 calculates the stress level in the emotional expression core unit 111A from the data on the subject's pulse wave (heartbeat) obtained as input data.
  • the pulse wave data is data obtained by dividing the pulse wave measured by the pulse wave measuring device 30 into sections each having a predetermined time interval (for example, 180 seconds).
  • the emotion expression engine unit 111 divides the pulse wave in one section by a Hamming window for each section of the pulse wave. Calculate interval PPI and time.
  • the emotional expression engine unit 111 generates a time-PPI graph in which points are plotted at coordinates corresponding to the pulse interval PPI and time in a two-dimensional space of time on the horizontal axis and PPI on the vertical axis for each section of the pulse wave.
  • the emotion expression engine unit 111 performs interpolation such as linear interpolation and cubic spline interpolation between discrete values in the time-PPI graph, then applies the fast Fourier transform FFT, and calculates the power spectrum density PSD (Power Spectral Density (PSD) is integrated in the low frequency section and the high frequency section, respectively, to calculate the LF value corresponding to the low frequency component, and the HF value and LF/HF value corresponding to the high frequency component.
  • PSD Power Spectral Density
  • the emotional expression engine unit 111 can use the LF/HF value (sympathetic nervous system index) as the stress level.
  • the stress level can be based on at least one of the LF value, the HF value and the LF/HF value.
  • the maximum value of LF/HF can be set to 2
  • the maximum value of HF parasympathetic nervous system index
  • the average value is taken. In the example of FIG. 17, LF/HF values of 1.22 and 1.44 are calculated, and their average is 1.33.
  • the maximum value (MAX) of stress is reversed so that it becomes the minimum (MIN), and (MAX2-standard value) is converted into one axis.
  • the stress degree axis tension axis
  • the mood axis miood axis
  • the brain fatigue level axis brain fatigue axis
  • the HF value is also used as the degree of stress, it is converted to one axis so that the stress MAX is the minimum and the relaxation MAX is the maximum through neutral.
  • the low frequency section can be from 0.04 Hz or more to less than 0.15 Hz, and the high frequency section can be from 0.15 Hz or more to less than 0.4 Hz.
  • the emotional expression engine unit 111 can acquire time (date and time), environmental data, etc. as input data in addition to data relating to the subject's voice, facial expression image, and pulse (heartbeat). can.
  • the time (date and time) is converted into the time standardized by the emotional expression core unit 111A (for example, UNIX time). Accordingly, the degree of brain fatigue, the degree of mood, and the degree of stress can be multiplied by predetermined weighting factors in the intussusception unit section 111B.
  • FIG. 18 shows an example of a graph display of a three-dimensional space consisting of the X-axis, Y-axis, and Z-axis plotting changes in a subject's emotion obtained by the emotion expression engine in chronological order.
  • FIG. 19 shows an example of a graph display of a three-dimensional space consisting of X, Y, and Z axes in which changes in emotions of another subject obtained by the emotion expression engine are plotted in chronological order.
  • the 3-axis processing unit 112 can generate and display a graph in which points are plotted at coordinates corresponding to the brain fatigue level, mood level, and stress level in a 3-dimensional space consisting of the X-axis, Y-axis, and Z-axis. .
  • the 3-axis processing unit 112 can also display a graph in which points are plotted chronologically at coordinates corresponding to the subject's brain fatigue level, mood level, and stress level for each date and time in a 3-dimensional space. This makes it possible to visualize changes in the subject's emotions, thereby realizing highly accurate analysis of the subject's emotions.
  • Such graph display of a three-dimensional space can be analyzed multidimensionally by integrating the three axes of brain fatigue, mood, and stress, and the time axis. easily displayed.
  • diagnostic results are indicated by radar charts, etc., but correlations between factors are not often indicated.
  • the correlation of the results can be displayed in an easy-to-understand manner as shown in FIGS. 18 and 19.
  • FIG. The axis of the graph display of the three-dimensional space can be appropriately replaced according to the information that the user wants to know.
  • stress is measured chronologically, classified into categories (clusters) by type according to patterns (trends), and future state prediction becomes possible.
  • FIG. 20 shows an example of type classification categories defined in a three-dimensional space consisting of a tension axis (X axis), a brain fatigue axis (Y axis), and a mood axis (Z axis).
  • the lower left corner is the starting point, and the closer to the starting point, the higher the stress (X-axis), the higher the degree of brain fatigue (Y-axis), and the lower the mood (Z-axis).
  • FIGS. 18 and 19 FIG. In the example of the subject shown in FIG. 18, it can be confirmed that the mood is moving from the starting point, but in the example of another subject shown in FIG. It can be confirmed that the state of high brain fatigue (Y-axis) and depressed mood (Z-axis) continues, and if there is a risk of mental illness, it is possible to consider measures in advance.
  • the type classification categories defined in the three-dimensional space shown in FIG. 20 can be defined, for example, as shown in the table below.
  • the three-dimensional space is divided into a plurality of classification categories by type, and the 3-axis processing unit 112 selects the subject's degree of brain fatigue, mood , the category to which the coordinate point corresponding to the stress level belongs can be notified to the subject's terminal device 20 or the information processing device 10 or the like.
  • an improvement plan to be proposed to the subject is determined for each of a plurality of types-specific categories, and the emotion expression engine unit 111 determines the point of coordinates corresponding to the subject's brain fatigue level, mood level, and stress level in the three-dimensional space.
  • the improvement proposal for the category can be notified to the terminal device 20 of the subject, the information processing device 10, or the like.
  • the emotional expression engine unit 111 can notify jogging, stretching, trekking, mindfulness, and yoga marked with a circle as improvement measures.
  • the emotional expression engine unit 111 notifies stretching, yoga, and cognitive behavioral therapy marked with a circle as improvement measures.
  • Appropriate improvement measures can be proposed according to the category by type.
  • the information processing system and the like according to the present invention can be used not only for quantitative data such as pulse waves and heartbeats obtained from pulse wave measuring devices, but also for stress check results and counseling using video calls.
  • Data such as the subject's voice and facial expression images are acquired, the stress level, brain fatigue level, and mood level are calculated from these data, and plotted in a three-dimensional space consisting of the X, Y, and Z axes.
  • the information processing system, etc. can be used for a wide range of purposes, such as stress checks at companies, individuals, schools, etc., strengthening sports mentality, improving concentration during study, and mental measurement for entrance exams.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Developmental Disabilities (AREA)
  • Animal Behavior & Ethology (AREA)
  • Social Psychology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Psychology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

従来の疲労・ストレス検診システムでは、被験者の心電・脈波のデータから自律神経の状態を測定し、疲労の度合い、ストレス傾向を数値化しているが、数値化したデータは、医者や産業医、保健師などの問診や面談によって行われている被験者自身の音声や顔の表情に基づく主観的な判断結果を反映したものではないため、被験者の感情（精神状態）を十分に反映したものではなかった。　本発明では、脈波計測器から取得される脈波・心拍等の定量的なデータだけでなく、ストレスチェックの結果や、ビデオ通話を用いたカウンセリングにおいて被験者の音声や顔の表情画像等のデータを取得し、それらのデータからストレス度、脳疲労度及び気分度の値を算出し、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間にプロットすることで、被験者の感情等を可視化して、被験者の感情の分析を高い精度で実現可能な情報処理システム等を提供する。

Description

情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
　本発明は、被験者の問診票、音声、顔の表情、脈波・心拍などの各種データを分析して、可視化することで、精神疾患の早期発見を実現して社会課題解決に貢献するための情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム（以下、「情報処理システム等」という）に関する。
　具体的には、被験者（利用者）が、インターネット等のネットワーク上の問診検査サイトを利用して、ストレスに関する質問票（ストレスチェック）に回答し、その後、カウンセラーとのビデオチャットや脈波計測器を用いることで、被験者の問診データ、顔の表情画像データ、音声データ、及び脈波・心拍データ等を取得し、取得した各種データに基づいてストレス度、脳の疲労度及び気分度の値を算出し、それら算出した値をＸ軸、Ｙ軸、Ｚ軸からなる３次元空間にプロットすることで、被験者の感情（精神状態）等を可視化して、診断や治療を支援するための情報処理システム等に関する。
　近年、情報技術（ＩＴ）の普及によって、コミュニケーションの簡便化、利便性が急速に進化した一方で、コミュニケーションの欠如、仕事のストレスや疲労等から、精神疾患者が増加傾向にある。そのため、人（被験者）のストレス状態や疲労状態に関連するデータを定量的に測定して客観的に評価することで、被験者自身が疲労・ストレスを容易に把握できる診断システムが提案されている。
　例えば、特許文献１に記載の疲労・ストレス検診システムは、心電・脈波計測器で計測した心電・脈波データをクラウド側の解析サーバを利用して解析し、自律神経のバランスや強さからストレスの状態を数値で把握することができ、また当該解析データをクライアント端末側に送信し、当該クライアント端末側にて視覚的に表示することができる。
　また、特許文献２に記載の健康値推定システムは、スマートフォン等の携帯端末に備えられた各種センサから取得した位置情報や移動情報、電源のオン／オフ、アプリ起動ログ、電話利用回数などの行動履歴から、ストレス時に現れる特徴的な行動（行動特徴）を複数のクラスタに分類して数値化し、あらかじめ計測した心拍データに基づいたストレス状態との関係性を機械学習によって学習し、推定モデルを構築するものである。そして、スマートフォン等の携帯端末を利用して新たに取得した行動特徴の数値を、構築した推定モデルと照らし合わせることで、被験者自身の健康状態を示す健康値を推定することができる。
特開２０１５－０５４００２号公報 特開２０１８－１８１００４号公報
ストレスチェック制度 導入マニュアル - 厚生労働省　（URL　https://www.mhlw.go.jp/bunya/roudoukijun/anzeneisei12/pdf/150709-1.pdf）(２０２１年　２月１５日検索) コロナのストレス、指先でチェック　山形大が共同開発，2020年7月18日，朝日新聞デジタル（URL　https://www.asahi.com/articles/ASN7K6V99N78UZHB00M.html）（２０２１年　２月１５日検索） 青木 由希　（他３名），音声から疲労程度を推定するスマートフォン用アプリケーションの開発，Ｅ－０３７　ＦＩＴ２０１３（URL　https://www.ieice.org/publications/conference-FIT-DVDs/FIT2013/data/pdf/E-037.pdf）(２０２１年　２月１５日検索) Face classification and detection（URL　https://github.com/oarriaga/face_classification）（２０２１年　２月１５日検索） Russell, J.A. （他１名），Core affect, prototypical emotional episodes, and other things called emotion: Dissecting the elephant, Journal of Personality and Social Psychology, 76(5), 805-819 秋山　早弥香　（他１名），ＱＯＬ可視化システムのための脈拍センサを用いたストレス状態推定手法，情報処理学会第77回全国大会，2U-07, 2015（URL　https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=164634&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8）（２０２１年　２月１５日検索）
　特許文献１に記載の疲労・ストレス検診システムは、被験者の心電と脈波を同時に計測し、当該心電・脈波のデータから被験者の自律神経の状態を測定し、疲労の度合い、ストレス傾向を数値化して見えるように疲労・解析結果データとして一元管理を行っている。しかしながら、当該疲労・解析結果データは、医者や産業医、保健師などの問診や面談によって行われている被験者自身の音声や顔の表情に基づく主観的な判断結果を反映したものではないため、被験者の感情の分析を高い精度で実現することができない可能性がある。
　また、特許文献２に記載の健康値推定システムは、教師あり機械学習においてより適切な教師データとなり得る正確に定量化されたデータを用いて推定モデルを構築し、被験者自身の健康値を推定することができる。しかしながら、当該健康値推定システムは、被験者自身が憂鬱さに気づいていない場合、憂鬱気分を正確に定量化できないため、医者や産業医、保健師などの問診や面談によって行われている、被験者自身の音声や顔の表情に基づく主観的な判断結果を教師データとして利用することができない。結果として、被験者の感情（精神状態）を十分に反映した推定モデルを構築できないため、特許文献２に記載の健康値推定システムも被験者の感情の分析を高い精度で実現することができない可能性がある。
　そこで、本発明では、上述した従来のシステムと比較して、被験者の感情の分析をより高い精度で実現するために、計測器によって計測された被検者の定量的なデータ（脈波・心拍等）だけでなく、例えば、ストレスチェックの質問票（職業性ストレス簡易調査票、非特許文献１）に基づいたストレスチェック結果のデータや、ビデオチャット（ビデオ通話）等のコミュニケーションツールを用いたカウンセリングにおいて被験者の音声や顔の表情画像等のデータを取得し、それらのデータからストレス度、脳の疲労度及び気分度の値を算出し、それら算出した値をＸ軸、Ｙ軸、Ｚ軸からなる３次元空間にプロットすることで、被験者の感情（精神状態）等を可視化して、診断や治療を支援可能な情報処理システム等を提供する。
　本発明に係る情報処理装置の１つの実施形態として、被験者の端末装置と接続され、前記被験者の感情を可視化するための情報処理装置は、少なくとも前記被検者の音声、顔の表情画像、脈波に関するデータを取得するデータ管理部と、
　前記音声の周波数に基づいて脳疲労度を算出し、前記顔の表情画像から被検者の感情を抽出して気分度を算出し、前記脈派を高速フーリエ変換により周波数解析を行い、高周波区間と低周波区間を抽出してストレス度を算出する感情表現エンジン部と、
　Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間において、前記脳疲労度、前記気分度、前記ストレス度に対応する座標に点をプロットしたグラフを表示する３軸処理部と
を含み、
　前記音声に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の少なくとも一部を録音して取得され、
　前記顔の表情画像に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の少なくとも一部を録画して取得され、
　前記脈波に関するデータは、前記被験者の脈波を測定する脈波計測器から前記端末装置を介して取得されることを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記データ管理部は、前記被験者の前記音声、顔の表情画像、脈波に関するデータとともに、当該データを取得した日時を関連付けて前記情報処理装置の記憶手段に記憶し、
　前記３軸処理部は、前記３次元空間において、前記日時毎に、前記被験者の前記脳疲労度、前記気分度、前記ストレス度に対応する座標に点を時系列に従ってプロットしたグラフを表示することを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記３次元空間は、複数のタイプ別分類カテゴリーに区分けされ、
　前記３軸処理部は、前記３次元空間における前記複数のタイプ別分類カテゴリーのうち、前記被験者の前記脳疲労度、前記気分度、前記ストレス度に対応する座標の点が属するカテゴリーを通知することを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記複数のタイプ別カテゴリー毎に、前記被験者に提案する改善案が定められ、
　前記感情表現エンジン部は、前記３次元空間における前記被験者の前記脳疲労度、前記気分度、前記ストレス度に対応する座標の点が属するカテゴリーに対する前記改善案を通知することを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記音声に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の際に、前記端末装置に表示された所定の定型文を前記被験者が読み上げた音声を、少なくとも所定の録音時間まで継続して録音したデータであることを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記感情表現エンジン部は、脳活性度指数を表すＣＥＭ値を測定する脳活性度指数測定アルゴリズムを実行することで、前記音声に関するデータから前記被験者あたり１以上の前記ＣＥＭ値を取得し、
　前記脳疲労度は、１以上の前記ＣＥＭ値の平均値であることを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記脈波に関するデータは、所定の時間間隔を１区画として、前記脈波計測器で測定された脈波を前記１区画毎に区切られたデータであることを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記感情表現エンジン部は、前記脈波の前記１区間毎に、前記１区画内の前記脈波をハミング窓で区切り、前記ハミング窓内の前記脈波について、一拍の脈波のピークから次のピーク間隔である脈拍間隔ＰＰＩと時刻を算出し、
　前記感情表現エンジン部は、前記脈波の前記１区間毎に、横軸時刻及び縦軸ＰＰＩの２次元空間において、前記脈拍間隔ＰＰＩと前記時刻に対応する座標に点をプロットした時間―ＰＰＩグラフを生成し、
　前記感情表現エンジン部は、前記時間―ＰＰＩグラフにおける離散値の間を補完して高速フーリエ変換ＦＦＴを適用し、前記ＦＦＴの結果のパワースペクトル密度ＰＳＤを、前記低周波区間及び高周波区間内でそれぞれ積算することで、前記低周波成分に相当するＬＦ値、前記高周波成分に相当するＨＦ値及びＬＦ／ＨＦ値を算出し、
　前記ストレス度は、前記ＬＦ値、前記ＨＦ値及び前記ＬＦ／ＨＦ値のうち少なくとも１つの値に基づくものであることを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記低周波区間は、０．０４Ｈｚ以上から０．１５Ｈｚ未満までであり、
　前記高周波区間は、０．１５Ｈｚ以上から０．４Ｈｚ未満までであることを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記顔の表情画像に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の際に、前記被験者の顔の表情の動画像を、少なくとも所定の録画時間まで継続して録画したデータであることを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記感情表現エンジン部は、顔の表情認識アルゴリズムを実行することで、前記顔の表情画像に関するデータに含まれる前記被験者の顔の表情の動画像から認識された複数の感情表現をそれぞれカウントし、
　前記感情表現エンジン部は、前記複数の感情表現毎の割合を算出して、前記複数の感情表現の各々に対する所定の重みを、感情表現毎に前記複数の感情表現毎の割合に乗じて、感情表現毎の気分指数を算出し、
　前記気分度は、前記感情表現毎の気分指数のうち最も大きい最大気分指数を前記感情表現毎の気分指数の合計値で割った値に基づくものであることを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記複数の感情表現は、ラッセル(Russel)の感情円環モデルにおける幸せ(happy)、驚き(surprise)、中立(neutral)、恐怖(fear)、怒り(angry)、嫌気（disgust）、悲嘆(sad)であることを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記データ管理部は、前記被検者の音声、顔の表情画像、脈波に関するデータの他に、少なくとも気温、湿度を含む環境データを取得し、
　前記感情表現エンジンは、前記環境データに含まれる気温、湿度から算出した不快指数に基づいて定められた重み係数を、前記脳疲労度、前記気分度、及び前記ストレス度にそれぞれ乗じることで、前記脳疲労度、前記気分度、及び前記ストレス度の各値を調整することを特徴とする。
　本発明に係る情報処理装置の好ましい実施形態として、前記データ管理部は、前記被検者の音声、顔の表情画像、脈波に関するデータの他に、前記被験者のストレスチェック結果のスコアを含む問診データを取得し、
　前記感情表現エンジンは、前記問診データに含まれるスコアに応じて定められた重み係数を、前記脳疲労度、前記気分度、及び前記ストレス度にそれぞれ乗じることで、前記脳疲労度、前記気分度、及び前記ストレス度の各値を調整することを特徴とする。
　本発明に係る情報処理方法の１つの実施形態として、前記情報処理方法は、被験者の端末装置とネットワークを介して接続可能なサーバにおいて実行され、
　前記端末装置から少なくとも前記被検者の音声、顔の表情画像、脈波に関するデータを取得する段階と、
　前記音声の周波数に基づいて脳疲労度を算出し、前記顔の表情画像から被検者の感情を抽出して気分度を算出し、前記脈派を高速フーリエ変換により周波数解析を行い、高周波区間と低周波区間を抽出してストレス度を算出する段階と、
　前記Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間において、前記脳疲労度、前記気分度、前記ストレス度に対応する座標に点をプロットしたグラフを表示する段階と
を含み、
　前記音声に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の少なくとも一部を録音して取得され、
　前記顔の表情画像に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の少なくとも一部を録画して取得され、
　前記脈波に関するデータは、前記被験者の脈波を測定する脈波計測器から前記端末装置を介して取得されることを特徴とする。
　本発明に係る情報処理システムの１つの実施形態として、前記情報処理システムは、
　前記情報処理装置と、
　前記情報処理装置にネットワークを介してアクセス可能な端末装置と
を含み、
　前記端末装置は、少なくとも前記音声に関するデータ、前記顔の表情画像にデータ、前記脈波に関するデータを前記情報処理装置に送信し、
　前記情報処理装置は、前記音声に関するデータ、前記顔の表情画像にデータ、前記脈波に関するデータを受け取り、受け取った各データに基づいて算出された前記脳疲労度、前記気分度、前記ストレス度を前記端末装置に送信して、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間において、前記脳疲労度、前記気分度、前記ストレス度に対応する座標に点をプロットしたグラフを前記端末装置に表示することを特徴とする。
　本発明に係る情報処理プログラムの１つの実施形態として、前記プログラムがコンピュータによって実行されることで、前記コンピュータを前記情報処理装置の各部として機能させることを特徴とする。
　本発明に係る情報処理プログラムの別の実施形態として、前記プログラムがコンピュータによって実行されることで、前記コンピュータに前記情報処理方法の各段階を実行させることを特徴とする。
　本発明に係る情報処理システム等は、脈波計測器から取得される脈波・心拍等の定量的なデータだけでなく、ストレスチェックの結果や、ビデオ通話を用いたカウンセリングにおいて被験者の音声や顔の表情画像等のデータを取得し、それらのデータからストレス度、脳疲労度及び気分度の値を算出し、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間にプロットすることで、被験者の感情等を可視化して、診断や治療を支援可能な情報処理システム等を提供することで、被験者の感情の分析を高い精度で実現することができ、それにより、精神疾患の早期発見を実現して社会課題解決に貢献することができる。
本発明の一実施形態に係る情報処理システムの構成の一例を示す図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 本発明の一実施形態に係る情報処理装置の構成を示すブロック図である。 図３に示す情報処理装置の利用者情報データベースに格納されるデータの一例を表形式で示す図である。 被験者の端末装置から各種データを収集する処理の流れを示すフローチャートである。 質問票を用いてストレスチェックを行うためのユーザインタフェースの一例を示す図である。 ストレスチェック後にユーザー登録を促すユーザインタフェースの一例を示す図である。 ストレスチェックの結果をレーダーチャートで表示した画面の一例を示す図である。 ストレスチェックの結果についてのコメントを表示した画面の一例を示す図である。 脈波計測器を利用して被験者の指先から脈波・心拍を測定する様子を示す図である。 被験者の脈波・心拍を脈波計測器で測定する際の被験者の端末装置の画面表示の一例を示す図である。 カウンセリング中のカウンセラーと被験者とのビデオ通話から被験者の顔の表情の画像を取得するための画面表示の一例を示す図である。 カウンセリング中のカウンセラーと被験者とのビデオ通話から被験者の音声を取得するための画面表示の一例を示す図である。 収集した各種データから脳の疲労、気分及びストレスを表す各種指標を算出する感情表現エンジン部の構成を示す概略図である。 ラッセルの感情円環モデルに基づいて定められる重み付けを説明するための図である。 ラッセルの感情円環モデルに基づいて得られた各種感情表現から気分度を算出した一例を示す図である。 脳の疲労、気分及びストレスを表す各種指標の得られた値を３軸の空間にプロットするための数値換算の一例を示す図である。 感情表現エンジンにより得られたある被検者の感情の変化を時系列的にプロットしたＸ軸、Ｙ軸、Ｚ軸からなる３次元空間のグラフ表示の一例を示す図である。 感情表現エンジンにより得られた別の被検者の感情の変化を時系列的にプロットしたＸ軸、Ｙ軸、Ｚ軸からなる３次元空間のグラフ表示の一例を示す図である。 緊張軸（Ｘ軸）、脳疲労軸（Ｙ軸）、気分軸（Ｚ軸）からなる３次元空間中に定められたタイプ別分類カテゴリーの一例を示す図である。
　以下、本発明に係る実施形態について添付図面を参照しながら説明する。以下の実施形態は、本発明を説明するための例示であり、本発明をその実施形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。さらに、各図面において同一の構成要素に対しては可能な限り同一の符号を付し、重複する説明は省略する。
　図１は、本発明の一実施形態に係る情報処理システムの構成の一例を示す。被験者の感情を可視化するための情報処理システムは、例示的に、情報処理装置１０と、ｎ台（ｎは、１以上の任意の整数値）の端末装置２０－ｎとを含む。なお、図中には、ｎ台の端末装置として、端末装置２０－１，２０－２から端末装置２０－ｎを図示している。ただし、以下の説明において、これらｎ台の端末装置を区別することなく説明する場合には、符号を一部省略して、単に「端末装置２０」と呼ぶ。
　情報処理装置１０は、例えば、サーバ等のネットワークＮに接続可能なコンピュータである。また、端末装置２０は、例えば、パーソナルコンピュータ、ノートパソコン、スマートフォン、携帯電話等、ネットワークＮに接続可能な端末である。
　ネットワークＮは、例えば、インターネット等のオープンなネットワークであっても良いし、専用回線で接続されたイントラネットであり、クローズドネットワークであっても良い。ネットワークＮは、これに限定されるものではなく、要求されるセキュリティのレベル等に応じて、適宜、クローズドネットワークとオープンネットワークを組み合わせて利用することもできる。
　情報処理装置１０及び端末装置２０はネットワークＮに接続され、相互に通信可能である。被験者（利用者）は、端末装置２０を用いて、情報処理装置１０にアクセスして、ストレスチェックの質問票（問診票）の回答を情報処理装置１０に送信することができる。ストレスチェックの質問票は、例えば、厚生労働省版ストレスチェック実施プログラムにおけるストレスチェックの質問票である（非特許文献１）。
　また、被験者は、カウンセラーによるカウンセリングを受けるために、端末装置２０を介して、カウンセラーとビデオ通話（ビデオチャット）を行うこともできる。さらに、端末装置２０は、脈波計測器を用いて測定した被験者の脈波に関するデータを情報処理装置１０に送信することができる。脈波計測器は、例えば、被験者の指先から脈波を計測する機器を用いることができる（非特許文献２）。
　情報処理装置１０は、端末装置２０から少なくとも被検者の音声、顔の表情画像、脈波に関するデータを取得することができ、それらのデータに基づいて、後述する脳疲労度、気分度、ストレス度といった被験者の感情（精神状態）を表す指標を算出することができる。
　図２は、本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図中では、情報処理装置１０のハードウェアに対応する符号には括弧を付すことなく記載する。また、端末装置２０のハードウェア構成も、情報処理装置１０と同様であるので、端末装置２０のハードウェアに対応する符号には括弧を付して記載する。
　情報処理装置１０は、例えばサーバ（コンピュータ）であり、例示的には、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等からなるメモリ１２と、バス１３と、入出力インターフェース１４と、入力部１５と、出力部１６と、記憶部１７と、通信部１８と、を備えている。
　ＣＰＵ１１は、メモリ１２に記録されているプログラム、又は、記憶部１７からメモリ１２にロードされたプログラムにしたがって各種の処理を実行する。ＣＰＵ１１は、例えば、サーバ（コンピュータ）を、被験者の感情を可視化して診断や治療を支援可能な情報処理装置として機能させるためのプログラムを実行することができる。また、情報処理装置の少なくとも一部の機能を、特定用途向け集積回路（ＡＳＩＣ）等でハードウェア的に実装することも可能である。
　メモリ１２には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。ＣＰＵ１１及びメモリ１２は、バス１３を介して相互に接続されている。このバス１３には、入出力インターフェース１４も接続されている。入出力インターフェース１４には、入力部１５と、出力部１６と、記憶部１７と、通信部１８と、が接続されている。
　入力部１５は、情報処理装置１０の他の各部を収容する本体とは独立した、キーボードやマウス等の入力装置により実現することができ、情報処理装置１０の利用者（管理者）等の指示操作に応じて各種情報を入力することができる。なお、入力部１５は、各種ボタン、タッチパネルあるいはマイク等で構成されてもよい。
　出力部１６は、ディスプレイやスピーカ等で構成されており、テキスト、静止画、動画、音声等に関するデータを出力する。出力部１６が出力したテキストデータ、静止画データ、動画データ又は音声データ等は、ディスプレイやスピーカ等から、文字、画像、動画、音声として利用者が認識可能に出力される。
　記憶部１７は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の半導体メモリ、ソリッドステートドライブ（ＳＳＤ）、ハードディスク等の記憶装置で構成され、各種データを記憶することができる。
　通信部１８は、他の装置との間で行う通信を実現する。例えば、通信部１８は、ネットワークＮを介して、他の装置（例えば、端末装置２０－１，２０－２から２０－ｎ）との間で相互に通信を行うことができる。
　なお、情報処理装置１０には、不図示であるがドライブを必要に応じて適宜設けられる。ドライブには、例えば、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等から構成されるリムーバブルメディアが適宜装着される。リムーバブルメディアには、被験者のストレス度、脳疲労度及び気分度の値を算出し、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間にプロットすることで、被験者の感情等を可視化する機能を実現するためのプログラムや、テキストデータ、画像データ等の各種データが格納される。ドライブによってリムーバブルメディアから読み出されたプログラムや、各種のデータは、必要に応じて記憶部１７にインストールされる。
　次に、端末装置２０のハードウェアの構成について説明する。端末装置２０は、図２に示すように、例示的に、ＣＰＵ２１と、メモリ２２と、バス２３と、入出力インターフェース２４と、入力部２５と、出力部２６と、記憶部２７と、通信部２８と、を備えている。これら各部は、上述の情報処理装置１０が備える、符号のみが異なる同名の各部と同等の機能を有している。従って、重複する説明を省略する。なお、端末装置２０を、携帯型の装置として構成する場合には、端末装置２０が備える各ハードウェアと、ディスプレイやスピーカとを一体の装置として実現するようにしてもよい。
　図２及び図３を参照して、被験者の感情を可視化するための情報処理システムに含まれる情報処理装置１０の機能的構成について説明する。図３は、本発明の一実施形態に係る情報処理装置の構成を示すブロック図である。例えば、サーバ（コンピュータ）によって、端末装置２０から少なくとも被検者の音声、顔の表情画像、脈波に関するデータを取得すること、音声の周波数に基づいて脳疲労度を算出すること、顔の表情画像から被検者の感情を抽出して気分度を算出すること、脈派を高速フーリエ変換により周波数解析を行い、高周波区間と低周波区間を抽出してストレス度を算出すること、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間において、脳疲労度、気分度、ストレス度に対応する座標に点をプロットしたグラフを表示すること等の処理を行うためのプログラムが実行された場合に、当該サーバは、例示的に、情報処理装置１０として機能して、ＣＰＵ１１に加えてメモリ１２等のハードウェア資源において、少なくとも感情表現エンジン部１１１と、３軸処理部１１２と、データ管理部１１３とが機能する。
　また、記憶部１７の一部の記憶領域を用いて、記憶部１７を利用者情報データベース１７１として機能させることができる。別の実施形態として、利用者情報データベース１７１を、情報処理装置１０とは、別体の外部記憶装置で構成することもでき、外部記憶装置として例えばクラウドストレージを用いることもできる。これらの実施形態では、利用者情報データベース１７１を１つの記憶装置としているが、２つ以上に分けて記憶してもよい。
　感情表現エンジン部１１１は、端末装置２０から取得した被検者の音声、顔の表情画像、脈波に関するデータをもとに、被験者の感情を表す指標として、脳疲労度、気分度、ストレス度を算出することができる。例えば、感情表現エンジン部１１１は、音声の周波数に基づいて脳疲労度を算出し、顔の表情画像から被検者の感情を抽出して気分度を算出し、脈派を高速フーリエ変換により周波数解析を行い、高周波区間と低周波区間を抽出してストレス度を算出することができる。
　３軸処理部１１２は、感情表現エンジン部１１１により算出した脳疲労度、気分度、ストレス度に対応する座標に点をプロットしたグラフを生成して、情報処理装置１０又は端末装置２０に表示することができる。また、３軸処理部１１２は、被検者の音声、顔の表情画像、脈波に関するデータを取得した日時毎に、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間において、被験者の脳疲労度、気分度、ストレス度に対応する座標に点を時系列に従ってプロットしたグラフを生成して、情報処理装置１０又は端末装置２０に表示することができる。
　データ管理部１１３は、端末装置２０から少なくとも被検者の音声、顔の表情画像、脈波に関するデータを取得して、情報処理装置１０の記憶手段（例えば、利用者情報データベース１７１）に記憶することができる。また、データ管理部１１３は、被験者の音声、顔の表情画像、脈波に関するデータとともに、当該データを取得した日時を関連付けて情報処理装置の記憶手段（利用者情報データベース１７１）に記憶することができる。
　図４は、図３に示す情報処理装置の利用者情報データベースに格納されるデータの一例を表形式で示す。テーブルＲ１は、被験者（利用者）を識別する情報であるユーザＩＤと、男性、女性又はその他等の性別と、年齢とを関連付けて記憶する。利用者情報データベース１７１は、例えば、テーブルＲ１の利用者情報に関連付けて、テーブルＲ２及びＲ３を記憶することができる。
　また、テーブルＲ２は、日時に関連づけて、端末装置２０から受信した被験者の音声データ、顔の表情画像データ、脈波データ、ストレスチェックの被験者の回答を含む問診データ、被験者の行動等を記録したライフログデータ、気温や湿度等を含む環境データを記憶する。テーブルＲ２に含まれる日時は、端末装置２０から被検者の音声、顔の表情画像、脈波に関するデータを受信した日時や、被験者が端末装置２０を用いて情報処理装置１０にアクセスした日時等である。
　さらに、テーブルＲ２に記憶された日時を規格化した時間に関連づけて、感情表現エンジン部１１１において算出された被験者のストレス度、脳疲労度、気分度を、３次元空間におけるＸ軸、Ｙ軸、Ｚ軸の値として記憶する。日時の規格化は、例えば、日時をＵＮＩＸ（登録商標）時間変換することで実現することができる。
　図５は、被験者の端末装置から各種データを収集する処理の流れを示すフローチャートである。当該処理は、例えば、端末装置２０によって実行される。端末装置２０は、被験者のストレスチェック質問票の回答を含む問診データを収集し、情報処理装置１０に送信する（ステップＳ１）。また、ステップＳ１において、問診データとともに、被験者の生活や活動、行動等を記録したライフログデータも収集して、情報処理装置１０に送信することができる。
　その後、端末装置２０は、問診結果を画面に表示する（ステップＳ２）。ステップ１からステップ２までの処理を実行した際の端末装置２０の画面表示を図６から図９に示す。
　図６は、質問票を用いてストレスチェックを行うためのユーザインタフェースの一例を示す。端末装置２０の画面に表示されるストレスチェックの質問票の一例である。「Ａ．あなたの仕事についてうかがいます。最もあてはまるものを選んでください。」とのメッセージの下に、「１．非常にたくさんの仕事をしなければならない」との質問が表示される。被験者は、「そうだ」、「まあそうだ」、「ややちがう」、「ちがう」の選択肢からいずれかをクリック又はタップ等の選択操作を行うことで選ぶことができる。その他の質問についても同様である。質問の数は、例えば、厚生労働省版のストレスチェック質問票の５７項目とすることができる（非特許文献１）。
　被験者がストレスチェック質問票のすべての項目に回答した後、端末装置２０の画面には、図７に示すような内容が表示される。図７は、ストレスチェック後にユーザー登録を促すユーザインタフェースの一例を示す。「以下でテストは完了です。ユーザー登録をして結果の確認をしましょう。」とのメッセージに従い、被験者は、例えば、メールアドレス及びパスワードを入力して、その他必要事項を入力して、画面下部の登録ボタンを押すことで、被験者の情報が登録される。
　登録後、例えば、図８に示すような内容が端末装置２０の画面に表示される。図８は、ストレスチェックの結果をレーダーチャートで表示した画面の一例を示す。レーダーチャートは、中心に近いほど被験者のストレスが高いことを示す。図９は、ストレスチェックの結果についてのコメントを表示した画面の一例を示す。端末装置２０は、画面の上半分に、例えば、「現在は、少し高ストレス状態であるようです。・・・」等、被験者の問診結果に応じたカウンセラー（専門家）からのコメントを表示することができる。
　また、端末装置２０は、画面の下半分に「現在、専門家とのチャット相談や測定器によるストレス測定などができるステップ２の登録者数が上限に達しました。ステップ２のご利用を希望される方は以下の登録ページよりご登録ください。」等のメッセージが表示され、画面下部の「利用者登録へ」をクリック又はタップ等の選択操作を行うことで、被験者のより詳細な個人情報の登録を促すことができる。端末装置２０から情報処理装置１０に送信された被験者の個人情報は、データ管理部１１３により、例えば、利用者情報データベースに記憶される。
　再度、図５に示すフローチャートを参照すると、ステップＳ２の後、端末装置２０は、被験者の脈波（心拍）を測定する脈波計測器から脈波データを収集し、情報処理装置１０に脈波データを送信する（ステップ３）。図１０に脈波計測器を利用して被験者の指先から脈波・心拍を測定する様子を示す。脈波計測器３０は、本体部３２と、本体部３２に設けられた波形表示部３４と、計測部３６とを含む。被験者は、脈波計測器３０の計測部３６に指先を押し当てることで、脈波計測器３０は被験者の脈波・心拍を測定することができ、本体部３２に設けられた波形表示部３４に脈波・心拍に基づく波形が表示される。なお、脈波計測器３０による計測時間は、例えば、１回につき１８０秒（３分）とすることができる。
　端末装置２０は、脈波計測器３０と通信可能に接続することができ、脈波計測器３０から被験者の脈波データを受信することができる。図１１に、被験者の脈波・心拍を脈波計測器で測定する際の被験者の端末装置の画面表示の一例を示す。端末装置２０は、例えば、被験者の脈波データに基づく波形を画面に表示することができ、また、一拍の脈波のピークから次のピーク間隔である脈拍間隔（Peak-to-Peak Interval: PPI）や、脈波データの低周波区間（Low Frequency: LF）/高周波区間（High Frequency: HF）の値等も画面に表示することができる。
　図５に示すフローチャートを参照すると、ステップＳ３の後、端末装置２０は、カウンセラーや専門家とのビデオ通話（ビデオチャット）の少なくとも一部を録画録音することにより、被験者の顔の表情画像に関するデータ、音声に関するデータを取得する（ステップＳ４）。なお、ステップ３の脈波計測器による被験者の脈波の測定は継続して行うことができ、端末装置２０はビデオ通話中も脈波データを収集することができる。ステップ４の後、端末装置２０は、気温や湿度等を含む環境データを収集して、情報処理装置１０に送信することができる（ステップ５）。ステップ４及び５の処理は、端末装置２０に代えて情報処理装置１０において行うことができる。
　図１２は、カウンセリング中のカウンセラーと被験者とのビデオ通話から被験者の顔の表情の画像を取得するための画面表示の一例を示す。図１２に示す画面の上側には、被験者の表情が映し出され、画面の下側にはカウンセラーが映し出される。被験者の顔の表情を認識するために、端末装置２０又は情報処理装置１０において、少なくとも所定の録画時間（例えば、１５分間）に達するまでカウンセリング中のビデオ通話の録画が行われる。つまり、被験者の顔の表情画像に関するデータは、端末装置２０を介した被験者とのビデオ通話の際に、被験者の顔の表情の動画像を、少なくとも所定の録画時間まで継続して録画したデータである。
　図１３は、カウンセリング中のカウンセラーと被験者とのビデオ通話から被験者の音声を取得するための画面表示の一例を示す。図１３に示す画面の上側には、被験者が読み上げるための定型文（例えば、「むかしむかし、あるところに、おじいさんとおばあさんが住んでいました。おじいさんは山へ・・・・・」）が表示され、画面の下側にはカウンセラーが映し出される。被験者は定型文を音読することで、端末装置２０又は情報処理装置１０において、少なくとも所定の録音時間（例えば、４０秒程度）に達するまで定型文の音読の音声が録音される。つまり、音声に関するデータは、端末装置２０を介した被験者とのビデオ通話の際に、端末装置２０に表示された所定の定型文を被験者が読み上げた音声を、少なくとも所定の録音時間まで継続して録音したデータである。
　図１４は、収集した各種データから脳の疲労、気分及びストレスを表す各種指標を算出する感情表現エンジン部の構成を示す概略図である。感情表現エンジン部１１１は、機能的に感情表現コア部１１１Ａと重積ユニット部１１１Ｂとに分けることができる。感情表現コア部１１１Ａは、脳の疲労、気分、ストレスに関する定量的な指標である脳疲労度、気分度、及びストレス度を算出することができる。また、感情表現コア部１１１Ａは、日時の規格化、不快指数等を算出することができる。
　重積ユニット部１１１Ｂは、環境データに含まれる気温、湿度から算出した不快指数に基づいて定められた重み係数を、脳疲労度、気分度、及びストレス度にそれぞれ乗じることで、感情表現コア部１１１Ａで算出された脳疲労度、気分度、及びストレス度の各値を調整することができる。不快指数をＤＩ、気温をＴ、湿度をＨとすると、例えば、ＤＩ=０．８１Ｔ+０．０１Ｈ×（０．９９Ｔ-１４．３）+４６．３という数式で求められる。また、重積ユニット部１１１Ｂは、図１４には図示されていないが、被験者のストレスチェック結果のスコアを含む問診データを取得し、問診データに含まれるスコアに応じて定められた重み係数を、脳疲労度、気分度、及びストレス度にそれぞれ乗じることで、感情表現コア部１１１Ａで算出された脳疲労度、気分度、及びストレス度の各値を調整することができる。
　感情表現エンジン部１１１は、入力データとして取得した被験者の音声データから、感情表現コア部１１１Ａにおいて脳疲労度を算出する。例えば、脳疲労度は、脳活性度指数を表すＣＥＭ（Cerebral Exponent Macro: CEM）値を算出することで求められ、電子航法研究所で開発している脳活性度指数測定アルゴリズム（SiCECA アルゴリズム、非特許文献３）は、音声から脳活性度指数（ＣＥＭ値）を算出することができる。感情表現エンジン部１１１は、脳活性度指数測定アルゴリズムを実行することで、被験者の音声に関するデータから、被験者あたり１以上（例えば２から５程度）のＣＥＭ値を取得することができる。脳疲労度は、例えば、それら１以上のＣＥＭ値の平均値をとった値に相当する。
　図１７は、脳の疲労、気分及びストレスを表す各種指標の得られた値を３軸の空間にプロットするための数値換算の一例を示す。図１７に示す例では、脳活性度指数測定アルゴリズムにより４つのＣＥＭ値431.08、360.73、342.76、360.45を取得し、脳疲労度はそれらのＣＥＭ値の平均値である373.755となる。
　再度、図１４を参照すると、感情表現エンジン部１１１は、入力データとして取得した被験者の顔の表情画像データから、感情表現コア部１１１Ａにおいて気分度を算出する。例えば、気分度は、顔の表情認識アルゴリズムに基づいて被験者の顔の表情の動画像から認識された複数の感情表現のカウント数に応じて定められる。顔の表情認識アルゴリズムとしては、オープンソフトの「Face classification and detection」（非特許文献４）のアルゴリズムを用いることができる。
　感情表現エンジン部１１１は、顔の表情認識アルゴリズムを実行することで、顔の表情画像に関するデータに含まれる被験者の顔の表情の動画像から複数の感情表現を認識することができる。複数の感情表現は、例えば、ラッセル(Russel)の感情円環モデル（非特許文献５）における幸福(happy)、驚き(surprise)、中立(neutral)、恐怖(fear)、怒り(angry)、嫌気（disgust）、悲観(sad)の７種類とすることができる。
　感情表現エンジン部１１１は、顔の表情認識アルゴリズム（例えば、オープンソフトの「Face classification and detection」）を実行することで、顔の表情画像に関するデータに含まれる被験者の顔の表情の動画像から認識された複数の感情表現をそれぞれカウントする。感情表現エンジン部１１１は、複数の感情表現毎の割合を算出して、複数の感情表現の各々に対する所定の重みを、感情表現毎に、複数の感情表現毎の割合に乗じて、感情表現毎の気分指数を算出する。複数の感情表現の各々に対する所定の重みは、図１５に示すようなラッセルの感情円環モデルに基づいて定めることができ、例えば、図１６に示す重み付けのように定めることができる。
　図１５は、ラッセルの感情円環モデルに基づいて定められる重み付けを説明するための図である。図１６は、ラッセルの感情円環モデルに基づいて得られた各種感情表現から気分度を算出した一例を示す。複数の感情表現の各々に対する所定の重みは、幸福 (happy)、驚き(surprise)、中立(neutral)、恐怖(fear)、怒り(angry)、嫌気（disgust）、悲観 (sad)の順に重み係数の大きさを調整することができる。図１６を参照すると、例えば、幸福(happy)の重み付け係数（重み係数）は１００、驚き（surprise）は７０、中立（neutral）は５０等のように設定することができる。
　図１６に示す例では、複数の感情表現毎の割合は、中立（neutral）が69.91001と最も高い割合を示し、次に、幸福(happy)の割合が6.299213である。 中立（neutral）の割合（F）の69.91001に、所定の重み係数（G）の50を乗じることで、気分指数F×Gの値3495.501を算出する。同様に、幸福(happy)の割合(F)の6.299213に、所定の重み係数（G）の100を乗じることで、気分指数F×Gの値629.9213を算出する。このようにして、感情表現エンジン部１１１は、複数の感情表現の各々に対する所定の重みを、感情表現毎に、複数の感情表現毎の割合に乗じて、感情表現毎の気分指数を算出する。
　感情表現エンジン部１１１は、感情表現毎の気分指数のうち最も大きい最大気分指数を感情表現毎の気分指数の合計値で割った値を気分度とすることができる。図１６に示す例では、中立（neutral）の気分指数3495.501が最大気分指数である。気分度は、最大気分指数(3495.501)を感情表現毎の気分指数の合計値（4443.33572）で割って算出された値3495.501/4443.33572=44.43335である。なお、図１６に示す例では、嫌気（disgust）に関する値がないため、表示を省略している。
　図１４を再び参照すると、感情表現エンジン部１１１は、入力データとして取得した被験者の脈波（心拍）に関するデータから、感情表現コア部１１１Ａにおいてストレス度を算出する。脈波に関するデータは、所定の時間間隔（例えば、１８０秒）を１区画として、脈波計測器３０で測定された脈波を１区画毎に区切られたデータである。
　感情表現エンジン部１１１は、脈波の１区間毎に、１区画内の脈波をハミング窓で区切り、ハミング窓内の脈波について、一拍の脈波のピークから次のピーク間隔である脈拍間隔ＰＰＩと時刻を算出する。感情表現エンジン部１１１は、脈波の１区間毎に、横軸時刻及び縦軸ＰＰＩの２次元空間において、脈拍間隔ＰＰＩと時刻に対応する座標に点をプロットした時間―ＰＰＩグラフを生成する。感情表現エンジン部１１１は、時間―ＰＰＩグラフにおける離散値の間を、線形補完や三次スプライン補完等の補完を行った後、高速フーリエ変換ＦＦＴを適用し、ＦＦＴの結果のパワースペクトル密度ＰＳＤ（Power Spectral Density: PSD）を、低周波区間及び高周波区間内でそれぞれ積算することで、低周波成分に相当するＬＦ値、高周波成分に相当するＨＦ値及びＬＦ／ＨＦ値を算出することができる。なお、脈拍間隔ＰＰＩからＬＦ値、ＨＦ値、ＬＦ／ＨＦ値を算出する既知の手法として、例えば、非特許文献５に記載のストレス状態推定手法がある。
　感情表現エンジン部１１１は、ＬＦ／ＨＦ値（交感神経系指標）をストレス度とすることができる。または、ストレス度は、ＬＦ値、前記ＨＦ値及び前記ＬＦ／ＨＦ値のうち少なくとも１つの値に基づくものとすることができる。例えば、過去のデータ値を参考にして、ＬＦ／ＨＦのMAX値を２、HFも用いる場合はHF（副交感神経系指標）のMAX値を９００と設定して、規格化することができる。なお、各窓区間における規格化データが複数ある場合には平均値をとる。図１７の例では、ＬＦ／ＨＦ値として、1.22と1.44が算出され、それらの平均がとられて1.33となる。
　ストレス度としてＬＦ／ＨＦ値のみを用いる場合、ストレスの最大値（MAX）が最小（ＭＩＮ）となるように逆転させ、（MAX２－規格値）を一軸に換算する。例えば、図１７の例では、ストレス度の軸（緊張軸）は、ＭＡＸが２で、ＭＩＮが０であり、軸に変換する場合には、逆転させる。なお、気分度の軸（気分軸）と脳疲労度の軸（脳疲労軸）は、逆転させずにそのまま利用する。ストレス度として、ＨＦ値も用いる場合、ストレスMAXが最小、ニュートラルを経てリラックスMAXが最大となるように一軸に換算する。
　低周波区間は、０．０４Ｈｚ以上から０．１５Ｈｚ未満までであり、高周波区間は、０．１５Ｈｚ以上から０．４Ｈｚ未満までとすることができる。
　図１４に示されるように、感情表現エンジン部１１１は、被験者の音声、顔の表情画像、脈拍（心拍）に関するデータの他に、時間（日時）や環境データ等を入力データとして取得することができる。上述したとおり、時間（日時）は、感情表現コア部１１１Ａで規格化された時間（例えばＵＮＩＸ時間）に変換され、また、環境データに含まれる温度及び湿度から不快指数を求めて、不快指数に応じて予め定められた重み係数を、重積ユニット部１１１Ｂにおいて、脳疲労度、気分度、及びストレス度にそれぞれ乗じることができる。
　図１８は、感情表現エンジンにより得られたある被検者の感情の変化を時系列的にプロットしたＸ軸、Ｙ軸、Ｚ軸からなる３次元空間のグラフ表示の一例を示す。また、図１９は、感情表現エンジンにより得られた別の被検者の感情の変化を時系列的にプロットしたＸ軸、Ｙ軸、Ｚ軸からなる３次元空間のグラフ表示の一例を示す。３軸処理部１１２は、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間において、脳疲労度、気分度、ストレス度に対応する座標に点をプロットしたグラフを生成し、表示することができる。また、３軸処理部１１２は、３次元空間において、日時毎に、被験者の脳疲労度、気分度、ストレス度に対応する座標に点を時系列に従ってプロットしたグラフを表示することができる。これにより、被験者の感情の変化を可視化することができ、それにより、被験者の感情の分析を高い精度で実現することができる。
　このような３次元空間のグラフ表示は、脳疲労度、気分度、ストレス度の３軸と、時間軸を統合して、多次元で分析可能であり、被験者や専門家その他の利用者にとってわかりやすく表示される。従来のストレスチェックでは、診断結果をレーダーチャート等で示しているが、因子間の相関関係については、あまり示されていない。本発明では、図１８及び図１９のように、結果についての相関関係をわかりやすく表示することができる。３次元空間のグラフ表示の軸については、利用者が知りたい情報に合わせて適宜入れ替え可能である。本発明では、ストレスを、時系列に測定し、パターン（傾向）によって、タイプ別カテゴリー（クラスタ）に分類し、将来の状態予測が可能となる。
　図２０は、緊張軸（Ｘ軸）、脳疲労軸（Ｙ軸）、気分軸（Ｚ軸）からなる３次元空間中に定められたタイプ別分類カテゴリーの一例を示す。左下の角が起点であり、起点に近いほどストレス（Ｘ軸）が高く、脳疲労度（Ｙ軸）が高く、気分度（Ｚ軸）が落ち込み傾向を示す。図１８及び図１９についても同様である。図１８に示す被験者の例では、気分が起点から移動している状態が確認できるが、図１９に示す別の被験者の例では、気分が起点付近に集中しており、ストレス（Ｘ軸）が高く、脳疲労度（Ｙ軸）が高く、気分度（Ｚ軸）が落ち込んだ状態が続いていることが確認でき、精神疾患の恐れがある場合には事前に対処を検討することができる。
　図２０に示す３次元空間中に定められたタイプ別分類カテゴリーは、例えば、以下の表に示されるように定めることができる。
Figure JPOXMLDOC01-appb-T000001
　図２０に示すように、３次元空間は、複数のタイプ別分類カテゴリーに区分けされ、３軸処理部１１２は、３次元空間における複数のタイプ別分類カテゴリーのうち、被験者の脳疲労度、気分度、ストレス度に対応する座標の点が属するカテゴリーを、被験者の端末装置２０又は情報処理装置１０等に通知することができる。
　また、複数のタイプ別カテゴリー毎に、被験者に提案する改善案が定められ、感情表現エンジン部１１１は、３次元空間における被験者の脳疲労度、気分度、ストレス度に対応する座標の点が属するカテゴリーに対する改善案を、被験者の端末装置２０又は情報処理装置１０等に通知することができる。
　改善策の例は、以下の表に示す。
Figure JPOXMLDOC01-appb-T000002
　例えば、ある被験者がタイプ別カテゴリーＡに属している場合には、感情表現エンジン部１１１は、〇印のあるジョギング、ストレッチング、トレッキング、マインドフルネス、ヨガを改善策として通知することができる。また、別の被験者がタイプ別カテゴリーＢに属している場合には、感情表現エンジン部１１１は、〇印のあるストレッチング、ヨガ、認知行動療法を改善策として通知するといったように、被験者が属するタイプ別カテゴリーに応じて、適切な改善策を提案することができる。
　以上のように、本発明に係る情報処理システム等は、脈波計測器から取得される脈波・心拍等の定量的なデータだけでなく、ストレスチェックの結果や、ビデオ通話を用いたカウンセリングにおいて被験者の音声や顔の表情画像等のデータを取得し、それらのデータからストレス度、脳疲労度及び気分度の値を算出し、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間にプロットすることで、被験者の感情等を可視化して、診断や治療を支援可能な情報処理システム等を提供することで、被験者の感情の分析を高い精度で実現することができ、それにより、精神疾患の早期発見を実現して社会課題解決に貢献することができる。
　本発明に係る情報処理システム等は、例えば、企業や個人、学校などでのストレスチェック、スポーツメンタルの強化、学習時の集中度アップ、入社試験のメンタル測定など、幅広い用途に利用可能である。
１０　　　：情報処理装置
１１、２１：ＣＰＵ
１２、２２：メモリ
１３、２３：バス
１４、２４：入出力インターフェース
１５、２５：入力部
１６、２６：出力部
１７、２７：記憶部
１８、２８：通信部
２０、２０－１，２０－２，２０－ｎ　：端末装置
３０　　　：脈波計測器
３２　　　：本体部
３４　　　：波形表示部
３６　　　：計測部
１１１　　：感情表現エンジン部
１１１Ａ　：感情表現コア部
１１１Ｂ　：重積ユニット部
１１２　　：３軸処理部
１１３　　：データ管理部
１７１　　：利用者情報データベース

Claims (31)

  1. 　被験者の端末装置と接続され、前記被験者の感情を可視化するための情報処理装置であって、
    　少なくとも前記被検者の音声、顔の表情画像、脈波に関するデータを取得するデータ管理部と、
    　前記音声の周波数に基づいて脳疲労度を算出し、前記顔の表情画像から被検者の感情を抽出して気分度を算出し、前記脈派を高速フーリエ変換により周波数解析を行い、高周波区間と低周波区間を抽出してストレス度を算出する感情表現エンジン部と、
    　Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間において、前記脳疲労度、前記気分度、前記ストレス度に対応する座標に点をプロットしたグラフを表示する３軸処理部と
    を含み、
    　前記音声に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の少なくとも一部を録音して取得され、
    　前記顔の表情画像に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の少なくとも一部を録画して取得され、
    　前記脈波に関するデータは、前記被験者の脈波を測定する脈波計測器から前記端末装置を介して取得されることを特徴とする情報処理装置。
  2. 　前記データ管理部は、前記被験者の前記音声、顔の表情画像、脈波に関するデータとともに、当該データを取得した日時を関連付けて前記情報処理装置の記憶手段に記憶し、
    　前記３軸処理部は、前記３次元空間において、前記日時毎に、前記被験者の前記脳疲労度、前記気分度、前記ストレス度に対応する座標に点を時系列に従ってプロットしたグラフを表示することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記３次元空間は、複数のタイプ別分類カテゴリーに区分けされ、
    　前記３軸処理部は、前記３次元空間における前記複数のタイプ別分類カテゴリーのうち、前記被験者の前記脳疲労度、前記気分度、前記ストレス度に対応する座標の点が属するカテゴリーを通知することを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記複数のタイプ別カテゴリー毎に、前記被験者に提案する改善案が定められ、
    　前記感情表現エンジン部は、前記３次元空間における前記被験者の前記脳疲労度、前記気分度、前記ストレス度に対応する座標の点が属するカテゴリーに対する前記改善案を通知することを特徴とする請求項３に記載の情報処理装置。
  5. 　前記音声に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の際に、前記端末装置に表示された所定の定型文を前記被験者が読み上げた音声を、少なくとも所定の録音時間まで継続して録音したデータであることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　前記感情表現エンジン部は、脳活性度指数を表すＣＥＭ値を測定する脳活性度指数測定アルゴリズムを実行することで、前記音声に関するデータから前記被験者あたり１以上の前記ＣＥＭ値を取得し、
    　前記脳疲労度は、１以上の前記ＣＥＭ値の平均値であることを特徴とする請求項５に記載の情報処理装置。
  7. 　前記脈波に関するデータは、所定の時間間隔を１区画として、前記脈波計測器で測定された脈波を前記１区画毎に区切られたデータであることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
  8. 　前記感情表現エンジン部は、前記脈波の前記１区間毎に、前記１区画内の前記脈波をハミング窓で区切り、前記ハミング窓内の前記脈波について、一拍の脈波のピークから次のピーク間隔である脈拍間隔ＰＰＩと時刻を算出し、
    　前記感情表現エンジン部は、前記脈波の前記１区間毎に、横軸時刻及び縦軸ＰＰＩの２次元空間において、前記脈拍間隔ＰＰＩと前記時刻に対応する座標に点をプロットした時間―ＰＰＩグラフを生成し、
    　前記感情表現エンジン部は、前記時間―ＰＰＩグラフにおける離散値の間を補完して高速フーリエ変換ＦＦＴを適用し、前記ＦＦＴの結果のパワースペクトル密度ＰＳＤを、前記低周波区間及び高周波区間内でそれぞれ積算することで、前記低周波成分に相当するＬＦ値、前記高周波成分に相当するＨＦ値及びＬＦ／ＨＦ値を算出し、
    　前記ストレス度は、前記ＬＦ値、前記ＨＦ値及び前記ＬＦ／ＨＦ値のうち少なくとも１つの値に基づくものであることを特徴とする請求項７に記載の情報処理装置。
  9. 　前記低周波区間は、０．０４Ｈｚ以上から０．１５Ｈｚ未満までであり、
    　前記高周波区間は、０．１５Ｈｚ以上から０．４Ｈｚ未満までであることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
  10. 　前記顔の表情画像に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の際に、前記被験者の顔の表情の動画像を、少なくとも所定の録画時間まで継続して録画したデータであることを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
  11. 　前記感情表現エンジン部は、顔の表情認識アルゴリズムを実行することで、前記顔の表情画像に関するデータに含まれる前記被験者の顔の表情の動画像から認識された複数の感情表現をそれぞれカウントし、
    　前記感情表現エンジン部は、前記複数の感情表現毎の割合を算出して、前記複数の感情表現の各々に対する所定の重みを、感情表現毎に前記複数の感情表現毎の割合に乗じて、感情表現毎の気分指数を算出し、
    　前記気分度は、前記感情表現毎の気分指数のうち最も大きい最大気分指数を前記感情表現毎の気分指数の合計値で割った値に基づくものであることを特徴とする請求項１０に記載の情報処理装置。
  12. 　前記複数の感情表現は、ラッセル(Russel)の感情円環モデルにおける幸福(happy)、驚き(surprise)、中立(neutral)、恐怖(fear)、怒り(angry)、嫌気（disgust）、悲観(sad)であることを特徴とする請求項１１に記載の情報処理装置。
  13. 　前記データ管理部は、前記被検者の音声、顔の表情画像、脈波に関するデータの他に、少なくとも気温、湿度を含む環境データを取得し、
    　前記感情表現エンジンは、前記環境データに含まれる気温、湿度から算出した不快指数に基づいて定められた重み係数を、前記脳疲労度、前記気分度、及び前記ストレス度にそれぞれ乗じることで、前記脳疲労度、前記気分度、及び前記ストレス度の各値を調整することを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
  14. 　前記データ管理部は、前記被検者の音声、顔の表情画像、脈波に関するデータの他に、前記被験者のストレスチェック結果のスコアを含む問診データを取得し、
    　前記感情表現エンジンは、前記問診データに含まれるスコアに応じて定められた重み係数を、前記脳疲労度、前記気分度、及び前記ストレス度にそれぞれ乗じることで、前記脳疲労度、前記気分度、及び前記ストレス度の各値を調整することを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
  15. 　被験者の端末装置とネットワークを介して接続可能なサーバにおいて実行される情報処理方法であって、
    　前記端末装置から少なくとも前記被検者の音声、顔の表情画像、脈波に関するデータを取得する段階と、
    　前記音声の周波数に基づいて脳疲労度を算出し、前記顔の表情画像から被検者の感情を抽出して気分度を算出し、前記脈派を高速フーリエ変換により周波数解析を行い、高周波区間と低周波区間を抽出してストレス度を算出する段階と、
    　前記Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間において、前記脳疲労度、前記気分度、前記ストレス度に対応する座標に点をプロットしたグラフを表示する段階と
    を含み、
    　前記音声に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の少なくとも一部を録音して取得され、
    　前記顔の表情画像に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の少なくとも一部を録画して取得され、
    　前記脈波に関するデータは、前記被験者の脈波を測定する脈波計測器から前記端末装置を介して取得されることを特徴とする情報処理方法。
  16. 　前記被検者の音声、顔の表情画像、脈波に関するデータを取得する段階は、前記被験者の前記音声、顔の表情画像、脈波に関するデータとともに、当該データを取得した日時を関連付けて前記サーバの記憶手段に記憶する段階を含み、
    　前記グラフを表示する段階は、前記３次元空間において、前記日時毎に、前記被験者の前記脳疲労度、前記気分度、前記ストレス度に対応する座標に点を時系列に従ってプロットしたグラフを表示する段階を含むことを特徴とする請求項１５に記載の情報処理方法。
  17. 　前記３次元空間は、複数のタイプ別分類カテゴリーに区分けされ、
    　前記グラフを表示する段階は、前記３次元空間における前記複数のタイプ別分類カテゴリーのうち、前記被験者の前記脳疲労度、前記気分度、前記ストレス度に対応する座標の点が属するカテゴリーを通知する段階を含むことを特徴とする請求項１５又は１６に記載の情報処理方法。
  18. 　前記複数のタイプ別カテゴリー毎に、前記被験者に提案する改善案が定められ、
    　前記脳疲労度、前記気分度、前記ストレス度を算出する段階は、前記３次元空間における前記被験者の前記脳疲労度、前記気分度、前記ストレス度に対応する座標の点が属するカテゴリーに対する前記改善案を通知する段階を含むことを特徴とする請求項１７に記載の情報処理方法。
  19. 　前記音声に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の際に、前記端末装置に表示された所定の定型文を前記被験者が読み上げた音声を、少なくとも所定の録音時間まで継続して録音したデータであることを特徴とする請求項１５から１８のいずれか１項に記載の情報処理方法。
  20. 　前記脳疲労度、前記気分度、前記ストレス度を算出する段階は、脳活性度指数を表すＣＥＭ値を測定する脳活性度指数測定アルゴリズムを実行することで、前記音声に関するデータから前記被験者あたり１以上の前記ＣＥＭ値を取得する段階を含み、
    　前記脳疲労度は、１以上の前記ＣＥＭ値の平均値であることを特徴とする請求項１９に記載の情報処理方法。
  21. 　前記脈波に関するデータは、所定の時間間隔を１区画として、前記脈波計測器で測定された脈波を前記１区画毎に区切られたデータであることを特徴とする請求項１５から２０のいずれか１項に記載の情報処理方法。
  22. 　前記脳疲労度、前記気分度、前記ストレス度を算出する段階は、
    　前記脈波の前記１区間毎に、前記１区画内の前記脈波をハミング窓で区切り、前記ハミング窓内の前記脈波について、一拍の脈波のピークから次のピーク間隔である脈拍間隔ＰＰＩと時刻を算出する段階と、
    　前記脈波の前記１区間毎に、横軸時刻及び縦軸ＰＰＩの２次元空間において、前記脈拍間隔ＰＰＩと前記時刻に対応する座標に点をプロットした時間―ＰＰＩグラフを生成する段階と、
    　前記時間―ＰＰＩグラフにおける離散値の間を補完して高速フーリエ変換ＦＦＴを適用し、前記ＦＦＴの結果のパワースペクトル密度ＰＳＤを、前記低周波区間及び高周波区間内でそれぞれ積算することで、前記低周波成分に相当するＬＦ値、前記高周波成分に相当するＨＦ値及びＬＦ／ＨＦ値を算出する段階と
    を含み、
    　前記ストレス度は、前記ＬＦ値、前記ＨＦ値及び前記ＬＦ／ＨＦ値のうち少なくとも１つの値に基づくものであることを特徴とする請求項２１に記載の情報処理方法。
  23. 　前記低周波区間は、０．０４Ｈｚ以上から０．１５Ｈｚ未満までであり、
    　前記高周波区間は、０．１５Ｈｚ以上から０．４Ｈｚ未満までであることを特徴とする請求項１５から２２のいずれか１項に記載の情報処理方法。
  24. 　前記顔の表情画像に関するデータは、前記端末装置を介した前記被験者とのビデオ通話の際に、前記被験者の顔の表情の動画像を、少なくとも所定の録画時間まで継続して録画したデータであることを特徴とする請求項１５から２３のいずれか１項に記載の情報処理方法。
  25. 　前記脳疲労度、前記気分度、前記ストレス度を算出する段階は、
    　顔の表情認識アルゴリズムを実行することで、前記顔の表情画像に関するデータに含まれる前記被験者の顔の表情の動画像から認識された複数の感情表現をそれぞれカウントする段階と、
    　前記複数の感情表現毎の割合を算出して、前記複数の感情表現の各々に対する所定の重みを、感情表現毎に前記複数の感情表現毎の割合に乗じて、感情表現毎の気分指数を算出する段階と
    を含み、
    　前記気分度は、前記感情表現毎の気分指数のうち最も大きい最大気分指数を前記感情表現毎の気分指数の合計値で割った値に基づくものであることを特徴とする請求項２４に記載の情報処理方法。
  26. 　前記複数の感情表現は、ラッセル(Russel)の感情円環モデルにおける幸福(happy)、驚き(surprise)、中立(neutral)、恐怖(fear)、怒り(angry)、嫌気（disgust）、悲観(sad)であることを特徴とする請求項２５に記載の情報処理方法。
  27. 　前記被検者の音声、顔の表情画像、脈波に関するデータを取得して記憶する段階は、前記被検者の音声、顔の表情画像、脈波に関するデータの他に、少なくとも気温、湿度を含む環境データを取得する段階を含み、
    　前記脳疲労度、前記気分度、前記ストレス度を算出する段階は、前記環境データに含まれる気温、湿度から算出した不快指数に基づいて定められた所定の重み係数を、前記脳疲労度、前記気分度、及び前記ストレス度にそれぞれ乗じることで、前記脳疲労度、前記気分度、及び前記ストレス度の各値を調整する段階を含むことを特徴とする請求項１５から２６のいずれか１項に記載の情報処理方法。
  28. 　前記被検者の音声、顔の表情画像、脈波に関するデータを取得して記憶する段階は、前記被検者の音声、顔の表情画像、脈波に関するデータの他に、前記被験者のストレスチェック結果のスコアを含む問診データを取得する段階を含み、
    　前記脳疲労度、前記気分度、前記ストレス度を算出する段階は、前記問診データに含まれるスコアに応じて定められた重み係数を、前記脳疲労度、前記気分度、及び前記ストレス度にそれぞれ乗じることで、前記脳疲労度、前記気分度、及び前記ストレス度の各値を調整する段階を含むことを特徴とする請求項１５から２６のいずれか１項に記載の情報処理方法。
  29. 　請求項１から１５のいずれか１項に記載の情報処理装置と、
    　前記情報処理装置にネットワークを介してアクセス可能な端末装置と
    を含み、
    　前記端末装置は、少なくとも前記音声に関するデータ、前記顔の表情画像にデータ、前記脈波に関するデータを前記情報処理装置に送信し、
    　前記情報処理装置は、前記音声に関するデータ、前記顔の表情画像にデータ、前記脈波に関するデータを受け取り、受け取った各データに基づいて算出された前記脳疲労度、前記気分度、前記ストレス度を前記端末装置に送信して、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元空間において、前記脳疲労度、前記気分度、前記ストレス度に対応する座標に点をプロットしたグラフを前記端末装置に表示することを特徴とする情報処理システム。
  30. 　コンピュータによって実行されることで、前記コンピュータを請求項１から１４のいずれか１項に記載の情報管理装置の各部として機能させることを特徴とする情報処理プログラム。
  31. 　コンピュータによって実行されることで、前記コンピュータに請求項１５から２９のいずれか１項に記載の情報処理方法の各段階を行わせることを特徴とする情報処理プログラム。
PCT/JP2022/005712 2021-02-17 2022-02-14 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム WO2022176808A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/277,691 US20240008785A1 (en) 2021-02-17 2022-02-14 Information processing system, information processing device, information processing method, and information processing program
JP2023500826A JPWO2022176808A1 (ja) 2021-02-17 2022-02-14

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-023407 2021-02-17
JP2021023407 2021-02-17

Publications (1)

Publication Number Publication Date
WO2022176808A1 true WO2022176808A1 (ja) 2022-08-25

Family

ID=82930611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005712 WO2022176808A1 (ja) 2021-02-17 2022-02-14 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20240008785A1 (ja)
JP (1) JPWO2022176808A1 (ja)
WO (1) WO2022176808A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074589A1 (ja) * 2021-10-28 2023-05-04 株式会社センシング 情報処理装置、情報処理システム、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117958821B (zh) * 2024-03-11 2024-07-23 中国人民解放军海军特色医学中心 一种用于情绪感知的探究实验***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013027570A (ja) * 2011-07-28 2013-02-07 Panasonic Corp 心理状態評価装置、心理状態評価システム、心理状態評価方法およびプログラム
US20130298044A1 (en) * 2004-12-30 2013-11-07 Aol Inc. Mood-based organization and display of co-user lists
JP2015009047A (ja) * 2013-07-01 2015-01-19 国立大学法人長岡技術科学大学 感性状態判定装置、感性状態判定方法及び感性状態判定用コンピュータプログラム
JP2019004924A (ja) * 2017-06-20 2019-01-17 株式会社東芝 システム及び方法
JP2019185230A (ja) * 2018-04-04 2019-10-24 学校法人明治大学 会話処理装置、会話処理システム、会話処理方法及びプログラム
JP2020074805A (ja) * 2018-11-05 2020-05-21 株式会社安藤・間 ドライバーの状態推定方法及び装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130298044A1 (en) * 2004-12-30 2013-11-07 Aol Inc. Mood-based organization and display of co-user lists
JP2013027570A (ja) * 2011-07-28 2013-02-07 Panasonic Corp 心理状態評価装置、心理状態評価システム、心理状態評価方法およびプログラム
JP2015009047A (ja) * 2013-07-01 2015-01-19 国立大学法人長岡技術科学大学 感性状態判定装置、感性状態判定方法及び感性状態判定用コンピュータプログラム
JP2019004924A (ja) * 2017-06-20 2019-01-17 株式会社東芝 システム及び方法
JP2019185230A (ja) * 2018-04-04 2019-10-24 学校法人明治大学 会話処理装置、会話処理システム、会話処理方法及びプログラム
JP2020074805A (ja) * 2018-11-05 2020-05-21 株式会社安藤・間 ドライバーの状態推定方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074589A1 (ja) * 2021-10-28 2023-05-04 株式会社センシング 情報処理装置、情報処理システム、及びプログラム

Also Published As

Publication number Publication date
JPWO2022176808A1 (ja) 2022-08-25
US20240008785A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
Carneiro et al. New methods for stress assessment and monitoring at the workplace
Terzis et al. Measuring instant emotions based on facial expressions during computer-based assessment
US10376197B2 (en) Diagnosing system for consciousness level measurement and method thereof
Kaklauskas et al. Web-based biometric computer mouse advisory system to analyze a user's emotions and work productivity
Nacke An introduction to physiological player metrics for evaluating games
WO2022176808A1 (ja) 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
Harrison The Emotiv mind: Investigating the accuracy of the Emotiv EPOC in identifying emotions and its use in an Intelligent Tutoring System
Cernea et al. EEG-based measurement of subjective parameters in evaluations
Gervasi et al. Applications of affective computing in human-robot interaction: State-of-art and challenges for manufacturing
US20130172693A1 (en) Diagnosing system for consciousness level measurement and method thereof
Mattsson et al. Evaluating four devices that present operator emotions in real-time
Andrisevic et al. Detection of heart murmurs using wavelet analysis and artificial neural networks
Ahmadi et al. Quantifying occupational stress in intensive care unit nurses: An applied naturalistic study of correlations among stress, heart rate, electrodermal activity, and skin temperature
Weiß et al. Effects of image realism on the stress response in virtual reality
CN106175800A (zh) 一种基于人体运动状态数据的心境状态量化评估方法
JP2017224256A (ja) 診断システム、診断方法、サーバ装置、及びプログラム
KR20090027027A (ko) 인지적 자극 하에서 측정된 생체신호를 이용한 정신적질환분석방법
JP4378455B2 (ja) 心理状態測定装置
KR100397188B1 (ko) 실시간 종합 감성 평가 방법 및 그 시스템
Xavier et al. A Hybrid Evaluation Approach for the Emotional State of Information Systems Users.
US10820851B2 (en) Diagnosing system for consciousness level measurement and method thereof
Jaiswal et al. Effective assessment of cognitive load in real-world scenarios using wrist-worn sensor data
Kane et al. Technological developments in assessment
Küster et al. Measuring emotions online: Expression and physiology
Al-Musawi et al. Implementation and user testing of a system for visualizing continuous health data and events

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22756126

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023500826

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18277691

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22756126

Country of ref document: EP

Kind code of ref document: A1