WO2018100719A1 - メンタルストレス検出装置及びメンタルストレス検出プログラム - Google Patents
メンタルストレス検出装置及びメンタルストレス検出プログラム Download PDFInfo
- Publication number
- WO2018100719A1 WO2018100719A1 PCT/JP2016/085773 JP2016085773W WO2018100719A1 WO 2018100719 A1 WO2018100719 A1 WO 2018100719A1 JP 2016085773 W JP2016085773 W JP 2016085773W WO 2018100719 A1 WO2018100719 A1 WO 2018100719A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- mental stress
- correlation
- time
- index value
- stress detection
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4029—Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
- A61B5/4035—Evaluating the autonomic nervous system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Definitions
- the present invention relates to a detection apparatus and a detection program for detecting mental stress.
- Conventional mental stress detection uses Fourier transform for heart rate interval fluctuations, grasps parasympathetic and sympathetic nerve activities from its power spectrum, and converts the ratio of HFpower, LFpower and HFpower to a stress index.
- the mental stress was estimated using a table or the like (for example, Patent Document 1).
- the conventional mental stress detector uses Fourier transform, it can only evaluate stress at intervals of several minutes, and has a problem that it cannot follow the change of mental stress that changes in seconds.
- stress due to physical exercise may cause a decrease in parasympathetic activity level and an increase in sympathetic activity level.
- parasympathetic activity and sympathetic activity have been independently observed. Therefore, there was a problem that mental stress accompanying physical exercise could not be determined.
- This invention is intended to provide an apparatus that can follow changes in mental stress that changes in units of seconds and that can determine mental stress associated with physical exercise.
- the mental stress detection device of this invention is An index for calculating, from a plurality of heartbeat intervals RRI, a first index value serving as an index of parasympathetic activity over time and a second index value serving as an index of sympathetic activity over time
- a value calculator A correlation calculation unit that calculates a time-corresponding correlation that is a correlation between the first index value and the second index value and is correlated with the time.
- the mental stress detection apparatus of the present invention includes a correlation calculation unit, it is an object of the present invention to provide an apparatus that can follow changes in mental stress that changes in units of seconds and that can determine mental stress associated with physical exercise.
- FIG. 3 is a diagram illustrating the hardware configuration of the mental stress detection apparatus 10 according to the first embodiment.
- FIG. 3 is a diagram illustrating the software configuration of the mental stress detection apparatus 10 according to the first embodiment.
- FIG. 3 is a flowchart of the first half operation of the mental stress detection device 10 in the diagram of the first embodiment.
- FIG. 3 is a flowchart of the second half operation of the mental stress detection device 10 in the first embodiment.
- diagram for explaining the calculation of the standard deviation SD n and root mean square RM n diagram for explaining the calculation of the standard deviation SD n and root mean square RM n.
- FIG. 3 is a diagram of the first embodiment, in which the results detected by the mental stress detection device 10 are graphed.
- FIG. 7 is a diagram illustrating the event when the correlation coefficient is increased in the graph of FIG. 6 according to the first embodiment.
- FIG. 5 is a diagram of the first embodiment, and shows a modification of the hardware configuration of the mental stress detection device 10.
- Embodiment 1 FIG. A mental stress detection apparatus 10 will be described with reference to FIGS.
- FIG. 1 shows a hardware configuration of the mental stress detection device 10 and the pulse wave measurement device 20.
- the mental stress detection device 10 detects mental stress from the pulse wave waveform acquired as the pulse wave signal 25 from the pulse wave measurement device 20.
- a hardware configuration of the mental stress detection apparatus 10 will be described with reference to FIG.
- the mental stress detection device 10 is a computer.
- the mental stress detection apparatus 10 includes hardware such as a microprocessor 11, a memory 12, and a display 13.
- the microprocessor 11 is connected to other hardware via the signal line 11a and controls these other hardware.
- the microprocessor 11 is an IC (Integrated Circuit) that performs arithmetic processing. Specific examples of the microprocessor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
- a CPU Central Processing Unit
- DSP Digital Signal Processor
- GPU Graphics Processing Unit
- the memory 12 stores a program for realizing the functions of the mental stress detection device 10, data generated by the microprocessor 11, and data input to the mental stress detection device 10.
- Specific examples of the memory 12 include an HDD (Hard Disk Drive), an SD (Secure Digital) memory card, a CF (Compact Flash), a NAND flash, a flexible disk, an optical disk, a compact disk, a DVD (Digital Versatile Disk), and the like.
- the memory 12 may be a portable storage medium.
- the display unit 13 is controlled by the microprocessor 11.
- the microprocessor 11 detects an increase in mental stress, it displays the detection on the display 13.
- the mental stress detection apparatus 10 includes a heartbeat information output unit 100, an index value calculation unit 200, a correlation calculation unit 300, and a mental stress determination unit 400 as functional components.
- the functions of the heart rate information output unit 100, the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400 are realized by software.
- the memory 12 stores programs that realize the functions of the heartbeat information output unit 100, the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400. This program is read and executed by the microprocessor 11. Thus, the functions of the heart rate information output unit 100, the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400 are realized.
- the mental stress detection apparatus 10 may include a plurality of processors that replace the microprocessor 11.
- the plurality of processors share the execution of programs that realize the functions of the heart rate information output unit 100, the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400.
- Each processor is an IC that performs arithmetic processing in the same manner as the microprocessor 11.
- the pulse wave measuring device 20 measures a pulse wave from a person's earlobe 41 or finger 42.
- the LED 21 emits infrared rays, for example, and a change in blood flow is detected by the phototransistor 22.
- the amplifier 23 amplifies the output of the phototransistor 22.
- the AD converter 24 is an AD (Analog to Digital) converter that converts an analog signal output from the amplifier 23 into a digital signal and outputs the digital signal as a pulse wave signal 25 to the mental stress detection apparatus 10.
- the pulse wave signal 25 is a signal indicating a change in blood flow.
- the peak of blood flow is the peak of pulse wave.
- the peak of the pulse wave corresponds to the heartbeat, and the peak time of the pulse wave is the heartbeat time.
- the other system 30 receives the mental stress detected by the mental stress detection device 10 as a signal and performs logging and the like.
- FIG. 2 shows a software configuration of the mental stress detection apparatus 10.
- the heartbeat information output unit 100 receives the pulse wave signal 25 indicating the volume pulse wave from the pulse wave measuring device 20 and outputs the time of the heartbeat.
- the heart rate information output unit 100 receives the pulse wave signal 25 output from the AD converter 24 of the pulse wave measuring device 20 and calculates a time R n that is a peak of the pulse wave.
- Time R n is the peak time of the pulse wave is also the time of the heart beat.
- Time R n is, hereinafter referred to as the heartbeat time.
- the ratio SD n / RM n may be described as SD / RM n or SDRM n below.
- the heart rate interval RRI n , standard deviation SD n , root mean square RM n and ratio SD n / RM n will be described later.
- Correlation calculating unit 300 for a root mean square RM n and the ratio SD / RM n for outputting the index value calculation section 200 obtains a correlation coefficient r n.
- Mental stress determination unit 400 determines an output to correlation coefficient r n of the correlation calculating unit 300 performs the determining and mental stress is high lighted indicator 13, a notification to other systems 30.
- FIG. 3 is a flowchart showing the operation of the first half of the mental stress detection apparatus 10.
- FIG. 4 is a flowchart showing the second half operation of the mental stress detection apparatus 10.
- FIG. 5 is a diagram for explaining the calculation of the standard deviation SD n and the root mean square RM n .
- the outline of the operation of the mental stress detection apparatus 10 will be described with reference to FIGS.
- the operation of the mental stress detection apparatus 10 corresponds to a mental stress detection method.
- the operation of the mental stress detection apparatus 10 corresponds to the processing of a mental stress detection program.
- the respective frames shown in FIGS. 3 and 4 indicate the processes executed by the heart rate information output unit 100 and the like.
- S is added to the reference symbol as in the set time sleep processing (S101), and the data written to the file by the heart rate information output unit 100 includes the measurement value file (F107).
- F is added to the reference numeral.
- Writing to the file is writing to the memory 12.
- the pulse wave measuring device 20 is attached to the earlobe 41 or the finger 42 of the subject.
- the LED 21 and the phototransistor 22 sandwich the earlobe 41, and the phototransistor 22 captures changes in the blood flow of the subject.
- the amplifier 23 amplifies the output of the phototransistor 22, and the analog signal output from the amplifier 23 is converted into a digital signal by the AD converter 24. This digital signal is input to the microprocessor 11 as a pulse wave signal 25.
- Evaluation of mental stress is performed by the functions of the heart rate information output unit 100, the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400 executed by the microprocessor 11 in software. Depending on the evaluation result of the mental stress, display by the display unit 13 and notification to other systems 30 are performed.
- the heart rate information output unit 100 detects the peak of the pulse wave from the pulse wave signal 25 that is the output of the AD converter 24, and records the peak occurrence time.
- index value calculating section 200 when peak detection is notified from the heartbeat information output unit 100, the heartbeat interval RRI n is the peak interval, standard deviation SD n heartbeat interval RRI n, and heart interval RRI n adjacent calculates a difference RD root mean square RM n of n, the ratio SD n / RM n is the ratio of the standard deviation SD n and root mean square RM n the heartbeat interval RRI n-1.
- the correlation calculating unit 300 is called by the index value calculating section 200 calculates a Sekiritsu correlation coefficient r n of the root mean square RM n and the ratio SD n / RM n.
- mental stress determination unit 400 is called from the correlation calculation unit 300, evaluates the correlation coefficient r n.
- Factor correlation coefficients r n is a value ranging from -1.0 to +1.0, correlation coefficient r n is determined by the threshold.
- Threshold is a preset value, if the correlation coefficient r n exceeds the threshold, mental stress determination unit 400 determines that mental stress is high.
- a suitable threshold value is about -0.2.
- the mental stress determination unit 400 displays the display unit 13. Furthermore, mental stress determination unit 400 transmits a correlation coefficient r n to other systems 30.
- the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400 are notified by the heart rate information output unit 100, that is, by the notification by the notification process (S106) to the index value calculation unit. It is executed for each detection.
- the index value calculation unit 200 or the like may be a process or thread independent of the heart rate information output unit 100, in addition to the case where it is executed by the notification process to the index value calculation unit (S106).
- the index value calculation unit 200 or the like may be executed as a subroutine of the heart rate information output unit 100.
- the heart rate information output unit 100 periodically operates by the set time sleep process (S101) in order to evaluate the pulse wave signal 25 output by the AD converter 24 according to the sampling period.
- the set time sleep process (S101) refers to the pulse wave signal 25 output from the AD converter 24 at the set sampling period.
- the sampling period of the set time sleep process (S101) is about 500 Hz to 1000 Hz.
- the AD conversion value Read and the recording process (S102) are periodically executed. Each time, the pulse wave signal 25 is read and recorded in the measurement value file (F107).
- the fluctuation evaluation process (S103) is evaluated with reference to the measurement value recorded in the measurement value file (F107).
- the pulse wave signal 25 is evaluated based on the threshold value and the differential value of the pulse wave signal 25.
- the fluctuation evaluation process (S103) is executed each time the pulse wave signal 25 is read, and refers to the measurement value file (F107).
- fluctuation is evaluated by an arbitrary algorithm.
- the peak determination process (S104) it is determined whether the pulse wave signal 25 is a peak based on the result of the evaluation by the fluctuation evaluation process (S103).
- the peak determination process (S104) if the pulse wave signal 25 is a peak, the time recording process (S105) is executed. If it is not a peak, the sleep state is set by the set time sleep process (S101) until the next sampling period. If the peak determination process (S104) is a peak, the peak time is recorded in the peak time file (F108) by the time recording process (S105), and the index value is calculated by the notification process (S106) to the index value calculation unit. The unit 200 is notified that the peak of the pulse wave signal 25 has been detected.
- the control returns from the notification process to the index value calculation unit (S106) to the set time sleep process (S101).
- an accuracy of about 1/1000 second is preferable. If the accuracy is about 1/1000 second, it may be a counter value in milliseconds after the microprocessor 11 is started.
- the time or the counter value from the boot of the microprocessor 11 is recorded in the peak time file (F108). Also, the time recording process (S105) operates the notification process to the index value calculation unit (S106), notifies the index value calculation unit 200 of the occurrence of a peak, and enters the sleep state until the next sampling cycle.
- RRI calculation processing (S201) refers to the peak time file (F 108), the peak time R n, obtains the difference between the peak time R n-1 of the immediately preceding a heartbeat interval RRI n, the beat-to-beat RRI n It records in the RRI file (F206) which is a file of heartbeat interval RRI.
- the RRI calculation process calculates the heartbeat interval RRI.
- Occurrence time of the peak is cardiac time R n.
- the time of occurrence of the peak that is, when a certain heartbeat time and R n, and heart time R n, beat-to-beat RRI n is the difference between the heartbeat time R n-1 of the immediately preceding heartbeat time R n becomes Equation 1.
- RRI n R n -R n-1 (Formula 1)
- the standard deviation SD of the heart rate interval RRI is obtained for a range that is traced back m times, and is recorded in an SD file (F207) that is a file of the standard deviation SD.
- FIG. 5 shows an outline in which the standard deviation SD of the heartbeat interval RRI is calculated retroactively m times.
- the heart rate interval RRI n indicates the current heart rate interval
- the heart rate interval RRI n ⁇ 1 indicates the heart rate interval immediately before the heart rate interval RRI n .
- SD calculation process calculates a standard deviation SD n heartbeat interval RRI n.
- the standard deviation SD n is expressed by Equation 3.
- Expression 2 is an expression for obtaining an average of the heartbeat interval RRI. More specifically, the object of retrospectively regarding the peak of m pulse waves is that the standard deviation SD n , root mean square RM n, etc. from RRI n ⁇ m to RRI n in FIG. Is calculated.
- the root mean square RM in a range that is traced back by m with respect to the difference between adjacent RRI n is obtained and recorded in the RM file (F208) that is a file in which the root mean square RM is recorded.
- FIG. 5 shows an outline in which the root mean square RM is calculated retroactively m times below the standard deviation SD.
- the RM calculation processing (S203) obtains the root mean square RM n of the difference between adjacent cardiac intervals RRI n.
- the root mean square RM n is given by Equation 5.
- Expression 4 is an expression for obtaining a difference RD n between adjacent heartbeat intervals RRI n .
- the SD / RM calculation process (S204) refers to the SD file (F207) and the RM file (F208), obtains the ratio SD / RM for the same time, and stores it in the SD / RM file (F209). .
- the correlation calculation unit calling process (S205) calls the correlation calculation unit 300. Equation 6, SD / RM calculating process (S204) is calculated, it is the standard deviation SD n and root mean square RM n and the ratio SD / RM n indicating the ratio of.
- the root mean square RM n is correlated with parasympathetic activity and the ratio SD / RM n is correlated with sympathetic activity.
- Root mean square RM n is the first index value indicative of activities of parasympathetic over time.
- the ratio SD / RM n is the second index value indicative of activities of sympathetic over time.
- Correlation coefficient calculation processing refers to the RM file (F 208) and SD / RM file (F 209) calculates a correlation coefficient r n, records the correlation coefficient file (F 303) To do.
- the calling process (S302) of the mental stress determination unit calls the mental stress determination unit 400.
- Correlation calculation section 300 evaluates the correlation between root mean square RM n and ratio SD / RM n .
- the root mean square RM n and the ratio SD / RM n have a negative correlation, but when mental stress increases, the negative correlation between the root mean square RM n and the ratio SD / RM n Is lost.
- the correlation coefficient r n, in the setting section L n which is shown in Equation 9 as L n, to evaluate the correlation between the root mean square RM n the ratio SD / RM n.
- the number of L n is preferably 20 to 30, but is not limited thereto.
- Equation 9 When the section to the m peak correlation coefficient r n becomes Equation 9.
- the product-moment correlation coefficient r n is a correlation between the root mean square RM n that is the first index value and the ratio SD / RM n that is the second index value, and is a correlation associated with the time. It is a time correspondence correlation. Is a time corresponding correlation product moment correlation coefficient r n, the value is determined with respect to time.
- Equation 7 is an equation for obtaining an average of the root mean square RM n.
- Equation 8 is an equation for obtaining an average of the ratio SD / RM n.
- i, m, n, etc. in the formula of ⁇ are closed in the formula. That means I, n, m in Equation 7 are used only in Equation 7, I, n, m in Equation 8 are used only in Equation 8, I, n, and L n in Equation 9 are used only in Equation 9.
- Correlation coefficient evaluation process (S401) compares evaluate the correlation coefficient r n that is recorded in the threshold correlation coefficient file (F 303). Correlation coefficient evaluation process (S401) determines whether to compare the correlation coefficient r n and the threshold, the comparison determination, with respect to human heart beat R n is measured, mental stress is increased.
- the determination threshold used by the correlation coefficient evaluation process (S401) is -0.2. ⁇ 0.2 ⁇ product moment correlation coefficient r n In this case, the correlation coefficient evaluation process (S401) determines that the mental stress is high, -0.2> product moment correlation coefficient r n In this case, the correlation coefficient evaluation process (S401) does not determine that the mental stress is high.
- the threshold determination process (S402) determines the evaluation result by the correlation coefficient evaluation process (S401). That is, the threshold determination process (S402) confirms whether the mental stress is determined to be high or not determined to be high by the correlation coefficient evaluation process (S401).
- the display device ON process (S403) turns on the display device 13 when it is determined that the mental stress is high by the threshold value determination process (S402).
- the display-off process (S404) when it is not determined that the mental stress is high, the display 13 is turned off.
- the determination result of the threshold determination process (S402) is notified to the other system 30.
- the notification process to the outside may notify other systems 30 of the data recorded in the correlation coefficient file (F303).
- another system 30 may execute the operation of the mental stress determination unit 400.
- the mental stress determination unit 400 is an output unit that can output at least one of the determination result by the threshold determination process (S402) and the data of the correlation coefficient file (F303).
- FIG. 6 is a graph of the results of logging by another system 30 when the mental stress detection apparatus 10 is applied.
- FIG. 7 is a diagram showing an event when the correlation coefficient increases in the graph of FIG. Graph 51 of FIG. 6 shows a Sekiritsu correlation coefficient r n on the horizontal axis the time and the vertical axis. Regarding the time, 9:53 on the left indicates 9:53.
- Table 52 in FIG. 7 shows events when the correlation coefficient increases.
- the graph 51 shows a case where the external notification process (S405) outputs the data of the correlation coefficient file (F303) to another system 30.
- FIG. 6 is an example in which the acquired data is graphed by another system 30.
- event correlation coefficient r n in the graph 51 of Figure 6 is raised, the operation like event table 52 in FIG. 7, the correlation is observed. Whether the driver is aware of the event can be determined from the degree of mental stress.
- the above example has the threshold value is -0.2, mental stress determination unit 400, correlation coefficient r n is a period not indicated a negative correlation, and high metal stress than other Period You may judge.
- the termination process (S406) completes the processes after the RRI calculation process (S201) executed by the notification process (S106) to the index value calculation unit.
- the correlation calculator 300 calculates the root mean square RM n, the correlation coefficient r n is a correlation between the ratio SD / RM n.
- the correlation coefficient r n to calculate the correlation computing unit 300, since it is the time corresponding correlation associated with the time, it is possible to follow the mental stress change which changes in seconds.
- Embodiment 1 Although a configuration to measure the heart rate R n in the pulse wave measuring device 20 may be replaced with pulse meter 20 to electrocardiograph. However, when an electrocardiograph is used, the number of probes connected to the subject increases as compared with the case where the pulse wave measuring device 20 measures the pulse wave. In addition, it may be difficult to detect the heart rate interval RRI n unless the influence of myoelectricity due to movement of the arm or the like is removed by a filter or the like.
- the peak determination process (S104) of the heart rate information output unit 100 may be processed by the DSP built in the pulse wave measuring device 20.
- the pulse wave signal 25 is not a value indicating blood flow, but an interrupt signal at the timing when a peak is detected, and the time recording process (S105) is started by the interrupt process.
- This method eliminates the need for the microprocessor 11 to evaluate the pulse wave signal 25 at every sampling period, and is suitable for application in a microprocessor having a low processing capability.
- FIG. 8 is a diagram showing the processing circuit 910.
- the functions of the heart rate information output unit 100, the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400 are realized by software.
- FIG. 8 is a diagram showing a processing circuit 910 as a modified example.
- the functions of the heart rate information output unit 100, the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400 may be realized by hardware. That is, the functions of the heartbeat information output unit 100, the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400 shown as the microprocessor 11 described above by the processing circuit 910, and the function of the memory 12 described above, Realized.
- the processing circuit 910 is connected to the signal line 911.
- the processing circuit 910 is an electronic circuit. Specifically, the processing circuit 910 is a single circuit, a composite circuit, a programmed processor, a processor programmed in parallel, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), or FPGA (Field-Programmable / Gate / Array).
- the functions of the heart rate information output unit 100, the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400 may be realized by a combination of software and hardware.
- the microprocessor 11 and the processing circuit 910 are collectively referred to as “processing circuit”.
- the functions of the heart rate information output unit 100, the index value calculation unit 200, the correlation calculation unit 300, and the mental stress determination unit 400 are realized by a processing circuit.
- the operation of the mental stress detection apparatus 10 can also be grasped as a mental stress detection program. Further, the operation of the mental stress detection device 10 can be grasped as a mental stress detection method.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Cardiology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Neurosurgery (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Operations Research (AREA)
- Algebra (AREA)
Abstract
メンタルストレス検出装置(10)は、指標値算出部(200)及び相関算出部(300)を備えている。指標値算出部(200)は、心拍間隔(RRIn)の標準偏差(SDn)、時間的に隣接する心拍間隔(RRIn)どうしの差(RDn)の二乗平均平方根(RMn)、及び標準偏差(SDn)と二乗平均平方根(RMn)との比(SDn/RMn)を計算する。二乗平均平方根(RMn)は副交感神経の活動と相関があり、比(SDn/RMn)は交感神経の活動と相関がある。相関算出部(300)は二乗平均平方根(RMn)と比(SDn/RMn)との相関であって、時刻に対応付けられる相関である積率相関係数(rn)を算出する。
Description
この発明は、メンタルストレスを検出する、検出装置及び検出プログラムに関する。
従来のメンタルストレスの検出は、心拍間隔の変動に対してフーリエ変換を行い、そのパワースペクトルから副交感神経と交感神経の活動を把握して、HFpowerと、LFpowerとHFpowerとの比をストレス指数に変換するテーブル等によってメンタルストレスの推定を行っていた(例えば、特許文献1)。
従来のメンタルストレス検出器は、フーリエ変換を用いるため数分間隔のストレスの評価しかできず秒単位で変化するメンタルストレスの変化に追従できない課題があった。
また、肉体的な運動によるストレスによっても副交感神経の活動レベルの低下、交感神経の活動レベルの上昇が発生するが、従来では副交感神経の活動状況と、交感神経の活動状況とを独立に観測していたため、肉体的な運動に伴うメンタルストレスを判定ができないという課題があった。
また、肉体的な運動によるストレスによっても副交感神経の活動レベルの低下、交感神経の活動レベルの上昇が発生するが、従来では副交感神経の活動状況と、交感神経の活動状況とを独立に観測していたため、肉体的な運動に伴うメンタルストレスを判定ができないという課題があった。
この発明は、秒単位で変化するメンタルストレスの変化に追従でき、また、肉体的な運動に伴うメンタルストレスを判定できる装置の提供を目的とする。
この発明のメンタルストレス検出装置は、
時間経過に伴う副交感神経の活動状況の指標となる第1の指標値と、時間経過に伴う交感神経の活動状況の指標となる第2の指標値とを、複数の心拍間隔RRIから算出する指標値算出部と、
前記第1の指標値と前記第2の指標値との相関であって、時刻に対応付けられる相関である時刻対応相関を算出する相関算出部と
を備える。
時間経過に伴う副交感神経の活動状況の指標となる第1の指標値と、時間経過に伴う交感神経の活動状況の指標となる第2の指標値とを、複数の心拍間隔RRIから算出する指標値算出部と、
前記第1の指標値と前記第2の指標値との相関であって、時刻に対応付けられる相関である時刻対応相関を算出する相関算出部と
を備える。
この発明のメンタルストレス検出装置は相関算出部を備えたので、秒単位で変化するメンタルストレスの変化に追従でき、また、肉体的な運動に伴うメンタルストレスを判定できる装置の提供を目的とする。
実施の形態1.
図1から図8を参照してメンタルストレス検出装置10を説明する。
図1から図8を参照してメンタルストレス検出装置10を説明する。
***構成の説明***
図1は、メンタルストレス検出装置10及び脈波計測装置20のハードウェア構成を示す。メンタルストレス検出装置10は、脈波計測装置20から脈波信号25として取得する脈波の波形から、メンタルストレスを検知する。図1を参照して、メンタルストレス検出装置10のハードウェア構成を説明する。
図1は、メンタルストレス検出装置10及び脈波計測装置20のハードウェア構成を示す。メンタルストレス検出装置10は、脈波計測装置20から脈波信号25として取得する脈波の波形から、メンタルストレスを検知する。図1を参照して、メンタルストレス検出装置10のハードウェア構成を説明する。
メンタルストレス検出装置10はコンピュータである。メンタルストレス検出装置10は、マイクロプロセッサ11、メモリ12、及び表示器13というハードウェアを備える。マイクロプロセッサ11は、信号線11aを介して他のハードウェアと接続され、これら他のハードウェアを制御する。
マイクロプロセッサ11は、演算処理を行うIC(Integrated Circuit)である。マイクロプロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
メモリ12は、メンタルストレス検出装置10の機能を実現するためのプログラム、マイクロプロセッサ11によって生成されたデータ及びメンタルストレス検出装置10に入力されたデータを記憶する。メモリ12は、具体例としては、HDD(Hard Disk Drive)、SD(Secure Digital)メモリカード、CF(CompactFlash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、DVD(Digital Versatile Disk)等である。メモリ12は可搬記憶媒体でもよい。
表示器13はマイクロプロセッサ11によって制御される。マイクロプロセッサ11はメンタルストレスの上昇を検知したときに、表示器13に検知を表示する。
メンタルストレス検出装置10は、機能構成要素として、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400を備える。心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能は、ソフトウェアにより実現される。メモリ12には、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能を実現するプログラムが記憶されている。このプログラムは、マイクロプロセッサ11により読み込まれて実行される。これにより、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能が実現される。
図1では、マイクロプロセッサ11は1つだけ示されている。しかし、メンタルストレス検出装置10は、マイクロプロセッサ11を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能を実現するプログラムの実行を分担する。それぞれのプロセッサは、マイクロプロセッサ11と同じように、演算処理を行うICである。
脈波計測装置20は、人の耳朶41または指42から脈波を計測する。LED21は、例えば赤外線を発し、血流の変化がフォトトランジスタ22に検知される。増幅器23は、フォトトランジスタ22の出力を増幅する。ADコンバータ24は、増幅器23の出力であるアナログ信号をデジタル信号に変換し、メンタルストレス検出装置10に脈波信号25として出力するAD(Analog to digital)コンバータである。脈波信号25は血流の変化を示す信号である。血流のピークは脈波のピークである。また、脈波のピークは心拍に対応し、脈波のピーク時刻は心拍時刻である。
他のシステム30は、メンタルストレス検出装置10が検知したメンタルストレスを信号として受信し、ロギングなどを行う。
図2は、メンタルストレス検出装置10のソフトウェア構成を示す。
心拍情報出力部100は、脈波計測装置20から容積脈波を示す脈波信号25を受信し、心拍の時刻を出力する。心拍情報出力部100は、脈波計測装置20のADコンバータ24が出力する脈波信号25を受信して、脈波のピークである時刻Rnを算出する。脈波のピーク時刻である時刻Rnは、心拍の時刻でもある。時刻Rnは、以下、心拍時刻と呼ぶ。
指標値算出部200は、心拍時刻Rnと心拍時刻Rn-1との間隔である心拍間隔RRIn(後述する、RRIn=Rn-Rn-1)、心拍間隔RRInの標準偏差である標準偏差SDn、隣接する心拍間隔RRInの差(後述するRDn=|RRIn-RRIn-1|)の二乗平均平方根である二乗平均平方根RMn、標準偏差SDnと、二乗平均平方根RMnとの比である比SDn/RMnを算出する。なお、比SDn/RMnは、以下では、SD/RMnあるいはSDRMnのように記載する場合がある。心拍間隔RRIn、標準偏差SDn、二乗平均平方根RMn及び比SDn/RMnは、後述する。
相関算出部300は、指標値算出部200の出力する二乗平均平方根RMnと比SD/RMnとについて、積率相関係数rnを求める。
メンタルストレス判定部400は、相関算出部300の出力する積率相関係数rnを判定し、メンタルストレスが高いと判定すると表示器13の点灯、他のシステム30への通知を行う。
***動作の説明***
図3及び図4は、メンタルストレス検出装置10の動作を示すフローチャートである。
図3は、メンタルストレス検出装置10の前半の動作を示すフローチャートである。
図4は、メンタルストレス検出装置10の後半の動作を示すフローチャートである。
図5は、標準偏差SDnと二乗平均平方根RMnとの算出を説明する図である。
図3~図4を参照してメンタルストレス検出装置10の動作の概要を説明する。メンタルストレス検出装置10の動作は、メンタルストレス検出方法に相当する。またメンタルストレス検出装置10の動作はメンタルストレス検出プログラムの処理に相当する。心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400について図3及び図4に示すそれぞれの枠が、心拍情報出力部100等によって実行される処理を示している。心拍情報出力部100によって実行される処理は設定時間スリープ処理(S101)のように符号にSを付しており、心拍情報出力部100によってファイルへ書き込まれるデータには計測値ファイル(F107)のように符号にFを付している。指標値算出部200、相関算出部300等についても同様である。ファイルへの書き込みは、メモリ12への書き込みである。
図3及び図4は、メンタルストレス検出装置10の動作を示すフローチャートである。
図3は、メンタルストレス検出装置10の前半の動作を示すフローチャートである。
図4は、メンタルストレス検出装置10の後半の動作を示すフローチャートである。
図5は、標準偏差SDnと二乗平均平方根RMnとの算出を説明する図である。
図3~図4を参照してメンタルストレス検出装置10の動作の概要を説明する。メンタルストレス検出装置10の動作は、メンタルストレス検出方法に相当する。またメンタルストレス検出装置10の動作はメンタルストレス検出プログラムの処理に相当する。心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400について図3及び図4に示すそれぞれの枠が、心拍情報出力部100等によって実行される処理を示している。心拍情報出力部100によって実行される処理は設定時間スリープ処理(S101)のように符号にSを付しており、心拍情報出力部100によってファイルへ書き込まれるデータには計測値ファイル(F107)のように符号にFを付している。指標値算出部200、相関算出部300等についても同様である。ファイルへの書き込みは、メモリ12への書き込みである。
脈波計測装置20が被験者の耳朶41または指42などに装着される。以下では、脈波計測装置20が被験者の耳朶41に装着されると想定する。LED21とフォトトランジスタ22は耳朶41を挟み込み、フォトトランジスタ22が被験者の血流の変化を捉える。フォトトランジスタ22の出力を増幅器23が増幅し、増幅器23の出力するアナログ信号をADコンバータ24がデジタル信号に変換する。このデジタル信号は脈波信号25としてマイクロプロセッサ11に入力される。マイクロプロセッサ11がソフトウェアで実行する心拍情報出力部100、指標値算出部200,相関算出部300及びメンタルストレス判定部400の機能によって、メンタルストレスの評価が行なわれる。メンタルストレスの評価結果に応じて、表示器13による表示及び他のシステム30への通知が行われる。
心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の動作の概要を説明する。
(1)まず、心拍情報出力部100が、ADコンバータ24の出力である脈波信号25から脈波のピークを検出しピークの発生時刻を記録する。
(2)ピーク検出時に指標値算出部200は、心拍情報出力部100から通知を受けて、ピーク間隔である心拍間隔RRIn、心拍間隔RRInの標準偏差SDn、隣接する心拍間隔RRInと心拍間隔RRIn-1との差RDnの二乗平均平方根RMn、標準偏差SDnと二乗平均平方根RMnとの比率である比SDn/RMnを算出する。心拍間隔RRInの標準偏差SDnと、隣接する心拍間隔の差RDnの二乗平均平方根RMnとを算出する区間は、直近のピークから遡ってm個の範囲であるが、m=20個程度が適当である。m個については、図5で述べる。
(3)相関算出部300は、指標値算出部200から呼び出され、二乗平均平方根RMnと比SDn/RMnとの積率相関係数rnを算出する。
(4)メンタルストレス判定部400は、相関算出部300から呼び出され、積率相関係数rnの評価を行う。積率相関係数rnは、-1.0から+1.0の範囲の値であるが、積率相関係数rnは、閾値によって判別される。閾値は予め設定されている値であり、積率相関係数rnが閾値を上回る場合は、メンタルストレス判定部400は、メンタルストレスが高いと判定する。閾値は-0.2程度が適当である。メンタルストレスが高い場合は、メンタルストレス判定部400は、表示器13を表示する。また、メンタルストレス判定部400は、積率相関係数rnを他のシステム30に送信する。
(1)まず、心拍情報出力部100が、ADコンバータ24の出力である脈波信号25から脈波のピークを検出しピークの発生時刻を記録する。
(2)ピーク検出時に指標値算出部200は、心拍情報出力部100から通知を受けて、ピーク間隔である心拍間隔RRIn、心拍間隔RRInの標準偏差SDn、隣接する心拍間隔RRInと心拍間隔RRIn-1との差RDnの二乗平均平方根RMn、標準偏差SDnと二乗平均平方根RMnとの比率である比SDn/RMnを算出する。心拍間隔RRInの標準偏差SDnと、隣接する心拍間隔の差RDnの二乗平均平方根RMnとを算出する区間は、直近のピークから遡ってm個の範囲であるが、m=20個程度が適当である。m個については、図5で述べる。
(3)相関算出部300は、指標値算出部200から呼び出され、二乗平均平方根RMnと比SDn/RMnとの積率相関係数rnを算出する。
(4)メンタルストレス判定部400は、相関算出部300から呼び出され、積率相関係数rnの評価を行う。積率相関係数rnは、-1.0から+1.0の範囲の値であるが、積率相関係数rnは、閾値によって判別される。閾値は予め設定されている値であり、積率相関係数rnが閾値を上回る場合は、メンタルストレス判定部400は、メンタルストレスが高いと判定する。閾値は-0.2程度が適当である。メンタルストレスが高い場合は、メンタルストレス判定部400は、表示器13を表示する。また、メンタルストレス判定部400は、積率相関係数rnを他のシステム30に送信する。
指標値算出部200、相関算出部300、メンタルストレス判定部400は、心拍情報出力部100の通知、つまり、指標値算出部への通知処理(S106)による通知によって、心拍情報出力部100によるピーク検出の都度、実行される。しかし、指標値算出部への通知処理(S106)によって実行される場合に他に、指標値算出部200等は、心拍情報出力部100と独立したプロセスあるいはスレッドでもよい。あるいは、指標値算出部200等は、心拍情報出力部100のサブルーチンとして実行されてもよい。
以下に、心拍情報出力部100等の詳しい動作を説明する。心拍情報出力部100は、ADコンバータ24がサンプリング周期に従って出力する脈波信号25を評価するため、設定時間スリープ処理(S101)によって周期的に動作する。図3において、設定時間スリープ処理(S101)は、ADコンバータ24が出力する脈波信号25を、設定されたサンプリング周期で参照する。設定時間スリープ処理(S101)のサンプリング周期は、500Hzから1000Hz程度である。
AD変換値Read及び記録処理(S102)は周期的に実行されることになり、その都度、脈波信号25を読み込み、計測値ファイル(F107)に記録する。
変動評価処理(S103)は、計測値ファイル(F107)に記録された計測値を参照して評価する。変動評価処理(S103)は、閾値及び脈波信号25の微分値によって、脈波信号25の評価を行う。変動評価処理(S103)は、脈波信号25が読み込まれる都度実行され、計測値ファイル(F107)を参照する。変動評価処理(S103)は、任意のアルゴリズムによって、変動を評価する。
ピーク判定処理(S104)は、変動評価処理(S103)による評価の結果に基づき、脈波信号25のピークであるかどうか判定を行う。ピーク判定処理(S104)は、脈波信号25のピークであれば時刻記録処理(S105)を実行し、ピークでなければ次のサンプリング周期まで設定時間スリープ処理(S101)によってスリープ状態になる。ピーク判定処理(S104)は、ピークであれば、時刻記録処理(S105)によってピーク時刻ファイル(F108)にピーク時刻の記録を行い、指標値算出部への通知処理(S106)によって、指標値算出部200に脈波信号25のピークを検出したことを通知する。ピーク判定処理(S104)がピークでないと判定した場合は、指標値算出部への通知処理(S106)から設定時間スリープ処理(S101)に制御が戻る。ピーク時刻を決めるためには、1/1000秒程度の精度が好ましい。1/1000秒程度の精度があれば、マイクロプロセッサ11が起動してからのミリ秒単位のカウンタ値であってもよい。
時刻記録処理(S105)は、ピーク時刻ファイル(F108)に時刻、もしくはマイクロプロセッサ11のブートからのカウンタ値を記録する。また、時刻記録処理(S105)は指標値算出部への通知処理(S106)を動作させて、ピーク発生を指標値算出部200に通知して、次のサンプリング周期までスリープ状態になる。RRI算出処理(S201)は、ピーク時刻ファイル(F108)を参照して、ピーク時刻Rnと、その直前のピーク時刻Rn-1との差を心拍間隔RRInとして求め、心拍間隔RRInを心拍間隔RRIのファイルであるRRIファイル(F206)に記録する。つまり指標値算出部200では、RRI算出処理(S201)が心拍間隔RRIを算出する。ピークの発生時刻は心拍時刻Rnである。ピークの発生時刻、つまり、ある心拍時刻をRnとすると、心拍時刻Rnと、心拍時刻Rnの直前の心拍時刻Rn-1との差である心拍間隔RRInは式1となる。
RRIn=Rn-Rn-1 (式1)
RRIn=Rn-Rn-1 (式1)
SD算出処理(S202)は、m個だけ遡った範囲について心拍間隔RRIの標準偏差SDを求め、標準偏差SDのファイルであるSDファイル(F207)に記録する。図5では、m個遡って、心拍間隔RRIの標準偏差SDが算出される概要を示している。心拍間隔RRInは現在の心拍間隔を示し、心拍間隔RRIn-1は、心拍間隔RRInの直前の心拍間隔を示している。
SD算出処理(S202)は、心拍間隔RRInの標準偏差SDnを算出する。図5に示すようにm個の脈波のピークについて遡って対象として算出する場合、標準偏差SDnは式3となる。式2は心拍間隔RRIの平均を求める式である。さらに具体的に説明すれば、m個の脈波のピークについて遡って対象とするとは、図5においてRRIn-mからRRInまでを対象にして、標準偏差SDn、二乗平均平方根RMn等を算出することを意味する。
RM算出処理(S203)は、隣接するRRInの差についてm個だけ遡った範囲における二乗平均平方根RMを求め、二乗平均平方根RMが記録されるファイルであるRMファイル(F208)に記録する。図5では、標準偏差SDの下側に、m個遡って、二乗平均平方根RMが算出される概要を示している。RM算出処理(S203)では、隣接する心拍間隔RRInの差の二乗平均平方根RMnを求める。m個のピークについて遡って算出する場合、二乗平均平方根RMnは、式5となる。式4は隣接する心拍間隔RRInの差RDnを求める式である。
SD/RM算出処理(S204)は、SDファイル(F207)とRMファイル(F208)とを参照し、同じ時刻についての、それらの比SD/RMを求め、SD/RMファイル(F209)に記憶する。相関算出部の呼出処理(S205)は、相関算出部300を呼び出す。式6は、SD/RM算出処理(S204)が算出する、標準偏差SDnと二乗平均平方根RMnとの比を示す比SD/RMnのである。
二乗平均平方根RMnは副交感神経の活動に相関性があり、比SD/RMnは交感神経の活動に相関性がある。二乗平均平方根RMnは、時間経過に伴う副交感神経の活動状況の指標となる第1の指標値である。比SD/RMnは、時間経過に伴う交感神経の活動状況の指標となる第2の指標値である。
積率相関係数算出処理(S301)は、RMファイル(F208)とSD/RMファイル(F209)とを参照して積率相関係数rnを算出し、相関係数ファイル(F303)に記録する。
メンタルストレス判定部の呼出処理(S302)は、メンタルストレス判定部400を呼び出す。
積率相関係数算出処理(S301)の詳細を以下に説明する。相関算出部300は、二乗平均平方根RMnと比SD/RMnの相関性を評価する。人の平常状態では二乗平均平方根RMnと比SD/RMnとは、負の相関性があるが、メンタルストレスが高まると、二乗平均平方根RMnと比SD/RMnとの負の相関性が失われる。積率相関係数rnによって、式9にLnとして示している設定区間Lnにおける、二乗平均平方根RMnと比SD/RMnとの相関性を評価する。Lnの個数は20から30が好ましいが、これに限定されない。区間をm個のピークとすると、積率相関係数rnは、式9となる。積率相関係数rnは、第1の指標値である二乗平均平方根RMnと、第2の指標値である比SD/RMnとの相関であって、時刻に対応付けられる相関である時刻対応相関である。時刻対応相関である積率相関係数rnは、時刻に対して値が定まる。式7は、二乗平均平方根RMnの平均を求める式である。式8は、比SD/RMnの平均を求める式である。式7、式8及び式9のいずれの場合も、Σの式におけるi、m、n等は、その式の中で閉じている。つまり、
式7におけるi,n,mは、式7の中でのみ使用され、
式8におけるi,n,mは、式8の中でのみ使用され、
式9におけるi,n,Lnは、式9の中でのみ使用される。
式7におけるi,n,mは、式7の中でのみ使用され、
式8におけるi,n,mは、式8の中でのみ使用され、
式9におけるi,n,Lnは、式9の中でのみ使用される。
相関係数評価処理(S401)は、閾値と相関係数ファイル(F303)に記録されている積率相関係数rnとを比較評価する。相関係数評価処理(S401)は、積率相関係数rnと閾値とを比較し、比較判定によって、心拍Rnが計測されている人に関して、メンタルストレスが上昇しているかどうか判定する。相関係数評価処理(S401)が使用する判定の閾値は-0.2とする。
-0.2≦積率相関係数rn
の場合、相関係数評価処理(S401)はメンタルストレスが高いと判定し、
-0.2>積率相関係数rn
の場合、相関係数評価処理(S401)は、メンタルストレスが高いとは判定しない。
-0.2≦積率相関係数rn
の場合、相関係数評価処理(S401)はメンタルストレスが高いと判定し、
-0.2>積率相関係数rn
の場合、相関係数評価処理(S401)は、メンタルストレスが高いとは判定しない。
閾値判定処理(S402)は、相関係数評価処理(S401)による評価結果を判定する。つまり、閾値判定処理(S402)は、相関係数評価処理(S401)によって、メンタルストレスが高いと判定されたか、あるいは、メンタルストレスが高いとは判定されなかったかを確認する。
表示器ON処理(S403)は、閾値判定処理(S402)によってメンタルストレスが高いと判定された場合に、表示器13をONにする。表示器OFF処理(S404)は、メンタルストレスが高いとは判定されなかった場合、表示器13のOFFにする。外部への通知処理(S405)は、閾値判定処理(S402)による判定結果を、他のシステム30に通知する。
あるいは、外部への通知処理(S405)は、相関係数ファイル(F303)に記録されているデータを、他のシステム30に通知してもよい。そして、他のシステム30がメンタルストレス判定部400の動作を実行してもよい。つまり、メンタルストレス判定部400は、閾値判定処理(S402)による判定結果と、相関係数ファイル(F303)のデータとの少なくともいずれかを出力することができる出力部である。
図6は、メンタルストレス検出装置10を適用した場合の、他のシステム30にてロギングした結果をグラフ化したものである。
図7は、図6のグラフで相関係数が上昇したときの事象を示す図である。図6のグラフ51は横軸に時刻、縦軸に積率相関係数rnを示している。時刻については、左側の9:53は9時53分を示している。図7の表52は、相関係数が上昇したときの事象を示している。グラフ51は、外部への通知処理(S405)が、相関係数ファイル(F303)のデータを他のシステム30に出力した場合を示している。図6は他のシステム30により、取得したデータをグラフ化した例である。図6のグラフ51の積率相関係数rnが上昇している事象と、図7の表52の運転状の事象には、相関性が見られる。運転者が事象に気が付いているかどうかメンタルストレスの程度から判定できる。上記の例では閾値を-0.2としているが、メンタルストレス判定部400は、積率相関係数rnが、負の相関を示さない期間を、他の期間よりもメタルストレスの高い期間と判定してもよい。
図6は、メンタルストレス検出装置10を適用した場合の、他のシステム30にてロギングした結果をグラフ化したものである。
図7は、図6のグラフで相関係数が上昇したときの事象を示す図である。図6のグラフ51は横軸に時刻、縦軸に積率相関係数rnを示している。時刻については、左側の9:53は9時53分を示している。図7の表52は、相関係数が上昇したときの事象を示している。グラフ51は、外部への通知処理(S405)が、相関係数ファイル(F303)のデータを他のシステム30に出力した場合を示している。図6は他のシステム30により、取得したデータをグラフ化した例である。図6のグラフ51の積率相関係数rnが上昇している事象と、図7の表52の運転状の事象には、相関性が見られる。運転者が事象に気が付いているかどうかメンタルストレスの程度から判定できる。上記の例では閾値を-0.2としているが、メンタルストレス判定部400は、積率相関係数rnが、負の相関を示さない期間を、他の期間よりもメタルストレスの高い期間と判定してもよい。
終了処理(S406)は、指標値算出部への通知処理(S106)によって実行された、RRI算出処理(S201)以降の処理を完了する。
***実施の形態1の効果***
実施の形態1のメンタルストレス検出装置10によれば、相関算出部300が、二乗平均平方根RMnと、比SD/RMnとの相関である積率相関係数rnを算出する。よって、肉体的な運動によって生じるメンタルストレスを判定することができる。
また、相関算出部300の算出する積率相関係数rnは、時刻に対応付けられる時刻対応相関であるので、秒単位で変化するメンタルストレス変化に追従することができる。
実施の形態1のメンタルストレス検出装置10によれば、相関算出部300が、二乗平均平方根RMnと、比SD/RMnとの相関である積率相関係数rnを算出する。よって、肉体的な運動によって生じるメンタルストレスを判定することができる。
また、相関算出部300の算出する積率相関係数rnは、時刻に対応付けられる時刻対応相関であるので、秒単位で変化するメンタルストレス変化に追従することができる。
<変形例1>
以上の実施の形態1は、心拍Rnを脈波計測装置20で計測する構成であるが、脈波計測装置20を心電図計に置き換えてもよい。但し、心電図計を使用する場合は、被験者に繋ぐプローブの数が脈波計測装置20で脈波を計測する場合と比較して増える。また、腕などの動作による筋電の影響を、フィルタ等で除去しなければ、心拍間隔RRInの検出が難しい場合がある。
以上の実施の形態1は、心拍Rnを脈波計測装置20で計測する構成であるが、脈波計測装置20を心電図計に置き換えてもよい。但し、心電図計を使用する場合は、被験者に繋ぐプローブの数が脈波計測装置20で脈波を計測する場合と比較して増える。また、腕などの動作による筋電の影響を、フィルタ等で除去しなければ、心拍間隔RRInの検出が難しい場合がある。
<変形例2>
脈波計測装置20の内蔵するDSPによって、心拍情報出力部100のピーク判定処理(S104)までを処理してもよい。その場合、脈波信号25は血流を示す値ではなく、ピークを検出したタイミングの割り込み信号となり、時刻記録処理(S105)が割り込み処理によって起動される。この方法は、マイクロプロセッサ11がサンプリング周期ごとに脈波信号25を評価する必要がなくなり、処理能力が低いマイクロプロセッサでの適用に適している。
脈波計測装置20の内蔵するDSPによって、心拍情報出力部100のピーク判定処理(S104)までを処理してもよい。その場合、脈波信号25は血流を示す値ではなく、ピークを検出したタイミングの割り込み信号となり、時刻記録処理(S105)が割り込み処理によって起動される。この方法は、マイクロプロセッサ11がサンプリング周期ごとに脈波信号25を評価する必要がなくなり、処理能力が低いマイクロプロセッサでの適用に適している。
<変形例3>
以上の実施の形態では、副交感神経及び交感神経の活動レベルを、それぞれ、二乗平均平方根RMn、比SD/RMnから評価する構成を述べた。この他、RRI算出処理(S201)の結果をフーリエ変換し、その周波数成分から副交感神経及び交感神経の活動レベルを導出し、積率相関係数算出処理(S301)において、両者の積率相関係数を算出する構成でもよい。但し、フーリエ変換から有意な結果を得るには数百回程度の心拍区間を対象とする必要があり、人の神経活動レベルの変化を短時間で捉えるのには適していない。
以上の実施の形態では、副交感神経及び交感神経の活動レベルを、それぞれ、二乗平均平方根RMn、比SD/RMnから評価する構成を述べた。この他、RRI算出処理(S201)の結果をフーリエ変換し、その周波数成分から副交感神経及び交感神経の活動レベルを導出し、積率相関係数算出処理(S301)において、両者の積率相関係数を算出する構成でもよい。但し、フーリエ変換から有意な結果を得るには数百回程度の心拍区間を対象とする必要があり、人の神経活動レベルの変化を短時間で捉えるのには適していない。
<***他の構成***>
図8は、処理回路910を示す図である。本実施の形態1では、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能は、はソフトウェアで実現される。図8は、変形例として、処理回路910を示す図である。本実施の形態1では、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能が、ハードウェアで実現されてもよい。つまり、処理回路910によって、前述したマイクロプロセッサ11として示す、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能と、前述したメモリ12の機能とが、実現される。処理回路910は信号線911に接続している。処理回路910は電子回路である。処理回路910は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate・Array)、ASIC(Application・Specific・Integrated・Circuit)、又は、FPGA(Field-Programmable・Gate・Array)である。
図8は、処理回路910を示す図である。本実施の形態1では、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能は、はソフトウェアで実現される。図8は、変形例として、処理回路910を示す図である。本実施の形態1では、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能が、ハードウェアで実現されてもよい。つまり、処理回路910によって、前述したマイクロプロセッサ11として示す、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能と、前述したメモリ12の機能とが、実現される。処理回路910は信号線911に接続している。処理回路910は電子回路である。処理回路910は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate・Array)、ASIC(Application・Specific・Integrated・Circuit)、又は、FPGA(Field-Programmable・Gate・Array)である。
別の変形例として、心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能が、ソフトウェアとハードウェアとの組合せで実現されてもよい。マイクロプロセッサ11及び処理回路910を総称して「プロセッシングサーキットリ」という。心拍情報出力部100、指標値算出部200、相関算出部300及びメンタルストレス判定部400の機能がプロセッシングサーキットリにより実現される。メンタルストレス検出装置10の動作をメンタルストレス検出プログラムと把握することもできる。またメンタルストレス検出装置10の動作をメンタルストレス検出方法と把握することもできる。
10 メンタルストレス検出装置、11 マイクロプロセッサ、11a 信号線、100 心拍情報出力部、S101 設定時間スリープ処理、S102 AD変換値Read及び記録処理、S103 変動評価処理、S104 ピーク判定処理、S105 時刻記録処理、S106 指標値算出部への通知処理、F107 計測値ファイル、F108 ピーク時刻ファイル、200 指標値算出部、S201 RRI算出処理、S202 SD算出処理、S203 RM算出処理、S204 SD/RM算出処理、S205 相関算出部の呼出処理、F206 RRIファイル、F207 SDファイル、F208 RMファイル、F209 SD/RMファイル、300 相関算出部、S301 積率相関係数算出処理、S302 メンタルストレス判定部の呼出処理、F303 相関係数ファイル、400 メンタルストレス判定部、S401 相関係数評価処理、S402 閾値判定処理、S403 表示器ON処理、S404 表示器OFF処理、S405 外部への通知処理、12 メモリ、13 表示器、20 脈波計測装置、21 LED、22 フォトトランジスタ、23 増幅器、24 ADコンバータ、25 脈波信号、30 他のシステム、41 耳朶、42 指、51 グラフ、52 表。
Claims (8)
- 時間経過に伴う副交感神経の活動状況の指標となる第1の指標値と、時間経過に伴う交感神経の活動状況の指標となる第2の指標値とを、複数の心拍間隔RRIから算出する指標値算出部と、
前記第1の指標値と前記第2の指標値との相関であって、時刻に対応付けられる相関である時刻対応相関を算出する相関算出部と
を備えるメンタルストレス検出装置。 - 前記指標値算出部は、
前記複数の心拍間隔RRIの標準偏差SDと、心拍間隔RRIどうしの差RDを対象とする二乗平均平方根RMとを算出し、前記標準偏差SDと前記二乗平均平方根RMとの比SD/RMを算出し、
前記相関算出部は、
前記時刻対応相関として、前記二乗平均平方根RMと前記比SD/RMとの相関を算出する請求項1に記載のメンタルストレス検出装置。 - 前記メンタルストレス検出装置は、さらに、
前記時刻対応相関から、メンタルストレスの程度を判定するメンタルストレス判定部を備える請求項1または請求項2に記載のメンタルストレス検出装置。 - 前記時刻対応相関は、時刻に対して値が定まり、
前記メンタルストレス判定部は、
前記時刻対応相関の値と閾値との比較により、前記メンタルストレスの程度を判定する請求項3に記載のメンタルストレス検出装置。 - 前記メンタルストレス判定部は、
前記時刻対応相関において、負の相関のない期間を、他の期間よりもメタルストレスの高い期間と判定する請求項3または請求項4に記載のメンタルストレス検出装置。 - 前記指標値算出部は、
前記第1の指標値と、前記第2の指標値とを、前記複数の心拍間隔RRIから、フーリエ変換を用いて算出する請求項1に記載のメンタルストレス検出装置。 - 前記メンタルストレス検出装置は、さらに、
判定結果と、時刻対応相関との少なくともいずれかを出力する出力部を備える請求項1から請求項6のいずれか1項に記載のメンタルストレス検出装置。 - コンピュータに、
時間経過に伴う副交感神経の活動状況の指標となる第1の指標値と、時間経過に伴う交感神経の活動状況の指標となる第2の指標値とを、複数の心拍間隔RRIから算出する処理と、
前記第1の指標値と前記第2の指標値との相関であって、時刻に対応付けられる相関である時刻対応相関を算出する処理と、
を実行させるメンタルストレス検出プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201680091112.XA CN109982638A (zh) | 2016-12-01 | 2016-12-01 | 精神压力检测装置和精神压力检测程序 |
PCT/JP2016/085773 WO2018100719A1 (ja) | 2016-12-01 | 2016-12-01 | メンタルストレス検出装置及びメンタルストレス検出プログラム |
JP2018553607A JP6537744B2 (ja) | 2016-12-01 | 2016-12-01 | メンタルストレス検出装置及びメンタルストレス検出プログラム |
US16/341,377 US20200054261A1 (en) | 2016-12-01 | 2016-12-01 | Mental stress detection device and computer readable medium |
DE112016007384.4T DE112016007384B4 (de) | 2016-12-01 | 2016-12-01 | Mentaler-Stress-Detektionseinrichtung und Mentaler-Stress-Detektionsprogramm |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/085773 WO2018100719A1 (ja) | 2016-12-01 | 2016-12-01 | メンタルストレス検出装置及びメンタルストレス検出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018100719A1 true WO2018100719A1 (ja) | 2018-06-07 |
Family
ID=62242350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/085773 WO2018100719A1 (ja) | 2016-12-01 | 2016-12-01 | メンタルストレス検出装置及びメンタルストレス検出プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200054261A1 (ja) |
JP (1) | JP6537744B2 (ja) |
CN (1) | CN109982638A (ja) |
DE (1) | DE112016007384B4 (ja) |
WO (1) | WO2018100719A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007167091A (ja) * | 2005-12-19 | 2007-07-05 | Makoto Kikuchi | 精神的ストレス検査装置 |
JP2016107095A (ja) * | 2014-12-05 | 2016-06-20 | 公立大学法人首都大学東京 | 睡眠段階判定装置、睡眠段階判定方法、及び睡眠段階判定プログラム、並びにストレス度判定方法 |
JP2016163698A (ja) * | 2015-02-27 | 2016-09-08 | 公立大学法人首都大学東京 | 精神状態判定方法及び精神状態判定プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100342820C (zh) * | 2004-02-26 | 2007-10-17 | 阮炯 | 一种心率变异性的预测度指标检测分析方法及仪器 |
US8155733B2 (en) * | 2009-05-15 | 2012-04-10 | Nanjing University | Lie detection method and system |
CN103892821A (zh) * | 2012-12-25 | 2014-07-02 | 中国科学院深圳先进技术研究院 | 基于心电信号的情感识别模型生成装置及其方法 |
JP6124011B2 (ja) * | 2013-10-21 | 2017-05-10 | テイ・エス テック株式会社 | 覚醒装置及びシート |
TWI557563B (zh) * | 2014-06-04 | 2016-11-11 | 國立成功大學 | 情緒調控系統及其調控方法 |
US10918323B2 (en) * | 2017-07-04 | 2021-02-16 | Panasonic Intellectual Property Management Co, Ltd. | Drowsiness detecting device, drowsiness detecting method, and program recording medium |
-
2016
- 2016-12-01 DE DE112016007384.4T patent/DE112016007384B4/de active Active
- 2016-12-01 CN CN201680091112.XA patent/CN109982638A/zh active Pending
- 2016-12-01 JP JP2018553607A patent/JP6537744B2/ja not_active Expired - Fee Related
- 2016-12-01 US US16/341,377 patent/US20200054261A1/en not_active Abandoned
- 2016-12-01 WO PCT/JP2016/085773 patent/WO2018100719A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007167091A (ja) * | 2005-12-19 | 2007-07-05 | Makoto Kikuchi | 精神的ストレス検査装置 |
JP2016107095A (ja) * | 2014-12-05 | 2016-06-20 | 公立大学法人首都大学東京 | 睡眠段階判定装置、睡眠段階判定方法、及び睡眠段階判定プログラム、並びにストレス度判定方法 |
JP2016163698A (ja) * | 2015-02-27 | 2016-09-08 | 公立大学法人首都大学東京 | 精神状態判定方法及び精神状態判定プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN109982638A (zh) | 2019-07-05 |
DE112016007384B4 (de) | 2021-01-21 |
JPWO2018100719A1 (ja) | 2019-07-04 |
US20200054261A1 (en) | 2020-02-20 |
JP6537744B2 (ja) | 2019-07-03 |
DE112016007384T5 (de) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3485806A1 (en) | Wearable device capable of detecting sleep apnea event and detection method thereof | |
US20180325457A1 (en) | Method to quantify photoplethysmogram (ppg) signal quality | |
JP6881289B2 (ja) | 疾患発症リスク予測装置、方法およびプログラム | |
EP2759259A2 (en) | Apparatus and method for measuring stress based on a behavior of a user | |
JP2015529488A5 (ja) | ||
US8382679B2 (en) | Autonomic nerve activity measuring apparatus and autonomic nerve activity measuring method | |
US9044147B2 (en) | Detection of noise during heart beat variation evaluation | |
JP2010234000A (ja) | 精神ストレス評価とそれを用いた装置と精神ストレス評価方法とそのプログラム | |
KR20190138733A (ko) | 휴대용 장치를 이용한 건강 표지자의 결정 | |
JP2014171589A (ja) | 心房細動解析装置およびプログラム | |
JP3729143B2 (ja) | 脈波計測装置 | |
JP6547838B2 (ja) | 診断支援装置、診断支援方法、診断支援プログラム | |
JPWO2010103817A1 (ja) | 自律神経バランス演算装置およびその方法 | |
US10980485B2 (en) | Measuring apparatus, measuring method and non-transitory computer readable medium | |
JPWO2015178439A1 (ja) | 睡眠時無呼吸の中枢型/閉塞型診断支援装置および診断支援方法、ならびに睡眠時無呼吸の中枢型/閉塞型診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
WO2018100719A1 (ja) | メンタルストレス検出装置及びメンタルストレス検出プログラム | |
JP3976279B1 (ja) | 血管機能検査装置とプログラム | |
JP2013192719A (ja) | 解析装置、解析プログラムおよび解析方法 | |
JP2016067480A (ja) | 生体情報検出装置 | |
JP7206663B2 (ja) | 検出装置、ウェアラブルセンシングデバイス、検出方法、およびプログラム | |
EP2938247B1 (en) | Method and apparatus for reducing motion artifacts in ecg signals | |
JP2013183845A (ja) | 拍動検出装置、電子機器及びプログラム | |
US10722135B2 (en) | Myogram determination from ECG signal | |
US20220044816A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
TWI682768B (zh) | 心率偵測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16922783 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018553607 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16922783 Country of ref document: EP Kind code of ref document: A1 |