WO2011004641A1 - 状態検出装置、状態検出方法及びプログラム - Google Patents

状態検出装置、状態検出方法及びプログラム Download PDF

Info

Publication number
WO2011004641A1
WO2011004641A1 PCT/JP2010/055010 JP2010055010W WO2011004641A1 WO 2011004641 A1 WO2011004641 A1 WO 2011004641A1 JP 2010055010 W JP2010055010 W JP 2010055010W WO 2011004641 A1 WO2011004641 A1 WO 2011004641A1
Authority
WO
WIPO (PCT)
Prior art keywords
class
group
state
monitored person
value
Prior art date
Application number
PCT/JP2010/055010
Other languages
English (en)
French (fr)
Inventor
宏次 小栗
圭史 岸本
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to CN201080031025.8A priority Critical patent/CN102473354B/zh
Priority to EP10796952.9A priority patent/EP2453427A4/en
Priority to US13/383,085 priority patent/US8786448B2/en
Priority to KR1020127003098A priority patent/KR101311552B1/ko
Publication of WO2011004641A1 publication Critical patent/WO2011004641A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a state detection device, a state detection method, and a program.
  • Patent Literature 1 Patent Literature 1, Patent Literature 2, and Non-Patent Literature 1 disclose state detection devices that evaluate driver activity.
  • the state detection device disclosed in Patent Document 1 calculates a standard deviation of the amount of movement of a vehicle that moves in a direction orthogonal to the traveling direction.
  • the state detection device detects the driver's arousal level based on the result of comparing the calculated minimum and maximum values of the standard deviation with a threshold value.
  • the state detection device disclosed in Patent Document 2 continuously detects the driver's line-of-sight direction for a predetermined period. This state detection device generates line-of-sight distribution information indicating the distribution in the detected line-of-sight direction. The state detection device determines whether or not the driver is driving the vehicle casually from the directionality of the line of sight indicated by the generated line-of-sight distribution information.
  • Non-Patent Document 1 detects a heart rate that varies depending on a driver's mental load as a feature amount. This state detection device detects a driver's driving load by performing feature value matching using AdaBoost.
  • the driver's driving tendency and the behavior pattern according to the driver's arousal level differ depending on the driver.
  • the state detection devices disclosed in Patent Documents 1 and 2 uniformly detect the state of the driver. For this reason, the state detection devices disclosed in Patent Documents 1 and 2 cannot accurately detect the individual state of the driver.
  • the state detection device disclosed in Non-Patent Document 1 detects the state of each driver based on the result of learning the driving tendency of each driver.
  • the state detection device disclosed in Non-Patent Document 1 only categorizes the driver's state into two types of states, normal operation and non-normal operation. For this reason, the state detection device disclosed in Non-Patent Document 1 cannot detect the degree of burden on the driver during non-normal driving.
  • the present invention has been made under the above-described circumstances, and an object thereof is to detect the state of each person being monitored according to the degree.
  • the state detection apparatus of the present invention includes a feature amount detection unit that detects information about a monitored person as a feature amount, the feature amount as an input value, and the target amount is based on the feature amount.
  • a feature amount detection unit that detects information about a monitored person as a feature amount, the feature amount as an input value, and the target amount is based on the feature amount.
  • the group to which the state of the monitored person belongs is identified, and information including the identified result is included.
  • the plurality of classes may be classified into the first group and the second group in a plurality of patterns.
  • the loss value calculation means may define the loss value by an exponential function.
  • each identification means indicates that the activity level of the monitored person is represented by W ⁇ ⁇ 1, 0, ⁇ 1 ⁇ p ⁇ G.
  • W the number of classes
  • each identification means indicates that the activity level of the monitored person is represented by W ⁇ ⁇ 1, 0, ⁇ 1 ⁇ p ⁇ G.
  • the loss value calculation means calculates the loss defined by an exponential function for each identification means and each class based on the code, the reliability, and the code table W output from each identification means. Further, the sum of losses corresponding to the same class may be obtained.
  • the class detection means may detect the class with the smallest sum of losses as the class to which the state of the monitored person belongs.
  • the information related to the monitored person may be biological information of the monitored person.
  • the biological information of the monitored person may include the line-of-sight information of the monitored person.
  • the biological information of the monitored person may include heartbeat information of the monitored person.
  • the state detection method of the present invention uses, as an input value, a feature amount that is an index indicating the state of the monitored person, and uses the activity level of the monitored person as an index based on the feature amount.
  • the program of the present invention uses a feature amount, which is an index indicating the state of the monitored person, as an input value to the computer, and indicates the activity level of the monitored person based on the feature amount.
  • the state of each person being monitored can be detected according to the degree.
  • FIG. 1 is a block diagram of a state detection device according to a first embodiment. It is a block diagram of an identification unit. It is a figure for demonstrating operation
  • the state detection device 10 acquires biological information of a driver who drives a car.
  • the state detection device 10 detects the driving state of each driver together with the degree based on the acquired biological information.
  • the state detection device 10 acquires the driver's biometric information, detects the feature amount of the driver, and detects the feature amount, and drives based on the feature amount detected by the biometric information acquisition device 20. And an identification device 30 for detecting the driving state of the person together with the degree of the driving state.
  • the biometric information acquisition device 20 acquires, as the driver's biometric information, for example, information related to the opening of the heel resulting from sleepiness and information related to the heartbeat frequency.
  • the biological information acquisition apparatus 20 acquires information on the eyelid opening by analyzing the eyelid image.
  • the biological information acquisition device 20 detects, as the feature amount a1, a value obtained by normalizing the driver's eyelid opening in the range of 0 to 1 using the acquired information on the eyelid opening.
  • the biological information acquisition device 20 acquires information on the heartbeat frequency by analyzing the RR interval.
  • the biometric information acquisition device 20 detects the frequency in the low frequency region of the driver's heartbeat interval variation as the feature amount a2 from the power spectrum of the heartbeat variation using the acquired information on the heartbeat frequency, and in the high frequency region. Is detected as a feature quantity a3.
  • the biological information acquisition device 20 outputs information x (a1, a2, a3) regarding the detected feature amount to the identification device 30.
  • information x (a1, a2, a3) relating to the feature amount is hereinafter simply referred to as input information x.
  • the identification device 30 detects a class to which the driving state of the driver belongs, for example, among three classes (class 1, class 2, and class 3) classified using the driver's activity as an index.
  • the identification device 30 includes an identification unit 40 and a class detection unit 50.
  • the driver's activity can be defined by the length of time (reaction time) until the driver takes action when the driver takes action in response to an external input.
  • the driver's reaction time tends to become longer due to drowsiness and reduced attention.
  • the driver's reaction time is measured in various situations.
  • the driver's state when the driver's reaction time is short is the normal state, and this is class 1.
  • the state of the driver when the driver's reaction time is long is class 3.
  • a state between two classes (class 1 and class 3) is defined as class 2.
  • the driver's state is divided into three classes.
  • the identification unit 40 includes an encoder 41, six identifiers 42 1 to 42 6, and a decoder 43.
  • the encoder 41 performs an encoding process using a code table W represented by the following equation (1).
  • p is the number of classifiers
  • G is the number of classes.
  • Each row of the code table W includes both “1” and “ ⁇ 1”.
  • the number of classes to which the operating state belongs is three.
  • the number of discriminators is six. Therefore, the code table W shown by the general formula of the following formula (1) is composed of 18 elements arranged in a matrix of 6 rows and 3 columns, as shown by the following formula (2).
  • the three elements in each row of the code table W correspond to class 1, class 2, and class 3, respectively, from left to right.
  • the three classes are classified into a first group consisting of classes corresponding to elements having a value of “1” and a second group consisting of classes corresponding to elements having a value of “ ⁇ 1”.
  • the number of classes in each group may be one or plural (two).
  • the class corresponding to the element whose value is 0 is excluded from the classification (not classified into the first group or the second group).
  • the three elements in the first row of the code table W mean that class 1 is classified into the first group, and class 2 and class 3 are classified into the second group.
  • the three elements in the second row of the code table W mean that class 2 is classified into the first group, and class 1 and class 3 are classified into the second group. Further, the three elements in the third row of the code table W mean that class 3 is classified into the first group, and class 1 and class 2 are classified into the second group.
  • the three elements in the fourth row of the code table W mean that class 1 is classified into the first group and class 2 is classified into the second group.
  • the three elements in the fifth row of the code table W mean that class 1 is classified into the first group and class 3 is classified into the second group.
  • the three elements in the sixth row of the code table W mean that class 2 is classified into the first group and class 3 is classified into the second group.
  • the encoder 41 associates the code 1 [1, ⁇ 1, ⁇ 1] including the three elements in the first row of the code table W with the input information x. I do.
  • the encoder 41 outputs the input information x that code 1 is associated to the identifier 42 1.
  • the encoder 41 includes code 2 [-1, 1, -1], code 3 [-1, -1, 1 and 3 elements each corresponding to the second to sixth lines of the code table W. ], Code 4 [1, -1, 0], code 5 [1, 0, -1], code 6 [0, 1, -1] and the input information x are respectively associated.
  • the encoder 41 outputs the corresponding code 2 to the input information x code 6 is associated, to the discriminators 42 2 to 42 6 corresponding to each code 2-6, respectively.
  • the discriminators 42 1 to 42 6 are binary discriminators that have been learned by AdaBoost and have the same configuration.
  • the discriminator 42 i classifies the plurality of classes into the first group and the second group based on the code i supplied thereto.
  • the discriminator 42 i is configured such that the driver state (active state) represented by the input information x (a1, a2, a3) is composed of a class to which the element “1” of the code i is assigned. Identify (discriminate) whether it belongs to the second group consisting of the class to which the element “ ⁇ 1” of the code i is assigned or not, and the reliability indicating the accuracy of the identification result and the identification result , Output to the decoder 43.
  • a code 1 [1, ⁇ 1, ⁇ 1] is supplied to the discriminator 42 1 .
  • the classifier 421 1 has the “driver state” represented by the input information x (a1, a2, a3) in the first group consisting of the class 1 (normal state) to which the element “1” is assigned. It is identified whether it is classified into a second group composed of class 2 (mandled state) and class 3 (mandested state) to which element “ ⁇ 1” is assigned. Thereafter, the classifier 42 1 outputs an output value h 1 (x) indicating the identification result and the reliability (likelihood).
  • the output value h 1 (x) is composed of a numerical value with a sign ( ⁇ ).
  • the sign of the output value h 1 (x) corresponds to the sign of the element constituting the code.
  • the identifier 42 1 indicates that the driving state of the driver represented by the input information x is in the first group (class 1). Indicates that it has been identified as belonging.
  • the sign of the output value h 1 (x) is ⁇ ( ⁇ 0)
  • the identifier 42 1 indicates that the driving state of the driver represented by the input information x is the second group (class 2). Or, it indicates that it has been identified as belonging to class 3).
  • the absolute value of the output value h 1 (x) indicates the reliability of the identification result identified by the classifier 42 1 .
  • the identifier 42 1 the state of the driver input information x is representative belongs and identifies the second group (Class 2 or 3), its reliability is
  • each of the discriminators 42 2 to 42 6 is composed of a class to which the element “1” is assigned to the “driver state” represented by the input information x in accordance with the corresponding codes 2 to 6, respectively. Whether it is classified into the first group or the second group composed of the class to which the element “ ⁇ 1” is assigned is identified.
  • Each discriminator 42 2 to 42 6 outputs each output value h 2 (x) to h 6 (x) corresponding to the discrimination result.
  • the identifier 42 2 the state of the driver input information x is representative, identified as belonging to the second group (Class 1 or 3), its reliability is
  • the discriminator 42 3 the state of the driver, identified as belonging to the first group (class 3), the reliability is
  • Discriminator 42 4 the state of the driver, belongs and identifies the second group (class 2), its reliability is
  • Identification 42 5 the state of the driver, identified as belonging to the second group (class 3), the reliability
  • Discriminator 42 6 the state of the driver, identified as belonging to the first group (class 2), its reliability is
  • the decoder 43 performs a decoding process using the code table W represented by the above equation (2).
  • each of the six elements in the first column of the code table W represents whether the class 1 is classified into the first group or the second group.
  • Each of the six elements in the second column of the code table W represents whether the class 2 is classified into the first group or the second group.
  • Each of the six elements in the third column of the code table W represents whether the class 3 is classified into the first group or the second group.
  • the output values of the discriminators 42 1 to 42 6 represent the Euclidean distance from the discrimination plane and are equivalent to the reliability of the discrimination result. Therefore, when the first group is defined by the element having the value “1” and the second group is defined by the element having the value “ ⁇ 1” as described above, the discriminator 42 1 ⁇ 42 6 output value h n of (x) is, the more the code is larger its value is positive, the operation state of the driver indicating that more likely belonging to the first group. Further, the output values h n discriminator 42 1 ⁇ 42 6 (x) is, the more its sign is small its value is negative (enough absolute value is large), tend to the operating state of the driver belonging to the second group Represents being strong.
  • the decoder 43 uses the output values of the discriminators 42 1 to 42 6 and the elements in the column direction of the code table W to calculate the loss values L 1 to L 3 corresponding to the classes 1 to 3, respectively. calculate.
  • a function represented by the following equation (3) is used for calculating the loss values L 1 to L 3 .
  • the loss value L 1 corresponding to class 1 is calculated as in the following equation (4).
  • the decoder 43 calculates a loss value L 2 and a loss value L 3 corresponding to class 2 and class 3, respectively.
  • the loss value L 2 is ⁇ 161667
  • the loss value L 3 is 153546.
  • the decoder 43 outputs the calculated loss values L 1 to L 3 to the class detection unit 50.
  • the class detection unit 50 detects the class corresponding to the smallest loss value among the loss values L 1 to L 3 output from the decoder 43.
  • the class detection unit 50 outputs the detected class to the outside as a class to which the driving state of the driver belongs. For example, as described above, when the loss value L 1 output from the decoder 43 is 7018, the loss value L 2 is ⁇ 161667, and the loss value L 3 is 153546, the class detection unit 50 determines the minimum loss value L 2. Class 2 corresponding to is output to the outside as a class to which the driving state of the driver belongs.
  • the state detection device 10 for example, based on the feature amount related to the driver represented by biological information such as the opening degree of the driver's eyelid, the frequency of the heartbeat, and the like.
  • the class to which the current driving state of the driver belongs is detected.
  • This class is one of the driving states of the driver divided into a plurality of classes using the driver's activity as an index. Therefore, based on the detected class, it is possible to detect the estimation result as to how much the driver's activity level is reduced regardless of the individual difference or the individual difference. Thereby, it becomes possible to provide driving assistance more appropriate for the driver.
  • the biological information of the driver is not limited to the above-described opening degree of the eyelid and the frequency of the heartbeat.
  • a plurality of pieces of biological information such as blood pressure and body temperature are further acquired, and the driving state is also taken into account.
  • the classifiers 42 1 to 42 6 are described as binary classifiers that have already been learned by Adaboost.
  • the present invention is not limited to this, and the discriminators 42 1 to 42 6 may be binary discriminators such as SVM (Support Vector Machine).
  • the ECOC Error Correcting Output Coding
  • class 1 is a normal driving state (a state where normal driving is possible)
  • class 2 is a non-normal driving state (sleeping, casual driving, fatigue driving, rush driving, stress
  • Class 3 can also be in a non-normal driving state and in a conversation with another person.
  • the number p of classes is not limited to 3 and is arbitrary.
  • the driving state of the driver may be divided into four or more classes using the driver's activity as an index.
  • the code table W is as shown in FIG.
  • the driver's driving state may be completely sleepless, slightly sleepy, sleepy, quite sleepy,
  • the activity level of the driver may be classified as an index into five classes corresponding to sleepy states.
  • the size W SIZE (number of rows) of the code table W can be obtained by the following equation.
  • the number of columns is equal to the class number G.
  • the code table W is fixed.
  • the encoder may be removed, and each discriminator may be configured to perform a binary determination that is assigned in advance.
  • the identification device 30 is configured as follows.
  • the encoder 41 is removed, and the input information x is directly input to the discriminators 42 1 to 42 6 .
  • the discriminator 421 1 determines whether the “driver state” represented by the input information x is classified into the first group consisting of class 1 or the second group consisting of class 2 and class 3. identified, the identifier 42 2, "driver's state", or being classified into the first group of class 2, identifies which from class 1 and class 3 is classified into the second group including ,. . .
  • Discriminator 42 6 "driver's state", or being classified into the first group of class 2, identifies which are classified from the class 3 to the second group composed, configured and so May be.
  • the inventors conducted an experiment using the state detection device of the present invention and a driving simulator in order to verify the effectiveness of the present invention.
  • the subjects are 3 men and women (21-23 years old), and the duration of one experiment is 20 minutes.
  • 10 experiments were conducted per subject.
  • a monotonous highway including a random S-curve was set for the driving simulator.
  • the state detection device of the present invention was able to detect the driving state of the driver with a correct answer rate of 93.56%. This accuracy rate is about 1.5 to 3 times higher than other methods.
  • the identification device 30 is realized by a general computer.
  • the state detection device 10 includes a biological information acquisition device 20 and an identification device 30 realized by a computer.
  • the identification device 30 connects a central processing unit (CPU) 30a, a main storage unit 30b, an auxiliary storage unit 30c, a display unit 30d, an input unit 30e, an interface unit 30f, and the units 30a to 30f.
  • System bus 30g a central processing unit (CPU) 30a, a main storage unit 30b, an auxiliary storage unit 30c, a display unit 30d, an input unit 30e, an interface unit 30f, and the units 30a to 30f.
  • CPU central processing unit
  • CPU30a performs the process mentioned later to the input information x acquired by the biometric information acquisition apparatus 20 according to the program memorize
  • the main storage unit 30b includes a RAM (Random Access Memory) and the like, and is used as a work area of the CPU 30a.
  • RAM Random Access Memory
  • the auxiliary storage unit 30c includes a non-volatile memory such as a ROM (Read Only Memory), a magnetic disk, and a semiconductor memory.
  • the auxiliary storage unit 30c stores programs executed by the CPU 30a, various parameters, and the like. Moreover, the information including the input information x output from the biometric information acquisition apparatus 20 and the processing result by the CPU 30a is sequentially stored.
  • the display unit 30d includes a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display), and displays the processing result of the CPU 30a.
  • CRT Cathode Ray Tube
  • LCD Liquid Crystal Display
  • the input unit 30e includes a pointing device such as a keyboard and a mouse.
  • the operator's instruction is input via the input unit 30e and notified to the CPU 30a via the system bus 30g.
  • the interface unit 30f includes a serial interface or a LAN (Local Area Network) interface.
  • the biological information acquisition device 20 is connected to the system bus 30g via the interface unit 30f.
  • This process is executed after the CPU 30a instructs the biometric information acquisition apparatus 20 to acquire biometric information and the input information x is input from the biometric information acquisition apparatus 20.
  • the CPU 30a has a code [1, -1, -1], code 2 [-1, 1, -1] each including three elements in the first to sixth lines of the code table W. , Code 3 [-1, -1, 1], code 4 [1, -1, 0], code 5 [1, 0, -1], code 6 [0, 1, -1] and input information x Associate with.
  • the CPU 30a classifies classes 1 to 3 into classes belonging to the first group and classes belonging to the second group based on the codes 1 to 6. Then, based on the input information x, the CPU 30a identifies whether the driving state of the driver belongs to the first group or the second group, and the identification values h 1 (x) to h according to the identification result 6 (x) is calculated.
  • the CPU 30a uses the identification values h 1 (x) to h 6 (x) and the elements in the column direction of the code table W, and the loss values L corresponding to the classes 1 to 3, respectively. to calculate the 1 ⁇ L 3.
  • the identification values h 1 (x) to h 6 (x) are ⁇ 2, ⁇ 7, 0.5, ⁇ 1, ⁇ 9, and 12, respectively, the corresponding loss value L 1 is calculated as the above formula (4).
  • the CPU 30a detects a class corresponding to the loss value having the smallest value among the calculated loss values L 1 to L 3 .
  • the CPU 30a assigns the class 2 corresponding to the minimum loss value L 2 to which the driving state of the driver belongs. Detect as a class.
  • step S105 the CPU 30a outputs information on the detected class to an external device or the like. Thereafter, the CPU 30a repeatedly executes the processing from step S101 to step S105.
  • the state detection device 10 for example, based on the feature amount related to the driver represented by biological information such as the opening degree of the driver's eyelid, the frequency of the heartbeat, and the like.
  • the class to which the current driving state of the driver belongs is detected.
  • This class is one of the driving states of the driver divided into a plurality of classes using the driver's activity as an index. Therefore, based on the detected class, it is possible to detect the fact of how much the driver's activity level is reduced, regardless of the individual difference or the individual difference. Thereby, it becomes possible to provide driving assistance more appropriate for the driver.
  • biometric information is used as information about the driver, but the present invention is not limited to this.
  • Information related to the driver includes, for example, information related to the vehicle such as the steering angle, the degree of wobbling of the vehicle, the timing of the brake, the speed and acceleration of the vehicle, the ambient environment such as the temperature and humidity in the passenger compartment, audio, Information regarding operation of equipment other than driving, such as operation of an air conditioner, may be acquired.
  • the state detection apparatus of the present invention may detect the class to which the driving state belongs in consideration of these information.
  • the state detection device 10 detects the state of the driver who drives the automobile
  • the present invention is not limited to this.
  • the state detection device of the present invention is also suitable for detecting the state of a driver or operator who drives a train, an airplane, or the like.
  • the driver's activity may be determined based on an index that varies depending on, for example, the sleepiness, fatigue level, etc. of the monitored person.
  • the driver's activity may be defined based on, for example, the accuracy of the driver's (monitored person's) operation, attention, or the like.
  • the loss value may be calculated using, for example, a sigmoid function.
  • the function of the identification device 30 can be realized by dedicated hardware or by a normal computer system.
  • the programs stored in the auxiliary storage unit 30c of the identification device 30 are a flexible disk, a CD-ROM (Compact Disk Read-Only Memory), a DVD (Digital Versatile Disk), an MO (Magneto- An apparatus that performs the above-described processing may be configured by storing and distributing in a computer-readable recording medium such as an optical disk) and installing the program in the computer.
  • a computer-readable recording medium such as an optical disk
  • the program may be stored in a disk device or the like of a predetermined server device on a communication network such as the Internet. For example, it may be superimposed on a carrier wave and downloaded to a computer.
  • the program may be activated and executed while being transferred via a communication network.
  • the program may be executed entirely or partially on the server device, and the above-described processing may be executed while transmitting / receiving information regarding the processing via the communication network.
  • the state detection device, state detection method, and program of the present invention are suitable for detecting the state of the monitored person.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Multimedia (AREA)

Abstract

　運転者の瞼の開度、心拍の周波数などの生体情報などに代表される運転者に関する特徴量を検出する。検出された特徴量をもとに、運転者の活性度合を指標として定められた複数のクラスが分類される第１グループと第２グループのうち、運転者の状態が属するグループを識別する。また、識別された結果を含む情報を出力値として出力し、その出力値から算出される損失値に基づいて、現在の運転者の状態が属するクラスを検出する。検出されたクラスにより、運転者の活性度がどの程度低下しているかという事実を、その度合いとともに検出することが可能となる。

Description

状態検出装置、状態検出方法及びプログラム
　本発明は、状態検出装置、状態検出方法及びプログラムに関する。
　運転者の活性度を評価する状態検出装置が、例えば特許文献１、特許文献２、及び非特許文献１に開示されている。
　特許文献１に開示された状態検出装置は、進行方向に直交する方向へ移動する車両の移動量の標準偏差を算出する。この状態検出装置は、算出された標準偏差の最小値及び最大値を閾値と比較した結果に基づいて、運転者の覚醒度合いを検出する。
　特許文献２に開示された状態検出装置は、運転者の視線方向を所定の期間継続して検出する。この状態検出装置は、検出された視線方向の分布を示す視線分布情報を生成する。当該状態検出装置は、生成された視線分布情報によって示される視線の方向性から、運転者が漫然に車両を運転しているかどうかを判断する。
　非特許文献１に開示された状態検出装置は、運転者の精神的負荷によって変動する心拍数を特徴量として検出する。この状態検出装置は、ＡｄａＢｏｏｓｔを用いて特徴量のマッチングを行って運転者の運転負荷を検出する。
特開２００８－２５０８５９号公報 特開２００８－２４３０３１号公報
情報処理学会論文誌vol.50 No. pp.171-180 (2009)
　運転者の運転の傾向や、運転者の覚醒の度合いに応じた行動パターンなどは、運転者によって異なる。しかしながら、特許文献１及び２に開示された状態検出装置は、運転者の状態を一様に検出する。このため、特許文献１及び２に開示された状態検出装置は、運転者個々の状態を正確に検出することができない。
　一方、非特許文献１に開示された状態検出装置は、運転者個々の運転の傾向などを学習した結果に基づいて、運転者個々の状態を検出する。しかしながら、非特許文献１に開示された状態検出装置は、運転者の状態を、通常運転と非通常運転の二種類の状態に分類するに止まる。このため、非特許文献１に開示された状態検出装置は、非通常運転における運転者の負担度を検出することができない。
　本発明は、上述の事情の下になされたものであり、被監視者個々の状態を、度合い別に検出することを目的とする。
　上記目的を達成するため、本発明の状態検出装置は、被監視者に関する情報を特徴量として検出する特徴量検出手段と、前記特徴量を入力値とし、当該特徴量をもとに、前記被監視者の活性度合を指標として定められた複数のクラスが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、当該識別した結果を含む情報を出力値として出力する識別手段と、前記識別手段が出力した出力値から損失値を算出する損失値算出手段と、前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出するクラス検出手段と、を備える。
　また、複数の前記クラスは、複数通りのパターンで前記第１グループと前記第２グループとに分類されることとしてもよい。
　また、前記損失値算出手段は、前記損失値を、指数関数で定義することとしてもよい。
　また、前記クラス数をｐ、前記識別手段の数をＧとしたときに、前記各識別手段は、前記被監視者の活性度合が、Ｗ∈｛１，０，－１｝ｐ・Ｇで表される符号表Ｗの対応する行の値が１の要素に対応するクラスから構成される第１グループと、値が－１の要素に対応するクラスから構成される第２グループのいずれに属すかを表す符号とその信頼度を表す絶対値とを出力することとしてもよい。
　また、前記損失値算出手段は、前記各識別手段から出力された前記符号及び前記信頼度と前記符号表Ｗとに基づいて、指数関数で定義される損失を、前記識別手段別及び前記クラス別に求め、さらに、同一クラスに対応する損失の和を求めることとしてもよい。
　前記クラス検出手段は、前記損失の和が最も小さいクラスを、前記被監視者の状態が属する前記クラスとして検出することとしてもよい。
　また、前記被監視者に関する情報は、前記被監視者の生体情報であることとしてもよい。
　また、前記被監視者の生体情報は、前記被監視者の視線情報を含むこととしてもよい。
　また、前記被監視者の生体情報は、前記被監視者の心拍情報を含むこととしてもよい。
　前記被監視者に関する情報を特徴量として検出し、前記識別手段に供給する特徴量検出手段をさらに備えることとしてもよい。
　上記目的を達成するため、本発明の状態検出方法は、被監視者の状態を示す指標である特徴量を入力値とし、当該特徴量をもとに、前記被監視者の活性度合を指標として定められた複数のクラスが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、当該識別した結果を含む情報を出力値として出力する識別工程と、前記識別工程で出力した出力値から損失値を算出する損失値算出工程と、前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出するクラス検出工程と、を含む。
　上記目的を達成するため、本発明のプログラムは、コンピュータに、被監視者の状態を示す指標である特徴量を入力値とし、当該特徴量をもとに、前記被監視者の活性度合を指標として定められた複数のクラスが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、当該識別した結果を含む情報を出力値として出力する識別ステップと、前記識別ステップで出力した前記出力値から損失値を算出する損失値算出ステップと、前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出するクラス検出ステップと、を実行させる。
　本発明によれば、被監視者個々の状態を、度合い別に検出することができる。
第１の実施形態に係る状態検出装置のブロック図である。 識別ユニットのブロック図である。 識別器の動作を説明するための図である。 損失値の算出方法を説明するための図である。 クラス数Ｇが４である場合の、符号表の例を示す図である。 第２の実施形態に係る状態検出装置のブロック図である。 識別装置の動作を説明するためのフローチャートである。
《第１の実施形態》
　以下、本発明の第１の実施形態に係る状態検出装置１０を、図１～図４を参照して説明する。本実施形態に係る状態検出装置１０は、自動車を運転する運転者の生体情報を取得する。状態検出装置１０は、取得した生体情報に基づいて運転者個々の運転状態を、その度合いとともに検出する。
　状態検出装置１０は、図１に示すように、運転者の生体情報を取得し、その特徴量を検出する生体情報取得装置２０と、生体情報取得装置２０により検出された特徴量に基づいて運転者の運転状態を、その度合いとともに検出する識別装置３０とを備える。
　生体情報取得装置２０は、運転者の生体情報として、例えば眠気に起因する瞼の開度に関する情報と、心拍の周波数に関する情報とを取得する。
　生体情報取得装置２０は、瞼の開度に関する情報を、眼瞼映像を画像解析して取得する。生体情報取得装置２０は、取得した瞼の開度に関する情報を用いて、運転者の瞼の開度を０から１の範囲に正規化した値を特徴量ａ１として検出する。また、生体情報取得装置２０は、心拍の周波数に関する情報を、ＲＲ間隔を解析して取得する。生体情報取得装置２０は、取得した心拍の周波数に関する情報を用いて、心拍変動のパワースペクトルから、運転者の心拍の間隔変動の低周波領域での周波数を特徴量ａ２として検出し、高周波領域での周波数を特徴量ａ３として検出する。生体情報取得装置２０は、検出した特徴量に関する情報ｘ（ａ１，ａ２，ａ３）を、識別装置３０へ出力する。なお、特徴量に関する情報ｘ（ａ１，ａ２，ａ３）は、以下単に入力情報ｘと表示する。
　識別装置３０は、運転者の活性度を指標として区分された、例えば３つのクラス（クラス１、クラス２、クラス３）のうち、運転者の運転状態が属するクラスを検出する。識別装置３０は、識別ユニット４０と、クラス検出ユニット５０とを有する。
　運転者の活性度は、運転者が外部からの入力に対して行動を起こす場合に、その行動を起こすまでの時間（反応時間）の長短などによって定義することができる。運転者の反応時間は、眠気や、注意力の低下などによって、長くなる傾向がある。例えば、さまざまな状況で運転者の反応時間を計測する。運転者の反応時間が短いときの運転者の状態を通常状態とし、これをクラス１とする。また、運転者の反応時間が長いときの運転者の状態（最漫然状態）をクラス３とする。さらに、クラス１とクラス３との間の状態（漫然状態）をクラス２とする。これにより、運転者の状態は３つのクラスに区分される。
　識別ユニット４０は、図２に示すように、符号器４１と、６個の識別器４２１～４２６と、復号器４３とを備える。
　符号器４１は、次式（１）で示される符号表Ｗを用いて符号化処理を行う。なお、ｐは識別器の個数、Ｇはクラスの数である。また、符号表Ｗの各行には、「１」と「－１」の双方が含まれる。本実施形態において、運転状態が属するクラスの数は３である。また、識別器の数は６である。したがって、次式（１）の一般式で示される符号表Ｗは、次式（２）に示されるように、６行３列のマトリクス状に配置された１８個の要素から構成される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　図３に示すように、符号表Ｗの各行の３つの要素は、左から右に向かって順に、それぞれクラス１、クラス２、クラス３に対応している。３つのクラスは、値が「１」の要素に対応するクラスからなる第１グループと、値が「－１」の要素に対応するクラスからなる第２グループに分類される。なお、各グループのクラスの数は１つであっても複数（２つ）であってもよい。また、値が０の要素に対応するクラスは、分類から除外される（第１グループにも第２グループにも分類されない）。例えば、符号表Ｗの１行目の３つの要素は、クラス１が第１グループに分類され、クラス２及びクラス３が第２グループに分類されることを意味する。
　同様に、符号表Ｗの２行目の３つの要素は、クラス２が第１グループに分類され、クラス１及びクラス３が第２グループに分類されることを意味する。また、符号表Ｗの３行目の３つの要素は、クラス３が第１グループに分類され、クラス１及びクラス２が第２グループに分類されることを意味する。また、符号表Ｗの４行目の３つの要素は、クラス１が第１グループに分類され、クラス２が第２グループに分類されることを意味する。また、符号表Ｗの５行目の３つの要素は、クラス１が第１グループに分類され、クラス３が第２グループに分類されることを意味する。また、符号表Ｗの６行目の３つの要素は、クラス２が第１グループに分類され、クラス３が第２グループに分類されることを意味する。
　符号器４１は、入力情報ｘが入力されると、符号表Ｗのｉ（ｉ＝１～６）行目の３つの要素からなるコードｉと入力情報ｘとを識別器４２ｉへ出力する。
　具体的には、符号器４１は、入力情報ｘが入力されると、符号表Ｗの１行目の３つの要素からなるコード１［１、－１、－１］と入力情報ｘとの関連づけを行う。符号器４１は、コード１が関連づけられた入力情報ｘを識別器４２１へ出力する。
　同様に、符号器４１は、符号表Ｗの２行目～６行目それぞれに対応する３つの要素からなるコード２［－１、１、－１］、コード３［－１、－１、１］、コード４［１、－１、０］、コード５［１、０、－１］、コード６［０、１、－１］と入力情報ｘとの関連付けをそれぞれ行う。符号器４１は、対応するコード２～コード６が関連づけられた各入力情報ｘを、各コード２～６それぞれに対応する識別器４２２～４２６へ出力する。
　識別器４２１～４２６は、互いに同一の構成を有する、ＡｄａＢｏｏｓｔによる学習済みの二値判別器である。識別器４２ｉは、入力情報ｘが入力されると、自己に供給されたコードｉに基づいて、複数のクラスを第１グループと第２グループに分類する。そして、識別器４２ｉは、入力情報ｘ（ａ１，ａ２，ａ３）が表している運転者の状態（活性状態）が、コードｉの要素「１」が割り当てられているクラスから構成される第１グループに属すか、コードｉの要素「－１」が割り当てられているクラスから構成される第２グループに属すかを識別（判別）し、識別結果と識別結果の確からしさを示す信頼度を、復号器４３に出力する。
　例えば、識別器４２１には、コード１［１、－１、－１］が供給されている。このため、識別器４２１は、入力情報ｘ（ａ１，ａ２，ａ３）が表す「運転者の状態」が、要素「１」が割り当てられているクラス１（通常状態）からなる第１グループに分類されるのか、要素「－１」が割り当てられているクラス２（漫然状態）及びクラス３（最漫然状態）から構成される第２グループに分類されるかを識別する。その後、識別器４２１は、その識別結果とその信頼度（尤度）とを示す出力値ｈ１（ｘ）を出力する。
　出力値ｈ１（ｘ）は、符号（±）付きの数値から構成される。そして、出力値ｈ１（ｘ）の符号は、コードを構成する要素の符号と対応している。出力値ｈ１（ｘ）は、その符号が＋（＞０）である場合には、識別器４２１が、入力情報ｘで表される運転者の運転状態が第１グループ（クラス１）に属すると識別したことを示す。一方、出力値ｈ１（ｘ）は、その符号が－（＜０）である場合には、識別器４２１が、入力情報ｘで表される運転者の運転状態が第２グループ（クラス２又はクラス３）に属すると識別したことを示す。また、出力値ｈ１（ｘ）の絶対値は、識別器４２１により識別された識別結果の信頼度を示す。
　例えば、識別器４２１は、入力情報ｘが表している運転者の状態が、第２グループ（クラス２又は３）に属すると識別し、その信頼度が｜２｜であること判別した場合には、ｈ１（ｘ）として「－２」を出力する。
　同様に、各識別器４２２～４２６は、それぞれ、対応するコード２～６に従って、入力情報ｘが表す「運転者の状態」が、要素「１」が割り当てられているクラスから構成される第１グループに分類されるのか、要素「－１」が割り当てられているクラスから構成される第２グループに分類されるかを識別する。各識別器４２２～４２６は、その識別結果に対応する各出力値ｈ２（ｘ）～ｈ６（ｘ）をそれぞれ出力する。
　例えば、識別器４２２は、入力情報ｘが表している運転者の状態が、第２グループ（クラス１又は３）に属すると識別し、その信頼度が｜７｜であると判別した場合には、ｈ２（ｘ）として「－７」を出力する。同様に、識別器４２３は、運転者の状態が、第１グループ（クラス３）に属すると識別し、その信頼度が｜０．５｜であると判別した場合には、ｈ３（ｘ）として「０．５」を出力する。識別器４２４が、運転者の状態が、第２グループ（クラス２）に属すると識別し、その信頼度が｜１｜であると判別した場合には、ｈ４（ｘ）として「－１」を出力する。識別器４２５が、運転者の状態が、第２グループ（クラス３）に属すると識別し、その信頼度が｜９｜であると判別した場合には、ｈ５（ｘ）として「－９」を出力する。識別器４２６が、運転者の状態が、第１グループ（クラス２）に属すると識別し、その信頼度が｜１２｜であると判別した場合には、ｈ６（ｘ）として「１２」を出力する。
　復号器４３は、上記式（２）で示される符号表Ｗを用いて復号化処理を行う。前述のように、符号表Ｗの１列目にある６つの要素それぞれは、クラス１が、第１グループまたは第２グループのいずれに分類されたかを表している。また、符号表Ｗの２列目にある６つの要素それぞれは、クラス２が、第１グループまたは第２グループのいずれに分類されたかを表している。また、符号表Ｗの３列目にある６つの要素それぞれは、クラス３が、第１グループまたは第２グループのいずれに分類されたかを表している。
　また、識別器４２１～４２６の出力値は、識別平面からのユークリッド距離を表し、識別結果の信頼度と等価である。したがって、上述のように第１グループが、値が「１」である要素によって規定され、第２グループが、値が「－１」である要素によって規定されている場合には、識別器４２１～４２６の出力値ｈｎ（ｘ）は、その符号が正でその値が大きいほど、運転者の運転状態が第１グループに属する傾向が強いことを表す。また、識別器４２１～４２６の出力値ｈｎ（ｘ）は、その符号が負でその値が小さいほど（絶対値が大きい程）、運転者の運転状態が第２グループに属する傾向が強いことを表す。
　そこで、復号器４３は、各識別器４２１～４２６の出力値と、符号表Ｗの列方向の要素とを用いて、クラス１～３それぞれに対応する各損失値Ｌ１～Ｌ３を算出する。損失値Ｌ１～Ｌ３の算出には、次式（３）で示される関数が用いられる。
Figure JPOXMLDOC01-appb-M000003
　前述の例に従って、各出力値ｈ１（ｘ）～ｈ６（ｘ）が、図４に示すように、－２、－７、０．５、－１、－９、１２であったとする。この場合には、クラス１に対応した損失値Ｌ１は、次式（４）のように計算される。
Figure JPOXMLDOC01-appb-M000004
　復号器４３は、同様に、クラス２、クラス３にそれぞれ対応する損失値Ｌ２、損失値Ｌ３をそれぞれ算出する。ここでは、損失値Ｌ２が－１６１６６７となり、損失値Ｌ３が１５３５４６となる。復号器４３は、算出した各損失値Ｌ１～Ｌ３をクラス検出ユニット５０へ出力する。
　図１に戻り、クラス検出ユニット５０は、復号器４３が出力した各損失値Ｌ１～Ｌ３のうち、最も値が小さい損失値に対応するクラスを検出する。クラス検出ユニット５０は、検出したクラスを、運転者の運転状態が属するクラスとして外部へ出力する。例えば、前述のように、復号器４３が出力した損失値Ｌ１が７０１８、損失値Ｌ２が－１６１６６７、損失値Ｌ３が１５３５４６である場合、クラス検出ユニット５０は、最小の損失値Ｌ２に対応するクラス２を、運転者の運転状態が属するクラスとして外部へ出力する。
　以上説明したように、本第１の実施形態にかかる状態検出装置１０では、例えば運転者の瞼の開度、心拍の周波数などの生体情報などに代表される運転者に関する特徴量に基づいて、現在の運転者の運転状態が属するクラスが検出される。このクラスは、運転者の活性度を指標として運転者の運転状態が複数のクラスに区分されたうちの一つである。したがって、検出されたクラスに基づいて、運転者の活性度がどの程度低下しているかという推定結果を、個人間差、個人内差にかかわらず、度合い別に検出することができる。これにより、運転者にとってより適切な運転支援を提供することが可能となる。
　なお、上述の特徴量の傾向や変化量は、運転者の運転状態によって異なる。したがって、運転者の生体情報としては、上述した、瞼の開度、心拍の周波数に限らず、例えば、血圧、体温など複数の生体情報を更に取得し、これらの生体情報も加味して運転状態の属するクラスを検出することで、より正確に、またより多段階に運転者の運転状態を検出することができる。
　また、本第１の実施形態では、識別器４２１～４２６は、Ａｄａｂｏｏｓｔによる学習済みの二値判別器であるものとして説明した。しかしながら、本発明はこれに限定されるものではなく、識別器４２１～４２６は、例えばＳＶＭ（Support Vector Machine）などの二値判別器であってもよい。
　なお、本実施形態では、二値判別器を多値へ拡張するための手法の１つであるＥＣＯＣ（Error Correcting Output Coding)法を扱っている。
　なお、３つのクラスの別の例として、例えば、クラス１は通常運転状態（正常な運転ができる状態）、クラス２は、非通常運転状態（居眠り、漫然運転、疲労運転、急ぎ運転、ストレス、注意散漫等）のうち考え事やぼんやりしている状態、クラス３は、非通常運転状態のうち他人と会話中の状態とすることもできる。
　また、クラスの数ｐは、３に限定されず、任意である。例えば、運転者の運転状態は、運転者の活性度を指標として、４つ以上のクラスに区分されていてもよい。例えば、クラスが４つの場合には、符号表Ｗは、図５に示すようになる。
　運転者の運転状態を、例えば、新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の定義にしたがって、全く眠くなさそうな状態、やや眠そうな状態、眠そうな状態、かなり眠そうな状態、非常に眠そうな状態に対応する５つのクラスに、運転者の活性度を指標として区分することとしてもよい。
　なお、クラスの数をＧとすると、符号表ＷのサイズＷＳＩＺＥ（行数）は、次式で求めることができる。列数はクラス数Ｇに等しい。
Figure JPOXMLDOC01-appb-M000005
　また、識別器の個数ｐとクラス数Ｇが固定である場合に、符号表Ｗは固定となる。この場合、符号器を除去し、各識別器が自己に予め割り当てられている二値判定を行うように構成してもよい。上述の例で説明すると、識別装置３０は、以下のように構成される。符号器４１を除去し、入力情報ｘは、識別器４２１～４２６に直接入力される。識別器４２１は、入力情報ｘが表す「運転者の状態」が、クラス１からなる第１グループに分類されるのか、クラス２及びクラス３から構成される第２グループに分類されるかを識別し、識別器４２２は、「運転者の状態」が、クラス２からなる第１グループに分類されるのか、クラス１及びクラス３から構成される第２グループに分類されるかを識別し、．．．識別器４２６は、「運転者の状態」が、クラス２からなる第１グループに分類されるのか、クラス３から構成される第２グループに分類されるかを識別する、というように構成してもよい。
　また、発明者等は、本発明の有効性を検証するため、本発明の状態検出装置とドライビングシュミレータを用いた実験を行った。被験者は男女３名（２１～２３歳）で、１回の実験の実施時間は２０分である。また、被験者１名につき１０回の実験を行った。また、ドライビングシュミレータには、ランダムなＳ字カーブを含む単調な高速道路を設定した。
　本実験では、正解率（Accuracy）を評価するため、以下の評価式を用いた。なお、ｔは実験の回数（実験番号）、Ｔはｔの最大値、ｎはサンプリング回数、ｙｔはｔの正解ラベル、Ｈｔはｔの仮説（状態を推定した結果）である。また、本実験では、２０分間の間に１０秒ごとにデータのサンプリングを行ったので、ｎは１２０である。
Figure JPOXMLDOC01-appb-M000006
　本実験の結果、下記の表を参照するとわかるように、本発明の状態検出装置は９３．５６％の正解率で運転者の運転状態を検出することができた。この正解率は、他の手法と比較して、１．５～３倍程度高いものである。
Figure JPOXMLDOC01-appb-T000007
《第２の実施形態》
　次に、本発明の第２の実施形態を、図６及び図７を参照して説明する。
　なお、第１の実施形態に係る状態検出装置１０と同一又は同等の構成については、同一の符号を用い、その説明を省略する。
　第２の実施形態に係る状態検出装置１０は、識別装置３０が、一般的なコンピュータによって実現されている。
　状態検出装置１０は、図６に示すように、生体情報取得装置２０と、コンピュータにより実現される識別装置３０とを備える。
　識別装置３０は、ＣＰＵ（Central Processing Unit）３０ａと、主記憶部３０ｂと、補助記憶部３０ｃと、表示部３０ｄと、入力部３０ｅと、インターフェイス部３０ｆと、上記各部３０ａ～３０ｆを相互に接続するシステムバス３０ｇとを備える。
　ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、生体情報取得装置２０によって取得された入力情報ｘに、後述する処理を実行する。
　主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
　補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、生体情報取得装置２０から出力される入力情報ｘ、及びＣＰＵ３０ａによる処理結果などを含む情報を順次記憶する。
　表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。
　入力部３０ｅは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
　インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。生体情報取得装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
　以下、図７を参照して、識別装置３０が実行する処理を説明する。なお、この処理は、ＣＰＵ３０ａが、生体情報取得装置２０に生体情報の取得を指示し、生体情報取得装置２０から入力情報ｘが入力された後に実行される。
　最初のステップＳ１０１では、ＣＰＵ３０ａは、符号表Ｗの１行目～６行目それぞれの３つの要素からなる、コード［１、－１、－１］、コード２［－１、１、－１］、コード３［－１、－１、１］、コード４［１、－１、０］、コード５［１、０、－１］、コード６［０、１、－１］それぞれと入力情報ｘとの関連付けを行う。
　次のステップＳ１０２では、ＣＰＵ３０ａは、コード１～６に基づいて、クラス１～３を第１グループに属するクラスと、第２グループに属するクラスに分類する。そして、ＣＰＵ３０ａは、入力情報ｘに基づいて、運転者の運転状態が、第１グループに属するか、第２グループに属するかを識別し、識別結果に応じた識別値ｈ１（ｘ）～ｈ６（ｘ）を算出する。
　次のステップＳ１０３では、ＣＰＵ３０ａは、各識別値ｈ１（ｘ）～ｈ６（ｘ）と、符号表Ｗの列方向の要素とを用いて、クラス１～３それぞれに対応する各損失値Ｌ１～Ｌ３を算出する。図４に示すように、例えば、各識別値ｈ１（ｘ）～ｈ６（ｘ）が、－２、－７、０．５、－１、－９、１２の場合には、クラス１に対応した損失値Ｌ１は、上記式（４）のように計算される。
　次のステップＳ１０４では、ＣＰＵ３０ａは、算出した各損失値Ｌ１～Ｌ３のうち、最も値が小さい損失値に対応するクラスを検出する。例えば、損失値Ｌ１が７０１８、損失値Ｌ２が－１６１６６７、損失値Ｌ３が１５３５４６である場合、ＣＰＵ３０ａは、最小の損失値Ｌ２に対応するクラス２を、運転者の運転状態が属するクラスとして検出する。
　次のステップＳ１０５では、ＣＰＵ３０ａは、検出したクラスに関する情報を外部装置などへ出力する。以降、ＣＰＵ３０ａは、ステップＳ１０１～ステップＳ１０５までの処理を繰り返し実行する。
　以上説明したように、本第２の実施形態に係る状態検出装置１０では、例えば運転者の瞼の開度、心拍の周波数などの生体情報などに代表される運転者に関する特徴量に基づいて、現在の運転者の運転状態が属するクラスが検出される。このクラスは、運転者の活性度を指標として運転者の運転状態が複数のクラスに区分されたうちの一つである。したがって、検出されたクラスに基づいて、運転者の活性度がどの程度低下しているかという事実を、個人間差、個人内差にかかわらず、度合い別に検出することが可能となる。これにより、運転者にとってより適切な運転支援を提供することが可能となる。
　以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
　例えば、上記各実施形態では、運転者に関する情報として生体情報を用いたが、本発明はこれに限定されるものではない。運転者に関する情報として、例えば、操舵角、車両のふらつき度合い、ブレーキのタイミング、車両の速度及び加速度などの車両に関する情報、車室内の気温及び湿度などの運転者の周囲の環境に関する情報、オーディオやエアコンの操作など、運転以外の機器の操作に関する情報などを取得しても良い。本発明の状態検出装置は、これらの情報も加味して、運転状態の属するクラスを検出してもよい。
　また、状態検出装置１０は、自動車を運転する運転者の状態を検出することとしたが、本発明はこれに限定されるものではない。本発明の状態検出装置は、列車、飛行機などを運転する運転者やオペレータの状態の検出にも好適である。また、運転者等に限らず、例えば、室内などで被監視者の睡眠深度を検出することも可能である。
　また、運転者の活性度は、例えば被監視者の眠気、疲労度などによって変化する指標に基づいて決定されていればよい。運転者の活性度は、例えば、運転者（被監視者）の動作の正確性や注意力などに基づいて定義してもよい。
　また、損失値の算出は、例えば、シグモイド関数等を用いてもよい。
　また、識別装置３０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
　また、第２の実施形態において識別装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
　また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しても良い。例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
　また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
　また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を、通信ネットワークを介して送受信しながら、上述の処理を実行することとしてもよい。
　なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
　なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
　本出願は、２００９年７月９日に出願された日本国特許出願２００９－１６３１４３号に基づく。本明細書中に日本国特許出願２００９－１６３１４３号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
　本発明の状態検出装置、状態検出方法及びプログラムは、被監視者の状態を検出するのに適している。
　１０　状態検出装置
　２０　生体情報取得装置
　３０　識別装置
　３０ａ　ＣＰＵ
　３０ｂ　主記憶部
　３０ｃ　補助記憶部
　３０ｄ　表示部
　３０ｅ　入力部
　３０ｆ　インターフェイス部
　３０ｇ　システムバス
　４０　識別ユニット
　４１　符号器
　４２１～４２６　識別器
　４３　復号器
　１　クラス検出ユニット

Claims (11)

  1. 　被監視者に関する情報を特徴量として検出する特徴量検出手段と、
    　前記特徴量を入力値とし、当該特徴量をもとに、前記被監視者の活性度合を指標として定められた複数のクラスが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、当該識別した結果を含む情報を出力値として出力する識別手段と、
    　前記識別手段が出力した出力値から損失値を算出する損失値算出手段と、
    　前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出するクラス検出手段と、
    　を備える状態検出装置。
  2. 　複数の前記クラスは、複数通りのパターンで前記第１グループと前記第２グループとに分類される請求項１に記載の状態検出装置。
  3. 　前記損失値算出手段は、前記損失値を、指数関数で定義する請求項１または２に記載の状態検出装置。
  4. 　前記クラス数をｐ、前記識別手段の数をＧとしたときに、
    　前記各識別手段は、前記被監視者の活性度合が、Ｗ∈｛１，０，－１｝ｐ・Ｇで表される符号表Ｗの対応する行の値が１の要素に対応するクラスから構成される第１グループと、値が－１の要素に対応するクラスから構成される第２グループのいずれに属すかを表す符号とその信頼度を表す絶対値とを出力する、請求項１に記載の状態検出装置。
  5. 　前記損失値算出手段は、
    　前記各識別手段から出力された前記符号及び前記信頼度と前記符号表Ｗとに基づいて、
    　指数関数で定義される損失を、前記識別手段別及び前記クラス別に求め、
    　さらに、同一クラスに対応する損失の和を求める、
    　請求項４に記載の状態検出装置。
  6. 　前記クラス検出手段は、前記損失の和が最も小さいクラスを、前記被監視者の状態が属する前記クラスとして検出する、
    　請求項５に記載の状態検出装置。
  7. 　前記被監視者に関する情報は、前記被監視者の生体情報である請求項１乃至３のいずれか一項に記載の状態検出装置。
  8. 　前記被監視者の生体情報は、前記被監視者の視線情報と、前記被監視者の心拍情報の少なくとも一方を含む請求項７に記載の状態検出装置。
  9. 　前記被監視者に関する情報を特徴量として検出し、前記識別手段に供給する特徴量検出手段をさらに備える、
    　請求項１に記載の状態検出装置。
  10. 　被監視者の状態を示す指標である特徴量を入力値とし、当該特徴量をもとに、前記被監視者の活性度合を指標として定められた複数のクラスが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、当該識別した結果を含む情報を出力値として出力する識別工程と、
    　前記識別工程で出力した出力値から損失値を算出する損失値算出工程と、
    　前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出するクラス検出工程と、
    　を含む状態検出方法。
  11. 　コンピュータに、
    　被監視者の状態を示す指標である特徴量を入力値とし、当該特徴量をもとに、前記被監視者の活性度合を指標として定められた複数のクラスが分類される第１グループと第２グループのうち、前記被監視者の状態が属する前記グループを識別し、当該識別した結果を含む情報を出力値として出力する識別ステップと、
    　前記識別ステップで出力した前記出力値から損失値を算出する損失値算出ステップと、
    　前記損失値に基づいて前記被監視者の状態が属する前記クラスを検出するクラス検出ステップと、
    　を実行させるためのプログラム。
PCT/JP2010/055010 2009-07-09 2010-03-23 状態検出装置、状態検出方法及びプログラム WO2011004641A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201080031025.8A CN102473354B (zh) 2009-07-09 2010-03-23 状态检测装置、状态检测方法
EP10796952.9A EP2453427A4 (en) 2009-07-09 2010-03-23 STATUS DETECTION DEVICE, STATUS RECOGNITION PROCESS AND PROGRAM THEREFOR
US13/383,085 US8786448B2 (en) 2009-07-09 2010-03-23 State detecting device, state detecting method, and non-transitory computer-readable medium
KR1020127003098A KR101311552B1 (ko) 2009-07-09 2010-03-23 상태검출장치, 상태검출방법 및 기록매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-163143 2009-07-09
JP2009163143A JP5444898B2 (ja) 2009-07-09 2009-07-09 状態検出装置、状態検出方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2011004641A1 true WO2011004641A1 (ja) 2011-01-13

Family

ID=43429066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/055010 WO2011004641A1 (ja) 2009-07-09 2010-03-23 状態検出装置、状態検出方法及びプログラム

Country Status (6)

Country Link
US (1) US8786448B2 (ja)
EP (1) EP2453427A4 (ja)
JP (1) JP5444898B2 (ja)
KR (1) KR101311552B1 (ja)
CN (1) CN102473354B (ja)
WO (1) WO2011004641A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103403756A (zh) * 2011-03-03 2013-11-20 爱信精机株式会社 状态推断装置、状态推断方法及程序
CN105361863A (zh) * 2015-12-17 2016-03-02 无锡桑尼安科技有限公司 飞机机长生理参数监控***
CN105564659A (zh) * 2016-01-02 2016-05-11 无锡桑尼安科技有限公司 用于飞机上的弹簧式紧急报警装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2925736B1 (fr) * 2007-12-21 2010-09-24 Eads Secure Networks Procede de production d'une preuve de presence ou de fonctionnement d'une entite dans une zone identifiee pendant une duree superieure a un seuil donne, et systeme de surveillance
JP2012166579A (ja) * 2011-02-09 2012-09-06 Aisin Seiki Co Ltd 状態判定装置、状態判定方法及びプログラム
JP5720462B2 (ja) * 2011-07-20 2015-05-20 日産自動車株式会社 運転者疲労度推定装置
CN103077603A (zh) * 2012-06-06 2013-05-01 王晓原 基于动态人车环境协同推演的自由流状态汽车驾驶倾向性辨识***
KR20140092634A (ko) * 2013-01-16 2014-07-24 삼성전자주식회사 전자장치와 그 제어방법
WO2014156055A1 (ja) * 2013-03-28 2014-10-02 パナソニック株式会社 提示情報学習方法、サーバおよび端末装置
CN103426004B (zh) * 2013-07-04 2016-12-28 西安理工大学 基于纠错输出编码的车型识别方法
DE102014201650A1 (de) * 2013-12-19 2015-06-25 Robert Bosch Gmbh Verfahren zum Ermitteln des Belastungszustands des Fahrers
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
US20150294547A1 (en) * 2014-04-15 2015-10-15 Denso Corporation Driver condition detection apparatus, driving assistance apparatus, driver condition detection method, and driving assistance method
KR101659027B1 (ko) 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
CN105313898B (zh) 2014-07-23 2018-03-20 现代摩比斯株式会社 驾驶员状态感应装置及其方法
KR102401607B1 (ko) * 2014-12-04 2022-05-25 현대모비스 주식회사 운전자의 운행 집중도 레벨 분석방법
KR101646401B1 (ko) * 2014-12-08 2016-08-12 현대자동차주식회사 운전자의 졸음상태 판단 시스템 및 그 판단 방법
CN104464194A (zh) * 2014-12-15 2015-03-25 宇龙计算机通信科技(深圳)有限公司 报警提示方法、报警提示***、终端和可穿戴设备
CN105788364B (zh) * 2014-12-25 2019-05-14 ***通信集团公司 一种预警信息的发布方法及装置
JP6399311B2 (ja) * 2015-05-07 2018-10-03 スズキ株式会社 居眠り検知装置
DE102015224739A1 (de) * 2015-12-09 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Auslösen von Fußgängerschutzmitteln und/oder Fußgängerwarnmitteln
DE102015225109A1 (de) 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
US10357195B2 (en) * 2017-08-01 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Pupillometry and sensor fusion for monitoring and predicting a vehicle operator's condition
CN107730835B (zh) * 2017-11-14 2019-07-02 吉林大学 一种基于应激反应能力的汽车驾驶员疲劳识别方法
CN109620269B (zh) * 2019-01-28 2021-10-22 锦图计算技术(深圳)有限公司 疲劳检测方法、装置、设备及可读存储介质
KR102171236B1 (ko) * 2019-03-14 2020-10-28 서울시립대학교 산학협력단 심장 박동의 타입을 분류하는 방법 및 이를 이용한 장치
JP7358958B2 (ja) * 2019-12-11 2023-10-11 トヨタ自動車株式会社 運転意識推定装置
US20220261657A1 (en) * 2021-02-17 2022-08-18 International Business Machines Corporation Monte-carlo adversarial autoencoder for multi-source domain adaptation
WO2023188130A1 (ja) * 2022-03-30 2023-10-05 株式会社Subaru 診断装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005158077A (ja) * 2003-11-26 2005-06-16 Daimler Chrysler Ag 車両の運転者による不注意を識別する方法及びコンピュータプログラム
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
JP2008217274A (ja) * 2007-03-01 2008-09-18 Equos Research Co Ltd 運転者状態判定装置、及び運転支援装置
JP2008243031A (ja) 2007-03-28 2008-10-09 Toyota Central R&D Labs Inc 漫然運転判定装置
JP2008250859A (ja) 2007-03-30 2008-10-16 Toyota Central R&D Labs Inc 覚醒度判定装置
JP2008282022A (ja) * 2000-10-14 2008-11-20 Temic Automotive Of North America Inc 車両運転手の能力を向上させるための方法及び装置
JP2009090028A (ja) * 2007-10-11 2009-04-30 Denso Corp 眠気度判定装置
JP2009163143A (ja) 2008-01-09 2009-07-23 Dainippon Printing Co Ltd 高色濃度カラーフィルタ、およびその修正方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416861A (en) * 1994-04-29 1995-05-16 University Of Cincinnati Optical synchronous clock distribution network and high-speed signal distribution network
US6580973B2 (en) 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
US6909947B2 (en) 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
US6925425B2 (en) 2000-10-14 2005-08-02 Motorola, Inc. Method and apparatus for vehicle operator performance assessment and improvement
US20020151297A1 (en) 2000-10-14 2002-10-17 Donald Remboski Context aware wireless communication device and method
DE602004031659D1 (de) * 2003-10-23 2011-04-14 Delta Tooling Co Ltd Htung zum nachweis von müdigkeit und computerprogramm
JP4466571B2 (ja) 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
JP4702100B2 (ja) * 2006-02-27 2011-06-15 トヨタ自動車株式会社 居眠り判定装置および居眠り運転警告装置
CN100453043C (zh) 2007-01-23 2009-01-21 武汉理工大学 汽车驾驶员疲劳实时监测***
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
WO2009003170A1 (en) * 2007-06-27 2008-12-31 Radow Scott B Stationary exercise equipment
US8744738B2 (en) * 2007-09-28 2014-06-03 The Boeing Company Aircraft traffic separation system
JP4948379B2 (ja) * 2007-12-18 2012-06-06 キヤノン株式会社 パターン識別器生成方法、情報処理装置、プログラム及び記憶媒体
CN101281646A (zh) * 2008-05-09 2008-10-08 山东大学 基于视觉的驾驶员疲劳实时检测方法
CN101375796B (zh) * 2008-09-18 2010-06-02 浙江工业大学 疲劳驾驶实时检测***
JP5270415B2 (ja) 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008282022A (ja) * 2000-10-14 2008-11-20 Temic Automotive Of North America Inc 車両運転手の能力を向上させるための方法及び装置
JP2005158077A (ja) * 2003-11-26 2005-06-16 Daimler Chrysler Ag 車両の運転者による不注意を識別する方法及びコンピュータプログラム
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
JP2008217274A (ja) * 2007-03-01 2008-09-18 Equos Research Co Ltd 運転者状態判定装置、及び運転支援装置
JP2008243031A (ja) 2007-03-28 2008-10-09 Toyota Central R&D Labs Inc 漫然運転判定装置
JP2008250859A (ja) 2007-03-30 2008-10-16 Toyota Central R&D Labs Inc 覚醒度判定装置
JP2009090028A (ja) * 2007-10-11 2009-04-30 Denso Corp 眠気度判定装置
JP2009163143A (ja) 2008-01-09 2009-07-23 Dainippon Printing Co Ltd 高色濃度カラーフィルタ、およびその修正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
INFORMATION PROCESSING SOCIETY OF JAPAN JOURNAL, vol. 50, 2009, pages 171 - 180
See also references of EP2453427A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103403756A (zh) * 2011-03-03 2013-11-20 爱信精机株式会社 状态推断装置、状态推断方法及程序
EP2682917A4 (en) * 2011-03-03 2014-08-20 Aisin Seiki STATUS ESTIMATING APPARATUS, STATUS ESTIMATION METHOD AND PROGRAM THEREFOR
US9064397B2 (en) 2011-03-03 2015-06-23 Aisin Seiki Kabushiki Kaisha State estimation device, state estimation method, and program
CN105361863A (zh) * 2015-12-17 2016-03-02 无锡桑尼安科技有限公司 飞机机长生理参数监控***
CN105564659A (zh) * 2016-01-02 2016-05-11 无锡桑尼安科技有限公司 用于飞机上的弹簧式紧急报警装置

Also Published As

Publication number Publication date
US8786448B2 (en) 2014-07-22
CN102473354B (zh) 2014-07-16
JP2011018240A (ja) 2011-01-27
KR20120046230A (ko) 2012-05-09
KR101311552B1 (ko) 2013-09-26
EP2453427A1 (en) 2012-05-16
US20120105234A1 (en) 2012-05-03
CN102473354A (zh) 2012-05-23
EP2453427A4 (en) 2015-01-21
JP5444898B2 (ja) 2014-03-19

Similar Documents

Publication Publication Date Title
WO2011004641A1 (ja) 状態検出装置、状態検出方法及びプログラム
Jiang et al. Learning visual attention to identify people with autism spectrum disorder
US11823386B2 (en) Diagnosis assistance apparatus, and information processing method
US10332638B2 (en) Methods and systems for pre-symptomatic detection of exposure to an agent
US20190370982A1 (en) Movement learning device, skill discriminating device, and skill discriminating system
CN111898642A (zh) 关键点检测方法、装置、电子设备及存储介质
EP3872818A2 (en) Method for providing diagnostic system using semi-supervised learning, and diagnostic system using same
CN112216402A (zh) 基于人工智能的疫情预测方法、装置、计算机设备及介质
JP2016066114A (ja) 特徴点検出装置、方法及びプログラム
Tran et al. Phase segmentation methods for an automatic surgical workflow analysis
KR101852774B1 (ko) 처방전 인식 오류 보정 방법 및 처방전 인식 오류 보정 시스템
JP5917932B2 (ja) 状態推定装置、状態推定方法及びプログラム
JP2012166579A (ja) 状態判定装置、状態判定方法及びプログラム
WO2012118206A1 (ja) 状態推定装置、状態推定方法及びプログラム
JP2019080809A (ja) 状態推定装置
CN107995181B (zh) 一种基于步态的身份验证方法、装置、设备及存储介质
CN114266777A (zh) 分割模型的训练方法、分割方法、装置、电子设备及介质
Nilashi et al. Accuracy Analysis of Type-2 Fuzzy System in Predicting Parkinson’s Disease Using Biomedical Voice Measures
WO2021024297A1 (ja) 敵対的事例検知システム、方法およびプログラム
de Barros et al. Computer aided diagnosis of neurodevelopmental disorders and genetic syndromes based on facial images–A systematic literature review
Xie et al. An SVM parameter learning algorithm scalable on large data size for driver fatigue detection
JP2021185465A (ja) 音響認識システム、音響認識方法
EP3940626A1 (en) Information processing method and information processing system
CN112580724A (zh) 基于扭矩轮的匀速转动识别的润滑剂的润滑性能检测方法
CN111797784B (zh) 驾驶行为监测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080031025.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10796952

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13383085

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010796952

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20127003098

Country of ref document: KR

Kind code of ref document: A