WO2021014939A1 - 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体 - Google Patents

眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体 Download PDF

Info

Publication number
WO2021014939A1
WO2021014939A1 PCT/JP2020/026222 JP2020026222W WO2021014939A1 WO 2021014939 A1 WO2021014939 A1 WO 2021014939A1 JP 2020026222 W JP2020026222 W JP 2020026222W WO 2021014939 A1 WO2021014939 A1 WO 2021014939A1
Authority
WO
WIPO (PCT)
Prior art keywords
drowsiness estimation
information
drowsiness
humidity
estimation information
Prior art date
Application number
PCT/JP2020/026222
Other languages
English (en)
French (fr)
Inventor
卓磨 向後
剛範 辻川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021533914A priority Critical patent/JP7231035B2/ja
Priority to US17/628,294 priority patent/US20220265217A1/en
Publication of WO2021014939A1 publication Critical patent/WO2021014939A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/029Humidity sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Definitions

  • the present invention relates to a drowsiness estimation information correction device, a drowsiness estimation device, a drowsiness estimation information correction method, a drowsiness estimation method, and a recording medium.
  • Patent Document 1 describes a mood estimation system for achieving both reduction of calculation load related to mood estimation and accuracy of mood estimation. .. This mood estimation system simply estimates the mood of the subject as the first mood value based only on the heartbeat information. Then, this mood estimation system estimates the second mood value based on the heart rate information and other information only when the first mood value deviates from a predetermined set range.
  • One of the estimations of the subject's condition is the estimation of the subject's drowsiness.
  • the subject becomes drowsy, it is preferable to be able to reduce the decrease in estimation accuracy.
  • An example of an object of the present invention is to provide a drowsiness estimation information correction device, a drowsiness estimation device, a drowsiness estimation information correction method, a drowsiness estimation method, and a recording medium capable of solving the above-mentioned problems.
  • the drowsiness estimation information correction device obtains drowsiness estimation information acquisition means for acquiring drowsiness estimation information based on the movement of the eyelids of the subject, and the drowsiness estimation information is obtained around the subject.
  • the drowsiness estimation information correction means for calculating the corrected drowsiness estimation information corrected by the humidity information indicating the humidity in the environment is provided.
  • the drowsiness estimation device indicates the eyelid movement information acquisition means for acquiring the eyelid movement information of the subject, the eyelid movement information, and the humidity in the surrounding environment of the subject.
  • a drowsiness estimation means for calculating drowsiness estimation information of the subject based on the humidity information is provided.
  • the drowsiness estimation information correction method acquires drowsiness estimation information based on the movement of the eyelids of the subject by a computer, and uses the drowsiness estimation information as the humidity in the surrounding environment of the subject. It includes calculating the corrected drowsiness estimation information corrected by the humidity information indicating.
  • the drowsiness estimation method obtains the eyelid movement information of the subject by a computer, and obtains the eyelid movement information and the humidity information indicating the humidity in the surrounding environment of the subject.
  • the sleepiness estimation information of the subject is calculated based on the above.
  • the recording medium acquires drowsiness estimation information based on the movement of the subject's eyelids on a computer, and uses the drowsiness estimation information as humidity indicating humidity in the surrounding environment of the subject.
  • a program for calculating the corrected drowsiness estimation information corrected by the information is stored.
  • the recording medium acquires the movement information of the eyelids of the subject by a computer, and obtains the movement information of the eyelids and the humidity information indicating the humidity in the surrounding environment of the subject. Based on this, a program for calculating the drowsiness estimation information of the subject is stored.
  • FIG. 1 is a schematic block diagram showing an example of the functional configuration of the alertness control system according to the first embodiment.
  • the alertness control system 1 includes a camera 11, a humidity sensor 12, a drowsiness estimation device 13, a drowsiness estimation information correction device 14, an arousal level control device 15, and an environment control device 16. Be prepared.
  • the arousal level control system 1 estimates the drowsiness of a person (target person) and controls the arousal level of the target person based on the estimation result.
  • the target person here is a person who is a target of drowsiness estimation.
  • the arousal level referred to here is a degree indicating weakness of drowsiness. That is, a high alertness means weak drowsiness (small drowsiness), and a low alertness means strong drowsiness (high drowsiness).
  • the alertness control system 1 calculates corrected drowsiness estimation information, which is drowsiness estimation information that reflects the humidity in the surrounding environment of the subject. Then, the arousal level control system 1 controls the arousal level of the subject based on the obtained corrected drowsiness estimation information.
  • the surrounding environment of the target person referred to here is the environment of the space in which the target person is located.
  • the environment here is the state of space, and the environment here includes humidity.
  • the drowsiness estimation information referred to here is information indicating the degree of drowsiness estimated by the drowsiness estimation.
  • the magnitude relationship is defined for the values that the drowsiness estimation information can take.
  • the degree of drowsiness is indicated by the magnitude of the value of the drowsiness estimation information.
  • the value of the drowsiness estimation information may indicate any one of the classes that classify the degree of drowsiness. When the value of the drowsiness estimation information indicates the class of the degree of drowsiness in this way, it corresponds to the case where the drowsiness estimation information takes a discrete value.
  • the drowsiness estimation information may indicate the degree of drowsiness numerically.
  • the drowsiness estimation information takes a continuous value
  • the drowsiness estimation information takes a real value of a predetermined section such as [0,1]. [0,1] indicates that the value is between 0 and 1.
  • the surrounding environment of the target person is the inside of the vehicle, the inside of a railroad car, the inside of a ship, the inside of an airplane, etc. It may be an environment.
  • the surrounding environment of the subject may be the environment of a part of the space in the vehicle, such as the environment of the driver's seat or the driver's seat.
  • the surrounding environment of the target person may be the indoor environment in which the target person is present.
  • the surrounding environment of the subject may be the environment of a part of the room, such as the environment of the subject's seat.
  • the camera 11 captures an image including an image of the eyes of the subject.
  • the target person is a driver or a driver of a vehicle such as an automobile, a railroad vehicle, a ship or an aircraft
  • the camera 11 is installed in front of the driver's seat or the driver's seat toward the driver's seat or the driver's seat and drives.
  • the face of the person or the operator may be imaged.
  • the camera 11 is provided on the display used by the target person, and the face of the target person located in front of the display is displayed. You may try to take an image.
  • the camera 11 may capture a moving image.
  • the camera 11 may periodically capture a still image, for example, at a cycle of 5 seconds.
  • the camera 11 may output image data indicating the captured image.
  • the image data output by the camera 11 corresponds to an example of eyelid movement information of the target person.
  • the eyelid movement information is information indicating the movement of the eyelid.
  • the eyelid movement information is also referred to as eyelid movement information or simply movement information.
  • the camera 11 may have an image processing function, extract a feature amount of eyelid movement from the captured image, and output time-series information of the extracted feature amount.
  • the feature amount output by the camera 11 corresponds to an example of eyelid movement information of the subject.
  • a feature amount indicating eyelid movement (feature amount of eyelid movement)
  • information indicating the degree of eye opening during a certain period information indicating the number of blinks, or information indicating the time when the eyes are closed, or
  • Various information such as a combination of these can be used.
  • the feature amount extracted by the camera 11 is not limited to a specific one.
  • the process of extracting motion information may be realized by using a device different from that of the camera 11.
  • the camera 11 may extract the feature amount described later in the description of the process of the drowsiness estimation device 13. That is, either the camera 11 or the drowsiness estimation device 13 may extract the feature amount.
  • the drowsiness estimation device 13 estimates the drowsiness of the subject based on the movement information of the eyelids of the subject output by the camera 11. Specifically, the drowsiness estimation device 13 calculates and outputs the drowsiness estimation information of the subject.
  • the drowsiness estimation information is information indicating the degree of drowsiness by the magnitude of the value. It may be defined that the stronger the drowsiness, the larger the value of the drowsiness estimation information. Alternatively, it may be defined that the value of the drowsiness estimation information becomes smaller as the drowsiness becomes stronger.
  • the drowsiness estimation device 13 is not limited to a specific device as long as it calculates the drowsiness estimation information of the subject based on the movement of the eyelids of the subject.
  • the existing drowsiness estimation device may be used as the drowsiness estimation device 13.
  • the drowsiness estimation device 13 corresponds to an example of a drowsiness estimation information acquisition unit (drowsiness estimation information acquisition means).
  • the humidity sensor 12 is a sensor that measures humidity and outputs humidity information.
  • Humidity information referred to here is information indicating humidity (information indicating the height of humidity).
  • the humidity sensor 12 may output the latest measured humidity value itself as humidity information.
  • the humidity sensor 12 may output a value obtained by averaging the humidity measurement values in a predetermined time window T H such outputs as humidity information, the processed values humidity measurement as humidity measurements ..
  • the humidity information output by the humidity sensor 12 is used as information indicating the humidity in the surrounding environment of the subject.
  • the installation position of the humidity sensor 12 is not limited to a specific position as long as the humidity of the space where the subject is located can be measured. It is more preferable that the humidity sensor 12 is installed at a position close to the eyes of the subject, but the embodiment is not limited to such an example.
  • the humidity sensor 12 is installed in the vehicle such as in the car, in the railroad, in the ship, in the cabin, etc. You may be.
  • the humidity sensor 12 may be installed in the driver's seat or the driver's seat.
  • the humidity sensor 12 may be installed in the room where the target person is present.
  • the humidity sensor 12 may be installed in the subject's seat.
  • the humidity sensor 12 may be installed at eye level of the subject. Alternatively, the humidity sensor 12 may be installed at the height of the subject's chest. The humidity sensor 12 may measure the relative humidity [%]. Alternatively, the humidity sensor 12 may measure the absolute humidity [g / m 3 ].
  • the humidity sensor 12 periodically measures the humidity and outputs humidity information.
  • the time interval at which the humidity sensor 12 measures humidity is not limited to a specific one.
  • the humidity sensor 12 may measure the humidity at regular intervals of several minutes to several tens of minutes, and output humidity information each time the measurement is performed.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information calculated by the drowsiness estimation device 13 to reflect the humidity in the surrounding environment of the subject.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information calculated by the drowsiness estimation device 13 to reflect the humidity in the surrounding environment of the subject.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information calculated by the drowsiness estimation device 13 to reflect the humidity in the surrounding environment of the subject.
  • the alertness control system 1 can reduce the decrease in estimation accuracy due to the influence of the surrounding environment when calculating the drowsiness estimation information of the subject.
  • the alertness control system 1 can reduce the decrease in the estimation accuracy of drowsiness due to the influence of humidity in the surrounding environment of the subject.
  • increasing the movement of the eyelids means that the number of times the eyelids move increases, the degree to which the eyelids open increases (that is, the eyes are opened more), the speed at which the eyelids move becomes faster, and each blink.
  • the eyelids may be closed for a longer period of time, or a combination of these may be used.
  • FIG. 2 is a diagram showing an example of data input / output in the drowsiness estimation device 13 and the drowsiness estimation information correction device 14.
  • the drowsiness estimation device 13 acquires eyelid movement information.
  • the drowsiness estimation device 13 may acquire image data including an image of the eyelids as eyelid movement information.
  • the drowsiness estimation device 13 may acquire the feature amount of the eyelid movement as the eyelid movement information.
  • the drowsiness estimation device 13 applies the acquired eyelid movement information to the drowsiness estimation model to calculate the drowsiness estimation information.
  • the drowsiness estimation model is a model that outputs drowsiness estimation information in response to input of eyelid movement information.
  • the expression format of the drowsiness estimation model included in the drowsiness estimation device 13 is not limited to a specific format.
  • the drowsiness estimation device 13 may include a drowsiness estimation model expressed in the form of a mathematical formula, but the embodiment is not limited to such an example.
  • the drowsiness estimation information correction device 14 acquires the drowsiness estimation information calculated by the drowsiness estimation device 13 and the humidity information.
  • the drowsiness estimation information correction device 14 may acquire the humidity measurement value itself as humidity information.
  • the drowsiness estimation information correction device 14 may acquire the processed value of the humidity measurement value as humidity information.
  • the drowsiness estimation information correction device 14 applies the acquired drowsiness estimation information and the humidity information to the correction model to correct the drowsiness estimation information in consideration of the influence of humidity, and outputs the corrected drowsiness estimation information.
  • the correction model is a model that outputs the corrected drowsiness estimation information in response to the input of the drowsiness estimation information and the humidity information.
  • the expression format of the correction model included in the drowsiness estimation information correction device 14 is not limited to a specific format.
  • the drowsiness estimation information correction device 14 may include a correction model expressed in the form of a mathematical formula, but the embodiment is not limited to such an example.
  • the corrected drowsiness estimation information output by the drowsiness estimation information correction device 14 is referred to as the corrected drowsiness estimation information.
  • FIG. 3 is a schematic block diagram showing an example of the functional configuration of the drowsiness estimation information correction device 14.
  • the drowsiness estimation information correction device 14 includes a first communication unit 110, a first storage unit 180, and a first control unit 190.
  • the first storage unit 180 includes a correction model storage unit 181.
  • the first control unit 190 includes a drowsiness estimation information correction unit 191.
  • the first communication unit 110 communicates with other devices.
  • the first communication unit 110 receives the drowsiness estimation information from the drowsiness estimation device 13.
  • the first communication unit 110 receives humidity information from the humidity sensor 12.
  • the first communication unit 110 transmits the corrected drowsiness estimation information to the alertness control device 15.
  • the first storage unit 180 stores various information.
  • the function of the first storage unit 180 is executed by using the storage device included in the alertness control system 1.
  • the correction model storage unit 181 stores the correction model.
  • the correction model is a model that outputs the corrected drowsiness estimation information in response to the input of the drowsiness estimation information and the humidity information.
  • the first control unit 190 controls each unit of the drowsiness estimation information correction device 14 to execute various processes.
  • the function of the first control unit 190 is executed by the CPU (Central Processing Unit) included in the drowsiness estimation information correction device 14 reading a program from the first storage unit 180 and executing the program.
  • the drowsiness estimation information correction unit 191 corrects the drowsiness estimation information in consideration of the influence of humidity, and calculates the corrected drowsiness estimation information. Specifically, the drowsiness estimation information correction unit 191 reads the correction model from the correction model storage unit 181. Then, the drowsiness estimation information correction unit 191 applies the drowsiness estimation information from the drowsiness estimation device 13 and the humidity information from the humidity sensor 12 to the correction model to acquire the corrected drowsiness estimation information.
  • the corrected drowsiness estimation information output by the drowsiness estimation information correction unit 191 may be a continuous value or a discrete value.
  • FIG. 4 is a diagram showing an example of correction when the drowsiness estimation information correction unit 191 outputs the corrected drowsiness estimation information of continuous values.
  • the horizontal axis of the graph in FIG. 4 indicates relative humidity.
  • the vertical axis shows the correction coefficient.
  • FIG. 4 shows an example in which the drowsiness estimation information becomes a larger value as the drowsiness becomes stronger. Further, in the example of FIG. 4, the threshold values C11 and C12 of the correction coefficient value are set to "0 ⁇ C11 ⁇ C12 ⁇ 1".
  • the drowsiness estimation information correction unit 191 acquires a correction coefficient value associated with the humidity indicated by the humidity information in the graph of FIG. Then, the drowsiness estimation information correction unit 191 multiplies the acquired correction coefficient value by the drowsiness estimation information (value before correction) to calculate the corrected drowsiness estimation information.
  • the graph of FIG. 4 corresponds to an example of a part of the correction model.
  • the combination of the graph of FIG. 4 and the formula for multiplying the drowsiness estimation information by the correction coefficient value corresponds to an example of the correction model.
  • the drowsiness estimation information correction unit 191 calculates the value of the correction coefficient to be smaller as the humidity is lower, and makes the drowsiness estimation information smaller (estimates that drowsiness is weak). The amount of correction by the drowsiness estimation information correction unit 191 (decrease from the original drowsiness estimation information) increases as the humidity decreases.
  • the correction coefficient is a constant value (C11). This is because when the humidity drops below a certain level, the effect of humidity on the movement of the eyelids is considered to be the same even if the humidity drops further. Further, in the graph of FIG. 4, when the humidity is H12 or higher, the correction coefficient is a constant value (C12). This is because when the humidity becomes higher than a certain level, the influence of the humidity on the movement of the eyelids is considered to be the same even if the humidity becomes higher.
  • FIG. 4 shows an example in which the drowsiness estimation information correction unit 191 performs correction using a piecewise linear function
  • the correction may be performed using a nonlinear function.
  • E is the drowsiness estimation information before correction
  • E' is the post-correction drowsiness estimation information
  • H is the humidity
  • f is a non-linear function
  • Various non-linear functions f in which E'is smaller than E and E'E'is larger as H becomes smaller, can be used for correction of drowsiness estimation information by the drowsiness estimation information correction unit 191.
  • H11 corresponds to the example of the lower limit threshold value.
  • H12 corresponds to the example of the upper limit threshold value.
  • FIG. 5 is a diagram showing an example of correction when the drowsiness estimation information correction unit 191 outputs the drowsiness estimation information after correction of discrete values.
  • the data table shown in FIG. 5 corresponds to an example of a correction model.
  • FIG. 5 shows an example of the correspondence between the humidity (relative humidity) indicated by the humidity information and the threshold value used for classifying the drowsiness estimation information.
  • the relative humidity H is “0% ⁇ H ⁇ 40%”
  • four thresholds of TH 1 1 , TH 2 1 , TH 3 1 and TH 4 1 are used as thresholds.
  • Relative humidity H is, in the case of "40% ⁇ H ⁇ 60%", as a threshold value, using a TH 1 2, TH 2 2, TH 3 2, TH 4 2 four thresholds.
  • the relative humidity H is “60% ⁇ H ⁇ 100%”
  • four thresholds of TH 1 3 , TH 2 3 , TH 3 3 , and TH 4 3 are used as thresholds.
  • i be an integer satisfying "1 ⁇ i ⁇ 3”
  • j be an integer satisfying "1 ⁇ j ⁇ 3”
  • the relationship between TH i j and TH i + 1 j is as shown in equation (1). Shown in.
  • the drowsiness of the subject is estimated to be one of five stages.
  • i is an integer satisfying "1 ⁇ i ⁇ 3"
  • j is an integer satisfying “1 ⁇ j ⁇ 3”
  • TH i j and TH is shown by equation (2).
  • the threshold value is set so that the relationship of the equation (3) is established instead of the equation (2).
  • the environmental control device 16 is a device that changes a physical quantity in the surrounding environment of the target person.
  • the physical quantity in the surrounding environment of the subject may be any physical quantity that affects the drowsiness of the subject.
  • the environment control device 16 is an air conditioner, and the temperature (air temperature) in the surrounding environment of the target person may be adjusted.
  • the environment control device 16 may be a lighting device and may adjust the brightness of the subject in the surrounding environment.
  • the arousal level control device 15 controls the arousal level of the subject by controlling the environment control device 16.
  • the arousal level here is a concept paired with drowsiness, and the higher the arousal level, the weaker the drowsiness. For example, when the subject's arousal level is low (drowsiness is strong), the arousal level control device 15 may control the environment control device 16 to increase the arousal level (drowsiness is weakened) of the subject. ..
  • FIG. 6 is a schematic block diagram showing an example of the functional configuration of the operation control system according to the first embodiment.
  • the operation control system 2 includes a camera 11, a humidity sensor 12, a drowsiness estimation device 13, a drowsiness estimation information correction device 14, an operation control device 21, and an operation device 22.
  • the parts having the same functions corresponding to the parts of FIG. 1 are designated by the same reference numerals (11, 12, 13, 14), and the description thereof will be omitted.
  • the operation control system 2 controls the operation of vehicles such as automobiles, railroad vehicles, ships, and aircraft. Specifically, the driving control system 2 estimates the drowsiness of the target person with the driver or the operator of the vehicle to be controlled as the target person. The driving control system 2 controls the vehicle to be controlled so as to deal with the case where the subject is unable to drive or steer properly due to the drowsiness when it is determined that the subject is drowsy more than a predetermined condition. .. For example, the operation control system 2 may limit the speed of the vehicle to be controlled to shorten the braking distance, or may switch the operation of the vehicle to be controlled to automatic operation, but the control by the operation control system 2 may be performed. The control of the target vehicle is not limited to these.
  • the driving device 22 includes a driving device for a controlled vehicle such as an engine or a motor, a braking device (brake) for the controlled vehicle, a steering device for the controlled vehicle, or a combination thereof, and controls driving. It is the control target of the device 21.
  • the operation control device 21 determines whether or not the drowsiness of the subject is stronger than a predetermined condition based on the corrected drowsiness estimation information from the drowsiness estimation information correction device 14.
  • the driving control device 21 may compare the corrected drowsiness estimation information with a predetermined threshold value to determine whether or not the subject's drowsiness is stronger than the threshold value, but the embodiment is such an example. Not limited to.
  • the driving control device 21 controls the driving device 22 so as to cope with the case where the subject cannot perform appropriate driving or maneuvering due to the drowsiness.
  • the driving device 22 may include at least one of a driving device and a braking device, and the driving control device 21 may control the driving device 22 so as to limit the speed of the vehicle to be controlled.
  • the driving device 22 may control the driving device 22 so that the speed of the vehicle to be controlled becomes a constant speed or less.
  • the driving control device 21 may control the driving device 22 so as to decelerate the vehicle to be controlled.
  • the driving device 22 may include a braking device, and the driving control device 21 may control the driving device 22 so as to prefill the braking device. Prefilling the braking device here means reducing the play of the braking device and accelerating the start of operation during the braking operation.
  • the driving device 22 may include a driving device, a braking device, and a steering device for the vehicle to be controlled, and the driving control device 21 may control the driving device 22 to automatically drive the vehicle to be controlled. ..
  • the operation control device 21 may be configured as a braking system such as an anti-lock braking system, an automatic brake prefill system, a brake assist system, and a collision mitigation braking system.
  • the driving control device 21 may be configured as a cruise control system.
  • the cruise control system referred to here is a system that keeps the speed of the vehicle to be controlled constant.
  • the operation control device 21 may be configured as an automatic operation system.
  • the operation control device 21 may be configured as a system different from these systems.
  • FIG. 7 is a schematic block diagram showing an example of the functional configuration of the warning system according to the first embodiment.
  • the alarm system 3 includes a camera 11, a humidity sensor 12, a drowsiness estimation device 13, a drowsiness estimation information correction device 14, and an alarm device 31.
  • the parts having the same functions corresponding to the parts of FIG. 1 are designated by the same reference numerals (11, 12, 13, 14), and the description thereof will be omitted.
  • the alarm system 3 is a system that estimates the drowsiness of the subject and outputs an alarm when it is determined that the drowsiness is stronger than a predetermined condition.
  • the target person may be a driver or a driver of a vehicle such as an automobile, a railroad vehicle, a ship or an aircraft.
  • the alarm system 3 outputs an alarm, so that the drowsiness of the subject can be reduced (that is, awakened) at least temporarily, and the possibility that the subject cannot drive properly due to the drowsiness can be reduced. ..
  • the alarm device 31 determines whether or not the drowsiness of the subject is stronger than a predetermined condition based on the corrected drowsiness estimation information from the drowsiness estimation information correction device 14.
  • the alarm device 31 may compare the corrected drowsiness estimation information with a predetermined threshold value to determine whether or not the subject's drowsiness is stronger than the threshold value, but the embodiment is based on such an example. Not limited.
  • the alarm device 31 outputs an alarm.
  • the method in which the alarm device 31 outputs an alarm is not limited to a specific method.
  • the alarm device 31 may be provided with a voice output device such as a speaker or a buzzer to output an alarm message or an alarm sound.
  • the alarm device 31 may visually output an alarm, such as displaying an alarm message on a display or turning on a lamp.
  • the alarm device 31 may output a sound alarm and a visual alarm together.
  • the alarm system 3 may output a message prompting the vehicle to move to a safe place and sleep.
  • a feature amount indicating the movement of the eyelids and a feature amount thereof when the process of calculating the drowsiness estimation information by the drowsiness estimation device 13 is machine-learned.
  • Information that combines the degree of arousal during movement can be used as learning data.
  • the machine learning of the processing of calculating the drowsiness estimation information by the drowsiness estimation device 13 and the machine learning of the correction processing by the drowsiness estimation information correction device 14 are separated. It can be a machine learning process. Therefore, the humidity information is not required in the machine learning of the process of calculating the drowsiness estimation information by the drowsiness estimation device 13.
  • the created model can be used for the machine learning of the process of calculating the drowsiness estimation information by the drowsiness estimation device 13, and there is no need to acquire new data. ..
  • a device that calculates drowsiness estimation information based on the movement of the eyelids of the subject can be used as the drowsiness estimation device 13. That is, a model generally known as a drowsiness estimation model can be used. In this case, it is not necessary to newly perform machine learning for the process of calculating the drowsiness estimation information by the drowsiness estimation device 13.
  • the drowsiness estimation device 13 acquires drowsiness estimation information based on the movement of the eyelids of the subject.
  • the drowsiness estimation information correction unit 191 calculates the corrected drowsiness estimation information obtained by correcting the drowsiness estimation information with the humidity information indicating the humidity in the surrounding environment of the subject.
  • the drowsiness estimation information correction device 14 can reduce the decrease in estimation accuracy when estimating the drowsiness of the subject.
  • the drowsiness estimation information correction device 14 can avoid or reduce the decrease in drowsiness estimation accuracy due to the influence of humidity in the surrounding environment of the subject.
  • the drowsiness estimation information correction unit 191 makes corrections so that the drowsiness estimation information after correction becomes smaller as the humidity is lower.
  • the subject feels dry eyes and blinks.
  • the drowsiness estimation information correction unit 191 corrects the same amount of correction as when the humidity is the upper limit threshold value.
  • the drowsiness estimation information correction device 14 can estimate drowsiness more accurately, reflecting that the effect on the movement of the eyelids is the same when the humidity is larger than the upper limit threshold value.
  • the drowsiness estimation information correction unit 191 corrects the same amount of correction as when the humidity is the lower limit threshold value.
  • the drowsiness estimation information correction device 14 can estimate drowsiness more accurately, reflecting that the effect on the movement of the eyelids is the same when the humidity is larger than the lower limit threshold value.
  • FIG. 8 is a diagram showing an example of the alertness control system according to the second embodiment.
  • the alertness control system 4 includes a camera 11, a humidity sensor 12, a drowsiness estimation device 41, an alertness control device 15, and an environment control device 16.
  • parts having the same functions corresponding to the parts of FIG. 1 are designated by the same reference numerals (11, 12, 15, 16), and the description thereof will be omitted.
  • the arousal level control system 4 of FIG. 8 is different from the arousal level control system 1 of FIG. 1 in that a drowsiness estimation device 41 is provided in place of the drowsiness estimation device 13 and the drowsiness estimation information correction device 14. Other than that, the alertness control system 4 is similar to the alertness control system 1.
  • the arousal level control system 4 calculates the corrected drowsiness estimation information as the drowsiness estimation information, which reflects the humidity in the surrounding environment of the subject, as in the case of the arousal level control system 1. Then, the alertness control system 4 controls the alertness of the subject based on the calculated corrected drowsiness estimation information, as in the case of the alertness control system 1.
  • the drowsiness estimation device 41 calculates the corrected drowsiness estimation information. Specifically, the drowsiness estimation device 41 calculates the corrected drowsiness estimation information by using a drowsiness estimation model that outputs the corrected drowsiness estimation information in response to the input of the eyelid movement information and the humidity information.
  • FIG. 9 is a diagram showing an example of data input / output in the drowsiness estimation device 41.
  • the drowsiness estimation device 41 acquires eyelid movement information and humidity information.
  • the drowsiness estimation device 41 applies the obtained eyelid movement information and humidity information to the drowsiness estimation model to calculate the drowsiness estimation information.
  • the drowsiness estimation device 41 calculates drowsiness estimation information that reflects the influence of humidity by using a model that reflects the influence of humidity.
  • FIG. 10 is a functional block diagram showing an example of the functional configuration of the drowsiness estimation device 41.
  • the drowsiness estimation device 41 includes a second communication unit 210, a second storage unit 280, and a second control unit 290.
  • the second storage unit 280 includes a drowsiness estimation model storage unit 281.
  • the second control unit 290 includes a drowsiness estimation unit 291.
  • the second communication unit 210 communicates with other devices.
  • the second communication unit 210 receives the eyelid movement information from the camera 11.
  • the second communication unit 210 corresponds to an example of an eyelid movement information acquisition unit (eyelid movement information acquisition means).
  • the second communication unit 210 receives the humidity information from the humidity sensor 12.
  • the second communication unit 210 transmits the corrected drowsiness estimation information to the alertness control device 15.
  • the second storage unit 280 stores various information. The function of the second storage unit 280 is executed by using the storage device included in the alertness control system 1.
  • the drowsiness estimation model storage unit 281 stores a drowsiness estimation model that outputs corrected drowsiness estimation information in response to input of eyelid movement information and humidity information. This drowsiness estimation model corresponds to a combination of the drowsiness estimation model included in the drowsiness estimation device 13 of the first embodiment and the correction model included in the drowsiness estimation information correction device 14.
  • Drowsiness estimation model A model in which the drowsiness estimation model stored in the storage unit 281 outputs the corrected drowsiness estimation information directly to the input of the eyelid movement information and the humidity information (without calculating the drowsiness estimation information before correction). It may be. Alternatively, the drowsiness estimation model stored in the drowsiness estimation model storage unit 281 calculates the drowsiness estimation information before correction based on the eyelid movement information, and corrects the drowsiness estimation information based on the humidity information to correct the drowsiness estimation information. It may be a model for calculating.
  • the second control unit 290 controls each unit of the drowsiness estimation device 41 to execute various processes.
  • the function of the second control unit 290 is executed by the CPU included in the drowsiness estimation device 41 reading a program from the second storage unit 280 and executing the program.
  • the drowsiness estimation unit 291 calculates the corrected drowsiness estimation information based on the eyelid movement information and the humidity information. Specifically, the drowsiness estimation unit 291 reads out the drowsiness estimation model from the drowsiness estimation model storage unit 281. Then, the drowsiness estimation unit 291 applies the eyelid movement information from the camera 11 and the humidity information from the humidity sensor 12 to the drowsiness estimation model to acquire the corrected drowsiness estimation information.
  • the corrected drowsiness estimation information output by the drowsiness estimation unit 291 is the same as the corrected drowsiness estimation information output by the drowsiness estimation information correction unit 191 of the first embodiment.
  • the drowsiness estimation unit 291 reduces the drowsiness estimation information as the humidity decreases (estimates that drowsiness is weak) with respect to the same eyelid movement information.
  • the corrected drowsiness estimation information output by the drowsiness estimation unit 291 may be a continuous value or a discrete value as in the corrected drowsiness estimation information output by the drowsiness estimation information correction unit 191 of the first embodiment. May be good.
  • FIG. 11 is a diagram showing an example of an operation control system according to the second embodiment.
  • the operation control system 5 includes a camera 11, a humidity sensor 12, a drowsiness estimation device 41, an operation control device 21, and an operation device 22.
  • the parts having the same functions corresponding to the parts of FIG. 6 are designated by the same reference numerals (11, 12, 21, 22), and the description thereof will be omitted.
  • the operation control system 5 of FIG. 11 is different from the operation control system 2 of FIG. 6 in that a drowsiness estimation device 41 is provided in place of the drowsiness estimation device 13 and the drowsiness estimation information correction device 14. Other than that, the operation control system 5 is similar to the operation control system 2. Further, the drowsiness estimation device 41 of FIG. 11 is the same as the drowsiness estimation device 41 of FIG. 8, and the same reference numerals are given and the description thereof will be omitted. In the example of FIG. 11, the drowsiness estimation device 41 calculates the corrected drowsiness estimation information similar to that of the drowsiness estimation information correction device 14 of the first embodiment, and the operation control system 5 is the same as the operation control system 2 of FIG. Works for.
  • FIG. 12 is a diagram showing an example of the warning system according to the second embodiment.
  • the alarm system 6 includes a camera 11, a humidity sensor 12, a drowsiness estimation device 41, and an alarm device 31.
  • the parts having the same functions corresponding to the parts of FIG. 7 are designated by the same reference numerals (11, 12, 31), and the description thereof will be omitted.
  • the warning system 6 of FIG. 12 is different from the warning system 3 of FIG. 7 in that a drowsiness estimation device 41 is provided in place of the drowsiness estimation device 13 and the drowsiness estimation information correction device 14. Other than that, the warning system 6 of FIG. 12 is similar to the warning system 3 of FIG. Further, the drowsiness estimation device 41 of FIG. 12 is the same as the drowsiness estimation device 41 of FIG. 8, and the same reference numerals are given and the description thereof will be omitted. In the example of FIG. 12, the drowsiness estimation device 41 calculates the corrected drowsiness estimation information similar to the drowsiness estimation information correction device 14 of the first embodiment, and the warning system 6 functions in the same manner as the warning system 3 of FIG. To do.
  • the second communication unit 210 acquires the eyelid movement information of the target person.
  • the drowsiness estimation unit 291 calculates the drowsiness estimation information of the subject based on the movement information of the eyelids and the humidity information indicating the humidity in the surrounding environment of the subject.
  • the drowsiness estimation device 41 can reduce the decrease in estimation accuracy due to the influence of the surrounding environment when calculating the drowsiness estimation information of the subject.
  • the drowsiness estimation device 13 performs image processing on the moving image signal, detects the degree of eye opening of the subject, and acquires time-series information of the degree of opening of the subject.
  • the degree of eye opening is information indicating the degree to which the subject has his eyes open.
  • the degree of eye opening may be, for example, a ratio of the time during which the eyes are open in a unit time, or may be a value obtained by accumulating the area of the open portion of the eyes for each predetermined period.
  • the degree of eye opening is not limited to the information shown in these examples.
  • the drowsiness estimation device 13 may detect the degree of opening of the left eye and the degree of opening of the right eye, and acquire time-series information of the degree of opening of the left eye and time-series information of the degree of opening of the right eye, respectively. .. In this case, the drowsiness estimation device 13 may calculate the time-series information of the eye-opening degree of the subject by adding and averaging the time-series information of the eye-opening degree of the left eye and the time-series information of the eye-opening degree of the right eye. Good.
  • Drowsiness estimator 13 obtains a mean value by averaging the time-series information of the eye opening degree of the time series information X L (t) and the right eye of the eye opening degree of the left eye X R (t), the average value It is output as time-series information X (t) of the degree of eye opening of the subject. Therefore, the time-series information X (t) of the degree of eye opening of the subject is expressed by the equation (4).
  • the drowsiness estimation device 13 uses the time-series information XL (t) of the left eye opening degree, the time-series information X R (t) of the right eye opening degree, and the time-series information X (t) of the subject's eye opening degree. As each of the above, a value normalized to a value in the range of 0 to 1 may be used.
  • the drowsiness estimation device 13 filters the time-series information X (t) of the eye-opening degree to remove the change due to the blink of the subject 20, and outputs the time-series information XF (t) of the eye-opening degree after filtering. It may be.
  • the time-series information XF (t) of the degree of eye opening after this filtering is expressed by, for example, the equation (5).
  • F [] is an operator indicating a filtering process.
  • N indicates the number of frames for filtering processing.
  • the drowsiness estimation device 13 performs filtering processing in units of filtering calculation window width TN [seconds]. There is a relationship represented by the equation (6) between the number of frames N, the filtering calculation window width TN [seconds], and the frame rate fs [frames / second].
  • the drowsiness estimation device 13 replaces the time-series information X (t) of the degree of eye opening with a predetermined value by filtering in units of the filtering calculation window width TN [seconds], and filters the replaced value. It is output as time-series information XF (t) of the degree of eye opening later.
  • the drowsiness estimation device 13 adds or replaces the time-series information X (t) of the eye-opening degree to the time-series information XL (t) of the eye-opening degree of the left eye and the time-series information X R of the eye-opening degree of the right eye. (T) may be used.
  • the drowsiness estimation device 13 replaces the time-series information X (t) of the degree of eye opening with a predetermined principal value by filtering in units of the filtering calculation window width TN [seconds], and after filtering the replaced value. It is output as time-series information XF (t) of the degree of eye opening.
  • the drowsiness estimation device 13 replaces the time-series information XL (t) of the degree of opening of the left eye with a predetermined first subvalue by filtering in units of the filtering calculation window width TN [seconds]. The replaced value is output as time-series information X FL (t) of the degree of opening of the left eye after filtering.
  • the drowsiness estimation device 13 replaces the time-series information X R (t) of the degree of opening of the right eye with a predetermined second value by filtering in units of the filtering calculation window width TN [seconds].
  • the replaced value is output as time-series information X FR (t) of the degree of opening of the right eye after filtering.
  • the drowsiness estimation device 13 may perform only one of the above three filterings. Various methods can be adopted as the filtering process performed by the drowsiness estimation device 13.
  • the filtering by the drowsiness estimation device 13 is applicable when the filtering calculation window width TN [seconds] is at least 0.1 [seconds] or more ( TN ⁇ 0.1).
  • the reason is that the blink time is 0.1 to 0.15 [seconds].
  • filtering by the drowsiness estimation device 13 can be applied when the number of frames N is 3 or more.
  • the filtering calculation window width TN [seconds] is 1 [seconds] will be described as an example, but the embodiment is not limited to such an example.
  • the drowsiness estimation device 13 performs filtering in units of the filtering calculation window width TN [seconds], acquires the maximum value of the time-series information X (t) of the eye opening degree, and uses the acquired maximum value as the filtering eye opening degree. Output as time series information X F (t). As shown by the equation (7), the drowsiness estimation device 13 takes the maximum value of the time series information X (t) of the eye opening degree of the filtering calculation window width TN [seconds].
  • max [] is an operator that takes the maximum value of an element.
  • the drowsiness estimation device 13 removes changes due to blinking from the time-series information of the degree of eye opening by this filtering.
  • the degree of eye opening can be maintained constant.
  • the degree of eye opening cannot be maintained constant.
  • the degree of eye opening is always smaller than when the subject's eyes are clear, and it is considered that the maximum value of the degree of eye opening obtained by filtering is also smaller. It is considered that the stronger the drowsiness of the subject, the smaller the value of the time-series information XF (t) of the degree of eye opening after filtering.
  • the time-series information of the degree of eye opening output by the drowsiness estimation device 13 in the first example corresponds to the example of drowsiness estimation information.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information output by the drowsiness estimation device 13 as described above, and outputs the corrected drowsiness estimation information.
  • the drowsiness estimation device 13 may calculate the degree of variation in the time-series information XF (t) of the degree of eye opening after filtering, and output the calculated degree of variation as the first feature amount F1 (T). Good.
  • the first feature amount F1 (T) corresponds to an example of drowsiness estimation information.
  • the first feature amount F1 (T) is expressed by the formula (8).
  • T is an index of time and indicates the window number (0, 1, 2, 7) Of the feature amount calculation window.
  • V [] is an operator that calculates the degree of variation. As the degree of variation referred to here, various things such as variance, standard deviation, difference between the maximum value and the minimum value, or entropy can be used.
  • the data used by the drowsiness estimation device 13 is not limited to the time-series information XF (t) of the degree of eye opening after filtering shown in the equation (8).
  • the drowsiness estimation device 13 replaces the time-series information X F (t) of the eye opening degree after filtering in the equation (8) with the time-series information X FL (t) of the eye opening degree of the left eye after filtering, or filtering.
  • the time series information X FR (t) of the degree of eye opening of the later right eye may be used.
  • the drowsiness estimation device 13 calculates the degree of variation of the time-series information X FL (t) of the degree of opening of the left eye after filtering within the feature amount calculation window width TM [seconds], and calculates the degree of variation. It may be output as the first feature amount F1 (T). Further, the drowsiness estimation device 13 calculates the degree of variation of the time-series information X FR (t) of the degree of opening of the right eye after filtering within the feature amount calculation window width TM [seconds], and calculates the degree of variation. It may be output as the first feature amount F1 (T). In this case, the first feature amount F1 (T) corresponds to an example of drowsiness estimation information.
  • the second example is the same as the case of the first example, except that the feature amount calculation process is different as described later.
  • the drowsiness estimation device 13 calculates the absolute value of the inter-frame difference of the time-series information X (t) of the eye opening degree (hereinafter, referred to as “inter-frame difference”), and the feature amount calculation window width (T). M ) The maximum value of the difference between frames in [seconds] is obtained, and the maximum value is output as the second feature amount F2 (T). Therefore, the drowsiness estimation device 13 calculates and outputs the second feature amount F2 (T) from the time-series information X (t) of the degree of eye opening.
  • the maximum value of the absolute value of the difference between frames is useful for estimating drowsiness because the value becomes small in the drowsy state and becomes large in the state where the eyes are clear.
  • the maximum value of the inter-frame difference, that is, the second feature amount F2 (T) is expressed by the equation (9).
  • the data used by the drowsiness estimation device 13 is not limited to the time-series information X (t) of the degree of eye opening represented by the equation (9).
  • Drowsiness estimator 13 instead of the equation (9) the time-series information X (t) of the eye opening degree of the time series information of the eye opening degree of the left eye X L (t), or, the time series of the eye opening degree of the right eye Information X R (t) may be used.
  • the drowsiness estimation device 13 calculates the maximum value of the difference between the frames of the time series information XL (t) of the degree of opening of the left eye within the feature amount calculation window width TM [seconds], and the maximum value thereof is calculated. The value may be output as the second feature amount F2 (T). Further, the drowsiness estimation device 13 calculates the maximum value of the difference between the frames of the time series information X R (t) of the opening degree of the right eye within the feature amount calculation window width TM [seconds], and the maximum value thereof is calculated. The value may be output as the second feature amount F2 (T).
  • the second feature amount F2 (T) output by the drowsiness estimation device 13 in the second example corresponds to the example of drowsiness estimation information.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information (second feature amount F2 (T)) output by the drowsiness estimation device 13 as described above, and outputs the corrected drowsiness estimation information.
  • the third example is the same as the first example except that the feature amount calculation process is different.
  • drowsiness estimator 13 detects the closed-eye from the time-series information X (t) of the eye opening degree, feature calculation window width (T M) determined closed-eye ratio in [sec] (percentage of closed-eye) , The eye closure ratio is output as a third feature amount F3 (T). Therefore, the drowsiness estimation device 13 calculates and outputs the third feature amount F3 (T) from the time-series information X (t) of the degree of eye opening.
  • This eye closure rate is useful for estimating drowsiness because it increases in the sleepy state and decreases in the clear eye state.
  • the eye closure rate, that is, the third feature amount F3 (T) is expressed by the formula (10).
  • C is an element of the time series information [X (T ⁇ M + t), ..., X (T ⁇ M + t ⁇ M + 1)] of the degree of eye opening included in the feature amount calculation window width ( TM ) [seconds].
  • the number of elements is set to be below the eye closure determination threshold (for example, 0.5).
  • the drowsiness estimation device 13 calculates the third feature amount F3 (T) by replacing the time-series information X (t) of the eye-opening degree with the time-series information XL (t) of the eye-opening degree of the left eye.
  • the time series information X R (t) of the degree of opening of the right eye may be used.
  • the drowsiness estimation device 13 in the feature quantity calculation window width T M [sec], to calculate the closed-eye ratio of the time-series information X L (t) of the eye opening degree of the left eye, the eye-closure percentage third Is output as the feature amount F3 (T) of. Further, the drowsiness estimation device 13 calculates the eye closure ratio of the time-series information X R (t) of the degree of eye opening of the right eye within the feature amount calculation window width TM [seconds], and sets the eye closure ratio as the third eye closure ratio. It is output as a feature amount F3 (T).
  • drowsiness estimator 13 calculates the ratio of both the time-series information of the eye opening degree of the time series information X L (t) and the right eye of the eye opening degree of the left eye X R (t) is closed eyes simultaneously ,
  • the eye closure ratio may be output as a third feature amount F3 (T).
  • a plurality of eye closure determination threshold values for example, 0.5 and 0.8, etc.
  • the third feature amount F3 (T) output by the drowsiness estimation device 13 in the third example corresponds to the example of drowsiness estimation information.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information (third feature amount F3 (T)) output by the drowsiness estimation device 13 as described above, and outputs the corrected drowsiness estimation information.
  • the fourth example is the same as the first example except that the feature amount calculation process is different.
  • drowsiness estimator 13 the absolute value of the movement difference between the time-series information X L of the eye opening degree of the left eye (t) when the eye opening degree of the right eye and the series information X R (t) ( (Hereinafter referred to as "movement difference") is calculated, the average value of the above movement differences within the feature amount calculation window width ( TM ) [seconds] is obtained, and the average value of the motion differences is used as the fourth feature amount F4 (hereinafter referred to as "motion difference").
  • T the fourth feature amount calculation window width
  • the drowsiness estimation device 13 calculates and outputs the fourth feature amount F4 (T) from the time-series information X (t) of the degree of eye opening.
  • This average motion difference value is useful for estimating drowsiness because it increases in a sleepy state and decreases in a clear eye state.
  • the average value of the motion difference, that is, the fourth feature amount F4 (T) is expressed by the equation (11).
  • the fourth feature amount F4 (T) output by the drowsiness estimation device 13 in the fourth example corresponds to the example of drowsiness estimation information.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information (fourth feature amount F4 (T)) output by the drowsiness estimation device 13 as described above, and outputs the corrected drowsiness estimation information.
  • the fifth example is the same as the first example except that the processing for calculating the feature amount is different.
  • the drowsiness estimation device 13 has a first feature amount F1 (T) calculated by a certain feature amount calculation window width ( TM ) [seconds] and a feature amount calculation window width ( TM ) adjacent thereto.
  • the absolute value of the difference from the first feature amount F1 (T-1) calculated in [seconds] (hereinafter referred to as "difference between adjacent windows") is calculated, and the difference between the adjacent windows is the second. It is output as the feature amount F5 (T) of 5.
  • the drowsiness estimation device 13 calculates and outputs the difference between the adjacent windows in the first feature amount F1 (T) as the fifth feature amount F5 (T). This difference between adjacent windows is useful for estimating drowsiness because the value increases in the sleepy state and decreases in the clear eye state.
  • the difference between adjacent windows, that is, the fifth feature amount F5 (T) is expressed by the equation (12).
  • the drowsiness estimation device 13 replaces the difference between the adjacent windows in the first feature amount F1 (T), the difference between the adjacent windows in the second feature amount F2 (T), and the third feature amount F3 ( The difference between adjacent windows in T) or the difference between adjacent windows in the fourth feature amount F4 (T) may be calculated and output as the fifth feature amount F5 (T).
  • the fifth feature amount F5 (T) output by the drowsiness estimation device 13 in the fifth example corresponds to the example of drowsiness estimation information.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information (fifth feature amount F5 (T)) output by the drowsiness estimation device 13 as described above, and outputs the corrected drowsiness estimation information.
  • the sixth example is the same as the first example except that the feature amount calculation process is different.
  • the drowsiness estimation device 13 calculates the logarithm of the first feature amount F1 (T) and outputs the logarithm as the sixth feature amount F6 (T). Therefore, the drowsiness estimation device 13 calculates and outputs the logarithm of the first feature amount F1 (T) as the sixth feature amount F6 (T).
  • human senses follow the logarithm.
  • the drowsiness estimation device 13 can output drowsiness estimation information close to human senses by taking the logarithm of the first feature amount F1 (T).
  • the logarithm of the first feature amount, that is, the sixth feature amount F6 (T) is expressed by the equation (13).
  • is a small positive value, for example, 10-6 .
  • the reason why a small positive value ⁇ is added to the first feature quantity F1 (T) is to prevent the logarithmic content from becoming zero.
  • the drowsiness estimation device 13 replaces the logarithm of the first feature amount F1 (T) with the logarithm of the second feature amount F2 (T), the logarithm of the third feature amount F3 (T), and the fourth.
  • the logarithm of the feature amount F4 (T) or the logarithm of the fifth feature amount F5 (T) may be calculated as the sixth feature amount F6 (T) and output.
  • the sixth feature amount F6 (T) output by the drowsiness estimation device 13 in the sixth example corresponds to the example of drowsiness estimation information.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information (sixth feature amount F6 (T)) output by the drowsiness estimation device 13 as described above, and outputs the corrected drowsiness estimation information.
  • the sixth feature amount F6 (T) output by the drowsiness estimation device 13 in the sixth example corresponds to the example of drowsiness estimation information.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information (sixth feature amount F6 (T)) output by the drowsiness estimation device 13 as described above, and outputs the corrected drowsiness estimation information.
  • the seventh example is the same as that of the first example except that the processing for calculating the feature amount is different.
  • the drowsiness estimation device 13 has the above-mentioned feature amount (for example, the first feature amount F1 (T)) for each statistic calculation window width TK [second], as will be described later.
  • Statistics F7 (S) to F9 (S) are calculated and used as features.
  • S is an index of time and indicates the window number (0, 1, 2, ...) Of the statistic calculation window.
  • the number of first feature quantities T1 (T) in the statistic calculation window width TK [seconds] is K.
  • the drowsiness estimation device 13 uses the first feature amount F1 (T) as the above-mentioned feature amount, and uses the average value of the first feature amount F1 (T) as the statistic.
  • the drowsiness estimation device 13 calculates the average value of the first feature amount F1 (T) within the statistic calculation window width TK [seconds], and uses the average value as the seventh feature amount F7 (S). Output. Therefore, the drowsiness estimation device 13 calculates and outputs the average value of the first feature amount F1 (T) as the seventh feature amount F7 (S) for each statistic calculation window width TK [seconds]. To do.
  • the average value of the first feature amount, that is, the seventh feature amount F7 (S) is expressed by the formula (14).
  • average [] is an operator that calculates the average value of elements.
  • the value of T in the formula (14) is the relationship between the window number of the feature amount calculation window when calculating the first feature amount F1 and the window number of the feature amount calculation window when calculating the seventh feature amount F7. It acts as an offset to indicate.
  • the drowsiness estimation device 13 replaces the average value of the first feature amount F1 (T) with the average value of the second feature amount F2 (T), the average value of the third feature amount F3 (T), and the fourth.
  • the seventh feature amount F7 (S) is calculated using the average value of the feature amount F4 (T), the average value of the fifth feature amount F5 (T), and the average value of the sixth feature amount F6 (T). And you may output it.
  • the seventh feature amount F7 (S) output by the drowsiness estimation device 13 in the seventh example corresponds to the example of drowsiness estimation information.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information (seventh feature amount F7 (S)) output by the drowsiness estimation device 13 as described above, and outputs the corrected drowsiness estimation information.
  • the eighth example is the same as the first example except that the processing for calculating the feature amount is different.
  • the drowsiness estimation device 13 calculates the standard deviation of the first feature amount F1 (T) within the statistic calculation window width TK [seconds], and uses the standard deviation as the eighth feature amount. Output as F8 (S). Therefore, the drowsiness estimation device 13 calculates and outputs the standard deviation of the first feature amount F1 (T) as the eighth feature amount F8 (S) for each statistic calculation window width TK [seconds]. To do.
  • the standard deviation of the first feature amount, that is, the eighth feature amount F8 (S) is expressed by the equation (15).
  • standard_dev [] is an operator that calculates the standard deviation of an element.
  • the value of T in the formula (15) is the relationship between the window number of the feature amount calculation window when calculating the first feature amount F1 and the window number of the feature amount calculation window when calculating the eighth feature amount F8. It acts as an offset to indicate.
  • the drowsiness estimation device 13 replaces the first feature amount F1 (T) with a second feature amount F2 (T), a third feature amount F3 (T), a fourth feature amount F4 (T), and a third feature amount.
  • the standard deviation of the feature amount F5 (T) of 5 or the sixth feature amount F6 (T) may be calculated as the eighth feature amount F8 (S) and output.
  • the eighth feature amount F8 (S) output by the drowsiness estimation device 13 in the eighth example corresponds to the example of drowsiness estimation information.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information (eighth feature amount F8 (S)) output by the drowsiness estimation device 13 as described above, and outputs the corrected drowsiness estimation information.
  • the ninth example is the same as the first example except that the processing for calculating the feature amount is different.
  • the drowsiness estimation device 13 calculates the variance of the first feature amount F1 (T) within the statistic calculation window width TK [seconds], and uses the variance as the ninth feature amount F9 ( Output as S). Therefore, the drowsiness estimation device 13 calculates and outputs the variance of the first feature amount F1 (T) as the ninth feature amount F9 (S) for each statistic calculation window width TK [seconds]. ..
  • the variance of the first feature amount, that is, the ninth feature amount F9 (S) is expressed by the formula (16).
  • variance [] is an operator that calculates the variance value of an element.
  • the value of T in the formula (16) is the relationship between the window number of the feature amount calculation window when obtaining the first feature amount F1 and the window number of the feature amount calculation window when obtaining the ninth feature amount F9. It acts as an offset to indicate.
  • the drowsiness estimation device 13 replaces the dispersion of the first feature amount F1 (T) with the dispersion of the second feature amount F2 (T), the dispersion of the third feature amount F3 (T), and the fourth feature amount.
  • the dispersion of F4 (T), the dispersion of the fifth feature amount F5 (T), or the dispersion of the sixth feature amount F6 (T) is calculated and output as the ninth feature amount F9 (T). It may be.
  • the ninth feature amount F9 (S) output by the drowsiness estimation device 13 in the ninth example corresponds to the example of drowsiness estimation information.
  • the drowsiness estimation information correction device 14 corrects the drowsiness estimation information (9th feature amount F9 (S)) output by the drowsiness estimation device 13 as described above, and outputs the corrected drowsiness estimation information.
  • the drowsiness estimation device 13 may output only one of the above-mentioned feature quantities F1 (T) to F9 (S) as drowsiness estimation information. Alternatively, the drowsiness estimation device 13 may output a plurality of the feature amounts F1 (T) to F9 (S) as drowsiness estimation information.
  • FIG. 13 is a diagram showing an example of the configuration of the drowsiness estimation information correction device according to the embodiment.
  • the drowsiness estimation information correction device 610 shown in FIG. 13 includes a drowsiness estimation information acquisition unit 611 and a drowsiness estimation information correction unit 612.
  • the drowsiness estimation information acquisition unit 611 acquires drowsiness estimation information based on the movement of the eyelids of the subject.
  • the drowsiness estimation information correction unit 612 calculates the corrected drowsiness estimation information obtained by correcting the drowsiness estimation information acquired by the drowsiness estimation information acquisition unit 611 with the humidity information indicating the humidity in the surrounding environment of the subject.
  • the drowsiness estimation information correction device 610 can reduce the decrease in estimation accuracy due to the influence of the surrounding environment when calculating the drowsiness estimation information (corrected drowsiness estimation information) of the subject.
  • FIG. 14 is a diagram showing an example of the configuration of the drowsiness estimation device according to the embodiment.
  • the drowsiness estimation device 620 shown in FIG. 14 includes an eyelid movement information acquisition unit 621 and a drowsiness estimation unit 622.
  • the eyelid movement information acquisition unit 621 acquires the eyelid movement information of the target person.
  • the drowsiness estimation unit 622 calculates the drowsiness estimation information of the subject based on the eyelid movement information acquired by the eyelid movement information acquisition unit 621 and the humidity information indicating the humidity in the surrounding environment of the subject.
  • the drowsiness estimation device 620 can reduce the decrease in estimation accuracy when estimating the drowsiness of the subject.
  • the drowsiness estimation device 620 can avoid or reduce the decrease in drowsiness estimation accuracy due to the influence of humidity in the surrounding environment of the subject.
  • FIG. 15 is a diagram showing an example of a processing procedure in the drowsiness estimation information correction method according to the embodiment.
  • drowsiness estimation information based on the movement of the eyelids of the subject is acquired (step S11), and the acquired drowsiness estimation information is corrected with humidity information indicating the humidity in the surrounding environment of the subject.
  • the information is calculated (step S12).
  • this drowsiness estimation information correction method it is possible to reduce a decrease in estimation accuracy when estimating drowsiness of a subject.
  • the drowsiness estimation correction information related to the processing of FIG. 15 when calculating the drowsiness estimation information (corrected drowsiness estimation information) of the subject, the drowsiness estimation accuracy is lowered due to the influence of humidity in the surrounding environment of the subject. It can be avoided or reduced.
  • FIG. 16 is a diagram showing an example of a processing procedure in the drowsiness estimation method according to the embodiment.
  • the movement information of the eyelids of the target person is acquired (step S21), and the drowsiness estimation information of the target person is obtained based on the acquired movement information and the humidity information indicating the humidity in the surrounding environment of the target person.
  • Calculate step S22).
  • this drowsiness estimation method it is possible to reduce a decrease in estimation accuracy when estimating drowsiness of a subject.
  • the drowsiness estimation method according to the process of FIG. 16 it is possible to avoid or reduce the decrease in drowsiness estimation accuracy due to the influence of humidity in the surrounding environment of the subject.
  • FIG. 17 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
  • the computer 700 includes a CPU 710, a main storage device 720, an auxiliary storage device 730, and an interface 740. Any one or more of the above-mentioned drowsiness estimation information correction device 14, drowsiness estimation device 41, drowsiness estimation information correction device 610, or drowsiness estimation device 620 may be mounted on the computer 700. In that case, the operation of each of the above-mentioned processing units is stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program. Further, the CPU 710 secures a storage area corresponding to each of the above-mentioned storage units in the main storage device 720 according to the program. Communication between each device and other devices is executed by having the interface 740 have a communication function and performing communication according to the control of the CPU 710.
  • the operations of the first control unit 190 and each unit thereof are stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program. Further, the CPU 710 secures a storage area corresponding to the first storage unit 180 in the main storage device 720 according to the program.
  • the communication performed by the first communication unit 110 is executed by having the interface 740 have a communication function and performing communication according to the control of the CPU 710.
  • the operations of the second control unit 290 and each unit thereof are stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program. Further, the CPU 710 secures a storage area corresponding to the second storage unit 280 in the main storage device 720 according to the program.
  • the communication performed by the second communication unit 210 is executed by having the interface 740 have a communication function and performing communication according to the control of the CPU 710.
  • the operation of the drowsiness estimation information correction unit 612 is stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program. Further, the operation of the drowsiness estimation information acquisition unit 611 is executed by having the interface 740 have a communication function and performing communication according to the control of the CPU 710.
  • the operation of the drowsiness estimation unit 622 is stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program. Further, the operation of the eyelid movement information acquisition unit 621 is executed by the interface 740 having a communication function and performing communication according to the control of the CPU 710.
  • a program for realizing all or part of the functions of the drowsiness estimation information correction device 14, the drowsiness estimation device 41, the drowsiness estimation information correction device 610, or the drowsiness estimation device 620 is recorded on a computer-readable recording medium. Then, the program recorded on the recording medium may be read into the computer system and executed to perform the processing of each part.
  • the term "computer system” as used herein includes hardware such as an OS (operating system) and peripheral devices.
  • "Computer readable recording medium” includes flexible disks, magneto-optical disks, portable media such as ROM (Read Only Memory) and CD-ROM (Compact Disc Read Only Memory), hard disks built into computer systems, and the like.
  • the above-mentioned program may be a program for realizing a part of the above-mentioned functions, and may further realize the above-mentioned functions in combination with a program already recorded in the computer system.
  • the present invention may be applied to a drowsiness estimation information correction device, a drowsiness estimation device, a drowsiness estimation information correction method, a drowsiness estimation method, and a recording medium.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Ophthalmology & Optometry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

眠気推定情報補正装置が、対象者の瞼の動きに基づく眠気推定情報を取得する眠気推定情報取得部と、前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する眠気推定情報補正部と、を備える。

Description

眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体
 本発明は、眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体に関する。
 人(対象者)の状態の推定に関連して、例えば特許文献1には、気分推定に係る計算負荷の軽減と、気分推定の精度との両立を図るための気分推定システムが記載されている。この気分推定システムは、心拍情報のみに基づいて、対象者の気分を第一気分値として簡易的に推定する。そして、この気分推定システムは、第一気分値が所定の設定範囲から逸脱した場合に限り、心拍情報及びその他の情報に基づいて第二気分値を推定する。
日本国特開2018-88966号公報
 対象者の状態の推定の1つとして、対象者の眠気の推定が挙げられる。対象者の眠気をする際、推定精度の低下を軽減できることが好ましい。
 本発明の目的の一例は、上述の課題を解決することのできる眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体を提供することである。
 本発明の第1の態様によれば、眠気推定情報補正装置は、対象者の瞼の動きに基づく眠気推定情報を取得する眠気推定情報取得手段と、前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する眠気推定情報補正手段と、を備える。
 本発明の第2の態様によれば、眠気推定装置は、対象者の瞼の動き情報を取得する瞼動き情報取得手段と、前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報を算出する眠気推定手段と、を備える。
 本発明の第3の態様によれば、眠気推定情報補正方法は、コンピュータによって、対象者の瞼の動きに基づく眠気推定情報を取得し、前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する、ことを含む。
 本発明の第4の態様によれば、眠気推定方法は、コンピュータによって、対象者の瞼の動き情報を取得し、前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報を算出する、ことを含む。
 本発明の第5の態様によれば、記録媒体は、コンピュータに、対象者の瞼の動きに基づく眠気推定情報を取得し、前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する、ことを実行させるプログラムが格納されている。
 本発明の第6の態様によれば、記録媒体は、コンピュータに、対象者の瞼の動き情報を取得し、前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報を算出する、ことを実行させるプログラムが格納されている。
 この発明の実施形態によれば、対象者の眠気を推定する際、推定精度の低下を軽減できる。
第1実施形態に係る覚醒度制御システムの機能構成の例を示す概略ブロック図である。 第1実施形態に係る眠気推定装置および眠気推定情報補正装置におけるデータの入出力の例を示す図である。 第1実施形態に係る眠気推定情報補正装置の機能構成の例を示す概略ブロック図である。 第1実施形態に係る眠気推定情報補正部が連続値の補正後眠気推定情報を出力する場合の、補正の例を示す図である。 第1実施形態に係る眠気推定情報補正部が離散値の補正後眠気推定情報を出力する場合の、補正の例を示す図である。 第1実施形態に係る運転制御システムの例を示す図である。 第1実施形態に係る警報システムの例を示す図である。 第2実施形態に係る眠気推定装置の例を示す図である。 第2実施形態に係る眠気推定装置におけるデータの入出力の例を示す図である。 第2実施形態に係る眠気推定装置の機能構成の例を示す機能ブロック図である。 第2実施形態に係る運転制御システムの例を示す図である。 第2実施形態に係る警報システムの例を示す図である。 実施形態に係る覚醒度制御装置の構成の例を示す図である。 実施形態に係る覚醒度特性表示装置の構成の例を示す図である。 実施形態に係る覚醒度制御方法における処理手順の例を示す図である。 実施形態に係る覚醒度特性表示方法おける処理手順の例を示す図である。 少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
 以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
<第1実施形態>
 図1は、第1実施形態に係る覚醒度制御システムの機能構成の例を示す概略ブロック図である。図1に示す構成で、覚醒度制御システム1は、カメラ11と、湿度センサ12と、眠気推定装置13と、眠気推定情報補正装置14と、覚醒度制御装置15と、環境制御装置16とを備える。
 覚醒度制御システム1は、人(対象者)の眠気を推定し、推定結果に基づいて対象者の覚醒度を制御する。ここでいう対象者は、眠気推定の対象となる人である。また、ここでいう覚醒度は、眠気の弱さを示す程度である。すなわち、覚醒度が高いとは、眠気が弱い(眠気が小さい)ことであり、覚醒度が低いとは、眠気が強い(眠気が大きい)ことである。
 特に、覚醒度制御システム1は、対象者の周囲環境における湿度を反映させた眠気推定情報である補正後眠気推定情報を算出する。そして、覚醒度制御システム1は、得られた補正後眠気推定情報に基づいて、対象者の覚醒度を制御する。ここでいう対象者の周囲環境は、対象者が位置する空間の環境である。ここでいう環境は空間の状態のことであり、ここでいう環境には、湿度が含まれる。
 ここでいう眠気推定情報は、眠気推定で推定された眠気の程度を示す情報である。眠気推定情報がとり得る値には大小関係が規定される。眠気の程度が、眠気推定情報の値の大小で示される。
 例えば、眠気推定情報の値が、眠気の程度を分類するクラスうち何れか1つのクラスを示すようになっていてもよい。このように眠気推定情報の値が眠気の程度のクラスを示す場合は、眠気推定情報が離散値をとる場合の例に該当する。
 あるいは、眠気推定情報が、眠気の程度を数値で示すようになっていてもよい。眠気推定情報が連続値をとる場合の例として、眠気推定情報が[0,1]など所定区間の実数値をとる場合が挙げられる。[0,1]は、0から1までの間の値であることを示す。
 例えば、対象者が自動車、鉄道車両、船舶または航空機等の乗り物の運転者または操縦者である場合、対象者の周囲環境は、自動車の車内、鉄道の車内、船内、機内等、その乗り物内の環境であってもよい。あるいは、対象者の周囲環境は、運転席または操縦席の環境であるなど、その乗り物内のうちの一部の空間の環境であってもよい。
 また、対象者が、室内で作業を行う作業者である場合、対象者の周囲環境は、対象者が在室する室内の環境であってもよい。あるいは、対象者の周囲環境は、対象者の席の環境であるなど、室内のうちの一部の空間の環境であってもよい。
 カメラ11は、対象者の目の画像を含む画像を撮像する。
 例えば、対象者が自動車、鉄道車両、船舶または航空機等の乗り物の運転者または操縦者である場合、カメラ11が運転席または操縦席の前方に、運転席または操縦席に向けて設置され、運転者または操縦者の顔を撮像するようにしてもよい。
 あるいは、対象者が、室内でディスプレイ(表示装置)を見ながら作業を行う作業者である場合、カメラ11が、対象者が使用するディスプレイに設けられ、ディスプレイの前に位置する対象者の顔を撮像するようにしてもよい。
 カメラ11が、動画像を撮像するようにしてもよい。あるいは、カメラ11が、例えば5秒周期など周期的に静止画像を撮像するようにしてもよい。
 カメラ11が、撮像した画像を示す画像データを出力するようにしてもよい。この場合、カメラ11が出力する画像データは、対象者の瞼の動き情報の例に該当する。瞼の動き情報は、瞼の動きを示す情報である。瞼の動き情報を、瞼動き情報、または、単に動き情報とも称する。
 あるいは、カメラ11が画像処理機能を有し、撮像した画像から瞼の動きの特徴量を抽出して、抽出した特徴量の時系列情報を出力するようにしてもよい。この場合、カメラ11が出力する特徴量は、対象者の瞼の動き情報の例に該当する。瞼の動きを示す特徴量(瞼の動きの特徴量)として、ある期間に目が開いている程度を示す情報、瞬きの回数を示す情報、または、目を閉じている時間を示す情報、あるいはこれらの組み合わせなど、いろいろな情報を用いることができる。このように、カメラ11が抽出する特徴量は、特定のものに限定されない。また、動き情報を抽出する処理は、カメラ11と異なる装置を用いて実現されていてもよい。
 例えば、眠気推定装置13の処理の説明で後述する特徴量を、カメラ11が抽出するようにしてもよい。すなわち、カメラ11と眠気推定装置13との何れが特徴量の抽出を行うようしてもよい。
 眠気推定装置13は、カメラ11が出力する対象者の瞼の動き情報に基づいて、対象者の眠気を推定する。具体的には、眠気推定装置13は、対象者の眠気推定情報を算出し出力する。上記のように、眠気推定情報は、眠気の度合いを値の大小で示す情報である。眠気が強いほど眠気推定情報の値が大きくなるように定義されていてもよい。あるいは、眠気が強いほど眠気推定情報の値が小さくなるように定義されていてもよい。
 眠気推定装置13が行う処理の例について後述する。ただし、眠気推定装置13は、対象者の瞼の動きに基づいて対象者の眠気推定情報を算出するものであればよく、特定のものに限定されない。既設の眠気推定装置を眠気推定装置13として用いるようにしてもよい。
 眠気推定装置13は、眠気推定情報取得部(眠気推定情報取得手段)の例に該当する。
 湿度センサ12は、湿度を測定するセンサであり、湿度情報を出力する。ここでいう湿度情報は、湿度を示す情報(湿度の高さを示す情報)である。
 湿度センサ12が、直近の湿度測定値そのものを湿度情報として出力するようにしてもよい。あるいは、湿度センサ12が、予め定められた時間窓Tで湿度測定値を平均した値を湿度情報として出力するなど、湿度測定値を加工した値を湿度測定値として出力するようにしてもよい。
 湿度センサ12が出力する湿度情報は、対象者の周囲環境における湿度を示す情報として用いられる。
 湿度センサ12の設置位置は、対象者が位置する空間の湿度を測定可能な位置であればよく、特定の位置に限定されない。湿度センサ12の設置位置が、対象者の目に近い位置であればより好ましいが、実施形態はこのような例に限定されない。
 例えば、対象者が自動車、鉄道車両、船舶または航空機等の乗り物の運転者または操縦者である場合、湿度センサ12が、自動車の車内、鉄道の車内、船内、機内等、その乗り物内に設置されていてもよい。特に、湿度センサ12が、運転席または操縦席に設置されていてもよい。
 また、対象者が、室内で作業を行う作業者である場合、湿度センサ12が、対象者が在室する室内に設置されていてもよい。特に、湿度センサ12が、対象者の席に設置されていてもよい。
 湿度センサ12が、対象者の目の高さに設置されていてもよい。あるいは、湿度センサ12が、対象者の胸の高さに設置されていてもよい。
 湿度センサ12が、相対湿度[%]を測定するようにしてもよい。あるいは、湿度センサ12が絶対湿度[g/m]を測定するようにしてもよい。
 湿度センサ12は、定期的に湿度を測定して湿度情報を出力する。湿度センサ12が湿度を測定する時間間隔は特定のものに限定されない。例えば、湿度センサ12が、数分から数十分ほどの定周期で湿度を測定し、測定する毎に湿度情報を出力するようにしてもよい。
 眠気推定情報補正装置14は、眠気推定装置13が算出する眠気推定情報に対して、対象者の周囲環境における湿度を反映させる補正を行う。
 ここで、眠気推定の実験を行った結果、人の瞼の動きと、その人の周囲環境における湿度との間に関係があることが判明した。この関係により、周囲環境の状態によっては、眠気の推定精度が低下してしまうことが判明した。
 特に、周囲環境における湿度が低い場合、目の渇きから瞼の動きが通常時よりも多くなり、実際よりも強い眠気と推定されてしまうという結果となった。
 そこで、眠気推定情報補正装置14は、眠気推定装置13が算出する眠気推定情報に対して、対象者の周囲環境における湿度を反映させる補正を行う。これにより、覚醒度制御システム1では、対象者の眠気推定情報を算出する際、周囲環境の影響による推定精度の低下を軽減できる。具体的には、覚醒度制御システム1では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下することを軽減できる。
 なお、瞼の動きが多くなることは、瞼が動く回数が増えること、瞼が開く程度が大きくなること(すなわち、より目を見開くこと)、瞼が動く速度が速くなること、瞬き1回あたりの瞼を閉じている時間が長くなること、のうち何れかであってもよいし、これらの組み合わせであってもよい。
 図2は、眠気推定装置13および眠気推定情報補正装置14におけるデータの入出力の例を示す図である。
 図2の例で、眠気推定装置13は、瞼動き情報を取得する。上述したように、眠気推定装置13が、瞼の画像を含む画像データを瞼動き情報として取得するようにしてもよい。
 あるいは、眠気推定装置13が、瞼の動きの特徴量を瞼動き情報として取得するようにしてもよい。
 眠気推定装置13は、取得した瞼動き情報を眠気推定モデルに適用して、眠気推定情報を算出する。眠気推定モデルは、瞼動き情報の入力に対して眠気推定情報を出力するモデルである。
 眠気推定装置13が備える眠気推定モデルの表現形式は、特定の形式に限定されない。
 例えば、眠気推定装置13が、数式の形式で表現された眠気推定モデルを備えるようにしてもよいが、実施形態はこのような例に限定されない。
 眠気推定情報補正装置14は、眠気推定装置13が算出した眠気推定情報と、湿度情報とを取得する。眠気推定情報補正装置14が、湿度測定値そのものを湿度情報として取得するようにしてもよい。あるいは、眠気推定情報補正装置14が、湿度測定値を加工した値を湿度情報として取得するようにしてもよい。
 眠気推定情報補正装置14は、取得した眠気推定情報と湿度情報とを補正モデルに適用することで、眠気推定情報に対して湿度の影響を加味する補正を行い、補正後の眠気推定情報を出力する。補正モデルは、眠気推定情報と湿度情報との入力に対して補正後の眠気推定情報を出力するモデルである。
 眠気推定情報補正装置14が備える補正モデルの表現形式は、特定の形式に限定されない。例えば、眠気推定情報補正装置14が、数式の形式で表現された補正モデルを備えるようにしてもよいが、実施形態はこのような例に限定されない。
 眠気推定情報補正装置14が出力する補正後の眠気推定情報を、補正後眠気推定情報と称する。
 図3は、眠気推定情報補正装置14の機能構成の例を示す概略ブロック図である。図3に示す構成で、眠気推定情報補正装置14は、第1通信部110と、第1記憶部180と、第1制御部190とを備える。第1記憶部180は、補正モデル記憶部181を備える。第1制御部190は、眠気推定情報補正部191を備える。
 第1通信部110は、他の装置と通信を行う。特に、第1通信部110は、眠気推定情報を眠気推定装置13から受信する。また、第1通信部110は、湿度情報を湿度センサ12から受信する。また、第1通信部110は、補正後眠気推定情報を覚醒度制御装置15へ送信する。
 第1記憶部180は、各種情報を記憶する。第1記憶部180の機能は、覚醒度制御システム1が備える記憶デバイスを用いて実行される。
 補正モデル記憶部181は、補正モデルを記憶する。上述したように、補正モデルは、眠気推定情報と湿度情報との入力に対して補正後の眠気推定情報を出力するモデルである。
 第1制御部190は、眠気推定情報補正装置14の各部を制御して各種処理を実行する。第1制御部190の機能は、眠気推定情報補正装置14が備えるCPU(Central Processing Unit、中央処理装置)が、第1記憶部180からプログラムを読み出して実行することで実行される。
 眠気推定情報補正部191は、眠気推定情報に対して湿度の影響を加味する補正を行って、補正後眠気推定情報を算出する。具体的には、眠気推定情報補正部191は、補正モデル記憶部181から補正モデルを読み出す。そして、眠気推定情報補正部191は、眠気推定装置13からの眠気推定情報と湿度センサ12からの湿度情報とを補正モデルに適用して、補正後眠気推定情報を取得する。
 眠気推定情報補正部191が出力する補正後眠気推定情報は、連続値であってもよいし、離散値であってもよい。
 図4は、眠気推定情報補正部191が連続値の補正後眠気推定情報を出力する場合の、補正の例を示す図である。図4のグラフの横軸は、相対湿度を示す。縦軸は、補正係数を示す。
 図4は、眠気が強いほど眠気推定情報が大きい値になる場合の例を示している。また、図4の例で、補正係数値の閾値C11およびC12は、「0<C11<C12<1」と設定されている。
 眠気推定情報補正部191は、湿度情報が示す湿度に図4のグラフで対応付けられている補正係数値を取得する。そして、眠気推定情報補正部191は、取得した補正係数値を眠気推定情報(補正前の値)に乗算して、補正後眠気推定情報を算出する。
 図4のグラフは、補正モデルの部分の例に該当する。図4のグラフと、補正係数値を眠気推定情報に乗算する式との組み合わせは、補正モデルの例に該当する。
 ここで、湿度が低い場合、対象者が目の乾きを感じて瞬きまたは目を閉じる動作を繰り返すことにより、眠気推定情報が実際の眠気(例えば、対象者が体感している眠気)よりも大きい値となる傾向にある。
 そこで、眠気推定情報補正部191は、湿度が低いほど補正係数の値を小さく算出し、眠気推定情報を小さくする(眠気が弱いと推定する)ようにする。眠気推定情報補正部191による補正量(元の眠気推定情報からの減少幅)は、湿度が低いほど大きくなる。
 一方、図4のグラフで、湿度がH11以下の場合は、補正係数が一定の値(C11)となっている。湿度がある程度以下に低くなると、湿度がさらに低下しても瞼の動きに対する湿度の影響は同様と考えられるためである。
 また、図4のグラフで、湿度がH12以上の場合は、補正係数が一定の値(C12)となっている。湿度がある程度以上に高くなると、湿度がさらに高くなっても瞼の動きに対する湿度の影響は同様と考えられるためである。
 ただし、図4に示す補正方法は一例であり、実施形態はこのような例に限定されない。例えば、図4では眠気推定情報補正部191が区分線形関数を用いて補正を行う例を示しているが、非線形関数を用いて補正を行うようにしてもよい。ここで、Eを補正前の眠気推定情報とし、E’を補正後眠気推定情報とし、Hを湿度とし、fを非線形関数として、眠気推定情報補正部191による眠気推定情報の補正を「E’=f(E,H)」と表記する。E’がEよりも小さくなり、かつ、Hが小さくなるほどE-E’が大きくなるいろいろな非線形関数fを、眠気推定情報補正部191による眠気推定情報の補正に用いることができる。
 この場合も図4の例と同様、湿度が下限閾値以下の場合はE-E’の値が変化しない(補正量が変化しない)ようになっていてもよい。図4の例では、H11が下限閾値の例に該当する。
 また、図4の例と同様、湿度が上限閾値以上の場合はE-E’の値が変化しない(補正量が変化しない)ようになっていてもよい。図4の例では、H12が上限閾値の例に該当する。
 図5は、眠気推定情報補正部191が離散値の補正後眠気推定情報を出力する場合の、補正の例を示す図である。図5に示すデータテーブルは、補正モデルの例に該当する。
 図5は、湿度情報が示す湿度(相対湿度)と、眠気推定情報のクラス分けに用いる閾値との対応関係の例を示している。図5の例では、相対湿度Hが、「0%≦H<40%」の場合、閾値として、TH 、TH 、TH 、TH の4つの閾値を用いる。相対湿度Hが、「40%≦H<60%」の場合、閾値として、TH 、TH 、TH 、TH の4つの閾値を用いる。相対湿度Hが、「60%≦H≦100%」の場合、閾値として、TH 、TH 、TH 、TH の4つの閾値を用いる。
 ここで、iを「1≦i≦3」を満たす整数とし、jを「1≦j≦3」を満たす整数として、TH と、THi+1 との関係は、式(1)のように示される。
Figure JPOXMLDOC01-appb-M000001
 この閾値を眠気推定情報に適用することで、対象者の眠気は、5段階の何れかと推定される。
 また、眠気が強いほど眠気推定情報が大きく算出される場合、iを「1≦i≦3」を満たす整数とし、jを「1≦j≦3」を満たす整数として、TH と、TH j+1との関係は、式(2)のように示される。
Figure JPOXMLDOC01-appb-M000002
 これにより、補正前の眠気推定情報が示す眠気の強さが同じであれば、湿度が低いほど、補正後眠気推定情報が示す眠気の強さは弱くなる。
 あるいは、眠気が強いほど眠気推定情報が小さく算出される場合は、式(2)に代えて式(3)の関係が成り立つように閾値を設定する。
Figure JPOXMLDOC01-appb-M000003
 これにより、補正前の眠気推定情報が示す眠気の強さが同じであれば、湿度が低いほど、補正後眠気推定情報が示す眠気の強さは弱くなる。
 環境制御装置16は、対象者の周囲環境における物理量を変化させる装置である。ここでの、対象者の周囲環境における物理量は、対象者の眠気に影響を及ぼす物理量であればよい。例えば、環境制御装置16が空調装置であり、対象者の周囲環境における温度(空気温度)を調整するようにしてもよい。あるいは、環境制御装置16が照明装置であり、対象者の周囲環境における明るさを調整するようにしてもよい。
 覚醒度制御装置15は、環境制御装置16を制御することで、対象者の覚醒度を制御する。ここでいう覚醒度は眠気と対の概念であり、覚醒度が高いほど眠気が弱い。例えば、対象者の覚醒度が低い(眠気が強い)場合、覚醒度制御装置15が、環境制御装置16を制御して、対象者の覚醒度を高める(眠気を弱くする)ようにしてもよい。
 図6は、第1実施形態に係る運転制御システムの機能構成の例を示す概略ブロック図である。図6に示す構成で、運転制御システム2は、カメラ11と、湿度センサ12と、眠気推定装置13と、眠気推定情報補正装置14と、運転制御装置21と、運転装置22とを備える。
 図6の各部のうち、図1の各部に対応して同様の機能を有する部分に同一の符号(11、12、13、14)を付して説明を省略する。
 運転制御システム2は、例えば自動車、鉄道車両、船舶または航空機等の乗り物の運転を制御する。具体的には、運転制御システム2は、制御対象の乗り物の運転者または操縦者を対象者として、対象者の眠気を推定する。運転制御システム2は、対象者の眠気が所定の条件以上に強いと判定した場合、対象者が眠気によって適切な運転または操縦を行えない場合に対応するように、制御対象の乗り物の制御を行う。例えば、運転制御システム2が、制御対象の乗り物の速度を制限して制動距離を短くする、あるいは、制御対象の乗り物の運転を自動運転に切り替えるようにしてもよいが、運転制御システム2による制御対象の乗り物の制御は、これらに限定されない。
 運転装置22は、エンジンまたはモータなど制御対象の乗り物の駆動装置、制御対象の乗り物の制動装置(ブレーキ)、または、制御対象の乗り物の操舵装置の何れか、あるいはこれらの組み合わせを含み、運転制御装置21の制御対象となる。
 運転制御装置21は、眠気推定情報補正装置14からの補正後眠気推定情報に基づいて、対象者の眠気が所定の条件以上に強いか否かを判定する。運転制御装置21が、補正後眠気推定情報と所定の閾値とを比較して、対象者の眠気が閾値以上に強いか否かを判定するようにしてもよいが、実施形態はこのような例に限定されない。
 対象者の眠気が所定の条件以上に強いと判定した場合、運転制御装置21は、対象者が眠気によって適切な運転または操縦を行えない場合に対応するように、運転装置22を制御する。
 例えば、運転装置22が、駆動装置または制動装置の少なくとも何れか一方を含み、運転制御装置21が、制御対象の乗り物の速度を制限するように運転装置22を制御するようにしてもよい。例えば、運転装置22が、制御対象の乗り物の速度が一定の速度またはそれ以下になるように、運転装置22を制御するようにしてもよい。あるいは、運転制御装置21が、制御対象の乗り物を減速させるように、運転装置22を制御するようにしてもよい。
 あるいは、運転装置22が制動装置を含み、運転制御装置21が、制動装置をプレフィルさせるように運転装置22を制御するようにしてもよい。ここでいう制動装置をプレフィルするとは、制動装置の遊びを詰めてブレーキ動作の際の動作開始を早めることである。
 あるいは、運転装置22が、制御対象の乗り物の駆動装置、制動装置および操舵装置を含み、運転制御装置21が、運転装置22を制御して制御対象の乗り物の自動運転を行うようにしてもよい。
 運転制御装置21が、アンチロックブレーキシステム、自動ブレーキプレフィルシステム、ブレーキアシストシステム、衝突軽減ブレーキシステム等のブレーキシステムとして構成されていてもよい。あるいは、運転制御装置21が、クルーズコントロールシステムとして構成されていてもよい。ここでいうクルーズコントロールシステムは、制御対象の乗り物の速度を一定に保つシステムである。あるいは、運転制御装置21が、自動運転システムとして構成されていてもよい。あるいは、運転制御装置21が、これらのシステムとは別のシステムとして構成されていてもよい。
 図7は、第1実施形態に係る警報システムの機能構成の例を示す概略ブロック図である。図7に示す構成で、警報システム3は、カメラ11と、湿度センサ12と、眠気推定装置13と、眠気推定情報補正装置14と、警報装置31とを備える。
 図7の各部のうち、図1の各部に対応して同様の機能を有する部分に同一の符号(11、12、13、14)を付して説明を省略する。
 警報システム3は、対象者の眠気を推定し、眠気が所定の条件以上に強いと判定した場合に警報を出力するシステムである。
 例えば、対象者が、自動車、鉄道車両、船舶または航空機等の乗り物の運転者または操縦者であってもよい。この場合、警報システム3が警報を出力することで、少なくとも一時的に対象者の眠気を低減させ(すなわち覚醒させ)、対象者が眠気によって適切な運転を行えない可能性を低減させることができる。
 警報装置31は、眠気推定情報補正装置14からの補正後眠気推定情報に基づいて、対象者の眠気が所定の条件以上に強いか否かを判定する。警報装置31が、補正後眠気推定情報と所定の閾値とを比較して、対象者の眠気が閾値以上に強いか否かを判定するようにしてもよいが、実施形態はこのような例に限定されない。
 対象者の眠気が所定の条件以上に強いと判定した場合、警報装置31は警報を出力する。
 警報装置31が警報を出力する方法は、特定の方法に限定されない。例えば、警報装置31が、スピーカまたはブザー等の音声出力装置を備え、警報メッセージまたは警報音を出力するようにしてもよい。あるいは、警報装置31が、ディスプレイに警報メッセージを表示する、またはランプを点灯させるなど、警報を視覚的に出力するようにしてもよい。警報装置31が、音による警報と視覚的な警報とを併せて出力するようにしてもよい。
 警報システム3が、乗り物を安全な場所へ移動させて睡眠をとるように促すメッセージを出力するようにしてもよい。
 図1の構成例のように眠気推定情報補正装置14を設ける構成によれば、眠気推定装置13による眠気推定情報の算出の処理を機械学習する場合に、瞼の動きを示す特徴量と、その動きのときの覚醒度とを組み合わせた情報を学習データとして用いることができる。
 特に、眠気推定情報補正装置14を設ける構成によれば、眠気推定装置13による眠気推定情報の算出の処理の機械学習と、眠気推定情報補正装置14による補正の処理の機械学習とを、別々の機械学習処理とすることができる。したがって、眠気推定装置13による眠気推定情報の算出の処理の機械学習では、湿度情報は不要である。
 ここで、対象者の瞼の動きに加えて湿度と対象者の眠気との関係についての研究報告は見当たらない。したがって、対象者の瞼の動きに加えて湿度と対象者の眠気との関係を示すデータは見当たらない。
 眠気推定情報補正装置14を設ける構成によれば、眠気推定装置13による眠気推定情報の算出の処理の機械学習については、作成済みのモデルを用いることができ、新たにデータを取得する必要が無い。
 あるいは、眠気推定装置13として、対象者の瞼の動きに基づいて眠気推定情報を算出する装置を用いることができる。すなわち、眠気推定モデルとして一般的に知られているモデルを用いることができる。この場合、眠気推定装置13による眠気推定情報の算出の処理の機械学習を新たに行う必要が無い。
 以上のように、眠気推定装置13は、対象者の瞼の動きに基づく眠気推定情報を取得する。眠気推定情報補正部191は、眠気推定情報を、対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する。
 これにより、眠気推定情報補正装置14では、対象者の眠気を推定する際、推定精度の低下を軽減できる。特に、眠気推定情報補正装置14では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下してしまうことを回避または軽減できる。
 また、眠気推定情報補正部191は、湿度が低いほど補正後眠気推定情報が小さくなるように補正を行う。
 これにより、眠気推定情報補正装置14では、対象者が目の乾燥を感じて瞬きする。あるいは、目を閉じるといった動作によって眠気を実際よりも強く判定してしまうことを軽減できる。
 また、眠気推定情報補正部191は、湿度が上限閾値より大きい場合、湿度が上限閾値の場合と同じ補正量の補正を行う。
 これにより、眠気推定情報補正装置14は、湿度が上限閾値より大きい場合に瞼の動きへの影響が同様であることを反映して、より正確に眠気を推定することができる。
 また、眠気推定情報補正部191は、湿度が下限閾値より小さい場合、湿度が下限閾値の場合と同じ補正量の補正を行う。
 これにより、眠気推定情報補正装置14は、湿度が下限閾値より大きい場合に瞼の動きへの影響が同様であることを反映して、より正確に眠気を推定することができる。
<第2実施形態>
 眠気推定装置13と、眠気推定情報補正装置14とに代えて、湿度の影響を加味した眠気推定情報を出力する眠気推定装置を設けるようにしてもよい。
 図8は、第2実施形態に係る覚醒度制御システムの例を示す図である。図8に示す構成で、覚醒度制御システム4は、カメラ11と、湿度センサ12と、眠気推定装置41と、覚醒度制御装置15と、環境制御装置16とを備える。
 図8の各部のうち、図1の各部に対応して同様の機能を有する部分に同一の符号(11、12、15、16)を付して説明を省略する。
 図8の覚醒度制御システム4は、眠気推定装置13と眠気推定情報補正装置14とに代えて、眠気推定装置41が設けられている点で、図1の覚醒度制御システム1と異なる。
 それ以外の点では、覚醒度制御システム4は、覚醒度制御システム1と同様である。特に、覚醒度制御システム4は、眠気推定情報として、覚醒度制御システム1の場合と同様、対象者の周囲環境における湿度を反映させた補正後眠気推定情報を算出する。そして、覚醒度制御システム4は、覚醒度制御システム1の場合と同様、算出した補正後眠気推定情報に基づいて対象者の覚醒度を制御する。
 眠気推定装置41は、補正後眠気推定情報を算出する。具体的には、眠気推定装置41は、瞼動き情報と、湿度情報との入力に対して補正後眠気推定情報を出力する眠気推定モデルを用いて、補正後眠気推定情報を算出する。
 図9は、眠気推定装置41におけるデータの入出力の例を示す図である。
 図9の例で、眠気推定装置41は、瞼動き情報と、湿度情報とを取得する。眠気推定装置41は、得られた瞼動き情報と湿度情報とを眠気推定モデルに適用して、眠気推定情報を算出する。眠気推定装置41は、湿度の影響が反映されたモデルを用いることで、湿度の影響が反映された眠気推定情報を算出する。
 図10は、眠気推定装置41の機能構成の例を示す機能ブロック図である。図10に示す構成で、眠気推定装置41は、第2通信部210と、第2記憶部280と、第2制御部290とを備える。第2記憶部280は、眠気推定モデル記憶部281を備える。第2制御部290は眠気推定部291を備える。
 第2通信部210は、他の装置と通信を行う。特に、第2通信部210は、瞼動き情報をカメラ11から受信する。第2通信部210は、瞼動き情報取得部(瞼動き情報取得手段)の例に該当する。また、第2通信部210は、湿度情報を湿度センサ12から受信する。また、第2通信部210は、補正後眠気推定情報を覚醒度制御装置15へ送信する。
 第2記憶部280は、各種情報を記憶する。第2記憶部280の機能は、覚醒度制御システム1が備える記憶デバイスを用いて実行される。
 眠気推定モデル記憶部281は、瞼動き情報と、湿度情報との入力に対して補正後眠気推定情報を出力する眠気推定モデルを記憶する。この眠気推定モデルは、第1実施形態の眠気推定装置13が備える眠気推定モデルと眠気推定情報補正装置14が備える補正モデルとの組み合わせに相当する。
 眠気推定モデル記憶部281が記憶する眠気推定モデルが、瞼動き情報と湿度情報との入力に対して直接(補正前の眠気推定情報を算出せずに)、補正後眠気推定情報を出力するモデルであってもよい。あるいは、眠気推定モデル記憶部281が記憶する眠気推定モデルが、瞼動き情報に基づいて補正前の眠気推定情報を算出し、湿度情報に基づいて眠気推定情報を補正することで補正後眠気推定情報を算出するモデルであってもよい。
 第2制御部290は、眠気推定装置41の各部を制御して各種処理を実行する。第2制御部290の機能は、眠気推定装置41が備えるCPUが、第2記憶部280からプログラムを読み出して実行することで実行される。
 眠気推定部291は、瞼動き情報と湿度情報とに基づいて、補正後眠気推定情報を算出する。具体的には、眠気推定部291は、眠気推定モデル記憶部281から眠気推定モデルを読み出す。そして、眠気推定部291は、カメラ11からの瞼動き情報と湿度センサ12からの湿度情報とを眠気推定モデルに適用して、補正後眠気推定情報を取得する。
 眠気推定部291が出力する補正後眠気推定情報は、第1実施形態の眠気推定情報補正部191が出力する補正後眠気推定情報と同様である。特に、眠気推定部291は、同一の瞼動き情報に対して、湿度が低いほど眠気推定情報を小さくする(眠気が弱いと推定する)。眠気推定部291が出力する補正後眠気推定情報は、第1実施形態の眠気推定情報補正部191が出力する補正後眠気推定情報と同様、連続値であってもよいし、離散値であってもよい。
 図11は、第2実施形態に係る運転制御システムの例を示す図である。図11に示す構成で、運転制御システム5は、カメラ11と、湿度センサ12と、眠気推定装置41と、運転制御装置21と、運転装置22とを備える。
 図11の各部のうち、図6の各部に対応して同様の機能を有する部分に同一の符号(11、12、21、22)を付して説明を省略する。
 図11の運転制御システム5は、眠気推定装置13と眠気推定情報補正装置14とに代えて、眠気推定装置41が設けられている点で、図6の運転制御システム2と異なる。それ以外の点では、運転制御システム5は、運転制御システム2と同様である。
 また、図11の眠気推定装置41は、図8の眠気推定装置41と同様であり、同一の符号を付して説明を省略する。
 図11の例で、眠気推定装置41は、第1実施形態の眠気推定情報補正装置14と同様の補正後眠気推定情報を算出し、運転制御システム5は、図6の運転制御システム2と同様に機能する。
 図12は、第2実施形態に係る警報システムの例を示す図である。図12に示す構成で、警報システム6は、カメラ11と、湿度センサ12と、眠気推定装置41と、警報装置31とを備える。
 図12の各部のうち、図7の各部に対応して同様の機能を有する部分に同一の符号(11、12、31)を付して説明を省略する。
 図12の警報システム6は、眠気推定装置13と眠気推定情報補正装置14とに代えて、眠気推定装置41が設けられている点で、図7の警報システム3と異なる。それ以外の点では、図12の警報システム6は、図7の警報システム3と同様である。
 また、図12の眠気推定装置41は、図8の眠気推定装置41と同様であり、同一の符号を付して説明を省略する。
 図12の例で、眠気推定装置41は、第1実施形態の眠気推定情報補正装置14と同様の補正後眠気推定情報を算出し、警報システム6は、図7の警報システム3と同様に機能する。
 以上のように、第2通信部210は、対象者の瞼の動き情報を取得する。また、眠気推定部291は、瞼の動き情報と、対象者の周囲環境における湿度を示す湿度情報とに基づいて、対象者の眠気推定情報を算出する。
 これにより、眠気推定装置41では、対象者の眠気推定情報を算出する際、周囲環境の影響による推定精度の低下を軽減できる。
<眠気推定の例>
 以下、第1実施形態で説明した眠気推定装置13が行う眠気推定情報の算出の例について説明する。第2実施形態で説明した眠気推定装置41についても、瞼動き情報と湿度情報とに基づいて補正後眠気推定情報を算出する処理の一部として、以下に説明する処理と同様の処理を適用することができる。
[第1例]
 眠気推定装置13は、動画像信号を画像処理して、対象者の開眼度を検出し、対象者の開眼度の時系列情報を取得する。開眼度は、対象者が目を開いている程度を表す情報である。開眼度は、たとえば、単位時間において目を開いている時間の割合であってもよいし、目のうち開いている部分の面積を所定期間ごとに累計した値であってもよい。ただし、開眼度は、これらの例に示される情報に限定されない。
 眠気推定装置13が、左眼の開眼度および右眼の開眼度を検出して、それぞれ、左眼開眼度の時系列情報および右眼の開眼度の時系列情報を取得するようにしてもよい。この場合、眠気推定装置13が、左眼の開眼度の時系列情報と右眼の開眼度の時系列情報とを加算平均して対象者の開眼度の時系列情報を算出するようにしてもよい。
 眠気推定装置13は、左眼の開眼度の時系列情報X(t)と右眼の開眼度の時系列情報X(t)とを加算平均して平均値を求め、その平均値を対象者の開眼度の時系列情報X(t)として出力する。したがって、対象者の開眼度の時系列情報X(t)は、式(4)のように示される。
Figure JPOXMLDOC01-appb-M000004
 眠気推定装置13が、左眼の開眼度の時系列情報X(t)、右眼の開眼度の時系列情報X(t)、および対象者の開眼度の時系列情報X(t)の各々として、0~1の範囲の値に正規化された値を用いるようにしてもよい。
 眠気推定装置13が、開眼度の時系列情報X(t)から対象者20の瞬きによる変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列情報X(t)を出力するようにしてもよい。このフィルタリング後の開眼度の時系列情報X(t)は、例えば、式(5)のように示される。
Figure JPOXMLDOC01-appb-M000005
 ここで、F[]は、フィルタリング処理を示す演算子である。Nはフィルタリング処理用のフレーム数を示す。
 眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリング処理を行う。フレーム数Nとフィルタリング算出窓幅T[秒]とフレームレートfs[フレーム/秒]との間には、式(6)で示される関係がある。
Figure JPOXMLDOC01-appb-M000006
 例えば、フレーム数Nが3、フレームレートfsが30[フレーム/秒]に等しいとき、フィルタリング算出窓幅T[秒]は「3/30=0.1[秒]」となる。
 本例では、眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリングすることで、開眼度の時系列情報X(t)を所定の値に置換し、その置換した値をフィルタリング後の開眼度の時系列情報X(t)として出力する。
 眠気推定装置13が、開眼度の時系列情報X(t)に加えて、あるいは代えて、左眼の開眼度の時系列情報X(t)や右眼の開眼度の時系列情報X(t)を用いるようにしてもよい。
 例えば、眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリングすることで、開眼度の時系列情報X(t)を所定の主値に置換し、その置換した値をフィルタリング後の開眼度の時系列情報X(t)として出力する。
 また、眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリングすることで、左眼の開眼度の時系列情報X(t)を所定の第1の副値に置換し、その置換した値をフィルタリング後の左眼の開眼度の時系列情報XFL(t)として出力する。
 同様に、眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリングすることで、右眼の開眼度の時系列情報X(t)を所定の第2の値に置換し、その置換した値をフィルタリング後の右眼の開眼度の時系列情報XFR(t)として出力する。
 眠気推定装置13が、上記の3つのフィルタリングのうち1つのみを行うようにしてもよい。眠気推定装置13が行うフィルタリング処理としては、種々の方法を採用され得る。
 次に、眠気推定装置13が行うフィルタリング処理の具体例について説明する。
 眠気推定装置13によるフィルタリングは、フィルタリング算出窓幅T[秒]が少なくとも0.1[秒]以上である場合に適用可能である(T≧0.1)。その理由は、瞬きの時間が0.1~0.15[秒]のためである。例えば、フレームレートfsが30[フレーム/秒]の場合、フレーム数Nが3以上であるときに眠気推定装置13によるフィルタリングを適用可能である。以下では、フレーム数Nが30に等しく、フィルタリング算出窓幅T[秒]が1[秒]である場合を例に説明するが、実施形態はこのような例に限定されない。
 眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリングを行い、開眼度の時系列情報X(t)の最大値を取得し、その取得した最大値をフィルタリング後の開眼度の時系列情報X(t)として出力する。
 眠気推定装置13は、式(7)で示されるように、フィルタリング算出窓幅T[秒]の開眼度の時系列情報X(t)の最大値をとる。
Figure JPOXMLDOC01-appb-M000007
 max[]は要素の最大値をとる演算子である。眠気推定装置13は、このフィルタリングにより、開眼度の時系列情報から瞬きによる変化を除去する。
 また、対象者の眼が冴えている状態では、開眼度を一定に維持できる。一方、対象者が眠い状態では、開眼度を一定に維持できない。特に、対象者が眠い状態では、対象者の目が冴えている場合よりも常に開眼度が小さくなり、フィルタリングで得られる開眼度の最大値も小さくなると考えられる。対象者の眠気が強いほど、フィルタリング後の開眼度の時系列情報X(t)の値が小さくなると考えられる。
 第1例で眠気推定装置13が出力する開眼度の時系列情報は、眠気推定情報の例に該当する。眠気推定装置13が、眠気推定情報としてフィルタリング無しのX(t)、X(t)、X(t)のうちの何れか、またはこれらの組み合わせを出力するようにしてもよい。あるいは、眠気推定装置13が、眠気推定情報としてフィルタリング後のX(t)、XFL(t)、XFR(t)のうちの何れか、またはこれらの組み合わせを出力するようにしてもよい。
 眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報に対して上述した補正を行い、補正後眠気推定情報を出力する。
 あるいは、眠気推定装置13が、フィルタリング後の開眼度の時系列情報X(t)のばらつき度を算出し、算出したばらつき度を第1の特徴量F1(T)として出力するようにしてもよい。この場合、第1の特徴量F1(T)は、眠気推定情報の例に該当する。
 第1の特徴量F1(T)は、式(8)のように示される。
Figure JPOXMLDOC01-appb-M000008
 ここで、Tは時間のインデックスであり、特徴量算出窓の窓番号(0,1,2,・・・)を示す。
 V[]は、ばらつき度を計算する演算子である。ここでいうばらつき度として、例えば、分散、標準偏差、最大値と最小値との差分、または、エントロピーなど、いろいろなものを用いることができる。
 Mは特徴量抽出処理用のフレーム数を示す。特徴量算出窓幅T[秒]とフレームレートfs[フレーム/秒]とを用いて、「M=T×fs」と表される。
 なお、眠気推定装置13が用いるデータは、式(8)に示されるフィルタリング後の開眼度の時系列情報X(t)に限定されない。眠気推定装置13が、式(8)のフィルタリング後の開眼度の時系列情報X(t)に代えて、フィルタリング後の左眼の開眼度の時系列情報XFL(t)、または、フィルタリング後の右眼の開眼度の時系列情報XFR(t)を用いるようにしてもよい。
 例えば、眠気推定装置13が、特徴量算出窓幅T[秒]内での、フィルタリング後の左眼の開眼度の時系列情報XFL(t)のばらつき度を算出し、そのばらつき度を第1の特徴量F1(T)として出力するようにしてもよい。また、眠気推定装置13が、特徴量算出窓幅T[秒]内での、フィルタリング後の右眼の開眼度の時系列情報XFR(t)のばらつき度を算出し、そのばらつき度を第1の特徴量F1(T)として出力するようにしてもよい。
 この場合、第1の特徴量F1(T)は、眠気推定情報の例に該当する。
[第2例]
 第2例は、特徴量算出の処理が後述するように相違している点を除いて、第1例の場合と同様である。
 第2例では、眠気推定装置13は、開眼度の時系列情報X(t)のフレーム間差分の絶対値(以下、「フレーム間差分」と呼ぶ)を算出し、特徴量算出窓幅(T)[秒]内のフレーム間差分の最大値を求め、その最大値を第2の特徴量F2(T)として出力する。
 したがって、眠気推定装置13は、開眼度の時系列情報X(t)から第2の特徴量F2(T)を算出して、出力する。このフレーム間差分の絶対値の最大値は、眠い状態では値が小さくなり、目が冴えている状態では大きくなるため、眠気の推定に有用である。
 フレーム間差分の最大値、すなわち、第2の特徴量F2(T)は、式(9)のように示される。
Figure JPOXMLDOC01-appb-M000009
 ここで、「1-max[]」としているのは、他の特徴量と同様に、眠気が少ないほど値が小さくなるようにするためである。
 なお、眠気推定装置13が用いるデータは、式(9)に示される開眼度の時系列情報X(t)に限定されない。眠気推定装置13が、式(9)の開眼度の時系列情報X(t)に代えて、左眼の開眼度の時系列情報X(t)、または、右眼の開眼度の時系列情報X(t)を用いるようにしてもよい。
 例えば、眠気推定装置13が、特徴量算出窓幅T[秒]内での、左眼の開眼度の時系列情報X(t)のフレーム間の差分の最大値を算出し、その最大値を第2の特徴量F2(T)として出力するようにしてもよい。また、眠気推定装置13が、特徴量算出窓幅T[秒]内での、右眼の開眼度の時系列情報X(t)のフレーム間の差分の最大値を算出し、その最大値を第2の特徴量F2(T)として出力するようにしてもよい。
 第2例で眠気推定装置13が出力する第2の特徴量F2(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第2の特徴量F2(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第3例]
 第3例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
 第3例では、眠気推定装置13は、開眼度の時系列情報X(t)から閉眼を検知し、特徴量算出窓幅(T)[秒]内の閉眼割合(閉眼の割合)を求め、その閉眼割合を第3の特徴量F3(T)として出力する。したがって、眠気推定装置13は、開眼度の時系列情報X(t)から第3の特徴量F3(T)を算出して、出力する。この閉眼割合は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。
 閉眼割合、すなわち、第3の特徴量F3(T)は、式(10)のように示される。
Figure JPOXMLDOC01-appb-M000010
 ただし、Cは、特徴量算出窓幅(T)[秒]に含まれる開眼度の時系列情報[X(T×M+t)、・・・、X(T×M+t-M+1)]の要素のうち、閉眼判定閾値(例えば、0.5)を下回る要素数とする。
 なお、眠気推定装置13が、第3の特徴量F3(T)の算出に、開眼度の時系列情報X(t)に代えて、左眼の開眼度の時系列情報X(t)、または、右眼の開眼度の時系列情報X(t)を用いるようにしてもよい。その場合、眠気推定装置13は、特徴量算出窓幅T[秒]内での、左眼の開眼度の時系列情報X(t)の閉眼割合を算出し、その閉眼割合を第3の特徴量F3(T)として出力する。また、眠気推定装置13は、特徴量算出窓幅T[秒]内での、右眼の開眼度の時系列情報X(t)の閉眼割合を算出し、その閉眼割合を第3の特徴量F3(T)として出力する。
 また、眠気推定装置13が、左眼の開眼度の時系列情報X(t)と右眼の開眼度の時系列情報X(t)との両方が同時に閉眼している割合を算出し、その閉眼割合を第3の特徴量F3(T)として出力するようにしてもよい。また、眠気推定装置13が、左眼の開眼度の時系列情報X(t)の閉眼割合、右眼の開眼度の時系列情報X(t)の閉眼割合をそれぞれ算出し、それらを要素とする第3の特徴量F3(T)=[X(t)の閉眼割合、X(t)の閉眼割合]を出力するようにしてもよい。また、眠気推定装置13が、複数の閉眼判定閾値(例えば、0.5と0.8等)を用いて、複数の閉眼割合を算出し、それらを要素とする第3の特徴量F3(T)=[閉眼判定閾値0.5の場合の閉眼割合、閉眼判定閾値0.8の場合の閉眼割合]を出力するようにしてもよい。
 第3例で眠気推定装置13が出力する第3の特徴量F3(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第3の特徴量F3(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第4例]
 第4例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
 第4例では、眠気推定装置13は、左眼の開眼度の時系列情報X(t)と右眼の開眼度の時系列情報X(t)との間の動き差分の絶対値(以下、「動き差分」と呼ぶ)を算出し、特徴量算出窓幅(T)[秒]内の上記動き差分の平均値を求め、その動き差分の平均値を第4の特徴量F4(T)として出力する。
 したがって、眠気推定装置13は、開眼度の時系列情報X(t)から第4の特徴量F4(T)を算出して、出力する。この動き差分平均値は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。
 動き差分の平均値、すなわち、第4の特徴量F4(T)は、式(11)のように示される。
Figure JPOXMLDOC01-appb-M000011
 第4例で眠気推定装置13が出力する第4の特徴量F4(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第4の特徴量F4(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第5例]
 第5例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
 第5例では、眠気推定装置13は、ある特徴量算出窓幅(T)[秒]で算出された第1の特徴量F1(T)とそれに隣接する特徴量算出窓幅(T)[秒]で算出された第1の特徴量F1(T-1)との差分の絶対値(以下、「隣接窓間の差分」と呼ぶ)を算出して、その隣接窓間の差分を第5の特徴量F5(T)として出力する。
 したがって眠気推定装置13は、第1の特徴量F1(T)における隣接窓間の差分を第5の特徴量F5(T)として算出して、出力する。この隣接窓間の差分は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。
 隣接窓間の差分、すなわち、第5の特徴量F5(T)は、式(12)のように示される。
Figure JPOXMLDOC01-appb-M000012
 なお、眠気推定装置13が、第1の特徴量F1(T)における隣接窓間の差分に代えて、第2の特徴量F2(T)における隣接窓間の差分、第3の特徴量F3(T)における隣接窓間の差分、または、第4の特徴量F4(T)における隣接窓間の差分を、第5の特徴量F5(T)として算出し、出力するようにしてもよい。
 第5例で眠気推定装置13が出力する第5の特徴量F5(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第5の特徴量F5(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第6例]
 第6例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
 第6例では、眠気推定装置13は、第1の特徴量F1(T)の対数を算出して、その対数を第6の特徴量F6(T)として出力する。したがって、眠気推定装置13は、第1の特徴量F1(T)の対数を第6の特徴量F6(T)として算出して、出力する。ここで、一般に人の感覚は対数に従っていると言われている。眠気推定装置13が、第1の特徴量F1(T)の対数をとることで、人の感覚に近い眠気推定情報を出力できる。
 第1の特徴量の対数、すなわち、第6の特徴量F6(T)は、式(13)のように示される。
Figure JPOXMLDOC01-appb-M000013
 ここで、αは正の小さな値、例えば、10-6である。第1の特徴量F1(T)に正の小さな値αを加えているのは、対数の中身がゼロにならないようにするためである。
 なお、眠気推定装置13が、第1の特徴量F1(T)の対数に代えて、第2の特徴量F2(T)の対数、第3の特徴量F3(T)の対数、第4の特徴量F4(T)の対数、または、第5の特徴量F5(T)の対数を第6の特徴量F6(T)として算出し、出力するようにしてもよい。
 第6例で眠気推定装置13が出力する第6の特徴量F6(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第6の特徴量F6(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
 第6例で眠気推定装置13が出力する第6の特徴量F6(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第6の特徴量F6(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第7例]
 第7例は、特徴量算出の処理が相違している点を除いて、第1例の場合と同様である。
 第7例~第9例では、眠気推定装置13は、統計量算出窓幅T[秒]毎に、後述するように、上述した特徴量(例えば第1の特徴量F1(T))の統計量F7(S)~F9(S)を算出し、特徴量として用いる。ここで、Sは時間のインデックスであり、統計量算出窓の窓番号(0,1,2,・・・)を示す。例えば、統計量算出窓幅T[秒]内の第1の特徴量T1(T)の個数がK個であるとする。
 第7例では、眠気推定装置13は、上述した特徴量として第1の特徴量F1(T)を用い、統計量として第1の特徴量F1(T)の平均値を用いる。眠気推定装置13は、統計量算出窓幅T[秒]内の、第1の特徴量F1(T)の平均値を算出して、その平均値を第7の特徴量F7(S)として出力する。したがって、眠気推定装置13は、統計量算出窓幅T[秒]毎に、第1の特徴量F1(T)の平均値を、第7の特徴量F7(S)として算出して、出力する。
 第1の特徴量の平均値、すなわち、第7の特徴量F7(S)は、式(14)のように示される。
Figure JPOXMLDOC01-appb-M000014
 average[]は要素の平均値を算出する演算子である。
 式(14)におけるTの値は、第1の特徴量F1を求める際の特徴量算出窓の窓番号と、第7の特徴量F7を求める際の特徴量算出窓の窓番号との関係を示すオフセットの役割を果たす。
 眠気推定装置13が、第1の特徴量F1(T)の平均値に代えて、第2の特徴量F2(T)の平均値、第3の特徴量F3(T)の平均値、第4の特徴量F4(T)の平均値、第5の特徴量F5(T)の平均値、第6の特徴量F6(T)の平均値を用いて第7の特徴量F7(S)を算出し、出力するようにしてもよい。
 第7例で眠気推定装置13が出力する第7の特徴量F7(S)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第7の特徴量F7(S))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第8例]
 第8例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
 第8例では、眠気推定装置13は、統計量算出窓幅T[秒]内の、第1の特徴量F1(T)の標準偏差を算出して、その標準偏差を第8の特徴量F8(S)として出力する。
 したがって、眠気推定装置13は、統計量算出窓幅T[秒]毎に、第1の特徴量F1(T)の標準偏差を、第8の特徴量F8(S)として算出して、出力する。
 第1の特徴量の標準偏差、すなわち、第8の特徴量F8(S)は、式(15)のように示される。
Figure JPOXMLDOC01-appb-M000015
 standard_dev[]は要素の標準偏差を算出する演算子である。
 式(15)におけるTの値は、第1の特徴量F1を求める際の特徴量算出窓の窓番号と、第8の特徴量F8を求める際の特徴量算出窓の窓番号との関係を示すオフセットの役割を果たす。
 眠気推定装置13が、第1の特徴量F1(T)に代えて、第2の特徴量F2(T)、第3の特徴量F3(T)、第4の特徴量F4(T)、第5の特徴量F5(T)、または、第6の特徴量F6(T)の標準偏差を、第8の特徴量F8(S)として算出し、出力するようにしてもよい。
 第8例で眠気推定装置13が出力する第8の特徴量F8(S)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第8の特徴量F8(S))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第9例]
 第9例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
 第9例では、眠気推定装置13は、統計量算出窓幅T[秒]内の、第1の特徴量F1(T)の分散を算出して、その分散を第9の特徴量F9(S)として出力する。したがって、眠気推定装置13は、統計量算出窓幅T[秒]毎に、第1の特徴量F1(T)の分散を、第9の特徴量F9(S)として算出して、出力する。
 第1の特徴量の分散、すなわち、第9の特徴量F9(S)は、式(16)のように示される。
Figure JPOXMLDOC01-appb-M000016
 variance[]は要素の分散値を算出する演算子である。
 式(16)におけるTの値は、第1の特徴量F1を求める際の特徴量算出窓の窓番号と、第9の特徴量F9を求める際の特徴量算出窓の窓番号との関係を示すオフセットの役割を果たす。
 眠気推定装置13が、第1の特徴量F1(T)の分散に代えて、第2の特徴量F2(T)の分散、第3の特徴量F3(T)の分散、第4の特徴量F4(T)の分散、第5の特徴量F5(T)の分散、または、第6の特徴量F6(T)の分散を、第9の特徴量F9(T)として算出し、出力するようにしてもよい。
 第9例で眠気推定装置13が出力する第9の特徴量F9(S)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第9の特徴量F9(S))に対して上述した補正を行い、補正後眠気推定情報を出力する。
 眠気推定装置13が、上述した特徴量F1(T)~F9(S)のうち何れか1つのみを眠気推定情報として出力するようにしてもよい。あるいは、眠気推定装置13が、特徴量F1(T)~F9(S)のうち複数を眠気推定情報として出力するようにしてもよい。
<実施形態の構成の例>
 つぎに、図13から図16を参照して、実施の形態の構成の例について説明する。
 図13は、実施形態に係る眠気推定情報補正装置の構成の例を示す図である。図13に示す眠気推定情報補正装置610は、眠気推定情報取得部611と、眠気推定情報補正部612とを備える。
 かかる構成で、眠気推定情報取得部611は、対象者の瞼の動きに基づく眠気推定情報を取得する。眠気推定情報補正部612は、眠気推定情報取得部611が取得する眠気推定情報を、対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する。
 これにより、眠気推定情報補正装置610では、対象者の眠気推定情報(補正後眠気推定情報)を算出する際、周囲環境の影響による推定精度の低下を軽減できる。
 図14は、実施形態に係る眠気推定装置の構成の例を示す図である。図14に示す眠気推定装置620は、瞼動き情報取得部621と、眠気推定部622とを備える。
 かかる構成で、瞼動き情報取得部621は、対象者の瞼の動き情報を取得する。眠気推定部622は、瞼動き情報取得部621が取得する瞼の動き情報と、対象者の周囲環境における湿度を示す湿度情報とに基づいて、対象者の眠気推定情報を算出する。
 これにより、眠気推定装置620では、対象者の眠気を推定する際、推定精度の低下を軽減できる。特に眠気推定装置620では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下してしまうことを回避または軽減できる。
 図15は、実施形態に係る眠気推定情報補正方法における処理手順の例を示す図である。
 図15の処理では、対象者の瞼の動きに基づく眠気推定情報を取得し(ステップS11)、取得した眠気推定情報を、対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する(ステップS12)。
 この眠気推定情報補正方法によれば、対象者の眠気を推定する際、推定精度の低下を軽減できる。特に、図15の処理にかかる眠気推定補正情報では、対象者の眠気推定情報(補正後眠気推定情報)を算出する際、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下してしまうことを回避または軽減できる。
 図16は、実施形態に係る眠気推定方法における処理手順の例を示す図である。
 図16の処理では、対象者の瞼の動き情報を取得し(ステップS21)、取得した動き情報と、対象者の周囲環境における湿度を示す湿度情報とに基づいて、対象者の眠気推定情報を算出する(ステップS22)。
 この眠気推定方法によれば、対象者の眠気を推定する際、推定精度の低下を軽減できる。特に、図16の処理にかかる眠気推定方法では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下してしまうことを回避または軽減できる。
 図17は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
 図17に示す構成で、コンピュータ700は、CPU710と、主記憶装置720と、補助記憶装置730と、インタフェース740とを備える。
 上記の眠気推定情報補正装置14、眠気推定装置41、眠気推定情報補正装置610、または、眠気推定装置620のうち何れか1つ以上が、コンピュータ700に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。また、CPU710は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置720に確保する。各装置と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
 眠気推定情報補正装置14がコンピュータ700に実装される場合、第1制御部190およびその各部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
 また、CPU710は、プログラムに従って、第1記憶部180に対応する記憶領域を主記憶装置720に確保する。第1通信部110が行う通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
 眠気推定装置41がコンピュータ700に実装される場合、第2制御部290およびその各部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
 また、CPU710は、プログラムに従って、第2記憶部280に対応する記憶領域を主記憶装置720に確保する。第2通信部210が行う通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
 眠気推定情報補正装置610がコンピュータ700に実装される場合、眠気推定情報補正部612の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
 また、眠気推定情報取得部611の動作は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
 眠気推定装置620がコンピュータ700に実装される場合、眠気推定部622の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
 また、瞼動き情報取得部621の動作は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
 なお、眠気推定情報補正装置14、眠気推定装置41、眠気推定情報補正装置610、または、眠気推定装置620の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、OS(オペレーティングシステム)や周辺機器等のハードウェアを含む。
 「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
 以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
 この出願は、2019年7月22日に出願された日本国特願2019-134835を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本発明は、眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体に適用してもよい。
 1、4 覚醒度制御システム
 2、5 運転制御システム
 3、6 警報システム
 11 カメラ
 12 湿度センサ
 13 眠気推定装置
 14 眠気推定情報補正装置
 15 覚醒度制御装置
 16 環境制御装置
 21 運転制御装置
 22 運転装置
 31 警報装置
 41 眠気推定装置
 110 第1通信部(第1通信手段)
 180 第1記憶部(第1記憶手段)
 181 補正モデル記憶部(補正モデル記憶手段)
 190 第1制御部(第1制御手段)
 191 眠気推定情報補正部(眠気推定情報補正手段)

Claims (9)

  1.  対象者の瞼の動きに基づく眠気推定情報を取得する眠気推定情報取得手段と、
     前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する眠気推定情報補正手段と、
     を備える眠気推定情報補正装置。
  2.  前記眠気推定情報補正手段は、前記湿度が低いほど前記補正後眠気推定情報が小さくなるように補正を行う、
     請求項1に記載の眠気推定情報補正装置。
  3.  前記眠気推定情報補正手段は、前記湿度が上限閾値より大きい場合、前記湿度が上限閾値の場合と同じ補正量の補正を行う、
     請求項1または請求項2に記載の眠気推定情報補正装置。
  4.  前記眠気推定情報補正手段は、前記湿度が下限閾値より小さい場合、前記湿度が下限閾値の場合と同じ補正量の補正を行う、
     請求項1または請求項2に記載の眠気推定情報補正装置。
  5.  対象者の瞼の動き情報を取得する瞼動き情報取得手段と、
     前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報を算出する眠気推定手段と、
     を備える眠気推定装置。
  6.  コンピュータによって、
     対象者の瞼の動きに基づく眠気推定情報を取得し、
     前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する、
     ことを含む眠気推定情報補正方法。
  7.  コンピュータによって、
     対象者の瞼の動き情報を取得し、
     前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報を算出する、
     ことを含む眠気推定方法。
  8.  コンピュータに、
     対象者の瞼の動きに基づく眠気推定情報を取得し、
     前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する、
     ことを実行させるプログラムが格納された記録媒体。
  9.  コンピュータに、
     対象者の瞼の動き情報を取得し、
     前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報を算出する、
     ことを実行させるプログラムが格納された記録媒体。
PCT/JP2020/026222 2019-07-22 2020-07-03 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体 WO2021014939A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021533914A JP7231035B2 (ja) 2019-07-22 2020-07-03 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム
US17/628,294 US20220265217A1 (en) 2019-07-22 2020-07-03 Drowsiness estimation information correction device, drowsiness estimation device, drowsiness estimation information correction method, drowsiness estimation method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019134835 2019-07-22
JP2019-134835 2019-07-22

Publications (1)

Publication Number Publication Date
WO2021014939A1 true WO2021014939A1 (ja) 2021-01-28

Family

ID=74193806

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026222 WO2021014939A1 (ja) 2019-07-22 2020-07-03 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体

Country Status (3)

Country Link
US (1) US20220265217A1 (ja)
JP (1) JP7231035B2 (ja)
WO (1) WO2021014939A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2602511A (en) * 2020-12-21 2022-07-06 Continental Automotive Gmbh Method to control environmental conditions in a vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017127616A (ja) * 2015-07-22 2017-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 覚醒度予測方法および覚醒度予測装置
EP3381351A1 (en) * 2017-03-29 2018-10-03 Vivior AG System for assessing a health condition of a user
JP2018183532A (ja) * 2017-04-27 2018-11-22 株式会社デンソー 状態推定装置
JP2019046012A (ja) * 2017-08-31 2019-03-22 マツダ株式会社 運転者状態判定装置
JP2019082282A (ja) * 2017-10-30 2019-05-30 ダイキン工業株式会社 眠気推定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017127616A (ja) * 2015-07-22 2017-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 覚醒度予測方法および覚醒度予測装置
EP3381351A1 (en) * 2017-03-29 2018-10-03 Vivior AG System for assessing a health condition of a user
JP2018183532A (ja) * 2017-04-27 2018-11-22 株式会社デンソー 状態推定装置
JP2019046012A (ja) * 2017-08-31 2019-03-22 マツダ株式会社 運転者状態判定装置
JP2019082282A (ja) * 2017-10-30 2019-05-30 ダイキン工業株式会社 眠気推定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2602511A (en) * 2020-12-21 2022-07-06 Continental Automotive Gmbh Method to control environmental conditions in a vehicle
GB2602511B (en) * 2020-12-21 2023-02-08 Continental Automotive Gmbh Method to control environmental conditions in a vehicle

Also Published As

Publication number Publication date
US20220265217A1 (en) 2022-08-25
JPWO2021014939A1 (ja) 2021-01-28
JP7231035B2 (ja) 2023-03-01

Similar Documents

Publication Publication Date Title
US8576081B2 (en) Physiological condition estimation device and vehicle control device
US8823792B2 (en) Wakefulness level estimation apparatus
WO2017208529A1 (ja) 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
JP5782726B2 (ja) 覚醒低下検出装置
EP2117432B1 (en) Anti-drowsing device and anti-drowsing method
CN109716411B (zh) 用以监测驾驶员的活动水平的方法和设备
CN107554528B (zh) 驾乘人员的疲劳等级检测方法及装置、存储介质、终端
GB2525079A (en) Vehicle operator monitoring and operations adjustments
WO2015192980A1 (de) Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs
JP5585894B2 (ja) 運転者状態判定装置
DE112008000301T5 (de) Fahrermanagementvorrichtung und Fahrtmanagementsystem
CN109977930B (zh) 疲劳驾驶检测方法及装置
CN107303907A (zh) 用于确定驾驶者的睡意的装置和方法
WO2021014939A1 (ja) 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体
JP3480483B2 (ja) 覚醒度推定装置
US10945651B2 (en) Arousal level determination device
JP2010184067A (ja) 生体状態推定装置
JP5688811B2 (ja) 運転者状態推定装置
JP2018045450A (ja) 車両制御装置
KR101582454B1 (ko) 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
JP2018045451A (ja) 車両制御装置
CN114267169A (zh) 一种基于机器视觉的预防疲劳驾驶限速控制方法
JP2020013554A (ja) 覚醒度判定装置
EP3310248B1 (de) Verfahren und vorrichtung zum unterscheiden von blinzelereignissen und instrumentenblicken unter verwendung einer augenöffnungsweite
JP5688810B2 (ja) 運転者状態推定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20843986

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021533914

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20843986

Country of ref document: EP

Kind code of ref document: A1