WO2010032725A1 - 眠気判定装置及びプログラム - Google Patents

眠気判定装置及びプログラム Download PDF

Info

Publication number
WO2010032725A1
WO2010032725A1 PCT/JP2009/066093 JP2009066093W WO2010032725A1 WO 2010032725 A1 WO2010032725 A1 WO 2010032725A1 JP 2009066093 W JP2009066093 W JP 2009066093W WO 2010032725 A1 WO2010032725 A1 WO 2010032725A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
threshold value
threshold
blink
state
Prior art date
Application number
PCT/JP2009/066093
Other languages
English (en)
French (fr)
Inventor
拓 依田
寺嶌　立太
太司 津田
大見　拓寛
Original Assignee
アイシン精機株式会社
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社, 株式会社デンソー filed Critical アイシン精機株式会社
Priority to EP09814570.9A priority Critical patent/EP2351524B1/en
Priority to US13/063,332 priority patent/US20110216181A1/en
Priority to CN200980135508.XA priority patent/CN102149326B/zh
Publication of WO2010032725A1 publication Critical patent/WO2010032725A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6821—Eye

Definitions

  • the present invention relates to a drowsiness determination apparatus and program, and more particularly, to a drowsiness determination apparatus and program for determining a drowsiness state of a vehicle driver.
  • the eye opening is detected from the imaging means, and a plurality of minimum values of the eye opening are extracted from the time-dependent change data of the opening, and the plurality of minimum values are separated into the open eye candidate group and the closed eye candidate group.
  • an opening equal to or less than the value obtained by subtracting the standard deviation of the eye opening candidate group from the minimum opening within the eye opening candidate, or an opening equal to or greater than the value obtained by adding the standard deviation of the eye closing candidate group to the minimum opening within the eye opening candidate.
  • Patent Document 1 According to this open / close eye monitor device, the value of the closed eye threshold value can be set accurately.
  • an accurate closed eye threshold value that is set may be different from a threshold value that is suitable for extracting the blink feature amount.
  • a problem that there is For example, if you want to extract the duration of eye closure as an eyebrow feature, you must set the eye opening higher than the original eye closure threshold. Then, there is a problem that an erroneous blink feature amount is extracted.
  • the present invention has been made in order to solve the above-described problems, and extracts sleep blink features using threshold values suitable for the types of blink feature amounts, and can accurately determine a sleepiness state.
  • An object is to provide a determination device and a program.
  • a drowsiness determination device detects an opening degree of an eye based on an imaging unit that captures an area including an eye of a determination target person and an image captured by the imaging unit. And a blink feature amount related to the cluster blink determined by using a threshold value smaller than a standard threshold value for the eye opening based on the eye opening detected by the opening detection unit. , A blink feature amount related to the number of blinks different from a blink feature amount related to the cluster blink, and a threshold value greater than the standard threshold value and an eye open state during a predetermined time.
  • the value corresponding to the length And a blink feature amount relating to the length of the open eye state during the predetermined time, a threshold value smaller than the standard threshold value, and a value corresponding to all lengths of the closed eye state during the predetermined time.
  • a blink feature amount relating to the length of the closed eye state at the predetermined time and a threshold value greater than the standard threshold value and a value corresponding to the length of a part of the closed eye state during the fixed time
  • a feature amount extraction unit that extracts a plurality of types of blink feature amounts selected from the blink feature amount related to the length of the closed eye state in the fixed time, and a plurality of types of blink features extracted by the feature amount extraction unit
  • a drowsiness determination unit that determines the drowsiness of the determination target person based on the amount.
  • the program according to the present invention includes a computer that detects an opening degree of an eye based on an image captured by an imaging unit that captures an area including an eye of a determination target person, and the opening degree detection unit. Based on the detected eye opening, a blink feature amount related to cluster blinks determined using a threshold smaller than the standard threshold for the eye opening, determined using the standard threshold, and A blink feature amount related to the number of blinks different from the blink feature amount related to the cluster blink, a threshold value larger than the standard threshold value, and a value corresponding to all lengths of the eye open state during a predetermined time.
  • a blink feature amount relating to the length of the open eye state during the predetermined time a threshold value smaller than the standard threshold value and a value corresponding to a length of a part of the open eye state during the predetermined time period
  • the constant Eyebrow feature amount relating to the length of the eye-open state during the period a threshold value smaller than the standard threshold value, and values corresponding to all lengths of the eye-closed state during a predetermined time
  • a feature amount extracting means for extracting a plurality of types of blink feature amounts selected from the blink feature amount relating to the length of the eye, and the determination target based on the plurality of types of blink feature amounts extracted by the feature amount extraction means It is a program for functioning as sleepiness state determination means for determining the sleepiness state of a person.
  • the imaging unit captures an area including the eyes of the person to be determined, and the opening detection unit detects the opening of the eye based on the image captured by the imaging unit.
  • the blink feature quantity related to the cluster blink that is obtained using a threshold value smaller than the standard threshold value for the eye opening degree
  • a value corresponding to a blink characteristic amount related to the length of the eye open state at a certain time, a threshold value smaller than a standard threshold value, and a part of the length of the eye open state during the certain time a value corresponding to a blink characteristic amount related to the length of the eye open state at a certain time, a threshold value smaller than a standard threshold value, and a part of the length of the eye open state during the certain time.
  • the sleepiness state of the determination target person is determined by the sleepiness state determination means based on the multiple types of blink feature amounts extracted by the feature amount extraction means.
  • a threshold value suitable for the type of blink feature amount is used.
  • the eye feature amount can be extracted, and the drowsiness state can be determined with high accuracy.
  • the drowsiness determination device includes a threshold calculation unit that calculates a standard threshold, a threshold larger than the standard threshold, and a threshold smaller than the standard threshold based on the eye opening detected by the opening detection unit. Further, it can be included.
  • the threshold value calculation means is based on the distribution of the eye opening obtained from the eye opening detected by the opening detection means, based on the standard threshold, the threshold larger than the standard threshold, and the standard threshold. A small threshold can be calculated.
  • the threshold value calculation means is configured to calculate a value between the maximum value with the larger eye opening and the maximum value with the smaller eye opening between the two maximum values in the distribution of the eye opening. And calculating a standard threshold value based on the minimum value, calculating a threshold value greater than the standard threshold value based on the minimum value and the maximum value with the smaller eye opening, A threshold value smaller than the standard threshold value can be calculated based on the minimum value and the maximum value with the larger eye opening.
  • the drowsiness determination device and the program of the present invention by extracting a plurality of types of blink feature amounts using a standard threshold value regarding an eye opening, a small threshold value, or a large threshold value, The effect that the blink feature amount can be extracted using a threshold value suitable for the type of the blink feature amount and the sleepiness state can be accurately determined is obtained.
  • the drowsiness determination device 10 As shown in FIG. 1, the drowsiness determination device 10 according to the first embodiment is installed, for example, diagonally in front of a driver as a determination target person, and images the driver's face from diagonally above. And a computer 20 that performs sleepiness determination based on the face image captured by the imaging device 12 and causes the display device 40 to display the determination result.
  • the computer 20 includes a CPU, a RAM, and a ROM that stores a program for executing a threshold calculation processing routine and a drowsiness determination processing routine, which will be described later, and is functionally configured as follows.
  • the computer 20 detects an eye area extracting unit 22 that extracts an eye area representing the driver's eyes from the face image, and an eye opening degree detecting unit 24 that detects an eye opening degree indicating the degree of eye opening.
  • a threshold calculation unit 26 that calculates a plurality of types of closed eye thresholds having different sizes from time series data of the eye opening, a threshold storage unit 28 that stores the calculated types of closed eye thresholds, and a detected eye opening
  • a feature amount extraction unit 30 that extracts a plurality of types of blink feature values using a plurality of types of stored eye closure threshold values, and a threshold value that performs threshold determination for each of the extracted blink feature amounts. Based on the determination unit 32, the result of threshold determination for each of a plurality of types of blink feature amounts, the drowsiness determination unit 34 that determines the drowsiness state, and the display device 40 is warned when it is determined that it is a doze state Display control unit 36 for displaying information It is equipped with a.
  • the eye opening detection unit 24 determines the eye opening based on the ratio of the distance between the upper eyelid and the lower eyelid detected from the image of the eye area with respect to the predetermined distance between the upper eyelid and the lower eyelid when fully opened. To detect.
  • the eye opening degree detection unit 24 detects the eye opening degree when the eye is fully open as 100% and when the eye is closed as 0%. When the drowsiness is stopped by the half eye, for example, an eye opening of about 50% is detected.
  • the distance between the upper eyelid and the lower eyelid may be detected as the eye opening.
  • the eye opening obtained by image analysis or the like is mixed with a noise component due to the movement of the person to be imaged, the search point deviation, discretization, or the like.
  • the noise may be determined as a blink phenomenon, and the noise component is a factor that prevents a blink feature that is useful for determining a drowsiness state from being correctly extracted from the eye opening.
  • a plurality of types of blink features are extracted by determining a closed eye state or an open state using a constant closed eye threshold, as shown in FIG.
  • the continuous eye opening time extracted using the closed eye threshold value may be greatly affected by noise in the closed eye state.
  • an extraction threshold value for example, a threshold value that is larger than the general eye closure threshold value
  • the ideal eye A blink feature value close to the blink feature value obtained from the waveform of the opening degree is extracted, and as a result, the drowsiness state can be accurately determined.
  • the threshold value calculation unit 26 uses a standard closed eye threshold value and an closed eye threshold value that is larger than the standard closed eye threshold value (closed eye threshold value close to the open eye state). , And a closed eye threshold value (a closed eye threshold value close to the closed eye state) that is smaller than the standard closed eye threshold value.
  • FIG. 3 shows a graph sharing the vertical axis indicating the eye opening.
  • the waveform of the eye opening has a smaller amplitude than the change due to the blink.
  • noise There is noise.
  • a plurality of types of extraction thresholds having different sizes are calculated.
  • the eye opening frequency is divided into an open eye state and a closed eye state.
  • the maximum value with the larger eye opening is set as the peak a of the histogram of the open eye state
  • the maximum value with the smaller eye opening is set as the closed eye.
  • the closed eye threshold thA having a large value, the standard closed eye threshold thB, and the closed eye threshold thC having a small value are calculated according to the following equations (1) to (3).
  • thA b + (bc) * Xa (1)
  • thB b
  • thC b + (ab) * Xb (3)
  • Xa and Xb are predetermined constants.
  • the closed eye threshold thA having a large value, the standard closed eye threshold thB, and the closed eye threshold thC having a small value may be calculated by the following equations (4) to (6).
  • thA b + Xa (4)
  • thB b
  • thC b ⁇ Xb (6)
  • Xa and Xb are positive constants.
  • the closed eye threshold thA having a large value calculated by the above formula (1) or the above formula (4) is a threshold for extracting the range of the closed eye state to the maximum without being affected by noise in the closed eye state, or the closed eye state This is a threshold value for preventing the eye open state from being erroneously extracted due to noise in the.
  • the closed eye threshold thC calculated by the above formula (3) or the above formula (6) is a threshold for extracting the range of the open eye state to the maximum without being affected by noise in the open eye state, or This is a threshold for preventing the closed eye state from being erroneously extracted due to noise in the open eye state.
  • the feature amount extraction unit 30 extracts a plurality of types of blink feature amounts using a plurality of types of closed eye thresholds as described below.
  • the closed eye threshold thA having a large value is set as the extraction threshold value.
  • the distribution of the continuous closed eye time is a value obtained by using the duration of the closed eye state among the closed eye states within a predetermined extraction time frame. As shown in FIG.
  • the closed eye threshold thB or the closed eye threshold thC having a small value is used, the extraction threshold is exceeded due to the influence of noise even in a closed eye state, and the continuous eye closing time cannot be extracted accurately. Therefore, when the feature amount extraction unit 30 extracts the distribution of the continuous eye closing time as the blink feature amount, as shown in FIG. 3, the eye opening time series is used by using the eye closing threshold thA having a large value.
  • the feature amount extraction unit 30 when extracting the blink feature amount related to the number of blinks, the feature amount extraction unit 30 reduces the influence of noise in both the open eye state and the closed eye state, so that one of the open eye state and the closed eye state is changed to the other.
  • the number of blinks is calculated by extracting the number of times exceeding the eye closure threshold thB from the time series data of the eye opening using the standard eye closure threshold thB as the extraction threshold. Extract with high accuracy and extract blink feature quantity.
  • the feature amount extraction unit 30 uses the standard closed eye threshold thB to open the eye opening degree. From the time series data, the change in the eye opening exceeding the closed eye threshold thB is accurately extracted, the number of times of reciprocation above and below the closed eye threshold is measured, and the number of blinks is extracted.
  • the feature amount extraction unit 30 uses the closed eye threshold thC having a small value as the extraction threshold so that the closed eye state can be extracted more accurately.
  • the closed eye rate is a ratio of the time of the closed eye state within a predetermined extraction time frame, and depends on the integrated value of the closed eye time within the extraction time frame, and thus is less susceptible to noise in the closed eye state. Therefore, when extracting the closed eye rate as the blink feature value, the feature value extraction unit 30 uses the closed eye threshold value thC having a small value to determine the closed eye state less than the closed eye threshold value thC from the time series data of the eye opening. By extracting, the closed eye state is accurately extracted so that the closed eye state is not erroneously extracted due to noise in the open eye state, the integrated value of the time of the closed eye state is calculated, and the closed eye rate is extracted.
  • the threshold determination unit 32 performs threshold determination for each of the extracted multiple types of blink feature amounts, and determines whether or not the blink feature amounts correspond to a doze state. For example, it is determined whether or not the extracted continuous eye closure time is equal to or greater than a threshold th Dur related to the continuous eye closure time, and whether or not the extracted blink count is equal to or greater than the threshold th CNT related to the blink count. Further, it is determined whether or not the extracted closed eye rate is equal to or greater than a threshold th CLS relating to the closed eye rate.
  • the drowsiness determination unit 34 determines when all types of blink feature amounts are blink feature amounts corresponding to a dozing state by threshold determination for each of the extracted types of blink feature amounts. It is determined that the driver who is the subject is dozing.
  • the operation of the drowsiness determination device 10 according to the first embodiment will be described.
  • the driver's face is continuously imaged by the imaging device 12, and the threshold calculation processing routine shown in FIG.
  • step 100 a face image is acquired from the imaging device 12, and in step 102, an eye region is extracted from the acquired face image.
  • step 104 the eye opening is calculated based on the extracted image of the eye region and recorded in a memory (not shown).
  • step 106 it is determined whether or not a predetermined time has elapsed since the start of the process. If the predetermined time has not elapsed, the process returns to step 100. If the predetermined time has elapsed, the process returns to step 108. Transition.
  • step 100 to step 106 time series data of the eye opening detected in the predetermined period is recorded in the memory.
  • step 108 the eye opening frequency distribution is calculated from the time series data of the eye opening recorded in the memory.
  • step 110 the maximum value obtained from the eye opening frequency distribution calculated in step 108 is calculated. Then, the standard closed eye threshold value, the closed eye threshold value with a large value, and the closed eye threshold value with a small value are calculated according to the above formulas (1) to (3).
  • step 112 the plurality of types of closed eye threshold values calculated in step 110 are stored in the threshold value storage unit 28, and the threshold value calculation processing routine is terminated.
  • the driver's face is continuously imaged by the imaging device 12, and the computer 20 repeatedly executes the drowsiness determination processing routine shown in FIG. To do.
  • step 120 a face image is acquired from the imaging device 12, and in step 122, an eye region is extracted from the acquired face image.
  • step 124 the eye opening is calculated based on the extracted image of the eye region and recorded in a memory (not shown).
  • step 126 it is determined whether or not a predetermined time has elapsed since the start of the processing. If the predetermined time has not elapsed, the process returns to step 120. If the predetermined time has elapsed, the process returns to step 128. Transition.
  • step 120 to step 126 time series data of the eye opening detected in a predetermined period is recorded in the memory.
  • a plurality of types of closed eye threshold values stored in the threshold value storage unit 28 are read, and in step 130, a time series of eye opening degrees recorded in the memory using the plurality of types of closed eye threshold values acquired in step 128.
  • Each of a plurality of types of blink feature quantities is extracted based on the data.
  • step 130 based on the time-series data of the eye opening, using a closed eye threshold value having a large value, a range in which the closed eye state that is less than the closed eye threshold continues is extracted, and a continuous eye closing time is extracted.
  • the number of blinks is extracted by extracting a change exceeding the closed eye threshold using a standard closed eye threshold.
  • the closed eye threshold value having a small value the range of the closed eye state that is less than the closed eye threshold value is extracted, and the closed eye rate is extracted.
  • a threshold value is determined for each of the multiple types of blink feature values extracted in step 130.
  • all the blink feature values correspond to the threshold value determination in step 132. It is determined whether or not it is determined that it is equal to or greater than a threshold value. If it is determined in step 132 that at least one type of blink feature amount is less than the corresponding threshold value, the drowsiness determination processing routine is terminated. On the other hand, if it is determined in the threshold determination in step 132 that all the blink feature values are equal to or greater than the corresponding threshold value, all the blink feature values correspond to the doze state. It is determined that the driver is dozing. In step 136, a warning message is displayed on the display device 40 to alert the driver to sleepiness, and the sleepiness determination processing routine is terminated.
  • the number of blinks is extracted using the standard eye-closing threshold regarding the eye opening, and the eye-closing rate using the eye-closing threshold with a small value.
  • the continuous eye opening time is extracted using a closed eye threshold value having a large value.
  • the second embodiment is different from the first embodiment in that the maximum eye opening time, the cluster eye blink, and the dispersion value of the eye opening time are extracted as a plurality of types of blink feature quantities. .
  • the feature amount extraction unit 30 of the drowsiness determination apparatus extracts a plurality of types of blink feature amounts using a plurality of types of closed eye thresholds as described below.
  • the feature amount extracting unit 30 In order to extract the range of the open eye state to the maximum without being affected by noise in the open eye state and accurately obtain a value corresponding to the length of a part of the open eye state, the closed eye with a small value as the extraction threshold A threshold thC is used.
  • the feature amount extraction unit 30 when extracting a clustered blink that is a blink feature amount indicating the number of times the blink is repeated at an interval between blinks within a certain time, the feature amount extraction unit 30 is a blink that does not fully open the eyes.
  • the number of times exceeding the eye closing threshold thC is extracted from the time series data of the eye opening using the eye closing threshold thC having a small value as the extraction threshold, and blinking is performed at the interval between eye blinks within a predetermined time. Accurately extract the number of times that is repeated and extract the cluster blink.
  • the feature amount extraction unit 30 uses the closed eye threshold thA having a large value as the extraction threshold so that the eye opening state can be obtained more accurately, and the eye opening state that is equal to or greater than the eye closing threshold from the time series data of the eye opening. Is extracted with high accuracy, and a blink feature amount is extracted using a value corresponding to the total length (time) of the open eye state during a certain period of time.
  • the threshold determination unit 32 performs threshold determination for each of the extracted multiple types of blink feature amounts, and determines whether or not the blink feature amounts correspond to a doze state. For example, it is determined whether or not the extracted maximum eye opening time is equal to or less than a threshold value related to the maximum eye opening time, and whether or not the extracted cluster blink is equal to or more than a threshold value related to the cluster blink. Further, it is determined whether or not the extracted variance value of the eye opening time is equal to or greater than a threshold value regarding the variance value of the eye opening time.
  • clustering blinks are extracted using a closed eye threshold value with a small value
  • a variance value of eye opening time is extracted using a closed eye threshold value with a large value
  • a maximum eye opening time is extracted using a closed eye threshold value with a small value.
  • the case where continuous eye opening time, the number of blinks, and the eye closure rate are extracted as a plurality of types of blink feature amounts will be described as an example, and the second embodiment described above.
  • the case where the clustered blink, the dispersion value of the eye opening time, and the maximum eye opening time are extracted as a plurality of types of blink feature amounts has been described as an example, but the present invention is not limited thereto.
  • a fixed amount of time calculated using multiple types of blink feature values including blink feature values related to cluster blinks, blink feature values related to the number of blinks, and values corresponding to all lengths of the eye open state during a fixed time period.
  • Blink feature amount related to the length of the eye open state in a certain amount of time blink feature amount related to the length of the eye open state at a certain time obtained using a value corresponding to the length of a part of the eye open state during a certain time, during a certain time Using a value corresponding to the blink feature amount regarding the length of the closed eye state at a certain time and a value corresponding to a part of the length of the closed eye state during the certain time obtained using values corresponding to all the lengths of the closed eye state An arbitrary combination selected from the blink feature amount related to the length of the closed eye state in a certain time obtained in this manner may be extracted.
  • Two types of blink feature amounts selected from the above blink feature amounts may be extracted, or three types of blink feature amounts selected from the above blink feature amounts may be extracted. Alternatively, four types of blink feature amounts selected from the above blink feature amounts may be extracted, or five types of blink feature amounts selected from the above blink feature amounts may be extracted. You may make it do. Alternatively, all types of blink feature quantities described above may be extracted.
  • the blink When extracting the blink feature amount related to the cluster blink, the blink may be extracted using a closed eye threshold value having a small value as described in the second embodiment.
  • the number of blinks may be counted using a standard eye-closing threshold.
  • the open eye state may be extracted using a closed eye threshold value having a small value.
  • the open eye state may be extracted using a closed eye threshold value having a large value.
  • the first embodiment described above when extracting the blink feature amount related to the length of the closed eye state at a certain time obtained using a value corresponding to the length of a part of the closed eye state during the certain time, the first embodiment described above is used.
  • the closed eye state may be extracted using the closed eye threshold value having a large value.
  • the first embodiment described above when extracting the blink feature amount relating to the length of the closed eye state in a certain time obtained using a value corresponding to the entire length of the closed eye state in a certain time, the first embodiment described above is used.
  • the closed eye state may be extracted using a closed eye threshold value having a small value.
  • the present invention when it is determined by threshold determination that all types of extracted blink feature quantities are values corresponding to the dozing state, although the case where it is determined that the driver is dozing is described as an example, the present invention is not limited to this. For example, when it is determined by threshold determination that more than half of the extracted blink feature quantities of all types are values corresponding to the doze state, the driver is in a doze state. It may be determined that Alternatively, when it is determined that at least one type of blink feature amount is a value corresponding to the dozing state, the driver may determine that the driver is in the dozing state.
  • the present invention is not limited to this.
  • After recording time series data of eye opening it is determined whether or not multiple types of closed eye thresholds have already been calculated, and if multiple types of closed eye thresholds have not yet been calculated, Based on the time series data, a process for calculating a plurality of types of closed eye threshold values may be performed. Thereafter, drowsiness determination may be performed based on the recorded time series data of the eye opening.
  • drowsiness determination may be performed by extracting a plurality of types of blink feature amounts using a plurality of types of closed eye thresholds from time-series data of eye opening with noise reduced by a digital filter or the like.
  • the present invention is not limited to this.
  • the noise peak value in the open eye state may be calculated from the time series data of the eye opening, and a value smaller than the calculated noise peak value in the open eye state may be calculated as the closed eye threshold value.
  • the noise peak value in the closed eye state is calculated from the time series data of the eye opening, and a value larger than the calculated noise peak value in the closed eye state is calculated as the closed eye threshold value having a large value. Good. Accordingly, it is possible to obtain the closed eye threshold for extracting the open eye state without being affected by the noise in the open eye state, and the closed eye threshold for extracting the closed eye state without being affected by the noise in the closed eye state.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Social Psychology (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　撮像装置１２によって、運転者の眼を含む領域を撮像し、眼開度検出部２４によって、眼開度を検出する。そして、特徴量抽出部３０によって、検出された眼開度の時系列データから、閾値記憶部２８に記憶された標準的な閉眼閾値、値が大きい閉眼閾値、及び値が小さい閉眼閾値を用いて、複数種類の瞬目特徴量を抽出する。閾値判定部３２によって、複数種類の瞬目特徴量について閾値判定を行い、眠気判定部３４によって、複数種類の瞬目特徴量に対する閾値判定の結果に基づいて、運転者の眠気状態を判定する。このように、瞬目特徴量の種類に適した閾値を用いて瞬目特徴量を抽出し、精度よく眠気状態を判定することができるようにする。

Description

眠気判定装置及びプログラム
　本発明は、眠気判定装置及びプログラムに係り、特に、車両の運転者の眠気状態を判定する眠気判定装置及びプログラムに関する。
　従来より、撮像手段から眼開度を検出し、開度の所定時間の経時変化データから眼開度の極小値を複数抽出すると共に、複数の極小値を開眼候補群と閉眼候補群とに分離し、開眼候補内の最小開度から、該開眼候補群の標準偏差を差し引いた値以下の開度、または開眼候補内の最小開度に閉眼候補群の標準偏差を加えた値以上の開度を、閉眼閾値として設定する開閉眼モニタ装置が知られている（特許文献１）。この開閉眼モニタ装置によれば、閉眼閾値の値を正確に設定することができる。
特開２００４－４１４８５号公報
　しかしながら、上記の特許文献１に記載の技術では、抽出したい瞬目の特微量の種類によっては、設定する正確な閉眼閾値と、瞬目特徴量を抽出するために適した閾値とが異なる場合がある、という問題がある。例えば、瞬目特徴量として閉眼の持続時間を抽出したい場合、本来の閉眼閾値よりも高い眼開度に設定しておかなくては、ノイズなどによって検出される開度が閉眼閾値の周辺を上下すると、誤った瞬目特微量が抽出されてしまう、という問題がある。
　本発明は、上記の問題点を解決するためになされたもので、瞬目特徴量の種類に適した閾値を用いて瞬目特徴量を抽出し、精度よく眠気状態を判定することができる眠気判定装置及びプログラムを提供することを目的とする。
　上記の目的を達成するために本発明に係る眠気判定装置は、判定対象者の眼を含む領域を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、眼の開度を検出する開度検出手段と、前記開度検出手段によって検出された眼の開度に基づいて、前記眼の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、前記標準の閾値を用いて求められ、かつ、前記群発性瞬目に関する瞬目特徴量とは異なる瞬目回数に関する瞬目特徴量、前記標準の閾値より大きい閾値と一定時間中の開眼状態の全ての長さに対応する値とを用いて求められ、かつ、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の開眼状態の一部の長さに対応する値とを用いて求められ、かつ、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の閉眼状態の全ての長さに対応する値とを用いて求められ、かつ、前記一定時間における閉眼状態の長さに関する瞬目特徴量、及び前記標準の閾値より大きい閾値と一定時間中の閉眼状態の一部の長さに対応する値とを用いて求められ、かつ、前記一定時間における閉眼状態の長さに関する瞬目特徴量から選択した複数種類の瞬目特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された複数種類の瞬目特徴量に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段とを含んで構成されている。
　本発明に係るプログラムは、コンピュータを、判定対象者の眼を含む領域を撮像する撮像手段により撮像された画像に基づいて、眼の開度を検出する開度検出手段、前記開度検出手段によって検出された眼の開度に基づいて、前記眼の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、前記標準の閾値を用いて求められ、かつ、前記群発性瞬目に関する瞬目特徴量とは異なる瞬目回数に関する瞬目特徴量、前記標準の閾値より大きい閾値と一定時間中の開眼状態の全ての長さに対応する値とを用いて求められ、かつ、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の開眼状態の一部の長さに対応する値とを用いて求められ、かつ、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の閉眼状態の全ての長さに対応する値とを用いて求められ、かつ、前記一定時間における閉眼状態の長さに関する瞬目特徴量、及び前記標準の閾値より大きい閾値と一定時間中の閉眼状態の一部の長さに対応する値とを用いて求められ、かつ、前記一定時間における閉眼状態の長さに関する瞬目特徴量から選択した複数種類の瞬目特徴量を抽出する特徴量抽出手段、及び前記特徴量抽出手段によって抽出された複数種類の瞬目特徴量に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段として機能させるためのプログラムである。
　本発明によれば、撮像手段によって、判定対象者の眼を含む領域を撮像し、開度検出手段によって、撮像手段により撮像された画像に基づいて、眼の開度を検出する。
　そして、特徴量抽出手段によって、開度検出手段によって検出された眼の開度に基づいて、眼の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、標準の閾値を用いて求められ、かつ、群発性瞬目に関する瞬目特徴量とは異なる瞬目回数に関する瞬目特徴量、標準の閾値より大きい閾値と一定時間中の開眼状態の全ての長さに対応する値とを用いて求められ、かつ、一定時間における開眼状態の長さに関する瞬目特徴量、標準の閾値より小さい閾値と一定時間中の開眼状態の一部の長さに対応する値とを用いて求められ、かつ、一定時間における開眼状態の長さに関する瞬目特徴量、標準の閾値より小さい閾値と一定時間中の閉眼状態の全ての長さに対応する値とを用いて求められ、かつ、一定時間における閉眼状態の長さに関する瞬目特徴量、及び標準の閾値より大きい閾値と一定時間中の閉眼状態の一部の長さに対応する値とを用いて求められ、かつ、一定時間における閉眼状態の長さに関する瞬目特徴量から選択した複数種類の瞬目特徴量を抽出する。
　そして、眠気状態判定手段によって、特徴量抽出手段によって抽出された複数種類の瞬目特徴量に基づいて、判定対象者の眠気状態を判定する。
　このように、眼の開度に関する標準の閾値、小さい閾値、又は大きい閾値を用いて、複数種類の瞬目特徴量を抽出することにより、瞬目特徴量の種類に適した閾値を用いて瞬目特徴量を抽出することができ、精度よく眠気状態を判定することができる。
　本発明に係る眠気判定装置は、開度検出手段によって検出された眼の開度に基づいて、標準の閾値、標準の閾値より大きい閾値、及び標準の閾値より小さい閾値を算出する閾値算出手段を更に含むことができる。
　また、上記の閾値算出手段は、開度検出手段によって検出された眼の開度から得られる眼の開度の分布に基づいて、標準の閾値、標準の閾値より大きい閾値、及び標準の閾値より小さい閾値を算出することができる。また、上記の閾値算出手段は、眼の開度の分布における２つの極大値のうちの眼の開度が大きい方の極大値と眼の開度が小さい方の極大値と２つの極大値間に存在する極小値とを抽出すると共に、極小値に基づいて標準の閾値を算出し、極小値と眼の開度が小さい方の極大値とに基づいて標準の閾値より大きい閾値を算出し、極小値と眼の開度が大きい方の極大値とに基づいて標準の閾値より小さい閾値を算出することができる。
　以上説明したように、本発明の眠気判定装置及びプログラムによれば、眼の開度に関する標準の閾値、小さい閾値、又は大きい閾値を用いて、複数種類の瞬目特徴量を抽出することにより、瞬目特徴量の種類に適した閾値を用いて瞬目特徴量を抽出することができ、精度よく眠気状態を判定することができる、という効果が得られる。
本発明の第１の実施の形態に係る眠気判定装置の構成を示す概略図である。 眼開度の波形と閉眼閾値とを示すグラフである。 眼開度の頻度分布及び眼開度の時系列データを示すグラフである。 眼開度の頻度分布を示すグラフである。 本発明の第１の実施の形態に係る眠気判定装置のコンピュータにおける閾値計算処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る眠気判定装置のコンピュータにおける眠気判定処理ルーチンの内容を示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された眠気判定装置に本発明を適用した場合を例に説明する。
　図１に示すように、第１の実施の形態に係る眠気判定装置１０は、例えば判定対象者としての運転者の斜め前方に設置され、その運転者の顔を斜め上から撮像する撮像装置１２と、撮像装置１２で撮像された顔画像に基づいて、眠気状態の判定を行い、表示装置４０に判定結果を表示させるコンピュータ２０とを備えている。
　コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する閾値計算処理ルーチン及び眠気判定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、顔画像から運転者の目を表す目領域を抽出する目領域抽出部２２と、眼が開いている度合いを示す眼開度を検出する眼開度検出部２４と、検出された眼開度の時系列データから、大きさが異なる複数種類の閉眼閾値を計算する閾値計算部２６と、計算された複数種類の閉眼閾値を記憶する閾値記憶部２８と、検出された眼開度の時系列データから、記憶された複数種類の閉眼閾値を用いて、複数種類の瞬目特徴量を抽出する特徴量抽出部３０と、抽出された瞬目特徴量の各々について閾値判定を行う閾値判定部３２と、複数種類の瞬目特徴量の各々に対する閾値判定の結果に基づいて、眠気状態を判定する眠気判定部３４と、居眠り状態であると判定された場合に、表示装置４０に警告情報を表示させる表示制御部３６とを備えている。
　眼開度検出部２４では、予め定められた全開時の上まぶたと下まぶたとの距離に対する目領域の画像から検出される上まぶたと下まぶたとの距離の割合に基づいて、眼開度を検出する。眼開度検出部２４は、眼が全開であるときを１００％とし、閉眼時を０％とした場合の眼開度を検出する。半眼で眠気をこらえているような場合には、例えば約５０％の眼開度が検出される。なお、上まぶたと下まぶたとの距離を、眼開度として検出しても良い。
　ここで、本実施の形態の原理について説明する。画像解析などで得られる眼開度には、被撮像者の動きや、探索点外れ、離散化などが原因で、ノイズ成分が混入する。そのノイズを瞬目現象として判断してしまう場合があり、ノイズ成分が、眠気状態の判定に有用な瞬目特微量を眼開度から正しく抽出できない要因となる。
　例えば、従来の瞬目特微量の抽出方法では、一定の閉眼閾値を用いて閉眼状態や開眼状態を判断して、複数種類の瞬目特微量を抽出しているので、図２に示すように、閉眼閾値を用いて抽出された継続開眼時間は、閉眼状態時のノイズの影響を大きく受けることがある。一方、抽出したい瞬目特微量（例えば、継続閉眼時間の分布）に対するノイズの影響が最少となる抽出閾値（例えば、一般的な閉眼閾値より値が大きい閾値）を設定することによって、理想の眼開度の波形から得られる瞬目特徴量と近い瞬目特徴量が抽出され、その結果眠気状態の判定を精度よく行える。
　そこで、本実施の形態では、閾値計算部２６によって、以下に説明するように、抽出閾値として、標準的な閉眼閾値、標準的な閉眼閾値より値が大きい閉眼閾値（開眼状態に近い閉眼閾値）、及び標準的な閉眼閾値より値が小さい閉眼閾値（閉眼状態に近い閉眼閾値）の各々を計算する。
　まず、図３に示すような、検出された所定期間分の眼開度の時系列データから、眼開度の頻度分布を生成する。上記図３では、眼開度を示す縦軸を共有したグラフを示している。図３に示す眼開度の時系列データのように、開眼状態及び閉眼状態の何れかが持続している場合であっても、眼開度の波形には、瞬目による変化より小さな振幅のノイズが生じている。瞬目特徴量に対するこれらのノイズの影響をなるべく減らすために、大きさが異なる複数種類の抽出閾値を計算する。
　図３の頻度分布で分解して図示しているように、眼開度の頻度は開眼状態と閉眼状態で分けられる。ここで、図４に示すように、頻度分布の２つの極大値のうち、眼開度が大きい方の極大値を開眼状態のヒストグラムのピークａとし、眼開度が小さい方の極大値を閉眼状態のヒストグラムのピークｃとし、それらのピーク間に存在する極小値をｂとする。
　そして、値が大きい閉眼閾値ｔｈＡ、標準的な閉眼閾値ｔｈＢ、及び値が小さい閉眼閾値ｔｈＣを以下の（１）式～（３）式に従って計算する。
ｔｈＡ＝ｂ＋（ｂ－ｃ）＊Ｘａ　　・・・（１）
ｔｈＢ＝ｂ　　　　　　　　　　　・・・（２）
ｔｈＣ＝ｂ＋（ａ－ｂ）＊Ｘｂ　　・・・（３）
　ただし、Ｘａ、Ｘｂは、所定の定数である。
　なお、以下の（４）式～（６）式によって、値が大きい閉眼閾値ｔｈＡ、標準的な閉眼閾値ｔｈＢ、及び値が小さい閉眼閾値ｔｈＣを計算するようにしてもよい。
ｔｈＡ＝ｂ＋Ｘａ　　・・・（４）
ｔｈＢ＝ｂ　　　　　・・・（５）
ｔｈＣ＝ｂ－Ｘｂ　　・・・（６）
　ただし、Ｘａ、Ｘｂは、正の定数である。
　上記（１）式又は上記（４）式によって計算される、値が大きい閉眼閾値ｔｈＡは、閉眼状態におけるノイズの影響を受けずに閉眼状態の範囲を最大限抽出するための閾値、または閉眼状態におけるノイズによって誤って開眼状態を抽出しないようにするための閾値となる。また、上記（３）式又は上記（６）式によって計算される、値が小さい閉眼閾値ｔｈＣは、開眼状態におけるノイズの影響を受けずに開眼状態の範囲を最大限抽出するための閾値、または開眼状態におけるノイズによって誤って閉眼状態を抽出しないようにするための閾値となる。
　特徴量抽出部３０は、以下に説明するように、複数種類の閉眼閾値を用いて、複数種類の瞬目特徴量を抽出する。
　まず、一定時間中の閉眼状態の一部の長さに対応する値を用いて求められる、一定時間における閉眼状態の長さに関する瞬目特徴量を抽出する場合には、閉眼状態におけるノイズの影響を受けずに、閉眼状態の範囲を最大限抽出して、一定時間中の閉眼状態の一部の長さに対応する値を精度よく求めるために、抽出閾値として、値が大きい閉眼閾値ｔｈＡを用いる。これによって、眼開度の時系列データから、閉眼閾値ｔｈＡ未満となる閉眼状態を抽出して、一定時間中の閉眼状態の一部の長さに対応する値を精度よく求めて、瞬目特徴量を抽出する。
　例えば、継続閉眼時間の分布は、所定の抽出時間枠内の閉眼状態のうち、閉眼状態の持続時間を用いて求められる値であり、上記図３に示すように、抽出閾値として、標準的な閉眼閾値ｔｈＢや値が小さい閉眼閾値ｔｈＣを用いると、閉眼持続状態であってもノイズの影響で抽出閾値を越えてしまい、精度よく継続閉眼時間を抽出することができない。そこで、特徴量抽出部３０は、瞬目特徴量として継続閉眼時間の分布を抽出する場合には、上記図３に示すように、値が大きい閉眼閾値ｔｈＡを用いて、眼開度の時系列データから、閉眼閾値ｔｈＡ未満となる閉眼状態を抽出することにより、閉眼状態の範囲を最大限抽出して、閉眼状態の継続時間を精度よく計測し、継続閉眼時間の分布を抽出する。
　また、特徴量抽出部３０は、瞬目回数に関する瞬目特徴量を抽出する場合には、開眼状態と閉眼状態との双方のノイズの影響を小さくして、開眼状態及び閉眼状態の一方から他方に変化する瞬目を抽出するために、抽出閾値として、標準的な閉眼閾値ｔｈＢを用いて、眼開度の時系列データから、閉眼閾値ｔｈＢを超える回数を抽出することにより、瞬目回数を精度よく抽出して、瞬目特徴量を抽出する。
　例えば、瞬目回数が、所定の抽出時間枠内で起きた閉眼閾値の上下を往復する回数である場合には、特徴量抽出部３０は、標準的な閉眼閾値ｔｈＢを用いて、眼開度の時系列データから、閉眼閾値ｔｈＢを超える眼開度の変化を精度よく抽出し、閉眼閾値の上下を往復する回数を計測して、瞬目回数を抽出する。
　また、一定時間中の閉眼状態の全部の長さに対応する値を用いて求められる、一定時間における閉眼状態の長さに関する瞬目特徴量を抽出する場合には、閉眼状態におけるノイズの影響を受けにくい。また、開眼状態に近い閉眼閾値ｔｈＡを用いると、実際には目を閉じきっていない状態でも閉眼閾値ｔｈＡを超えてしまい、閉眼状態として誤って判断してしまう。そこで、特徴量抽出部３０は、より正確に閉眼状態を抽出できるように、抽出閾値として、値が小さい閉眼閾値ｔｈＣを用いて、眼開度の時系列データから、閉眼閾値ｔｈＣ未満となる閉眼状態を抽出することにより、閉眼状態を精度よく抽出し、一定時間中の閉眼状態の全部の長さ（時間）に対応する値を用いて瞬目特徴量を抽出する。
　例えば、閉眼率は、所定の抽出時間枠内における閉眼状態の時間の割合であり、抽出時間枠内における閉眼状態の時間の積算値に依存するため、閉眼状態におけるノイズの影響を受けにくい。そこで、瞬目特徴量として閉眼率を抽出する場合には、特徴量抽出部３０は、値が小さい閉眼閾値ｔｈＣを用いて、眼開度の時系列データから、閉眼閾値ｔｈＣ未満の閉眼状態を抽出することにより、開眼状態におけるノイズによって誤って閉眼状態を抽出しないように閉眼状態を精度よく抽出して、閉眼状態の時間の積算値を算出し、閉眼率を抽出する。
　なお、本実施の形態では、複数種類の瞬目特徴量として、継続閉眼時間の分布、瞬目回数、及び閉眼率を抽出する場合を例に説明する。
　閾値判定部３２は、抽出した複数種類の瞬目特徴量の各々について、閾値判定を行い、居眠り状態に相当する瞬目特徴量であるか否かを判定する。例えば、抽出された継続閉眼時間が継続閉眼時間に関する閾値ｔｈＤｕｒ以上であるか否かを判定し、抽出された瞬目回数が瞬目回数に関する閾値ｔｈＣＮＴ以上であるか否かを判定する。また、抽出された閉眼率が閉眼率に関する閾値ｔｈＣＬＳ以上であるか否かを判定する。
　眠気判定部３４は、抽出した複数種類の瞬目特徴量の各々に対する閾値判定によって、全種類の瞬目特徴量が、居眠り状態に相当する瞬目特徴量であると判定された場合に、判定対象者である運転者が居眠り状態であると判定する。
　次に、第１の実施の形態に係る眠気判定装置１０の作用について説明する。まず、撮像装置１２によって運転者の顔を連続して撮像し、コンピュータ２０において、図５に示す閾値計算処理ルーチンを実行する。
　ステップ１００において、撮像装置１２から顔画像を取得し、ステップ１０２で、取得した顔画像から、目領域を抽出する。
　そして、ステップ１０４で、抽出された目領域の画像に基づいて、眼開度を算出して、メモリ（図示省略）に記録する。次のステップ１０６では、処理を開始してから所定時間経過したか否かを判定し、所定時間経過していない場合には、ステップ１００へ戻るが、所定時間経過した場合には、ステップ１０８へ移行する。
　上記ステップ１００～ステップ１０６により、所定期間において検出された眼開度の時系列データがメモリに記録される。
　ステップ１０８では、メモリに記録された眼開度の時系列データから、眼開度の頻度分布を算出し、ステップ１１０において、上記ステップ１０８で算出された眼開度の頻度分布から得られる極大値及び極小値を用いて、上記（１）式～（３）式に従って、標準的な閉眼閾値、値が大きい閉眼閾値、及び値が小さい閉眼閾値の各々を算出する。
　そして、ステップ１１２において、上記ステップ１１０で算出された複数種類の閉眼閾値を閾値記憶部２８に記憶して、閾値計算処理ルーチンを終了する。
　上記の閾値計算処理ルーチンによって複数種類の閉眼閾値が一度計算されると、撮像装置１２によって運転者の顔を連続して撮像すると共に、コンピュータ２０において、図６に示す眠気判定処理ルーチンを繰り返し実行する。
　ステップ１２０において、撮像装置１２から顔画像を取得し、ステップ１２２で、取得した顔画像から、目領域を抽出する。そして、ステップ１２４で、抽出された目領域の画像に基づいて、眼開度を算出して、メモリ（図示省略）に記録する。次のステップ１２６では、処理を開始してから所定時間経過したか否かを判定し、所定時間経過していない場合には、ステップ１２０へ戻るが、所定時間経過した場合には、ステップ１２８へ移行する。
　上記ステップ１２０～ステップ１２６により、所定期間において検出された眼開度の時系列データがメモリに記録される。
　ステップ１２８では、閾値記憶部２８に記憶された複数種類の閉眼閾値を読み込み、ステップ１３０において、上記ステップ１２８で取得した複数種類の閉眼閾値を用いて、メモリに記録された眼開度の時系列データに基づいて、複数種類の瞬目特徴量の各々を抽出する。上記ステップ１３０では、眼開度の時系列データに基づいて、値が大きい閉眼閾値を用いて、閉眼閾値未満となる閉眼状態が継続する範囲を抽出して、継続閉眼時間を抽出する。また、標準的な閉眼閾値を用いて、閉眼閾値を超える変化を抽出して、瞬目回数を抽出する。また、眼開度の時系列データに基づいて、値が小さい閉眼閾値を用いて、閉眼閾値未満となる閉眼状態の範囲を抽出して、閉眼率を抽出する。
　次のステップ１３２では、上記ステップ１３０で抽出された複数種類の瞬目特徴量の各々について、閾値判定を行い、ステップ１３４において、上記ステップ１３２の閾値判定において、全ての瞬目特徴量が、対応する閾値以上であると判定されたか否かを判定する。上記ステップ１３２の閾値判定において、少なくとも１種類の瞬目特徴量が、対応する閾値未満であると判定されていた場合には、眠気判定処理ルーチンを終了する。一方、上記ステップ１３２の閾値判定において、全ての瞬目特徴量が、対応する閾値以上であると判定されていた場合には、全ての瞬目特徴量が、居眠り状態に相当する瞬目特徴量であり、運転者が居眠り状態であると判断する。そして、ステップ１３６において、表示装置４０に警告メッセージを表示させて、眠気に対する注意を運転者に促し、眠気判定処理ルーチンを終了する。
　以上説明したように、第１の実施の形態に係る眠気判定装置によれば、眼開度に関する標準的な閉眼閾値を用いて瞬目回数を抽出し、値が小さい閉眼閾値を用いて閉眼率を抽出し、値が大きい閉眼閾値を用いて継続開眼時間を抽出する。これによって、瞬目特徴量の種類に適した閉眼閾値を用いて複数種類の瞬目特徴量を精度よく抽出することができ、精度よく眠気状態を判定することができる。
　また、被撮像者の動き、探索点外れ、離散化などが原因で、検出された眼開度の時系列データにノイズ成分が混入した場合であっても、抽出する瞬目特微量の種類によって抽出閾値を分ける。これによって、抽出したい瞬目特微量に及ぼす眼開度の揺れやノイズの影響を小さくすることができるため、居眠り判定を精度よく行うことが可能になる。
　次に第２の実施の形態について説明する。なお、第２の実施の形態に係る眠気判定装置の構成は、第１の実施の形態に係る眠気判定装置と同様の構成であるため、同一符号を付して説明を省略する。
　第２の実施の形態では、複数種類の瞬目特徴量として、最大開眼時間、群発性瞬目、及び開眼時間の分散値を抽出している点が、第１の実施の形態と異なっている。
　第２の実施の形態に係る眠気判定装置の特徴量抽出部３０では、以下に説明するように、複数種類の閉眼閾値を用いて、複数種類の瞬目特徴量を抽出する。
　まず、一定時間中の開眼状態の一部の長さに対応する値を用いて求められる、一定時間における開眼状態の長さに関する瞬目特徴量を抽出する場合には、特徴量抽出部３０は、開眼状態におけるノイズの影響を受けずに、開眼状態の範囲を最大限抽出して、開眼状態の一部の長さに対応する値を精度よく求めるために、抽出閾値として、値が小さい閉眼閾値ｔｈＣを用いる。これによって、眼開度の時系列データから、閉眼閾値ｔｈＣ以上となる開眼状態を抽出して、一定時間中の開眼状態の一部の長さに対応する値を精度よく求めて、瞬目特徴量を抽出する。
　また、一定時間内の瞬目間間隔で瞬目が繰り返される回数を示す瞬目特徴量である群発性瞬目を抽出する場合には、特徴量抽出部３０は、眼が開ききらない瞬目もカウントするために、抽出閾値として、値が小さい閉眼閾値ｔｈＣを用いて、眼開度の時系列データから、閉眼閾値ｔｈＣを超える回数を抽出し、一定時間内の瞬目間間隔で瞬目が繰り返される回数を精度よく抽出して、群発性瞬目を抽出する。
　また、一定時間中の開眼状態の全部の長さに対応する値を用いて求められる、一定時間における開眼状態の長さに関する瞬目特徴量を抽出する場合には、開眼状態におけるノイズの影響を受けにくい。また、閉眼状態に近い抽出閾値ｔｈＣを用いると、実際は目を開ききっていない状態でも閉眼閾値ｔｈＣを超えてしまい、開眼状態として誤って判断してしまう。そこで、特徴量抽出部３０は、より正確に開眼状態を求められるように、抽出閾値として、値が大きい閉眼閾値ｔｈＡを用いて、眼開度の時系列データから、閉眼閾値以上となる開眼状態を精度よく抽出し、一定時間中の開眼状態の全部の長さ（時間）に対応する値を用いて瞬目特徴量を抽出する。
　閾値判定部３２は、抽出した複数種類の瞬目特徴量の各々について、閾値判定を行い、居眠り状態に相当する瞬目特徴量であるか否かを判定する。例えば、抽出された最大開眼時間が最大開眼時間に関する閾値以下であるか否かを判定し、抽出された群発性瞬目が群発性瞬目に関する閾値以上であるか否かを判定する。また、抽出された開眼時間の分散値が、開眼時間の分散値に関する閾値以上であるか否かを判定する。
　なお、第２の実施の形態に係る眠気判定装置の他の構成及び処理については、第１の実施の形態と同様であるため、説明を省略する。
　このように、値が小さい閉眼閾値を用いて群発性瞬目を抽出し、値が大きい閉眼閾値を用いて開眼時間の分散値を抽出し、値が小さい閉眼閾値を用いて最大開眼時間を抽出する。これによって、瞬目特徴量の種類に適した閉眼閾値を用いて複数種類の瞬目特徴量を精度よく抽出することができ、精度よく眠気状態を判定することができる。
　なお、上記の第１の実施の形態では、複数種類の瞬目特徴量として、継続開眼時間、瞬目回数、及び閉眼率を抽出する場合を例に説明し、上記の第２の実施の形態では、複数種類の瞬目特徴量として、群発性瞬目、開眼時間の分散値、及び最大開眼時間を抽出する場合を例に説明したが、これに限定されるものではない。複数種類の瞬目特徴量として、群発性瞬目に関する瞬目特徴量、瞬目回数に関する瞬目特徴量、一定時間中の開眼状態の全ての長さに対応する値を用いて求められる一定時間における開眼状態の長さに関する瞬目特徴量、一定時間中の開眼状態の一部の長さに対応する値を用いて求められる一定時間における開眼状態の長さに関する瞬目特徴量、一定時間中の閉眼状態の全ての長さに対応する値を用いて求められる一定時間における閉眼状態の長さに関する瞬目特徴量、及び一定時間中の閉眼状態の一部の長さに対応する値を用いて求められる一定時間における閉眼状態の長さに関する瞬目特徴量、から選択された任意の組み合わせを抽出するようにしてもよい。上記の瞬目特徴量から選択された２種類の瞬目特徴量を抽出するようにしてもよいし、上記の瞬目特徴量から選択された３種類の瞬目特徴量を抽出するようにしてもよいし、上記の瞬目特徴量から選択された４種類の瞬目特徴量を抽出するようにしてもよいし、上記の瞬目特徴量から選択された５種類の瞬目特徴量を抽出するようにしてもよい。また、上記の全種類の瞬目特徴量を抽出するようにしてもよい。群発性瞬目に関する瞬目特徴量を抽出する場合には、上記の第２の実施の形態で説明したように、値が小さい閉眼閾値を用いて瞬目を抽出すればよい。また、瞬目回数に関する瞬目特徴量を抽出する場合には、上記の第１の実施の形態で説明したように、標準的な閉眼閾値を用いて瞬目回数をカウントすればよい。また、一定時間中の開眼状態の一部の長さに対応する値を用いて求められる一定時間における開眼状態の長さに関する瞬目特徴量を抽出する場合には、上記の第２の実施の形態で説明したように、値が小さい閉眼閾値を用いて、開眼状態を抽出すればよい。また、一定時間中の開眼状態の全部の長さに対応する値を用いて求められる一定時間における開眼状態の長さに関する瞬目特徴量を抽出する場合には、上記の第２の実施の形態で説明したように、値が大きい閉眼閾値を用いて、開眼状態を抽出すればよい。また、一定時間中の閉眼状態の一部の長さに対応する値を用いて求められる一定時間における閉眼状態の長さに関する瞬目特徴量を抽出する場合には、上記の第１の実施の形態で説明したように、値が大きい閉眼閾値を用いて、閉眼状態を抽出すればよい。また、一定時間中の閉眼状態の全部の長さに対応する値を用いて求められる一定時間における閉眼状態の長さに関する瞬目特徴量を抽出する場合には、上記の第１の実施の形態で説明したように、値が小さい閉眼閾値を用いて、閉眼状態を抽出すればよい。
　また、上記の第１の実施の形態及び第２の実施の形態では、閾値判定により、抽出された全種類の瞬目特徴量が、居眠り状態に相当する値であると判定される場合に、運転者が居眠り状態であると判定する場合を例に説明したが、これに限定されるものではない。例えば、閾値判定により、抽出された全種類の瞬目特徴量のうち、半数以上の種類の瞬目特徴量が、居眠り状態に相当する値であると判定される場合に、運転者が居眠り状態であると判定してもよい。または、少なくとも１種類の瞬目特徴量が、居眠り状態に相当する値であると判定される場合に、運転者が居眠り状態であると判定してもよい。
　また、閾値計算処理ルーチンと眠気判定処理ルーチンとに分けて実行する場合を例に説明したが、これに限定されるものではない。眼開度の時系列データを記録した後に、複数種類の閉眼閾値が既に計算されているか否かを判定して、複数種類の閉眼閾値がまだ計算されていなければ、記録された眼開度の時系列データに基づいて、複数種類の閉眼閾値を計算する処理を行うようにしてもよい。その後に、記録された眼開度の時系列データに基づいて、眠気判定を行うようにしてもよい。
　また、デジタルフィルタなどによってノイズを減らした眼開度の時系列データから、複数種類の閉眼閾値を用いて、複数種類の瞬目特徴量を抽出して、眠気判定を行うようにしてもよい。
　また、眼開度の頻度分布から、値が大きい閉眼閾値や値が小さい閉眼閾値を計算する場合を例に説明したが、これに限定されるものではない。例えば、眼開度の時系列データから、開眼状態におけるノイズのピーク値を算出し、算出した開眼状態時のノイズのピーク値より小さい値を、値が小さい閉眼閾値として計算するようにしてもよい。また、眼開度の時系列データから、閉眼状態時のノイズのピーク値を算出し、算出した閉眼状態時のノイズのピーク値より大きい値を、値が大きい閉眼閾値として計算するようにしてもよい。これによって、開眼状態におけるノイズに影響されずに開眼状態を抽出するための閉眼閾値や、閉眼状態におけるノイズに影響されずに閉眼状態を抽出するための閉眼閾値を求めることができる。
　また、本発明に係るプログラムを、ＣＤＲＯＭ等の記録媒体に格納して提供することも可能である。
１０ 眠気判定装置
１２ 撮像装置
２０ コンピュータ
２２ 目領域抽出部
２４ 眼開度検出部
２６ 閾値計算部
２８ 閾値記憶部
３０ 特徴量抽出部
３２ 閾値判定部
３４ 眠気判定部

Claims (5)

  1. 　判定対象者の眼を含む領域を撮像する撮像手段と、
    　前記撮像手段により撮像された画像に基づいて、眼の開度を検出する開度検出手段と、
    　前記開度検出手段によって検出された眼の開度に基づいて、前記眼の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、前記標準の閾値を用いて求められ、かつ、前記群発性瞬目に関する瞬目特徴量とは異なる瞬目回数に関する瞬目特徴量、前記標準の閾値より大きい閾値と一定時間中の開眼状態の全ての長さに対応する値とを用いて求められ、かつ、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の開眼状態の一部の長さに対応する値とを用いて求められ、かつ、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の閉眼状態の全ての長さに対応する値とを用いて求められ、かつ、前記一定時間における閉眼状態の長さに関する瞬目特徴量、及び前記標準の閾値より大きい閾値と一定時間中の閉眼状態の一部の長さに対応する値とを用いて求められ、かつ、前記一定時間における閉眼状態の長さに関する瞬目特徴量から選択した複数種類の瞬目特徴量を抽出する特徴量抽出手段と、
    　前記特徴量抽出手段によって抽出された複数種類の瞬目特徴量に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段と、
    　を含む眠気判定装置。
  2. 　前記開度検出手段によって検出された眼の開度に基づいて、前記標準の閾値、前記標準の閾値より大きい閾値、及び前記標準の閾値より小さい閾値を算出する閾値算出手段を更に含む請求項１記載の眠気判定装置。
  3. 　前記閾値算出手段は、前記開度検出手段によって検出された眼の開度から得られる前記眼の開度の分布に基づいて、前記標準の閾値、前記標準の閾値より大きい閾値、及び前記標準の閾値より小さい閾値を算出する請求項２記載の眠気判定装置。
  4. 　前記閾値算出手段は、前記眼の開度の分布における２つの極大値のうちの前記眼の開度が大きい方の極大値と前記眼の開度が小さい方の極大値と前記２つの極大値間に存在する極小値とを抽出すると共に、前記極小値に基づいて前記標準の閾値を算出し、前記極小値と前記眼の開度が小さい方の極大値とに基づいて前記標準の閾値より大きい閾値を算出し、前記極小値と前記眼の開度が大きい方の極大値とに基づいて前記標準の閾値より小さい閾値を算出する請求項３記載の眠気判定装置。
  5. 　コンピュータを、
    　判定対象者の眼を含む領域を撮像する撮像手段により撮像された画像に基づいて、眼の開度を検出する開度検出手段、
    　前記開度検出手段によって検出された眼の開度に基づいて、前記眼の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、前記標準の閾値を用いて求められ、かつ、前記群発性瞬目に関する瞬目特徴量とは異なる瞬目回数に関する瞬目特徴量、前記標準の閾値より大きい閾値と一定時間中の開眼状態の全ての長さに対応する値とを用いて求められ、かつ、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の開眼状態の一部の長さに対応する値とを用いて求められ、かつ、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の閉眼状態の全ての長さに対応する値とを用いて求められ、かつ、前記一定時間における閉眼状態の長さに関する瞬目特徴量、及び前記標準の閾値より大きい閾値と一定時間中の閉眼状態の一部の長さに対応する値とを用いて求められ、かつ、前記一定時間における閉眼状態の長さに関する瞬目特徴量から選択した複数種類の瞬目特徴量を抽出する特徴量抽出手段、及び
    　前記特徴量抽出手段によって抽出された複数種類の瞬目特徴量に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段
    　として機能させるためのプログラム。
PCT/JP2009/066093 2008-09-16 2009-09-15 眠気判定装置及びプログラム WO2010032725A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP09814570.9A EP2351524B1 (en) 2008-09-16 2009-09-15 Drowsiness determining device and program
US13/063,332 US20110216181A1 (en) 2008-09-16 2009-09-15 Drowsiness determination apparatus and program
CN200980135508.XA CN102149326B (zh) 2008-09-16 2009-09-15 困倦判定装置及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008236432A JP5210773B2 (ja) 2008-09-16 2008-09-16 眠気判定装置及びプログラム
JP2008-236432 2008-09-16

Publications (1)

Publication Number Publication Date
WO2010032725A1 true WO2010032725A1 (ja) 2010-03-25

Family

ID=42039549

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/066093 WO2010032725A1 (ja) 2008-09-16 2009-09-15 眠気判定装置及びプログラム

Country Status (5)

Country Link
US (1) US20110216181A1 (ja)
EP (1) EP2351524B1 (ja)
JP (1) JP5210773B2 (ja)
CN (1) CN102149326B (ja)
WO (1) WO2010032725A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286515B2 (en) 2011-09-05 2016-03-15 Toyama Prefecture Doze detection method and apparatus thereof
JP2018526045A (ja) * 2015-06-22 2018-09-13 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8576081B2 (en) * 2009-02-13 2013-11-05 Toyota Jidosha Kabushiki Kaisha Physiological condition estimation device and vehicle control device
JP5447657B2 (ja) * 2010-04-05 2014-03-19 トヨタ自動車株式会社 生体状態判定装置
JP5644414B2 (ja) * 2010-11-22 2014-12-24 アイシン精機株式会社 覚醒度判定装置、覚醒度判定方法及びプログラム
US9380978B2 (en) * 2011-06-29 2016-07-05 Bruce Reiner Method and apparatus for real-time measurement and analysis of occupational stress and fatigue and performance outcome predictions
WO2013008303A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 赤目検出装置
EP2885150B1 (en) * 2012-08-20 2019-01-02 Veoneer Sweden AB Eyelid movement processing for detection of drowsiness
KR102068049B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
KR101526672B1 (ko) * 2013-07-24 2015-06-05 현대자동차주식회사 졸음 상태 판별 장치 및 방법
KR20150037251A (ko) 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
JP6338445B2 (ja) * 2014-05-12 2018-06-06 学校法人慶應義塾 瞬き検出システムおよび方法
EP3157426B1 (de) * 2014-06-20 2018-06-20 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs
CN105046887B (zh) * 2015-04-16 2016-10-26 刘更新 证卷交易人员状态电子检测***
JP6399311B2 (ja) * 2015-05-07 2018-10-03 スズキ株式会社 居眠り検知装置
JP2017068576A (ja) * 2015-09-30 2017-04-06 パナソニックＩｐマネジメント株式会社 状態判定装置、閉眼判定装置、状態判定方法、状態判定プログラムおよび記録媒体
DE102015225109A1 (de) * 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
CN105740847A (zh) * 2016-03-02 2016-07-06 同济大学 一种基于驾驶员眼部识别和车辆行驶轨迹的疲劳等级判别算法
DE112017007073B4 (de) * 2017-02-15 2024-03-07 Mitsubishi Electric Corporation Fahrzustandsbestimmungsvorrichtung, Bestimmungsvorrichtung und Fahrzustandsbestimmungsverfahren
US11589787B2 (en) * 2017-12-20 2023-02-28 Nec Corporation Drowsiness estimating device, drowsiness estimating method, and drowsiness estimating program recording medium
DE102018206237A1 (de) * 2018-04-23 2019-10-24 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Müdigkeitserkennung einer Person
DE102018214935B4 (de) * 2018-09-03 2023-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeuges
CN109388242B (zh) * 2018-09-29 2022-03-15 苏州佳世达光电有限公司 自发性眨眼校正方法及眨眼控制方法
EP3870047A4 (en) * 2018-10-23 2022-08-10 Sdip Holdings Pty Ltd DEVICES AND PROCESSING SYSTEMS CONFIGURED TO ENABLE ADVANCED MONITORING AND ANALYSIS OF A PERSON'S NEUROLOGICAL FACTORS THROUGH BLEPHAROMETRIC DATA ACQUISITION
JP7211441B2 (ja) * 2019-02-01 2023-01-24 日本電気株式会社 覚醒度推定装置、覚醒度推定方法、及びプログラム
TWI697847B (zh) * 2019-02-18 2020-07-01 奇美車電股份有限公司 閉眼偵測方法、電子裝置與電腦程式產品
JP7328089B2 (ja) * 2019-09-05 2023-08-16 トヨタ自動車株式会社 閉眼判定装置
JP7127661B2 (ja) * 2020-03-24 2022-08-30 トヨタ自動車株式会社 開眼度算出装置
JP7251524B2 (ja) * 2020-07-01 2023-04-04 トヨタ自動車株式会社 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム
CN111784973B (zh) * 2020-07-30 2021-12-14 广州敏视数码科技有限公司 一种车队管理平台的mdvr设备集成疲劳检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09147120A (ja) * 1995-11-28 1997-06-06 Mitsubishi Electric Corp 顔画像処理装置及び顔画像処理方法
JP2004041485A (ja) * 2002-07-12 2004-02-12 Tokai Rika Co Ltd 開閉眼モニタ装置
JP2007151798A (ja) * 2005-12-05 2007-06-21 Nissan Motor Co Ltd 開閉眼判定装置及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) * 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6172613B1 (en) * 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US6087953A (en) * 1998-02-18 2000-07-11 Donnelly Corporation Rearview mirror support incorporating vehicle information display
US6124886A (en) * 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6873714B2 (en) * 2002-02-19 2005-03-29 Delphi Technologies, Inc. Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution
US7347551B2 (en) * 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7138922B2 (en) * 2003-03-18 2006-11-21 Ford Global Technologies, Llc Drowsy driver monitoring and prevention system
US7253738B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method of detecting eye closure based on edge lines
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09147120A (ja) * 1995-11-28 1997-06-06 Mitsubishi Electric Corp 顔画像処理装置及び顔画像処理方法
JP2004041485A (ja) * 2002-07-12 2004-02-12 Tokai Rika Co Ltd 開閉眼モニタ装置
JP2007151798A (ja) * 2005-12-05 2007-06-21 Nissan Motor Co Ltd 開閉眼判定装置及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286515B2 (en) 2011-09-05 2016-03-15 Toyama Prefecture Doze detection method and apparatus thereof
JP2018526045A (ja) * 2015-06-22 2018-09-13 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置

Also Published As

Publication number Publication date
CN102149326B (zh) 2014-07-09
EP2351524B1 (en) 2020-05-06
EP2351524A1 (en) 2011-08-03
JP5210773B2 (ja) 2013-06-12
CN102149326A (zh) 2011-08-10
JP2010068848A (ja) 2010-04-02
US20110216181A1 (en) 2011-09-08
EP2351524A4 (en) 2018-01-31

Similar Documents

Publication Publication Date Title
WO2010032725A1 (ja) 眠気判定装置及びプログラム
JP5270415B2 (ja) 眠気判定装置及びプログラム
JP5679066B2 (ja) 居眠り検出方法と装置
JP4743137B2 (ja) 眠気判定装置及びプログラム
JP5078815B2 (ja) 開眼度推定装置
US8433095B2 (en) Drowsiness detector
Churchland et al. Shifts in the population response in the middle temporal visual area parallel perceptual and motor illusions produced by apparent motion
Nakamura et al. Detection of driver's drowsy facial expression
CN110097012B (zh) 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
JP5349350B2 (ja) 開眼度判定装置及び開眼度判定方法
JP2011229741A (ja) 眠気度推定装置および眠気度推定方法
JP6458387B2 (ja) 生体電気ノイズ同定システム及び生体電気ノイズ除去システム
JP5189893B2 (ja) 瞬目種別識別装置、瞬目種別識別方法、及び瞬目種別識別プログラム
JP6604266B2 (ja) 眠気検知装置
US20220370009A1 (en) Stress estimation device, stress estimation method, and recording media
Kumar et al. An application for driver drowsiness identification based on pupil detection using IR camera
bin Kamazlan et al. Investigation of a real-time driver eye-closeness for the application of drowsiness detection
WO2013140523A1 (ja) 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法
SHILWANT et al. Development of a Drowsiness Warning System using Image Processing
CN116942095A (zh) 嗜睡检测方法、装置、电子设备及计算机可读存储介质
Kumar Vision Based Cognitive Fatigue Detection
Kon et al. A New User–Machine Interactive Scheme using Cross-Modal Computation for Deep Interest Estimation

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980135508.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09814570

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009814570

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13063332

Country of ref document: US