WO2019123569A1 - 眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体 - Google Patents

眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体 Download PDF

Info

Publication number
WO2019123569A1
WO2019123569A1 PCT/JP2017/045725 JP2017045725W WO2019123569A1 WO 2019123569 A1 WO2019123569 A1 WO 2019123569A1 JP 2017045725 W JP2017045725 W JP 2017045725W WO 2019123569 A1 WO2019123569 A1 WO 2019123569A1
Authority
WO
WIPO (PCT)
Prior art keywords
filtering
feature
time
opening degree
eye opening
Prior art date
Application number
PCT/JP2017/045725
Other languages
English (en)
French (fr)
Inventor
剛範 辻川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2017/045725 priority Critical patent/WO2019123569A1/ja
Priority to US16/956,081 priority patent/US11589787B2/en
Priority to JP2019559930A priority patent/JP7189564B2/ja
Publication of WO2019123569A1 publication Critical patent/WO2019123569A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters

Definitions

  • the present invention relates to a sleepiness estimation apparatus, a sleepiness estimation method, and a sleepiness estimation program recording medium.
  • the present invention relates to a technique for estimating low awakening degree, that is, drowsiness among the awakening degree.
  • Non-patent Document 1 In the drowsiness evaluation value, 1 indicates “not sleepy at all”, 2 indicates “somewhat sleepy”, 3 indicates “sleepy”, and 4 indicates "very sleepy” Indicates 5 and "very sleepy”.
  • the degree of eye opening For the purpose of detecting drowsy driving, a number of techniques have been proposed for estimating the above-mentioned drowsiness from the degree of open eyes (hereinafter referred to as "the degree of eye opening").
  • Patent Document 1 discloses a state estimation device that estimates the conscious state of a driver of a car.
  • the state estimation device disclosed in Patent Document 1 detects the eye opening degree of the driver, creates a frequency distribution of the detection frequency of the eye opening degree, extracts the extreme value of the frequency distribution, and extracts the extreme value of the frequency distribution
  • the driver's condition is estimated based on the time change of.
  • Patent Document 2 discloses a method of detecting a drowsiness state of a driver of a car. Movement of at least one eyelid of the driver's eyes is detected, and the drowsiness state of the driver is recognized according to the detected movement. In particular, drowsiness is estimated from the periodicity (0.2 to 1 Hz) of movement in which the eyes are closed by at most 40%, particularly at most 30% from the normal degree of eye opening.
  • Patent Document 3 finds that, in a state in which a person feels shallow drowsiness, variation in eye opening time (time during which an eye is open between blinks and blinks) is reduced, and a living body is utilized using it. The status has been determined.
  • Non-Patent Document 2 detects sleepiness using a percentage of time in which the eyes are closed by, for example, 80% or more (closed-eye percentage) as the sleepiness index.
  • Patent Documents 1 to 3 and Non-patent Document 2 have a problem that sleepiness can not be estimated with high accuracy depending on various conditions such as the time window width for estimating sleepiness and the sampling rate of eye opening degree data. .
  • An object of the present invention is to provide a sleepiness estimation device, a sleepiness estimation method, and a sleepiness estimation program recording medium capable of solving the above-mentioned problems.
  • One embodiment of the present invention is a drowsiness estimation device for estimating the drowsiness of the subject from the time-series signal of the eye-opening degree of the subject, and removing the signal change due to the blink of the subject from the time-series signal of the eye opening degree.
  • a sleepiness estimator that estimates the drowsiness evaluation value and outputs an estimation result
  • the feature quantity calculator is configured to calculate the feature quantity calculation window width after the filtering within a feature quantity calculation window width (T M ) [seconds]
  • a drowsiness estimation device including at least a first feature amount calculation circuit that calculates a variation degree of an eye opening degree time-series signal and outputs the variation degree as a first feature amount.
  • One embodiment of the present invention is a sleepiness estimation method for estimating sleepiness of a subject based on a time series signal of the subject's eye opening degree, and the filtering circuit unit generates blinks of the subject based on the time series signal of the eye opening degree.
  • the estimation unit estimates the drowsiness evaluation value from the feature amount and outputs an estimation result, and in the feature amount detector, at least the first feature amount calculation circuit calculates a feature amount calculation window width (T M )
  • the drowsiness estimation method is to calculate the degree of variation of the time-lapse signal of the degree of eye opening after the filtering within [seconds] and output the degree of variation as a first feature value.
  • One embodiment of the present invention is a sleepiness estimation program recording medium storing a sleepiness estimation program for causing a computer to execute a process of estimating the sleepiness of the subject based on a time-series signal of the eye opening degree of the subject, the sleepiness estimation program Filtering to remove a signal change due to blinks of the subject from the eye opening degree time-series signal, and outputting a time-lapse signal of the eye opening degree after filtering; and at least the eye opening degree after the filtering
  • the first feature amount calculation procedure for outputting the variation degree as the first feature amount, at least, a drowsiness estimation programs.
  • the present invention it is possible to estimate drowsiness with high accuracy regardless of various conditions such as a time window width for estimating drowsiness and a sampling rate of eye opening degree data.
  • FIG. 3 is a waveform diagram showing an example of a time-series signal X (t) of the eye opening degree of a subject when the subject shown in FIG. 2 is in a sleepy state (sleepiness rating value ⁇ 3). It is a block diagram which shows an example of the filtering circuit part used with the sleepiness estimation apparatus of FIG. It is a block diagram which shows the 1st example of the filtering circuit unit used with the sleepiness estimation apparatus of FIG. A time-series signal X F of the eye-opening degree of the subject after filtering the time-series signal X (t) of the eye-opening degree of the subject shown in FIG. 5 using the filtering circuit unit shown in FIG. It is a wave form diagram showing t).
  • movement of the drowsiness estimation apparatus based on 4th Embodiment shown in FIG. It is a block diagram which shows the structure of the drowsiness estimation apparatus based on the 5th Embodiment of this invention. It is a block diagram which shows the structure of the feature-value calculator used with the sleepiness estimation apparatus based on 5th Embodiment shown in FIG. It is a flowchart for demonstrating the operation
  • FIG. 1 is a block diagram showing the configuration of the sleepiness estimation apparatus 100 according to the first embodiment of the present invention.
  • the illustrated sleepiness estimation apparatus 100 can be realized by a computer that operates under program control.
  • the illustrated sleepiness estimation apparatus 100 is connected to the camera 10.
  • the camera 10 captures a face image of the target person 20 and generates a moving image signal V (t) indicating the captured face image.
  • the generated moving image signal V (t) is supplied to the sleepiness estimation apparatus 100.
  • t is an index of time and is a frame number.
  • a moving image signal is a signal of a frame rate fs (frames / second).
  • fs is equal to thirty. Therefore, in this example, it is assumed that the moving image signal V (t) is a 30 [frame / second] signal.
  • the target person 20 may be, for example, an employee working at an office.
  • the sleepiness estimation apparatus 100 can be used as an apparatus for estimating the sleepiness of the staff 20.
  • the camera 10 is attached to a predetermined part of a monitor (display) of a personal computer mounted on a desk or a display of a laptop computer, and a face image of the employee (employee) 20 Capture the image.
  • the sleepiness estimation apparatus 100 may be built in the computer main body of a personal computer or a laptop computer, or may be provided separately from them.
  • a motion image signal stored in a storage device incorporated in the computer main body or a storage device on a network may be input to the sleepiness estimation apparatus 100.
  • the target person 20 may be a driver who drives (pilots) a vehicle such as a car, a train, a ship, or an airplane.
  • the drowsiness estimation device 100 can be used as a device for estimating the drowsiness of the driver 20.
  • the camera 10 is disposed on the dashboard of the vehicle in front of the driver 20 to capture a face image of the driver 20.
  • the sleepiness estimation apparatus 100 may be connected to an alarm (not shown). In that case, when the drowsiness estimation device 100 estimates that the driver 20 is in the drowsiness state, the drowsiness estimation device 100 may send a control signal for generating an alarm to the alarm.
  • the drowsiness estimation apparatus 100 includes an eye opening degree detector 120, a filtering circuit unit 140, a feature quantity calculator 160, and a drowsiness estimator 180.
  • the eye opening degree detector 120 detects the eye opening degree from the moving image signal.
  • the filtering circuit unit 140 filters the time-series signal of the eye opening degree.
  • the feature amount calculator 160 calculates a feature amount from the time-series signal after filtering.
  • the sleepiness estimator 180 estimates sleepiness from the feature amount and outputs the estimation result. Each of these will be described in detail below.
  • the eye opening degree detector 120 performs image processing on the moving image signal V (t) to detect the eye opening degree of the subject 20 and outputs a time-series signal X (t) of the eye opening degree of the subject 20.
  • the eye opening degree detector 120 detects the eye opening degree of the left eye 20L and the eye opening degree of the right eye 20R, and respectively opens the time series signal X L (t) of the eye opening degree of the left eye 20L and the eye opening of the right eye 20R.
  • the time series signal X R (t) of degrees may be output.
  • the time series signal X eye opening degree of the subject 20 (t) is the time-series signal of the eye opening degree of the time series signal X L (t) and the right eye 20R of the eye opening degree of the left eye 20L X R (t And may be obtained by averaging.
  • FIG. 3 is a block diagram showing an example of the eye opening degree detector 120.
  • the eye open degree detector 120 includes a left eye open degree detection circuit 122, a right eye open degree detection circuit 124, and an average value calculation circuit 126.
  • the left eye opening degree detection circuit 122 extracts the site of the left eye 20L of the subject 20 from the moving image signal V (t), detects the eye opening degree of the left eye 20L, and detects the eye opening degree of the left eye 20L Output the signal X L (t).
  • the right eye open degree detection circuit 124 extracts the site of the right eye 20R of the subject 20 from the moving image signal V (t), detects the open degree of the right eye 20R, and opens the right eye 20R Output a time-series signal X R (t) of
  • the left eye open degree detection circuit 122 and the right eye open degree detection circuit 124 may use the same circuit.
  • the time-series signal X R (t) of the degree of eye opening of the right eye may be calculated by inputting the moving image signal of the right eye that has been reversed horizontally to the left eye opening degree detection circuit 122.
  • the average value calculation circuit 126 adds and averages the time series signal X L (t) of the eye opening degree of the left eye 20 L and the time series signal X R (t) of the eye opening degree of the right eye 20 R to obtain an average value
  • the time series signal X L (t) of the eye opening degree of the left eye 20L, the time series signal X R (t) of the eye opening degree of the right eye 20 R , and the time series signal X of the eye opening degree of the subject 20 As each of (t), values normalized to values in the range of 0 to 1 are used.
  • FIG. 5 is a waveform diagram showing an example of a time-series signal X (t) of the eye opening degree of the subject 20 when the subject 20 is sleepy (sleepiness rating value ⁇ 3).
  • the horizontal axis represents time [seconds], and the vertical axis represents the degree of eye opening.
  • An eye opening degree of “0” indicates that the subject 20 completely closes the eye, and an eye opening degree of “1” indicates that the subject 20 is completely opening the eye.
  • the filtering circuit unit 140 performs filtering so as to remove a signal change due to blinks of the object person 20 from the time-series signal X (t) of eye opening degree, and outputs a time-series signal X F (t) of eye opening degree after filtering. .
  • the filtering calculation window width T N [seconds] is 0.1 [seconds].
  • the filtering circuit unit 140 substitutes the filtering calculation window width T N [seconds] to replace the time-series signal X (t) of the eye opening degree with a predetermined value, and filters the substituted signal. It is output as a time-series signal X F (t) of the degree of eye opening later.
  • the filtering circuit unit 140 of this example uses only the time-series signal X (t) of the eye opening degree, further, the time-series signal X L (t) of the eye opening degree of the left eye 20 L and the right eye 20 R A time-series signal X R (t) of the eye opening degree of may be used.
  • FIG. 6 is a block diagram showing an example of the filtering circuit unit 140 in such a case.
  • the filtering circuit unit 140 includes a main filtering circuit 140-1, a first sub filtering circuit 140-2, and a second sub filtering circuit 140-3.
  • the main filtering circuit 140-1 substitutes the time series signal X (t) of the eye opening degree with a predetermined main value by filtering in a filtering calculation window width T N [seconds], and filters the substituted signal Output as a time-series signal X F (t) of the eye opening degree of
  • the first secondary filtering circuit 140-2 performs filtering in units of filtering calculation window width T N [seconds] to obtain the first sequential value X L (t) of the eye-opening degree of the left eye 20L as a predetermined first secondary value. And the filtered signal is output as a time-series signal X FL (t) of the degree of eye opening of the left eye 20 L after filtering.
  • the second sub-filtering circuit 140-3 performs filtering on the basis of the filtering calculation window width T N [seconds] to obtain the second predetermined time-series signal X R (t) of the eye opening degree of the right eye 20R. And the filtered signal is output as a time-series signal X FR (t) of the degree of eye opening of the right eye 20R after filtering.
  • the filtering circuit unit 140 includes three filtering circuits 140-1, 140-2, and 140-3, but the present invention is not limited to this, and among the three filtering circuits, Only one of them may be provided. However, in the following, in order to simplify the description, the filtering circuit unit 140 will be described by way of an example in which only the main filtering circuit 140-1 is provided.
  • FIG. 7 is a block diagram showing a first example 140A of the filtering circuit unit 140.
  • the filtering circuit unit 140A of the first example is applicable when the filtering calculation window width T N [seconds] is at least 0.1 [seconds] or more (T N 0.10.1). The reason is that the blink time is 0.1 to 0.15 seconds. That is, when the frame rate fs is 30 [frames / second], the filtering circuit unit 140A of the first example is applied when the number of frames N is 3 or more. In this example, as shown in FIG. 4, the case where the number of frames N is equal to 30 and the filtering calculation window width T N [seconds] is 1 [seconds] will be described.
  • the illustrated filtering circuit unit 140 A comprises a maximum value acquisition circuit 142.
  • the maximum value acquiring circuit 142 performs filtering on the basis of the filtering calculation window width T N [seconds] as the predetermined value, acquires the maximum value of the eye-opening degree time-series signal X (t), and acquires the acquired maximum value. Is output as a time-series signal X F (t) of the eye opening degree after filtering.
  • FIG. 8 shows the eye-opening degree of the subject after filtering the time-series signal X (t) of the eye-opening degree of the subject shown in FIG. 4 using the filtering circuit unit 140A shown in FIG. It is a wave form diagram showing sequence signal XF (t).
  • FIG. 9 shows the eye-opening degree of the subject after filtering the time-series signal X (t) of the eye-opening degree of the subject shown in FIG. 5 using the filtering circuit unit shown in FIG. It is a wave form diagram showing time series signal XF (t).
  • FIG. 8 it can be seen that the eye opening degree can be maintained constant when the eye of the subject 20 is staring.
  • FIG. 9 it can be seen that the eye opening degree can not be maintained constant when the subject 20 is sleepy.
  • FIG. 10 is a block diagram showing a second example 140B of the filtering circuit unit 140.
  • the filtering circuit unit 140 B includes a quantile point calculation circuit 144.
  • the quantile point calculation circuit 144 calculates the value of the (P-1) th P quantile point of the time series signal X (t) of the eye opening degree for each filtering calculation window width T N [s] as the predetermined value. And outputs the value of the (P-1) th P quantile point as a time-series signal X F (t) of the degree of eye opening after filtering.
  • the filtering circuit unit 140B of the second example determines that the filtering calculation window width T N [seconds] is ⁇ 0.1 + 0.1 / (P-1) ⁇ [seconds] or more. Applicable in certain cases. The reason is that the blink time is 0.1 to 0.15 seconds.
  • P is equal to 4 and the frame rate fs is equal to 30 [frames / second]. Therefore, the case where the number of frames N is equal to 30 will be described as the case where the filtering calculation window width T N [seconds] is ⁇ 0.1 + 0.1 / 3 ⁇ [seconds], that is, the number N of frames is larger than four.
  • the quantile point calculation circuit 144 sets, as the predetermined value, the (P ⁇ ) th of the time-series signal X (t) of the eye opening degree of the filtering calculation window width T N [seconds]. 1) Calculate the P quantile value.
  • percentile_P [] is an operator that calculates the value of the (P-1) P quantile of an element.
  • X F (t) percentile_P [X (t), ..., X (t-N + 1)]
  • the subdivision point calculation circuit 144 calculates the (P-1) P minutes of the time series signal X (t) of the eye opening degree of the filtering calculation window width T N [seconds].
  • the position value is calculated, the present invention is not limited thereto.
  • the quantile point calculation circuit 144 calculates, as the predetermined value, an average of the (P-1) th P quantile point of the time series signal X (t) of the eye opening degree with the filtering calculation window width T N [seconds]. The value may be calculated.
  • FIG. 11 is a block diagram showing a third example 140C of the filtering circuit unit 140.
  • the filtering circuit unit 140C includes an average value calculation circuit 146.
  • the average value calculation circuit 146 calculates an average value of the time series signal X (t) of the eye opening degree in the filtering calculation window width T N [seconds] unit as the predetermined value, and the eye opening degree after filtering the average value. Output as the time-series signal X F (t) of
  • the filtering unit 140C of the third example is applicable when the filtering calculation window width T N [seconds] is a value sufficiently larger than 0.1 [seconds], for example, 1 [seconds] or more. T N 1 1).
  • the reason is that the blink time is 0.1 to 0.15 [seconds], and the effect of the blink is removed by averaging. That is, in the third example, when the frame rate fs is 30 [frames / second], the number of frames N is preferably 30 or more. In the third example, the case where the number of frames N is equal to 30 and the filtering calculation window width T N [seconds] is 1 [seconds] will be described.
  • the average value calculation circuit 146 calculates the average value of the time-series signal X (t) of the eye opening degree of the filtering calculation window width T N [seconds] as the predetermined value as represented by the following formula 6 .
  • average [] is an operator that calculates the average value of elements.
  • X F (t) average [X (t), ..., X (t-N + 1)]
  • FIG. 12 is a block diagram showing a fourth example 140D of the filtering circuit unit 140.
  • the filtering circuit unit 140D includes a low pass filter (LPF) 148 having a cutoff frequency fc [Hz] sufficiently smaller than fs.
  • the filtering circuit unit 140D outputs the value obtained through the low pass filter 148 as a time-series signal X F (t) of the degree of eye opening after filtering.
  • the filtering circuit unit 140D of the fourth example is applicable when fc is a value sufficiently smaller than fs, for example, 6 [Hz] or less (fc ⁇ fs).
  • fc is a value sufficiently smaller than fs, for example, 6 [Hz] or less (fc ⁇ fs).
  • the blink time is 0.1 to 0.15 [seconds], that is, the blink is 10 to 6.7 Hz, and the effect of the blink is removed by a low pass filter.
  • the cutoff frequency fc [Hz] is equal to 6 [Hz] will be described.
  • the low-pass filter 148 selects and outputs the value obtained through the low-pass filter 148 as the predetermined value, as represented by the following formula 7, as the predetermined value.
  • LPF [] is an operator that passes a low pass filter on an element.
  • X F (t) LPF [ X (t), ⁇ , X (t-N + 1)]
  • the feature amount calculator 160 calculates the feature amount F (T) from the time series signal X F (t) of the degree of eye opening after filtering for each feature amount calculation window width T M [seconds].
  • T is an index of time and is a window number (0, 1, 2,...) Of the feature amount calculation window.
  • the illustrated feature calculator 160 at least includes a first feature calculator.
  • the first feature quantity calculation circuit calculates the degree of variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature quantity calculation window width T M [seconds], and the degree of variation is calculated first It is calculated as the feature amount F1 (T) of In a sleepy state, it is difficult to keep the eyelids constant, and the degree of variation is large. On the other hand, it is easy to keep the eyelids constant in a state in which the eyes are eyelids, and the degree of variation decreases.
  • T feature amount calculation window width
  • FIG. 13 is a block diagram showing the configuration of the feature calculator 160.
  • the illustrated feature quantity calculator 160 comprises a variation degree calculation circuit 161.
  • the variation degree calculation circuit 161 calculates the degree of variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature amount calculation window width T M [seconds], and the degree of variation is the first feature Output as quantity F1 (T). Therefore, the variation degree calculation circuit 161 works as a first feature quantity calculation circuit that calculates a first feature quantity F1 (T) from the time-series signal X F (t) of the degree of eye opening after filtering.
  • the degree of variation that is, the first feature quantity F1 (T) is expressed by the following equation 8.
  • F1 (T) V [ XF (T * M + t), ..., XF (T * M + t-M + 1)]
  • V [] is an operator for calculating the dispersion, standard deviation, difference between the maximum value and the minimum value, and the degree of variation such as entropy.
  • variation degree calculation circuit 161 of this example uses the time-series signal X F (t) of the degree of eye opening after filtering, instead, the time-series signal of the degree of eye opening of the left eye 20 L after the above-mentioned filtering
  • X FL (t) or a time-series signal X FR (t) of the degree of eye opening of the right eye 20R after the above filtering may be used.
  • the degree of variation calculation circuit 161 calculates the degree of variation of the time series signal X FL (t) of the eye opening degree of the left eye 20L after filtering within the feature amount calculation window width T M [seconds], and The degree of variation is output as a first feature quantity F1 (T).
  • variation degree calculation circuit 161 calculates the variation degree of the time series signal X FR (t) of the eye opening degree of the right eye 20R after filtering within the feature value calculation window width T M [seconds], and the variation The degree is output as a first feature quantity F1 (T).
  • the sleepiness estimator 180 of FIG. 1 estimates a sleepiness rating value from the feature amount F (T), and outputs an estimation result ER.
  • FIG. 14 is a flowchart showing an example of the operation of the sleepiness estimator 180. Hereinafter, the operation of the sleepiness estimator 180 will be described with reference to FIG.
  • the drowsiness estimator 180 shown in the drawing estimates the above-mentioned drowsiness evaluation values 1 to 5 from the feature amount F (T) which is the first feature amount F1 (T), and outputs the estimation result ER. It is. Therefore, the drowsiness estimator 180, the threshold value TH 1 of the first to 4, TH 2, TH 3, and TH 4 are set in advance.
  • the first to fourth threshold values TH 1 , TH 2 , TH 3 and TH 4 have values that increase in this order. That is TH 1 ⁇ TH 2 ⁇ TH 3 ⁇ TH 4.
  • drowsiness estimator 180 compares the feature amount F (T) and the first and the threshold TH 1 (step S11). If the feature amount F (T) is less than the first threshold value TH 1 (YES in step S11), and drowsiness estimator 180, the subject 20 is determined to be "quite sleepy that seems" estimation result
  • the drowsiness evaluation value of "1" is output as ER (step S12). This indicates that, as shown in FIG. 8, the eye of the subject 20 is turned up, and the eye opening degree can be maintained constant.
  • any feature F (T) is the first threshold value TH 1 or more (NO in step S11), and drowsiness estimator 180 compares the feature amount F (T) and a second threshold value TH 2 ( Step S13). If the feature amount F (T) is less than the second threshold value TH 2 (YES in step S13), and drowsiness estimator 180, the subject 20 is determined to be "somewhat sleepy", the estimation result ER The drowsiness evaluation value of "2" is output as (step S14).
  • any feature F (T) is the second threshold value TH 2 or more (NO in step S13), and drowsiness estimator 180 compares the feature F (T) and a third threshold value TH 3 ( Step S15). If the feature amount F (T) is less than the third threshold value TH 3 (YES in step S15), and drowsiness estimator 180, the subject 20 is determined to be "sleepy", the estimation result ER The drowsiness evaluation value of "3" is output (step S16). This indicates that, as shown in FIG. 9, the subject 20 is in a sleepy state, and the eye opening degree can not be maintained constant.
  • drowsiness estimator 180 compares the feature amount F (T) and a fourth threshold value TH4 (Step S17). If the feature amount F (T) is less than the fourth threshold value TH 4 (YES in step S17), drowsiness estimator 180, the subject 20 is determined to be "quite sleepy", the estimation result ER The drowsiness evaluation value of "4" is output as (step S18).
  • any feature amount F (T) is the fourth threshold value TH 4 or more (NO in step S17)
  • drowsiness estimator 180 the subject 20 is determined to be "very sleepy”
  • estimated A drowsiness evaluation value of "5" is output as the result ER (step S19).
  • the drowsiness estimator 180 estimates the drowsiness evaluation value of 1 to 5 from the feature amount F (T), and outputs the estimation result ER. After outputting the estimation result ER, the drowsiness estimator 180 returns to the process of step S11.
  • the sleepiness estimator 180 compares the feature quantity F (T) in the order of the first to fourth threshold values TH 1 to TH 4 with smaller values, but the present invention is not limited to this. . That is, the sleepiness estimator 180 may compare the feature amount F (T) with the fourth to first threshold values TH 4 to TH 1 in the order of large value.
  • the drowsiness estimator 180 outputs five drowsiness evaluation values of 1 to 5 as the estimation result ER
  • the present invention is not limited to this.
  • the drowsiness estimator 180 estimates only two states from the feature value F (T) that the subject 20 is in the “not sleepy” state and in the “sleepy” state, and the second Only one state may be output as the estimation result ER.
  • only one threshold TH 0 is set in the sleepiness estimator 180.
  • the one threshold TH 0, for example, may use a threshold TH 3 of the third, but the present invention is not limited thereto.
  • various thresholds may be selected according to the situation.
  • the drowsiness evaluation value is a discrete value
  • the drowsiness is usually a continuous value. Therefore, as described above, it may be regarded as a regression problem instead of a classification problem as described above to estimate the continuous value.
  • learning various parameters in the classification and regression problems described above not only linear methods, but also commonly used machine learning methods such as support vector machines, random forests, neural networks, etc.
  • Various techniques can be applied.
  • the eye opening degree detector 120 detects the eye opening degree from the moving image signal V (t) and outputs a time series signal X (t) of the eye opening degree (step S101).
  • the filtering circuit unit 140 performs filtering so as to remove a signal change due to blinks of the object person 20 from the time-series signal X (t) of the eye opening degree, and the time-series signal X F (t) of the eye opening degree after filtering. Are output (step S102).
  • the feature quantity calculator 160 calculates the degree of variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature quantity calculation window width T M [seconds], and The feature amount F1 (T) of 1 is output (step S103).
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the first feature value F1 (T), and outputs an estimation result ER (step S104).
  • sleepiness can be estimated with high accuracy regardless of various conditions such as a time window width for estimating sleepiness and a sampling rate of eye-opening degree data.
  • the first reason is that blink is not used as a feature of sleepiness estimation.
  • the number of blinks is said to be 15 to 20 times per minute, and in order to capture features such as changes in the number of blinks and changes in the blink interval, it is necessary to extract features with a time window of at least about 1 minute There is.
  • the time window width is set to be shorter (for example, 10 seconds) than that for 1 minute (for example, 3 minutes) in order to use most of the remaining eye opening degree data except the blink section. Even then, sleepiness can be estimated with high accuracy.
  • the sampling rate of the eye-opening degree data in order to capture blinks of 0.1 to 0.15 seconds and calculate the feature amount, it is necessary to set a high sampling rate (for example, 10 frames / second or more).
  • a high sampling rate for example, 10 frames / second or more.
  • it is not necessary to catch blinks so sleepiness can be estimated with high accuracy even at 5 frames / second or 3 frames / second.
  • Estimating sleepiness at a low frame rate with high accuracy directly affects the requirements of the camera and CPU, that is, directly affects the cost of the system, which is extremely important industrially.
  • the second reason why the present invention can obtain the effect is the time length of blink of a person (0.1 to 0.15 seconds when removing the signal change due to blink in the filtering circuit unit 140 in the present invention).
  • the filtering calculation window width is set based on.
  • the influence of the signal change due to the blink can be reliably removed, and the parameter value does not depend on the learning data, that is, the person, so that highly accurate sleepiness estimation can be realized.
  • the third reason is that filtering is performed to remove a signal change caused by blinks of the subject from a time-series signal of eye opening degree, and a first feature value that is a variation degree is calculated from the time-series signal of eye opening degree after filtering This is because the drowsiness evaluation value is estimated from the first feature amount.
  • Each part of the sleepiness estimation apparatus 100 may be realized using a combination of hardware and software.
  • a sleepiness estimation program is developed in a random access memory (RAM), and hardware such as a control unit (CPU (central processing unit)) is operated based on the sleepiness estimation program. Implements each unit as various means.
  • the sleepiness estimation program may be recorded on a recording medium and distributed. The sleepiness estimation program recorded in the recording medium is read into the memory via a wired, wireless, or recording medium itself, and operates the control unit and the like.
  • the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, a hard disk and the like.
  • the computer for causing the drowsiness estimation apparatus 100 to operate is based on the drowsiness estimation program developed in the RAM, the eye opening degree detector 120, the filtering circuit unit 140, and the feature amount calculation. It can be realized by operating the device 160 and the drowsiness estimator 180.
  • FIG. 16 is a block diagram showing the configuration of the sleepiness estimation apparatus 100A according to the second embodiment of the present invention.
  • the illustrated sleepiness estimation apparatus 100A can be realized by a computer that operates under program control.
  • the sleepiness estimation apparatus 100A shown in the figure has the same configuration as the sleepiness estimation apparatus 100 shown in FIG. 1 except that the configuration of the feature quantity calculator is different as described later, and operates. Therefore, the feature quantity calculator is given the reference numeral 160A.
  • the same reference numerals are given to components having the same configuration as that shown in FIG. 1, and the description thereof will be omitted for simplification of the description.
  • FIG. 17 is a block diagram showing the configuration of the feature calculator 160A.
  • the illustrated feature quantity calculator 160A has the same configuration as the feature quantity calculator 160 shown in FIG. 13 except that it further includes a difference maximum value calculation circuit 162, and operates. Therefore, the feature value calculation circuit 160A includes the variation degree calculation circuit 161 and the difference maximum value calculation circuit 162.
  • the maximum difference calculation circuit 162 calculates the absolute value of the inter-frame difference (hereinafter referred to as “inter-frame difference”) of the eye-opening degree time-series signal X (t), and calculates the feature amount calculation window width (T M ) [ The maximum value of the inter-frame difference in seconds] is obtained, and the maximum value is output as the second feature value F2 [T]. Therefore, the difference maximum value calculation circuit 162 works as a second feature value calculation circuit that calculates the second feature value F2 (T) from the time-series signal X (t) of the eye opening degree and outputs the second feature value F2 (T). This maximum value of the absolute value of the interframe difference is useful for estimating sleepiness because the value decreases in the sleepy state and increases in the eye-worn state.
  • the maximum value of the inter-frame difference that is, the second feature value F2 (T) is expressed by the following equation 9.
  • F2 (T) 1-max [
  • 1-max [] is used to reduce the value as the drowsiness decreases, as with other feature quantities.
  • the difference maximum value calculation circuit 162 of this example uses the time series signal X (t) of the eye opening degree, instead, the time series signal X L (t) of the eye opening degree of the left eye 20L or The time-series signal X R (t) of the eye opening degree of the right eye 20R may be used. In that case, the difference maximum value calculation circuit 162 calculates the maximum value of the difference between the frames of the time series signal X L (t) of the eye opening degree of the left eye 20L within the feature value calculation window width T M [seconds] And outputs the maximum value as a second feature value F2 (T).
  • the difference maximum value calculation circuit 162 calculates the maximum value of the difference between the frames of the time series signal X R (t) of the eye opening degree of the right eye 20R within the feature value calculation window width T M [seconds] The maximum value is calculated, and the variation degree is output as a second feature amount F2 (T).
  • the eye opening degree detector 120 detects the eye opening degree from the moving image signal V (t), and outputs a time series signal X (t) of the eye opening degree (step S201).
  • the filtering circuit unit 140 performs filtering so as to remove a signal change due to blinks of the object person 20 from the time-series signal X (t) of the eye opening degree, and the time-series signal X F (t) of the eye opening degree after filtering. Are output (step S202).
  • the feature amount calculator 160A calculates the degree of variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature amount calculation window width T M [seconds], and The maximum value of the inter-frame difference of the eye-opening degree time-series signal X (t) within the feature amount calculation window width T M [seconds] is output as the feature amount F1 (T) of 1 and the maximum The value is output as a second feature amount F2 (T) (step S203).
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the first feature quantity F1 (T) and the second feature quantity F2 (T), and outputs the estimation result (step S204).
  • drowsiness can be estimated with higher accuracy than in the first embodiment.
  • the reason is that the information that can be used for sleepiness estimation is increased by adding the maximum value of the absolute value of the inter-frame difference of the eye opening degree as the second feature value.
  • Each part of the sleepiness estimation apparatus 100A may be realized using a combination of hardware and software.
  • a sleepiness estimation program is developed in a random access memory (RAM), and hardware such as a control unit (CPU (central processing unit)) is operated based on the sleepiness estimation program. Implements each unit as various means.
  • the sleepiness estimation program may be recorded on a recording medium and distributed. The sleepiness estimation program recorded in the recording medium is read into the memory via a wired, wireless, or recording medium itself, and operates the control unit and the like.
  • the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, a hard disk and the like.
  • the computer that operates the drowsiness estimation apparatus 100A is based on the drowsiness estimation program developed in the RAM, the eye opening degree detector 120, the filtering circuit unit 140, and the feature amount calculation.
  • the operation can be realized by operating the device 160A and the drowsiness estimator 180.
  • FIG. 19 is a block diagram showing the configuration of the sleepiness estimating apparatus 100B according to the third embodiment of the present invention.
  • the illustrated sleepiness estimation apparatus 100B can be realized by a computer that operates under program control.
  • the illustrated sleepiness estimation apparatus 100B has the same configuration as the sleepiness estimation apparatus 100 shown in FIG. 1 except that the configuration of the feature quantity calculator is different, and operates. Therefore, the feature quantity calculator is given the reference numeral 160B.
  • the same reference numerals are given to components having the same configuration as that shown in FIG. 1, and the description thereof will be omitted for simplification of the description.
  • FIG. 20 is a block diagram showing the configuration of the feature calculator 160B.
  • the illustrated feature quantity calculator 160B has the same configuration as the feature quantity calculator 160 shown in FIG. 13 except that it further includes a closed eye ratio calculation circuit 163, and operates. Therefore, the feature value calculation circuit 160B includes the variation degree calculation circuit 161 and the closed eye ratio calculation circuit 163.
  • the closed eye ratio calculating circuit 163 detects the closed eye from the time series signal X (t) of the eye opening degree, obtains the ratio of the closed eye within the feature value calculation window width (T M ) [seconds], and determines the ratio of the closed eye Output as the feature amount F3 [T] of Therefore, the closed eye ratio calculating circuit 163 functions as a third feature value calculating circuit that calculates the third feature value F3 (T) from the time-series signal X (t) of the eye opening degree and outputs it.
  • This closed eye ratio is useful for estimating drowsiness because the value increases in the sleepy state and decreases in the state in which the eyes are stared.
  • C is the number of elements below [X (T * M + t),..., X (T * M + t-M + 1)] that are below the closed eye determination threshold (for example, 0.5).
  • the closed eye ratio calculating circuit 163 of this example uses the time series signal X (t) of the eye opening degree, instead, the time series signal X L (t) of the eye opening degree of the left eye 20L, The time-series signal X R (t) of the eye opening degree of the right eye 20R may be used. In that case, the closed eye ratio calculation circuit 163 calculates the ratio of closed eyes of the time series signal X L (t) of the eye opening degree of the left eye 20L within the feature value calculation window width T M [seconds], and The ratio is output as the third feature amount F3 (T).
  • the closed eye ratio calculation circuit 163 calculates the closed eye ratio of the time series signal X R (t) of the eye opening degree of the right eye 20R within the feature value calculation window width T M [seconds], and the closed eye ratio Are output as a third feature amount F3 (T).
  • the ratio at which both the time series signal X L (t) of the eye opening degree of the left eye 20 L and the time series signal X R (t) of the eye opening degree of the right eye 20 R are simultaneously closed is calculated. The ratio is output as the third feature amount F3 (T).
  • the third feature quantity F3 (T) [closed eye ratio of X L (t), closed eye ratio of X R (t)] is output.
  • the closing eye ratio in the case of 0.5 and the closing eye ratio in the case of the closing eye judgment threshold value 0.8 are outputted.
  • the eye opening degree detector 120 detects the eye opening degree from the moving image signal V (t), and outputs a time series signal X (t) of the eye opening degree (step S301).
  • the filtering circuit unit 140 performs filtering so as to remove a signal change due to blinks of the object person 20 from the time-series signal X (t) of the eye opening degree, and the time-series signal X F (t) of the eye opening degree after filtering. Are output (step S302).
  • the feature calculator 160B calculates the degree of variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature amount calculation window width T M [seconds], and While outputting as the feature amount F1 (T) of 1, the ratio of the closed eye of the time series signal X (t) of the eye opening degree within the feature amount calculation window width T M [seconds] is calculated, and the ratio of the closed eye is
  • the third feature amount F3 (T) is output (step S303).
  • the drowsiness estimator 180 estimates the drowsiness evaluation value of the subject 20 from the first feature amount F1 (T) and the third feature amount F3 (T), and outputs the estimation result (step S304). ).
  • the third embodiment of the present invention it is possible to estimate drowsiness with higher accuracy than in the first embodiment.
  • the reason is that, by adding the closed eye ratio as the third feature quantity, information available for sleepiness estimation is increased.
  • the completely sleeping state it is difficult to estimate the sleeping state only with the first feature amount.
  • the rate of closed eyes is obviously high in the completely sleeping state. Therefore, by adding this third feature value, it is possible to estimate sleepiness with high accuracy including the state of completely sleeping.
  • Each part of the sleepiness estimation apparatus 100B may be realized using a combination of hardware and software.
  • a sleepiness estimation program is developed in a random access memory (RAM), and hardware such as a control unit (CPU (central processing unit)) is operated based on the sleepiness estimation program. Implements each unit as various means.
  • the sleepiness estimation program may be recorded on a recording medium and distributed. The sleepiness estimation program recorded in the recording medium is read into the memory via a wired, wireless, or recording medium itself, and operates the control unit and the like.
  • the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, a hard disk and the like.
  • the computer for causing the drowsiness estimation apparatus 100B to operate is based on the drowsiness estimation program developed in the RAM, the eye opening degree detector 120, the filtering circuit unit 140, and the feature amount calculation. It can be realized by operating as the sleeper 160 B and the sleepiness estimator 180.
  • FIG. 22 is a block diagram showing the configuration of the sleepiness estimation apparatus 100C according to the fourth embodiment of the present invention.
  • the illustrated sleepiness estimation apparatus 100C can be realized by a computer that operates under program control.
  • the illustrated sleepiness estimation apparatus 100C has the same configuration as the sleepiness estimation apparatus 100 shown in FIG. 1 except that the configuration of the feature quantity calculator is different, and operates. Therefore, the feature quantity calculator is given the reference numeral 160C.
  • the same reference numerals are given to components having the same configuration as that shown in FIG. 1, and the description thereof will be omitted for simplification of the description.
  • FIG. 23 is a block diagram showing the configuration of the feature calculator 160C.
  • the illustrated feature quantity calculator 160C has the same configuration as the feature quantity calculator 160 shown in FIG. 13 except that it further includes the motion difference average value calculation circuit 164, and operates. Therefore, the feature value calculation circuit 160C includes the variation degree calculation circuit 161 and the motion difference average value calculation circuit 164.
  • the motion difference average value calculation circuit 164 calculates the absolute value of the motion difference between the time series signal X L (t) of the eye opening degree of the left eye 20 L and the time series signal X R (t) of the eye opening degree of the right eye 20 R (
  • the “motion difference” is calculated to obtain the average value of the motion differences within the feature amount calculation window width (T M ) [seconds], and the average value of the motion differences is calculated as the fourth feature amount F 4 [ Output as T]. Therefore, the motion difference average value calculation circuit 164 works as a fourth feature value calculation circuit that calculates the fourth feature value F4 (T) from the time-series signal X (t) of the eye opening degree, and outputs the same.
  • This motion difference average value is useful for estimation of drowsiness because the value increases in the sleepy state and decreases in the state in which the eyes are stared.
  • F4 (T) Average [
  • the eye opening degree detector 120 detects the eye opening degree from the moving image signal V (t), and the time series signal X (t) of the eye opening degree, the time series signal X L (t) of the eye opening degree of the left eye 20L. And a time-series signal X R (t) of the eye opening degree of the right eye 20 R (step S 401).
  • the filtering circuit unit 140 performs filtering so as to remove a signal change due to blinks of the object person 20 from the time-series signal X (t) of the eye opening degree, and the time-series signal X F (t) of the eye opening degree after filtering. Are output (step S402).
  • the feature quantity calculator 160C calculates the degree of variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature quantity calculation window width T M [seconds], and the degree of variation is calculated
  • the movement amount of the eye opening degree of the left eye and the right eye within the feature amount calculation window width T M [seconds] is calculated as the feature amount F1 (T) of 1, and the average value of the movement differences is calculated
  • the four feature quantities F4 (T) are output (step S403).
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the first feature quantity F1 (T) and the fourth feature quantity F4 (T), and outputs the estimation result (step S404).
  • the fourth embodiment of the present invention it is possible to estimate drowsiness with higher accuracy than in the first embodiment.
  • the reason is that by adding the motion difference average value as the fourth feature amount, information available for sleepiness estimation is increased. By accurately capturing the different motions of the right eye and the left eye in a sleepy state, the accuracy of sleepiness estimation is improved.
  • Each part of the sleepiness estimation apparatus 100C may be realized using a combination of hardware and software.
  • a sleepiness estimation program is developed in a random access memory (RAM), and hardware such as a control unit (CPU (central processing unit)) is operated based on the sleepiness estimation program. Implements each unit as various means.
  • the sleepiness estimation program may be recorded on a recording medium and distributed. The sleepiness estimation program recorded in the recording medium is read into the memory via a wired, wireless, or recording medium itself, and operates the control unit and the like.
  • the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, a hard disk and the like.
  • the computer that causes the drowsiness estimation device 100C to operate is based on the drowsiness estimation program developed in the RAM, the eye opening degree detector 120, the filtering circuit unit 140, and the feature amount calculation. It can be realized by operating the device 160C and the drowsiness estimator 180.
  • FIG. 25 is a block diagram showing the configuration of the sleepiness estimating apparatus 100D according to the fifth embodiment of the present invention.
  • the illustrated sleepiness estimation apparatus 100D can be realized by a computer that operates under program control.
  • the sleepiness estimation apparatus 100D shown in the figure has the same configuration as the sleepiness estimation apparatus 100 shown in FIG. 1 except that the configuration of the feature quantity calculator is different, and operates. Therefore, the feature quantity calculator is given the reference numeral 160D.
  • the same reference numerals are given to components having the same configuration as that shown in FIG. 1, and the description thereof will be omitted for simplification of the description.
  • FIG. 26 is a block diagram showing the configuration of the feature quantity calculator 160D.
  • the illustrated feature quantity calculator 160D has the same configuration as the feature quantity calculator 160 shown in FIG. 13 except that it further includes the adjacent difference calculation circuit 165, and operates. Therefore, the feature value calculation circuit 160D includes the variation degree calculation circuit 161 and the adjacent difference calculation circuit 165.
  • the adjacent difference calculation circuit 165 uses the first feature amount F1 [T] calculated in a certain feature amount calculation window width (T M ) [seconds] and the feature amount calculation window width (T M ) [seconds] adjacent thereto.
  • the absolute value of the difference between the calculated first feature value F1 [T-1] (hereinafter referred to as "difference between adjacent windows") is calculated, and the difference between the adjacent windows is calculated as the fifth feature value.
  • the difference between the adjacent windows increases in the sleepy state and decreases in the eye-worn state, which is useful for estimating sleepiness.
  • the difference F11 (T) between the adjacent windows in the first feature amount F1 [T] is used as the fifth feature amount, but the present invention is not limited to this.
  • the eye opening degree detector 120 detects the eye opening degree from the moving image signal V (t), and outputs a time series signal X (t) of the eye opening degree (step S501).
  • the filtering circuit unit 140 performs filtering so as to remove a signal change due to blinks of the object person 20 from the time-series signal X (t) of the eye opening degree, and the time-series signal X F (t) of the eye opening degree after filtering. Are output (step S502).
  • the feature amount calculator 160D calculates the degree of variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature amount calculation window width T M [seconds], and the degree of variation is calculated While outputting as 1 feature amount F1 (T), the difference (difference between adjacent windows) of the first feature amount F1 (T) between two adjacent feature amount calculation window widths T M [seconds] is calculated The difference between the adjacent windows is output as the fifth feature value F11 (T) (step S503).
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the first feature quantity F1 (T) and the fifth feature quantity F11 (T), and outputs an estimation result ER (step S504).
  • both the first feature amount F1 (T) and the fifth feature amount F11 (T) are used as the feature amounts supplied to the drowsiness estimator 180.
  • the present invention is not limited to this. That is, only the fifth feature amount F11 (T) may be used as the feature amount supplied to the sleepiness estimator 180.
  • the sleepiness estimator 180 estimates the evaluation value of the sleepiness of the subject 20 from the fifth feature value F11 (T), and outputs the estimation result ER.
  • drowsiness can be estimated with an accuracy equal to or higher than that of the first embodiment.
  • the reason is that, by using the difference between adjacent windows as the fifth feature amount, information available for sleepiness estimation is increased. In the sleepy state, the difference between the adjacent windows is increased, and the change in the long time can be easily and accurately detected to improve the accuracy of the sleepiness estimation.
  • Each part of the sleepiness estimation device 100D may be realized using a combination of hardware and software.
  • a sleepiness estimation program is developed in a random access memory (RAM), and hardware such as a control unit (CPU (central processing unit)) is operated based on the sleepiness estimation program. Implements each unit as various means.
  • the sleepiness estimation program may be recorded on a recording medium and distributed. The sleepiness estimation program recorded in the recording medium is read into the memory via a wired, wireless, or recording medium itself, and operates the control unit and the like.
  • examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, a hard disk and the like.
  • the computer that operates the drowsiness estimation device 100D is based on the drowsiness estimation program developed in the RAM, the eye opening degree detector 120, the filtering circuit unit 140, and the feature amount calculation It can be realized by operating the device 160D and the drowsiness estimator 180.
  • FIG. 28 is a block diagram showing the configuration of the sleepiness estimation apparatus 100E according to the sixth embodiment of the present invention.
  • the illustrated sleepiness estimation apparatus 100E can be realized by a computer that operates under program control.
  • the sleepiness estimation apparatus 100E shown in the figure has the same configuration as the sleepiness estimation apparatus 100 shown in FIG. 1 except that the configuration of the feature quantity calculator is different, and operates. Therefore, the feature quantity calculator is given the reference numeral 160E.
  • the same reference numerals are given to components having the same configuration as that shown in FIG. 1, and the description thereof will be omitted for simplification of the description.
  • FIG. 29 is a block diagram showing the configuration of the feature calculator 160E.
  • the illustrated feature quantity calculator 160E has the same configuration as the feature quantity calculator 160 shown in FIG. 13 except that it further includes the logarithm calculation circuit 166, and operates. Therefore, the feature value calculation circuit 160E includes the variation degree calculation circuit 161 and the logarithm calculation circuit 166.
  • the logarithm calculation circuit 166 calculates the logarithm of the first feature quantity F1 [T], and outputs the logarithm as the sixth feature quantity F12 [T]. Therefore, the logarithm calculation circuit 166 works as a sixth feature quantity calculation circuit that calculates the logarithm of the first feature quantity F1 [T] as the sixth feature quantity F12 [T] and outputs it.
  • it is the person who calculates the drowsiness evaluation value of the estimation object. It is generally said that human senses follow logarithms, and drowsiness ratings also follow logarithms. Therefore, by taking the logarithm of the feature value, the relationship between the feature value and the sleepiness rating value can be made linear.
  • the logarithm of the first feature value that is, the sixth feature value F12 (T) is expressed by the following equation 13.
  • F12 (T) Log ⁇ F1 [T] + ⁇
  • ⁇ is a small value, for example, 10 -6 . The reason is that the contents of the logarithm do not become zero if the small value ⁇ is added to the first feature quantity F1 [T].
  • the logarithm of the first feature quantity F1 [T] is used as the sixth feature quantity, but the present invention is not limited to this.
  • the logarithm F22 [T] of the second feature quantity F2 [T] the logarithm F32 (T) of the third feature quantity F3 [T]
  • the feature of the fourth The logarithm F42 [T] of the amount F4 [T] or the logarithm F112 [T] of the feature amount F11 [T] of the above 5 may be used.
  • the eye opening degree detector 120 detects the eye opening degree from the moving image signal V (t), and outputs a time series signal X (t) of the eye opening degree (step S601).
  • the filtering circuit unit 140 performs filtering so as to remove a signal change due to blinks of the object person 20 from the time-series signal X (t) of the eye opening degree, and the time-series signal X F (t) of the eye opening degree after filtering. Are output (step S602).
  • the feature quantity calculator 160E calculates the degree of variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature quantity calculation window width T M [seconds], and the degree of variation is calculated
  • the feature amount F1 (T) of 1 is output, and the logarithm of the degree of variation is calculated, and the logarithm is output as a sixth feature amount F12 (T) (step S603).
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the first feature quantity F1 (T) and the sixth feature quantity F12 (T), and outputs an estimation result ER (step S604).
  • both of the first feature amount F1 (T) and the sixth feature amount F12 (T) are used as the feature amounts supplied to the drowsiness estimator 180.
  • the present invention is not limited to this. That is, only the sixth feature value F12 (T) may be used as the feature value supplied to the sleepiness estimator 180.
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the sixth feature value F12 (T), and outputs the estimation result ER.
  • drowsiness can be estimated with an accuracy equal to or higher than that of the first embodiment.
  • the reason is that by using the logarithmic value of the first feature as the sixth feature, the relationship between the feature and the drowsiness evaluation value becomes linear. By simplifying the relationship, it becomes easy to estimate the relationship and the accuracy of sleepiness estimation is improved.
  • Each part of the sleepiness estimation apparatus 100E may be realized using a combination of hardware and software.
  • a sleepiness estimation program is developed in a random access memory (RAM), and hardware such as a control unit (CPU (central processing unit)) is operated based on the sleepiness estimation program. Implements each unit as various means.
  • the sleepiness estimation program may be recorded on a recording medium and distributed. The sleepiness estimation program recorded in the recording medium is read into the memory via a wired, wireless, or recording medium itself, and operates the control unit and the like.
  • the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, a hard disk and the like.
  • the computer that operates the drowsiness estimation device 100E is based on the drowsiness estimation program developed in the RAM, the eye opening degree detector 120, the filtering circuit unit 140, and the feature amount calculation. It can be realized by operating the device 160E and the sleepiness estimator 180.
  • FIG. 31 is a block diagram showing the configuration of the sleepiness estimating apparatus 100F according to the seventh embodiment of the present invention.
  • the illustrated sleepiness estimation apparatus 100F can be realized by a computer that operates under program control.
  • the illustrated sleepiness estimation apparatus 100F has the same configuration as the sleepiness estimation apparatus 100 shown in FIG. 1 except that the configuration of the feature quantity calculator is different, and operates. Therefore, the feature quantity calculator is given the reference numeral 160F.
  • the same reference numerals are given to components having the same configuration as that shown in FIG. 1, and the description thereof will be omitted for simplification of the description.
  • FIG. 32 is a block diagram showing the configuration of the feature calculator 160F.
  • the illustrated feature quantity calculator 160F uses the statistic of the feature quantity described above as a feature quantity.
  • the illustrated feature quantity calculator 160F calculates the statistic F (S) of one of the feature quantities described above and uses it as a feature quantity, as described later, for each statistic calculation window width T K [seconds].
  • S is an index of time and indicates the window numbers (0, 1, 2,...) Of the statistic calculation window.
  • the number of feature quantities in the statistic calculation window width T K [seconds] is K.
  • the statistic calculation window width T K is equal to 60 [seconds], and thus the number K of feature amounts is equal to six.
  • the feature amount calculator 160F has the same configuration as the feature amount calculator 160 shown in FIG. 13 except that the feature amount calculator 160F further includes the average value calculation circuit 167, and operates.
  • the average value calculation circuit 167 operates as a statistic calculation circuit.
  • the average value calculation circuit 167 calculates an average value of the first feature quantity F1 (T) within the statistic calculation window width T K [seconds], and calculates the average value as the seventh feature quantity F13 (S). Output as Therefore, the average value calculation circuit 167 calculates the average value of the first feature quantity F1 (T) as the seventh feature quantity F13 (S) for each statistic calculation window width T K [seconds], It works as a seventh feature quantity calculation circuit to output.
  • the average value of the first feature quantities that is, the seventh feature quantity F13 (S) is expressed by the following equation 14.
  • average [] is an operator that calculates the average value of elements.
  • F13 (S) average [F1 (S * K + T), ... F1 (S * K + T-K + 1)]
  • the average value of the first feature amount F1 (T) is used as the seventh feature amount (statistical amount), but the present invention is not limited to this.
  • an average value F23 (S) of the second feature amounts F2 (T), an average value F33 (S) of the third feature amounts F3 (T), and Average value F43 (S) of the feature amounts F4 (T), average value F113 (S) of the feature amounts F11 (T) of 5 above, and average value F123 (S) of the sixth feature amount F12 (T) ) May be used.
  • the eye opening degree detector 120 detects the eye opening degree from the moving image signal V (t), and outputs a time series signal X (t) of the eye opening degree (step S701).
  • the filtering circuit unit 140 performs filtering so as to remove a signal change due to blinks of the object person 20 from the time-series signal X (t) of the eye opening degree, and the time-series signal X F (t) of the eye opening degree after filtering. Are output (step S702).
  • the feature calculator 160F calculates the variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature calculation window width T M [seconds], and the statistic calculation window width The average value of the degree of variation within T K [seconds] is calculated, and the average value is output as the seventh feature value F 13 (S) (step S 703).
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the seventh feature value F13 (S), and outputs an estimation result ER (step S704).
  • the seventh feature amount F13 (S) is used as the feature amount supplied to the drowsiness estimator 180.
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the seventh feature value F13 (S), and outputs the estimation result ER.
  • sleepiness can be more stably estimated compared to the first embodiment.
  • the reason is that by using the statistical value (average value) of the first feature amount as the seventh feature amount, the feature becomes stable for a longer time.
  • Each part of the sleepiness estimation apparatus 100F may be realized using a combination of hardware and software.
  • a sleepiness estimation program is developed in a random access memory (RAM), and hardware such as a control unit (CPU (central processing unit)) is operated based on the sleepiness estimation program. Implements each unit as various means.
  • the sleepiness estimation program may be recorded on a recording medium and distributed. The sleepiness estimation program recorded in the recording medium is read into the memory via a wired, wireless, or recording medium itself, and operates the control unit and the like.
  • the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, a hard disk and the like.
  • the computer for causing the sleepiness estimation apparatus 100F to operate is based on the sleepiness estimation program developed in the RAM, the eye opening degree detector 120, the filtering circuit unit 140, and the feature quantity calculation. It can be realized by operating the device 160F and the sleepiness estimator 180.
  • FIG. 34 is a block diagram showing a configuration of the sleepiness estimating apparatus 100G according to the eighth embodiment of the present invention.
  • the illustrated sleepiness estimation apparatus 100G can be realized by a computer that operates under program control.
  • the illustrated sleepiness estimation apparatus 100G has the same configuration as the sleepiness estimation apparatus 100 shown in FIG. 1 except that the configuration of the feature quantity calculator is different, and operates. Therefore, the feature quantity calculator is given the reference numeral 160G.
  • the same reference numerals are given to components having the same configuration as that shown in FIG. 1, and the description thereof will be omitted for simplification of the description.
  • FIG. 35 is a block diagram showing the configuration of the feature calculator 160G.
  • the illustrated feature quantity calculator 160G uses the standard deviation of the first feature quantity F1 [T] as the statistic. That is, the feature quantity calculator 160G has the same configuration as the feature quantity calculator 160F shown in FIG. 32 except that the standard deviation calculation circuit 168 is provided instead of the average value calculation circuit 167, and the operation is performed. Do.
  • the standard deviation calculation circuit 168 also operates as a statistic calculation circuit.
  • the standard deviation calculation circuit 168 calculates the standard deviation of the first feature quantity F1 (T) within the statistic calculation window width T K [seconds], and uses the standard deviation as an eighth feature quantity F14 (S). Output as Therefore, the standard deviation calculation circuit 168 calculates the standard deviation of the first feature quantity F1 (T) as the eighth feature quantity F14 (S) for each statistic calculation window width T K [seconds], It works as an eighth feature quantity calculation circuit to output.
  • the standard deviation of the first feature that is, the eighth feature F14 (S) is expressed by the following equation 15.
  • standard_dev [] is an operator for calculating the standard deviation of elements.
  • F14 (S) standard_dev [F1 (S * K + T), ... F1 (S * K + T-K + 1)]
  • the standard deviation of the first feature quantity F1 (T) is used as the eighth feature quantity (statistical quantity), but the present invention is not limited to this.
  • the eighth feature quantity the standard deviation F24 (S) of the second feature quantity F2 (T), the standard deviation F34 (S) of the third feature quantity F3 (T), or the fourth feature quantity Standard deviation F44 (S) of the feature quantity F4 (T) of the first embodiment, standard deviation F114 (S) of the feature quantity F11 (T) of the fifth aspect, and standard deviation F124 (S) of the sixth feature quantity F12 (T) ) May be used.
  • the eye opening degree detector 120 detects the eye opening degree from the moving image signal V (t), and outputs a time series signal X (t) of the eye opening degree (step S801).
  • the filtering circuit unit 140 performs filtering so as to remove a signal change due to blinks of the object person 20 from the time-series signal X (t) of the eye opening degree, and the time-series signal X F (t) of the eye opening degree after filtering. Are output (step S802).
  • the feature calculator 160G calculates the degree of variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature calculation window width T M [seconds], and the statistic calculation window width The standard deviation of the degree of variation within T K [seconds] is calculated, and the standard deviation is output as the eighth feature quantity F 14 (S) (step S 803).
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the eighth feature amount F14 (S), and outputs an estimation result ER (step S804).
  • the eighth feature amount F14 (S) is used as the feature amount to be supplied to the drowsiness estimator 180.
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the eighth feature amount F14 (S), and outputs the estimation result ER.
  • sleepiness can be more stably estimated compared to the first embodiment.
  • the reason is that by using the statistic value (standard deviation) of the first feature amount as the eighth feature amount, the feature becomes stable for a longer time.
  • Each part of the sleepiness estimation apparatus 100G may be realized using a combination of hardware and software.
  • a sleepiness estimation program is developed in a random access memory (RAM), and hardware such as a control unit (CPU (central processing unit)) is operated based on the sleepiness estimation program. Implements each unit as various means.
  • the sleepiness estimation program may be recorded on a recording medium and distributed. The sleepiness estimation program recorded in the recording medium is read into the memory via a wired, wireless, or recording medium itself, and operates the control unit and the like.
  • the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, a hard disk and the like.
  • the eye opening degree detector 120, the filtering circuit unit 140, and the feature amount calculation are based on the drowsiness estimation program developed in the RAM and the computer operated as the drowsiness estimation device 100G. It can be realized by operating the device 160 G and the sleepiness estimator 180.
  • FIG. 37 is a block diagram showing the configuration of the sleepiness estimation apparatus 100H according to the ninth embodiment of the present invention.
  • the illustrated sleepiness estimation apparatus 100H can be realized by a computer that operates under program control.
  • the illustrated sleepiness estimation apparatus 100H has the same configuration as the sleepiness estimation apparatus 100 shown in FIG. 1 except that the configuration of the feature quantity calculator is different, and operates. Therefore, the feature amount calculator is given the reference numeral 160H.
  • the same reference numerals are given to components having the same configuration as that shown in FIG. 1, and the description thereof will be omitted for simplification of the description.
  • FIG. 38 is a block diagram showing the configuration of the feature calculator 160H.
  • the illustrated feature quantity calculator 160H uses the variance of the first feature quantity F1 [T] as the statistic. That is, the feature amount calculator 160H operates in the same manner as the feature amount calculator 160F shown in FIG. 32 except that the feature amount calculator 160H includes the variance calculation circuit 169 instead of the average value calculation circuit 167. .
  • the variance calculation circuit 169 also operates as a statistic calculation circuit.
  • the variance calculation circuit 169 calculates the variance of the first feature quantity F1 (T) within the statistic calculation window width T K [seconds], and outputs the variance as the ninth feature quantity F15 (S). . Therefore, the variance calculation circuit 169 calculates and outputs the variance of the first feature quantity F1 (T) as the ninth feature quantity F15 (S) for each statistic calculation window width T K [seconds]. It works as a ninth feature value calculation circuit.
  • the variance of the first feature that is, the ninth feature F15 (S) is expressed by the following equation 16.
  • variance [] is an operator for calculating the variance value of the element.
  • F15 (S) variance [F1 (S * K + T), ... F1 (S * K + T-K + 1)]
  • the variance of the first feature quantity F1 (T) is used as the ninth feature quantity (statistical quantity), but the present invention is not limited to this.
  • the ninth feature quantity the variance F25 (S) of the second feature quantity F2 (T), the variance F35 (S) of the third feature quantity F3 (T), and the feature 4 of Even if the dispersion F45 (S) of the amount F4 (T), the dispersion F115 (S) of the feature quantity F11 (T) of the above 5 or the dispersion F125 (S) of the sixth feature quantity F12 (T) are used. Good.
  • the eye opening degree detector 120 detects the eye opening degree from the moving image signal V (t), and outputs a time series signal X (t) of the eye opening degree (step S901).
  • the filtering circuit unit 140 performs filtering so as to remove a signal change due to blinks of the object person 20 from the time-series signal X (t) of the eye opening degree, and the time-series signal X F (t) of the eye opening degree after filtering. Are output (step S902).
  • the feature calculator 160H calculates the variation of the time-series signal X F (t) of the degree of eye opening after filtering within the feature calculation window width T M [seconds], and the statistic calculation window width The variance of the degree of variation within T K [seconds] is calculated, and the variance is output as a ninth feature quantity F 15 (S) (step S 903).
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the ninth feature value F15 (S), and outputs an estimation result ER (step S904).
  • the ninth feature amount F15 (S) is used as the feature amount supplied to the drowsiness estimator 180.
  • the sleepiness estimator 180 estimates the sleepiness of the subject 20 from the ninth feature value F15 (S), and outputs the estimation result ER.
  • the ninth embodiment of the present invention sleepiness can be more stably estimated compared to the first embodiment.
  • the reason is that by using the statistic value (variance) of the first feature amount as the ninth feature amount, the feature becomes stable for a longer time.
  • Each part of the sleepiness estimation apparatus 100H may be realized using a combination of hardware and software.
  • a sleepiness estimation program is developed in a random access memory (RAM), and hardware such as a control unit (CPU (central processing unit)) is operated based on the sleepiness estimation program. Implements each unit as various means.
  • the sleepiness estimation program may be recorded on a recording medium and distributed. The sleepiness estimation program recorded in the recording medium is read into the memory via a wired, wireless, or recording medium itself, and operates the control unit and the like.
  • examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, a hard disk and the like.
  • the computer which operates as the sleepiness estimation apparatus 100H is an eye-opening degree detector 120, the filtering circuit part 140, feature-value calculation based on the sleepiness estimation program expand
  • a sleepiness estimation apparatus for estimating the sleepiness of the subject from the time-series signal of the eye opening degree of the subject, A filtering circuit unit that performs filtering so as to remove a signal change caused by blinks of the subject from the time-series signal of the eye opening degree, and outputs a time-series signal of the eye opening degree after filtering;
  • a feature amount calculator for calculating a feature amount from at least the time-series signal of the degree of eye opening after the filtering;
  • a sleepiness estimator that estimates the drowsiness rating value from the feature amount and outputs an estimation result; Equipped with The feature quantity calculator calculates the degree of variation of the time-lapse signal of the degree of eye opening after the filtering within the feature quantity calculation window width (T M ) [seconds], and sets the degree of variation to a first feature quantity
  • the filtering circuit unit filters the time-series signal of the eye opening degree by filtering the time-series signal of the eye opening degree in units of the filtering calculation window width (T N ), and replaces the substituted signal with the time-series eye opening degree after the filtering Output as a signal,
  • T N filtering calculation window width
  • the filtering circuit unit includes a maximum value acquisition circuit that acquires, as the predetermined value, a maximum value of a time-series signal of the eye opening degree within a filtering calculation window width (T N ).
  • the sleepiness estimation apparatus according to appendix 2.
  • the filtering circuit unit may use, as the predetermined value, a value of a (P ⁇ 1) th P quantile point of the time-series signal of the eye opening degree within the filtering calculation window width (T N ), or the value (P ⁇ ).
  • P is an integer of 2 or more and the filtering calculation window width (T N ) is 0.2 [seconds] or more
  • the filtering circuit unit may use, as the predetermined value, a value of a (P ⁇ 1) th P quantile point of the time-series signal of the eye opening degree within the filtering calculation window width (T N ), or the value (P ⁇ ).
  • a quantile point calculation circuit that calculates an average value of P quantile points and higher, The sleepiness estimation apparatus according to appendix 2.
  • the filtering circuit unit comprises an average value calculation circuit that calculates an average value of time-series signals of the eye opening degree within the filtering calculation window width (T N ) as the predetermined value.
  • the sleepiness estimation apparatus according to appendix 2.
  • the eye-opening degree time-series signal is fs [frame / second] time-series signal
  • the filtering circuit unit includes a low pass filter having a cutoff frequency fc [Hz] sufficiently smaller than the fs and smaller than 6 Hz.
  • the sleepiness estimation apparatus according to appendix 1.
  • the feature quantity calculator calculates the inter-frame difference of the time-series signal of the eye opening degree, and obtains the maximum value of the inter-frame difference within the feature quantity calculation window width (T M ) [seconds]
  • the sleepiness estimation apparatus according to any one of appendices 1 to 6, further comprising: a second feature quantity calculation circuit that outputs the maximum value as a second feature quantity.
  • the feature quantity calculator detects the closed eye from the time series signal of the eye opening degree, obtains the ratio of the closed eye within the first predetermined time window width (T M ) [seconds], and the closed eye 15.
  • the drowsiness estimation device according to any one of appendices 1 to 7, further comprising a third feature amount calculation circuit that outputs the ratio of the second feature amount as a third feature amount.
  • the feature quantity calculator calculates a movement difference of the eye opening degree of the left eye and the right eye from the time series signal of the eye opening degree, and the feature quantity calculation window width (T M ) [seconds]
  • the drowsiness estimation device according to any one of appendices 1 to 8, further comprising a fourth feature amount calculation circuit for obtaining an average value of the motion differences and outputting the average value of the motion differences as a fourth feature amount. .
  • the feature quantity calculator calculates two adjacent feature quantities calculated by the first to fourth feature quantity calculators using two adjacent feature quantity calculation window widths (T M ) [seconds]
  • T M adjacent feature quantity calculation window widths
  • the feature quantity calculator obtains logarithms of the first to fifth feature quantities calculated by the first to fifth feature quantity calculation circuits, respectively, and one of the logarithms is selected.
  • the drowsiness estimation device according to supplementary note 10, further including a sixth feature amount calculation circuit that outputs one as a sixth feature amount.
  • the feature quantity calculation window width of the feature quantity calculation window width (T K ) [seconds] which is a multiple of the feature quantity calculation window width (T M ) [seconds] T M )
  • a statistic calculation circuit is further included which calculates one statistic selected from the first to sixth feature values calculated respectively by the first to sixth feature value calculation circuits every [seconds] ,
  • the sleepiness estimation device according to appendix 11.
  • the statistic calculation circuit may use, as the statistic, one average value selected from the first to sixth feature quantities for each of the statistic calculation window width (T K ) [seconds], The drowsiness estimating device according to appendix 12, wherein at least one selected from the standard deviation and the variance is calculated.
  • a sleepiness estimation method for estimating the sleepiness of the subject from the time-series signal of the eye opening degree of the subject A filtering circuit unit performs filtering so as to remove a signal change caused by blinks of the subject from the time-series signal of the eye opening degree, and outputs a time-series signal of eye opening degree after filtering;
  • the feature amount calculator calculates the feature amount from at least the time-series signal of the degree of eye opening after the filtering,
  • the sleepiness estimator estimates the sleepiness rating value from the feature amount, and outputs an estimation result.
  • At least a first feature quantity calculation circuit calculates a degree of variation of a time-series signal of the degree of eye opening after the filtering within the feature quantity calculation window width (T M ) [seconds] Output the degree of variation as a first feature amount, Sleepiness estimation method.
  • the filtering circuit unit filters the time-series signal of the eye opening degree by filtering the time-series signal of the eye opening degree in units of the filtering calculation window width (T N ), and replaces the substituted signal with the time-series eye opening degree after the filtering Output as a signal,
  • T N the filtering calculation window width
  • a maximum value acquisition circuit acquires, as the predetermined value, the maximum value of the eye-opening degree time-series signal within the filtering calculation window width (T N ).
  • the quantile point calculation circuit determines, as the predetermined value, the value of the (P-1) th P quantile point of the eye-opening degree time-series signal within the filtering calculation window width (T N ) Or calculating the average value of the (P-1) th P quantile point or higher, The sleepiness estimation method according to appendix 15.
  • an average value calculation circuit calculates an average value of time-series signals of the eye opening degree within the filtering calculation window width (T N ) as the predetermined value.
  • the eye-opening degree time-series signal is a time-series signal of fs (frames / second),
  • a low pass filter having a cutoff frequency fc [Hz] sufficiently smaller than the fs and smaller than 6 Hz passes the time series signal of the eye opening degree low pass, and the low pass pass signal is Output as a time-series signal of eye opening degree after filtering,
  • the sleepiness estimation method according to appendix 14.
  • the second feature quantity calculation circuit further calculates an inter-frame difference of the time-series signal of the eye opening degree, and the feature quantity calculation window width (T M ) [seconds] 24.
  • T M feature quantity calculation window width
  • the third feature quantity calculation circuit further detects closed eye from the time series signal of the eye opening degree, and the first predetermined time window width (T M ) [seconds] 20.
  • T M time window width
  • a fourth feature quantity calculation circuit further calculates a movement difference between the eye opening degree of the left eye and the right eye from the time series signal of the eye opening degree, and the feature quantity calculation window.
  • the drowsiness estimation method according to any one of Appendices 14 to 21, wherein an average value of the motion differences within a width (T M ) [seconds] is determined, and the average value of the motion differences is output as a fourth feature value. .
  • the fifth feature quantity calculation circuit further calculates the first to fourth feature quantities with two adjacent feature quantity calculation window widths (T M ) [seconds] The drowsiness according to appendix 22, wherein a difference between two adjacent first to fourth feature quantities respectively calculated by the circuit is determined, and one selected from the differences is output as a fifth feature quantity. Estimation method.
  • the sixth feature quantity calculation circuit further calculates the logarithm of the first to fifth feature quantities calculated by the first to fifth feature quantity calculation circuits. 24. The sleepiness estimation method according to appendix 22, wherein one of the logarithms is selected and output as a sixth feature value.
  • the statistic calculation circuit further includes a statistic calculation window width (T K ) [seconds] which is a multiple of the feature quantity calculation window width (T M ) [seconds]. Calculating one statistic selected from the first to sixth feature quantities respectively calculated by the first to sixth feature quantity calculation circuits every feature quantity calculation window width (T M ) [seconds] The sleepiness estimation method according to appendix 24.
  • the statistic calculation circuit may use, as the statistic, one average value selected from the first to sixth feature quantities for each of the statistic calculation window width (T K ) [seconds], 25.
  • a sleepiness estimation program recording medium storing a sleepiness estimation program for causing a computer to execute the process of estimating the sleepiness of the subject from the time-series signal of the eye opening degree of the subject, the sleepiness estimation program comprising A filtering procedure to remove a signal change caused by blinks of the subject from the time-lapse signal of the eye opening degree, and outputting a time-series signal of the eye opening degree after filtering; A feature amount calculation procedure for calculating a feature amount from at least the time-series signal of the degree of eye opening after the filtering; Causing the computer to execute a sleepiness estimation procedure of estimating the drowsiness evaluation value from the feature amount and outputting an estimation result; The feature quantity calculation procedure calculates the degree of variation of the time-lapse signal of the eye opening degree after the filtering within the feature quantity calculation window width (T M ) [seconds], and sets the degree of variation as a first feature quantity. Including at least a first feature amount calculation procedure to be output as Sleepiness estimation program recording
  • the filtering procedure substitutes the time series signal of the eye opening degree into a predetermined value by filtering the time series signal of the eye opening degree to the computer in units of the filtering calculation window width (T N ), and the eye opening degree after the filtering Output as a time series signal of 24.
  • the sleepiness estimation program recording medium according to appendix 27.
  • the filtering step comprises a maximum value acquiring step of acquiring, as the predetermined value, the maximum value of the eye-opening degree time-series signal within the filtering calculation window width (T N ).
  • the filtering procedure comprises an average value calculation procedure for calculating an average value of time-series signals of the eye opening degree within the filtering calculation window width (T N ) as the predetermined value.
  • the eye-opening degree time-series signal is a time-series signal of fs [frames / second],
  • the filtering procedure low-pass the time-series signal of the eye opening degree by using a low-pass filter whose cutoff frequency fc [Hz] is sufficiently smaller than the fs and smaller than 6 Hz, Outputting the time-series signal of the degree of eye opening after the filtering; 24.
  • the feature amount calculating step calculates an inter-sample difference of the time-series signal of the eye opening degree, and obtains a maximum value of the inter-sample difference within the feature amount calculating window width (T M ) [seconds] 24.
  • the sleepiness estimation program recording medium according to any one of appendices 27 to 32, further including a second feature value calculation procedure of outputting the maximum value as a second feature value.
  • the feature quantity calculation procedure detects a closed eye from the time-series signal of the eye opening degree, obtains a ratio of the closed eye within the first predetermined time window width (T M ) [seconds], and the closed eye 24.
  • the drowsiness estimation program recording medium according to any one of appendices 27 to 33, further including a third feature amount calculation procedure of outputting the ratio of the second feature amount as a third feature amount.
  • the feature amount calculating step calculates a movement difference of the eye opening degree of the left eye and the right eye from the time series signal of the eye opening degree, and the feature amount calculating window width (T M ) [seconds] 24.
  • the drowsiness estimation program according to any one of Appendices 27 to 34, further including a fourth feature amount calculation procedure of obtaining an average value of motion differences and outputting the average value of the motion differences as a fourth feature amount. recoding media.
  • the feature quantity calculation procedure calculates logarithms of the first to fifth feature quantities calculated respectively in the first to fifth feature quantity calculation procedures, and one of the logarithms is selected.
  • the sleepiness estimation program recording medium according to appendix 36 further including a sixth feature quantity calculation procedure of outputting one as a sixth feature quantity.
  • the feature quantity calculation procedure includes the feature quantity calculation window width (T K ) [seconds] which is a multiple of the feature quantity calculation window width (T M ) [seconds] T M ) further includes a statistic calculation procedure for calculating one statistic selected from the first to sixth feature values calculated respectively in the first to sixth feature value calculation procedures every [seconds]
  • the sleepiness estimation program recording medium according to appendix 37.
  • the statistic calculation procedure includes, as the statistic, one average value selected from the first to sixth feature quantities for each of the statistic calculation window width (T K ) [seconds], 40.
  • the sleepiness estimation apparatus is applicable to the use of estimating the sleepiness of a staff who works in an office or a driver who operates a car or the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

眠気推定装置は対象者の開眼度の時系列信号から対象者の眠気を推定する。フィルタリング回路部は、開眼度の時系列信号から対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力する。特徴量算出器は、少なくともフィルタリング後の開眼度の時系列信号から特徴量を算出する。眠気推定器は、特徴量から眠気の評定値を推定して、推定結果を出力する。特徴量算出器は、特徴量算出窓幅内での、フィルタリング後の開眼度の時系列信号のばらつき度を算出して、そのばらつき度を第１の特徴量として出力する第１の特徴量算出回路を、少なくとも含む。

Description

眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体
本発明は、眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体に関する。
少子高齢化により生産年齢人口が減少し、労働力不足が進む中、今まで人が行っていた仕事を、ロボットやＡＩ（artificial intelligence）で置き換えることがなされている。このような状況において、人は、ロボットやＡＩでは困難な知的労働の生産性を維持、向上することが必須である。
しかし、人は眠気（低覚醒状態）やストレス（高覚醒状態）の影響により、知的能力を十分に発揮できず、その人が備える知的生産性は低下する。覚醒状態の変化による知的生産性の低下を防止するように、知的労働を行うオフィス内環境等の制御を行うためには、知的生産性の低下を伴う覚醒度、すなわち人がどのような覚醒状態にあるかを推定することが必要である。本発明は、覚醒度のうち低覚醒度すなわち眠気を推定する技術に関する。
眠気は、例えば、１～５の眠気評価値で評定されることが知られている（非特許文献１参照）。この非特許文献１によると、眠気評価値において、１は「全く眠くなさそう」を示し、２は「やや眠そう」を示し、３は「眠そう」を示し、４は「かなり眠そう」を示し、５は「非常に眠そう」を示す。
居眠り運転検知を目的として、目の開き具合（以降、「開眼度」と呼ぶ）から上記眠気を推定する技術が多数提案されている。
たとえば、特許文献１は、自動車の運転者の意識状態等を推定する状態推定装置を開示している。特許文献１に開示された状態推定装置は、運転者の開眼度を検出し、この開眼度の検出頻度の度数分布を作成して、度数分布の極値を抽出し、その度数分布の極値の時間変化に基づいて、運転者の状態を推定している。
また、特許文献２は、自動車のドライバの眠気状態を検出する方法を開示している。ドライバの目の少なくとも１つの目蓋の動きを検出し、検出された動きに応じて、ドライバの眠気状態を認識している。特に、通常の開眼度から最大で４０％、特に最大で３０％だけ眼が閉じる動きの周期性（０．２～１Ｈｚ）から眠気を推定している。
また、特許文献３は、人が浅い眠気を感じている状態では、開眼時間（瞬きと瞬きとの間の眼を開いている時間）のばらつきが小さくなることを見出し、それを利用して生体状態を判定している。
さらに、非特許文献２は、眠気指標として、目が例えば８０％以上閉じている時間の割合（閉眼割合）を利用し、眠気を検出している。
特開２００８－０９９８８４号公報 特開２０１７－０７９０５５号公報 国際公開第２０１０／０９２８６０号
北島洋樹、他３名、「自動車運転時の眠気の予測手法についての研究（第１報、眠気表情の評定法と眠気変動の予測に有効な指標について）」、日本機械学会論文集（Ｃ編）、１９９７年９月、６３巻、６１３号、p.3059-3066 "Research on Vehicle-Based Driver State/Performance Monitoring; Development, Validation, and Refinement of Algorithms For Detection of Driver Drowsiness", U.S. Department of Transportation, (December 1994), Chapter Two, p. 24-43
しかしながら、上記特許文献１乃至３、非特許文献２に記載の方法では、眠気を推定する時間窓幅や開眼度データのサンプリングレート等各種条件によっては充分高精度に眠気を推定できないという課題がある。
本発明の目的は、上述した課題を解決できる眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体を提供することにある。
本発明の一形態は、対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定装置であって、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング回路部と、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出器と、前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定器と、を備え、前記特徴量算出器は、特徴量算出窓幅（ＴＭ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出回路を、少なくとも含む、眠気推定装置である。
本発明の一形態は、対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定方法であって、フィルタリング回路部が、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力し、特徴量算出器が、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出し、眠気推定器が、前記特徴量から前記眠気の評定値を推定して、推定結果を出力し、前記特徴量検出器では、少なくとも、第１の特徴量算出回路が、特徴量算出窓幅（ＴＭ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する、眠気推定方法である。
本発明の一形態は、対象者の開眼度の時系列信号から前記対象者の眠気を推定する処理をコンピュータに実行させる眠気推定プログラムを記録した眠気推定プログラム記録媒体であって、前記眠気推定プログラムは、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング手順と、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出手順と、前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定手順と、を前記コンピュータに実行させ、前記特徴量算出手順は、特徴量算出窓幅（ＴＭ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出手順を、少なくとも含む、眠気推定プログラム記録媒体である。
本発明によれば、眠気を推定する時間窓幅や開眼度データのサンプリングレート等各種条件によらず高精度に眠気を推定することができる。
本発明の第１の実施形態に係る眠気推定装置の構成を示すブロック図である。 図１の眠気推定装置に接続されたカメラで撮影される対象者の一例を示す概略正面図である。 図１の眠気推定装置で使用される開眼度検出器の一例を示すブロック図である。 図２に示した対象者の眼が冴えている状態（眠気評定値＝１）のときの、対象者の開眼度の時系列信号Ｘ（ｔ）の一例を示す波形図である。 図２に示した対象者が眠い状態（眠気評定値≧３）のときの、対象者の開眼度の時系列信号Ｘ（ｔ）の一例を示す波形図である。 図１の眠気推定装置で使用されるフィルタリング回路部の一例を示すブロック図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第１の例を示すブロック図である。 図５に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部を使用してフィルタリング処理した後の、対象者の開眼度の時系列信号ＸＦ（ｔ）を示す波形図である。 図６に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部を使用してフィルタリング処理した後の、対象者の開眼度の時系列信号ＸＦ（ｔ）を示す波形図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第２の例を示すブロック図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第３の例を示すブロック図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第４の例を示すブロック図である。 図１に示した第１の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図１の眠気推定装置で使用される眠気推定器の動作の一例を示すフローチャートである。 図１に示した第１の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第２の実施形態に係る眠気推定装置の構成を示すブロック図である。 図１６に示した第２の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図１６に示した第２の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第３の実施形態に係る眠気推定装置の構成を示すブロック図である。 図１９に示した第３の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図１９に示した第３の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第４の実施形態に係る眠気推定装置の構成を示すブロック図である。 図２２に示した第４の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図２２に示した第４の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第５の実施形態に係る眠気推定装置の構成を示すブロック図である。 図２５に示した第５の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図２６に示した第５の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第６の実施形態に係る眠気推定装置の構成を示すブロック図である。 図２８に示した第６の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図２８に示した第６の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第７の実施形態に係る眠気推定装置の構成を示すブロック図である。 図３１に示した第７の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図３１に示した第７の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第８の実施形態に係る眠気推定装置の構成を示すブロック図である。 図３４に示した第８の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図３４に示した第８の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第９実施形態に係る眠気推定装置の構成を示すブロック図である。 図３７に示した第９の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図３７に示した第９の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
[第１の実施形態]
図１は、本発明の第１の実施形態に係る眠気推定装置１００の構成を示すブロック図である。図示の眠気推定装置１００は、プログラム制御により動作するコンピュータで実現可能である。
図示の眠気推定装置１００は、カメラ１０に接続されている。カメラ１０は、対象者２０の顔画像を撮像して、撮像した顔画像を示す動画像信号Ｖ（ｔ）を生成する。この生成された動画像信号Ｖ（ｔ）は、眠気推定装置１００に供給される。ただし、ｔは時間のインデックスであり、フレーム番号である。一般に、動画像信号は、フレームレートｆｓ［フレーム／秒］の信号である。図示の例では、ｆｓは３０に等しい。従って、本例では、動画像信号Ｖ（ｔ）は３０［フレーム／秒］の信号であるとする。
ここで、対象者２０は、例えば、オフィスで働いている職員であってよい。この場合、眠気推定装置１００は、職員２０の眠気を推定する装置として使用され得る。そのような状況では、カメラ１０は、例えば、机上に搭載されているパーソナルコンピュータのモニタ（ディスプレイ）やラップトップコンピュータのディスプレイの所定の箇所に取り付けられて、当該社員（従業者）２０の顔画像を撮像する。眠気推定装置１００は、パーソナルコンピュータやラップトップコンピュータのコンピュータ本体に内蔵されてもよいし、それらとは別体に設けられてもよい。また、コンピュータ本体に内蔵される記憶装置やネットワーク上の記憶装置に記憶された、動画像信号を眠気推定装置１００に入力する構成としてもよい。
一方、対象者２０は、自動車や電車、船舶、飛行機等の乗り物を運転（操縦）する運転者であってもよい。この場合、眠気推定装置１００は、運転者２０の眠気を推定する装置として使用され得る。このような状況では、カメラ１０は、運転者２０の前方の自動車の計器盤に配置されて、当該運転者２０の顔画像を撮像する。眠気推定装置１００には、図示しない警報器に接続されてよい。その場合、眠気推定装置１００は、運転者２０が眠気の状態にあると推定した場合に、その警報器に対して警報を発生させる制御信号を送出してよい。
眠気推定装置１００は、開眼度検出器１２０と、フィルタリング回路部１４０と、特徴量算出器１６０と、眠気推定器１８０とを備える。開眼度検出器１２０は動画像信号から開眼度を検出する。フィルタリング回路部１４０は開眼度の時系列信号をフィルタリングする。特徴量算出器１６０はフィルタリング後の時系列信号から特徴量を算出する。眠気推定器１８０は特徴量から眠気を推定し、推定結果を出力する。以降、それぞれを詳細に説明する。
開眼度検出器１２０は、動画像信号Ｖ（ｔ）を画像処理して、対象者２０の開眼度を検出し、対象者２０の開眼度の時系列信号Ｘ（ｔ）を出力する。
図２に示されるように、対象者２０は、左眼２０Ｌと右眼２０Ｒとを持つ。したがって、開眼度検出器１２０は、左眼２０Ｌの開眼度および右眼２０Ｒの開眼度を検出して、それぞれ、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）および右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）を出力してもよい。この場合、上記対象者２０の開眼度の時系列信号Ｘ（ｔ）は、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）と右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）とを加算平均して得られてよい。
図３は開眼度検出器１２０の一例を示すブロック図である。開眼度検出器１２０は、左眼開眼度検出回路１２２と、右眼開眼度検出回路１２４と、平均値算出回路１２６とを備える。
左眼開眼度検出回路１２２は、動画像信号Ｖ（ｔ）から対象者２０の左眼２０Ｌの部位を抽出し、左眼２０Ｌの開眼度を検出して、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）を出力する。同様に、右眼開眼度検出回路１２４は、動画像信号Ｖ（ｔ）から対象者２０の右眼２０Ｒの部位を抽出し、右眼２０Ｒの開眼度を検出して、右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）を出力する。なお、左眼開眼度検出回路１２２と右眼開眼度検出回路１２４とは同じ回路を用いてもよい。例えば、左眼開眼度検出回路１２２に左右反転させた右眼の動画像信号を入力することで、右眼の開眼度の時系列信号ＸＲ（ｔ）を算出してもよい。
平均値算出回路１２６は、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）と右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）とを加算平均して平均値を求め、その平均値を対象者２０の開眼度の時系列信号Ｘ（ｔ）として出力する。したがって、対象者２０の開眼度の時系列信号Ｘ（ｔ）は、次の数１で表される。
［数１］
　　　　Ｘ（ｔ）＝{ＸＬ（ｔ）＋ＸＲ（ｔ）}／２
尚、本例では、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）、右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）、および対象者２０の開眼度の時系列信号Ｘ（ｔ）の各々として、０～１の範囲の値に正規化された値を使用している。
図４は、対象者２０の眼が冴えている状態（眠気評定値＝１）のときの、対象者２０の開眼度の時系列信号Ｘ（ｔ）の一例を示す波形図である。一方、図５は、対象者２０が眠い状態（眠気評定値≧３）のときの、対象者２０の開眼度の時系列信号Ｘ（ｔ）の一例を示す波形図である。
図４および図５の各々において、横軸は時間［秒］を表し、縦軸は開眼度を表している。“０”の開眼度は、対象者２０が眼を完全に閉じていることを示し、“１”の開眼度は、対象者２０が眼を完全に開いていることを示している。
次に、図１のフィルタリング回路部１４０について説明する。フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を出力する。このフィルタリング後の開眼度の時系列信号ＸＦ（ｔ）は、一般に、次の数２で表される。
［数２］
　　　　ＸＦ（ｔ）＝Ｆ［Ｘ（ｔ）、・・・、Ｘ（ｔ－Ｎ＋１）］
ここで、Ｎはフィルタリング処理用のフレーム数を表す。従って、フィルタリング回路部１４０は、フィルタリング算出窓幅ＴＮ［秒］単位でフィルタリング処理を行う。フレーム数Ｎとフィルタリング算出窓幅ＴＮ［秒］との間には、次の数３で表される関係がある。
［数３］
　　　　　Ｎ＝ＴＮ×ｆｓ
例えば、図４に示されるように、フレーム数Ｎが３、フレームレートｆｓが３０［フレーム／秒］に等しいとき、フィルタリング算出窓幅ＴＮ［秒］は０．１［秒］となる。
本例では、フィルタリング回路部１４０は、フィルタリング算出窓幅ＴＮ［秒］単位でフィルタリングすることで、開眼度の時系列信号Ｘ（ｔ）を所定の値に置換し、その置換した信号をフィルタリング後の開眼度の時系列信号ＸＦ（ｔ）として出力する。
尚、本例のフィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）のみを使用しているが、更に、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）や右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）を用いてもよい。
図６は、そのような場合におけるフィルタリング回路部１４０の一例を示すブロック図である。フィルタリング回路部１４０は、主フィルタリング回路１４０－１と、第１の副フィルタリング回路１４０－２と、第２の副フィルタリング回路１４０－３とを備える。
主フィルタリング回路１４０－１は、フィルタリング算出窓幅ＴＮ［秒］単位でフィルタリングすることで、開眼度の時系列信号Ｘ（ｔ）を所定の主値に置換し、その置換した信号をフィルタリング後の開眼度の時系列信号ＸＦ（ｔ）として出力する。
第１の副フィルタリング回路１４０－２は、フィルタリング算出窓幅ＴＮ［秒］単位でフィルタリングすることで、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）を所定の第１の副値に置換し、その置換した信号をフィルタリング後の左眼２０Ｌの開眼度の時系列信号ＸＦＬ（ｔ）として出力する。
同様に、第２の副フィルタリング回路１４０－３は、フィルタリング算出窓幅ＴＮ［秒］単位でフィルタリングすることで、右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）を所定の第２の値に置換し、その置換した信号をフィルタリング後の右眼２０Ｒの開眼度の時系列信号ＸＦＲ（ｔ）として出力する。
なお図６の例では、フィルタリング回路部１４０は３つのフィルタリング回路１４０－１、１４０－２、および１４０－３を備えているが、本発明はこれに限定せず、それら３つのフィルタリング回路の内の１つのみを備えていてもよい。但し、以下においては、説明を簡略化するために、フィルタリング回路部１４０は主フィルタリング回路１４０－１のみから成る場合を例に挙げて、説明する。
フィルタリング回路部１４０で実施されるフィルタリング処理としては、種々の方法を採用され得る。
次に、フィルタリング回路部１４０で実施されるフィルタリング処理の具体例について説明する。
図７は、フィルタリング回路部１４０の第１の例１４０Ａを示すブロック図である。本第１の例のフィルタリング回路部１４０Ａは、フィルタリング算出窓幅ＴＮ［秒］が少なくとも０．１［秒］以上である場合に適用可能である（ＴＮ≧０．１）。その理由は、瞬きの時間が０．１～０．１５［秒］のためである。すなわち、本第１の例のフィルタリング回路部１４０Ａは、フレームレートｆｓが３０［フレーム／秒］の場合、フレーム数Ｎが３以上である場合に適用される。本例では、図４に示されるように、フレーム数Ｎが３０に等しく、フィルタリング算出窓幅ＴＮ［秒］が１［秒］である場合について説明する。
図示のフィルタリング回路部１４０Ａは、最大値取得回路１４２から成る。最大値取得回路１４２は、上記所定の値として、フィルタリング算出窓幅ＴＮ［秒］単位でフィルタリングを行い、開眼度の時系列信号Ｘ（ｔ）の最大値を取得し、その取得した最大値をフィルタリング後の開眼度の時系列信号ＸＦ（ｔ）として出力する。
最大値取得回路１４２は、次の数４で表されるように、フィルタリング算出窓幅ＴＮ［秒］の開眼度の時系列信号Ｘ（ｔ）の最大値をとる。ただし、max［］は要素の最大値をとる演算子である。
［数４］
　　　ＸＦ（ｔ）＝max［Ｘ（ｔ）、・・・、Ｘ（ｔ－Ｎ＋１）］
図８は、図４に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部１４０Ａを使用してフィルタリング処理した後の、対象者の開眼度の時系列信号ＸＦ（ｔ）を示す波形図である。また、図９は、図５に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部を使用してフィルタリング処理した後の、対象者の開眼度の時系列信号ＸＦ（ｔ）を示す波形図である。
図８と図９との比較から、次のことが分かる。すなわち、図８に示されるように、対象者２０の眼が冴えている状態では、開眼度を一定に維持できていることがわかる。一方、図９に示されるように、対象者２０が眠い状態では、開眼度を一定に維持できていないことが分かる。
図１０は、フィルタリング回路部１４０の第２の例１４０Ｂを示すブロック図である。フィルタリング回路部１４０Ｂは、分位点算出回路１４４から成る。分位点算出回路１４４は、上記所定の値として、フィルタリング算出窓幅ＴＮ［秒］毎の開眼度の時系列信号Ｘ（ｔ）の第（Ｐ－１）Ｐ分位点の値を算出し、その第（Ｐ－１）Ｐ分位点の値をフィルタリング後の開眼度の時系列信号ＸＦ（ｔ）として出力する。ここで、第（Ｐ－１）Ｐ分位点とは、データを小さい順に並べて、下から（Ｐ－１）／Ｐのところのデータをいう。本第２の例では、Ｐ＝４であるので、第（Ｐ－１）Ｐ分位点は、第３四分位点である。
Ｐが２以上の整数であるとき、本第２の例のフィルタリング回路部１４０Ｂは、フィルタリング算出窓幅ＴＮ［秒］が{０．１＋０．１／（Ｐ－１）}［秒］以上である場合に適用可能である。その理由は、瞬きの時間が０．１～０．１５［秒］のためである。本第２の例では、Ｐが４に等しく、またフレームレートｆｓが３０［フレーム／秒］に等しい。したがって、フィルタリング算出窓幅ＴＮ［秒］が{０．１＋０．１／３}［秒］、すなわちフレーム数Ｎが４より大きい場合として、フレーム数Ｎが３０に等しい場合について説明する。
分位点算出回路１４４は、次の数５で表されるように、上記所定の値として、フィルタリング算出窓幅ＴＮ［秒］の開眼度の時系列信号Ｘ（ｔ）の第（Ｐ－１）Ｐ分位点の値を算出する。ただし、percentile_Ｐ［］は要素の第（Ｐ－１）Ｐ分位点の値を算出する演算子である。
［数５］
　　　ＸＦ（ｔ）＝percentile_Ｐ［Ｘ（ｔ）、・・・、Ｘ（ｔ－Ｎ＋１）］
なお、図示の例では、分位点算出回路１４４は、上記所定の値として、フィルタリング算出窓幅ＴＮ［秒］の開眼度の時系列信号Ｘ（ｔ）の第（Ｐ－１）Ｐ分位点の値を算出しているが、本発明はそれに限定されない。例えば、分位点算出回路１４４は、上記所定の値として、フィルタリング算出窓幅ＴＮ［秒］の開眼度の時系列信号Ｘ（ｔ）の第（Ｐ－１）Ｐ分位点以上の平均値を算出してもよい。
図１１は、フィルタリング回路部１４０の第３の例１４０Ｃを示すブロック図である。フィルタリング回路部１４０Ｃは、平均値算出回路１４６から成る。平均値算出回路１４６は、上記所定の値として、フィルタリング算出窓幅ＴＮ［秒］単位で開眼度の時系列信号Ｘ（ｔ）の平均値を算出し、その平均値をフィルタリング後の開眼度の時系列信号ＸＦ（ｔ）として出力する。
本第３の例のフィルタリング部１４０Ｃは、フィルタリング算出窓幅ＴＮ［秒］が０．１［秒］以上より十分に大きな値、例えば、１［秒］以上である場合に適用可能である（ＴＮ≧１）。その理由は、瞬きの時間が０．１～０．１５［秒］であり、瞬きの影響を平均処理で取り除くためである。すなわち、第３の例では、フレームレートｆｓが３０［フレーム／秒］の場合、フレーム数Ｎは３０以上であることが好ましい。本第３の例では、フレーム数Ｎが３０に等しく、フィルタリング算出窓幅ＴＮ［秒］が１［秒］である場合について説明する。
平均値算出回路１４６は、次の数６で表されるように、上記所定の値として、フィルタリング算出窓幅ＴＮ［秒］の開眼度の時系列信号Ｘ（ｔ）の平均値を算出する。ただし、average［］は要素の平均値を算出する演算子である。
［数６］
　　　ＸＦ（ｔ）＝average［Ｘ（ｔ）、・・・、Ｘ（ｔ－Ｎ＋１）］
図１２は、フィルタリング回路部１４０の第４の例１４０Ｄを示すブロック図である。フィルタリング回路部１４０Ｄは、ｆｓより十分小さなカットオフ周波数ｆｃ［Ｈｚ］を持つローパスフィルタ（ＬＰＦ）１４８から成る。フィルタリング回路部１４０Ｄは、ローパスフィルタ１４８を通して得られた値をフィルタリング後の開眼度の時系列信号ＸＦ（ｔ）として出力する。
本第４の例のフィルタリング回路部１４０Ｄは、カットオフ周波数をｆｃ［Ｈｚ］とすると、ｆｃがｆｓより十分小さな値、例えば、６［Ｈｚ］以下である場合に適用可能である（ｆｃ＜＜ｆｓ）。その理由は、瞬きの時間が０．１～０．１５［秒］、すなわち瞬きは１０～６．７Ｈｚであり、その瞬きの影響をローパスフィルタで取り除くためである。本第４の例では、カットオフ周波数ｆｃ［Ｈｚ］が６［Ｈｚ］に等しい場合について説明する。
ローパスフィルタ１４８は、次の数７で表されるように、上記所定の値として、開眼度の時系列信号Ｘ（ｔ）を、当該ローパスフィルタ１４８を通して得られた値を選択して出力する。ただし、ＬＰＦ［］は要素に対してローパスフィルタを通す演算子である。
［数７］
　　　ＸＦ（ｔ）＝ＬＰＦ［Ｘ（ｔ）、・・・、Ｘ（ｔ－Ｎ＋１）］
次に、図１の特徴量算出器１６０について説明する。特徴量算出器１６０は、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）から特徴量Ｆ（Ｔ）を特徴量算出窓幅ＴＭ［秒］毎に算出する。ここで、Ｔは時間のインデックスであり、特徴量算出窓の窓番号（０，１，２，．．．）である。特徴量算出窓幅ＴＭ［秒］とフレームレートｆｓ［フレーム／秒］とを用いると、特徴量算出窓幅のフレーム数ＭはＭ＝ＴＭ×ｆｓと表せる。Ｔ＝０の場合には、特徴量算出器１６０は、フレーム番号ｔ＝０～（Ｍ－１）のフィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を使用して、特徴量Ｆ（０）を算出する。また、Ｔ＝１の場合には、特徴量算出器１６０は、フレーム番号ｔ＝Ｍ～（２Ｍ－１）のフィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を使用して、特徴量Ｆ（１）を算出する。Ｔ＝２の場合には、特徴量算出部１６０は、フレーム番号ｔ＝２Ｍ～（３Ｍ－１）のフィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を使用して、特徴量Ｆ（２）を算出する。したがって、Ｔ＊Ｍずつ、特徴算出処理のスタート地点がずれることになる。図示の特徴量算出器１６０は、第１の特徴量算出回路を少なくとも含む。第１の特徴量算出回路は、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として算出する。人は眠い状態では、瞼を一定に維持するのが難しく、このばらつき度は大きくなる。一方、目が冴えている状態では、瞼を一定に維持するのが容易で、このばらつき度は小さくなる。以下、特徴量算出器１６０の具体例について詳細に説明する。
図１３は、特徴量算出器１６０の構成を示すブロック図である。図示の特徴量算出器１６０は、ばらつき度算出回路１６１から成る。ばらつき度算出回路１６１は、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力する。したがって、ばらつき度算出回路１６１は、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）から第１の特徴量Ｆ１（Ｔ）を算出して、出力する第１の特徴量算出回路として働く。
ばらつき度、すなわち、第１の特徴量Ｆ１（Ｔ）は、次の数８で表される。
［数８］
　　Ｆ１（Ｔ）＝Ｖ［ＸＦ（Ｔ＊Ｍ＋ｔ）、・・・、ＸＦ（Ｔ＊Ｍ＋ｔ－Ｍ＋１）］
ここで、Ｖ［］は、分散、標準偏差、最大値と最小値との差分、エントロピー等のばらつき度を計算する演算子である。
尚、本例のばらつき度算出回路１６１では、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を用いているが、その代わりに、上記フィルタリング後の左眼２０Ｌの開眼度の時系列信号ＸＦＬ（ｔ）や、上記フィルタリング後の右眼２０Ｒの開眼度の時系列信号ＸＦＲ（ｔ）を用いてもよい。その場合、ばらつき度算出回路１６１は、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の左眼２０Ｌの開眼度の時系列信号ＸＦＬ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力する。また、ばらつき度算出回路１６１は、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の右眼２０Ｒの開眼度の時系列信号ＸＦＲ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力する。
次に、図１の眠気推定器１８０について説明する。眠気推定器１８０は、特徴量Ｆ（Ｔ）から眠気の評定値を推定し、推定結果ＥＲを出力する。図１４は、眠気推定器１８０の動作の一例を示すフローチャートである。以下、図１４を参照して、眠気推定器１８０の動作について説明する。
図示の眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）である特徴量Ｆ（Ｔ）から、上述した１～５の眠気評定値を推定して、推定結果ＥＲを出力する眠気推定器である。そのため、眠気推定器１８０には、第１乃至第４の閾値ＴＨ１、ＴＨ２、ＴＨ３、およびＴＨ４が予め設定されている。ここで、第１乃至第４の閾値ＴＨ１、ＴＨ２、ＴＨ３、およびＴＨ４は、この順番に大きくなる値を持っている。すなわち、ＴＨ１＜ＴＨ２＜ＴＨ３＜ＴＨ４である。
最初に、眠気推定器１８０は、特徴量Ｆ（Ｔ）と第１の閾値ＴＨ１とを比較する（ステップＳ１１）。もし、特徴量Ｆ（Ｔ）が第１の閾値ＴＨ１より小さければ（ステップＳ１１のＹＥＳ）、眠気推定器１８０は、対象者２０が「全く眠くなさそう」であると判断して、推定結果ＥＲとして「１」の眠気評価値を出力する（ステップＳ１２）。これは、図８に示されるように、対象者２０の眼が冴えていて、開眼度を一定に維持できていることを示している。
もし、特徴量Ｆ（Ｔ）が第１の閾値ＴＨ１以上であれば（ステップＳ１１のＮＯ）、眠気推定器１８０は、特徴量Ｆ（Ｔ）と第２の閾値ＴＨ２とを比較する（ステップＳ１３）。もし、特徴量Ｆ（Ｔ）が第２の閾値ＴＨ２より小さければ（ステップＳ１３のＹＥＳ）、眠気推定器１８０は、対象者２０が「やや眠そう」であると判断して、推定結果ＥＲとして「２」の眠気評価値を出力する（ステップＳ１４）。
もし、特徴量Ｆ（Ｔ）が第２の閾値ＴＨ２以上であれば（ステップＳ１３のＮＯ）、眠気推定器１８０は、特徴量Ｆ（Ｔ）と第３の閾値ＴＨ３とを比較する（ステップＳ１５）。もし、特徴量Ｆ（Ｔ）が第３の閾値ＴＨ３より小さければ（ステップＳ１５のＹＥＳ）、眠気推定器１８０は、対象者２０が「眠そう」であると判断して、推定結果ＥＲとして「３」の眠気評価値を出力する（ステップＳ１６）。これは、図９に示されるように、対象者２０が眠い状態であって、開眼度を一定に維持できていないことを示している。
もし、特徴量Ｆ（Ｔ）が第３の閾値ＴＨ３以上であれば（ステップＳ１５のＮＯ）、眠気推定器１８０は、特徴量Ｆ（Ｔ）と第４の閾値ＴＨ４とを比較する（ステップＳ１７）。もし、特徴量Ｆ（Ｔ）が第４の閾値ＴＨ４より小さければ（ステップＳ１７のＹＥＳ）、眠気推定器１８０は、対象者２０が「かなり眠そう」であると判断して、推定結果ＥＲとして「４」の眠気評価値を出力する（ステップＳ１８）。
もし、特徴量Ｆ（Ｔ）が第４の閾値ＴＨ４以上であれば（ステップＳ１７のＮＯ）、眠気推定器１８０は、対象者２０が「非常に眠そう」であると判断して、推定結果ＥＲとして「５」の眠気評価値を出力する（ステップＳ１９）。
以上のようにして、眠気推定器１８０は、特徴量Ｆ（Ｔ）から１～５の眠気評定値を推定して、推定結果ＥＲを出力している。尚、推定結果ＥＲを出力した後は、眠気推定器１８０はステップＳ１１の処理に戻る。
尚、本例では、眠気推定器１８０は、特徴量Ｆ（Ｔ）を値の小さい第１乃至第４の閾値ＴＨ１～ＴＨ４の順番に比較しているが、本発明はこれに限定されない。すなわち、眠気推定器１８０は、特徴量Ｆ（Ｔ）を値の大きい第４乃至第１の閾値ＴＨ４～ＴＨ１の順番に比較してもよい。
また本例では、眠気推定器１８０は、推定結果ＥＲとして１～５の五段階の眠気評価値を出力しているが、本発明はこれに限定されない。例えば、眠気推定器１８０は、特徴量Ｆ（Ｔ）から、対象者２０が「眠くない」状態であるのと「眠い」状態であるのと、の２つの状態のみを推定して、その２つの状態のみを推定結果ＥＲとして出力してもよい。この場合には、眠気推定器１８０には１つの閾値ＴＨ０のみが設定される。１つの閾値ＴＨ０としては、例えば、上記第３の閾値ＴＨ３を使用してよいが、本発明はこれに限定されない。状況に応じて、種々の閾値を選択してよいのは勿論である。また、眠気評定値は離散値だが、通常、眠気は連続値であるので、上記のように分類問題ではなく回帰問題として捉えて、連続値を推定するようにしてもよい。その場合、閾値ではなく回帰式のパラメータ、例えば線形単回帰の場合、ＥＲ＝ａＦ（Ｔ）＋ｂにおけるａとｂを事前に学習する等して設定すればよい。もちろん、上記の分類問題や回帰問題において、各種パラメータを学習する際には、線形な手法だけでなく、通常、よく利用される機械学習手法、例えば、サポートベクターマシン、ランダムフォレスト、ニューラルネットワークなど、様々な手法を適用できる。
[動作の説明]
次に、図１５のフローチャートを参照して、本第１の実施形態に係る眠気推定装置１００の動作について説明する。
まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ１０１）。
次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を出力する（ステップＳ１０２）。
引き続いて、特徴量算出器１６０は、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力する（ステップＳ１０３）。
最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）から対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ１０４）。
[効果の説明] 
次に、本第１の実施形態の効果について説明する。
本発明の第１の実施形態によれば、眠気を推定する時間窓幅や開眼度データのサンプリングレート等各種条件によらず高精度に眠気を推定することができる。第一の理由は、瞬きを眠気推定の特徴量としていないためである。瞬きの回数は、１分間に１５～２０回と言われており、瞬き回数の変化や瞬き間隔の変化等の特徴を捉えるためには、最低でも１分間程度の時間窓で特徴を抽出する必要がある。しかし、本発明では瞬き区間を除く、残りの大部分の開眼度データを利用するため、時間窓幅を１分間より短く（例えば１０秒）に設定しても、また長く（例えば３分）設定しても高精度に眠気を推定できる。さらに、開眼度データのサンプリングレートについては、０．１～０．１５秒の瞬きを捉えて特徴量を算出するために、高いサンプリングレート（例えば１０フレーム／秒以上）に設定が必要となる。しかし、本発明では瞬きを捉える必要がないため、５フレーム／秒や３フレーム／秒としても高い精度で眠気を推定できる。低フレームレートで高精度に眠気を推定することは、カメラの要求仕様やＣＰＵの要求仕様に直接的に影響する、すなわちシステムのコストに直接的に影響するため、産業上極めて重要である。次に、本発明が効果を得ることができる第二の理由は、本発明におけるフィルタリング回路部１４０で瞬きによる信号変化を除去する際、人の瞬きの時間長（０．１～０．１５秒）に基づいて、フィルタリング算出窓幅等のパラメータを設定しているためである。それにより、確実に瞬きによる信号変化の影響を取り除くことができ、パラメータ値が学習データ、すなわち人に依存しないため、高精度な眠気推定を実現できる。さらに第三の理由は、開眼度の時系列信号から対象者の瞬きによる信号変化を除去するようフィルタリングし、フィルタリング後の開眼度の時系列信号からばらつき度である第１の特徴量を算出し、その第１の特徴量から眠気の評定値を推定しているからである。フィルタリング後の開眼度の時系列信号からばらつき度を算出することで、浅い眠気であっても眠気の変化を確実にとらえることができる。
尚、眠気推定装置１００の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第１の実施形態を別の表現で説明すれば、眠気推定装置１００として動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０、および眠気推定器１８０として動作させることで実現することが可能である。
[第２の実施形態]
図１６は、本発明の第２の実施形態に係る眠気推定装置１００Ａの構成を示すブロック図である。図示の眠気推定装置１００Ａは、プログラム制御により動作するコンピュータで実現可能である。
図示の眠気推定装置１００Ａは、特徴量算出器の構成が後述するように相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ａの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。
図１７は、特徴量算出器１６０Ａの構成を示すブロック図である。図示の特徴量算出器１６０Ａは、差分最大値算出回路１６２を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出回路１６０Ａは、ばらつき度算出回路１６１と、差分最大値算出回路１６２とを備えている。
差分最大値算出回路１６２は、開眼度の時系列信号Ｘ（ｔ）のフレーム間差分の絶対値（以下、「フレーム間差分」と呼ぶ）を算出し、特徴量算出窓幅（ＴＭ）［秒］内のフレーム間差分の最大値を求め、その最大値を第２の特徴量Ｆ２［Ｔ］として出力する。したがって、差分最大値算出回路１６２は、開眼度の時系列信号Ｘ（ｔ）から第２の特徴量Ｆ２（Ｔ）を算出して、出力する第２の特徴量算出回路として働く。このフレーム間差分の絶対値の最大値は、眠い状態では値が小さくなり、目が冴えている状態では大きくなるため、眠気の推定に有用である。
フレーム間差分の最大値、すなわち、第２の特徴量Ｆ２（Ｔ）は、次の数９で表される。
［数９］
　　Ｆ２（Ｔ）
　＝１－ｍａｘ［|Ｘ（Ｔ＊Ｍ＋ｔ）－Ｘ（Ｔ＊Ｍ＋ｔ－１）｜、・・・、
　　　　　｜Ｘ（Ｔ＊Ｍ＋ｔ－Ｍ＋１）－Ｘ（Ｔ＊Ｍ＋ｔ－Ｍ＋１－１）｜］
ここで、１－ｍａｘ［］としているのは、他の特徴量と同様に、眠気が少ないほど値が小さくなるようにするためである。
尚、本例の差分最大値算出回路１６２では、開眼度の時系列信号Ｘ（ｔ）を用いているが、その代わりに、上記左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）や、上記右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）を用いてもよい。その場合、差分最大値算出回路１６２は、特徴量算出窓幅ＴＭ［秒］内での、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）のフレーム間の差分の最大値を算出し、その最大値を第２の特徴量Ｆ２（Ｔ）として出力する。また、差分最大値算出回路１６２は、特徴量算出窓幅ＴＭ［秒］内での、右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）のフレーム間の差分の最大値を算出し、その最大値を算出し、そのばらつき度を第２の特徴量Ｆ２（Ｔ）として出力する。
[動作の説明]
次に、図１８のフローチャートを参照して、本第２の実施形態に係る眠気推定装置１００Ａの動作について説明する。
まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ２０１）。
次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を出力する（ステップＳ２０２）。
引き続いて、特徴量算出器１６０Ａは、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力すると共に、特徴量算出窓幅ＴＭ［秒］内での、開眼度の時系列信号Ｘ（ｔ）のフレーム間差分の最大値を算出し、その最大値を第２の特徴量Ｆ２（Ｔ）として出力する（ステップＳ２０３）。
最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第２の特徴量Ｆ２（Ｔ）とから対象者２０の眠気を推定し、推定結果を出力する（ステップＳ２０４）。
[効果の説明] 
次に、本第２の実施形態の効果について説明する。
本発明の第２の実施形態によれば、第１の実施形態と比較して、さらに高精度に眠気を推定することできる。その理由は、開眼度のフレーム間差分の絶対値の最大値を第２の特徴量として加えることで、眠気推定に利用できる情報が増すためである。
尚、眠気推定装置１００Ａの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第２の実施形態を別の表現で説明すれば、眠気推定装置１００Ａとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ａ、および眠気推定器１８０として動作させることで実現することが可能である。
[第３の実施形態]
図１９は、本発明の第３の実施形態に係る眠気推定装置１００Ｂの構成を示すブロック図である。図示の眠気推定装置１００Ｂは、プログラム制御により動作するコンピュータで実現可能である。
図示の眠気推定装置１００Ｂは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｂの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。
図２０は、特徴量算出器１６０Ｂの構成を示すブロック図である。図示の特徴量算出器１６０Ｂは、閉眼割合算出回路１６３を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出回路１６０Ｂは、ばらつき度算出回路１６１と、閉眼割合算出回路１６３とを備えている。
閉眼割合算出回路１６３は、開眼度の時系列信号Ｘ（ｔ）から閉眼を検知し、特徴量算出窓幅（ＴＭ）［秒］内の閉眼の割合を求め、その閉眼の割合を第３の特徴量Ｆ３［Ｔ］として出力する。したがって、閉眼割合算出回路１６３は、開眼度の時系列信号Ｘ（ｔ）から第３の特徴量Ｆ３（Ｔ）を算出して、出力する第３の特徴量算出回路として働く。この閉眼割合は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。
［数１０］
　　Ｆ３（Ｔ）＝Ｃ／Ｍ
ただし、Ｃは［Ｘ（Ｔ＊Ｍ＋ｔ）、・・・、Ｘ（Ｔ＊Ｍ＋ｔ－Ｍ＋１）］のうち、閉眼判定閾値（例えば、０．５）を下回る要素数とする。
尚、閉眼割合の詳細については、例えば、上記非特許文献２を参照されたい。
尚、本例の閉眼割合算出回路１６３でも、開眼度の時系列信号Ｘ（ｔ）を用いているが、その代わりに、上記左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）や、上記右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）を用いてもよい。その場合、閉眼割合算出回路１６３は、特徴量算出窓幅ＴＭ［秒］内での、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）の閉眼の割合を算出し、その閉眼の割合を第３の特徴量Ｆ３（Ｔ）として出力する。また、閉眼割合算出回路１６３は、特徴量算出窓幅ＴＭ［秒］内での、右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）の閉眼の割合を算出し、その閉眼の割合を第３の特徴量Ｆ３（Ｔ）として出力する。また、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）と右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）との両方が同時に閉眼している割合を算出し、その閉眼の割合を第３の特徴量Ｆ３（Ｔ）として出力する。また、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）の閉眼の割合、右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）の閉眼の割合をそれぞれ算出し、それらを要素とする第３の特徴量Ｆ３（Ｔ）=[ＸＬ（ｔ）の閉眼割合、ＸＲ（ｔ）の閉眼の割合]を出力する。また、複数の閉眼判定閾値（例えば、０．５と０．８等）を用いて、複数の閉眼割合を算出し、それらを要素とする第３の特徴量Ｆ３（Ｔ）=[閉眼判定閾値０．５の場合の閉眼割合、閉眼判定閾値０．８の場合の閉眼割合]を出力する。
[動作の説明]
次に、図２１のフローチャートを参照して、本第３の実施形態に係る眠気推定装置１００Ｂの動作について詳細に説明する。
まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ３０１）。
次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を出力する（ステップＳ３０２）。
引き続いて、特徴量算出器１６０Ｂは、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力すると共に、特徴量算出窓幅ＴＭ［秒］内での、開眼度の時系列信号Ｘ（ｔ）の閉眼の割合を算出し、その閉眼の割合を第３の特徴量Ｆ３（Ｔ）として出力する（ステップＳ３０３）。
最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第３の特徴量Ｆ３（Ｔ）とから対象者２０の眠気の評価値を推定し、推定結果を出力する（ステップＳ３０４）。
[効果の説明] 
次に、本第３の実施形態の効果について説明する。
本発明の第３の実施形態によれば、第１の実施形態と比較して、さらに高精度に眠気を推定することできる。その理由は、閉眼割合を第３の特徴量として加えることで、眠気推定に利用できる情報が増すためである。特に、完全に寝ている状態において、第１の特徴量だけで、寝ている状態と推定することは難しい。一方、完全に寝ている状態において閉眼割合は明らかに高い。そのため、この第３の特徴量を加えることで、完全に寝ている状態も含めて高精度に眠気を推定することができる。なお、第３の特徴量だけでは、閉眼割合が小さい浅い眠気を推定することが難しく、第１の特徴量と第３の特徴量を組み合わせて用いることの効果は極めて高い。
尚、眠気推定装置１００Ｂの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第３の実施形態を別の表現で説明すれば、眠気推定装置１００Ｂとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｂ、および眠気推定器１８０として動作させることで実現することが可能である。
[第４の実施形態]
図２２は、本発明の第４の実施形態に係る眠気推定装置１００Ｃの構成を示すブロック図である。図示の眠気推定装置１００Ｃは、プログラム制御により動作するコンピュータで実現可能である。
図示の眠気推定装置１００Ｃは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｃの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。
図２３は、特徴量算出器１６０Ｃの構成を示すブロック図である。図示の特徴量算出器１６０Ｃは、動き差分平均値算出回路１６４を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出回路１６０Ｃは、ばらつき度算出回路１６１と、動き差分平均値算出回路１６４とを備えている。
動き差分平均値算出回路１６４は、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）と右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）との間の動き差分の絶対値（以下、「動き差分」と呼ぶ）を算出し、特徴量算出窓幅（ＴＭ）［秒］内の上記動き差分の平均値を求め、その動き差分の平均値を第４の特徴量Ｆ４［Ｔ］として出力する。したがって、動き差分平均値算出回路１６４は、開眼度の時系列信号Ｘ（ｔ）から第４の特徴量Ｆ４（Ｔ）を算出して、出力する第４の特徴量算出回路として働く。この動き差分平均値は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。
動き差分の平均値、すなわち、第４の特徴量Ｆ４（Ｔ）は、次の数１１で表される。
［数１１］
　　Ｆ４（Ｔ）
　　＝average[｜{ＸＬ（Ｔ＊Ｍ＋ｔ）－ＸＬ（Ｔ＊Ｍ＋ｔ－１）}－
　　　　　　　{ＸＲ（Ｔ＊Ｍ＋ｔ）－ＸＲ（Ｔ＊Ｍ＋ｔ－１）}｜、・・・、
　　　　｜{ＸＬ（Ｔ＊Ｍ＋ｔ－Ｍ＋１）－ＸＬ（Ｔ＊Ｍ＋ｔ－Ｍ＋１－１）}－
　　　　{ＸＲ（Ｔ＊Ｍ＋ｔ－Ｍ＋１）－ＸＲ（Ｔ＊Ｍ＋ｔ－Ｍ＋１－１）}｜］
[動作の説明]
次に、図２４のフローチャートを参照して、本第４の実施形態に係る眠気推定装置１００Ｃの動作について詳細に説明する。
まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）、左眼２０Ｌの開眼度の時系列信号ＸＬ（ｔ）、および右眼２０Ｒの開眼度の時系列信号ＸＲ（ｔ）を出力する（ステップＳ４０１）。
次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を出力する（ステップＳ４０２）。
引き続いて、特徴量算出器１６０Ｃは、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力すると共に、特徴量算出窓幅ＴＭ［秒］内での、左眼と右眼の開眼度の動き差分を算出し、その動き差分の平均値を第４の特徴量Ｆ４（Ｔ）として出力する（ステップＳ４０３）。
最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第４の特徴量Ｆ４（Ｔ）とから対象者２０の眠気を推定し、推定結果を出力する（ステップＳ４０４）。
[効果の説明] 
次に、本第４の実施形態の効果について説明する。
本発明の第４の実施形態によれば、第１の実施形態と比較して、さらに高精度に眠気を推定することできる。その理由は、動き差分平均値を第４の特徴量として加えることで、眠気推定に利用できる情報が増すためである。眠い状態における、右眼と左眼の異なる動きを的確に捉えることにより、眠気推定の精度が向上する。
尚、眠気推定装置１００Ｃの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第４の実施形態を別の表現で説明すれば、眠気推定装置１００Ｃとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｃ、および眠気推定器１８０として動作させることで実現することが可能である。
[第５の実施形態]
図２５は、本発明の第５の実施形態に係る眠気推定装置１００Ｄの構成を示すブロック図である。図示の眠気推定装置１００Ｄは、プログラム制御により動作するコンピュータで実現可能である。
図示の眠気推定装置１００Ｄは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｄの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。
図２６は、特徴量算出器１６０Ｄの構成を示すブロック図である。図示の特徴量算出器１６０Ｄは、隣接差分算出回路１６５を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出回路１６０Ｄは、ばらつき度算出回路１６１と、隣接差分算出回路１６５とを備えている。
隣接差分算出回路１６５は、ある特徴量算出窓幅（ＴＭ）［秒］で算出された第１の特徴量Ｆ１［Ｔ］とそれに隣接する特徴量算出窓幅（ＴＭ）［秒］で算出された第１の特徴量Ｆ１［Ｔ－１］との差分の絶対値（以下、「隣接窓間の差分」と呼ぶ）を算出して、その隣接窓間の差分を第５の特徴量Ｆ１１［Ｔ］として出力する。したがって、隣接差分算出回路１６５は、第１の特徴量Ｆ１［Ｔ］における隣接窓間の差分を第５の特徴量Ｆ１１（Ｔ）として算出して、出力する第５の特徴量算出回路として働く。この隣接窓間の差分は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。
隣接窓間の差分、すなわち、第５の特徴量Ｆ１１（Ｔ）は、次の数１２で表される。
［数１２］
　　Ｆ１１（Ｔ）＝｜Ｆ１（Ｔ）－Ｆ１（Ｔ－１）｜
尚、本第５の実施形態では、第５の特徴量として、第１の特徴量Ｆ１［Ｔ］における隣接窓間の差分Ｆ１１（Ｔ）を用いているが、本発明はこれに限定されない。例えば、第５の特徴量としては、上記第２の特徴量Ｆ２［Ｔ］における隣接窓間の差分Ｆ２１（Ｔ）や、上記第３の特徴量Ｆ３［Ｔ］における隣接窓間の差分Ｆ３１（Ｔ）や、上記４の特徴量Ｆ４［Ｔ］における隣接窓間の差分Ｆ４１（Ｔ）を用いてもよい。
[動作の説明]
次に、図２７のフローチャートを参照して、本第５の実施形態に係る眠気推定装置１００Ｄの動作について詳細に説明する。
まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ５０１）。
次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を出力する（ステップＳ５０２）。
引き続いて、特徴量算出器１６０Ｄは、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力すると共に、隣接する２つの特徴量算出窓幅ＴＭ［秒］間の第１の特徴量Ｆ１（Ｔ）の差分（隣接窓間の差分）を算出し、その隣接窓間の差分を第５の特徴量Ｆ１１（Ｔ）として出力する（ステップＳ５０３）。
最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第５の特徴量Ｆ１１（Ｔ）とから対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ５０４）。
尚、本第５の実施形態では、眠気推定器１８０に供給する特徴量として、第１の特徴量Ｆ１（Ｔ）と第５の特徴量Ｆ１１（Ｔ）との両方を使用しているが、本発明はこれに限定されない。すなわち、眠気推定器１８０に供給する特徴量として第５の特徴量Ｆ１１（Ｔ）のみを用いてもよい。この場合、眠気推定器１８０は、第５の特徴量Ｆ１１（Ｔ）から対象者２０の眠気の評価値を推定し、推定結果ＥＲを出力することになる。
[効果の説明] 
次に、本第５の実施形態の効果について説明する。
本発明の第５の実施形態によれば、第１の実施形態と比較して、同等以上の精度で眠気を推定することできる。その理由は、隣接窓間の差分を第５の特徴量として用いることで、眠気推定に利用できる情報が増すためである。眠い状態において、隣接窓間の差分が大きくなること、より長時間の変化を簡単かつ的確に捉えることにより、眠気推定の精度が向上する。
尚、眠気推定装置１００Ｄの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第５の実施形態を別の表現で説明すれば、眠気推定装置１００Ｄとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｄ、および眠気推定器１８０として動作させることで実現することが可能である。
[第６の実施形態]
図２８は、本発明の第６の実施形態に係る眠気推定装置１００Ｅの構成を示すブロック図である。図示の眠気推定装置１００Ｅは、プログラム制御により動作するコンピュータで実現可能である。
図示の眠気推定装置１００Ｅは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｅの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。
図２９は、特徴量算出器１６０Ｅの構成を示すブロック図である。図示の特徴量算出器１６０Ｅは、対数算出回路１６６を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出回路１６０Ｅは、ばらつき度算出回路１６１と、対数算出回路１６６とを備えている。
対数算出回路１６６は、第１の特徴量Ｆ１［Ｔ］の対数を算出して、その対数を第６の特徴量Ｆ１２［Ｔ］として出力する。したがって、対数算出回路１６６は、第１の特徴量Ｆ１［Ｔ］の対数を第６の特徴量Ｆ１２［Ｔ］として算出して、出力する第６の特徴量算出回路として働く。前述の通り、推定対象の眠気評定値を算出するのは、人である。一般に人の感覚は対数に従っていると言われており、眠気評定値も対数に従っている。そのため、特徴量の対数をとることで、特徴量と眠気評定値との間の関係性を線形にできる。
第１の特徴量の対数、すなわち、第６の特徴量Ｆ１２（Ｔ）は、次の数１３で表される。
［数１３］
　　Ｆ１２（Ｔ）＝Ｌｏｇ{Ｆ１［Ｔ］＋α}
ここで、αは小さな値、例えば、１０－６である。尚、第１の特徴量Ｆ１［Ｔ］に小さな値αを加えているのでは、対数の中身がゼロにならないようにするためである。
尚、本第６の実施形態では、第６の特徴量として、第１の特徴量Ｆ１［Ｔ］の対数を用いているが、本発明はこれに限定されない。例えば、第６の特徴量としては、上記第２の特徴量Ｆ２［Ｔ］の対数Ｆ２２［Ｔ］や、上記第３の特徴量Ｆ３［Ｔ］の対数Ｆ３２（Ｔ）や、上記４の特徴量Ｆ４［Ｔ］の対数Ｆ４２［Ｔ］や、上記５の特徴量Ｆ１１［Ｔ］の対数Ｆ１１２［Ｔ］を用いてもよい。
[動作の説明]
次に、図３０のフローチャートを参照して、本第６の実施形態に係る眠気推定装置１００Ｅの動作について詳細に説明する。
まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ６０１）。
次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を出力する（ステップＳ６０２）。
引き続いて、特徴量算出器１６０Ｅは、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力すると共に、ばらつき度の対数を算出し、その対数を第６の特徴量Ｆ１２（Ｔ）として出力する（ステップＳ６０３）。
最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第６の特徴量Ｆ１２（Ｔ）とから対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ６０４）。
尚、本第６の実施形態では、眠気推定器１８０に供給する特徴量として、第１の特徴量Ｆ１（Ｔ）と第６の特徴量Ｆ１２（Ｔ）との両方を使用しているが、本発明はこれに限定されない。すなわち、眠気推定器１８０に供給する特徴量として第６の特徴量Ｆ１２（Ｔ）のみを用いてもよい。この場合、眠気推定器１８０は、第６の特徴量Ｆ１２（Ｔ）から対象者２０の眠気を推定し、推定結果ＥＲを出力することになる。
[効果の説明] 
次に、本第６の実施形態の効果について説明する。
本発明の第６の実施形態によれば、第１の実施形態と比較して、同等以上の精度で眠気を推定することできる。その理由は、第１の特徴量の対数値を第６の特徴量として用いることで、特徴量と眠気評定値との間の関係性が線形になるためである。関係性が簡単になることで、関係式を推定することが容易になり、眠気推定の精度が向上する。
尚、眠気推定装置１００Ｅの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第６の実施形態を別の表現で説明すれば、眠気推定装置１００Ｅとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｅ、および眠気推定器１８０として動作させることで実現することが可能である。
[第７の実施形態]
図３１は、本発明の第７の実施形態に係る眠気推定装置１００Ｆの構成を示すブロック図である。図示の眠気推定装置１００Ｆは、プログラム制御により動作するコンピュータで実現可能である。
図示の眠気推定装置１００Ｆは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｆの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。
図３２は、特徴量算出器１６０Ｆの構成を示すブロック図である。図示の特徴量算出器１６０Ｆは、上述した特徴量の統計量を特徴量として用いている。図示の特徴量算出器１６０Ｆは、統計量算出窓幅ＴＫ［秒］毎に、後述するように、上述した特徴量のいずれかの統計量Ｆ（Ｓ）を算出し、特徴量として用いることを特徴としている。ここで、Ｓは時間のインデックスであり、統計量算出窓の窓番号（０，１，２，．．．）を示す。また、図示の例では、統計量算出窓幅ＴＫ［秒］内の特徴量の数がＫであるとする。図４に示される例では、統計量算出窓幅ＴＫは６０［秒］に等しく、したがって、特徴量の数Ｋは６に等しい。
図示の例では、上述した特徴量として第１の特徴量Ｆ１［Ｔ］を用い、統計量として第１の特徴量Ｆ１［Ｔ］の平均値を用いている。したがって、特徴量算出器１６０Ｆは、平均値算出回路１６７を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。平均値算出回路１６７は、統計量算出回路として動作する。
平均値算出回路１６７は、統計量算出窓幅ＴＫ［秒］内の、第１の特徴量Ｆ１（Ｔ）の平均値を算出して、その平均値を第７の特徴量Ｆ１３（Ｓ）として出力する。したがって、平均値算出回路１６７は、統計量算出窓幅ＴＫ［秒］毎に、第１の特徴量Ｆ１（Ｔ）の平均値を、第７の特徴量Ｆ１３（Ｓ）として算出して、出力する第７の特徴量算出回路として働く。
第１の特徴量の平均値、すなわち、第７の特徴量Ｆ１３（Ｓ）は、次の数１４で表される。ただし、average［］は要素の平均値を算出する演算子である。
［数１４］
　　Ｆ１３（Ｓ）＝
　　　average［Ｆ１（Ｓ＊Ｋ＋Ｔ）、・・・Ｆ１（Ｓ＊Ｋ＋Ｔ－Ｋ＋１）］
尚、本第７の実施形態では、第７の特徴量（統計量）として、第１の特徴量Ｆ１（Ｔ）の平均値を用いているが、本発明はこれに限定されない。例えば、第７の特徴量としては、上記第２の特徴量Ｆ２（Ｔ）の平均値Ｆ２３（Ｓ）や、上記第３の特徴量Ｆ３（Ｔ）の平均値Ｆ３３（Ｓ）や、上記４の特徴量Ｆ４（Ｔ）の平均値Ｆ４３（Ｓ）や、上記５の特徴量Ｆ１１（Ｔ）の平均値Ｆ１１３（Ｓ）や、上記第６の特徴量Ｆ１２（Ｔ）の平均値Ｆ１２３（Ｓ）を用いてもよい。
[動作の説明]
次に、図３３のフローチャートを参照して、本第７の実施形態に係る眠気推定装置１００Ｆの動作について詳細に説明する。
まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ７０１）。
次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を出力する（ステップＳ７０２）。
引き続いて、特徴量算出器１６０Ｆは、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、統計量算出窓幅ＴＫ［秒］内でのばらつき度の平均値を算出し、その平均値を第７の特徴量Ｆ１３（Ｓ）として出力する（ステップＳ７０３）。
最後に、眠気推定器１８０は、第７の特徴量Ｆ１３（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ７０４）。
尚、本第７の実施形態では、眠気推定器１８０に供給する特徴量として、第７の特徴量Ｆ１３（Ｓ）を使用している。この場合、眠気推定器１８０は、第７の特徴量Ｆ１３（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力することになる。
[効果の説明] 
次に、本第７の実施形態の効果について説明する。
本発明の第７の実施形態によれば、第１の実施形態と比較して、より安定して眠気を推定することできる。その理由は、第１の特徴量の統計値（平均値）を第７の特徴量として用いることで、より長時間の安定した特徴となるためである。
尚、眠気推定装置１００Ｆの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第７の実施形態を別の表現で説明すれば、眠気推定装置１００Ｆとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｆ、および眠気推定器１８０として動作させることで実現することが可能である。
[第８の実施形態]
図３４は、本発明の第８の実施形態に係る眠気推定装置１００Ｇの構成を示すブロック図である。図示の眠気推定装置１００Ｇは、プログラム制御により動作するコンピュータで実現可能である。
図示の眠気推定装置１００Ｇは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｇの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。
図３５は、特徴量算出器１６０Ｇの構成を示すブロック図である。図示の特徴量算出器１６０Ｇは、上記統計量として第１の特徴量Ｆ１［Ｔ］の標準偏差を用いている。すなわち、特徴量算出器１６０Ｇは、平均値算出回路１６７の代わりに標準偏差算出回路１６８を備えている点を除いて、図３２に示す特徴量算出器１６０Ｆと同様の構成を有し、動作をする。標準偏差算出回路１６８も統計量算出回路として動作する。
標準偏差算出回路１６８は、統計量算出窓幅ＴＫ［秒］内の、第１の特徴量Ｆ１（Ｔ）の標準偏差を算出して、その標準偏差を第８の特徴量Ｆ１４（Ｓ）として出力する。したがって、標準偏差算出回路１６８は、統計量算出窓幅ＴＫ［秒］毎に、第１の特徴量Ｆ１（Ｔ）の標準偏差を、第８の特徴量Ｆ１４（Ｓ）として算出して、出力する第８の特徴量算出回路として働く。
第１の特徴量の標準偏差、すなわち、第８の特徴量Ｆ１４（Ｓ）は、次の数１５で表される。ただし、standard_dev［］は要素の標準偏差を算出する演算子である。
［数１５］
　　Ｆ１４（Ｓ）＝
　　standard_dev［Ｆ１（Ｓ＊Ｋ＋Ｔ）、・・・Ｆ１（Ｓ＊Ｋ＋Ｔ－Ｋ＋１）］
尚、本第８の実施形態では、第８の特徴量（統計量）として、第１の特徴量Ｆ１（Ｔ）の標準偏差を用いているが、本発明はこれに限定されない。例えば、第８の特徴量としては、上記第２の特徴量Ｆ２（Ｔ）の標準偏差Ｆ２４（Ｓ）や、上記第３の特徴量Ｆ３（Ｔ）の標準偏差Ｆ３４（Ｓ）や、上記４の特徴量Ｆ４（Ｔ）の標準偏差Ｆ４４（Ｓ）や、上記５の特徴量Ｆ１１（Ｔ）の標準偏差Ｆ１１４（Ｓ）や、上記第６の特徴量Ｆ１２（Ｔ）の標準偏差Ｆ１２４（Ｓ）を用いてもよい。
[動作の説明]
次に、図３６のフローチャートを参照して、本第８の実施形態に係る眠気推定装置１００Ｇの動作について詳細に説明する。
まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ８０１）。
次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を出力する（ステップＳ８０２）。
引き続いて、特徴量算出器１６０Ｇは、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、統計量算出窓幅ＴＫ［秒］内でのばらつき度の標準偏差を算出し、その標準偏差を第８の特徴量Ｆ１４（Ｓ）として出力する（ステップＳ８０３）。
最後に、眠気推定器１８０は、第８の特徴量Ｆ１４（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ８０４）。
尚、本第８の実施形態では、眠気推定器１８０に供給する特徴量として、第８の特徴量Ｆ１４（Ｓ）を使用している。この場合、眠気推定器１８０は、第８の特徴量Ｆ１４（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力することになる。
[効果の説明] 
次に、本第８の実施形態の効果について説明する。
本発明の第８の実施形態によれば、第１の実施形態と比較して、より安定して眠気を推定することできる。その理由は、第１の特徴量の統計値（標準偏差）を第８の特徴量として用いることで、より長時間の安定した特徴となるためである。
尚、眠気推定装置１００Ｇの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第８の実施形態を別の表現で説明すれば、眠気推定装置１００Ｇとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｇ、および眠気推定器１８０として動作させることで実現することが可能である。
[第９の実施形態]
図３７は、本発明の第９の実施形態に係る眠気推定装置１００Ｈの構成を示すブロック図である。図示の眠気推定装置１００Ｈは、プログラム制御により動作するコンピュータで実現可能である。
図示の眠気推定装置１００Ｈは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｈの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。
図３８は、特徴量算出器１６０Ｈの構成を示すブロック図である。図示の特徴量算出器１６０Ｈは、上記統計量として第１の特徴量Ｆ１［Ｔ］の分散を用いている。すなわち、特徴量算出器１６０Ｈは、平均値算出回路１６７の代わりに分散算出回路１６９を備えている点を除いて、図３２に示す特徴量算出器１６０Ｆと同様の構成を有し、動作をする。分散算出回路１６９も、統計量算出回路として動作する。
分散算出回路１６９は、統計量算出窓幅ＴＫ［秒］内の、第１の特徴量Ｆ１（Ｔ）の分散を算出して、その分散を第９の特徴量Ｆ１５（Ｓ）として出力する。したがって、分散算出回路１６９は、統計量算出窓幅ＴＫ［秒］毎に、第１の特徴量Ｆ１（Ｔ）の分散を、第９の特徴量Ｆ１５（Ｓ）として算出して、出力する第９の特徴量算出回路として働く。
第１の特徴量の分散、すなわち、第９の特徴量Ｆ１５（Ｓ）は、次の数１６で表される。ただし、variance［］は要素の分散値を算出する演算子である。
［数１６］
　　Ｆ１５（Ｓ）＝
　　　variance［Ｆ１（Ｓ＊Ｋ＋Ｔ）、・・・Ｆ１（Ｓ＊Ｋ＋Ｔ－Ｋ＋１）］
尚、本第９の実施形態では、第９の特徴量（統計量）として、第１の特徴量Ｆ１（Ｔ）の分散を用いているが、本発明はこれに限定されない。例えば、第９の特徴量としては、上記第２の特徴量Ｆ２（Ｔ）の分散Ｆ２５（Ｓ）や、上記第３の特徴量Ｆ３（Ｔ）の分散Ｆ３５（Ｓ）や、上記４の特徴量Ｆ４（Ｔ）の分散Ｆ４５（Ｓ）や、上記５の特徴量Ｆ１１（Ｔ）の分散Ｆ１１５（Ｓ）や、上記第６の特徴量Ｆ１２（Ｔ）の分散Ｆ１２５（Ｓ）を用いてもよい。
[動作の説明]
次に、図３９のフローチャートを参照して、本第９の実施形態に係る眠気推定装置１００Ｈの動作について詳細に説明する。
まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ９０１）。
次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）を出力する（ステップＳ９０２）。
引き続いて、特徴量算出器１６０Ｈは、特徴量算出窓幅ＴＭ［秒］内での、フィルタリング後の開眼度の時系列信号ＸＦ（ｔ）のばらつき度を算出し、統計量算出窓幅ＴＫ［秒］内でのばらつき度の分散を算出し、その分散を第９の特徴量Ｆ１５（Ｓ）として出力する（ステップＳ９０３）。
最後に、眠気推定器１８０は、第９の特徴量Ｆ１５（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ９０４）。
尚、本第９の実施形態では、眠気推定器１８０に供給する特徴量として、第９の特徴量Ｆ１５（Ｓ）を使用している。この場合、眠気推定器１８０は、第９の特徴量Ｆ１５（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力することになる。
[効果の説明] 
次に、本第９の実施形態の効果について説明する。
本発明の第９の実施形態によれば、第１の実施形態と比較して、より安定して眠気を推定することできる。その理由は、第１の特徴量の統計値（分散）を第９の特徴量として用いることで、より長時間の安定した特徴となるためである。
尚、眠気推定装置１００Ｈの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第９の実施形態を別の表現で説明すれば、眠気推定装置１００Ｈとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｈ、および眠気推定器１８０として動作させることで実現することが可能である。
なお、本発明の具体的な構成は前述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
以上、実施形態（実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定装置であって、
前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング回路部と、
少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出器と、
前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定器と、
を備え、
前記特徴量算出器は、特徴量算出窓幅（ＴＭ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出回路を、少なくとも含む、
眠気推定装置。
（付記２）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
Ｎをフレーム数とし、フィルタリング算出窓幅をＴＮ［秒］としたとき、Ｎ＝ＴＮ×ｆｓの関係があり、
前記フィルタリング回路部は、前記フィルタリング算出窓幅（ＴＮ）単位で前記開眼度の時系列信号をフィルタリングすることにより所定の値に置換し、該置換した信号を前記フィルタリング後の開眼度の時系列信号として出力する、
付記１に記載の眠気推定装置。
（付記３）前記フィルタリング算出窓幅（ＴＮ）が０．１［秒］以上であるとき、
前記フィルタリング回路部は、前記所定の値として、フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の最大値を取得する最大値取得回路から成る、
付記２に記載の眠気推定装置。
（付記４）Ｐが２以上の整数であり、前記フィルタリング算出窓幅（ＴＮ）が０．２［秒］以上であるとき、
前記フィルタリング回路部は、前記所定の値として、前記フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の第（Ｐ－１）Ｐ分位点の値、又は該第（Ｐ－１）Ｐ分位点以上の平均値を算出する分位点算出回路から成る、
付記２に記載の眠気推定装置。
（付記５）前記フィルタリング算出窓幅（ＴＮ）が１［秒］以上であるとき、
前記フィルタリング回路部は、前記所定の値として、前記フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の平均値を算出する平均値算出回路から成る、
付記２に記載の眠気推定装置。
（付記６）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
前記フィルタリング回路部は、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚより小さいローパスフィルタから成る、
付記１に記載の眠気推定装置。
（付記７）前記特徴量算出器は、前記開眼度の時系列信号のフレーム間差分を算出し、前記特徴量算出窓幅（ＴＭ）［秒］内の前記フレーム間差分の最大値を求め、該最大値を第２の特徴量として出力する第２の特徴量算出回路を、更に含む、付記１乃至６のいずれか１項に記載の眠気推定装置。
（付記８）前記特徴量算出器は、前記開眼度の時系列信号から閉眼を検知し、前記第１の所定時間窓幅（ＴＭ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する第３の特徴量算出回路を、更に含む、付記１乃至７のいずれか１項に記載の眠気推定装置。
（付記９）前記特徴量算出器は、前記開眼度の時系列信号から左眼と右眼の開眼度の動き差分を算出し、前記特徴量算出窓幅（ＴＭ）［秒］内の前記動き差分の平均値を求め、該動き差分の平均値を第４の特徴量として出力する第４の特徴量算出回路を、更に含む、付記１乃至８のいずれか１項に記載の眠気推定装置。
（付記１０）前記特徴量算出器は、隣接する２つの特徴量算出窓幅（ＴＭ）［秒］で、前記第１乃至第４の特徴量算出器でそれぞれ算出される、隣接する２つの第１乃至第４の特徴量の差分を求め、該差分の中から選択された１つを第５の特徴量として出力する第５の特徴量算出回路を更に含む、付記９に記載の眠気推定装置。
（付記１１）前記特徴量算出器は、前記第１乃至第５の特徴量算出回路でそれぞれ算出される、第１乃至第５の特徴量の対数を求め、該対数の中から選択された１つを第６の特徴量として出力する第６の特徴量算出回路を更に含む、付記１０に記載の眠気推定装置。
（付記１２）前記特徴量算出器は、前記特徴量算出窓幅（ＴＭ）［秒］の倍数である統計量算出窓幅（ＴＫ）［秒］内の、前記特徴量算出窓幅（ＴＭ）［秒］毎に前記第１乃至第６の特徴量算出回路でそれぞれ算出された第１乃至第６の特徴量から選択された１つの統計量を算出する統計量算出回路を更に含む、付記１１に記載の眠気推定装置。
（付記１３）前記統計量算出回路は、前記統計量として、前記統計量算出窓幅（ＴＫ）［秒］毎に、前記第１乃至第６の特徴量から選択された１つの平均値、標準偏差、および分散の中から選択された少なくとも１つを算出する、付記１２に記載の眠気推定装置。
（付記１４）対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定方法であって、
フィルタリング回路部が、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力し、
特徴量算出器が、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出し、
眠気推定器が、前記特徴量から前記眠気の評定値を推定して、推定結果を出力し、
前記特徴量検出器では、少なくとも、第１の特徴量算出回路が、特徴量算出窓幅（ＴＭ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する、
眠気推定方法。
（付記１５）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
Ｎをフレーム数とし、フィルタリング算出窓幅をＴＮ［秒］としたとき、Ｎ＝ＴＮ×ｆｓの関係があり、
前記フィルタリング回路部は、前記フィルタリング算出窓幅（ＴＮ）単位で前記開眼度の時系列信号をフィルタリングすることにより所定の値に置換し、該置換した信号を前記フィルタリング後の開眼度の時系列信号として出力する、
付記１４に記載の眠気推定方法。
（付記１６）前記フィルタリング算出窓幅（ＴＮ）が０．１［秒］以上であるとき、
前記フィルタリング回路部では、最大値取得回路が、前記所定の値として、フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の最大値を取得する、
付記１５に記載の眠気推定方法。
（付記１７）Ｐが２以上の整数であり、前記フィルタリング算出窓幅（ＴＮ）が０．２［秒］以上であるとき、
前記フィルタリング回路部では、分位点算出回路が、前記所定の値として、前記フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の第（Ｐ－１）Ｐ分位点の値、又は該第（Ｐ－１）Ｐ分位点以上の平均値を算出する、
付記１５に記載の眠気推定方法。
（付記１８）前記フィルタリング算出窓幅（ＴＮ）が１［秒］以上であるとき、
前記フィルタリング回路部では、平均値算出回路が、前記所定の値として、前記フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の平均値を算出する、
付記１５に記載の眠気推定方法。
（付記１９）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
前記フィルタリング回路部では、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚより小さいローパスフィルタが、前記開眼度の時系列信号を低域通過させて、低域通過された信号を、前記フィルタリング後の開眼度の時系列信号として出力する、
付記１４に記載の眠気推定方法。
（付記２０）前記特徴量算出器では、更に、第２の特徴量算出回路が、前記開眼度の時系列信号のフレーム間差分を算出し、前記特徴量算出窓幅（ＴＭ）［秒］内の前記フレーム間差分の最大値を求め、該最大値を第２の特徴量として出力する、付記１４乃至１９のいずれか１項に記載の眠気推定方法。
（付記２１）前記特徴量算出器では、更に、第３の特徴量算出回路が、前記開眼度の時系列信号から閉眼を検知し、前記第１の所定時間窓幅（ＴＭ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する、付記１４至２０のいずれか１項に記載の眠気推定方法。
（付記２２）前記特徴量算出器では、更に、第４の特徴量算出回路が、前記開眼度の時系列信号から左眼と右眼の開眼度の動き差分を算出し、前記特徴量算出窓幅（ＴＭ）［秒］内の前記動き差分の平均値を求め、該動き差分の平均値を第４の特徴量として出力する、付記１４乃至２１のいずれか１項に記載の眠気推定方法。
（付記２３）前記特徴量算出器では、更に、第５の特徴量算出回路が、隣接する２つの特徴量算出窓幅（ＴＭ）［秒］で、前記第１乃至第４の特徴量算出回路でそれぞれ算出される、隣接する２つの第１乃至第４の特徴量の差分を求め、該差分の中から選択された１つを第５の特徴量として出力する、付記２２に記載の眠気推定方法。
（付記２４）前記特徴量算出器では、更に、第６の特徴量算出回路が、前記第１乃至第５の特徴量算出回路でそれぞれ算出される、第１乃至第５の特徴量の対数を求め、該対数の中から選択された１つを第６の特徴量として出力する、付記２２に記載の眠気推定方法。
（付記２５）前記特徴量算出器では、更に、統計量算出回路が、前記特徴量算出窓幅（ＴＭ）［秒］の倍数である統計量算出窓幅（ＴＫ）［秒］内の、前記特徴量算出窓幅（ＴＭ）［秒］毎に前記第１乃至第６の特徴量算出回路でそれぞれ算出された第１乃至第６の特徴量から選択された１つの統計量を算出する、付記２４に記載の眠気推定方法。
（付記２６）前記統計量算出回路は、前記統計量として、前記統計量算出窓幅（ＴＫ）［秒］毎に、前記第１乃至第６の特徴量から選択された１つの平均値、標準偏差、および分散の中から選択された少なくとも１つを算出する、付記２５に記載の眠気推定方法。
（付記２７）対象者の開眼度の時系列信号から前記対象者の眠気を推定する処理をコンピュータに実行させる眠気推定プログラムを記録した眠気推定プログラム記録媒体であって、前記眠気推定プログラムは、
前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング手順と、
少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出手順と、
前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定手順と、を前記コンピュータに実行させ、
前記特徴量算出手順は、特徴量算出窓幅（ＴＭ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出手順を、少なくとも含む、
眠気推定プログラム記録媒体。
（付記２８）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
Ｎをフレーム数とし、フィルタリング算出窓幅をＴＮ［秒］としたとき、Ｎ＝ＴＮ×ｆｓの関係があり、
前記フィルタリング手順は、前記コンピュータに、前記フィルタリング算出窓幅（ＴＮ）単位で前記開眼度の時系列信号をフィルタリングすることにより所定の値に置換し、該置換した信号を前記フィルタリング後の開眼度の時系列信号として出力させる、
付記２７に記載の眠気推定プログラム記録媒体。
（付記２９）前記フィルタリング算出窓幅（ＴＮ）が０．１［秒］以上であるとき、
前記フィルタリング手順は、前記所定の値として、フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の最大値を取得する最大値取得手順から成る、
付記２８に記載の眠気推定プログラム記録媒体。
（付記３０）Ｐが２以上の整数であり、前記フィルタリング算出窓幅（ＴＮ）が０．２［秒］以上であるとき、
前記フィルタリング手順は、前記所定の値として、前記フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の第（Ｐ－１）Ｐ分位点の値、又は該第（Ｐ－１）Ｐ分位点以上の平均値を算出する分位点算出手順から成る、
付記２８に記載の眠気推定プログラム記録媒体。
（付記３１）前記フィルタリング算出窓幅（ＴＮ）が１［秒］以上であるとき、
前記フィルタリング手順は、前記所定の値として、前記フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の平均値を算出する平均値算出手順から成る、
付記２８に記載の眠気推定プログラム記録媒体。
（付記３２）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
前記フィルタリング手順は、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚより小さいローパスフィルタを用いて、前記開眼度の時系列信号を低域通過させて、低域通過された信号を、前記フィルタリング後の開眼度の時系列信号として出力する手順から成る、
付記２７に記載の眠気推定プログラム記録媒体。
（付記３３）前記特徴量算出手順は、前記開眼度の時系列信号のサンプル間差分を算出し、前記特徴量算出窓幅（ＴＭ）［秒］内の前記サンプル間差分の最大値を求め、該最大値を第２の特徴量として出力する第２の特徴量算出手順を、更に含む、付記２７乃至３２のいずれか１項に記載の眠気推定プログラム記録媒体。
（付記３４）前記特徴量算出手順は、前記開眼度の時系列信号から閉眼を検知し、前記第１の所定時間窓幅（ＴＭ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する第３の特徴量算出手順を、更に含む、付記２７乃至３３のいずれか１項に記載の眠気推定プログラム記録媒体。
（付記３５）前記特徴量算出手順は、前記開眼度の時系列信号から左眼と右眼の開眼度の動き差分を算出し、前記特徴量算出窓幅（ＴＭ）［秒］内の前記動き差分の平均値を求め、該動き差分の平均値を第４の特徴量として出力する第４の特徴量算出手順を、更に含む、付記２７乃至３４のいずれか１項に記載の眠気推定プログラム記録媒体。
（付記３６）前記特徴量算出手順は、隣接する２つの特徴量算出窓幅（ＴＭ）［秒］で、前記第１乃至第４の特徴量算出手順でそれぞれ算出される、隣接する２つの第１乃至第４の特徴量の差分を求め、該差分の中から選択された１つを第５の特徴量として出力する第５の特徴量算出手順を更に含む、付記３５に記載の眠気推定プログラム記録媒体。
（付記３７）前記特徴量算出手順は、前記第１乃至第５の特徴量算出手順でそれぞれ算出される、第１乃至第５の特徴量の対数を求め、該対数の中から選択された１つを第６の特徴量として出力する第６の特徴量算出手順を更に含む、付記３６に記載の眠気推定プログラム記録媒体。
（付記３８）前記特徴量算出手順は、前記特徴量算出窓幅（ＴＭ）［秒］の倍数である統計量算出窓幅（ＴＫ）［秒］内の、前記特徴量算出窓幅（ＴＭ）［秒］毎に前記第１乃至第６の特徴量算出手順でそれぞれ算出された第１乃至第６の特徴量から選択された１つの統計量を算出する統計量算出手順を更に含む、付記３７に記載の眠気推定プログラム記録媒体。
（付記３９）前記統計量算出手順は、前記統計量として、前記統計量算出窓幅（ＴＫ）［秒］毎に、前記第１乃至第６の特徴量から選択された１つの平均値、標準偏差、および分散の中から選択された少なくとも１つを算出する、付記３８に記載の眠気推定プログラム記録媒体。
本発明に係る眠気推定装置は、オフィスで働く職員や、自動車等を操縦する運転者の眠気を推定する用途に適用可能である。
　　１０　　カメラ
　　２０　　対象者
　　２０Ｌ　　左眼
　　２０Ｒ　　右眼
　　１００～１００Ｈ　　眠気推定装置
　　１２０　　開眼度検出器
　　１２２　　左眼開眼度検出回路
　　１２４　　右眼開眼度検出回路
　　１２６　　平均値算出回路
　　１４０～１４０Ｄ　　フィルタリング回路部
　　１４０－１　　主フィルタリング回路
　　１４０－２　　第１の副フィルタリング回路
　　１４０－３　　第２の副フィルタリング回路
　　１４２　　最大値取得回路
　　１４４　　分位点算出回路
　　１４６　　平均値算出回路
　　１４８　　ローパスフィルタ
　　１６０～１６０Ｈ　　特徴量算出器
　　１６１　　ばらつき度算出回路（第１の特徴量算出回路）
　　１６２　　差分最大値算出回路（第２の特徴量算出回路）
　　１６３　　閉眼割合算出回路（第３の特徴量算出回路）
　　１６４　　動き差分平均値算出回路（第４の特徴量算出回路）
　　１６５　　隣接差分算出回路（第５の特徴量算出回路）
　　１６６　　対数算出回路（第６の特徴量算出回路）
　　１６７　　平均値算出回路（第７の特徴量算出回路）
　　１６８　　標準偏差算出回路（第８の特徴量算出回路）
　　１６９　　分散算出回路（第９の特徴量算出回路）
　　１８０　　眠気推定器
 

Claims (15)

  1. 対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定装置であって、
    前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング回路部と、
    少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出器と、
    前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定器と、
    を備え、
    前記特徴量算出器は、特徴量算出窓幅（ＴＭ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出回路を、少なくとも含む、
    眠気推定装置。
  2. 前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
    Ｎをフレーム数とし、フィルタリング算出窓幅をＴＮ［秒］としたとき、Ｎ＝ＴＮ×ｆｓの関係があり、
    前記フィルタリング回路部は、前記フィルタリング算出窓幅（ＴＮ）単位で前記開眼度の時系列信号をフィルタリングすることにより所定の値に置換し、該置換した信号を前記フィルタリング後の開眼度の時系列信号として出力する、
    請求項１に記載の眠気推定装置。
  3. 前記フィルタリング算出窓幅（ＴＮ）が０．１［秒］以上であるとき、
    前記フィルタリング回路部は、前記所定の値として、フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の最大値を取得する最大値取得回路から成る、
    請求項２に記載の眠気推定装置。
  4. Ｐが２以上の整数であり、前記フィルタリング算出窓幅（ＴＮ）が０．２［秒］以上であるとき、
    前記フィルタリング回路部は、前記所定の値として、前記フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の第（Ｐ－１）Ｐ分位点の値、又は該第（Ｐ－１）Ｐ分位点以上の平均値を算出する分位点算出回路から成る、
    請求項２に記載の眠気推定装置。
  5. 前記フィルタリング算出窓幅（ＴＮ）が１［秒］以上であるとき、
    前記フィルタリング回路部は、前記所定の値として、前記フィルタリング算出窓幅（ＴＮ）内の前記開眼度の時系列信号の平均値を算出する平均値算出回路から成る、
    請求項２に記載の眠気推定装置。
  6. 前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
    前記フィルタリング回路部は、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚより小さいローパスフィルタから成る、
    請求項１に記載の眠気推定装置。
  7. 前記特徴量算出器は、前記開眼度の時系列信号のフレーム間差分を算出し、前記特徴量算出窓幅（ＴＭ）［秒］内の前記フレーム間差分の最大値を求め、該最大値を第２の特徴量として出力する第２の特徴量算出回路を、更に含む、請求項１乃至６のいずれか１項に記載の眠気推定装置。
  8. 前記特徴量算出器は、前記開眼度の時系列信号から閉眼を検知し、前記第１の所定時間窓幅（ＴＭ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する第３の特徴量算出回路を、更に含む、請求項１乃至７のいずれか１項に記載の眠気推定装置。
  9. 前記特徴量算出器は、前記開眼度の時系列信号から左眼と右眼の開眼度の動き差分を算出し、前記特徴量算出窓幅（ＴＭ）［秒］内の前記動き差分の平均値を求め、該動き差分の平均値を第４の特徴量として出力する第４の特徴量算出回路を、更に含む、請求項１乃至８のいずれか１項に記載の眠気推定装置。
  10. 前記特徴量算出器は、隣接する２つの特徴量算出窓幅（ＴＭ）［秒］で、前記第１乃至第４の特徴量算出回路でそれぞれ算出される、隣接する２つの第１乃至第４の特徴量の差分を求め、該差分の中から選択された１つを第５の特徴量として出力する第５の特徴量算出回路を更に含む、請求項９に記載の眠気推定装置。
  11. 前記特徴量算出器は、前記第１乃至第５の特徴量算出回路でそれぞれ算出される、第１乃至第５の特徴量の対数を求め、該対数の中から選択された１つを第６の特徴量として出力する第６の特徴量算出回路を更に含む、請求項１０に記載の眠気推定装置。
  12. 前記特徴量算出器は、前記特徴量算出窓幅（ＴＭ）［秒］の倍数である統計量算出窓幅（ＴＫ）［秒］内の、前記特徴量算出窓幅（ＴＭ）［秒］毎に前記第１乃至第６の特徴量算出回路でそれぞれ算出された第１乃至第６の特徴量から選択された１つの統計量を算出する統計量算出回路を更に含む、請求項１１に記載の眠気推定装置。
  13. 前記統計量算出回路は、前記統計量として、前記統計量算出窓幅（ＴＫ）［秒］毎に、前記第１乃至第６の特徴量から選択された１つの平均値、標準偏差、および分散の中から選択された少なくとも１つを算出する、請求項１２に記載の眠気推定装置。
  14. 対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定方法であって、
    フィルタリング回路部が、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力し、
    特徴量算出器が、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出し、
    眠気推定器が、前記特徴量から前記眠気の評定値を推定して、推定結果を出力し、
    前記特徴量検出器では、少なくとも、第１の特徴量算出回路が、特徴量算出窓幅（ＴＭ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する、
    眠気推定方法。
  15. 対象者の開眼度の時系列信号から前記対象者の眠気を推定する処理をコンピュータに実行させる眠気推定プログラムを記録した眠気推定プログラム記録媒体であって、前記眠気推定プログラムは、
    前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング手順と、
    少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出手順と、
    前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定手順と、を前記コンピュータに実行させ、
    前記特徴量算出手順は、特徴量算出窓幅（ＴＭ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出手順を、少なくとも含む、
    眠気推定プログラム記録媒体。
     
     
PCT/JP2017/045725 2017-12-20 2017-12-20 眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体 WO2019123569A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/045725 WO2019123569A1 (ja) 2017-12-20 2017-12-20 眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体
US16/956,081 US11589787B2 (en) 2017-12-20 2017-12-20 Drowsiness estimating device, drowsiness estimating method, and drowsiness estimating program recording medium
JP2019559930A JP7189564B2 (ja) 2017-12-20 2017-12-20 眠気推定装置、眠気推定方法、および眠気推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/045725 WO2019123569A1 (ja) 2017-12-20 2017-12-20 眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2019123569A1 true WO2019123569A1 (ja) 2019-06-27

Family

ID=66994005

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045725 WO2019123569A1 (ja) 2017-12-20 2017-12-20 眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体

Country Status (3)

Country Link
US (1) US11589787B2 (ja)
JP (1) JP7189564B2 (ja)
WO (1) WO2019123569A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339200A (ja) * 1998-05-28 1999-12-10 Toyota Motor Corp 居眠り運転検出装置
JP2006109980A (ja) * 2004-10-13 2006-04-27 Nissan Motor Co Ltd 覚醒度判定装置
JP2008210285A (ja) * 2007-02-27 2008-09-11 Kyushu Univ 居眠り運転防止装置
JP2009146377A (ja) * 2007-11-21 2009-07-02 Toyota Central R&D Labs Inc ドライバ状態推定装置及びプログラム
JP2017006675A (ja) * 2015-06-22 2017-01-12 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 目の開度のための参照レベルを供給する方法および装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008099884A (ja) 2006-10-19 2008-05-01 Toyota Motor Corp 状態推定装置
JP2008201285A (ja) 2007-02-21 2008-09-04 Yanmar Co Ltd トランスミッション
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
WO2010092860A1 (ja) 2009-02-13 2010-08-19 トヨタ自動車株式会社 生体状態推定装置及び車両制御装置
JP5399777B2 (ja) 2009-05-27 2014-01-29 浜松ホトニクス株式会社 瞬目計測装置及び瞬目計測方法
EP2754393A4 (en) * 2011-09-05 2015-05-06 Toyama Prefecture METHOD AND DEVICE FOR DETECTING SOMNOLENCE
US9072465B2 (en) 2012-04-03 2015-07-07 Johnson & Johnson Vision Care, Inc. Blink detection system for electronic ophthalmic lens
DE102015218306A1 (de) 2015-09-23 2017-03-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339200A (ja) * 1998-05-28 1999-12-10 Toyota Motor Corp 居眠り運転検出装置
JP2006109980A (ja) * 2004-10-13 2006-04-27 Nissan Motor Co Ltd 覚醒度判定装置
JP2008210285A (ja) * 2007-02-27 2008-09-11 Kyushu Univ 居眠り運転防止装置
JP2009146377A (ja) * 2007-11-21 2009-07-02 Toyota Central R&D Labs Inc ドライバ状態推定装置及びプログラム
JP2017006675A (ja) * 2015-06-22 2017-01-12 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 目の開度のための参照レベルを供給する方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MINEYAMA, TAKAYUKI ET AL.: "Estimating reaction time by analyzing eyelid image", 2006-ITS-26, 2006. 09. 29 , 6 9 ~ 7 2, 29 September 2006 (2006-09-29), pages 69 - 72 *

Also Published As

Publication number Publication date
US11589787B2 (en) 2023-02-28
US20200390379A1 (en) 2020-12-17
JPWO2019123569A1 (ja) 2020-12-17
JP7189564B2 (ja) 2022-12-14

Similar Documents

Publication Publication Date Title
Assari et al. Driver drowsiness detection using face expression recognition
Fuletra et al. A survey on drivers drowsiness detection techniques
Haq et al. Eye-blink rate detection for fatigue determination
JP5078815B2 (ja) 開眼度推定装置
JP4899059B2 (ja) 眠気検知装置
Sharma et al. Drowsiness warning system using artificial intelligence
Inthanon et al. Detection of drowsiness from facial images in real-time video media using nvidia Jetson Nano
WO2018180750A1 (ja) 情報処理装置および情報処理方法
JP2016209231A (ja) 居眠り検知装置
Tyagi et al. Real time ‘driver drowsiness’& monitoring & detection techniques
Salzillo et al. Evaluation of driver drowsiness based on real-time face analysis
WO2019123569A1 (ja) 眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体
Vasudevan et al. Driver drowsiness monitoring by learning vehicle telemetry data
Isaza et al. Dynamic set point model for driver alert state using digital image processing
Mittal et al. Driver drowsiness detection using machine learning and image processing
JP7231035B2 (ja) 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム
Razzaq et al. A hybrid approach for fatigue detection and quantification
US20220313132A1 (en) Alertness estimation apparatus, alertness estimation method, and computer-readable recording medium
Lam et al. Wearable fatigue detection based on blink-saccade synchronisation
Banumithra et al. DASUIP: Driver Alerting System for Smart Safetyusing Image Processing
Yao et al. In-vehicle alertness monitoring for older adults
Kumar Vision Based Cognitive Fatigue Detection
US20240020992A1 (en) Method of Determining Drowsiness of a Driver in a Vehicle
Jiménez et al. Driver Fatigue Detection with Time-Feedback Neural Network
Das et al. A Comparative Study on Procedural and Predictive Systems on Drowsiness Detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17935492

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019559930

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17935492

Country of ref document: EP

Kind code of ref document: A1