JP6720821B2 - Blink detector - Google Patents
Blink detector Download PDFInfo
- Publication number
- JP6720821B2 JP6720821B2 JP2016202178A JP2016202178A JP6720821B2 JP 6720821 B2 JP6720821 B2 JP 6720821B2 JP 2016202178 A JP2016202178 A JP 2016202178A JP 2016202178 A JP2016202178 A JP 2016202178A JP 6720821 B2 JP6720821 B2 JP 6720821B2
- Authority
- JP
- Japan
- Prior art keywords
- signal processing
- time
- blink
- threshold
- eye opening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 description 33
- 210000000744 eyelid Anatomy 0.000 description 22
- 230000004397 blinking Effects 0.000 description 18
- 206010041349 Somnolence Diseases 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 230000007423 decrease Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Description
本発明は、眼の瞬きを検出する装置に係り、特に人の眠気状態を瞬きの態様から検知すべく眼の瞬きを検出する瞬き検出装置に係る。 The present invention relates to an eye blink detection device, and more particularly, to a blink detection device that detects eye blink so as to detect a drowsiness state of a person from a blink mode.
車両運転中の居眠りによる事故を防止すべく、人の眠気状態を装置により検出することが種々試みられており、眠気検出の一つの手段として眼の瞬きを検出することが知られている。瞬き状態に基づく眠気判断については、瞬きの頻度、瞬き間隔の平均値、瞬き間隔の標準偏差等をパラメータとすることが知られている。更に、上記の如きパラメータに基づいて眠気を表す瞼開閉特徴量を想定し、該瞼開閉特徴量について眠気警報や安全支援制御を発動させる閾値を設定するにしても、そのような閾値を、該瞼開閉特徴量が正常域を一方向に逸脱する境界に設定するだけでなく、該瞼開閉特徴量が正常域を他方向に逸脱する境界にも設定することが、下記の特許文献1において提案されている。これは、人は一般に眠気がさしてくると瞼の動きが鈍くなるが、時にそれに抗して覚醒しようとして瞼を意図的に激しく動かそうとすることに着目したものである。
Various attempts have been made to detect a person's drowsiness state by a device in order to prevent an accident caused by a drowsiness during driving of a vehicle, and it is known to detect blinking of the eyes as one means of drowsiness detection. It is known that the drowsiness determination based on the blinking state uses parameters such as the blinking frequency, the average value of the blinking intervals, and the standard deviation of the blinking intervals. Further, assuming an eyelid opening/closing feature amount representing drowsiness based on the above parameters, and setting a threshold value for activating a drowsiness warning or safety support control for the eyelid opening/closing feature amount, such a threshold value is It is proposed in
瞬きとは瞼をごく短時間だけ閉じる動作であるが、瞬きの如き瞼の開閉における特徴的動きは、カメラによる眼の領域の撮影或いは眼の近傍への電極の貼着により瞼の動きを逐次追跡して取得した「時間対開眼度」のデータに基づき、開眼度が所定の閾値以下に低下する時点か、その後に開眼度が再び該閾値以上に上昇する時点か、またはこれら両時点を採取することに基づいて判断されている。この場合、上記の閾値は、従来、通常の瞬きを的確に捉えるに適した比較的低い開眼度に設定されている。しかし、人は、眠気を催してくると、半瞬きとも云うべき比較的高い開眼度までしか瞼を閉じない瞬きをし始めるものである。従って、人が眠気を催してきた状態での瞬きをより的確に把握するには、上記の閾値を高くし、通常の瞬きだけでなく半瞬きをも捕捉することが考えられる。しかし、上記の閾値を高くすると、瞼の開閉における真の瞬きではなく、瞬きの検出にとっては雑音となる瞼の不規則な開閉を瞬きと誤判する度合を増大させ、特に正常な覚醒状態の判断を誤らせることが危惧される。 Blinking is an action that closes the eyelid for a very short time, but the characteristic movement in opening and closing the eyelid, such as blinking, is that the movement of the eyelid is sequentially taken by photographing the eye area with a camera or attaching electrodes to the vicinity of the eye. Based on the data of "eye opening degree versus time" acquired by tracking, the time point when the eye opening degree falls below a predetermined threshold value, or the time point when the eye opening degree rises above the threshold value again, or both of these time points are collected. It is judged based on what you do. In this case, the above-mentioned threshold value is conventionally set to a relatively low eye opening degree suitable for accurately capturing a normal blink. However, when a person feels drowsiness, he starts to blink with his eyelids closed only to a relatively high degree of eye opening, which may be called half-blink. Therefore, in order to more accurately grasp the blink in the state where the person is drowsy, it is conceivable to raise the above threshold and capture not only the normal blink but also the half blink. However, increasing the above threshold increases the degree of misunderstanding that the irregular opening and closing of the eyelid, which is a noise for the detection of blinks, is not the true blink in the opening and closing of the eyelids, and particularly the judgment of the normal awake state. I am afraid to make a mistake.
本発明は、瞬きの判定における上記の問題に着目し、正常な覚醒時の瞬きを的確に把握すると共に、人が眠気を催してきて半瞬きを始めたときにはそれをも的確に把握することができる瞬き検出装置を提供することを課題としている。 The present invention focuses on the above-mentioned problems in the determination of blinks, and accurately grasps the blinks at the time of normal awakening, and when a person starts drowsiness and starts half-blinking, it is also possible to accurately grasp it. An object of the present invention is to provide a blink detection device that can be used.
上記の課題を解決すべく、本発明は、時間対開眼度のデータに基づいて瞬きを検出する瞬き検出装置にして、開眼度が比較的低い第一の閾値と開眼度が比較的高い第二の閾値とを設定し、開眼度が前記第一の閾値を高より低に横切った後に前記第一の閾値を低より高に横切ったとき通常の瞬きがあったと判断し、開眼度が前記第二の閾値を高より低に横切った後に前記第一の閾値を高より低に横切ることなく前記第二の閾値を低より高に横切ったとき半瞬きがあったと判断することを特徴とする瞬き検出装置を提案するものである。 In order to solve the above problems, the present invention is, in the blink detection unit that detects a blink based on the data of the time versus eye opening degree, a relatively high open eye of a relatively low first threshold value and opening the eye of The second threshold is set, and it is determined that there was a normal blink when the eye opening degree crosses the first threshold value above the low level after crossing the first threshold value below the high level, and the eye opening level is determined. Characterized in that it is determined that there was a half-blink when the second threshold was crossed above low without crossing the first threshold below high after crossing the second threshold below high. It proposes a blink detection device.
前記半瞬きがあったとの判断は、前記時間対開眼度のデータを時間的に微分することにより得られた時間対開眼速度のデータに基づき、開眼速度が所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切ることにより確認されるようになっていてよい。 The determination that there was a half-blink is based on the data of the time versus the eye opening speed obtained by temporally differentiating the time versus the eye opening degree data, and the eye opening speed is set to a predetermined negative threshold value lower than high. It may be ascertained by crossing the negative threshold above low after crossing and crossing a predetermined positive threshold above low before crossing the positive threshold below high.
或いはまた、前記半瞬きがあったとの判断は、前記時間対開眼速度のデータを更に時間的に微分することにより得られた時間対開眼加速度のデータに基づき、開眼加速度が所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切り、更に所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切ることにより確認されるようになっていてもよい。 Alternatively, the determination that there is a half-blink is based on the data of the time versus the eye opening acceleration obtained by further temporally differentiating the data of the time versus the eye opening speed, and the eye opening acceleration has a predetermined negative threshold value. After crossing below the high, crossing the negative threshold above the low, crossing a predetermined positive threshold above the low and then crossing the positive threshold below high, and crossing the predetermined positive threshold. Being confirmed by crossing the positive threshold below the high after crossing above the low, and then crossing the negative threshold above the low after crossing a predetermined negative threshold below the high. May be.
上記の如く、時間対開眼度のデータに基づいて瞬きを検出する瞬き検出装置において、開眼度が比較的低い第一の閾値と開眼度が比較的高い第二の閾値とを設定し、開眼度が前記第一の閾値を高より低に横切った後に前記第一の閾値を低より高に横切ったとき通常の瞬きがあったと判断し、開眼度が前記第二の閾値を高より低に横切った後に前記第一の閾値を高より低に横切ることなく前記第二の閾値を低より高に横切ったとき半瞬きがあったと判断するようになっていれば、開眼度が前記第一の閾値以下に下がるような正常な瞬きが行われるときには、それを雑音的瞼開閉より明確に隔たる比較的低い前記第一の閾値により的確に把握しつつ、半瞬きが生じるような状況では、比較的高い前記第二の閾値の設定によりそれを逃がすことなく捕捉し、人の覚醒の度合いを、正常な覚醒時にも眠気を催してきたときに、瞬きにより的確に判断することができる。
As described above, in the blink detection unit that detects a blink based on the data of the time versus eye opening degree, open eyes of a relatively low first threshold value and opening the eye of sets a relatively high second threshold value, It is determined that there was a normal blink when the degree of eye opening crosses the first threshold to a value higher than low after crossing the first threshold, and the degree of eye opening is lower than the second threshold to a value higher than high. If it is determined that there is a half-blink when the second threshold is crossed higher than low without crossing the first threshold lower than high after crossing, then the degree of eye opening is the first. When a normal blink such that it falls below the threshold value is performed, while accurately grasping it by the relatively low first threshold value that is clearly separated from the noisy eyelid opening and closing, in a situation where a half-blink occurs, By setting the second threshold value that is relatively high, it can be captured without letting it escape, and the degree of arousal of a person can be accurately determined by blinking when the person is drowsy even during normal awakening.
開眼度が単に前記第二の閾値を高から低に横切った後に低から高へ横切ったということでは、前記第二の閾値は比較的高く設定されることから、瞬きの判断は雑音的瞼開閉により誤判断となりやすいとの懸念があるが、半瞬きがあったとの判断が、前記時間対開眼度のデータを時間的に微分することにより得られた時間対開眼速度のデータに基づき、開眼速度が所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切ることにより確認されるようになっていれば、瞬きに伴う開眼速度の変化の特徴の検証により、半瞬きをより的確に判断することができる。 If the degree of eye opening simply crosses the second threshold value from high to low and then from low to high, the second threshold value is set to be relatively high. There is a concern that it may be erroneous due to, but the determination that there was a half-blink, based on the data of the time-opening speed obtained by differentiating the time-opening degree data temporally, the eye-opening speed Crossing the predetermined negative threshold below the high and then crossing the negative threshold above the low, and further crossing the predetermined positive threshold above the low and then crossing the positive threshold below high. By confirming the characteristics of the change in the eye-opening speed associated with the blink, the half-blink can be more accurately determined.
更に前記半瞬きがあったとの判断が、前記時間対開眼速度のデータを更に時間的に微分することにより得られた時間対開眼加速度のデータに基づき、開眼加速度が所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切り、更に所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切ることにより確認されるようになっていれば、瞬きに伴う開眼速度の変化の特徴より一層際立った瞬きに伴う開眼加速度の変化の特徴の検証により、半瞬きをより一層的確に判断することができる。 Further, the determination that there was a half-blink, based on the data of the time-to-eye opening acceleration obtained by further temporally differentiating the time-to-eye opening speed data, the eye-opening acceleration is higher than a predetermined negative threshold value. After crossing low, the negative threshold is crossed above low, and further, the positive threshold is crossed above low, then the positive threshold is crossed below high, and the predetermined positive threshold is crossed below low. Ascertained by crossing high and then crossing the positive threshold below high and then crossing a predetermined negative threshold below high and then across the negative threshold above low. For example, by verifying the characteristics of the change in the eye-opening acceleration with the blink, which is more prominent than the characteristics of the change in the eye-opening speed with the blink, the half-blink can be determined more accurately.
人の眼をカメラにより撮影し、或いは眼の近傍に電極を貼着する等により得られた瞼開閉の時間的変化の電気信号をローパスフィルタリングすれば、図1に例示する如き時間対開眼度のデータが得られる。そして、かかる時間対開眼度のデータに対し、雑音的瞼開閉より明確に隔たる比較的低い開眼度であって人の覚醒時の正常な瞬きにおける開眼度の変化により確実に横切られるような閾値Gfを設定しておけば、図に深い窪みD1、D3として現れるような開眼度の変化時点を時点T2とT3の対として採取することにより、覚醒時に現れる正常な瞬き状態を的確に把握することができる。 By low-pass filtering the electric signal of the temporal change of the eyelid opening and closing obtained by photographing the human eye with a camera or attaching an electrode near the eye, the time vs. eye opening degree as illustrated in FIG. 1 can be obtained. Data is obtained. Then, with respect to the data of the degree of eye opening versus the time taken, a threshold value that is a relatively low degree of eye opening that is clearly separated from the noisy eyelid opening and that is reliably crossed by a change in the degree of eye opening in a normal blink when a person is awake. If Gf is set, it is possible to accurately grasp the normal blinking state that appears at the time of awakening by collecting the change points of the eye opening degree that appear as deep depressions D1 and D3 in the figure as a pair of time points T2 and T3. You can
一方、人が眠気を催してきて図に浅い窪みD2として示すような半瞬きが現れると、かかる開眼度の変化は閾値Gfによっては検出されないが、かかる半瞬きを検出できるような比較的高い閾値Gmを設定しておけば、閾値Gmは雑音的瞼開閉を識別する点では閾値Gfに比して劣るものではあるが、半瞬きが発生したときには、それを時点T1とT2の対として採取することができる。 On the other hand, when a person becomes drowsy and a half-blink appears as a shallow depression D2 in the figure, such a change in the degree of eye opening is not detected by the threshold Gf, but a relatively high threshold for detecting such a half-blink. If Gm is set, the threshold value Gm is inferior to the threshold value Gf in that it discriminates the noisy eyelid opening/closing, but when a half-blink occurs, it is collected as a pair of time points T1 and T2. be able to.
瞬きにおける開眼度の変化は、典型的には、図2の上段に示す如く、下向きの加速度を伴う下向きの速度にて開眼度を加速度的に下げる第一の過程C1、Abまで加えた下向き加速度を0まで戻しつつ下向き速度が最大値Vbとなるまで開眼度を下げる第二の過程C2、下向き速度に上向きの加速度を加えて下向き速度を最大値Vbより減じつつ開眼度を下げる第三の過程C3、Asまで加えた上向き加速度を0まで戻しつつ下向き速度を漸減させて開眼度を最小値に軟到着させる第四の過程C4、瞼に上向きの加速度を加えて開眼度を最小値より立ち上げる第五の過程C5、Asまで加えた上向き加速度を0まで戻しつつ上向き速度が最大値Vsとなるまで開眼度を上げる第六の過程C6、上向き速度に下向きの加速度を加えて上向き速度を最大値Vsより下げつつ開眼度を上げる第七の過程C7、Abまで加えた下向き加速度を0まで戻しつつ上向き速度を漸減させて瞬きを終える第八の過程C8よりなっている。 As shown in the upper part of FIG. 2, typically, the change in the degree of eye opening during blinking is a downward acceleration including a first process C1 and Ab in which the degree of eye opening is accelerated at a downward speed accompanied by downward acceleration. The second step C2 of lowering the eye opening degree until the downward speed reaches the maximum value Vb while returning to 0, and the third step C2 of decreasing the eye opening degree by adding the upward acceleration to the downward speed to reduce the downward speed from the maximum value Vb. The fourth process of gradually decreasing the downward speed and softly arriving at the minimum value of the eye opening while returning the upward acceleration added to C3 and As to 0, C4, adding the upward acceleration to the eyelid and raising the eye opening degree from the minimum value Fifth step C5, increasing the eye opening degree until the upward speed reaches the maximum value Vs while returning the upward acceleration added to As to 0. The sixth step C6, adding the downward acceleration to the upward speed and increasing the upward speed to the maximum value. The seventh process C7 is to increase the degree of eye opening while lowering Vs, and the eighth process C8 is to gradually reduce the upward speed while returning the downward acceleration added to Ab to 0 and finish the blink.
上記の如き2通りの閾値GfおよびGmの設定により通常の瞬きおよび半瞬きを検出する瞬き検出操作は、図3のフローチャートに示す如き要領により行われてよい。かかるフローチャートに示される如きコンピュータによるデジタル演算処理は、数十ミリセカンド程度の微細周期にて繰り返し行われるものである。 The blink detection operation for detecting the normal blink and the half-blink by setting the two threshold values Gf and Gm as described above may be performed according to the procedure shown in the flowchart of FIG. The digital arithmetic processing by the computer as shown in the flowchart is repeatedly performed in a fine cycle of about several tens of milliseconds.
瞬き検出装置の作動が開始されると、ステップ(S)1にてカメラや電極等により瞼の開眼度Gが検出され、得られた時間対開眼度の経過を示す電気信号はステップ2にて雑音的信号変化を除去するローパスフィルタリングを施され、図1に例示する如き時間対開眼度のデータとされる。次いで信号処理はステップ3へ進み、フラグF1が1であるか否かが判断される。この種のフラグは装置の作動の開始時に0にリセットされるものであり、この場合、フラグF1は後述のステップ5において1にセットされるので、それまでステップ3の答はノー(N)であり、信号処理はステップ4へ進む。
When the operation of the blink detection device is started, the eye opening degree G of the eyelid is detected by a camera, an electrode, or the like in step (S) 1, and the obtained electric signal indicating the progress of the eye opening degree versus time is obtained in
ステップ4においては、開眼度Gが図1にGmとして示すごとき閾値以上であるか否かが判断される。瞬きが行われておらず或いは瞬きの途中であっても開眼度がまだGm以下に下がっていないときには、答はイエス(Y)であり、その間信号処理はステップ5をバイパスしてステップ6へ進む。一方、瞬きが行われ、開眼度Gが閾値Gmを横切って低下すれば、そのときステップ4の答はイエスからノーに転じ、信号処理はステップ5へ進む。ステップ5においては、フラグF1が1にセットされ、その瞬間の時刻Tが時点T1として記憶され、信号処理はステップ6へ進む。
In
ステップ6においては、フラグF4が1であるか否かが判断される。フラグF4は後述のステップ15において1にセットされるので、それまでステップ6の答はノーであり、信号処理はこれよりステップ1へ戻り、更に開眼度の検出が続けられる。この場合、更に検出された時間対開眼度のローパスフィルタリングされたデータを得て信号処理がステップ3へ進むと、ステップ3の答はイエスとなるので、信号処理はこれよりステップ7へ進み、フラグF2が1であるか否かが判断される。フラグF2は後述のステップ10において1にセットされるので、それまでステップ7の答はノーであり、信号処理はステップ8へ進む。
In
ステップ8においては、開眼度Gが図1にGfとして示すごとき閾値以上であるか否かが判断される。開眼度Gが閾値Gmを下向きに横切った後であっても、瞬きの途中であって開眼度がまだGf以下に下がっていないときには、答はイエスであり、信号処理はステップ9へ進み、開眼度Gが閾値Gm以上であるか否かが判断される。信号処理がステップ9に至るのは開眼度Gが閾値Gm以下となった後であるので、当分の間、ステップ9の答はノーであり、信号処理はこれよりステップ6へ進み、その答は依然ノーであることによって信号処理はステップ1へ戻り、更に開眼度の検出が続けられる。
In step 8, it is judged whether or not the eye opening degree G is equal to or more than a threshold value as shown by Gf in FIG. Even after the eye-opening degree G crosses the threshold value Gm downward, if the eye-opening degree is still lower than Gf during the blink, the answer is yes, and the signal processing proceeds to step 9 to open the eyes. It is determined whether the degree G is greater than or equal to the threshold value Gm. Since the signal processing reaches
瞬きが図1の窪みD1の如く閾値Gf横切って閉じる通常の瞬きであれば、信号処理がステップ9をノーへ進んでいる内にやがてステップ8の答はイエスかたノーに転じ、これより信号処理はステップ10へ進み、フラグF2は1にセットされ、その瞬間の時刻Tが時点T2として記憶される。これよりステップ6を経てステップ1へ戻った信号処理は、以後ステップ7よりステップ11へ進むようになる。
If the blink is a normal blink that closes across the threshold value Gf like the depression D1 in FIG. 1, the answer of step 8 turns to yes or no while the signal processing proceeds to step 9 to no. The process proceeds to step 10, the flag F2 is set to 1, and the time T at that moment is stored as the time T2. As a result, the signal processing which has returned to step 1 through
ステップ11においては、フラグF3が1であるか否かが判断される。フラグF3は後述のステップ13において1にセットされるので、それまでステップ11の答はノーであり、信号処理はステップ12へ進む。ステップ12においては、開眼度Gが閾値Gf以上であるか否かが判断される。瞬きが図1の窪みD1の如く閾値Gf横切って大きく閉じた後開く通常の瞬きであれば、ステップ12の答は暫くノーであり、その間信号処理はステップ6を経てステップ1へ戻るが、やがて開眼度Gが閾値Gf以上に復したところで、ステップ12の答はノーからイエスに転じ、そのとき信号処理はステップ13へ進み、その瞬間の時刻Tが時点T3として記憶される。またここでフラグF3は1にセットされるので、これよりステップ6を経てステップ1へ戻った信号処理は、以後ステップ11よりステップ14へ進むようになる。
In
ステップ14においては、開眼度Gが閾値Gm以上であるか否かが判断される。瞬きが図1の窪みD1の如く閾値Gf横切って大きく閉じた後閾値Gf横切って開き、更に閾値Gm横切って開く通常の瞬きであれば、ステップ14の答は当初は暫くノーであり、その間、信号処理はステップ6を経てステップ1へ戻るが、やがてステップ14の答はノーからイエスに転じるので、そのとき信号処理はステップ15へ進み、その瞬間の時刻Tが時点T4として記憶される。更にまた、このときフラグF4は1にセットされるので、これよりステップ6へ進んだ信号処理は、ステップ6の答がイエスとなることによってステップ16に至る。
In
しかし、一方、瞬きが図1に窪みD2にて示す如く閾値Gmを横切って閉じるが閾値Gfを横切るほどには閉じない半瞬きであるときには、ステップ8の答がイエスからノーに転じる前にステップ9の答がノーからイエスに転じる。このときには、信号処理はステップ17へ進み、フラグFcが1にセットされ、その瞬間の時刻TがT2として記憶され、信号処理はこれよりステップ16へ進む。
However, on the other hand, when the blink is a half-blink that closes across the threshold Gm but does not close enough to cross the threshold Gf as indicated by the depression D2 in FIG. 1, the answer to step 8 is to change from yes to no step.
ステップ16においては、サフィックスnが装置の作動開始時にリセットされた0より始まって1だけ増分され、次いで信号処理はステップ18へ進み、フラグFcが1であるか否かが判断される。ここでフラグFcが0のままであれば、それは閾値Gfを横切って閉じる通常の瞬きがあったことを示し、フラグFcが1にセットされていれば、それは閾値Gmを横切って閉じる半瞬きがあったこを示す。そこで、ステップ18の答がノーであるときには、信号処理はステップ19へ進み、時点T2がn番目の瞬きの開始時点Tns(nは上記のサフィックス)とされ、時点T3がn番目の瞬きの終了時点Tneとされる。一方、ステップ18の答がイエスであるときには、信号処理はステップ20へ進み、時点T1がn番目の瞬きの開始時点Tnsとされ、時点T2がn番目の瞬きの終了時点Tneとされる。信号処理がステップ19へ進んだときには、続くステップ21にてフラグF1,F2,F3,F4が0にリセットされ、信号処理がステップ20へ進んだときには、続くステップ22にてフラグF1,F2,Fcが0にリセットされ、信号処理はステップ23へ進む。
In
ステップ23においては、上記のサフィックスnが所定の限界値nfに達したか否かが判断される。瞬きの状態に基づく覚醒或いは眠気の度合の判断は、或る所定数にわたる瞬きの頻度、瞬き間隔の平均値、瞬き間隔の標準偏差等に基づいて行われる。サフィックスnの値は観測すべき瞬きの数を定めるものであり、所定数nの瞬きが観測されるまではステップ23の答がノーであることによって、瞬きの開始時点Tnsおよび終了時点Tneを求める信号処理は、サフィックスnを逐次増大させつつそれが所定数nfに達するまで繰り返される。
In
以上の図3のフローチャートに示す信号処理は、半瞬きについてもその開始時点Tnsおよび終了時点Tneを開眼度が所定の閾値を横切ることによって求めるものであるが、瞼の閉じ量が小さい半瞬きを開眼度によって判断するには、開眼度の閾値を上げておかなければならないので、瞬きではない雑音的瞼の開閉を瞬きと誤判断する度合が高くならざるを得ない。そこで開眼度によって半瞬きが検出されたときには、更に瞼開閉の速度の変化や更には加速度の変化の態様に基づいてより正確に半瞬きを確認することが考えられる。図4はそのために図3のフローチャートに加えるべき修正を当該箇所について示す部分図である。図4において、ステップ1、3、18、23は図1におけるステップ1、3、18、23であり、ステップ2−1は図1におけるステップ2の一部変更であり、ステップ24は図5または図6に示すサブルーチンである。かかるサブルーチンによる信号処理は、図3のフローチャートによるメインルーチンにおける次の瞬き検出の信号処理に並行して実行されてよい。
In the signal processing shown in the flowchart of FIG. 3 above, the start time Tns and the end time Tne of the half-blink are also determined by the eye opening degree crossing a predetermined threshold. In order to make a determination based on the degree of eye opening, the threshold value of the degree of eye opening must be raised, and therefore the degree of false determination that the noiseless eyelid opening/closing is blinking is not blinking. Therefore, when a half-blink is detected by the degree of eye opening, it is possible to more accurately confirm the half-blink based on the mode of the change in the lid opening/closing speed and the change in the acceleration. FIG. 4 is a partial view showing a modification to be added to the flowchart of FIG. 4, steps 1, 3, 18, and 23 are
図3に示す信号処理に図5に示すサブルーチンAの信号処理が付加される場合には、ステップ2−1にては開眼度Gのローパスフィルタリングされたデータが記憶され、サブルーチンAの信号処理が開始されると、ステップ101においてステップ2−1にて記憶された時点T1〜T2間の開眼度Gを時間的に微分し、時間対開眼速度を表わす微分値f(T)が算出される。その時間的経過は図2の中段に示すようなものとなる。 When the signal processing of the subroutine A shown in FIG. 5 is added to the signal processing shown in FIG. 3, the low-pass filtered data of the eye opening degree G is stored in step 2-1 and the signal processing of the subroutine A is performed. When it is started, in step 101, the eye opening degree G between the time points T1 and T2 stored in step 2-1 is temporally differentiated, and the differential value f(T) representing the time versus the eye opening speed is calculated. The time course thereof is as shown in the middle part of FIG.
信号処理はこれよりステップ102へ進み、フラグF11が1であるか否かが判断される。フラグF11は後述のステップ104にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ102の答はノーであり、信号処理はステップ103へ進み、微分値f(T)が所定の閾値Vd以上であるか否かが判断される。閾値Vdは図2の中段に示す如き負の値である。当初は答はイエスであり、信号処理はステップ104をバイパスしてステップ105へ進み、フラグF14が1であるか否かが判断される。フラグF14は後述のステップ113にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ105の答はノーであり、信号処理はこれよりステップ102へ戻る。
The signal processing then proceeds to step 102, where it is determined whether the flag F11 is 1 or not. Since the flag F11 is set to 1 in step 104 described later and reset to 0 until then, the answer to step 102 is no, the signal processing proceeds to step 103, and the differential value f(T) is obtained. Is determined to be equal to or greater than a predetermined threshold Vd. The threshold value Vd is a negative value as shown in the middle part of FIG. Initially, the answer is yes, and signal processing bypasses step 104 and proceeds to step 105 where it is determined whether flag F14 is one. Since the flag F14 is set to 1 in
瞼の下向きの速度が増大し、それが閾値Vd以下に下がる(下向きの速度としては上がる)と、ステップ103の答はイエスからノーに転じるので、信号処理はステップ104へ進み、フラグF11は1にセットされ、この瞬間の時刻が時点T1として記憶される。これより信号処理はステップ105を経てステップ102へ戻るが、フラグF11が1にセットされたことにより、以後信号処理はステップ102よりステップ106へ進むようになる。
When the downward speed of the eyelids increases and falls below the threshold value Vd (increases as the downward speed), the answer in
ステップ106においては、フラグF12が1であるか否かが判断される。フラグF12は後述のステップ108にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ106の答はノーであり、信号処理はステップ107へ進み、微分値f(T)が所定の閾値Vd以上であるか否かが判断される。閾値Vdが図2の中段に示す如き適当な負の値に設定されていれば、暫くは答はノーであり、信号処理はステップ105を経てステップ102へ戻るが、やがて時点T2にて開眼速度は閾値Vdを横切って上昇(下向き速度としては減小)し、ステップ107の答はノーからイエスに転じるので、ここで信号処理はステップ108へ進み、フラグF12は1にセットされ、この瞬間の時刻が時点T2として記憶される。これより信号処理はステップ105を経てステップ102へ戻るが、フラグF12が1にセットされたことにより、以後信号処理はステップ106よりステップ109へ進むようになる。
In
ステップ109においては、フラグF13が1であるか否かが判断される。フラグF13は後述のステップ111にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ109の答はノーであり、信号処理はステップ110へ進み、微分値f(T)が所定の閾値Vu以上であるか否かが判断される。閾値Vuが図2の中段に示す如き適当な正の値に設定されていれば、暫くは答はノーであり、信号処理はステップ105を経てステップ102へ戻るが、やがて時点T3にて開眼速度は閾値Vuを横切って上昇し、ステップ110の答はノーからイエスに転じるので、ここで信号処理はステップ111へ進み、フラグF13は1にセットされ、この瞬間の時刻が時点T3として記憶される。これより信号処理はステップ105を経てステップ102へ戻るが、フラグF13が1にセットされたことにより、以後信号処理はステップ109よりステップ112へ進むようになる。
In
ステップ112においては、微分値f(T)が閾値Vu以上であるか否かが判断される。暫くは答はイエスであり、信号処理はステップ105を経てステップ102へ戻るが、やがて時点T4にて開眼速度は閾値Vuを横切って低下し、ステップ112の答はイエスからノーに転じので、ここで信号処理はステップ113へ進み、フラグF14は1にセットされ、この瞬間の時刻が時点T4として記憶される。
In
以上で開眼速度が閾値Vdを横切る時点T1、T2および閾値Vuを横切る時点T3、T4が得られる。またフラグF14が1にセットされるので、これより信号処理はステップ105よりステップ114へ進む。ステップ114においては、開眼速度の谷に当たる時点T1、T2の中間値がこのn番目の瞬き(半瞬き)の開始時点Tnsとされ、開眼速度の山に当たる時点T3、T4の中間値がその終了時点Tnsとされる。信号処理はこれよりステップ115へ進み、フラグF11,F12,F13,F14を0にリセットして終了する。
As described above, time points T1 and T2 at which the eye opening speed crosses the threshold value Vd and time points T3 and T4 at which the eye opening speed crosses the threshold value Vu are obtained. Since the flag F14 is set to 1, the signal processing proceeds from
図3に示す信号処理に図6に示すサブルーチンBの信号処理が付加される場合にも、ステップ2−1にては開眼度Gのローパスフィルタリングされたデータが記憶され、サブルーチンBの信号処理が開始されると、ステップ201においてステップ2−1にて記憶された時点T1〜T2間の開眼度Gを時間的に2階微分し、時間対開眼加速度を表わす微分値g(T)が算出される。その時間的経過は図2の下段に示すようなものとなる。
Even when the signal processing of the subroutine B shown in FIG. 6 is added to the signal processing shown in FIG. 3, the low-pass filtered data of the eye opening degree G is stored in step 2-1 and the signal processing of the subroutine B is performed. When started, in
信号処理はこれよりステップ202へ進み、フラグF21が1であるか否かが判断される。フラグF21は後述のステップ204にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ202の答はノーであり、信号処理はステップ203へ進み、2階微分値g(T)が所定の閾値Ad以上であるか否かが判断される。閾値Adは図2の下段に示す如き負の値である。当初は答はイエスであり、信号処理はステップ204をバイパスしてステップ205へ進み、フラグF28が1であるか否かが判断される。フラグF28は後述のステップ225にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ205の答はノーであり、信号処理はこれよりステップ202へ戻る。
The signal processing then proceeds to step 202, and it is determined whether the flag F21 is 1 or not. Since the flag F21 is set to 1 in
瞼の下向きの加速度が増大し、それが閾値Ad以下に下がる(下向きの加速度としては上がる)と、ステップ203の答はイエスからノーに転じるので、信号処理はステップ204へ進み、フラグF21は1にセットされ、この瞬間の時刻が時点T1として記憶される。これより信号処理はステップ205を経てステップ202へ戻るが、フラグF21が1にセットされたことにより、以後信号処理はステップ202よりステップ206へ進むようになる。
When the downward acceleration of the eyelids increases and falls below the threshold value Ad (increases as the downward acceleration), the answer in
ステップ206においては、フラグF22が1であるか否かが判断される。フラグF22は後述のステップ208にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ206の答はノーであり、信号処理はステップ207へ進み、2階微分値g(T)が所定の閾値Ad以上であるか否かが判断される。閾値Adが図2の下段に示す如き適当な負の値に設定されていれば、暫くは答はノーであり、信号処理はステップ205を経てステップ202へ戻るが、やがて時点T2にて開眼加速度は閾値Adを横切って上昇(下向き加速度としては減小)し、ステップ207の答はノーからイエスに転じるので、ここで信号処理はステップ208へ進み、フラグF22は1にセットされ、この瞬間の時刻が時点T2として記憶される。これより信号処理はステップ205を経てステップ202へ戻るが、フラグF22が1にセットされたことにより、以後信号処理はステップ206よりステップ209へ進むようになる。
At
ステップ209においては、フラグF23が1であるか否かが判断される。フラグF23は後述のステップ211にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ209の答はノーであり、信号処理はステップ210へ進み、2階微分値g(T)が所定の閾値Au以上であるか否かが判断される。閾値Auが図2の下段に示す如き適当な正の値に設定されていれば、暫くは答はノーであり、信号処理はステップ205を経てステップ202へ戻るが、やがて時点T3にて開眼加速度は閾値Auを横切って上昇し、ステップ210の答はノーからイエスに転じるので、ここで信号処理はステップ211へ進み、フラグF23は1にセットされ、この瞬間の時刻が時点T3として記憶される。これより信号処理はステップ205を経てステップ202へ戻るが、フラグF23が1にセットされたことにより、以後信号処理はステップ209よりステップ212へ進むようになる。
In
ステップ212においては、フラグF24が1であるか否かが判断される。フラグF24は後述のステップ214にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ212の答はノーであり、信号処理はステップ213へ進み、2階微分値g(T)が所定の閾値Au以上であるか否かが判断される。閾値Auが図2の下段に示す如き適当な正の値に設定されていれば、暫くは答はイエスであり、信号処理はステップ205を経てステップ202へ戻るが、やがて時点T4にて開眼加速度は閾値Auを横切って低下し、ステップ213の答はイエスからノーに転じるので、ここで信号処理はステップ214へ進み、フラグF24は1にセットされ、この瞬間の時刻が時点T4として記憶される。これより信号処理はステップ205を経てステップ202へ戻るが、フラグF24が1にセットされたことにより、以後信号処理はステップ212よりステップ215へ進むようになる。
In
ステップ215においては、フラグF25が1であるか否かが判断される。フラグF25は後述のステップ217にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ215の答はノーであり、信号処理はステップ216へ進み、2階微分値g(T)が所定の閾値Au以上であるか否かが判断される。閾値Auが図2の下段に示す如き適当な正の値に設定されていれば、暫くは答はノーであり、信号処理はステップ205を経てステップ202へ戻るが、やがて時点T5にて開眼加速度は閾値Auを横切って増大し、ステップ216の答はノーからイエスに転じるので、ここで信号処理はステップ217へ進み、フラグF25は1にセットされ、この瞬間の時刻が時点T5として記憶される。これより信号処理はステップ205を経てステップ202へ戻るが、フラグF25が1にセットされたことにより、以後信号処理はステップ215よりステップ218へ進むようになる。
In
ステップ218においては、フラグF26が1であるか否かが判断される。フラグF26は後述のステップ220にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ218の答はノーであり、信号処理はステップ219へ進み、2階微分値g(T)が所定の閾値Au以上であるか否かが判断される。閾値Auが図2の下段に示す如き適当な正の値に設定されていれば、暫くは答はイエスであり、信号処理はステップ205を経てステップ202へ戻るが、やがて時点T6にて開眼加速度は閾値Auを横切って低下し、ステップ219の答はイエスからノーに転じるので、ここで信号処理はステップ220へ進み、フラグF26は1にセットされ、この瞬間の時刻が時点T6として記憶される。これより信号処理はステップ205を経てステップ202へ戻るが、フラグF26が1にセットされたことにより、以後信号処理はステップ218よりステップ221へ進むようになる。
In
ステップ221においては、フラグF27が1であるか否かが判断される。フラグF27は後述のステップ223にて1にセットされ、それまでは0にリセットされているので、差し当たりステップ221の答はノーであり、信号処理はステップ222へ進み、2階微分値g(T)が所定の閾値Ad以上であるか否かが判断される。閾値Adが図2の下段に示す如き適当な負の値に設定されていれば、暫くは答はイエスであり、信号処理はステップ205を経てステップ202へ戻るが、やがて時点T7にて開眼加速度は閾値Adを横切って低下(下向き加速度としては増大)し、ステップ222の答はイエスからノーに転じるので、ここで信号処理はステップ223へ進み、フラグF27は1にセットされ、この瞬間の時刻が時点T7として記憶される。これより信号処理はステップ205を経てステップ202へ戻るが、フラグF27が1にセットされたことにより、以後信号処理はステップ221よりステップ224へ進むようになる。
In step 221, it is determined whether the flag F27 is 1 or not. Since the flag F27 is set to 1 in step 223 described later and reset to 0 until then, the answer to step 221 is no for the moment, and the signal processing proceeds to step 222 and the second-order differential value g( It is determined whether T) is greater than or equal to a predetermined threshold Ad. If the threshold value Ad is set to an appropriate negative value as shown in the lower part of FIG. 2, the answer is yes for a while, and the signal processing returns to step 202 through
ステップ224においては、2階微分値g(T)が所定の閾値Ad以上であるか否かが判断される。閾値Adが図2の下段に示す如き適当な正の値に設定されていれば、暫くは答はノーであり、信号処理はステップ205を経てステップ202へ戻るが、やがて時点T8にて開眼加速度は閾値Adを横切って増大(下向き加速度としては減小)し、ステップ224の答はノーからイエスに転じるので、ここで信号処理はステップ225へ進み、フラグF28は1にセットされ、この瞬間の時刻が時点T8として記憶される。これより信号処理はステップ205へ進み、フラグF28が1にセットされたことにより、これより信号処理はステップ226へ進む。
In
以上で開眼加速度が閾値Adを横切る時点T1、T2、閾値Vuを横切る時点T3、T4、再度閾値Vuを横切る時点T5、T6、再度閾値Adを横切る時点T7、T8が得られる。ステップ226においては、開眼加速度の最初の谷に当たる時点T1、T2の中間値と最初の山に当たる時点T3、T4の中間値が、このn番目の瞬き(半瞬き)の開始時点Tnsとされ、開眼加速度の2番目の山に当たる時点T5、T6の中間値と2番目の谷に当たる時点T7、T8の中間値が、その終了時点Tnsとされる。信号処理はこれよりステップ227にてフラグF21,F22,F23,F24,F25,F26,F27,F28を0にリセットして終了する。
As described above, time points T1 and T2 where the eye opening acceleration crosses the threshold value Ad, time points T3 and T4 when the threshold value Vu crosses, time points T5 and T6 when the threshold value Vu crosses again, and time points T7 and T8 when the threshold value Ad crosses again. In
以上に於いては本発明をいくつかの実施例について詳細に説明したが、かかる実施例について本発明の範囲内にて種々の変更が可能であることは当業者にとって明らかであろう。 Although the present invention has been described in detail above with reference to some embodiments, it will be apparent to those skilled in the art that various modifications can be made to such embodiments within the scope of the present invention.
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016202178A JP6720821B2 (en) | 2016-10-14 | 2016-10-14 | Blink detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016202178A JP6720821B2 (en) | 2016-10-14 | 2016-10-14 | Blink detector |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018061724A JP2018061724A (en) | 2018-04-19 |
JP6720821B2 true JP6720821B2 (en) | 2020-07-08 |
Family
ID=61967051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016202178A Expired - Fee Related JP6720821B2 (en) | 2016-10-14 | 2016-10-14 | Blink detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6720821B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3293308B2 (en) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | Person state detection device |
JP3556439B2 (en) * | 1997-08-12 | 2004-08-18 | 三菱電機株式会社 | Face image processing device |
JP5270415B2 (en) * | 2009-03-19 | 2013-08-21 | トヨタ自動車株式会社 | Sleepiness determination apparatus and program |
JP2013257691A (en) * | 2012-06-12 | 2013-12-26 | Panasonic Corp | Doze state determination device and doze state determination method |
JP6344254B2 (en) * | 2015-02-12 | 2018-06-20 | トヨタ自動車株式会社 | Sleepiness detection device |
-
2016
- 2016-10-14 JP JP2016202178A patent/JP6720821B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2018061724A (en) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101293411B1 (en) | Drowsiness assessment device and program | |
CN110211335B (en) | Method and device for detecting a microsleep of a driver of a vehicle | |
US7830266B2 (en) | Drowsy state determination device and method | |
KR101604232B1 (en) | Dozing-off detection method and device | |
JP4899059B2 (en) | Sleepiness detection device | |
JP6754368B2 (en) | A method performed by a device for determining fatigue and / or sleep of a vehicle driver | |
JP6387892B2 (en) | Sleepiness detection device | |
CN107554528B (en) | Fatigue grade detection method and device for driver and passenger, storage medium and terminal | |
JP4677963B2 (en) | Dozing detection device, dozing detection method | |
JP6754228B2 (en) | Methods and devices for supplying reference levels for eye opening | |
JP6399311B2 (en) | Dozing detection device | |
JP6662352B2 (en) | Drowsy driving alarm | |
JP6992693B2 (en) | Crew condition recognition device | |
JP2017194772A (en) | Arousal determination apparatus | |
JP5139470B2 (en) | Sleepiness level estimation device and sleepiness level estimation method | |
JP6720821B2 (en) | Blink detector | |
CN109426797B (en) | Doze detection device and doze detection method thereof | |
JP3556439B2 (en) | Face image processing device | |
JP2013257691A (en) | Doze state determination device and doze state determination method | |
JP3286887B2 (en) | Face image processing apparatus and face image processing method | |
JP3292035B2 (en) | Arousal level estimation device | |
JP5050794B2 (en) | Sleepiness detection device, sleepiness detection method | |
JP6281238B2 (en) | Recognition degree estimation device and recognition degree estimation method | |
JPH10272961A (en) | Doze alarm device | |
JP6638523B2 (en) | Face image processing device and face image processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200601 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6720821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |