JP2009125518A - Driver's blink detection method, driver's awakening degree determination method, and device - Google Patents
Driver's blink detection method, driver's awakening degree determination method, and device Download PDFInfo
- Publication number
- JP2009125518A JP2009125518A JP2007306713A JP2007306713A JP2009125518A JP 2009125518 A JP2009125518 A JP 2009125518A JP 2007306713 A JP2007306713 A JP 2007306713A JP 2007306713 A JP2007306713 A JP 2007306713A JP 2009125518 A JP2009125518 A JP 2009125518A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- image
- blink
- detection method
- blink detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置の技術分野に属する。 The present invention belongs to the technical field of a driver blink detection method, a driver arousal level determination method, and an apparatus.
従来では、一定時間当たりの瞬き時間データの頻度分布を求め、この頻度分布中に一定の瞬き時間内でピークが発生している場合は、その瞬き時間データを覚醒度低下の判定から除外している（例えば、特許文献１参照。）。
しかしながら、従来にあっては、毎回同じ程度の時間がかかる作業についてはピークが明確になり判定できるが、操作時間が一定しない場合には、判定が難しくなっていた。 Conventionally, however, the peak is clear and can be determined for work that takes the same amount of time each time, but it is difficult to determine when the operation time is not constant.
本発明は、上記問題点に着目してなされたもので、その目的とするところは、瞬きを確実に判定することができるドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置を提供することにある。 The present invention has been made paying attention to the above-mentioned problems, and an object of the present invention is to provide a driver blink detection method, a driver wakefulness determination method, and an apparatus that can reliably determine blink. It is in.
上記目的を達成するため、本発明では、車室内でドライバの顔を、連続して撮像し、最新の画像を現時点画像として取得し、前記現時点画像の直前の画像を直前画像として取得し、前記現時点画像と前記直前画像との差画像を生成し、前記差画像に目蓋の残像があるかどうかによりドライバの瞬きを検知する、ことを特徴とする。 In order to achieve the above object, in the present invention, the driver's face is continuously imaged in the passenger compartment, the latest image is acquired as the current image, the image immediately before the current image is acquired as the previous image, A difference image between the current image and the previous image is generated, and a blink of the driver is detected based on whether or not there is an afterimage of the eyelid in the difference image.
よって、本発明にあっては、瞬きを確実に判定することができる。 Therefore, in the present invention, blinking can be reliably determined.
以下、本発明のドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置を実現する実施の形態を、請求項１〜８に係る発明に対応する実施例１に基づいて説明する。 DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments for realizing a driver blink detection method, a driver arousal level determination method, and an apparatus according to the present invention will be described below based on a first embodiment corresponding to the inventions according to claims 1 to 8.
まず、構成を説明する。
図１は実施例１のドライバの瞬き検知方法を実施する覚醒度判断装置のブロック図である。
実施例１の覚醒度判断装置１は、制御判断部２、近赤外線カメラ３、近赤外線ライト４を備えている。
制御判断部２は、瞬き判定部２１、データログ部２２、覚醒度判断部２３、警告処理部２４からなる。そして、ドライバの覚醒度を判断して、必要に応じてドライバへの警告を行う出力を警告装置５に行う。
First, the configuration will be described.
FIG. 1 is a block diagram of a wakefulness determination device that performs the driver blink detection method according to the first embodiment.
The arousal level determination device 1 according to the first embodiment includes a control determination unit 2, a near infrared camera 3, and a near infrared light 4.
The control determination unit 2 includes a blink determination unit 21, a data log unit 22, a wakefulness determination unit 23, and a warning processing unit 24. Then, the warning level of the driver is determined, and an output for warning the driver is given to the warning device 5 as necessary.
瞬き判定部２１は、通常時には、ドライバの眼を検出し、ドライバの眼が検出できない場合には、瞬きかどうかの判定を行い、眼の検出の可否結果、瞬きかどうかの判定結果をデータログ部２２へ出力する。
データログ部２２は、時系列的に眼の検出可否の結果、瞬きかどうかの判定結果を記録する。
覚醒度判断部２３は、データログ部２２に記憶されたデータからドライバの覚醒度を判断する。そして、警告の必要が生じた場合には、警告処理部へ出力を行う。
The blink determination unit 21 normally detects the eyes of the driver. If the eyes of the driver cannot be detected, the blink determination unit 21 determines whether the eyes are blinking or not. To the unit 22.
The data log unit 22 records the determination result as to whether or not the eye blinks as a result of whether or not the eye can be detected in time series.
The arousal level determination unit 23 determines the driver's arousal level from the data stored in the data log unit 22. And when the necessity of warning arises, it outputs to a warning process part.
警告処理部２４では、覚醒度判断部２３からの情報により、警告装置５を制御する指令を出力する。なお、覚醒度判断部２３は複数段階の判断出力を行うようにし、警告処理部２４は、その段階に応じた警告を行うよう指令を出力する。
近赤外線カメラ３は、近赤外線ライト４により近赤外線光が照射されたドライバの顔画像を撮像する。
近赤外線ライト４は、近赤外線光をカメラの撮像タイミングに合わせてドライバの顔に照射する。
警告装置５は、音声や光、画像等によりドライバに警告を行うものであり、車両に装備される車両装置が兼ねることが望ましい。例えば、オーディオ装置、ナビ装置などである。また、別に専用の装置を設けるようにしてもよい。
The warning processing unit 24 outputs a command for controlling the warning device 5 based on information from the arousal level determination unit 23. Note that the arousal level determination unit 23 performs determination output in a plurality of stages, and the warning processing unit 24 outputs a command to perform a warning corresponding to the level.
The near-infrared camera 3 captures a driver's face image irradiated with near-infrared light by the near-infrared light 4.
The near-infrared light 4 irradiates the driver's face with near-infrared light in accordance with the imaging timing of the camera.
The warning device 5 warns the driver by voice, light, images, etc., and it is desirable that the warning device 5 also serves as a vehicle device equipped on the vehicle. For example, an audio device or a navigation device. A dedicated device may be provided separately.
図２に示すのは、瞬き判定部のブロック図である。
瞬き判定部２１は、画像記憶部２１１、画像処理部２１２、眼検出判断部２１３、瞬き検出部２１４を備えている。
画像記憶部２１１は、近赤外線カメラ３からの現在の画像と、１フレーム前又は１フィールド前の画像を少なくとも記憶するようにし、瞬き検出部２１４からの指令に応じて、現在の画像と、１フレーム前又は１フィールド前の画像とを記憶する。
画像処理部２１２は、近赤外線カメラ３からのドライバの顔が撮像された画像を処理して、ドライバの眼を検出する処理を行う。ドライバの眼を検出する処理としては、パターンマッチング、エッジ抽出、明瞳孔法などのいずれの方法によるものであってもよい。
FIG. 2 is a block diagram of the blink determination unit.
The blink determination unit 21 includes an image storage unit 211, an image processing unit 212, an eye detection determination unit 213, and a blink detection unit 214.
The image storage unit 211 stores at least a current image from the near-infrared camera 3 and an image one frame or one field before, and in response to a command from the blink detection unit 214, The image before the frame or one field before is stored.
The image processing unit 212 processes the image obtained by capturing the driver's face from the near-infrared camera 3 to detect the driver's eyes. The processing for detecting the driver's eyes may be performed by any method such as pattern matching, edge extraction, and bright pupil method.
眼検出判断部２１３は、ドライバの眼が検出できたのか、検出できなかったのかを画像処理部２１２の眼検出結果から判断する。検出できた場合は、そのことが示されるログ出力を行い、検出できない場合には、そのことを示す情報を、瞬き検出部２１４へ出力する。
瞬き検出部２１４は、現在の画像と１フレーム前or１フィールド前の画像を画像記憶部２１１から取得し、差画像を生成し、眼の位置に目蓋の残像が存在するかどうかを判断する。そして結果に応じたログ出力を行う。
The eye detection determination unit 213 determines from the eye detection result of the image processing unit 212 whether the driver's eyes have been detected or not. If it can be detected, log output indicating that is performed, and if it cannot be detected, information indicating that is output to the blink detection unit 214.
The blink detection unit 214 acquires the current image and the image one frame before or one field before from the image storage unit 211, generates a difference image, and determines whether or not an afterimage of the eyelid exists at the eye position. And log output according to the result is performed.
図３に示すのは、車両への近赤外線カメラの設置構成を示す説明図である。
車室内において、インストパネル６の手前側で、メーター表示の下側から手前側に突出するように設けられたステアリングコラム８の上部に、近赤外線カメラ３を設置する。
近赤外線ライト４は、近赤外線カメラ３内に一体的に設けられ、LEDにより投光を行うものとする。そして、近赤外線カメラ３内のレンズ前に帯域通過フィルタを設置し、近赤外線以外の光をカットする。
このように、近赤外線カメラ３は、ステアリングホイール７の内周側の貫通する空間を介して、ドライバの顔を撮像する設置構成である。
FIG. 3 is an explanatory diagram showing a configuration for installing a near-infrared camera on a vehicle.
In the passenger compartment, the near-infrared camera 3 is installed on the front side of the instrument panel 6 and above the steering column 8 provided so as to protrude from the lower side of the meter display to the front side.
The near-infrared light 4 is integrally provided in the near-infrared camera 3 and projects light by an LED. Then, a band pass filter is installed in front of the lens in the near infrared camera 3 to cut light other than near infrared rays.
Thus, the near-infrared camera 3 is an installation configuration that images the face of the driver through the space that penetrates the inner peripheral side of the steering wheel 7.
作用を説明する。
[眼位置追跡処理]
図４に示すのは、瞬き判定部２１で実行される眼位置追跡処理の流れを示すフローチャートで、以下各ステップについて説明する。
The operation will be described.
[Eye position tracking process]
FIG. 4 is a flowchart showing the flow of eye position tracking processing executed by the blink determination unit 21, and each step will be described below.
ステップＳ１では、前フレームで眼位置が見つかったかどうかを判断し、見つかったならばステップＳ２へ進み、見つからなかったならばステップＳ５へ進む。 In step S1, it is determined whether or not an eye position has been found in the previous frame. If found, the process proceeds to step S2, and if not found, the process proceeds to step S5.
ステップＳ２では、データログ部２２の眼位置履歴より、探索範囲を算出する。 In step S <b> 2, the search range is calculated from the eye position history of the data log unit 22.
ステップＳ３では、狭い探索範囲として算出された狭域眼位置の範囲を探索する。 In step S3, a narrow eye position range calculated as a narrow search range is searched.
ステップＳ４では、探索できたかどうかを判断し、探索できたならば眼位置追跡完了として処理を終了し、探索できないならばステップＳ６へ進む。 In step S4, it is determined whether or not a search has been made. If a search has been made, the process is terminated as tracking of the eye position is completed, and if a search has not been made, the process proceeds to step S6.
ステップＳ５では、広い探索範囲として算出された広域眼位置の範囲を探索し、ステップＳ１へ戻る。 In step S5, the wide eye position range calculated as a wide search range is searched, and the process returns to step S1.
ステップＳ６では、現在の画像と１フレーム前or１フィールド前の画像を画像記憶部２１１から取得し、差画像を生成する。 In step S6, the current image and the image one frame before or one field before are acquired from the image storage unit 211, and a difference image is generated.
ステップＳ７では、差画像から目蓋があるかどうかを判断し、目蓋があるならばステップＳ８へ進み、目蓋がないならば眼位置未検出と判断して処理を終了する。 In step S7, it is determined whether or not there is an eyelid from the difference image. If there is an eyelid, the process proceeds to step S8, and if there is no eyelid, it is determined that the eye position has not been detected, and the process ends.
ステップＳ８では、瞬き中と判定して、データログ部２２にログデータとして記録するようにして、眼位置追跡完了として処理を終了する。 In step S8, it is determined that the eye is blinking, and is recorded as log data in the data log unit 22, and the processing is terminated as the eye position tracking is completed.
[瞬きを確実に検出する作用]
図５は実施例１の覚醒度判断装置において瞬き状態が検出される画像の説明図である。図６は実施例１の覚醒度判断装置において下方目視のため瞬きが検出されない状態の画像の説明図である。図７は実施例１の覚醒度判断装置において瞬きでない平常時状態の画像の説明図である。
実施例１の覚醒度判断装置１では、車室内のステアリングコラム８に設置した近赤外線カメラ３によりドライバの顔を常時撮影する。
[Action to reliably detect blinks]
FIG. 5 is an explanatory diagram of an image in which a blinking state is detected in the arousal level determination device according to the first embodiment. FIG. 6 is an explanatory diagram of an image in a state where blinking is not detected due to downward viewing in the wakefulness determination device according to the first embodiment. FIG. 7 is an explanatory diagram of an image in a normal state that is not blinking in the wakefulness determination device according to the first embodiment.
In the awakening level determination device 1 according to the first embodiment, the driver's face is always photographed by the near-infrared camera 3 installed in the steering column 8 in the vehicle interior.
通常時は、眼検出判断部２１３により、眼の位置が、パターンマッチングやエッジ抽出、明瞳孔法などにより検出される。
ここで、例としてパターンマッチングによる方法を説明しておく。パターンマッチングでは、取得した画像を２値化、あるいは多数値化する処理を行い、予め眼の形状が複数パターンとして登録されたものを記憶しておき、これとのマッチング処理を行う。マッチングできた場合には、眼検出ができたとする（ステップＳ３、Ｓ４）。
In normal times, the eye detection determination unit 213 detects the position of the eye by pattern matching, edge extraction, a bright pupil method, or the like.
Here, a pattern matching method will be described as an example. In pattern matching, the acquired image is binarized or multi-valued, and an eye shape registered in advance as a plurality of patterns is stored, and matching processing is performed. If matching is possible, it is assumed that eye detection is possible (steps S3 and S4).
なお、この眼検出においては、検出処理の負荷、時間の短縮のために、前フレームで眼が検出されている場合には（ステップＳ１）、その眼の検出位置周辺に設定される狭い眼位置の探索範囲を設定し（ステップＳ２）、その範囲で探索を行う（ステップＳ３）。そして、前フレームで眼が検出されていない場合には、眼位置の探索範囲を広く設定して、その範囲で探索を行う（ステップＳ５）。この処理で眼の位置が探索されたならば、前フレームで眼が検出されていることになり（ステップＳ１）、その周辺の狭い範囲を探索する（ステップＳ２，Ｓ３）。 In this eye detection, when an eye is detected in the previous frame (step S1) in order to reduce the load and time of detection processing, a narrow eye position set around the eye detection position The search range is set (step S2), and the search is performed within the range (step S3). If the eye is not detected in the previous frame, the eye position search range is set wide, and the search is performed within that range (step S5). If the eye position is searched in this process, it means that the eye has been detected in the previous frame (step S1), and a narrow range around it is searched (steps S2 and S3).
このようにして、姿勢やドライバが変わる等が生じても、確実に眼検出が行われ、ドライバの覚醒度が確実に判定されるようにする。
そして、ドライバが瞬きをしている場合には、眼検出判断部２１３により眼が検出できないことになる。
その場合には、瞬き検出部２１４で瞬きを検出する処理を行う。
瞬き検出部２１４では、現時点のフレーム又はフィールドの画像をまず取得する。図５(b)には現在の画像を現時点画像２０２として示す。そして、画像記憶部２１１から、１フレーム前、または１フィールド前の画像を取得する。例えばＮＴＳＣ方式の画像であるならば、１フレームは１／３０secの画像であり、インタレースによる奇数画像、偶数画像は１／６０secの画像となる。図５(a)には、１フィールド前（１／６０sec前）の画像を直前画像２０１として示す。処理の軽減化から、１フィールド前での処理が望ましい。
In this way, even if the posture or driver changes, eye detection is performed reliably, and the driver's arousal level is reliably determined.
When the driver is blinking, the eyes cannot be detected by the eye detection determination unit 213.
In that case, the blink detection unit 214 performs a process of detecting blinks.
The blink detection unit 214 first acquires an image of the current frame or field. FIG. 5B shows the current image as the current image 202. Then, an image one frame before or one field before is acquired from the image storage unit 211. For example, if it is an NTSC image, one frame is an image of 1/30 sec, and an odd-numbered image and an even-numbered image by interlace are images of 1/60 sec. In FIG. 5A, an image one field before (1/60 sec before) is shown as the immediately preceding image 201. In order to reduce processing, it is desirable to perform processing one field before.
そして、この２つの画像の差画像２０３を生成する。差画像２０３は、各ピクセルの輝度の差の絶対値を取ることにより生成する。すると、短い時間差を持った２つの画像から差分を生成（作成）するために、動きの遅い部分はキャンセルされ真っ暗なものとなる。これに対して、瞬きのように目蓋が高速で上下する運動は、差画像中において残像のような形で映し出されることになる（図５(c)参照）。この処理はステップＳ６，Ｓ７で行われる。 Then, a difference image 203 between the two images is generated. The difference image 203 is generated by taking the absolute value of the difference in luminance of each pixel. Then, in order to generate (create) a difference from two images having a short time difference, the slow-moving portion is canceled and becomes completely dark. On the other hand, the movement in which the eyelid moves up and down at high speed like blinking is projected in the form of an afterimage in the difference image (see FIG. 5C). This process is performed in steps S6 and S7.
なお、瞬きのない平常な状態における現時点画像２０８(図７(b)参照）と、その１フィールド前（１／６０sec前）の直前画像２０７（図７(a)参照）の差画像２０９は、図７(c)のようになる。真っ暗なものであり、瞬きは検出されない。
また、メーター等をドライバが見る下方目視の状態では、現時点画像２０５は図６(b)のようになり、その１フィールド前（１／６０sec前）の直前画像２０４は図６(a)のようになる。差画像２０６は、真っ暗なものであり、瞬きは検出されない。
このように、瞬き検出部２１４では、確実に瞬きの動きを検出する。
The difference image 209 between the current image 208 (see FIG. 7B) in a normal state without blinking and the immediately preceding image 207 (see FIG. 7A) one field before (1/60 sec before) is: As shown in FIG. It is dark and blinking is not detected.
Further, in a state where the driver sees the meter or the like when viewed downward, the current image 205 is as shown in FIG. 6B, and the immediately preceding image 204 one field before (1/60 sec) is as shown in FIG. 6A. become. The difference image 206 is completely dark and no blink is detected.
In this manner, the blink detection unit 214 reliably detects blink movement.
次に、この瞬きの判定結果は、時間とともに、あるいは時間がわかる時系列的にデータログ部２２のログデータとして記録される。
この記録では、瞬き判定部２１により、眼が検出されず、且つ差画像中に眼が存在する領域に目蓋の残像が存在する場合を瞬きとし、単に眼が検出されなかっただけの場合は、何らかの別の要因で検出できていないものとして、覚醒度判定のデータログ部２２のログデータには記録しないようにする。
Next, the blink determination result is recorded as log data of the data log unit 22 along with the time or in a time series in which the time is known.
In this recording, when the eye is not detected by the blink determination unit 21 and the afterimage of the eyelid exists in the area where the eye is present in the difference image, the blink is used, and the eye is simply not detected. The data is not recorded in the log data of the data log unit 22 for determining the degree of arousal, because it cannot be detected due to some other factor.
覚醒度判断部２３では、このデータログ部２２のログデータから、例えば、平常時の瞬きの時間間隔の頻度と、覚醒度が低下、つまり眠気が発生している際の瞬きの時間間隔の頻度のグラフの違いを閾値等で定めておき、これを判別することにより覚醒度の低下を判断し、その度合いにより警告処理部２４から警告装置５へ指令を出力するようにして、ドライバに警告を、精度を向上した有効な時期に適切に与えるようにできる。これにより良好な運転が維持されるようにできる。
また、精度向上による適切化により警告の煩わしさを抑制することができる。
In the awakening level determination unit 23, for example, the frequency of the blinking time interval during normal times and the frequency of the blinking time interval when the arousal level is lowered, that is, when drowsiness occurs, from the log data of the data log unit 22. The difference between the graphs is determined by a threshold value, etc., and by determining this, a decrease in arousal level is determined, and a command is output from the warning processing unit 24 to the warning device 5 according to the degree, thereby warning the driver. , The accuracy can be improved and given appropriately. As a result, good operation can be maintained.
Moreover, the troublesomeness of warning can be suppressed by appropriateness by improving accuracy.
このように、実施例１の覚醒度判断装置１は、従来に比べて非常に有利である。
例えば、従来では何らかの要因で両目が同時に検出できない場合を瞬きと判定するが、それが瞬きに起因しない場合であっても、それを瞬きと検知してしまっていた。例えば、図６を参照して説明した下方を見るような場合、ドライバはうつむき気味のため、目蓋が下がり両目が検出できなくなる。
このような瞬きの誤検知が増えると、瞬きを基に覚醒度を判断する場合には影響が大きくなる。
As described above, the arousal level determination device 1 according to the first embodiment is very advantageous compared to the related art.
For example, in the past, when both eyes could not be detected simultaneously for some reason, it was determined as blinking, but even when it was not caused by blinking, it was detected as blinking. For example, when looking downward as described with reference to FIG. 6, the driver feels depressed and the eyes are lowered and both eyes cannot be detected.
When such false detection of blinking increases, the influence increases when the degree of arousal is determined based on blinking.
従来技術として挙げたもの（特開２００２−２９２７９）では、瞬き時間のヒストグラムを生成する。そして、ヒストグラム中にピークができる所を、毎回同じ程度の時間うつむいて眼を検知できなくなる作業を行っているとして、ピーク部分のデータを覚醒度判断のデータが除外している。しかし、車両のドライバにおいて、メーターの視認作業のような毎回同じ程度の時間がかかる作業については、ピークが明確になり判定できるが、カーナビ画面の確認やオーディオ操作といった操作時間が一定しない場合には、ピークが明確に現れないようになり、判定が困難になる。
実施例１の覚醒度判断装置１では、このような問題が解決され、確実な瞬き検出が行われる。そのため、覚醒度判断も精度が向上する。
In the prior art (Japanese Patent Laid-Open No. 2002-29279), a blink time histogram is generated. Then, it is assumed that the place where the peak is formed in the histogram is subjected to an operation in which the eye cannot be detected by obscuring the same amount of time every time, and the data of the peak portion is excluded from the data of the awakening degree determination. However, in the case of a vehicle driver, it can be determined that the work takes about the same amount of time each time, such as a visual inspection of a meter, but the peak is clear and can be determined, but if the operation time such as confirmation of the car navigation screen and audio operation is not constant , Peaks do not appear clearly, making determination difficult.
In the awakening level determination device 1 according to the first embodiment, such a problem is solved and reliable blink detection is performed. Therefore, the accuracy of the arousal level determination is improved.
次に、効果を説明する。 Next, the effect will be described.
実施例１のドライバの瞬き検知方法にあっては、下記に列挙する効果を得ることができる。 In the driver blink detection method of the first embodiment, the effects listed below can be obtained.
(1)車室内でドライバの顔を、連続して撮像し、最新の画像を現時点画像２０２として取得し、現時点画像２０２の直前の画像を直前画像として取得し、現時点画像２０２と直前画像２０１との差画像２０３を生成し、差画像２０３に目蓋の残像があるかどうかによりドライバの瞬きを検知するため、瞬きを確実に判定することができる。 (1) The driver's face is continuously imaged in the passenger compartment, the latest image is acquired as the current image 202, the image immediately before the current image 202 is acquired as the previous image, and the current image 202 and the previous image 201 The difference image 203 is generated, and the blink of the driver is detected based on whether or not the difference image 203 has an afterimage of the eyelid. Therefore, the blink can be reliably determined.
(2)差画像２０３は、各画点（各ピクセル）の輝度の差の絶対値を取ることにより生成されたものであるため、動きのない顔部分は真っ暗な画像部分となり、瞬きの際の目蓋の動きが残像として輝度のある画像部分となるようにし、瞬きを確実に差画像２０３で捉えることができる。 (2) Since the difference image 203 is generated by taking the absolute value of the luminance difference of each image point (each pixel), the non-moving face part becomes a dark image part, The movement of the eyelid becomes an image portion having luminance as an afterimage, and blinks can be reliably captured by the difference image 203.
(3)車室内でのドライバの顔の連続した撮像は、近赤外線をドライバの顔に照射し、照射位置近傍において、近赤外線の帯域波長を主に撮像する近赤外線カメラ３で行うため、ドライバの顔が外光で照らされる場合においても影響少なくドライバの顔を撮像し、瞬きを確実に判定することができる。 (3) Since the driver's face is continuously imaged in the passenger compartment by the near-infrared camera 3 that irradiates the driver's face with near-infrared light and mainly images the near-infrared band wavelength in the vicinity of the irradiation position. Even when the face of the driver is illuminated with external light, the driver's face can be imaged with little influence and the blink can be reliably determined.
(4)現時点画像２０２は、ＮＴＳＣ方式における１フレーム画像であり、直前画像２０１は、その直前の１フレーム画像であるため、特段の方式でなく既存の方式の連続したフレーム画像から差画像２０３を生成し、瞬きを確実に差画像２０３で捉えることができる。 (4) The current image 202 is a one-frame image in the NTSC system, and the immediately preceding image 201 is the immediately preceding one-frame image. Therefore, the difference image 203 is not obtained from a continuous frame image of the existing system but a special system. It is possible to generate and blink can be reliably captured by the difference image 203.
(5)現時点画像２０２は、ＮＴＳＣ方式における１フレーム画像内の１フィールド画像であり、直前画像２０１は、その直前の１フレーム画像内の１フィールド画像であるため、１フレーム画像をインタレースにより間引いた画像で処理を行うことができるため、処理を高速で、負荷少なく行うことができる。 (5) Since the current image 202 is a one-field image in one frame image in the NTSC system, and the immediately preceding image 201 is a one-field image in the immediately preceding one frame image, the one frame image is thinned out by interlace. Therefore, the processing can be performed at a high speed and with a low load.
(6)１フレーム画像は１／６０secの画像であるため、瞬きの際の目蓋の動きを確実に捉えることができる。 (6) Since one frame image is an image of 1/60 sec, the movement of the eyelid during blinking can be reliably captured.
(7)車室内でドライバの顔を撮像した画像からドライバの眼を検出し、車室内でドライバの顔を撮像した画像を一定期間前まで一時的に記憶し、ドライバの眼が検出できない場合に、請求項１〜請求項５に記載のドライバの瞬き検知方法を実行し、瞬きの時間間隔に基づいて、ドライバの覚醒度を判断するため、瞬きを確実に判定することができ、これにより覚醒度の判断の精度を向上させることができる。 (7) When the driver's eyes are detected from an image of the driver's face in the passenger compartment, and the driver's face is temporarily stored until a certain period before the driver's eyes are detected. Since the driver's blink detection method according to any one of claims 1 to 5 is executed and the driver's arousal level is determined based on the blink time interval, the blink can be reliably determined. The accuracy of the degree determination can be improved.
(8)ドライバの顔を連続して撮像する近赤外線カメラ３及び近赤外線ライト４と、ドライバの眼位置を検出し、且つドライバの眼位置が検出できない場合に、現時点画像２０２と直前画像２０１との差画像２０３に目蓋の残像があるかどうかによりドライバの瞬きを判定する瞬き判定部２１を備えたため、瞬きを確実に判定することができ、これにより覚醒度の判断の精度を向上させることができる。 (8) The near-infrared camera 3 and the near-infrared light 4 that continuously capture the driver's face, and when the driver's eye position is detected and the driver's eye position cannot be detected, the current image 202 and the immediately preceding image 201 Since the blink determination unit 21 that determines the driver's blink based on whether or not there is an afterimage of the eyelid in the difference image 203, the blink can be reliably determined, thereby improving the accuracy of the determination of the arousal level. Can do.
以上、本発明のドライバの瞬き検知方法を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。 Although the driver blink detection method of the present invention has been described based on the first embodiment, the specific configuration is not limited to these embodiments, and the invention according to each claim of the claims Design changes and additions are permitted without departing from the gist of the present invention.
例えば、現時点の画像を奇数フィールド画像とする場合は、その直前の偶数フィールドを1つ前の画像としてもよいし、偶数フィールドの前の奇数フィールドを１つ前の画像としてもよい。現在の画像を間引いたものと、直前の画像を間引いたもとなるからである。
また、例えば実施例１では、ＮＴＳＣ方式を用いたが他の方式であってもよい。
For example, when the current image is an odd field image, the even field immediately before it may be the previous image, or the odd field before the even field may be the previous image. This is because the current image is thinned out and the previous image is thinned out.
For example, in the first embodiment, the NTSC system is used, but another system may be used.
１ 覚醒度判断装置
２ 制御判断部
２１ 瞬き判定部
２１１ 画像記憶部
２１２ 画像処理部
２１３ 眼検出判断部
２１４ 瞬き検出部
２２ データログ部
２３ 覚醒度判断部
２４ 警告処理部
３ 近赤外線カメラ
４ 近赤外線ライト
５ 警告装置
６ インストパネル
７ ステアリングホイール
８ ステアリングコラム
９ シート
１００ （近赤外線カメラの）撮像範囲
２０１ （瞬き状態の）直前画像
２０２ （瞬き状態の）現時点画像
２０３ （瞬き状態の）差画像
２０４ （下方目視状態の）直前画像
２０５ （下方目視状態の）現時点画像
２０６ （下方目視状態の）差画像
２０７ （非瞬き、平常状態の）直前画像
２０８ （非瞬き、平常状態の）現時点画像
２０９ （非瞬き、平常状態の）差画像
DESCRIPTION OF SYMBOLS 1 Arousal level determination apparatus 2 Control determination part 21 Blink determination part 211 Image memory | storage part 212 Image processing part 213 Eye detection determination part 214 Blink detection part 22 Data log part 23 Awakening degree determination part 24 Warning process part 3 Near infrared camera 4 Near infrared rays Light 5 Warning device 6 Instrument panel 7 Steering wheel 8 Steering column 9 Sheet 100 (Near-infrared camera) Imaging range 201 (Blink state) Immediate image 202 (Blink state) Current image 203 (Blink state) Difference image 204 ( Previous image 205 (in a downward viewing state) Current image 206 (in a downward viewing state) Difference image 207 (in a downward viewing state) Previous image 208 (in a non-blink, normal state) Current image 209 (in a non-blink, normal state) Difference image (blink, normal)
Claims (8)
最新の画像を現時点画像として取得し、
前記現時点画像の直前の画像を直前画像として取得し、
前記現時点画像と前記直前画像との差画像を生成し、
前記差画像に目蓋の残像があるかどうかによりドライバの瞬きを検知する、
ことを特徴とするドライバの瞬き検知方法。 The driver's face is continuously imaged in the passenger compartment,
Get the latest image as the current image,
Obtaining an image immediately before the current image as a previous image;
Generating a difference image between the current image and the immediately preceding image;
Detecting blinking of the driver depending on whether there is an afterimage of the eyelid in the difference image;
A blink detection method for a driver characterized by the above.
前記差画像は、各画点の輝度の差の絶対値を取ることにより生成されたものである、
ことを特徴とするドライバの瞬き検知方法。 The driver blink detection method according to claim 1,
The difference image is generated by taking an absolute value of a difference in luminance of each image point.
A blink detection method for a driver characterized by the above.
車室内でのドライバの顔の連続した撮像は、
近赤外線をドライバの顔に照射し、
照射位置近傍において、近赤外線の帯域波長を主に撮像するカメラで行う、
ことを特徴とするドライバの瞬き検知方法。 In the driver blink detection method according to claim 2,
Continuous imaging of the driver's face in the passenger compartment
Irradiate the driver's face with near infrared rays,
In the vicinity of the irradiation position, with a camera that mainly images the near-infrared band wavelength,
A blink detection method for a driver characterized by the above.
前記現時点画像は、ＮＴＳＣ方式における１フレーム画像であり、
前記直前画像は、その直前の１フレーム画像である、
ことを特徴とするドライバの瞬き検知方法。 In the blink detection method of the driver according to any one of claims 1 to 3,
The current image is a one-frame image in the NTSC system,
The immediately preceding image is a one-frame image immediately before it.
A blink detection method for a driver characterized by the above.
前記現時点画像は、ＮＴＳＣ方式における１フレーム画像内の１フィールド画像であり、
前記直前画像は、その直前の１フレーム画像内の１フィールド画像である、
ことを特徴とするドライバの瞬き検知方法。 In the driver blink detection method according to claim 4,
The current image is one field image in one frame image in the NTSC system,
The immediately preceding image is a one-field image in the immediately preceding one frame image,
A blink detection method for a driver characterized by the above.
１フレーム画像は１／６０secの画像である、
ことを特徴とするドライバの覚醒度判断方法。 In the driver blink detection method according to claim 4 or claim 5,
One frame image is an image of 1/60 sec.
A method for determining a driver's arousal level.
車室内でドライバの顔を撮像した画像を一定期間前まで一時的に記憶し、
ドライバの眼が検出できない場合に、請求項１〜請求項６に記載のドライバの瞬き検知方法を実行し、
瞬きの時間間隔に基づいて、ドライバの覚醒度を判断する、
ことを特徴とするドライバの覚醒度判断方法。 Detect the driver ’s eyes from the image of the driver ’s face in the passenger compartment,
An image of the driver ’s face in the passenger compartment is temporarily stored until a certain period of time,
When the driver's eyes cannot be detected, the driver blink detection method according to claim 1 to claim 6 is executed.
Determine the driver's arousal level based on the blink time interval,
A method for determining a driver's arousal level.
ドライバの眼位置を検出し、且つドライバの眼位置が検出できない場合に、現時点の画像と直前の画像との差画像に目蓋の残像があるかどうかによりドライバの瞬きを判定する瞬き判定手段と、
を備えたことを特徴とする覚醒度判断装置。 Imaging means for continuously imaging the driver's face;
Blink determination means for detecting the driver's eye position and determining the driver's blink based on whether there is an afterimage of the eyelid in the difference image between the current image and the previous image when the driver's eye position cannot be detected; ,
A wakefulness determination device characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007306713A JP2009125518A (en) | 2007-11-28 | 2007-11-28 | Driver's blink detection method, driver's awakening degree determination method, and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007306713A JP2009125518A (en) | 2007-11-28 | 2007-11-28 | Driver's blink detection method, driver's awakening degree determination method, and device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009125518A true JP2009125518A (en) | 2009-06-11 |
Family
ID=40817008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007306713A Pending JP2009125518A (en) | 2007-11-28 | 2007-11-28 | Driver's blink detection method, driver's awakening degree determination method, and device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009125518A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103735278A (en) * | 2013-12-25 | 2014-04-23 | 中国科学院苏州生物医学工程技术研究所 | Method for objectively detecting dangerous driving behaviors |
| JP2016137155A (en) * | 2015-01-28 | 2016-08-04 | 京セラ株式会社 | Determination method for eye's open/close state, picture processing apparatus, and determination system |
| JP2017006491A (en) * | 2015-06-24 | 2017-01-12 | キヤノン株式会社 | Ophthalmologic device, control method, and program |
| JP2021033755A (en) * | 2019-08-27 | 2021-03-01 | 矢崎総業株式会社 | Image processing device, image processing method, and image processing program |
| WO2021075563A1 (en) * | 2019-10-17 | 2021-04-22 | ヌヴォトンテクノロジージャパン株式会社 | Monitoring system and program |
| WO2023004625A1 (en) * | 2021-07-28 | 2023-02-02 | 华为技术有限公司 | Electric vehicle control system, and electric vehicle |
-
2007
- 2007-11-28 JP JP2007306713A patent/JP2009125518A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103735278A (en) * | 2013-12-25 | 2014-04-23 | 中国科学院苏州生物医学工程技术研究所 | Method for objectively detecting dangerous driving behaviors |
| JP2016137155A (en) * | 2015-01-28 | 2016-08-04 | 京セラ株式会社 | Determination method for eye's open/close state, picture processing apparatus, and determination system |
| JP2017006491A (en) * | 2015-06-24 | 2017-01-12 | キヤノン株式会社 | Ophthalmologic device, control method, and program |
| JP2021033755A (en) * | 2019-08-27 | 2021-03-01 | 矢崎総業株式会社 | Image processing device, image processing method, and image processing program |
| WO2021075563A1 (en) * | 2019-10-17 | 2021-04-22 | ヌヴォトンテクノロジージャパン株式会社 | Monitoring system and program |
| US11904869B2 (en) | 2019-10-17 | 2024-02-20 | Nuvoton Technology Corporation Japan | Monitoring system and non-transitory storage medium |
| WO2023004625A1 (en) * | 2021-07-28 | 2023-02-02 | 华为技术有限公司 | Electric vehicle control system, and electric vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4853389B2 (en) | Face image capturing device | |
| JP5061767B2 (en) | Image processing apparatus and image processing method | |
| JP4899059B2 (en) | Sleepiness detection device | |
| JP4888838B2 (en) | Driver imaging device and driver imaging method | |
| US8345922B2 (en) | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil | |
| US20060287779A1 (en) | Method of mitigating driver distraction | |
| JP5233322B2 (en) | Information processing apparatus and method, and program | |
| JP2016103249A (en) | Driving support device and driving support method | |
| JPWO2008029802A1 (en) | Driving information providing device | |
| EP1862111A1 (en) | Eye monitoring method and apparatus with glare spot shifting | |
| JP4528283B2 (en) | Vehicle periphery monitoring device | |
| JP2009125518A (en) | Driver's blink detection method, driver's awakening degree determination method, and device | |
| JP2017016568A (en) | Driver abnormality detection device | |
| JP2008167806A (en) | Sleepiness detector | |
| JP2009199328A (en) | Operation recording and evaluating apparatus for vehicle | |
| JP6805716B2 (en) | Display device, display method, program | |
| JP2010191793A (en) | Alarm display and alarm display method | |
| JP2014109958A (en) | Photographed image display device, and photographed image display method | |
| JP2007207274A (en) | Start annunciation device | |
| JP2016111509A (en) | Image processing device for vehicle, image processing method for vehicle and program | |
| JP2018148530A (en) | Vehicle display controller, vehicle display system, vehicle display control method, and program | |
| JP2009254691A (en) | Pupil detecting method and apparatus | |
| US8405714B2 (en) | Pupil hidden state detecting apparatus and vehicle-mounted camera employing the same | |
| US10945651B2 (en) | Arousal level determination device | |
| EP2417902B1 (en) | Pupil covering state detection device, and in-vehicle camera provided therewith |