JPH11161798A - Vehicle driver monitoring device - Google Patents
Vehicle driver monitoring deviceInfo
- Publication number
- JPH11161798A JPH11161798A JP9330581A JP33058197A JPH11161798A JP H11161798 A JPH11161798 A JP H11161798A JP 9330581 A JP9330581 A JP 9330581A JP 33058197 A JP33058197 A JP 33058197A JP H11161798 A JPH11161798 A JP H11161798A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- difference value
- image
- value
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は車両運転者監視装
置、特に運転者の顔画像を処理して運転者の状態を検出
する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle driver monitoring device, and more particularly to a device for processing a driver's face image to detect a driver's condition.
【０００２】[0002]
【従来の技術】従来より、車両運転者の顔画像を撮影
し、得られた画像を処理して運転者の脇見や居眠りを検
出する装置が開発されている。2. Description of the Related Art Conventionally, there has been developed an apparatus for photographing a face image of a vehicle driver and processing the obtained image to detect the driver's inattentiveness and drowsiness.
【０００３】例えば、特開平４−６８５００号公報に
は、運転者が存在しない状態で撮影された背景画像と、
運転者がいる状態で撮影された運転者画像との差分（背
景差分）を演算することで車両運転者の顔位置を算出
し、顔位置画像をニューラルネットワークに入力して運
転者の顔の向きや目の状態を検出する装置が開示されて
いる。For example, Japanese Patent Application Laid-Open No. 4-68500 discloses a background image photographed without a driver,
By calculating the difference (background difference) from the driver image taken with the driver present, the face position of the vehicle driver is calculated, and the face position image is input to the neural network to turn the face of the driver. A device for detecting the condition of eyes and eyes is disclosed.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、このよ
うに背景画像との差分を演算することにより運転者の顔
位置を算出する構成の場合、背景画像を記憶するための
メモリが必須となり、しかも背景の明るさの変化に対応
するため複数の背景画像を予めメモリに記憶しておく必
要が生じ、装置構成の複雑化を招く問題があった。However, in the case of such a configuration in which the driver's face position is calculated by calculating the difference from the background image, a memory for storing the background image is indispensable. In order to cope with the change in brightness, a plurality of background images need to be stored in a memory in advance, causing a problem that the configuration of the apparatus becomes complicated.
【０００５】また、運転者を撮影した画像に背景部分が
含まれており、この背景部分がメモリに記憶されている
背景画像の背景部分と異なる場合、この部分でも差分値
が発生するので、顔部分だけを抽出することが困難とな
る場合もあった。[0005] Further, if a background portion is included in an image of the driver, and this background portion is different from the background portion of the background image stored in the memory, a difference value is also generated in this portion. In some cases, it was difficult to extract only the part.
【０００６】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、複数の背景画像を
予め記憶しておくメモリを不要とし、簡易な構成で確実
に運転者の顔位置を算出することができ、これにより運
転者の状態を容易に監視することができる装置を提供す
ることにある。SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems of the prior art, and has as its object to obviate the need for a memory for storing a plurality of background images in advance, and to ensure the driver's face with a simple configuration. It is an object of the present invention to provide a device that can calculate a position and thereby easily monitor a state of a driver.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、所定の時間間隔で車室内の運転者を
順次撮影する撮影手段と、得られた画像の時間差分値を
算出する時間差分算出手段と、前記時間差分値に基づい
て前記運転者の顔位置を算出する顔位置算出手段と、前
記顔位置にある運転者画像を処理することにより前記運
転者の状態を検出する処理手段とを有することを特徴と
する。ここで、「時間差分値」とは、運転者の存在しな
い背景画像と運転者の存在する画像（運転者画像）との
差分値ではなく、時間的に異なる運転者画像同士の差分
値をいう。時間差分値を用いることで、複数の背景画像
を予め記憶しておく必要が無くなる。According to a first aspect of the present invention, there is provided a photographing means for sequentially photographing a driver in a vehicle cabin at a predetermined time interval, and a time difference value of the obtained image. Time difference calculating means for calculating, face position calculating means for calculating the driver's face position based on the time difference value, and detecting the state of the driver by processing a driver image at the face position And processing means for performing the processing. Here, the “time difference value” is not a difference value between a background image in which a driver does not exist and an image in which a driver is present (driver image), but is a difference value between driver images different in time. . By using the time difference value, it is not necessary to store a plurality of background images in advance.
【０００８】また、上記目的を達成するために、第２の
発明は、第１の発明において、前記運転者の頭頂部位置
を含み、かつ車外の背景を含まない背景画像を記憶する
記憶手段と、前記背景画像と前記撮影手段で得られた画
像との差分値を算出する背景差分算出手段とをさらに有
し、前記顔位置算出手段は、前記時間差分値及び前記背
景差分値に基づいて前記運転者の顔位置を算出すること
を特徴とする。ここで、「背景画像」は従来のように複
数ではなく、単一である。時間差分値のみでは運転者の
顔位置を正確に算出できない場合には、補充的に背景画
像を用いることで、確実に運転者の顔位置を算出するこ
とができる。In order to achieve the above object, a second invention according to the first invention, wherein a storage means for storing a background image including a top position of the driver and not including a background outside the vehicle. Further comprising a background difference calculation unit that calculates a difference value between the background image and the image obtained by the imaging unit, wherein the face position calculation unit is configured to calculate the difference value based on the time difference value and the background difference value. It is characterized in that the driver's face position is calculated. Here, the "background image" is not a plurality as in the related art, but is a single. If the driver's face position cannot be accurately calculated by only the time difference value, the driver's face position can be reliably calculated by supplementarily using the background image.
【０００９】また、第３の発明は、第１、第２の発明に
おいて、前記時間差分算出手段で有意の差分値が算出さ
れない場合には、前記時間間隔を増大させる制御手段を
さらに有することを特徴とする。時間間隔を増大させる
ことで、時間差分値を確実に算出することができる。In a third aspect, in the first and second aspects, when the time difference calculating means does not calculate a significant difference value, the time difference calculating means further comprises control means for increasing the time interval. Features. By increasing the time interval, the time difference value can be reliably calculated.
【００１０】また、第４の発明は、第３の発明におい
て、前記処理手段は、前記制御手段で前記時間間隔を一
定値以上に増大させても前記時間差分算出手段で有意の
差分値が算出されない場合には、前記運転者の意識低下
状態を検出することを特徴とする。時間差分値は、運転
者の動く量を反映しており、従って一定時間以上運転者
の動きが検出されなかった場合には、運転者の意識が低
下しているとみなすことができる。In a fourth aspect based on the third aspect, the processing means calculates a significant difference value by the time difference calculation means even if the control means increases the time interval to a certain value or more. If not, detecting the driver's unconsciousness state. The time difference value reflects the amount of movement of the driver, and therefore, if the movement of the driver is not detected for a certain period of time or more, it can be considered that the driver's consciousness has decreased.
【００１１】また、第５の発明は、第４の発明におい
て、前記処理手段は、所定時間内における前記意識低下
状態の検出回数に基づいて前記運転者の意識低下の度合
いを検出することを特徴とする。すなわち、検出回数が
多い程、意識低下の度合いが大きいとみなすことができ
る。In a fifth aspect based on the fourth aspect, the processing means detects the degree of the driver's consciousness reduction based on the number of times the consciousness reduction state is detected within a predetermined time. And In other words, the greater the number of detections, the greater the degree of consciousness degradation can be considered.
【００１２】また、第６の発明は、第１〜第３の発明に
おいて、前記処理手段は、算出された横方向差分値が縦
方向差分値に比べて所定値以上大きい場合には、前記運
転者の状態を居眠りと検出することを特徴とする。運転
者の居眠りの典型的なタイプは、いわゆる「こっくり」
であり、運転者の顔は上下方向に揺れることになる。顔
の上下方向の揺れは、時間差分値では横方向成分（特に
頭頂部と顎の位置）として現れるから、時間差分値の横
方向成分と縦方向を比較することで「こっくり」を検出
でき、運転者の居眠りを検出することができる。According to a sixth aspect of the present invention, in the first to third aspects, the processing means includes a step of, when the calculated horizontal difference value is larger than the vertical difference value by a predetermined value or more. Detecting the state of the person as dozing. A typical type of driver's dozing is the so-called "sickness"
Therefore, the driver's face shakes up and down. Since the vertical swing of the face appears as a horizontal component in the time difference value (especially the position of the crown and the chin), by comparing the horizontal component of the time difference value with the vertical direction, it is possible to detect "thickness", It is possible to detect a driver falling asleep.
【００１３】[0013]
【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１４】図１には、本実施形態の構成ブロック図が
示されている。カメラ１０は、車室内の所定位置に設け
られ、車両運転者を撮影して得られた画像を顔方向検出
装置１２に出力する。撮影は、所定のサンプリング時間
で順次行われ、得られた運転者画像は順次顔方向検出装
置１２に供給される。サンプリングタイミングは、例え
ば０．２ｓｅｃに設定される。FIG. 1 is a block diagram showing the configuration of this embodiment. The camera 10 is provided at a predetermined position in the vehicle compartment, and outputs an image obtained by photographing the vehicle driver to the face direction detecting device 12. The photographing is sequentially performed at a predetermined sampling time, and the obtained driver images are sequentially supplied to the face direction detecting device 12. The sampling timing is set to, for example, 0.2 sec.
【００１５】顔方向検出装置１２は、メモリを含む画像
処理コンピュータで構成され、入力した運転者画像の差
分演算を行うことで、運転者の顔位置を検出する。差分
演算は、あるサンプリングタイミングｔで得られた運転
者画像と、その次のサンプリングタイミングｔ＋１で得
られた運転者画像の差分であり、従来の背景画像との差
分（背景差分）に対して時間差分を行うものである。こ
の時間差分で得られる差分値は、サンプリング間隔にお
ける運転者の動きであり、この動きから運転者の顔位置
を検出する。そして、検出された顔位置における画像か
らさらに運転者の顔の向きを検出し、脇見計算部１４に
出力する。運転者の顔の向きを検出する方法としては、
例えば上述した特開平４−６８５００号公報と同様なニ
ューラルネットワークを用いることができる。なお、メ
モリは、時間差分を演算するための画像メモリとして機
能する他、単一の背景画像を記憶するためにも用いられ
るが、その詳細については後述する。The face direction detecting device 12 is composed of an image processing computer including a memory, and detects a driver's face position by performing a difference calculation of the inputted driver image. The difference calculation is a difference between the driver image obtained at a certain sampling timing t and the driver image obtained at the next sampling timing t + 1. This is to make a difference. The difference value obtained by this time difference is the movement of the driver during the sampling interval, and the face position of the driver is detected from this movement. Then, the direction of the driver's face is further detected from the image at the detected face position and output to the inattentiveness calculation unit 14. To detect the direction of the driver ’s face,
For example, a neural network similar to that described in JP-A-4-68500 can be used. The memory is used not only as an image memory for calculating a time difference, but also for storing a single background image, the details of which will be described later.
【００１６】脇見計算部１４は、コンピュータで構成さ
れ、顔方向検出装置１２からの顔方向信号及び図示しな
いセンサで検出された車両の操舵角や車速を入力し、運
転者の脇見を検出し、運転席に設けられた表示器やスピ
ーカを介してその旨を表示し、あるいは警報を発生す
る。The inattentiveness calculation unit 14 is constituted by a computer, inputs a face direction signal from the face direction detection device 12 and a steering angle and a vehicle speed of the vehicle detected by a sensor (not shown), and detects an inattentiveness of the driver. This is indicated through a display or a speaker provided in the driver's seat, or an alarm is issued.
【００１７】これら各構成のうち、顔方向検出装置１２
が時間差算出手段及び顔位置算出手段として機能し、顔
方向検出装置１２及び脇見計算部１４が処理手段として
機能する。Among these components, the face direction detecting device 12
Functions as a time difference calculating unit and a face position calculating unit, and the face direction detecting device 12 and the inattentive calculating unit 14 function as processing units.
【００１８】図２及び図３には、顔方向検出装置１２の
処理フローチャートが示されている。まず、カメラ１０
で撮影された画像を順次入力し（Ｓ１０１）、その差分
を演算する（Ｓ１０２）。この差分演算は、上述したよ
うにサンプリングタイミングｔで得られた運転者画像と
次のサンプリングタイミングｔ＋１で得られた運転者画
像との差分（時間差分）である。そして、時間差分して
得られた差分画像の内、有限の値を有する画素数をカウ
ントする（Ｓ１０３）。有限の値を有する画素とは、サ
ンプリング間隔で異なる画素値を有する画素であり、運
転者が動いた部分の画素である。カウント値をＰｔとす
る。なお、有限値をカウントする際には、ノイズ成分を
除去するために微小値（例えば最大値の５％程度）をゼ
ロとするのが好適である。FIGS. 2 and 3 show a processing flowchart of the face direction detecting device 12. FIG. First, the camera 10
Are sequentially input (S101), and the difference is calculated (S102). This difference calculation is the difference (time difference) between the driver image obtained at the sampling timing t and the driver image obtained at the next sampling timing t + 1 as described above. Then, the number of pixels having a finite value is counted from the difference images obtained by the time difference (S103). The pixel having a finite value is a pixel having a different pixel value at a sampling interval, and is a pixel in a portion where the driver has moved. Let the count value be Pt. When a finite value is counted, it is preferable to set a minute value (for example, about 5% of the maximum value) to zero in order to remove a noise component.
【００１９】差分画素値をカウントした後、現在のサン
プリング間隔Ｔが所定のしきい値Ｃｔ（例えば１ｓｅ
ｃ）より大きいか否かを判定する（Ｓ１０４）。当初は
例えば０．２ｓｅｃに設定されているのでＮＯと判定さ
れ、さらにＳ１０３で算出されたカウント値Ｐｃが所定
値Ｃoより大きいか否かを判定する（Ｓ１０６）。サン
プリング間隔Ｔにおいて算出された差分のカウント値Ｐ
ｃが所定値Ｃo以下である場合には、運転者は動きを示
さなかったことを意味するから、再びＳ１０１に戻って
新たに運転者画像を入力し、時間差分を演算する（Ｓ１
０２、Ｓ１０３）。この時の差分値は、サンプリングタ
イミングｔにおける運転者画像と、サンプリングタイミ
ングｔ＋２における運転者画像との差分値であり、サン
プリング間隔が２倍（例えば０．４ｓｅｃ）となった時
間差分値である。すなわち、顔方向検出装置１２は、有
意の差分値が算出されない場合には、サンプリングの時
間間隔を増大制御して再び時間差分を実行する。そし
て、再びサンプリング間隔が所定のしきい値Ｃｔを超え
たか否かを判定し（Ｓ１０４）、超えていない場合に
は、差分のカウント値Ｐｃが所定のしきい値Ｃoを超え
たか否かを判定する（Ｓ１０６）。サンプリング間隔を
２倍と増大させた場合のカウント値Ｐｃが所定値Ｃoを
超えている場合には、運転者が有意の動きを示したこと
を意味するから、次のステップに移行する。一方、サン
プリング間隔を増大させてもカウント値Ｐｃが所定値Ｃ
oを超えない場合には、再びＳ１０１に戻って画像を入
力し、時間差分を算出する。この時の時間差分は、サン
プリングタイミングｔの運転者画像と、サンプリングタ
イミングｔ＋３における運転者画像の差分であり、サン
プリング間隔がさらに増大した時間差分である。After counting the difference pixel value, the current sampling interval T is changed to a predetermined threshold value Ct (for example, 1 second).
c) It is determined whether it is larger than (S104). Initially, for example, it is set to 0.2 sec, so it is determined as NO, and it is further determined whether or not the count value Pc calculated in S103 is larger than a predetermined value Co (S106). Count value P of difference calculated at sampling interval T
If c is equal to or less than the predetermined value Co, it means that the driver has not shown any movement, so the process returns to S101 again, inputs a new driver image, and calculates a time difference (S1).
02, S103). The difference value at this time is a difference value between the driver image at the sampling timing t and the driver image at the sampling timing t + 2, and is a time difference value at which the sampling interval is doubled (for example, 0.4 sec). That is, when a significant difference value is not calculated, the face direction detection device 12 controls to increase the sampling time interval and executes the time difference again. Then, it is determined again whether the sampling interval has exceeded the predetermined threshold value Ct (S104). If not, it is determined whether the difference count value Pc has exceeded the predetermined threshold value Co. (S106). If the count value Pc when the sampling interval is doubled and exceeds the predetermined value Co, it means that the driver has made a significant movement, and the process proceeds to the next step. On the other hand, even if the sampling interval is increased, the count value Pc remains at the predetermined value C.
If it does not exceed o, the flow returns to S101 again to input an image and calculate a time difference. The time difference at this time is a difference between the driver image at the sampling timing t and the driver image at the sampling timing t + 3, and is a time difference in which the sampling interval is further increased.
【００２０】以上のようにして、差分のカウント値が所
定値Ｃ0を超えない場合には、顔方向検出装置１２は順
次サンプリング間隔を増大させてゆく。そして、カウン
ト値Ｐｃが所定値Ｃoを超えないままサンプリング間隔
が所定値Ｃｔを超えてしまった場合には（Ｓ１０４でＹ
ＥＳ）、時間差分を算出する際の基準となる画像（サン
プリングタイミングｔにおける運転者画像）を新たに入
力した画像と入れ替えて（Ｓ１０５）、再び時間差分を
演算する。従って、この時には再びサンプリング間隔Ｔ
が当初の値に戻ることになる。なお、基準画像を入れ替
えた場合には、顔方向検出装置１２はその旨の信号を脇
見計算部１４に出力し、脇見計算部１４では、この信号
に基づいて運転者の意識が低下していると判定する。所
定時間を超えても運転者の動きが検出されない場合に
は、運転者の意識が低下した結果その動きが著しく低下
していると考えられるからである。As described above, when the count value of the difference does not exceed the predetermined value C0, the face direction detecting device 12 sequentially increases the sampling interval. When the sampling interval exceeds the predetermined value Ct without the count value Pc exceeding the predetermined value Co (Y in S104)
ES), the image (driver image at sampling timing t) serving as a reference when calculating the time difference is replaced with the newly input image (S105), and the time difference is calculated again. Therefore, at this time, the sampling interval T
Will return to the original value. When the reference image is replaced, the face direction detection device 12 outputs a signal to that effect to the inattentive calculation unit 14, and the driver's consciousness is reduced based on this signal at the inattentive calculation unit 14. Is determined. This is because, if the movement of the driver is not detected even after the predetermined time has elapsed, the movement of the driver is considered to be significantly reduced as a result of the driver's consciousness being reduced.
【００２１】また、顔方向検出装置１２から基準画像を
入れ替えた旨の信号（つまり、所定時間を超えても有意
の差分値が得られない場合）が複数回出力された場合に
は、脇見計算部１４はその回数に比例して運転者の意識
低下の度合いが大きくなっていると判定し、表示や警報
を出力する。具体的には、意識低下の度合いを例えばレ
ベル１（軽度）、レベル２（中度）、レベル３（重度）
と３段階で評価し、１回出力された場合にはレベル１、
２回出力された場合にはレベル２、３回以上出力された
場合にはレベル３と判定する等である。運転者の動きが
ない時間が長時間続く程、運転者の意識はより低下して
いると考えられるからである。If a signal indicating that the reference image has been replaced is output from the face direction detecting device 12 a plurality of times (that is, if a significant difference value cannot be obtained even after a predetermined time has elapsed), the inattentive calculation is performed. The unit 14 determines that the degree of the driver's consciousness has decreased in proportion to the number of times, and outputs a display or an alarm. Specifically, the degree of consciousness reduction is, for example, level 1 (mild), level 2 (medium), level 3 (severe)
Is evaluated in three steps, and if output once, level 1,
If the signal is output twice, it is determined that the signal is level 2, and if it is output three or more times, the signal is determined to be level 3. This is because the driver's consciousness is considered to be lower as the time during which the driver does not move continues for a longer time.
【００２２】一方、差分のカウント値Ｐｃが所定値Ｃo
を超えている場合には、次に差分値の縦方向（上下方
向）及び横方向（左右方向）のヒストグラムを算出して
その積分値を演算し（Ｓ１０７、Ｓ１０９）、演算結果
に基づいて運転者の顔の横方向位置及び縦方向位置を決
定する（Ｓ１０８、Ｓ１１０）。On the other hand, the difference count value Pc is equal to a predetermined value Co.
If the difference exceeds, the histograms of the difference value in the vertical direction (vertical direction) and the horizontal direction (horizontal direction) are calculated, and the integrated value is calculated (S107, S109), and the operation is performed based on the calculation result. The horizontal position and the vertical position of the person's face are determined (S108, S110).
【００２３】図４には、時間差分して得られる差分画像
が模式的に示されている。図中、細線は差分値が小さい
画素を示し（ゼロではない）、実線はある程度以上大き
い（つまり所定値Ｃoを超えている）画素を示してい
る。FIG. 4 schematically shows a difference image obtained by time difference. In the figure, a thin line indicates a pixel having a small difference value (not zero), and a solid line indicates a pixel which is larger than a certain value (that is, exceeds a predetermined value Co).
【００２４】図５（Ａ）には、縦方向及び横方向の差分
画素の積分値が模式的に示されている。縦方向の積分値
は、図に示すようにｘ１とｘ２でそれぞれピーク値ｐ及
びｑをとり、これらの位置で運転者の動きが最も大きい
ことを示している。また、横方向の積分値は、図に示す
ようにｙ１とｙ２でそれぞれピーク値ｒ及びｓをとり、
これらの位置で運転者の動きが最も大きいことを示して
いる。最も動きの大きい位置がとりもなおさず運転者の
顔の輪郭であると考えられるため、顔方向検出装置１２
は、これらの位置ｘ１、ｘ２、ｙ１、ｙ２に基づいて運
転者の顔位置を決定する。FIG. 5A schematically shows the integral values of the difference pixels in the vertical and horizontal directions. As shown in the figure, the vertical integral takes peak values p and q at x1 and x2, respectively, indicating that the driver's movement is the largest at these positions. Also, the integrated value in the horizontal direction takes peak values r and s at y1 and y2, respectively, as shown in FIG.
It shows that the driver's movement is the largest at these positions. Since the position where the movement is greatest is considered to be the contour of the driver's face, the face direction detection device 12
Determines the driver's face position based on these positions x1, x2, y1, y2.
【００２５】図５（Ｂ）には、以上のようにして決定さ
れた運転者の顔位置１００が示されている。この顔位置
１００は、図５（Ａ）で決定されたｘ１及びｘ２で横方
向が規定され、図５（Ａ）で決定されたｙ１及びｙ２で
縦方向が規定されたものである。なお、ｘ１及びｘ２を
決定するに際しても、ピーク値ｐ及びｑを複数求め、ピ
ーク値間の距離が最も大きい組の位置をｘ１及びｘ２と
することで、より確実に顔の位置を決定することができ
る。もちろん、前回検出されたｘ１及びｘ２を基準とし
て今回のヒストグラムを算出することも確実性の観点か
らは好適である。FIG. 5B shows the driver's face position 100 determined as described above. In the face position 100, the horizontal direction is defined by x1 and x2 determined in FIG. 5A, and the vertical direction is defined by y1 and y2 determined in FIG. 5A. In determining x1 and x2, a plurality of peak values p and q are obtained, and the position of the set having the largest distance between the peak values is defined as x1 and x2, so that the position of the face can be determined more reliably. Can be. Of course, it is also preferable from the viewpoint of certainty to calculate the current histogram based on the previously detected x1 and x2.
【００２６】また、顔位置を決定する際に、ｘ１、ｘ２
をそのまま用いるのではなく、ｘ２−ｘ１の５％程度の
余裕を持たせた間隔のｘ１´、ｘ２´を顔の横方向位置
とするのも好適であり、さらに顔の縦方向位置も、まず
ｙ１を決定し、ｙ１から５％程度上方にある点ｙ１´を
頭頂部とし、そこから顔幅（ｘ２´−ｘ１´）だけ下が
った点をｙ２´として顔の縦方向位置を決定することも
望ましい。すなわち、顔の縦方向位置は、ｙ１のみに基
づいて決定してもよい。When determining the face position, x1, x2
Is not used as it is, it is also preferable to set the intervals x1 ′ and x2 ′ with a margin of about 5% of x2−x1 as the horizontal position of the face. It is also possible to determine y1 and determine the vertical position of the face as a point y1 'approximately 5% above y1 as the top of the head and a point lower by a face width (x2'-x1') as y2 '. desirable. That is, the vertical position of the face may be determined based only on y1.
【００２７】以上のようにして、時間差分から運転者の
顔位置を決定することが可能であるが、場合によっては
運転者の動きが十分ではなく、時間差分では運転者の顔
位置、特に縦方向位置（図５におけるｙ１）が決定でき
ない場合も生じ得る。通常の運転動作において、運転者
は左右に顔を振ることはあるが上下に振ることは比較的
少なく、また、頭頂部（髪の部分）と車室内の輝度差及
び顔の下端（あごの部分）と首の部分の輝度差があまり
ない場合もあるからである。As described above, the position of the driver's face can be determined from the time difference. However, in some cases, the movement of the driver is not sufficient. In some cases, the position (y1 in FIG. 5) cannot be determined. In a normal driving operation, the driver may shake his or her face to the left or right but relatively little to the up and down. In addition, the brightness difference between the crown (hair part) and the vehicle interior and the lower end of the face (chin part) ) And the neck may not have much difference in brightness.
【００２８】そこで、時間差分により運転者の縦方向位
置、特に頭頂部位置（ｙ１）が検出できない場合には、
顔方向検出装置１２は、運転者の頭頂部位置を含み、か
つ車外の背景を含まない背景画像１個を顔方向検出装置
１２内のメモリに記憶しておき、この背景画像との差分
を算出することで、運転者の頭頂部を決定するのが望ま
しい。Therefore, when the vertical position of the driver, especially the top position (y1), cannot be detected due to the time difference,
The face direction detection device 12 stores one background image including the driver's top position and not including the background outside the vehicle in a memory in the face direction detection device 12, and calculates a difference from the background image. In doing so, it is desirable to determine the driver's crown.
【００２９】図６（Ａ）には、顔方向検出装置１２のメ
モリに予め記憶させておく背景画像２０が模式的に示さ
れている。この画像領域は、図４に示された画像領域を
全て含む必要はなく、運転者の頭頂部位置を含む領域で
あれば十分である。但し、車外の背景を含むと差分演算
を行った際に頭頂部以外にこの部分で有限の差分値が生
じてしまうため、これを除去すべく車外の背景部分は含
まない領域とすべきである。本実施形態では、カメラ１
０から得られる画像の上部１／３程度を背景画像領域と
している。FIG. 6A schematically shows a background image 20 stored in advance in the memory of the face direction detecting device 12. This image area does not need to include all the image areas shown in FIG. 4, and it is sufficient that the image area includes the position of the top of the driver. However, when the difference calculation is performed when the background outside the vehicle is included, a finite difference value is generated in this portion other than the top of the head. Therefore, the region should not include the background portion outside the vehicle in order to remove this. . In the present embodiment, the camera 1
About the upper third of the image obtained from 0 is a background image area.
【００３０】図６（Ｂ）には、この背景画像（運転者が
存在しない画像）とカメラ１０から入力した運転者画像
との差分演算の様子が模式的に示されている。背景画像
は運転者を含まないため、差分値がそのまま運転者の頭
頂部の輪郭を示すことになる。FIG. 6B schematically shows how the difference between the background image (the image in which no driver exists) and the driver image input from the camera 10 is calculated. Since the background image does not include the driver, the difference value indicates the outline of the top of the driver as it is.
【００３１】従って、差分値のヒストグラムを算出し積
分することで、運転者の頭頂部位置、すなわちｙ１を決
定することができる。Therefore, by calculating and integrating the histogram of the difference values, the top position of the driver, that is, y1 can be determined.
【００３２】なお、顔方向検出装置１２のメモリに記憶
させておく背景画像は１個なので、背景画像撮影時の明
るさと運転者画像撮影時の明るさが異なることを考慮
し、図に示すような背景画像のモニタ領域Ｂ１、Ｂ２と
これに対応する入力画像の領域Ｂ１´、Ｂ２´の平均濃
度を比較し、両者の平均濃度がほぼ一致するように背景
画像の濃度を増減調整した上で差分演算を行うのが望ま
しい。背景画像を用いる目的は、単に運転者の頭頂位置
を決定するだけであるので、このような濃度の調整は厳
密に行う必要はなく、従って本実施形態の利点を損なう
ものではない。Since only one background image is stored in the memory of the face direction detecting device 12, taking into account that the brightness at the time of shooting the background image and the brightness at the time of shooting the driver image are different, as shown in the figure. The average densities of the monitor areas B1 and B2 of the appropriate background image and the corresponding areas B1 ′ and B2 ′ of the input image are compared, and the density of the background image is increased or decreased so that the average densities of the two are substantially the same. It is desirable to perform a difference operation. Since the purpose of using the background image is merely to determine the top position of the driver, such density adjustment does not need to be strictly performed, and therefore does not impair the advantages of the present embodiment.
【００３３】以上のようにして運転者の顔位置が決定さ
れた後、顔方向決定装置１２は、入力画像から顔部分を
切り出し（図３におけるＳ１１１）、特開平４−６８５
００号公報と同様にニューラルネットワークを用いて顔
方向を判定する（Ｓ１１２）。ここで、ニューラルネッ
トワークを用いて顔方向を判定するに際しては、ニュー
ラルネットワークの出力層に顔らしさの出力を設けて学
習させることにより、顔の切り出しに失敗した場合でも
顔方向を誤判定しないようにするのが望ましい。すなわ
ち、顔らしさが確からしい条件下でのみ、顔方向を判定
することが望ましい。判定した顔方向は、上述したよう
に脇見計算部１４に供給される。After the face position of the driver is determined as described above, the face direction determining device 12 cuts out a face portion from the input image (S111 in FIG. 3).
The face direction is determined using a neural network in the same manner as in Japanese Patent Publication No. 00 (S112). Here, when determining the face direction using the neural network, the output layer of the neural network is provided with an output of the likeness of the face for learning so that the face direction is not erroneously determined even when the face extraction fails. It is desirable to do. That is, it is desirable to determine the face direction only under the condition that the likelihood of the face is certain. The determined face direction is supplied to the inattentiveness calculation unit 14 as described above.
【００３４】脇見計算部１４では、操舵角や車速に基づ
いて、まず脇見をしていない場合の正しい顔方向を計算
する（Ｓ１１３）。具体的には、操舵角に基づいて運転
者が見るべき方向を決定し、車速に基づいて見るべき距
離を決定する。見るべき方向と距離が定まれば、運転者
が本来向けるべき顔の方向がおおよそ定まることにな
る。そして、正しい顔方向と検出された顔方向のずれ量
を演算し（Ｓ１１４）、ずれ量が一定値以上の場合に脇
見運転と判定して表示や警報を出力する（Ｓ１１５）。The look-aside calculation unit 14 first calculates a correct face direction when the driver does not look aside, based on the steering angle and the vehicle speed (S113). Specifically, a direction to be seen by the driver is determined based on the steering angle, and a distance to be seen is determined based on the vehicle speed. Once the direction and the distance to be seen are determined, the direction of the face that the driver should originally face is roughly determined. Then, the shift amount between the correct face direction and the detected face direction is calculated (S114). If the shift amount is equal to or more than a certain value, it is determined that the driver is looking aside and a display or an alarm is output (S115).
【００３５】このように、本実施形態では、時間差分を
用いて運転者の意識低下状態やその度合い、並びに運転
者の脇見を容易に検出することができる。As described above, in this embodiment, it is possible to easily detect the driver's consciousness reduction state and the degree thereof, and the driver's inattentiveness using the time difference.
【００３６】なお、差分値の積分を用いて運転者の縦方
向位置と横方向位置を決定する際に、差分値の積分値が
特有のパターンを示した場合には、運転者の居眠りを判
定することも可能である。When determining the vertical position and the horizontal position of the driver using the integration of the difference value, if the integration value of the difference value shows a specific pattern, it is determined that the driver is dozing. It is also possible.
【００３７】図７には、運転者がいわゆる「こっくり」
状態（意識が低下して顔を上下に振る行動）となった場
合に現れる差分値パターンが示されている。このパター
ンは、運転者の頭頂部と顎の部分に特に大きな差分値が
現れるもので、横方向の差分値が縦方向の差分値よりも
著しく大きくなる。そこで、このパターンが検出された
場合、具体的には横方向の差分値（積分値）が縦方向の
差分値（積分値）よりも所定値以上大きい場合には、顔
方向検出装置１２はその旨の信号を脇見計算部１４に出
力する。脇見計算部１４では、この信号を入力した場合
には運転者が居眠りしていると判定して警報を発生す
る。これにより、運転者の「こっくり」状態も抑制する
ことができる。FIG. 7 shows a so-called "sickness"
A difference value pattern that appears when the state (the consciousness is lowered and the face is swung up and down) is shown. In this pattern, a particularly large difference value appears at the top and the chin of the driver, and the difference value in the horizontal direction is significantly larger than the difference value in the vertical direction. Therefore, when this pattern is detected, specifically, when the difference value (integral value) in the horizontal direction is larger than the difference value (integral value) in the vertical direction by a predetermined value or more, the face direction detecting device 12 sets A signal to the effect is output to the inattentiveness calculation unit 14. The inattentiveness calculation unit 14 determines that the driver is dozing when this signal is input, and issues an alarm. As a result, it is also possible to suppress the driver's “smearing” state.
【００３８】[0038]
【発明の効果】以上説明したように、本発明によれば、
複数の背景画像を予め記憶しておくメモリを不要とし、
簡易な構成で確実に運転者の顔位置を算出することがで
き、これにより運転者の状態を容易に監視することがで
きる。As described above, according to the present invention,
Eliminates the need for memory to store multiple background images in advance,
The face position of the driver can be reliably calculated with a simple configuration, whereby the state of the driver can be easily monitored.
【図１】 本発明の実施形態の構成ブロック図である。FIG. 1 is a configuration block diagram of an embodiment of the present invention.
【図２】 実施形態の処理フローチャート（その１）で
ある。FIG. 2 is a processing flowchart (part 1) of the embodiment.
【図３】 実施形態の処理フローチャート（その２）で
ある。FIG. 3 is a processing flowchart (part 2) of the embodiment.
【図４】 実施形態の差分画像説明図である。FIG. 4 is an explanatory diagram of a difference image according to the embodiment.
【図５】 実施形態の差分積分と顔部分切り出しの説明
図である。FIG. 5 is an explanatory diagram of difference integration and face part cutout according to the embodiment;
【図６】 実施形態の頭頂部位置決定の説明図である。FIG. 6 is an explanatory diagram of determining a crown position according to the embodiment;
【図７】 実施形態の「こっくり」状態の差分画像説明
図である。FIG. 7 is an explanatory diagram of a differential image in a “scratched” state according to the embodiment.
１０ カメラ、１２ 顔方向検出装置、１４ 脇見計算
部。10 camera, 12 face direction detection device, 14 inattentiveness calculation unit.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０８Ｂ 21/00 Ｇ０８Ｇ 1/16 Ｆ Ｇ０８Ｇ 1/16 Ｈ０４Ｎ 7/18 Ｚ Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０ ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 6 Identification code FI G08B 21/00 G08G 1/16 F G08G 1/16 H04N 7/18 Z H04N 7/18 G06F 15/62 380
Claims (6)
撮影する撮影手段と、 得られた画像の時間差分値を算出する時間差分算出手段
と、 前記時間差分値に基づいて前記運転者の顔位置を算出す
る顔位置算出手段と、 前記顔位置にある運転者画像を処理することにより前記
運転者の状態を検出する処理手段と、 を有することを特徴とする車両運転者監視装置。1. A photographing means for sequentially photographing a driver in a vehicle cabin at predetermined time intervals; a time difference calculating means for calculating a time difference value of an obtained image; and the driver based on the time difference value. 1. A vehicle driver monitoring device comprising: a face position calculation unit that calculates a face position of the vehicle; and a processing unit that detects a state of the driver by processing a driver image at the face position.
外の背景を含まない背景画像を記憶する記憶手段と、 前記背景画像と前記撮影手段で得られた画像との差分値
を算出する背景差分算出手段と、 をさらに有し、前記顔位置算出手段は、前記時間差分値
及び前記背景差分値に基づいて前記運転者の顔位置を算
出することを特徴とする請求項１記載の車両運転者監視
装置。2. A storage unit for storing a background image including a top position of the driver and not including a background outside the vehicle, and calculating a difference value between the background image and an image obtained by the photographing unit. 2. The vehicle according to claim 1, further comprising: a background difference calculating unit, wherein the face position calculating unit calculates the driver's face position based on the time difference value and the background difference value. Driver monitoring device.
算出されない場合には、前記時間間隔を増大させる制御
手段をさらに有することを特徴とする請求項１、２のい
ずれかに記載の車両運転者監視装置。3. The vehicle according to claim 1, further comprising a control unit that increases the time interval when a significant difference value is not calculated by the time difference calculation unit. Driver monitoring device.
間間隔を一定値以上に増大させても前記時間差分算出手
段で有意の差分値が算出されない場合には、前記運転者
の意識低下状態を検出することを特徴とする請求項３記
載の車両運転者監視装置。4. The processing device according to claim 1, wherein the time difference calculating unit does not calculate a significant difference value even if the control unit increases the time interval to a certain value or more. The vehicle driver monitoring device according to claim 3, wherein the detection is performed.
記意識低下状態の検出回数に基づいて前記運転者の意識
低下の度合いを検出することを特徴とする請求項４記載
の車両運転者監視装置。5. The vehicle driver monitoring apparatus according to claim 4, wherein the processing unit detects the degree of the driver's consciousness reduction based on the number of times the driver's consciousness is detected within a predetermined time. .
値が縦方向差分値に比べて所定値以上大きい場合には、
前記運転者の状態を居眠りと検出することを特徴とする
請求項１、２、３のいずれかに記載の車両運転者監視装
置。6. When the calculated horizontal difference value is greater than the vertical difference value by a predetermined value or more,
The vehicle driver monitoring device according to claim 1, wherein the state of the driver is detected as falling asleep.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9330581A JPH11161798A (en) | 1997-12-01 | 1997-12-01 | Vehicle driver monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9330581A JPH11161798A (en) | 1997-12-01 | 1997-12-01 | Vehicle driver monitoring device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11161798A true JPH11161798A (en) | 1999-06-18 |
Family
ID=18234258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9330581A Pending JPH11161798A (en) | 1997-12-01 | 1997-12-01 | Vehicle driver monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11161798A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003141513A (en) * | 2001-10-31 | 2003-05-16 | Denso Corp | Vehicle occupant head detector |
| JP2004287845A (en) * | 2003-03-20 | 2004-10-14 | Aisin Seiki Co Ltd | Line-of-sight detector for vehicle driver |
| JP2007261312A (en) * | 2006-03-27 | 2007-10-11 | Toyota Motor Corp | Headlamp controller for vehicle |
| US7737859B2 (en) | 2003-02-24 | 2010-06-15 | Electronic Navigation Research Institute, An Independent Administrative Institution | Psychosomatic state determination system |
| KR101393967B1 (en) * | 2008-08-29 | 2014-05-12 | 현대자동차주식회사 | Face detection system |
| JP5799179B2 (en) * | 2013-03-29 | 2015-10-21 | 楽天株式会社 | TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, PROGRAM, AND INFORMATION STORAGE MEDIUM |
| JP2021517313A (en) * | 2017-08-10 | 2021-07-15 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Vehicle occupant dangerous movement recognition methods and devices, electronic devices, and storage media |
| JPWO2021240768A1 (en) * | 2020-05-29 | 2021-12-02 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6057435U (en) * | 1983-09-28 | 1985-04-22 | トヨタ自動車株式会社 | Drowsy driving alarm device |
| JPS60178596A (en) * | 1984-02-25 | 1985-09-12 | 株式会社デンソー | Dozing driving preventor |
| JPH0468500A (en) * | 1990-07-09 | 1992-03-04 | Toyota Motor Corp | Vehicle driver monitoring device |
| JPH05232908A (en) * | 1992-02-19 | 1993-09-10 | Toshiba Corp | Instruction input device |
| JPH05262161A (en) * | 1992-03-17 | 1993-10-12 | Tamotsu Kawamata | Drowse preventing device |
-
1997
- 1997-12-01 JP JP9330581A patent/JPH11161798A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6057435U (en) * | 1983-09-28 | 1985-04-22 | トヨタ自動車株式会社 | Drowsy driving alarm device |
| JPS60178596A (en) * | 1984-02-25 | 1985-09-12 | 株式会社デンソー | Dozing driving preventor |
| JPH0468500A (en) * | 1990-07-09 | 1992-03-04 | Toyota Motor Corp | Vehicle driver monitoring device |
| JPH05232908A (en) * | 1992-02-19 | 1993-09-10 | Toshiba Corp | Instruction input device |
| JPH05262161A (en) * | 1992-03-17 | 1993-10-12 | Tamotsu Kawamata | Drowse preventing device |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003141513A (en) * | 2001-10-31 | 2003-05-16 | Denso Corp | Vehicle occupant head detector |
| US7737859B2 (en) | 2003-02-24 | 2010-06-15 | Electronic Navigation Research Institute, An Independent Administrative Institution | Psychosomatic state determination system |
| JP2004287845A (en) * | 2003-03-20 | 2004-10-14 | Aisin Seiki Co Ltd | Line-of-sight detector for vehicle driver |
| JP2007261312A (en) * | 2006-03-27 | 2007-10-11 | Toyota Motor Corp | Headlamp controller for vehicle |
| JP4506703B2 (en) * | 2006-03-27 | 2010-07-21 | トヨタ自動車株式会社 | Vehicle headlamp control device |
| KR101393967B1 (en) * | 2008-08-29 | 2014-05-12 | 현대자동차주식회사 | Face detection system |
| JP5799179B2 (en) * | 2013-03-29 | 2015-10-21 | 楽天株式会社 | TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, PROGRAM, AND INFORMATION STORAGE MEDIUM |
| US9646576B2 (en) | 2013-03-29 | 2017-05-09 | Rakuten, Inc. | Terminal device, control method for terminal device, program, and information storage medium |
| JP2021517313A (en) * | 2017-08-10 | 2021-07-15 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Vehicle occupant dangerous movement recognition methods and devices, electronic devices, and storage media |
| JPWO2021240768A1 (en) * | 2020-05-29 | 2021-12-02 | ||
| WO2021240768A1 (en) * | 2020-05-29 | 2021-12-02 | 三菱電機株式会社 | Driving inability determination device and driving inability determination method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6354585B2 (en) | Passenger counting system, passenger counting method and passenger counting program | |
| US7202792B2 (en) | Drowsiness detection system and method | |
| JP5109922B2 (en) | Driver monitoring device and program for driver monitoring device | |
| KR101191844B1 (en) | Image processing apparatus and image processing method | |
| JP4004634B2 (en) | Face image eye position detection apparatus and method | |
| EP2079039A2 (en) | Face collation apparatus | |
| JP4742921B2 (en) | Awakening level estimation device | |
| JP3063504B2 (en) | Image data feature detection device | |
| JP2008171108A (en) | Face condition determining device and imaging device | |
| JPH11161798A (en) | Vehicle driver monitoring device | |
| JP6739459B2 (en) | Person matching device | |
| WO2020222785A1 (en) | Facial action unit detection | |
| US20200290543A1 (en) | Occupant observation device | |
| JP2000040148A (en) | Device for preventing dozing while driving | |
| JP2020194227A (en) | Face hiding determination device, face hiding determination method, face hiding determination program, and occupant monitoring system | |
| CN113879321B (en) | Driver monitoring device and driver monitoring method | |
| JP5242827B2 (en) | Face image processing apparatus, face image processing method, electronic still camera, digital image processing apparatus, and digital image processing method | |
| JP5127735B2 (en) | Image monitoring device | |
| JP2985558B2 (en) | Operating condition detection device | |
| CN113287298B (en) | Image processing device, image processing method, and storage medium | |
| JP7212251B2 (en) | Eye opening/closing detection device, occupant monitoring device | |
| JP7374386B2 (en) | Condition determination device and condition determination method | |
| JP2008123057A (en) | Suspicious person detection device | |
| JP6891984B1 (en) | Object detection device, object detection method, program and recording medium | |
| JP2019079285A (en) | Safe driving promotion system and safe driving promotion method |