JP2985558B2 - Operating condition detection device - Google Patents
Operating condition detection deviceInfo
- Publication number
- JP2985558B2 JP2985558B2 JP5047597A JP4759793A JP2985558B2 JP 2985558 B2 JP2985558 B2 JP 2985558B2 JP 5047597 A JP5047597 A JP 5047597A JP 4759793 A JP4759793 A JP 4759793A JP 2985558 B2 JP2985558 B2 JP 2985558B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- image
- driver
- target
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は運転状態検出装置、特に
撮影して得られた運転者の顔画像を処理して運転者の運
転状態を検出する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a driving state detecting apparatus, and more particularly to a driving state detecting apparatus for processing a driver's face image obtained by photographing to detect the driving state.
【０００２】[0002]
【従来の技術】従来より、走行の安全性向上を図るべく
種々の装置が開発、搭載されており、運転者の運転状態
を車載カメラ等で監視し、居眠りやわき見運転等を検出
して警報などを与える運転状態検出装置もその一つであ
る。2. Description of the Related Art Conventionally, various devices have been developed and mounted to improve driving safety. The driving condition of a driver is monitored by a vehicle-mounted camera or the like, and a drowsiness or aside driving is detected and an alarm is issued. An operation state detection device that gives such information is one of them.
【０００３】例えば、特開昭６３−１７４４９０号公報
では、映像信号をＡ／Ｄ変換し、一定期間毎に映像メモ
リに格納し、その映像メモリ内容と基準映像とを比較し
て差異があれば動きがあるとする技術を開示している。
すなわち、デジタル基準映像信号とデジタル映像信号が
ともに比較器に入力され、比較器は両デジタル信号を比
較（減算）して一定値以上の差異がある場合には動き検
知信号を出力する。ここで、基準映像は基準映像メモリ
に格納されるが、基準メモリ内容は用途に応じて適宜所
定のタイミングで更新され、太陽のかげりなどの輝度変
化を誤検出することを防止している。For example, in Japanese Patent Application Laid-Open No. 63-174490, a video signal is A / D-converted and stored in a video memory at regular intervals, and if there is a difference between the content of the video memory and a reference video, if there is a difference, It discloses technology that assumes movement.
That is, both the digital reference video signal and the digital video signal are input to the comparator, and the comparator compares (subtracts) the two digital signals and outputs a motion detection signal when there is a difference equal to or more than a certain value. Here, the reference image is stored in the reference image memory, but the contents of the reference memory are updated at a predetermined timing as appropriate according to the application, thereby preventing erroneous detection of a brightness change such as sunshine.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、このよ
うな動き検知装置を車両に搭載する場合、走行環境に応
じて撮影時の輝度は種々変化するので、基準映像を頻繁
に更新しなければならず、基準画像の意義が失われてし
まう問題がある。運転者の運転状態が正常か否かを検出
するには、予め正常な運転状態にある運転者画像を基準
画像として記憶しておく必要があるが、このように頻繁
に基準画像を更新しなければならないとすると、どれが
正常な運転状態の画像なのか判別できないからである。However, when such a motion detecting device is mounted on a vehicle, the luminance at the time of photographing varies depending on the driving environment, so that the reference image must be updated frequently. There is a problem that the significance of the reference image is lost. In order to detect whether the driver's driving state is normal or not, it is necessary to previously store a driver image in a normal driving state as a reference image, but the reference image must be updated frequently as described above. If this is not the case, it cannot be determined which image is in a normal operating state.
【０００５】もちろん、このような走行状況に応じて変
化する周囲輝度変化の影響を除去すべく、輝度の正規化
を行うことも考えられるが、例えば運転者の瞼の開度に
より運転者の目の領域の輝度が変化することを利用して
いねむり運転を検出しようとする場合、正規化を行うと
実画像では輝度の変化が生じているにもかかわらず、正
規化画像では輝度変化が見られない場合が生じ、正規化
画像同士を単に差分演算して動きを検出する構成では、
運転状態を正確に検出できない問題がある。[0005] Of course, in order to remove the influence of the ambient luminance change that changes according to such a driving situation, it is conceivable to normalize the luminance. When trying to detect sleep driving using the change in the brightness of the area of the area, when the normalization is performed, a change in the brightness is observed in the normalized image, despite the change in the brightness in the actual image. In the configuration in which the motion is detected by simply performing a difference operation between the normalized images,
There is a problem that the operating state cannot be accurately detected.
【０００６】本発明は上記従来技術の有する課題に鑑み
なされたものであり、その目的は種々の走行環境により
輝度変化が生じても、確実に運転者の運転状態を検出す
ることができる運転状態検出装置を提供することにあ
る。SUMMARY OF THE INVENTION The present invention has been made in consideration of the above-mentioned problems of the related art, and has as its object to provide a driving state capable of reliably detecting a driving state of a driver even when luminance changes due to various driving environments. A detection device is provided.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の運転状態検出装置は、車両運転者を
撮影する撮像手段と、得られた画像の濃淡正規化を行う
正規化手段と、正規化された画像に対して予め顔及び目
領域を特定した標準テンプレートを用いて相関演算を行
い、運転者用の対象顔テンプレート及び対象目テンプレ
ートを作成する対象テンプレート作成手段と、正規化さ
れた画像に対して前記対象テンプレートを用いて相関演
算を行い、相関値の変化に基づき運転者の運転状態を検
出する検出手段とを有することを特徴とする。According to a first aspect of the present invention, there is provided a driving state detecting apparatus, comprising: an imaging unit for photographing a vehicle driver; and a normalization unit for normalizing the obtained image. Means and a target template creating means for performing a correlation operation on the normalized image using a standard template in which a face and an eye area are specified in advance to create a target face template and an eye template for a driver; Detecting means for performing a correlation operation on the converted image using the target template and detecting a driving state of the driver based on a change in the correlation value.
【０００８】また、上記目的を達成するために、請求項
２記載の運転状態検出装置は、請求項１記載の運転状態
検出装置において、前記検出手段は、正規化された画像
に対して前記対象テンプレートを用いて相関演算を行
い、最も相関の高い位置までの前記対象テンプレートの
移動量に基づき運転者の運転状態を検出することを特徴
とする。According to another aspect of the present invention, there is provided an operating state detecting apparatus according to the first aspect, wherein the detecting means is configured to detect the target image with respect to a normalized image. A correlation operation is performed using the template, and a driving state of the driver is detected based on a moving amount of the target template to a position having the highest correlation.
【０００９】[0009]
【作用】このように、本発明の運転状態検出装置は、正
規化画像と運転者固有の対象テンプレートとの相関演算
を行うことにより、運転者の運転状態を検出するもので
ある。すなわち、予め定められた標準テンプレートと正
規化撮影画像との相関演算により、運転状態を検出する
対象となる運転者固有の対象テンプレートを作成する。
そして、この対象テンプレートと正規化画像の対応する
範囲の画像との相関演算を行い、相関値の変化から運転
者の目の状態及び顔の方向を検出するのである。ここ
で、正規化画像を用いることにより走行環境によって変
化する背景輝度の変化の影響を除去し、また相関演算を
行うことにより確実に運転者の変化の状態を検出でき
る。As described above, the driving state detecting device of the present invention detects the driving state of the driver by performing the correlation operation between the normalized image and the target template unique to the driver. That is, a target template unique to the driver whose driving state is to be detected is created by performing a correlation operation between a predetermined standard template and a normalized photographed image.
Then, a correlation operation is performed between the target template and an image in the corresponding range of the normalized image, and the state of the driver's eyes and the direction of the face are detected from the change in the correlation value. Here, by using the normalized image, the influence of the change in the background luminance, which changes depending on the driving environment, is removed, and by performing the correlation operation, the driver's change state can be reliably detected.
【００１０】以下、図１０ないし図１３を用いて本発明
による相関演算による検出を従来の差分演算による検出
と比較しながら説明する。Hereinafter, the detection by the correlation operation according to the present invention will be described with reference to FIGS. 10 to 13 in comparison with the detection by the conventional difference operation.
【００１１】図１０には標準テンプレートを用いて対象
となる運転者の目領域の対象テンプレートが模式的に示
されている。対象テンプレートの画面最小輝度は０、画
面最大輝度は２００であり、原画像の対象テンプレート
の目の近傍領域の輝度は５０、目本体の輝度は１００と
する。この原画像を１−２５６で正規化、すなわち最小
輝度を１、最大輝度を２５６としたときの対象テンプレ
ートの輝度は同図（ｂ）に示されており、目の近傍領域
の輝度は６４、目本体の輝度は１２８となる。FIG. 10 schematically shows a target template of a target driver's eye region using a standard template. The minimum screen luminance of the target template is 0, the maximum luminance of the screen is 200, the luminance of the area near the eyes of the target template of the original image is 50, and the luminance of the eye body is 100. The original image is normalized by 1-256, that is, the luminance of the target template when the minimum luminance is 1 and the maximum luminance is 256 is shown in FIG. The luminance of the eye body is 128.
【００１２】一方、図１１には時刻ｔ、ｔ＋１、ｔ＋２
における原画像（ｃ）−（ｅ）及びその正規化画像
（ｆ）−（ｈ）が示されている。なお、図１１には同時
にこのときの運転者の目の状態が示されており、時刻ｔ
では正常な状態、ｔ＋１では運転者の覚醒度が低く瞼を
閉じている状態、ｔ＋２ではその中間の状態である。FIG. 11 shows time points t, t + 1, t + 2.
2 shows an original image (c)-(e) and its normalized image (f)-(h). FIG. 11 also shows the state of the driver's eyes at this time.
Is normal, at t + 1 the driver's arousal level is low and the eyelids are closed, and at t + 2 it is an intermediate state.
【００１３】図１０に示された対象テンプレートと図１
１に示された各時刻における撮影画像との差分を演算し
た結果が図１２に示されている。図１２（ｉ）−（ｋ）
が原画像の差分結果を示しており、図１２（ｌ）−
（ｎ）が正規化画像の差分結果を示している。原画像の
目本体の差分結果は５０、１００、５０と変化している
が、この変化が周囲の輝度変化によるものなのか、ある
いは目の状態の変化によるものなのかは判別できない。
一方、正規化した画像では周囲の輝度変化による影響を
除去しているが、その差分結果は０、６４、６４と目の
状態変化に応じた値となっていない。これは、言うまで
もなく、各時刻における正規化時の比率が異なるため、
異なる時刻での差分を演算しても、その差分値自体には
なんら物理的意味はないことによるものである。The target template shown in FIG. 10 and FIG.
FIG. 12 shows the result of calculating the difference from the captured image at each time shown in FIG. FIG. 12 (i)-(k)
Indicates the difference result of the original image, and FIG.
(N) shows the difference result of the normalized image. Although the difference result of the eye body of the original image changes to 50, 100, and 50, it cannot be determined whether this change is due to a change in the surrounding luminance or a change in the state of the eyes.
On the other hand, in the normalized image, the influence of the surrounding luminance change is removed, but the difference result is 0, 64, 64, which is not a value corresponding to the change in the state of the eyes. It goes without saying that the ratio at the time of normalization at each time is different,
This is because even if the differences at different times are calculated, the difference values themselves have no physical meaning.
【００１４】そこで、図１０の対象テンプレートと図１
１の各時刻における正規化画像の相関演算を行った結果
が図１３（ｏ）、（ｐ）、（ｑ）に示されている。図１
２（ｌ）−（ｎ）と異なり、相関値は一例として０，１
２８，６４と各時刻における目の状態に対応した値が得
られている（相関値が小さい程対象テンプレートと似て
おり、従って目が正常に開いていることを示す）。これ
は、相関演算が、画像個々の部分の値ではなく、画像全
体のパターンの類似性を反映することに基づくものであ
り、背景輝度によらず、かつ確実に運転者の運転状態を
検出できることが理解される。Therefore, the target template shown in FIG.
13 (o), (p), and (q) show the result of performing the correlation operation of the normalized image at each time of No. 1. FIG.
Unlike 2 (l)-(n), the correlation values are, for example, 0, 1
28, 64 and values corresponding to the state of the eyes at each time are obtained (the smaller the correlation value, the more similar to the target template, indicating that the eyes are normally open). This is based on the fact that the correlation operation reflects the similarity of the pattern of the entire image, not the value of each part of the image, and that the driving state of the driver can be reliably detected regardless of the background luminance. Is understood.
【００１５】[0015]
【実施例】以下、図面を用いながら本発明の運転状態検
出装置の好適な実施例について説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the operating state detecting device of the present invention will be described below with reference to the drawings.
【００１６】第１実施例 図１には本実施例の構成ブロック図が示されている。運
転者を撮影するカメラ１０が車両の所定位置に設けら
れ、得られた運転者の顔画像を画像処理装置１２に供給
する。画像処理装置１２はＡ／Ｄ変換器、正規化回路及
び相関演算回路を備え、入力された画像信号をデジタル
信号に変化し、さらに濃淡正規化処理を行う。正規化処
理は、画像中の最小輝度を１、最大輝度を２５６とする
濃淡正規化により行われる。一方、画像処理装置１２に
は予めメモリ１４に格納された標準テンプレート（顔テ
ンプレート及び目テンプレート）が入力され、画像信号
と標準テンプレートとの相関演算が行われる。図４には
標準テンプレートが模式的に示されており、図４（ａ）
は顔領域テンプレートであり、図４（ｂ）は目領域テン
プレートが示されている。そして、画像処理装置１２は
画像信号と標準テンプレートとの相関演算の結果に基づ
き運転状態を検出する対象となっている運転者の対象顔
領域テンプレートさらにはこの対象顔領域テンプレート
を用いて目領域テンプレートを作成し、メモリ１４に格
納する。一般に、運転者によって顔の位置及び目の位置
が異なっているため、的確に運転状態を検出するために
は対象となっている運転者固有のテンプレートを用意す
る必要があるからである。First Embodiment FIG. 1 is a block diagram showing the configuration of this embodiment. A camera 10 for photographing the driver is provided at a predetermined position of the vehicle, and supplies the obtained driver's face image to the image processing device 12. The image processing device 12 includes an A / D converter, a normalization circuit, and a correlation operation circuit, converts an input image signal into a digital signal, and further performs shading normalization processing. The normalization processing is performed by shading normalization where the minimum luminance in the image is 1 and the maximum luminance is 256. On the other hand, standard templates (a face template and an eye template) stored in the memory 14 in advance are input to the image processing apparatus 12, and a correlation operation between the image signal and the standard template is performed. FIG. 4 schematically shows a standard template, and FIG.
Is a face area template, and FIG. 4B shows an eye area template. Then, the image processing device 12 uses the target face area template of the driver whose driving state is to be detected based on the result of the correlation operation between the image signal and the standard template. Is created and stored in the memory 14. In general, since the position of the face and the position of the eyes differ depending on the driver, it is necessary to prepare a template unique to the target driver in order to accurately detect the driving state.
【００１７】対象テンプレートが作成された後、任意の
時刻で撮影された画像がカメラ１０から供給されると、
画像処理装置は入力され正規化された画像とメモリ１４
から読み出した対象テンプレートとの相関演算を行い、
その演算結果を電子制御装置ＥＣＵ１６に供給する。Ｅ
ＣＵ１６は入力された演算結果から運転者の瞼の開度や
顔の向きを判定し、居眠り運転やわき見運転と判定され
た場合に図示しない警報装置を作動させて運転者に注意
を促す構成である。After the target template is created, when an image taken at an arbitrary time is supplied from the camera 10,
The image processing device receives the input and normalized image and the memory 14.
Performs a correlation operation with the target template read from
The calculation result is supplied to the electronic control unit ECU16. E
The CU 16 determines the degree of opening of the driver's eyelids and the direction of the face from the input calculation result, and activates an alarm device (not shown) to call the driver's attention when it is determined to be dozing or driving aside. is there.
【００１８】以下、図２の処理フローチャートを用いて
画処理装置１２ないしＥＣＵ１６の動作をより詳細に説
明する。Hereinafter, the operation of the image processing device 12 to the ECU 16 will be described in more detail with reference to the processing flowchart of FIG.
【００１９】図２において、まず、カメラ１０にて運転
者の顔画像を撮影し（Ｓ１０１）、画像処理装置１２に
供給する。画像処理装置は入力された顔画像の濃淡正規
化処理を行い（Ｓ１０２）、車両の走行環境に応じて種
々変化する背景画像の輝度によらない顔画像を作成す
る。そして、予めメモリ１４に格納された標準顔テンプ
レートを読み出し、前記正規化顔画との相関演算を行
う。相関演算は、正規化顔画像をＴ（ｘ，ｙ）、標準テ
ンプレートをＳ（ｘ，ｙ）とした場合、 Ｍ＝ΣΣ｜Ｔ（ｘ，ｙ）−Ｓ（ｘ，ｙ）｜ により算出される。相関値Ｍが最小になる位置が正規化
画像上における顔領域となるので、これを対象顔領域テ
ンプレートとしてメモリ１４に格納する。そして、この
対象顔領域テンプレート内画像と標準目領域テンプレー
トとの相関を上記と同様に演算し、最も相関の高い、す
なわち相関値が最小になる領域を検出して対象目領域テ
ンプレートとし、メモリ１４に格納する（Ｓ１０３）。
なお、この時、対象テンプレートの画像上の位置も同時
にメモリに格納する。図５（ａ）には標準テンプレート
が模式的に示され、図５（ｂ）にはこの標準テンプレー
トを用いて作成された対象となる運転者の対象顔領域テ
ンプレート及び対象目領域テンプレートが模式的に示さ
れている。運転者が異なると、当然ながら標準テンプレ
ートと対象テンプレートとは異なることになる。In FIG. 2, first, a face image of a driver is photographed by the camera 10 (S 101) and supplied to the image processing device 12. The image processing device performs a shading normalization process on the input face image (S102), and creates a face image that does not depend on the luminance of the background image that changes variously according to the traveling environment of the vehicle. Then, the standard face template stored in the memory 14 is read in advance, and a correlation operation with the normalized face image is performed. The correlation operation is calculated by M = ΣΣ | T (x, y) −S (x, y) | where T (x, y) is the normalized face image and S (x, y) is the standard template. You. Since the position where the correlation value M becomes the minimum is the face area on the normalized image, this is stored in the memory 14 as the target face area template. Then, the correlation between the image in the target face area template and the standard eye area template is calculated in the same manner as described above, and the area having the highest correlation, that is, the area having the smallest correlation value is detected and set as the target eye area template. (S103).
At this time, the position of the target template on the image is simultaneously stored in the memory. FIG. 5 (a) schematically shows a standard template, and FIG. 5 (b) schematically shows a target face area template and a target eye area template of a target driver created using this standard template. Is shown in If the driver is different, the standard template and the target template are naturally different.
【００２０】このようにして運転状態を検出しようとす
る運転者の固有の目領域のテンプレート（対象目領域テ
ンプレート）が作成された後、任意の時刻ｔにおける運
転者の顔画像がカメラ１０により撮影され、画像処理装
置１２に入力される。画像処理装置１２はこの顔画像を
デジタル化し、さらに１−２５６に正規化する（Ｓ１０
４）。そして、得られた正規化顔画像とメモリ１４に格
納された対象目領域テンプレートとの相関演算を行う
（Ｓ１０８）。すなわち、メモリに格納された対象目領
域テンプレートの位置にある正規化画像と対象目領域テ
ンプレートとの相関演算を行う。そして、相関演算の結
果得られる相関値は順次ＥＣＵ１６に供給される。ＥＣ
Ｕ１６は供給された相関値に変化があるか否か、そして
その変化の周期がどの程度かを判定する（Ｓ１０６）。After the driver's unique eye area template (target eye area template) whose driving state is to be detected is created in this manner, the camera 10 captures the driver's face image at an arbitrary time t. The data is input to the image processing device 12. The image processing device 12 digitizes the face image and normalizes it to 1-256 (S10).
4). Then, a correlation operation is performed between the obtained normalized face image and the target eye area template stored in the memory 14 (S108). That is, a correlation operation is performed between the normalized image at the position of the target eye region template stored in the memory and the target eye region template. Then, the correlation values obtained as a result of the correlation calculation are sequentially supplied to the ECU 16. EC
U16 determines whether there is a change in the supplied correlation value, and determines the period of the change (S106).
【００２１】ここで、運転者が正面を向いて周囲の状態
を確認しながら運転する正常状態では、相関値変動は短
い周期となる。一方、運転者の覚醒度が低く、瞼を閉じ
ている状態やわき見で正面を向いていない場合には相関
値変動周期は増大する。図６には運転者が正常な状態と
異常な（居眠り）状態とが表され、図７にはこのときの
相関値変動の一例が示されている。図において横軸は時
間ｔ、縦軸は相関値を示しており、図中ア及びイにおい
て相関値変動の周期が長く（例えば２秒以上）なってい
る。従って、相関値に変化があり、かつその変化の周期
が一定値以上である場合には、運転者の覚醒度が低く、
瞼が閉じられている時間が長く、運転者に異常が発生し
ていると判断して警報により注意を促す（Ｓ１０７）。Here, in a normal state in which the driver faces the front and drives while checking the surrounding state, the correlation value fluctuation has a short cycle. On the other hand, when the driver's arousal level is low and the driver's eyelids are closed or not looking straight ahead, the correlation value variation cycle increases. FIG. 6 shows a normal state and an abnormal (sleeping) state of the driver, and FIG. 7 shows an example of the correlation value fluctuation at this time. In the figure, the horizontal axis represents time t, and the vertical axis represents the correlation value. In FIG. Therefore, if there is a change in the correlation value, and the cycle of the change is a certain value or more, the awakening degree of the driver is low,
It is determined that the driver's eyelids are closed for a long time and that the driver has an abnormality, and the driver is alerted by a warning (S107).
【００２２】なお、相関値変動幅が一定値以上であって
も、運転者の異常状態と判定できることはいうまでもな
い。It is needless to say that even if the correlation value fluctuation width is equal to or more than a certain value, it can be determined that the driver is in an abnormal state.
【００２３】このように、本実施例では対象目領域テン
プレートと正規化撮影画像の相関値の変化から運転者が
居眠りをしているか否か、わき見をしているか否かを判
定でき、走行環境によらず運転者の異常を確実に検出し
て注意を促すことができる。As described above, in this embodiment, it is possible to determine whether or not the driver is dozing off or looking aside from the change in the correlation value between the target eye area template and the normalized photographed image. Irrespective of this, it is possible to reliably detect the driver's abnormality and call attention.
【００２４】第２実施例 図３には本発明の第２実施例のフローチャートが示され
ている。本実施例の構成は図１と同様であり、カメラ１
０にて運転者の顔画像を撮影し（Ｓ２０１）、画像処理
装置１２に供給する。画像処理装置１２は入力された顔
画像の濃淡正規化処理を行い（Ｓ２０２）、車両の走行
環境に応じて種々変化する背景画像の輝度によらない顔
画像を作成する。そして、予めメモリ１４に格納された
標準顔テンプレートを読み出し、前記正規化顔画との相
関演算を行う。相関演算は、正規化顔画像をＴ（ｘ，
ｙ）、標準テンプレートをＳ（ｘ，ｙ）とした場合、 Ｍ＝ΣΣ｜Ｔ（ｘ，ｙ）−Ｓ（ｘ，ｙ）｜ により算出される。相関値Ｍが最小になる位置が正規化
画像上における顔領域となるので、これを対象顔領域テ
ンプレートとしてメモリ１４に格納する。このとき、対
象顔領域テンプレートの画像上の位置も同時に格納す
る。そして、この対象顔領域テンプレート内画像と標準
目領域テンプレートとの相関を上記と同様に演算し、最
も相関の高い、すなわち相関値が最小になる領域を検出
して対象目領域テンプレートとし、メモリ１４に格納す
る（Ｓ２０３）。なお、この時、対象目領域テンプレー
トの画像上の位置も同時にメモリに格納する。Second Embodiment FIG. 3 shows a flowchart of a second embodiment of the present invention. The configuration of the present embodiment is the same as that of FIG.
At 0, the image of the driver's face is photographed (S201) and supplied to the image processing device 12. The image processing device 12 performs shading normalization processing of the input face image (S202), and creates a face image that does not depend on the luminance of the background image that changes variously according to the traveling environment of the vehicle. Then, the standard face template stored in the memory 14 is read in advance, and a correlation operation with the normalized face image is performed. In the correlation operation, the normalized face image is converted to T (x,
y), when the standard template is S (x, y), M = ΣΣ | T (x, y) −S (x, y) | Since the position where the correlation value M becomes the minimum is the face area on the normalized image, this is stored in the memory 14 as the target face area template. At this time, the position of the target face area template on the image is also stored. Then, the correlation between the image in the target face area template and the standard eye area template is calculated in the same manner as described above, and the area having the highest correlation, that is, the area having the smallest correlation value is detected and set as the target eye area template. (S203). At this time, the position of the target eye area template on the image is simultaneously stored in the memory.
【００２５】そして、この第２実施例において特徴的な
ことは、対象顔領域テンプレートと対象目領域テンプレ
ートそれぞれの相関演算を行い、相関値が最小となる位
置までのテンプレート移動量から運転者の運転状態を検
出する点である。What is characteristic in the second embodiment is that the correlation calculation is performed on the target face area template and the target eye area template, and the driving amount of the driver is calculated based on the amount of template movement up to the position where the correlation value is minimized. The point is to detect the state.
【００２６】すなわち、図３において、Ｓ２０１−Ｓ２
０４まではＳ１０１−Ｓ１０４と同様であり、次に撮影
画面に対しメモリ１４に格納されている対象顔領域テン
プレートと対象目領域テンプレートとの相関演算を行う
（Ｓ２０５）。この演算は、対象テンプレートの位置に
ある撮影画像内の画像と対象テンプレートとの相関を演
算することにより行われる。相関結果はＥＣＵ１６に供
給される。That is, in FIG. 3, S201-S2
Steps up to step 04 are the same as steps S101 to S104. Next, a correlation operation between the target face area template and the target eye area template stored in the memory 14 is performed on the shooting screen (S205). This calculation is performed by calculating the correlation between the image in the captured image at the position of the target template and the target template. The correlation result is supplied to the ECU 16.
【００２７】ＥＣＵ１６は供給された相関結果から、相
関値が最小となる位置を検出し、この位置までに対象テ
ンプレートが移動した量を算出する（Ｓ２０６）。この
算出は、相関値が最小となる位置とメモリ１４に格納さ
れた対象テンプレートの位置の差分を算出することによ
り行われる。そして、算出された顔領域の移動量、目領
域の移動量が所定時間以上、所定量以上であるか否かが
判定される（Ｓ２０７）。The ECU 16 detects a position where the correlation value is minimum from the supplied correlation result, and calculates an amount by which the target template has moved to this position (S206). This calculation is performed by calculating the difference between the position where the correlation value is minimum and the position of the target template stored in the memory 14. Then, it is determined whether the calculated movement amount of the face area and the movement amount of the eye area are equal to or longer than a predetermined time and equal to or longer than a predetermined amount (S207).
【００２８】図８には運転者が正常な状態（ａ）及びわ
き見状態（ｂ）が示されており、図９にはそのときの目
領域の移動量が示されている。図９において図中ア及び
イにおいて移動量が所定時間所定値以上となっており、
わき見をしていると判断できる。このように、運転者が
わき見をしている場合には顔領域の移動量が所定時間以
上、所定量以上となり、また、運転者が正面を向いてい
ない場合には目領域の移動量が所定時間以上、所定量以
上となるので、それぞれ異常状態と判定され、警報が発
せられる（Ｓ２０８）。FIG. 8 shows the normal state (a) and the sideways state (b) of the driver, and FIG. 9 shows the amount of movement of the eye area at that time. In FIG. 9, the movement amount is equal to or more than a predetermined value for a predetermined time in a and a in FIG.
You can judge that you are looking aside. As described above, when the driver is looking aside, the movement amount of the face area is equal to or more than the predetermined time and equal to or more than the predetermined amount, and when the driver is not facing the front, the movement amount of the eye area is equal to the predetermined amount. Since the time is equal to or longer than the predetermined amount, each is determined to be abnormal, and an alarm is issued (S208).
【００２９】このように、本第２実施例では対象顔領域
テンプレートと正規化撮影画像との相関が最もよい位置
までの移動量により運転者の顔の移動量を評価し、また
対象目領域テンプレートと正規化撮影画像との相関が最
もよい位置までの移動量により運転者の目の移動量を評
価してわき見運転や注視点などを検出し、異常状態を検
出して注意を促すことができる。As described above, in the second embodiment, the amount of movement of the driver's face is evaluated based on the amount of movement to the position where the correlation between the target face area template and the normalized photographed image is the best. It can evaluate the amount of movement of the driver's eyes by detecting the amount of movement of the driver's eyes by detecting the amount of movement to the position where the correlation with the normalized photographed image is the best, and detect abnormal conditions to detect abnormal conditions and call attention .
【００３０】なお、前述した第１実施例における相関値
変動と本実施例における移動量とを組み合わせて警報を
発生させる構成としてもよい。The alarm may be generated by combining the variation in the correlation value in the first embodiment described above with the movement amount in the present embodiment.
【００３１】[0031]
【発明の効果】以上説明したように、本発明の運転状態
検出装置によれば、種々の走行環境により輝度変化が生
じても、確実に運転者の運転状態を検出することがで
き、警報等により注意を喚起することができる。As described above, according to the driving state detecting device of the present invention, the driving state of the driver can be reliably detected even if the luminance changes due to various driving environments, and an alarm or the like can be obtained. Can call attention.
【図１】本発明の実施例の構成ブロック図である。FIG. 1 is a configuration block diagram of an embodiment of the present invention.
【図２】本発明の実施例の処理フローチャートである。FIG. 2 is a processing flowchart of an embodiment of the present invention.
【図３】本発明の他の実施例の処理フローチャートであ
る。FIG. 3 is a processing flowchart of another embodiment of the present invention.
【図４】本発明の実施例の標準テンプレートの説明図で
ある。FIG. 4 is an explanatory diagram of a standard template according to the embodiment of the present invention.
【図５】本発明の実施例の対象テンプレートの説明図で
ある。FIG. 5 is an explanatory diagram of a target template according to the embodiment of this invention.
【図６】本発明の実施例の運転状態説明図である。FIG. 6 is an explanatory diagram of an operation state of the embodiment of the present invention.
【図７】本発明の実施例の相関値変化説明図である。FIG. 7 is an explanatory diagram of a change in a correlation value according to the embodiment of the present invention.
【図８】本発明の他の実施例の運転状態説明図である。FIG. 8 is an explanatory diagram of an operating state of another embodiment of the present invention.
【図９】本発明の他の実施例の移動量の説明図である。FIG. 9 is an explanatory diagram of a movement amount according to another embodiment of the present invention.
【図１０】本発明の作用説明図である。FIG. 10 is an operation explanatory view of the present invention.
【図１１】本発明の作用説明図である。FIG. 11 is an operation explanatory view of the present invention.
【図１２】本発明の作用説明図である。FIG. 12 is a diagram illustrating the operation of the present invention.
【図１３】本発明の作用説明図である。FIG. 13 is an operation explanatory view of the present invention.
１０ カメラ １２ 画像処理装置 １４ メモリ １６ ＥＣＵ Reference Signs List 10 camera 12 image processing device 14 memory 16 ECU
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) B60K 28/00 - 28/16 G08B 21/00 A61B 5/11 ──────────────────────────────────────────────────続 き Continuation of the front page (58) Field surveyed (Int. Cl. 6 , DB name) B60K 28/00-28/16 G08B 21/00 A61B 5/11
Claims (2)
り運転者の運転状態を検出する運転状態検出装置であっ
て、 車両運転者を撮影する撮像手段と、 得られた画像の濃淡正規化を行う正規化手段と、 正規化された画像に対して予め顔及び目領域を特定した
標準テンプレートを用いて相関演算を行い、運転者用の
対象顔テンプレート及び対象目テンプレートを作成する
対象テンプレート作成手段と、 正規化された画像に対して前記対象テンプレートを用い
て相関演算を行い、相関値の変化に基づき運転者の運転
状態を検出する検出手段と、 を有することを特徴とする運転状態検出装置。1. A driving state detecting device for detecting a driving state of a driver by processing a face image of the vehicle driver, comprising: an imaging unit for photographing the vehicle driver; And a target template for generating a target face template and a target eye template for a driver by performing a correlation operation on the normalized image using a standard template in which a face and an eye region are specified in advance. Means for performing a correlation operation on the normalized image using the target template, and detecting a driving state of the driver based on a change in the correlation value. apparatus.
て、 前記検出手段は、正規化された画像に対して前記対象テ
ンプレートを用いて相関演算を行い、最も相関の高い位
置までの前記対象テンプレートの移動量に基づき運転者
の運転状態を検出することを特徴とする運転状態検出装
置。2. The operating state detecting apparatus according to claim 1, wherein the detecting unit performs a correlation operation on the normalized image using the target template, and the target template up to a position having the highest correlation. A driving state detecting device for detecting a driving state of a driver based on a moving amount of the vehicle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5047597A JP2985558B2 (en) | 1993-03-09 | 1993-03-09 | Operating condition detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5047597A JP2985558B2 (en) | 1993-03-09 | 1993-03-09 | Operating condition detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06255388A JPH06255388A (en) | 1994-09-13 |
| JP2985558B2 true JP2985558B2 (en) | 1999-12-06 |
Family
ID=12779662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5047597A Expired - Fee Related JP2985558B2 (en) | 1993-03-09 | 1993-03-09 | Operating condition detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2985558B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3452685B2 (en) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | Face image processing device |
| JPH1035320A (en) * | 1996-07-24 | 1998-02-10 | Hitachi Ltd | Vehicle condition recognition method, on-vehicle image processor, and memory medium |
| GB2492322A (en) * | 2011-06-22 | 2013-01-02 | Ge Aviat Systems Ltd | Visual displays for an aircraft flight deck, with brightness adjusted based on ambient light |
| JP2014071519A (en) * | 2012-09-27 | 2014-04-21 | Aisin Seiki Co Ltd | State determination device, driving support system, and state determination method and program |
| JP6651911B2 (en) | 2016-03-07 | 2020-02-19 | オムロン株式会社 | Face image processing device |
| JP7466687B2 (en) * | 2020-10-30 | 2024-04-12 | 京セラ株式会社 | Detection device and image display system |
-
1993
- 1993-03-09 JP JP5047597A patent/JP2985558B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06255388A (en) | 1994-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8300891B2 (en) | Facial image recognition system for a driver of a vehicle | |
| JP4626632B2 (en) | Video surveillance system | |
| EP0400607B1 (en) | Infrared monitoring system | |
| JP2004145852A (en) | Method for detecting position of lane marker, apparatus for detecting position of lane marker and alarm apparatus for lane deviation | |
| US20100052904A1 (en) | Abnormality detecting device | |
| JP3063504B2 (en) | Image data feature detection device | |
| JPH0950585A (en) | Intruder monitoring device | |
| JP2985558B2 (en) | Operating condition detection device | |
| JP3012226B2 (en) | Drowsy driving prevention device | |
| JP7384158B2 (en) | Image processing device, moving device, method, and program | |
| JP2020194227A (en) | Face hiding determination device, face hiding determination method, face hiding determination program, and occupant monitoring system | |
| JPH11161798A (en) | Vehicle driver monitoring device | |
| JP2002190027A (en) | System and method for measuring speed by image recognition | |
| JP4888707B2 (en) | Suspicious person detection device | |
| JP2004287752A (en) | Supervisory device | |
| JPH07101265A (en) | Driving state detecting device | |
| JPH08175218A (en) | Operation state detector | |
| JP3057996B2 (en) | Eye position detection device for vehicle driver | |
| US20230377170A1 (en) | Method for motion detection and circuit system | |
| JP4613601B2 (en) | Vehicle monitoring device | |
| JP3792460B2 (en) | Intruder detection image processing system | |
| KR101533338B1 (en) | Apparatus and method for detecting object | |
| JP4565738B2 (en) | Image sensor | |
| JPH04200084A (en) | Image monitor device | |
| JPH09190533A (en) | Vehicle detecting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |