JP2932551B2

JP2932551B2 - 虹彩位置検出装置及び運転者の状態検出装置

Info

Publication number: JP2932551B2
Application number: JP1338671A
Authority: JP
Inventors: 裕史上野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1989-12-28
Filing date: 1989-12-28
Publication date: 1999-08-09
Anticipated expiration: 2014-08-09
Also published as: JPH03202045A

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）この発明は、運転者等の目の虹彩位置を検出する虹彩
位置検出装置及び運転者の目の虹彩状態を検出して居眠
り等を検出する運転者の状態検出装置に関する。

（従来の技術）従来の運転者の状態検出装置、例えば居眠り検出装置
としては特開昭60-158303号公報等に記載されたものが
ある。この種の居眠り検出装置は赤外ストロボを用いて
運転者の顔面に赤外光を照射し、その反射光を二次元撮
像素子で画像として検出した後、該画像を２値化し、こ
れによる明暗領域の画像パターンから目の位置の動きを
検出して運転者が居眠りしているか否かを判定するもの
である。

（発明が解決しようとする課題）しかしながら、このような居眠り検出装置では、２値
化された顔面画像の明暗領域の形状から目の位置を認識
するものであるため目のおおよその位置か認識できるに
すぎず、目が開いているのか閉じているかまでは判別で
きない。従って顔の姿勢を崩さないまま居眠りをしてい
た場合には運転者の居眠り検出ができないという問題が
あった。

そこでこの発明は、虹彩部を検出する領域の暗領域部
分の面積を統計的手法で処理し、運転者の虹彩中心位置
を検出してより正確な判定を行うことができるようにし
た運転者の状態検出装置の提供を目的とする。

［発明の構成］（課題を解決するための手段）上記課題を解決するために、この発明は、目を含む顔
画像を入力する画像入力手段CL1と、この画像入力手段
から送出される入力画像を２値化する２値化手段CL2
と、この２値化手段による２値化画像において虹彩部を
検出する領域を設定する領域設定手段CL3と、この領域
設定手段CL3で設定した領域内において少なくとも暗領
域の面積を検出すると共に検出した面積の大きさに応じ
て候補点に統計的処理により重みづけを行い虹彩中心位
置を検出する虹彩中心検出手段CL4とを備える構成とし
た。

又、前記虹彩中心検出手段CL4による検出結果から運
転者の状態を判定する判定手段CL5とを備える構成とし
た。

（作用）上記構成によれば、２値化画像から虹彩部を検出する
領域を設定し、その領域内において少なくとも暗領域の
面積を検出し、検出した面積の大きさに応じて候補点に
統計的処理による重みづけを行い、虹彩中心位置を検出
することができる。従って、判定手段CL5により運転者
の状態を判定する場合に虹彩中心位置の特定でより正確
な判定を行うことができる。

（実施例）以下、この発明の実施例を図面に基づいて説明する。

第２図はこの発明の一実施例に係る車両運転者の状態
検出装置の構成図、第３図は第２図の構成図に基づくフ
ローチャートを示すものである。

第２図に示すように、この状態検出装置は、インスト
ルメントパネル（図示せず）内の運転者に対する正面方
向に、運転者の顔部分を照射する赤外ストロボ１と、こ
の赤外ストロボ１の赤外光で照射される顔部分を撮影す
る画像入力手段CL1としてのTVカメラ３と、前記赤外ス
トロボ１の発光とTVカメラ３の画像入力とのタイミング
を合せるタイミング指令回路５とを備えている。そし
て、赤外ストロボ１にタイミング指令回路５からストロ
ボ発光指令が出力されると赤外ストロボ１が発光して運
転者の顔部分を照射し、これと同時にTVカメラ３に対し
画像入力指令が出力され、これにより赤外光で照射され
た顔部分を撮像するようになっている。

TVカメラ３の入力画像は、第６図に示すように、横方
向520画素、縦方向500画素からなり、縦方向に顔部分が
ほぼいっぱいになるように画角が調整されている。

TVカメラ３には、撮影した入力画像をデジタル量に変
換するA/D変換器７を介して画像メモリ９が接続されて
いる。この画像メモリ９はTVカメラ３の入力画像データ
を格納するものである。

画像メモリ９には、該画像メモリ９に格納された入力
画像データに基づいて眼球の存在位置領域を規定する眼
球存在位置規定回路11が接続され、さらに、眼球存在位
置規定回路11で規定された領域内にある画像メモリ９の
画像データを処理して眼の虹彩部分を検出する虹彩検出
回路13が接続されている。

また、虹彩検出回路13には、該虹彩検出回路13での虹
彩の検出結果から運転者の居眠りやわき見等の有無を判
定する居眠りわき見判定回路15が接続され、さらに、居
眠りわき見判定回路15で運転者の居眠りわき見が判定さ
れたときの指令により警報を発する警報出力回路17が接
続されている。

前記眼球存在位置規定回路11は、入力画像をあるしき
い値で２値化する２値化手段CL2と、２値化画像におい
て虹彩部分を検出する領域を設定する領域設定手段CL3
とを構成するものである。

また、虹彩検出回路13は虹彩中心検出手段CL4を構成
し、居眠りわきみ判定回路15は判定手段CL5を構成する
ものである。

つぎに、第３図、第４図のフローチャートに基づいて
作用を説明する。なお、第４図のフローチャートがこの
発明実施例の主体を成すものであるが、前提として、第
３図のフローチャートの初めから説明する。

まず、ステップS1で赤外ストロボ１の発光と同期して
TVカメラ３によって撮影された運転者の顔部分の画像を
A/D変換回路７でデジタル信号に変換して画像メモリ９
に格納する。つぎに、ステップS2で画像メモリ９に格納
された入力画像データを眼球存在位置規定回路11に取り
込み、あるしきい値で２値化する。これは、顔部分の明
暗をはっきりさせるためであり、２値化しきい値は眼球
部を抽出できるレベルに設定されている。

すなわち、ビデオ信号を256階調（０〜255）のデジタ
ルデータに変換し、白い部分を“255"、黒い部分を“0"
とし、あるスレッシュホールドレベルで２値化して２値
化画像Ｊ（x,y）を得たものである。

つぎに、ステップS3において、左右それぞれの眼球の
存在領域（ウインドウ、第７図の点線で示す四角部分）
の横方向（Ｘ方向）の幅を決定する。ウインドウが検出
されると、ウインドウのＸ方向の幅内で眼の候補点を検
出し（ステップS4）、次いで額を検出したか否かを判別
して（ステップS5）、第10図（ａ），（ｂ）に示すパタ
ーンのどれかを決定する（ステップS6,S7）。ステップS
8では両眼とウインドウが設定されたか否かが判別さ
れ、次いで虹彩中心検出が行なわれる（ステップS9）。
そして虹彩中心が検出されると虹彩中心から乗員の居眠
りわき見判定が行なわれる（ステップS10）。

次に、前記ステップS3の処理の詳細フローチャート
（SETWIN処理）を第５図に示す。

この処理は、顔の左右の髪の毛や顔の輪郭線等より顔
の幅を認識し、この顔の幅から眼球の存在領域のＸ方向
の幅を決定するものである。

まず、初めに、白いドットのカウンタＡ、黒いドット
のカウンタＢ、顔濃淡の黒い部分である眉や眼を検出す
るカウンタＣ、眼鏡のフレーム判断手段CL7で利用する
カウンタＤをクリアする。

つぎに、ステップS301で入力画像をＸ方向にラスター
走査し（第10図において左から右へ走査するが、実際の
顔に対しては右から左へ走査していることになる。但
し、説明上第10図の左側を顔の左側と称する。）、黒ド
ットか否かを判別する。そして、走査が頭の端に至る等
して最初の黒ドットを検出したらステップS303へ移行
し、白ドットのカウンタＡの値が０を越えているか否か
が判別される。乗員の背影が２値化によって白であるこ
とを前提にすると、初めての黒ドットが検出される前に
は白ドットがカウントされているから、ステップS304で
黒ドットのカウンタＢをクリアする。

ステップS305で黒ドットの個数をカウントし、黒ドッ
トが５回連続してカウントされたか否かが判別される
（ステップS306）。黒ドットのカウントが１個目であれ
ばステップS308へ移行し、この時点では左側のＸ座標は
検出されていないためS309と移行し、そしてステップS3
10へ移行し、Ｘ方向はすべて走査されたか否かが判断さ
れるが（Ｘ511）、まだすべては走査していないので
ステップS301へ移行し、Ｘ方向の走査値が加算される。
そして黒色ドットを検出し続けていればステップS302,S
303,S305と移行し、再びステップS306の判断が行なわれ
る。ここで、黒ドットＢの個数が５回連続しているとき
は、顔の右側部分の髪の毛のＸ方向におけるほぼ中央部
であると判定し、そのときのＹ座標MEYを記憶する（ス
テップS307）。

つぎに、ステップS308で眼球の存在領域の左側Ｘ座標
を検出したか否かが判別される。このときは、まだ左側
Ｘ座標は検出されていないから、ステップS309で白ドッ
トのカウンタＡをクリアしてステップS310へ移行する。

ステップS310では再びＸ方向をすべて走査したか否か
が判別される。このときはＸ方向のすべては走査されて
いないのでステップS301へ戻り、走査が例えば顔の白い
部分に至っていればステップS302を経てステップS311へ
移行し、白ドットの個数をカウントする。そして、ステ
ップS312で、最初の白ドットは黒ドットが10回以上連続
してカウントされた後であるか否かが判別される。

この判別はＹ方向が額の位置で左側部分の髪の毛を全
部カウントしたか否かを判別するものである。

ここで黒ドットが10回以上カウントされた後で、額の
幅に相当する白ドットが190以上検出されたときは、ス
テップS313からステップS314へ移行し、最初の白ドット
か否かが判別される。ここで、最初の白ドットであれ
ば、ウインドウの左側Ｘ座標の候補点X1としてＸ＝X1を
メモリに記憶する（ステップS315）、（第７図）。

このとき、ステップS321で、眉や眼の黒ドットのカウ
ンタＣが０を越えているか否かが判別される。ここで、
Ｙ方向が額の位置であれば白色ドットが続くはずである
から黒ドットはカウントされずステップS310へ移行し、
Ｘ方向はすべて走査されたか否かが判別される。このと
きは未だＸ方向はすべて走査されていないのでステップ
S301へ戻り、前記と同様な処理が繰返し実行される。

また、ステップS321で黒ドットＣがカウントされてい
るときには、前記候補点X1を検出したＹ座標が額ではな
く、例えばそれよりも下の眉等の位置におけるものであ
るからステップS322で黒ドットをクリアし、ウインドウ
のＸ方向左側の候補点X1をキャンセルする（ステップS3
23）。

候補点X1が検出できなかったＹ座標でＸ方向が全てス
キャンされればカウンタA,B,Cがクリアされ、Ｙ座標が
下方へ１つずらされる（ステップS310,S328,S329）。そ
して、上記のX1の検索が同様にして行なわれ、Ｙ方向が
全てスキャンされれば（ステップS330）、X1が検出でき
ないものとし（ステップS336）、処理は終了する。X1が
検出できないときは乗員がわき見をしたり、下を向いて
いるような状態を意味する。

ところで、乗員が眼鏡を装着している場合には、眼鏡
フレームの下部においてもＸ方向に黒ドットが10回以上
連続することがある。そして、眼鏡フレームの下部にお
ける黒ドットの連続であれば黒ドットが10回以上連続し
た後、白ドットが190以上連続することはない。そこ
で、眼鏡フレームの左側の右端（X2）をウインドウの候
補点として検出した後、白ドットが190回以上連続しな
い場合には、ステップS313からステップS316へ移行して
（X2−５、Ｙ軸MEY）の点（眼鏡の片側下フレームＸ方
向略中央）からＹ方向上方のドットを検索し、黒色ドッ
トの個数をカウントする（ステップS317）。そして、ス
テップS318でドットを20回以上カウントしたか否かが判
別され、20回以上カウントしておれば、黒ドットが10回
以上カウントされたか否かが判別される（ステップS31
9）。これは、第９図（ｂ）のように眼鏡をかけていれ
ばフレームのP₁位置から20ドット以上のところに眼があ
り、そこで眼を検出して黒ドットが10回以上続き、眼鏡
なしの場合は眼と眉とをフレームと見たてて同図（ａ）
のようにP₂位置から上方へ20ドット以上カウントする
と、そこから黒ドットが10回以上続くことはなく区別で
きるからである。ここで黒ドットが10回以上あるとき
は、前記Ｘ座標の候補点X2を基にフレームの大きさを考
慮してX1をウインドウの左側のＸ座標として確定する
（ステップS320）。黒ドットが10回以上ないときには、
Ｘ座標を確定せずにステップS310からステップS301へ戻
り、前記と同様の処理を繰返す。

ウインドウの左側のＸ座標X1が第８図、第９図（ｂ）
のように確定され、Ｘ方向への走査によって再び右の頭
髪の黒ドット、あるいは眼鏡フレームの右側の黒ドット
を検出すると、ステップS324でその個数をカウントし、
黒ドットが５回連続してカウントされたか否かが判別さ
れる（ステップS325）。ここで、黒ドットが５回連続し
てカウントされると、第８図のようにウインドウの右側
Ｘ座標XX2としてＸ＝XX2をメモリに記憶する。なお、ス
テップS316〜S320によってX1が記憶されているときは眼
鏡の右側フレームの左端がXX1として記憶され、このXX1
に基づきXX2を記憶する。

ステップS325で、黒ドットが５回連続してカウントさ
れないときは、乗員が横を向いていたり、顔が斜めにな
っているようなときであり、ステップS327で白ドットを
クリアし、ステップS310へ移行する。このとき、音声等
で乗員に姿勢を正すように警告することもできる。

このようにして、ウインドウの左側Ｘ座標X1と同右側
Ｘ座標XX2（又はXX1）が検出されると、ステップS331へ
移行して、前記ウインドウの左右のＸ座標X1,XX2（又は
XX1）を検出した縦方向のＹ座標をHABAYとして記憶し、
ステップS332で、ウインドウを左右の眼に分割するため
のＸ座標を求める（第８図参照）。この分割は、例えば
眼鏡をかけていない場合を例とすれば次式によって行わ
れる。すなわち、Ｘ軸センタ＝XC ＝X1＋｛（XX2−X1）/2｝左眼ウインドウの左側Ｘ座標＝X1 左眼ウインドウの右側Ｘ座標＝X2 ＝XC−25 右眼ウインドウの左側Ｘ座標＝XX1 ＝XC＋25 右眼ウインドウの右側Ｘ座標＝XX2 つぎに、ステップS333およびステップS335において、
左、右ウインドウのそれぞれのＹ座標を求めるWINSUBへ
移行する（ステップS334）。

上記のように、左右ウインドウのＸ座標X1,X2,XX1,XX
2が検出されると、第３図のフローチャートのステップS
4へ移行して、ウインドウのＸ方向の幅内で眼の候補点
を検出し、額を検出したか否かを判別して（ステップS
5）、第10図（ａ），（ｂ）に示すパターン１乃至10の
どれかを決定する（ステップS6およぴS7）。

第６図は上記ステップS4乃至ステップS7の詳細フロー
チャート（WINSUB処理）を示すものである。

この処理は、ウインドウのＹ方向の座標を決定するも
ので、左右それぞれの眼において行われる。

まず、ステップS401乃至ステップS403で、例えば左側
ウインドウの１列分、すなわち、左側Ｘ座標X1から右側
Ｘ座標X2までを走査し黒ドットの個数Ｅをカウントす
る。つぎに、カウントされた黒ドットの個数Ｅが最大個
数Emax（前回までの処理で最大個数をいう。）以上か否
かが判別され（ステップS404）、今回の処理のカウント
値が最大個数Emax以上の場合は、その個数Ｅを最大個数
Emaxとして記憶する（ステップS405）。その後カウンタ
Ｅはクリアされ（ステップS421）、Ｙ方向へ300ドット
まで走査したか、すなわち、頬に至るまで走査したか否
かが判別され（ステップS422）、Ｙ方向へ300ドットま
で走査されていなければ、Emax保管の上記ステップが繰
返され、第10図（ｂ）のパターン７のような場合は眉と
眼との双方のEmaxが保管される。

なお、ステップS422での300ドットは固定値である
が、これ以下のドット数でもよく、又、頭部先端位置の
検出により適数を自動的に決めることもできる。

ステップS404で、黒ドットの個数Ｅが最大個数Emax未
満の場合には、ステップS406へ移行し、黒ドットの個数
Ｅが最大個数Emaxに対して80％以上減ったか、すなわ
ち、80％以上が白ドットかを判定し、80％以上が白ドッ
トの場合は、額、眉と眼の間、頬のいづれかを検出した
と判定してステップS406からS407へ移行し、そのときの
Ｙ座標ZRを記憶する。

そして、ステップS408で、候補点が１個か否かが判別
され、ここで候補点が１個であれば額を５回検出したか
否かが判別される（ステップS409）。この判断がYESで
あれば、Ｙ方向の走査が頭部から額に至ったことを示す
ものであるため、候補点フラグをOFFし（ステップS41
0）、ステップS421へ移行して黒ドットのカウント数Ｅ
をクリアする。従って、頭部を候補点として検出するこ
とがなくなる。

Ｙ方向の走査が眉と眼との間であり候補点が眉の１個
であるときはステップS408からS409へ至りステップS409
の判断がNOとなってステップS421へ移行する。Ｙ方向の
走査が頬であり、既に候補点が複数となっていれば、候
補点フラグはONのままとなる（ステップS408）。このよ
うに、ステップS406〜S410により候補点を検出したか否
か、検出したのは額、眉と眼との間、頬のいずれの走査
におけるものなのかを区別することができる。

ステップS406で、白ドットが80％以下であるときは、
Ｙ座標ZRを保管したか否かが判別され（ステップS41
1）、Ｙ座標ZRを保管していれば、黒ドットの個数Ｅが1
0個以上増えたかが判別される（ステップS412）。ステ
ップS411でZRが保管されていなければＹ座標は例えば頭
部にあるため、ステップS421、S422からS401へリターン
する。

ZRを保管しステップS412で黒ドットの個数Ｅが10個以
上増えている場合は、眉、眼、眼鏡フレームなど眼球領
域の可能性のある黒ドットの多い部分であると判定す
る。そして、ステップS413で、候補点フラグはONか否か
が判別され、ONの場合は候補点の数は１個か否かが判別
される（ステップS414）。ここで、候補点が１個であれ
ば、ステップS416で候補点に代表される黒色領域の大き
さのパラメータＦを増加する。このパラメータＦが非常
に大きい場合は、眼と眉とが影などで１つの部分と認識
されており、候補点が実質的には２個あると判断される
（第10図（ａ）のパターン４参照）。

ステップS413において、候補点フラグがOFFのときに
は、候補点フラグをONにし（ステップS417）、ステップ
S418で候補点の検出回数をカウントアップし、候補点検
出カウント回数が２回以上か否かが判別される（ステッ
プS419）。ここで、候補点検出カウント数が２回以上で
ない場合は、ステップS420で、その時のＹ軸の座標をウ
インドウを設定する基準座標YYSとして記憶する。

このようにしてステップS416およびステップS420の処
理がなされると、つぎに、ステップS421へ移行して黒ド
ットのカウンタＥをクリアし、ステップS422へ移行す
る。

ステップS422において、Ｙ軸を０〜300ドットまで走
査したか否かが判別され、Ｙ座標を300ドットまで走査
が終ると、ステップS423へ移行し、先にSETWIN処理で記
憶したHABAYの位置が220以下であるか否かが判別され
る。HABAYの位置が220以下であれば、額を検出している
と判定し（ステップS424）、ステップS425で候補点検出
カウント回数が２回以上か、又は、パラメータＦが70以
上か否かが判別される。

候補点検出カウント回数が２回以上、又はパラメータ
Ｆが70以上の場合は、第10図で示すパターン4,7,8,10の
いずれかであるから第10図の表で示す設定手段Ａによっ
てウインドウ上のＹ座標をYYS＋30、ウインドウ下のＹ
座標をYYS＋80に設定する（ステップS426）。

ステップS425で、候補点検出カウント回数が２回以下
又はパラメータＦが70以下の場合には、ステップS427で
候補点検出カウント回数が１回か否かが判別され、候補
点検出カウント回数が１回の場合はパターン３であり、
設定手段Ｂによってウインドウ上のＹ座標をYYS−20、
ウインドウ下のＹ座標をYYS＋30に設定する（ステップS
428）。

ステップS427で候補点検出カウント回数が無い場合に
は、検出不能であり（ステップS429）、EXITする（ステ
ップS430）。この場合は、運転者が下を向いている場合
等と判断される。従って、所定の警告等をしてもよい。

つぎに、ステップS423において、HABAYの位置が220以
下でない場合には、額を検出していないと判定して（ス
テップS423）、ステップS432で候補点検出カウント回数
が２回以上か否かが判別される。

候補点検出カウント回数が２回以上の場合はパターン
９であり、設定手段Ｃによってウインドウ上のＹ座標を
YYS−20、ウインドウ下のＹ座標をYYS＋30に設定する
（ステップS428）。

ステップS432で、候補点検出カウント回数が２回以下
の場合には、ステップS433で候補点検出カウント回数が
１回か否かが判別され、候補点検出カウント回数が１回
の場合は、その候補点が眼鏡のフレームか否かが判別さ
れる（ステップS434）。ここで、パターン６のように候
補点が眼鏡フレームの場合は、ステップS435へ移行す
る。ステップS435では、標準座標YYSから上方へドット
を検索し、黒ドットを検出した位置YYS2を記憶する。そ
して、設定手段Ｄによってウインドウ上のＹ座標をYYS2
−35、ウインドウ下のＹ座標をYYS2＋15に設定する（ス
テップS436）。

ステップS434で、眼鏡フレームではないと判別された
場合にはパターン５であり、設定手段Ｅによってウイン
ドウ上のＹ座標をYYS−20、ウインドウ下のＹ座標をYYS
＋30に設定する（ステップS428）。

ステップS433で、候補点検出カウント回数がない場合
にはパターン１であり、ステップS437へ移行し、候補点
が眼か、眼鏡フレームかを判別し、いづれでもない場合
はステップS438で標準座標YYSをステップS407で記憶し
たZR座標とし、設定手段Ｆによってウインドウ上のＹ座
標をYYS−20、ウインドウ下のＹ座標をYYS＋30に設定す
る（ステップS428）。

ステップS437で、候補点が眼鏡フレームの場合にはパ
ターン２であり、ステップS439へ移行する。ステップS4
39では、ZR座標から上方へドットを検索し、黒ドットを
検出した位置YYS2を記憶する。そして、設定手段Ｇによ
ってウインドウ上のＹ座標をYYS2−35、ウインドウ下の
Ｙ座標をYYS＋15に設定する（ステップS436）。

つぎに、上記設定手段D,E,FおよびＧを判別するため
に行われるステップS434およびステップS437の候補点が
眼か眼銃フレームであるかの判別の処理フローチャート
を第12図に示す。

この処理は、額を検出できず、候補点が１個以下の場
合に実行される。

まず、ステップS100乃至ステップS300において、候補
点の黒ドットから白ドットへ変った点ａから15ドット上
の点から上方へ黒ドットとなる点を検索し、ステップS4
00で黒ドットになるまでのカウントｂが20回以上か否か
が判別される。ここで、カウントｂが20回以下の場合は
第13図に示すようになっているため、候補点は眼である
と判定し（ステップS500）、また、カウントｂが20回以
上の場合には、第14図に示すようになっていると判別
し、この候補点は眼鏡フレームであると判定する（ステ
ップS600）。

そして、候補点が眼鏡フレームである場合における基
準座標YYS2は、候補点が１個か無いかによって次式で算
出される。すなわち、候補点が１個の場合には YYS2＝YYS−15−ｂまた、候補点がない場合には YYS2＝ZR−15−ｂとなる。

以上の処理を左右両眼において行うことによりそれぞ
れの眼のウインドウが設定される。

第10図、第11図に戻って整理すると、パターン１で
は、額および眉と眼の間が無いので、黒ドットの切れ目
であるａ点（＝ZR）から設定手段Ｆによってウインドウ
を設定する。

パターン２は、パターン１と同様であるが、眼鏡を着
用しているためａ点（＝ZR）から15＋ｂドット上方を基
準座標YYS2とし、設定手段Ｇによってウインドウを設定
する。

パターン３は、眉が薄いため候補点はａ点（＝YYS）
だけとなり、設定手段Ｂによってウインドウが設定され
る。

パターン４は、陰で眼と眉と眼鏡フレームの黒い部分
が一つに検出される場合で、眼鏡内が黒くなっているた
め候補点はａ点（＝YYS）だけであるが、パラメータＦ
の値ｂから設定手段Ａによってウインドウが設定され
る。

パターン５は、額の露出が無く眉と眼の間だけ検出す
るので、候補点はａ点（＝YYS）の１点となり設定手段
Ｅによりウインドウが設定される。

パターン６は、額が隠れている上、陰で眼と眉の黒い
部分が一つに検出される場合で、眉と眼の間を検出でき
ず、眼の下の白い部分を検出するため、候補点はａ点と
なるが、眼鏡を着用しているのでYYS2を基準座標として
設定手段Ｄによりウインドウが設定される。

パターン７は、普通の形で候補点はａ点（＝YYS）と
ｂ点の２点となり、ａ点を基準にして設定手段Ａによっ
てウインドウが設定される。

バターン８は、陰で眼と眉の黒い部分が一つに検出さ
れる場合で、額は検出されるが眉と眼の間が眼鏡フレー
ムにより検出できないため、候補点はａ点とｂ点の２点
となり、設定手段Ａによってウインドウが設定される。

パターン９は、額が隠れており眉と眼の間と眼と眼鏡
フレームの下部の間を検出して候補点はａ点とｂ点とな
り設定手段Ｃによってウインドウが設定される。

パターン10は、額、眉と眼の間および眼と眼鏡フレー
ムの下部の間を検出し、候補点がａ点、ｂ点およびｃ点
の３点となり、設定手段Ａによってウインドウが設定さ
れる。

そして、第３図のステップS8で、両眼ともウインドウ
が設定されたか否かが判別され、両眼ともウインドウが
設定されると、ステップS9へ移行する。なお、片眼のみ
の処理にすることも可能である。

ステップS9では、２値化した画像Ｊ（x,y）から上記
で設定されたウインドウ内に対する虹彩中心を検出する
処理が行われる。このときの眼の虹彩は、一般に暗い円
形領域として観測されるから、この円形領域を検出して
その領域面積を認識すれば、運転者の居眠りの有無が判
断できる。

なお、この実施例では顔幅を検出して領域の設定を行
なうから、例えば顔面像において背影が黒（夜間、ある
いはヘッドレストの色）であっても確実に検出すること
ができる。

ステップS9の処理の詳細はこの発明実施例の中心をな
す第４図のフローチャートに基づいて説明する。

まず、ステップS800でウインドウ内において虹彩候補
点の検出を行う。

この検出を先に説明する。

第15図は、虹彩候補点の検出原理を示す説明図であ
る。

今、ウインドウ内の任意の点（x,y）を中心とする半
径Ｒの円を設定するとともに、点（x,y）を中心として
放射状に４つの矩形を設定する。この矩形は、円の内外
方にそれぞれＰ画素だけ延在するように設定される。そ
して、円より外方の矩形白抜き部の明度値の総和と、円
より内方の矩形ハッチング部の明度値の総和との差δを
求める。

これを上記任意の点（x,y）においてRmin〜Rmaxまで
行い、差δの所定値をΔとして求める。つぎに、点（x
₊₁,y）を中心として同様な演算を行い、所定値Δを記憶
する。このような演算をウインドウ内の全画素点を中心
として行い虹彩候補点としての所定値Δを出力する。

これは、ウインドウ内に虹彩が存在するとき、虹彩は
他の領域に比べて輝度が低い円形図形として検出され、
虹彩の中心に求められる上記差δが最大値をとるという
原理に基づいている。

第16図は以上の処理のフローチャートを示すものであ
る。

まず、ステップS901で、ウインドウ内を走査するカウ
ンターx,yを１にリセットする。なお、ここで設定され
たウインドウの大きさは、ｘ方向Ｍドット、ｙ方向Ｎド
ットとする。つぎに、ステップS902で、虹彩検出の中心
座標の点Ｊ（x,y）が黒いか否かが判別され、黒い場合
はステップS903へ移行し、検出半径ＲをRminとする。つ
づいて、ステップS904およびS905において、Δおよびｐ
をリセットする。

つぎに、ステップS906乃至S908で、具体的に白い部分
に囲まれた黒い円形領域として検出する。すなわち、ス
テップS906において、式の前半の４項Ｊ（ｘ＋Ｒ＋p,
y）,J（x,y−Ｒ−ｐ）,J（ｘ−Ｒ−p,y）,J（x,y＋Ｒ＋
ｐ）はそれぞれ中心座標（x,y）から半径Ｒ＋ｐ離れた
右、下、左、上の位置の明度を表わし、式の後半の４項
Ｊ（ｘ＋Ｒ−ｐ−1,y）,J（x,y−Ｒ＋ｐ＋１）,J（ｘ−
Ｒ＋ｐ＋1,y）,J（x,y＋Ｒ−ｐ−１）はそれぞれ中心座
標（x,y）から半径Ｒ−（ｐ＋１）離れた右、下、左、
上の位置の明度を表わしている。

そしてステップS907でｐを１ずつ増加させｐ−１まで
変化させてステップS906乃至ステップS908を繰返し実行
し、半径Rminにおける第15図の矩形白抜き部の明度値総
和（ステップS906の式の前半４項の和）と矩形ハッチン
グ部の明度値総和（ステップS906の式の後半４項の和）
の差δが所定値Δとして求められる（ステップS910）。
つぎに、ステップS911で、半径Rmin＋１として再度ステ
ップS904へ移行し、ステップS906乃至ステップS908を繰
返し実行することにより半径Rmin＋１としたときの矩形
領域の明度差δを求める。

この明度差δが第１回目の半径Rminについて演算され
たΔよりも大きければ、その明度差δを所定値Δとす
る。このような操作を半径Rmaxまで繰返して行い、任意
の点（x,y）についての所定明度差Δが求まる（ステッ
プS912）。

これは、検出する虹彩の半径は、個人あるいはカメラ
と乗員の距離によって異るため、検出半径にあるゾーン
（Rmin〜Rmax）を設けるためである。

以下、この処理を、ｘを１〜Ｍまで、ｙを１〜Ｎまで
ウインドウ全体に亘って行う。このような処理によって
求まるΔは、虹彩候補点について演算された明度差であ
る。

以上の処理により第４図のステップS800の処理が終わ
り、候補点群の領域が幾つか得られるので次にラベリン
グ処理を行う（ステップS801）。この結果例えば第18図
のように暗領域である虹彩候補点に〜までの番号付
けがなされ、それぞれの中心点（Xi,Yi）が各領域の代
表座標点として記憶される。次にステップS802により検
出領域の上下左右５％ゾーン（第18図の0.05×lwと0.05
×lh）に代表点座標がある候補点を除外する。そして残
りの候補点の面積Siが所定値SSより大きいものだけを候
補点として残す。これは面積の所定値SSより小さい候補
点であれば明らかに虹彩ではないと判断できるからであ
る（ステップS803乃至ステップS807）。そして最後にス
テップS808で下式により候補点の加重平均により虹彩中
心位置を決定する。

なおステップS808では加重平均を用いて虹彩中心位置
を決定したが、他に算術平均等を利用してもよい。また
一般的に虹彩は候補点の中で最大面積の暗領域となる場
合が多いのでステップS803乃至ステップS808の代りに候
補点中で最大面積の候補点の代表点を虹彩中心位置とす
ることも可能であり処理の高速化が必要なる場合等は有
効である。要は、設定した領域内で少なくとも暗領域の
面積を検出し、検出した面積の大きさに応じて候補点に
統計的処理による重みづけを行い、虹彩中心位置を検出
するのである。

このようにして虹彩中心放置が求められた後最後に第
２図の居眠り、わき見判定回路15において乗員の居眠
り、わき見等の状態を判定する。即ち第３図のステップ
S10に移行して判定が行われる。即ち最終出力としての
虹彩候補点の所定値Δは開眼時と閉眼時とで比較すると
大きく異なるため、これを所定のしきい値処理すること
によって開眼か閉眼かを判別することができる。すなわ
ち、ステップS9で算出されたウインドウ内での明度差Δ
をしきい値処理し、明度差Δ≧Th（しきい値）の時は開
眼、明度差Δ≦Thの時は閉眼であると判断する。

まばたきをした場合にも上記の虹彩検出処理で開眼と
判断されることがあるから、１回の虹彩検出処理で運転
者が居眠りをしていると判断すると誤警報の可能性が高
いため、同一の虹彩検出処理を複数回繰返し実行し、あ
る所定回数以上連続して閉眼が認識されたときに居眠り
していると判定する。

例えば、第18図に示すように、黒点で示す時間間隔ご
とに画像が入力され、そして虹彩検出処理の結果、閉眼
と判断される回数が３回連続したときは運転者が居眠り
していると判定し、第２図に示すように居眠り判定信号
を出力する。警報出力回路17が居眠り判定信号を受ける
と、警報を発して運転者に注意を促す。

また、片目のみが閉眼と判断した場合は、実際には閉
眼でなく、わき見をしているために原画面から片目が外
れているものと考えられる。従って居眠り判断の場合と
同様に３回連続して片目が閉眼していると判断されたと
きには、わき見と判定する。

なお、第５図のWINSUBのサブルーチンにおいて、検出
不能エラーとしてEXITする場合があるが、この場合も例
えば３回連続してEXITになるときは、運転者が下を向い
たために頭のみが画像入力した結果と考えられるので、
このような場合は居眠りしていると判定して警報を発す
ることもできる。

（発明の効果）以上より明らかなように、請求項１の発明の構成によ
れば、虹彩部を検出する領域内において少なくとも暗領
域の面積を検出することができ、検出した暗領域の面積
の大きさに応じて候補点に統計的処理による重みづけを
行い虹彩中心位置を特定するから虹彩中心位置を正確に
検出することができる。

請求項２の発明では、運転者の目が開いているか閉じ
ているか、運転者が正面を向いているか等を正確に判断
することが可能となった。

【図面の簡単な説明】

第１図はこの発明の構成図、第２図はこの発明の一実施
例に係る構成図、第３図、第４図は第２図の構成図に基
づくフローチャート、第５図はSETWIN処理のフローチャ
ート、第６図はWINSUB処理のフローチャート、第７図乃
至第11図はこの実施例の処理に関する説明図、第12図は
眼鏡フレームの判断処理のフローチャート、第13図、第
14図はその処理に関する説明図、第15図は虹彩検出処理
の原理説明図、第16図は虹彩検出処理のフローチャー
ト、第17図は居眠り判断のための説明図、第18図はこの
発明実施例の特徴的な処理の説明図である。 CL1……画像入力手段 CL2……２値化手段 CL3……領域設定手段 CL4……虹彩中心検出手段 CL5……判定手段

Claims

(57)【特許請求の範囲】

【請求項１】運転者の両目を含む顔画像を入力する画像
入力手段と、この画像入力手段から送出される入力画像
を２値化する２値化手段と、この２値化手段による２値
化画像において虹彩部を検出する領域を設定する領域設
定手段と、この領域設定手段で設定した領域内において
少なくとも暗領域の面積を検出すると共に検出した面積
の大きさに応じて候補点に統計的処理により重みづけを
行い虹彩中心位置を検出する虹彩中心検出手段とを備え
たことを特徴とする虹彩位置検出装置。
【請求項２】運転者の両目を含む顔画像を入力する画像
入力手段と、この画像入力手段から送出される入力画像
を２値化する２値化手段と、この２値化手段による２値
化画像において虹彩部を検出する領域を設定する領域設
定手段と、この領域設定手段で設定した領域内において
少なくとも暗領域の面積を検出すると共に検出した面積
の大きさに応じて候補点に統計的処理により重みづけを
行い虹彩中心位置を検出する虹彩中心検出手段と、この
虹彩中心検出手段による検出結果から運転者の状態を判
定する判定手段とを備えたことを特徴とする運転者の状
態検出装置。