JPH0424503A

JPH0424503A - 眼位置検出装置

Info

Publication number: JPH0424503A
Application number: JP2129274A
Authority: JP
Inventors: Yasushi Ueno; 裕史上野; Kazuhiko Yoshida; 和彦吉田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1990-05-21
Filing date: 1990-05-21
Publication date: 1992-01-28
Anticipated expiration: 2011-10-09
Also published as: US5218387A; JP2541688B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）この発明は、運転者の眼の位置を検出する眼位置検出装
置に関する。

（従来の技術）従来の車両運転者等の眼位置検出装置としては、例えば
特開昭６２−２４７４１０号公報に記載されたようなも
のがある。これは車両運転者の眼の状態変化や口の発生
形状を認識することにより電気装置の付勢制御を行う装
置として提案されている。

また、他の従来例として、例えば特開昭６０１５８３０
３号公報、特開昭６０−１５８３０４号公報、特開昭６
１−７７７０５号公報および特開昭６１−７７７０６号
公報に記載されたようなものがある。これらは車両運転
者の眼の位置を認識する装置であり、運転者の顔部分を
撮影して２枚の画像として入力し、この画像の明領域の
中にある独立した明領域を特異的として抽出し、その特
異点を眼として認識する構成となっており、運転者の居
眠りや、わき見の検出に利用可能であるとしている。

（発明が解決しようとする課題）しかしながら、このような従来の車両運転者の眼位置検
出装置では、撮影画像には影かでき、眼の部分が独立し
た暗領域にならない場合も多い。

特に、眼鏡をかけている場合、髪の毛が額を覆っている
場合などは眼の部分が独立した暗領域とはならない。こ
のため、眼の位置が検出できなかったり、眉毛や眼鏡の
フレームなどを眼として誤認識してしまうという問題が
あった。

そこでこの発明は、車両運転者等の眼の位置の検出性度
をより向上することができる運転者の眼位置検出装置の
提供を目的とする。

［発明の構成］（課題を解決するための手段）上記課題を解決するためにこの発明は、第１図のように
、眼を含む顔画像を入力する画像入力手段ＣＬＩと、前
記画像入力手段ＣＬＩから送出されている入力画像を２
値化する２値化手段ＣＬ２と、前記２値化手段ＣＬ２に
よる２値化画像において顔の幅を検出する顔幅検出手段
ＣＬ３と、前記顔幅検出手段ＣＬ３により検出された顔
幅から眼の存在領域の横方向の位置を決定する眼球の左
右領域決定手段ＣＬ４と、決定された眼の横方向の存在
領域で縦方向の下から黒領域を検出する黒領域検出手段
ＣＬ５と、検出された黒領域の下端点を検出する下端点
検出手段ＣＬ６と、検出された下端点を基準にして眼の
存在領域の縦方向の位置を決定する眼球の縦領域決定手
段ＣＬ７とを備える構成とした。

（作用）上記構成によれば、顔幅検出手段ＣＬ３により検出され
た顔幅から眼の存在領域の横方向の幅が決定され、黒領
域検出手段ＣＬ５により前記横方向の存在領域で縦方向
の下から黒領域を検出する。検出された黒領域の下端点
を下端点検出手段ＣＬ６が検出し、この下端点を基準に
して、縦領域決定手段ＣＬ７か眼の存在領域の縦方向の
幅を設定する。

（実施例）以丁、二の発明の実施例を図面に基づいて説明する。

第２図はこの発明の一実施例に係る眼の位置検出装置の
構成図、第３図は第２図の構成に基づくフローチャート
を示すものである。

第２図に示すように、この眼位置検出装置は自動車に適
用したもので、インストメンドパネル（図示せず）内の
運転者に対する正面方向に、運転者の顔部分を照射する
赤外ストロボｌと、この赤外ストロボ１の赤外光で照射
される顔部分を撮影する画像入力手段ＣＬＩとしてのＴ
Ｖ左カメラと、前記赤外ストロボ１の発光とＴＶ左カメ
ラの画像入力とのタイミグを合せるタイミング指令回路
５とを備えている。そして、赤外ストロボ１にタイミン
グ指令回路５からストロボ発光指令が出力されると、赤
外ストロボｌが発光して運転者の顔部分を照射し、これ
と同時にＴＶ左カメラに対し画像入力指令か出力され、
赤外光で照射された顔部分を撮像するようになっている
。

ＴＶ左カメラの入力画像はこの実施例では第６図に示す
ように、横（Ｘ）方向５２０画素、縦（Ｙ）方向５００
画素がらなり、縦方向に顔部分がほぼいっばいになるよ
うに画角が調整されている。

ＴＶ右カメラには、撮影した入力画像をデジタル量に変
換するＡ／Ｄ変換器７を介して画像メモリ９が接続され
ている。この画像メモリ９はＴＶ右カメラの入力画像デ
ータを入力するものである。

画像メモリ９には、該画像メモリ９に格納された入力画
像データに基づいて眼球の存在位置領域を規定する眼球
存在位置規定回路１１が接続され、さらに、眼球存在位
置規定回路１１で規定された領域内にある画像メモリ９
の画像データを処理して眼の虹彩部分を検出する虹彩検
出回路１３が接続されている。

また、虹彩検出回路１３には、該虹彩検出回路１３での
虹彩検出結果から運転者の居眠りやわき見等の有無を判
定する居眠りわき見等の有無を判定する居眠りわき見料
定回路１５が接続されている。

前記眼球存在位置規定回路１１は、入力画像をあるしき
い値で２値化する２値化手段ＣＬ２と、２値化画像にお
いて顔の幅を検出する顔幅検出手段ＣＬ３と、顔の幅か
ら左右の眼の存在領域の横方向の位置を決定する眼球の
左右領域決定手段ＣＬ４と、決定された眼の横方向の存
在領域で縦方向の下から黒領域を検出する黒領域検出手
段ＣＬ５と、検出された黒領域の下端点を検出する下端
点検出手段ＣＬ６と、検出された下端点を基準にして、
眼の存在領域の縦方向の位置を決定する眼球の縦領域決
定手段ＣＬ７とを構成するものである。

つぎに、第３図のフローチャートに基づいて全体の作用
を説明する。

まず、ステップＳ１で赤外線ストロボ１の発光と同期し
てＴＶ右カメラによって運転者の顔部分を撮影し、この
画像をＡ／Ｄ変換回路７てデジタル信号に変換して画像
メモリ９に格納する（ステップＳ２）。

つぎにステップＳ３で画像メモリ９に格納された入力画
像データを眼球存在位置規定回路１］に取り込み、ある
しきい値で２値化する。これは、顔部分の明暗をはっき
りさせるためてあり、２値化しきい値は眼球を抽出てき
るレベルに設定されている。

すなわち、ビデオ信号を２５６階調（０〜２５５）のデ
ジタルデータに変換し、白い部分を“２５５°、黒い部
分を“０”とし、あるスレッンユホールドレヘルて２値
化して２値化画像Ｊ　（ｘ。

ｙ）を得たものである。

つぎに、ステップＳ４およびステップＳ６において左右
それぞれの眼球の存在領域（ウィンドウ、第６図の点線
で示す四角部分）の横方向（Ｘ方向）の幅を決定し、さ
らにステップＳ５およびステップＳ７において、左右そ
れぞれの眼球のウィンドウの縦方向（Ｘ方向）の幅を決
定する。この処理の詳細は第４図および第５図に示すフ
ローチャートにより後述する。

つぎに、左右それぞれの眼球のウィンドウが決定される
と、ステップＳ８て虹彩中心検出が行われる。そして、
虹彩中心が検出されると、ステップＳ９て虹彩中心から
乗員の居眠りわき見料定か行われる。

第４図は、第３図のステップＳ４およびステップＳ６の
詳細フローチャートを示すもので、顔の輪郭線等より顔
の幅を認識し、この顔の幅から眼球の存在領域のＸ方向
（横方向）の幅を決定するものである。

まず、初めにステップ５２０１てＸ座標カウンタｘｃ、
ｙ座標カウンタＹＣ，白色画素の連続数バッファＸＬＢ
、白色画素の連続終端位置バッファＸＥＢ、白色画素の
最大連続数ＸＬ、白色画素の連続が最大の位置での始点
ＸＳおよび終点ＸＥ、Ｙ座標ＹＬをクリアする。

つぎに、ステップ８２０３で入力画像をＸ方向にラスタ
ー走査しく第６図において左から右へ走査するが、実際
の顔に対しては右から左へ走査していることになる。但
し、説明上第６図の左側を顔の左側と称する。）、画素
Ｊ　（ＸＣ，ＹＣ）力黒色か否かを検索する（ステップ
５２０４）。顔部等の検出で画素か黒い場合にはステッ
プ５２０９へ移行し、白色画素カウンタＣ０ＮＴをクリ
アする。画素が白の場合はステップ５２０５へ移行して
白色画素カウンタＣ０ＮＴをカウントアップし、この白
色画素カウンタＣ０ＮＴの値がＹ座標ＹＣて白色画素の
最も長い値（前回までの処理で最も長い値をいう）のバ
ッファＸＬＢより大きいか否かが判別される（ステップ
５２０６）。この判別は顔幅を検出するためのものであ
る。白色画素カウンタＣ０ＮＴの値の方が大きい場合は
、その長さＣ０ＮＴと終端位置ＸＣをそれぞれバッファ
ＸＬＢＸＸＥＢに記憶する（ステップ５２０７゜５２０
８）。そして、ステップ５２１０において、Ｘ座標ＸＣ
を５２０画素すべて走査したか否かが判別される。５２
０画素の走査が終了するとステップ５２１１へ移行し、
白色画素連続数バッファＸＬＢに記憶された白色画素の
連続数の値か、今までの白色画素最大連続数ＸＬより大
きいか否かが判別される。白色画素連続数バッファＸＬ
ＢＯ値の方が大きい場合はステップ５２１２へ移行シ、
白色画素数連続数バッファＬＸＢの値と今までの白色画
素最大連続数ＸＬとの差が３００ドツトを越えるか否か
が判別される。この判別は白画素か連続する部分の長さ
の変化量か急激か否かを判別するものである。これは、
左右のこめかみ間から左右もみ上げ間で顔幅を検出して
いるときは、略ＬＸＢ＞ＸＬの条件を満足し、且つその
差が３００ドツトを越えることはないと推測できること
に基づき誤検出を防止するためのものである。従って、
差が３００ドツト以下の場合にはステップ８２１３へ移
行し、白色画素連続数バッファＸＬＢを白色画素最大連
続数ＸＬとする。つぎに、ステップ５２１４および５２
１５において、白色画素の連続が最大の位置の始点ＸＳ
および終点ＸＥとＹ座標ＹＬを算出して記憶し、ステッ
プ５２１７で白色画素連続数バッファＸＬＢをクリアす
る。

また、ステップ５２１２で差か３００ドツトを越える場
合は正規の顔幅検出位置ではないと推測できるため、ス
テップ５２１６へ移行し、白色画素連続数バッファＸＬ
Ｂの値か４００ドツトを越えるか否かが判別される。バ
ッファＸＬＢＯ値か４００ドツトを越えない場合は、Ｘ
ＬとＸＬＢとの差が３００ドツトを越えるけれども−０
顔幅を検出していると判断てきるためステップ５２１３
〜５２１５へ移行し、前記同様に白色画素の連続が最大
位置の始点ＸＳおよび終点ＸＥとＹ座標ＹＬを算出して
記憶し、ステップ５２１７で白色画素連続数バッファＸ
ＬＢをクリアする。

なお、ステップ５２１２での３００ドツトおよびステッ
プ８２１６での４００ドツトはこれ以下のドツト数でも
よく、また固定値であるが、体格検知、女性、男性等に
よって変えることもできる。

ステップ５２１１て白色連続数バッファＸＬＢの値の方
が小さい場合はステップ５２１７へ移行して白色画素連
続数バッファＸＬＢをクリアする。

以下、このような処理をＸ座標のＹＣが５００画素（画
面の最後）になるまで繰返し、白画素の連続が最大位置
の始点ＸＳと終点およびＹ座標ＹＬを求めて顔の最大幅
を検出する。

以上のようにして顔の最大の幅が検出されると、この幅
を左右の眼の存在領域（ウィンドウ）に分割するための
Ｘ座標を求める（第８図参照）。この分割は、例えば次
式によって行われる。すなわち、Ｘ軸センターＸｃ −ｘＳ＋　（（ＸＥ−ＸＳ）／２１左眼ウィンドウの左側Ｘ座標−Ｘ、−ＸＳ左眼ウィンド
ウの右側Ｘ座標−ｘ２Ｘｃ−２５右眼ウィンドウの左側Ｘ座標−ＸＸ１ −Ｘｃ＋２５右眼ウィンドウの右側Ｘ座標−ＸＸ２−ＸＥ上記のよう
に左右ウィンドウのＸ座標Ｘ。

ｘ２　　ｘｘ、　　　ｘｘ２が検出されると、第３図の
フローチャートのステップＳ５およびステップＳ７でウ
ィンドウの樅方向（Ｙ方向）の幅を決定する。

第５図はステップＳ５およびステップＳ７の詳細フロー
チャートを示すものである。この処理はウィンドウのＹ
方向の座標を検出するもので、左右それその眼において
行われる。

また、この処理は、大きく分けて黒領域２点の検索部分
と、眼鏡の有無検索部分との二つに分かれる。

黒領域２点の検索部分ては、左眼に関して第７図に示す
ように、左眼ウィンドウの右側Ｘ座標Ｘ２から１０ドツ
ト左側、すなわちＸ２−１０を始点としくこれは鼻の穴
の黒い部分の検出を避けるためである。）、この位置か
ら横方向（Ｘ方向）にＸ２−９０までを範囲とし、ウィ
ンドウの幅を決定したＹ座標ＹＬから０の範囲で横方向
へ４ドツト毎に縦方向上方（Ｙ方向）へ検索する。

また、右眼に関しては右眼ウィンドウ左側Ｘ座標ＸＸ１
から１０ドツト右側、すなわちＸＸ、＋１０を始点とし
、この位置から横方向（Ｘ方向）にＸＸ、＋９０までを
範囲とし、Ｙ座標ＹＬから０の範囲で横方向へ４ドツト
毎に、縦方向上方（Ｙ方向）へ検索する。

眼鏡の有無検出部では、左眼に関して第８図に示すよう
に、左眼ウィンドウの右側Ｘ座標Ｘ２から左眼ウィンド
ウの左側Ｘ座標Ｘ１への横方向（Ｘ方向）の範囲で、ま
た、右眼に関しては右眼ウィンドウの左側Ｘ座標ＸＸ１
から左眼ウィンドウの右側Ｘ座標ＸＸ２への横方向（Ｘ
方向）の範囲で後述するように検索する。

以下、左目ウィンドウのＹ方向の幅を決定する処理につ
いて説明する。

マス、ステップ５３０１において、一番目と二番目の黒
領域のＹ座標の最大値（最下点）のメモリ変数ＢＹＩＭ
ＡＸおよびＢＹ２ＭＡＸかクリアされ、Ｘ方向の検出範
囲規定カウンタＸＣＨＥＣＫがＸ２−１０に、また、Ｙ
方向の検索範囲規定カウンタＹＣＨＥＣＫがＹＬに初期
化される。

つぎに、ステップ５３０２てＸ方向の検索範囲規定カウ
ンタＸＣＨＥＣＫかＸ２−９０以下か否かが判別される
。この判別はＸ方向へすべて検索したか否かを判別する
ものである。このときは、未だ、Ｘ方向全ての検索を終
了していないからステップ８３０３へ移行し、一番目の
黒領域を検出したフラグＦＬ１、黒色画素連続カウンタ
ＢＬＡＣＫ、白色画素連続カウンタＷＨＩＴＥ、一番目
の黒領域と二番目の黒領域との間隔が１０ドツト以上あ
るフラグＷＨＩＴＥＦＬおよび一番目の黒領域と二番目
の黒領域のそれぞれの最大値記憶・ヘッファＢＹ１およ
びＢＹ２がクリアされる。

つぎに、ステップ５３０４て検索画素が黒か否かが判別
され、黒の場合は白色画素連続カウンタＷＲＩＴＥをク
リアしくステップ５３０５）、黒色画素連続カウンタＢ
ＬＡＣＫをカウントアツプする（ステップ５３０６）。

そして、ステップ５３０７で黒色画素連続カウンタＢＬ
ＡＣＫの黒画素が１か否かが判別される。これは黒画素
の検出が初めてか否かを判断するものである。黒画素が
１の場合は黒領域の最下点Ｙ座標候補としてＹ方向の検
索節回規定カウンタＹＣＨＥＣＫてカウントされた現Ｙ
座標を５ＥＴＹに記憶する。例えば第７図で“１”とし
であるＹ座標を記憶する。つぎに、ステップ５３０９て
黒画素連続カウンタＢＬＡＣＫの黒画素が２以上か否が
か判別され、黒画素が２以上の場合は一番目の黒領域を
検出したフラグＦＬＩかセットされているか否かが判別
される（ステップＳ　３１．０　）。フラグＦＬＩかセ
ットされていない場合は、ステップ８３１１へ移行し、
一番目の黒領域の最大値記憶１＜ツファＢＹＩに５ＥＴ
Ｙの値を代入して保管し、フラグＦＬ］をセットする。

そして、ステップ５３２８てＹ座標ＹＣをカウントダウ
ンし、一つ上の画素の検索に移る。

ステップ５３１０てフラグＦＬＩがセットされている場
合はステップ５３１２へ移行し、一番［」の黒領域と二
番目の黒領域の間隔か１０ドツト以上あるフラグＷＨＩ
ＴＥＦＬがセットされているか否かが判別される。そし
て、フラグＷＨＩＴＥＦＬがセットされている場合は二
番目の黒領域を検出したことになるのでステップＳ３］
３で二番目の黒領域の最大値記憶バッファＢＹ２に５Ｅ
ＴＹの値を代入して保管する。例えば、第７図で“２”
と示しであるＹ座標を保管する。またステップＳ３］２
てフラグＷＨＩＴＥＦＬかセントされていない場合は、
一番目の黒領域と二番［」の黒領域の間隔が狭く両者の
差か明確でないのでステップ５３１４へ移行し、黒画素
の連続数か５０ドツトを越えるか否かか判別される。黒
画素の連続数か５０ドツトを越えている場合は頭髪を検
出したことになるためステップ５３１５へ移行してバッ
ファＢＹ２をクリアし、また、５０ドツトを越えていな
い場合はステップ８３２８へ移行しＹ座標ＹＣを一つ上
の画素の検索に移る。

前記ステップ５３０４で検索画素が白の場合にはステッ
プ５３１６へ移行して黒色画素連続カウンタＢＬＡＣＫ
をクリアし、ステップ５３１７で一番目の黒領域を検出
したフラグＦＬ１がセットされているか否かが判別され
る。そして、フラグＦＬＩがセットされていない場合は
、未だ黒領域が一つも検出されていないためステップ５
３２８へ移行しＹ座標ＹＣをカウントダウンし、一つ上
の画素の検索に移る。フラグＦＬＩがセットされている
場合にはステップ５３１８へ移行し、白色画素連続カウ
ンタＷＲＩＴＥをカウントアツプする。そして、ステッ
プ５３１９て白画素が１０ドツト以上連続したか否かが
判別され、１０ドツト以上連続した場合は眼と眉の間か
、眼鏡フレームと眼の間を検出したものとしてステップ
５３１９へ移行し、一番目の黒領域と二番目の黒領域の
間隔が１０ドツト以上あるフラグＷＨＩＴＥＦＬをセッ
トする。また、白画素が１０ドツト以上連続していない
場合はステップ５３２８へ移行しＹ座標ＹＣをカウント
ダウンし、一つ上の画素の検索に移る。

つぎに、ステップ５３２１で白画素が８０ドツト以上連
続したか否かが判別され、８０ドツト以上連続した場合
は眉毛を検出せず顔を検出したことになるからステップ
５３２２へ移行し、二番目の黒領域の最大値記憶バッフ
ァＢＹ２をクリアする。また、白画素８０ドツト以上連
続していない場合はステップ８３２８へ移行し、Ｙ座標
ＹＣをカウントダウンし、一つ上の画素の検索に移る。

つぎに、一番目と二番目の黒領域の候補点としてのそれ
ぞれのバッファＢＹＩおよびＢＹ２が決定されると、ス
テップ５３２３において、候補点としてのバッファＢＹ
Ｉの値を今までに記憶された一番目の黒領域値の最大値
（最下点）ＢＹＩＭＡＸと比較し、より大きい方をＢＹ
ＩＭＡＸとして記憶する（ステップ５３２４）。例えば
、第８図において中央部の１のＹ座標がＢＹＩＭＡＸと
して記憶される。続いて、ステップ５３２５において、
候補点としてのバッファＢＹ２の値を今までに記憶され
た二番目の黒領域の最大値（最下点）ＢＹ２ＭＡＸと比
較しより大きい方をＢＹ２ＭＡＸとして記憶する。例え
ば、第７図において、右側の２のＹ座標がＢＹ２ＭＡＸ
として記憶される。

このようにして、一番目の黒領域の最下点ＢＹＩＭＡＸ
と二番目の黒領域の最下点ＢＹ２ＡＸが決定される。

つぎに、眼鏡の有無の検索を行う。まず、第５図（ｂ）
のステップ５３２９において、二番目の黒領域の最大値
記憶バッファＢＹ２が検出されているか否かを判別し、
このＢＹ２の値からステップ５３３０．８３３１で眼鏡
検出のＹ座標ＢＹＨを求める。すなわち、二番目の黒領
域の最大値記憶バッファＢＹ２がなく、一番目の黒領域
の最大値記憶バッファＢＹＩのみの場合は、ＢＹＨ−Ｂ
Ｙ１＋１０としくステップ８３３０）、二番目の黒領域
の最大値記憶バッファＢＹ２がある場合は、ＢｙＨ−（
ＢＹＩ　＋ＢＹ２）／２とする（ステップ５３３１）。

なお、ステップ５３３１でＢＹＨをＢＹｌとＢＹ２との
中間点としているが、これはＢＹＩとＢＹ２の間の点で
あればよいものである。

つぎに、ステップ８３３２で、黒画素の数をカウントす
る黒色画素カウンタＢＬＡＣＫＸをクリアし、画素座標
ｘｃ、ｙｃに初期値ｘｃ−ｘ２（Ｘ　Ｃ＝　Ｘ　Ｘ　＋
　）　、Ｙ　Ｃ−Ｂ　Ｙ　Ｈを設定すル（ステップ５３
３３．３３３４）。ステップ８３３５で画素Ｊが黒か否
かが検索され、黒の場合はＸ方向へ黒色画素カウンタＢ
ＬＡＣＫＸを左眼のときはｘｃ−ｘ２からカウントアツ
プし、右眼のときはＸＣ−ＸＸ＋からカウントダウンす
る（ステップ５３３６．５３３７）。ステップ８３３８
てＸ方向へ、左眼てはＸＸ、を越えるまで、右眼てはＸ
２を下回るまで検索したか否かが判別され、ＸＸずを越
え又はＸ２を下回るまで検索か終了するとステップ８３
３９へ移行し、黒色画素カウンタＢＬＡＣＫＸの値が３
以上か否かが判別される。

黒色画素カウンタＢＬＡＣＫＸの値が３未満の場合は眼
鏡中央部のフレームを検出したと判別してステップ５３
４０へ移行し、眼鏡無しカウンタＭＥＧＯＦＦをカウン
トアツプする。

以上の処理を左眼の検索範囲内で行い、ステップ５３４
１で眼鏡無しカウンタＭＥＧＯＦＦの値が５を越えるか
否かが判別される。

眼鏡無しカウンタＭＥＧＯＦＦの値が５より大きい場合
は眼鏡をかけていないものと判断しテステップ５３４２
へ移行し、一番目に検出した黒領域のＹ座標の最下点Ｂ
ＹＩＭＡＸを基準にしてウィンドウの縦方向（Ｙ方向）
の幅を規定するＹ座標ＹＴＳＹＢを、ＹＴ−ＢＹＩＭＡ
Ｘ−４０、ＹＢ−ＢＹＩＭＡＸ＋　１０に設定する。ま
た、眼鏡無しカウンタＭＥＧＯＦＦの値が５より小さい
場合は眼鏡をかけているものと判断してステップ８３４
３へ移行し、二番目に検出した黒領域のＹ座標の最下点
ＢＹ２ＭＡＸを基準にしてウィンドウの縦方向（Ｙ方向
）の幅を規定するＹ座標ＹＴ、ＹＢを、ＹＴ−ＢＹ２Ｍ
ＡＸ−４（１、ＹＢ−ＢＹ２ＭＡＸ＋１０に設定する。

以上の処理を左右両眼において行うことによりそれぞれ
の眼のウィンドウが設定される。

このようにこの実施例の主要な部分であるウィンドウ設
定に関しては、顔の最大幅でウィンドウの横の範囲を決
定する事としたため、顔の向きにより赤外線ストロボの
照射画像に影が発生する場合でもその影響が排除される
。

また、ウィンドウの縦方向の範囲の範囲の設定に於いて
も、例えば僅か２点の黒領域を僅か２０回の縦方向の走
査をするだけで設定できるため、横方向範囲設定と同様
に影や少しの画像の変化でも正確なウィンドウの設定を
高速に行うことが可能となった。

さらに、あらゆる顔画像に対しても、最大でも眉から下
の画像の変化のほとんど無い部分で検索を行うため、帽
子を被っている場合、眼鏡を装着している場合に於いて
も、眼球存在領域の特定が正確にでき居眠り、わき見の
検出が可能となった。

そして、第３図のフローチャートのステップＳ８で、２
値化した画像Ｊ　（Ｘ、Ｙ）がら上記で設定されたウィ
ンドウ内に対する虹彩部分を検出する処理か行われる。

虹彩は、一般に暗い円形領域として観測されるから、こ
の円形領域を検出してその領域面積を認識すれば、運転
者の居眠りの有無等が判定できる。

この実施例では顔幅を検出して領域の設定を行うから、
例えば顔画像において背影が黒（夜間、あるいはヘッド
レストの色）であっても確実に検出することができる。

第９図は、虹彩の検出原理を示す説明図である。

今、ウィンドウ内の任意の点（ｘ、ｙ）を中心とする半
径Ｒの円を設定するとともに、点（ｘ。

ｙ）を中心として放射状に４つの矩形を設定する。

この矩形は、円の内外方にそれぞれ２画素だけ延在する
ように設定される。そして、円より外方の矩形白抜き部
の明度値の総和と、円より内方の矩形ハツチング部の明
度値の総和との差δを求める。

これを上記任意の点（ｘ、ｙ）においてＲｍｉｎ−Ｒｍ
ａｘまて行い、差δの最大値を△としてこれを求める。

つぎに、点（ｘ、ｙ）を中心として同様な演算を行い、
差δの最大値が上記最大値△より大きければ、今回演算
されたδの最大値を最大値として記憶する。このような
演算をウィンドウ内の全画素点を中心として行い最大値
△を出力する。

これは、ウィンドウ内に虹彩が存在するとき、虹彩は他
の領域に比べて輝度が低い円形図形として検出され、虹
彩を中心に求められる上記差δが最大となるという原理
に基づいている。

第１０図は以上の処理のフローチャートを示すものであ
る。

まず、ステップ５９０１で、ウィンドウ内を走査するカ
ウンターｘ、ｙをＬにリセットする。なお、ここで設定
されたウィンドウの大きさは、Ｘ方向Ｍドツト、ｙ方向
Ｎドツトとする。つぎに、ステップ５９０２で、虹彩検
出の中心座標の点Ｊ（ｘ、ｙ）が黒いか否かが判別され
、黒い場合はステップ８９０３へ移行し、検出半径Ｒを
Ｒｍｉｎとする。つづいて、ステップ５９０４およびＳ
９０５において、△およびｐをリセットする。

つぎに、ステップ５９０６乃至５９０８で、具体的に白
い部分に囲まれた黒い円形領域として検出する。すなわ
ち、ステップ５９０６において式の前半の４項Ｊ　（ｘ
十Ｒ＋ｐ、Ｙ）、Ｊ　　（Ｘ、）’−Ｒ−ｐ）、Ｊ　（
ｘ−Ｒ−ｐ、ｙ）、Ｊ　（ｘ、ｙ十Ｒ＋ｐ）はそれぞれ
座標中心（ｘ、ｙ）から半径Ｒ＋ｐ離れた右、下、左、
上の位置の明度を表わし、式の後半の４項Ｊ　（ｘ十Ｒ
−ｐ−１，Ｖ）　。

Ｊ　（Ｘ、ｙ−Ｒ＋ｐ＋１）、Ｊ　（ｘ−Ｒ＋ｐ＋１゜
Ｖ）、Ｊ　（ｘ、ｙ＋Ｒ−ｐ−１）はそれぞれ中心座標
（ｘ、ｙ）から半径Ｒ−（ｐ＋１）離れた右、下、左、
上の位置の明度を表わしている。そして、ステップ５９
０７でｐを１ずつ増加させｐ−１まで変化させてステッ
プ５９０６乃至ステップ５９０８を繰返し実行し、半径
Ｒｍ　ｉ　ｎにおける第９図の矩形白抜き部の明度値総
和（ステップＳ９゜６の式の前半４項の和）と矩形ハツ
チング部の明度値総和（ステップＳ６の式の後半４項の
和）の差δが最大値△として求められる（ステップ５９
１０）。つぎに、ステップ５９１１で半径Ｒｍｉｎ＋１
として再度ステップ５９０５へ移行し、ステップ５９０
６乃至ステップ３９０８を繰返し実行することにより半
径Ｒｍｉｎ＋１としたときの矩形領域の明度差δを求め
る。この明度差δが第１回目の半径Ｒｍｉｎについて演
算された△よりも大きければ、その明度差δを最大値△
とする。

このような操作を半径Ｒｍａｘまで繰返して行い、任意
の点（ｘ、ｙ）について最大明度差△が求まる（ステッ
プＳ　９１２）。これは、検出する虹彩の半径は、個人
あるいはカメラと乗員の距離によって異なるため、検出
半径にあるゾーン（Ｒｍ　ｉｎ−Ｒｍａｘ）を設けるた
めである。

以下、この処理をｘｍｌ〜Ｍまで、ｙ−１〜Ｎまでウィ
ンドウ全体に亘って行う。このような処理によって求ま
る△ｍａｘは、虹彩の中心について演算された明度差で
ある。そして、開眼時と閉眼時とではこの明度差△は大
きく異なるため、この最大明度差△を用いて開眼か開眼
かの判別が容易になる。

このようにして虹彩を検出することにしたため、運転者
の開眼、閉眼状態を確実且つ迅速にモニタリングするこ
とも可能となった。これにより、運転者の居眠り、わき
見の検出を行うことができるという効果が得られる。

つぎに、前記第３図のフローチャートのステップＳ９に
おける、居眠りわき見の判定において、開眼または閉眼
の判別は、ステップＳ８で算出されたウィンドウ内での
最大明度差△をしきい値処理し、明度差△≧Ｔｈ　（Ｌ
きい値）のときは開眼、明度差△≦Ｔｈのときは閉眼で
あると判断する。

まばたきした場合にも上記の虹彩検出処理で開眼と判断
されることがあるから、１回の虹彩検出処理で運転者が
居眠りをしていると判断すると誤判断することがあるた
め、同一の虹彩検出処理を複数回繰返し実行し、ある所
定回数以上連続して閉眼が認識されたときに居眠りして
いると判定する。

例えば、第１１図に示すように、黒点て示す時間間隔ご
とに画像が入力され、そして虹彩検出処理の結果、閉眼
と判断される回数が３回連続したときは運転者が居眠り
していると判定する。

また、片目のみが開眼と判断した場合は、実際には閉眼
てなく、わき見をしているために原画面から片目か外れ
ているものと考えられる。従って居眠り判断と同様に３
回連続して片目が閉眼していると判断されたときには、
わき見と判定する。

上記のように、運転者の顔画像の頬部に出現する横方向
の白色部分の最大幅より運転者の眼球を含む領域の横方
向の幅を設定し、前記最大幅を設定した点からの縦方向
の走査により検出した２点の黒領域の中間の点から横方
向に走査し、黒色画素の有無により眼鏡を装着している
が否かを判断し、その有無により前記２点の黒領域のと
ちらが眼であるかを判断して運転者の眼球を含む領域の
縦方向の幅を設定し、その領域内において虹彩部分を検
出することにより、眼球か開いているが、閉しているか
、正面を向いていないが等を判断するこができる。これ
により、運転者の居眠り、わき見の検出を行うことかで
きる。

［発明の効果］以上の説明により明らかなように、この発明によれば、
運転者の顔の最大幅でウィンドウの横方向の範囲を設定
することにしたため、顔の向きにより赤外線ストロボの
照射画素に影が発生する場合でもその影響が排除される
。

またウィンドウの縦方向の範囲の設定においても、下方
から僅かな縦方向の走査し、黒領域の下端点を検出する
だけで設定できるため、横方向の範囲の設定と同様に精
度向上を図ることができる。

さらに、あらゆる顔の画像に対し、最大でも眉から下の
画像の変化があまり無い部分で検索を行うため、帽子を
被っている場合、眼鏡を装着している場合等においても
、眼球存在位置の特定が可能となる。

【図面の簡単な説明】

第１図はこの発明の構成図、第２図はこの発明の一実施
例に係る構成図、第３図は第２図の構成図に基づくフロ
ーチャート、第４図はウィンドウの横方向の範囲設定処
理のフローチャート、第５図はウィンドウの縦方向の範
囲設定処理のフローチャート、第６図乃至第８図はこの
実施例の処理に関する説明図、第９図は虹彩検出処理の
原理説明図、第１０図は虹彩検出処理のフローチャート
、第１１図は居眠り判断のための説明図である。ＣＬＩ・・・画像入力手段Ｃｌ２・・・２値化手段Ｃｌ３・・・横幅検出手段Ｃｌ３・・・眼球の左右領域決定手段ＣＬ５・・・黒領域検出手段Ｃｌ３・・・下端点検出手段Ｃｌ７・・・眼球の縦領域決定手段代理人　弁理士　　三　好　秀　和第図第２図第８図第９図第１０図第１１図

Claims

【特許請求の範囲】

（１）眼を含む顔画像を入力する画像入力手段と、前記
画像入力手段から送出される入力画像を２値化する２値
化手段と、前記２値化手段による２値化画像において顔
の幅を検出する顔幅検出手段と、前記顔幅検出手段によ
り検出された顔幅から眼の存在領域の横方向の位置を決
定する眼球の左右領域決定手段と、決定された眼の横方
向の存在領域で縦方向の下から黒領域を検出する黒領域
検出手段と、検出された黒領域の下端点を検出する下端
点検出手段と、検出された下端点を基準にして眼の存在
領域の縦方向の位置を決定する眼球の縦領域決定手段と
を備えてなる眼位置検出装置。
（２）眼を含む顔画像を入力する画像入力手段と、前記
画像入力手段から送出される入力画像を２値化する２値
化手段と、前記２値化手段による２値化画像において顔
の幅を検出する顔幅検出手段と、前記顔幅検出手段によ
り検出された顔幅から眼の存在領域の横方向の位置を決
定する眼球の左右領域決定手段と、決定された眼の横方
向の存在領域で縦方向の下から少なくとも２個の黒領域
を検出する黒領域検出手段と、検出された各黒領域の下
端点を検出する下端点検出手段と、検出された前記２個
の黒領域の間で横方向に黒色画素が所定数以上存在する
か否かを検索する手段と、この検索手段で黒色画素が検
出されたか否かで前記下端点を選択する手段と、選択さ
れた下端点を基準にして眼の存在領域の縦方向の位置を
決定する眼球の縦領域決定手段とを備えたことを特徴と
する眼位置検出装置。