JP3116674B2 - 運転者の状態検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、運転者が眼を開いてい
るか、閉じているか等の状態を検出して居眠りを検出す
る運転者の状態検出装置に関する。

【０００２】

【従来の技術】従来、車両運転者の状態が検出できる装
置として、例えば、特開昭６２ー２４７４１０号公報に
開示されたようなものがある。これは取込んだ画像デー
タを２値化し白画素と黒画素の連続性により運転者の眼
のある位置を領域として認識し、その領域内で開閉眼を
判定し、運転者の状態を検出する構成となっており、運
転者の居眠りの検出に利用可能であるとしている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記車
両運転者の状態検出装置では２値化画像データでの白画
素と黒画素の連続性だけで眼の領域を設定する構成とし
ていたため、眼鏡を掛けている人物を対象とした場合に
２値化データで眼鏡のフレーム等がノイズとして残り、
眼の領域の設定が正確にできないという問題点があっ
た。

【０００４】本発明は上記問題点に鑑みてなされたもの
であり、運転者の眼の領域の検出性能をより向上し得る
運転者の状態検出装置を提供することを目的としてい
る。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
めに第１の発明の運転者の状態検出装置は、運転者の顔
画像を顔画像データとして入力する画像入力手段と、運
転者の顔面部に不可視光線を照射する発光手段と、前記
画像入力手段から送出される濃淡画像において眼鏡に写
る発光手段の反射点の画像認識により眼鏡の有無を判定
する眼鏡有無判定手段と、前記眼鏡有無判定手段により
眼鏡有りと判定された場合は、運転者の掛けている眼鏡
のレンズに写り込む発光手段の反射点を基準に眼の存在
領域を設定する眼の存在領域設定手段と、前記領域内で
運転者の開閉眼を検出する開閉眼検出手段と、前記開閉
眼検出手段からの開閉眼信号により運転者の状態を判断
する運転者状態判定手段とを備えたことを特徴とする。

【０００６】第２の発明の運転者の状態検出装置は、前
記眼鏡有無判定手段により眼鏡なしと判定された場合
は、前記顔画像データの眼を含む領域を決定する第２の
眼の存在領域設定手段を備え、前記第２の眼の存在領域
設定手段が、前記画像入力手段から送出される入力画像
を２値化する２値化手段と、前記２値化手段において画
像の左右方向へ走査し連続する白色画素数を計数する白
色画素数計数手段と、前記画素数の変化量から顔画像の
幅方向端の安定部を検出する安定部検出手段と、前記安
定部の有無と前記連続画素数の変化量から顔画像の輪郭
線の連続性を判断する輪郭線の連続性判断手段と、前記
判断に基づき顔面の端を特定する顔面の端特定手段と、
前記顔面の端特定手段により特定された顔面の端から眼
の存在領域の横方向の位置を決定する眼球の左右領域決
定手段と、前記決定された眼の横方向の存在領域で縦方
向の下方から黒領域を検出する黒領域検出手段と、検出
された黒領域を基準にして眼の存在領域の縦方向の位置
を決定する眼球の縦領域決定手段と、により眼の存在領
域を設定することを特徴とする。

【０００７】

【０００８】

【作用】上記構成により第１の発明は、画像入力手段に
より運転者の顔画像を顔画像データとして入力し、発光
手段により運転者の顔面部に不可視光線を照射し、眼鏡
有無判定手段が画像入力手段から送出される濃淡画像に
おいて眼鏡に写る発光手段の反射点の画像認識により眼
鏡の有無を判定する。そして、前記眼鏡有無判定手段に
より眼鏡有りと判定された場合は、眼の存在領域設定手
段により運転者の掛けている眼鏡のレンズに写り込む発
光手段の反射点を基準に眼の存在領域を設定し、開閉眼
検出手段により該領域内で運転者の開閉眼を検出して開
閉眼信号を出力し、運転者状態判定手段が該開閉眼信号
により運転者の状態を判断する。

【０００９】上記構成により第２の発明は、前記眼鏡有
無判定手段により眼鏡なしと判定された場合は、第２の
眼の存在領域設定手段により顔画像データの眼を含む領
域を決定し、開閉眼検出手段により該領域内で運転者の
開閉眼を検出して開閉眼信号を出力し、運転者状態判定
手段が該開閉眼信号により運転者の状態を判断する。こ
の際、第２の眼の存在領域設定手段が、２値化手段によ
り画像入力手段から送出される入力画像を２値化し、白
色画素数計数手段により２値化手段において画像の左右
方向へ走査し連続する白色画素数を計数し、安定部検出
手段により画素数の変化量から顔画像の幅方向端の安定
部を検出し、輪郭線の連続性判断手段により安定部の有
無と連続画素数の変化量から顔画像の輪郭線の連続性を
判断し、顔面の端特定手段が連続性の判断に基づき顔面
の端を特定する。また、眼球の左右領域決定手段により
顔面の端特定手段により特定された顔面の端から眼の存
在領域の横方向の位置を決定し、黒領域検出手段により
決定された眼の横方向の存在領域で縦方向の下方から黒
領域を検出し、眼球の縦領域決定手段により検出された
黒領域を基準にして眼の存在領域の縦方向の位置を決定
することにより眼の存在領域を設定する。

【００１０】

【００１１】

【実施例】図１は本発明の車両運転者の状態検出装置の
一実施例の構成図であり、自動車に適用した例である。
また、図２は図１の構成に基づく車両運転者の状態検出
装置の動作を示すフローチャートである。

【００１２】図１で、状態検出装置は赤外線ランプ１，
２（赤外線ランプＡ，Ｂ），画像入力用カメラ３，Ａ／
Ｄ変換器４，画像メモリ５，眼鏡の有無判定回路６，眼
球存在位置規定回路７，開閉眼判定回路８，及び居眠り
判定回路９を有している。

【００１３】図１で、画像入力用カメラ３は運転者の顔
部分を撮影するためにインストルメントパネル内で運転
者に対し正面方向に設置されている。

【００１４】赤外線ランプＡは画像入力用カメラ３の位
置に対して運転者が眼鏡を掛けている場合に、その眼鏡
のレンズに写る赤外線ランプＡ自身の反射像が画像入力
用カメラ３に撮影されるような（以下、写り込みと記
す）位置に設置されている。この場合、赤外線ランプＡ
の位置は赤外線ランプＡの像の入射光が眼鏡のレンズＳ
で反射され画像入力用カメラ３に入射するように、反射
角／入射角を考慮して設けられている。

【００１５】一方、赤外線ランプＢは眼鏡への写り込み
を起こさない位置に設けられており、本実施例では赤外
線ランプＢとして夜間照明用赤外線ランプを用いてい
る。

【００１６】画像入力用カメラ３の入力画像は、本実施
例では図３（カメラ３で撮影した領域を示すウインド
ウ）に示すように横（Ｘ）方向５２０画素、縦（Ｙ）方
向５００画素からなり、縦方向に顔部分がほぼ一杯にな
るように画角が調節されている。

【００１７】画像メモリ５はＡ／Ｄ変換器画４を介して
画像入力用カメラ３と接続しており、画像入力用カメラ
３で得た入力画像データを入力し、格納する。なお、Ａ
／Ｄ変換器４は画像入力用カメラ３には撮影した入力画
像をデジタル量に変換して画像メモリ５に供給する。

【００１８】眼鏡の有無判定回路６は画像メモリ５に接
続され、画像メモリ５に格納された入力画像データに基
づいて眼鏡のレンズ部に写り込んだ赤外線ランプＡの高
輝度ポイントの有無を判定する。

【００１９】眼球存在位置規定回路７は眼鏡の有無判定
回路６に接続され、眼鏡の有無判定回路６による眼鏡の
有無の判定結果に応じて眼球の存在位置領域を規定す
る。

【００２０】開閉眼判定回路８は眼球存在位置規定回路
７に接続され、眼球存在位置規定回路７で規定された領
域内にある画像メモリ５の画像データを処理して開閉眼
を判定する。

【００２１】また、居眠り判定回路９は開閉眼判定回路
８に接続され、開閉眼判定回路８の判定結果から運転者
の居眠りの有無を判定する。

【００２２】次に、図２のフローチャートに基づいて運
転者の状態検出装置全体の動作について説明する。

【００２３】先ず、ステップＳ２１でシートセンサ等に
より運転者の着座を確認する。運転者の着座が確認され
るとステップＳ２２に移行し、タイマーをスタートさせ
眼鏡の写り込みを起こさせる赤外線ランプＡを点灯す
る。

【００２４】この後、ステップＳ２３に移り眼鏡の有無
判定回路６により眼鏡のレンズ部に写り込む赤外線ラン
プＡの高輝度ポイントの有無を判定する。高輝度ポイン
トが存在する場合はステップＳ２８に移行し、眼球存在
位置規定回路７で眼の存在領域の設定方法Ｂ（後述）に
より眼の存在領域を設定する。

【００２５】一方、高輝度ポイントが存在しない場合に
はステップＳ２４に移行し、予め設定された所定時間の
間、眼鏡の有無判定回路６による高輝度ポイントの検索
を繰り返す。

【００２６】この場合、所定時間経っても高輝度ポイン
トが存在しなかった場合にはステップＳ２５に移行しタ
イマをストップし、タイマカウンタをクリアする。この
後、ステップＳ２６に移行し、眼球存在位置規定回路７
で眼の存在領域の設定方法Ａ（後述）により眼の領域を
設定する。

【００２７】ステップＳ２６及びステップＳ２８以降の
処理は現画像である濃淡画像に対しある閾値で２値化し
た２値化画像をベースに行なう。

【００２８】ステップＳ２６，Ｓ２８で眼の存在領域の
設定後、ステップＳ２７，Ｓ２９に移り眼鏡の有無判定
用の赤外線ランプＡを消灯する。この後、ステップＳ２
１０に移行しステップＳ２６，Ｓ２８で設定された眼の
存在領域において開閉眼判定回路８により開閉眼の判定
を行なう。この開閉眼の時系列な判定結果に基づきステ
ップＳ２１１で居眠り判定回路９による居眠り判定を行
なう。

【００２９】ステップＳ２６の眼の存在領域の設定Ａの
処理の詳細は図４〜図８により説明する。また、ステッ
プＳ２８の眼の存在領域の設定Ｂの処理の詳細は図９，
図１０により説明する。そして、ステップＳ２１０の開
閉眼の判定の処理の詳細は図１１，図１２により説明す
る。

【００３０】図４は図２のステップＳ２６の眼の存在領
域の設定Ａに関わる左右各々のウインドウの横方向の位
置を決定するフローチャートである。

【００３１】この図のステップＳ１０１及びＳ１０２に
おいて図７に示すように画像の中央（Ｘ座標＝２５０）
に検索開始ラインを設定し、そこから左右別個に白色連
続画素数ＷＸＣＬとＷＸＣＲをカウントすると共に、白
色連続画素数が最大のときの左右端Ｘ座標ＸＬＭとＸＲ
Ｍを記憶する。この処理については図５によって後述す
る。

【００３２】続いて、ステップＳ１０３では左右の連続
画素数の和が２００より大きいか否かを調べ、頭髪、
眉、眼球部等で２００以下の場合に、ステップＳ１０４
で左安定カウンタＷＬＣＯＮ、右安定カウンタＷＲＣＯ
Ｎ、左安定フラグＳＴＦＬＧＬ、右安定フラグＳＴＦＬ
ＧＲをクリアし、ステップＳ１０１へ戻り次のラインを
走査する。

【００３３】ステップＳ１０３で左右の連続画素数の和
が２００より大きい場合は、ステップＳ１０５で左側端
点検出フラグＯＫＦＧＬがセットされているか否かを調
べ、セットされている場合はステップＳ１２０以降の右
端検索処理へ移る。

【００３４】左側端点検出フラグＯＫＦＣＬがセットさ
れていない場合（ＯＫＦＣＬ＝０）は、ステップＳ１０
６及びＳ１０７で白色連続画素数ＷＸＣＬと直前の走査
ラインにおける連続数ＭＡＥＬとの差が１０未満ならば
右安定カウンタＷＣＯＮをカウントアップする。

【００３５】ステップＳ１０８及びＳ１０９では、現走
査ラインは直前走査ラインの連続数との差が小さい安定
候補部であるので、この中での連続画素数が最大の時の
ＸＬをＸ１、最小の時のＸＬをＸ２として記憶する。

【００３６】ステップＳ１１０〜Ｓ１１２では左安定カ
ウンタＷＬＣＯＮが１０を越え、且つＸ１とＸ２の差が
３０未満か否かを調べ、この条件を満足していれば左安
定フラグＳＴＦＧＬをセットし、左の白色連続画素数Ｗ
ＸＣＬを新たにＭＡＥＬとする。

【００３７】ステップＳ１０６で白色連続画素数ＷＸＣ
Ｌと前の走査での連続数ＭＡＥＬとの差が１０以上であ
る場合は、輪郭線の連続性が失われた可能性があると判
断しステップＳ１１３〜Ｓ１１９の処理へ移る。

【００３８】この部分は、連続画素数が大きく変化した
のが眉等のためか、輪郭線の途切れなのかを連続画素数
の変化と安定部分の存在とによって判断している。

【００３９】先ず、ステップＳ１１３で左安定フラグＳ
ＴＦＬＧＬを調べこの連続白色画素数が大きく変化する
前に安定部分が存在しＳＴＦＬＧＬがセットされていた
場合は、ステップＳ１１４で連続画素数が増加したか否
かを調べる。

【００４０】連続画素数が増加している場合は、輪郭線
が途切れたと判断しステップＳ１１５に置いてステップ
Ｓ１０８で記憶したＸ座標Ｘ１を顔の左端とする。

【００４１】連続白色画素数が大きく変化する前に安定
部分が存在しない場合や安定部分が存在しても連続画素
数が減少している場合は、輪郭線が途切れた部分から輪
郭線のある部分の走査に移ったか、または眉、眼、眼鏡
部分等の走査であることが考えられる。

【００４２】そこで、ステップＳ１１６で今回の走査の
白色連続画素数が前回の白色連続画素数より５０以上減
少している場合は輪郭線が途切れた部分から輪郭線のあ
る部分の走査に移ったと判断し、今回の走査の左端点Ｘ
Ｌを顔の左端とする。

【００４３】以上のようにステップＳ１１５またはステ
ップＳ１１８で顔の左端を設定した時はステップＳ１１
９で左端点検出フラグＯＫＧＬＧをセットした上でステ
ップＳ１２０へ進む。

【００４４】今回の連続数が前回の連続数より大きく減
少していない場合は、眉、眼、眼鏡部分や大きな陰影の
ある部分と考えられるためステップＳ１１７でＸ１，Ｘ
２，ＷＬＣＯＮ，ＳＴＦＬＧＬをクリアしてステップＳ
１１２へ進む。

【００４５】ステップＳ１２０及びＳ１２１では、上記
のステップＳ１０５〜Ｓ１０９と同様にして顔の右側の
輪郭線途切れ判断と輪郭線途切れ時の右端設定を行な
う。

【００４６】以上の処理をステップＳ１２２及びＳ１２
３に示すように顔面の左右端検出フラグが両方ともセッ
トされるかさもなければ予め設定したＹ方向の検索範囲
終了まで続ける。

【００４７】両方の端点検出フラグがセットされた場合
は、横幅設定を終了する。また、Ｙ（縦）方向の検索範
囲を終了した時は図４（ｂ）に示すステップＳ１２４〜
Ｓ１２７の処理へ移る。

【００４８】ここでは、左右の端点検出フラグがセット
されているか否かを調べ、それぞれセットされていない
場合はステップＳ１０２で記憶した全走査の中で左右の
白色画素連続数が最大の時の左右端Ｘ座標ＸＬＭ，ＸＲ
Ｍを顔の左右端とする。

【００４９】以上のように顔の左右端が検出できたなら
下式にしたがってウインドウの横方向の位置を決定でき
る。

【００５０】・Ｘ軸センター＝Ｘｃ＝ＸＬＭ＋（（ＸＲ
ＭーＸＬＭ）／２） ・左眼ウインドウの左側Ｘ座標＝Ｘ１＝ＸＬＭ ・左眼ウインドウの右側Ｘ座標＝Ｘ２＝Ｘｃー２５ ・右眼ウインドウの左側Ｘ座標＝ＸＸ１＝Ｘｃ＋２５ ・右眼ウインドウの右側Ｘ座標＝ＸＸ２＝ＸＲＭ このように、顔面の片側から外光が射し込むなどして顔
画像の輪郭線に連続性がなくなっても、顔の幅方向端の
安定部の有無と連続画素数の変化から輪郭線の連続性を
判断して顔面の左右端を特定することができる。

【００５１】また、２値化画像において画像の中央、す
なわち、顔の略中央から左右へ走査して白色画素の連続
により顔の左右端を検出するので、背景が白でなくても
必ず顔面をとらえて的確な検出を行なうことができる。
また、髪型や眼鏡等の影響を受けずに頬部などで顔の左
右端を検出することが可能となった。さらに、顔面の左
右端を各々独立に検出する構成としたため、顔面の片側
の端が外光の影響で検出できなくても反対側の端は検出
することが可能となっている。

【００５２】なお、前記ステップＳ１０１，Ｓ１０２で
の白色連続画素数が最大時の左右端ＸＬＭとＸＲＭを記
憶する過程を図５に示すフローチャートに基づいて以下
説明する。

【００５３】先ず、ステップＳ２０１で縦方向の走査Ｙ
座標を４０とする。このＹ＝４０はこの範囲内に顔面の
最大値は存在しないことを前提に処理を早めたものであ
る。ステップＳ２０２で横方向の検索走査開始ラインの
Ｘ座標値２５０を左検索Ｘ座標ＸＬと右検索Ｘ座標ＸＲ
にセットする。このＸ座標値は図７に示すように車両運
転者がカメラの画角以内に存在すれば、確実に顔面部の
中に存在するラインを指定している。

【００５４】次に、ステップＳ２０３で右側走査終了フ
ラグＯＫＲがセットされているか否かを調べ、セットさ
れていればステップＳ２１１以降の顔面左端検索を行な
う。ＯＲＫがセットされていない場合はステップＳ２０
４で画素Ｊ（ＸＲ，Ｙ）が白か否かを調べ、白の場合は
ステップＳ２０５で右側白色画素連続カウンタＷＸＣＲ
を、ステップＳ２０６で検索Ｘ座標ＸＲをカウントアッ
プする。

【００５５】ステップＳ２０４において画素Ｊ（ＸＲ，
Ｙ）が白でない場合はステップＳ２０７でＯＫＲをセッ
トした後に、ステップＳ２０８で今まで記憶していた右
側端点の最大値ＸＲＭと今回の端点ＸＲを比較し、ＸＲ
の方が大きい場合（より右側にある場合）はステップＳ
２０９においてＸＲを新たな端点ＸＲＭとする。

【００５６】次に、ステップＳ２１１〜Ｓ２１７で上記
と同じ処理を左側について行なう。右側の検索と相違す
るのはステップＳ２１４で検索Ｘ座標ＸＬをカウントダ
ウンすることと、ステップＳ２１６及びＳ２１７で記憶
していた左側端点のＸＬＭと今回の端点ＸＬの小さい方
（より左側にある方）を左端点ＸＬＭとすることであ
る。

【００５７】一つの走査ラインで左右端を検出し、ステ
ップＳ２２１で走査終了フラグＯＫＬ，ＯＫＲの両方が
セットされたと判断された場合はステップＳ２２２でこ
れらのフラグをクリア（＝０）し、ステップＳ２２３で
検索ラインＹをカウントアップしてこの処理を終了す
る。

【００５８】図６は眼の存在領域のＹ方向の座標を検出
するもので、左右それぞれの眼において行なわれる。

【００５９】左眼に関しては図８に示すように左眼ウイ
ンドウの右側Ｘ座標Ｘ２から１０ドット左側、すなわち
Ｘ２ー１０を始点とし（これは鼻の黒い部分の検出を避
けるためである）、この位置から横方向（Ｘ方向）にＸ
２ー９０までを範囲とし、検索開始のＹ座標ＹＬから０
の範囲で縦方向上方（Ｙ方向）へ検索し、これを横方向
に４ドットの間隔毎に行なっていく。Ｙ座標ＹＬは左右
端を決定した走査ラインの下方に設定する。

【００６０】右眼に関しては右眼ウインドウの左側Ｘ座
標ＸＸ１から１０ドット右側、すなわちＸＸ１＋１０を
始点とし、この位置から横方向（Ｘ方向）にＸＸ１＋９
０までを範囲とし、Ｙ座標ＹＬから０の範囲で縦方向上
方（Ｙ方向）へ検索し、これを横方向に４ドットの間隔
毎に行なっていく。

【００６１】図６で、まず、ステップＳ６１において黒
領域のＹ座標の最大値（最下点）のメモリ変数ＢＹ１Ｍ
ＡＸがクリアされ、Ｘ方向の検出範囲規定カウンタＸＣ
ＨＥＣＫがＸ２ー１０に、またＹ方向の検索範囲カウン
タＹＣＨＥＣＫがＹＬに初期化される。

【００６２】次に、ステップＳ６２でＸ方向の検索範囲
規定カウンタＸＣＨＥＣＫがＸ２ー９０以下か否かを判
定する。この判定はＸ方向へ全て検索したか否かを判定
するものであり、Ｘ方向全ての検索を終了していない場
合はステップＳ６３に移り、終了した場合はステップＳ
７４に移行する。

【００６３】ステップＳ６３はそのＸ軸上のＹ方向を全
て検索したか否かを判定する。Ｙ方向全ての検索を終了
していない場合はステップＳ６４に移り、終了した場合
はステップＳ７３に移行する。

【００６４】ステップＳ６４では黒領域が現れる最大Ｙ
座標を検出することを目的としており、検索を開始した
その画素が黒画素か否かを判定し、黒画素でない場合は
ステップＳ７２に移行し黒画素のカウンタＢＬＡＣＫを
クリアしてステップＳ７１に移ってＹ座標を１つカウン
トダウンし、ステップＳ６３の判定を得てＹ方向全ての
検索を終了していない場合はステップＳ６４で次の画素
の判定を行なう。

【００６５】この処理は検索開始から黒画素が現れるま
で繰返される。そして、ステップＳ６４で黒画素である
と判定された場合はステップＳ６５に移行し、 黒画素
のカウンタＢＬＡＣＫをカウントアップする。

【００６６】次に、ステップＳ６６に移りその黒画素が
初めて現れたものか否かを判定する。判定はカウンタＢ
ＬＡＣＫＥを調べ、カウンタＢＬＡＣＫＥ＝１ならば初
めて現れたものとする。

【００６７】初めて現れた黒画素であればステップＳ６
７に移りそのＹ座標をＳＥＴＹに代入してステップＳ６
８に移る。ステップＳ６６でその黒画素が初めて現れた
ものでない場合はステップＳ６８に移行する。

【００６８】ステップＳ６８では黒画素のカウンタＢＬ
ＡＣＫの値が５を越えるか否かを判定する。この処理は
連続する黒画素が５個以下の場合は、それが眼の黒画素
である確立が低いことを考慮したものである。黒画素の
連続数が６に満たない場合はステップＳ７２に移行し黒
画素のカウンタＢＬＡＣＫをクリアしてステップＳ７１
に移ってＹ座標を１つカウントダウンし、更にそのＸ軸
上のＹ方向の検索を続ける（すなわち、ステップＳ６３
〜Ｓ６８を繰り返す）。

【００６９】ステップＳ６８で連続する黒画素が５個以
上の場合はステップＳ６９に移る。ステップＳ６９は黒
画素の現れたＹ座標の最大値ＢＹ１ＭＡＸをＸ軸毎に更
新する処理であり、そのＸ軸において黒画素領域の現れ
たＹ座標ＳＥＴＹがこれまでのＹ座標の最大値ＢＹ１Ｍ
ＡＸを越えるか否かを調べ、ＳＥＴＹがＢＹ１ＭＡＸを
越える場合はステップＳ７０に移りＢＹ１ＭＡＸを更新
し，ステップＳ７３に移行し次のＸ軸で同様の処理（ス
テップＳ６２〜６９）を繰り返す。ＳＥＴＹがＢＹ１Ｍ
ＡＸを越えない場合はＢＹ１ＭＡＸを更新することなし
にステップステップＳ７３に移行する。

【００７０】ステップ６２で全てのＸ軸が検索されたこ
とが確認されるとステップＳ７４に移行し、眼の存在領
域のＹ座標上の最大値ＹＴと最小値ＹＢがセットされ
る。

【００７１】図９及び図１０は、運転者が眼鏡を掛けて
いる場合、すなわち、ステップＳ２８の眼の存在領域の
設定Ｂ（図２参照）に関わる眼の存在領域の決定方法を
示す説明図である。

【００７２】図９は運転者の掛けている眼鏡のレンズに
赤外線ランプの高輝度反射点が存在している場合を示し
ており、この高輝度反射点は赤外線ランプの配置や数な
どにより自由に設定することが可能なため、他の高輝度
ポイントの写り込みがあっても区別することができる。
また、眼鏡のレンズ部への写り込みであるためその高輝
度ポイントを基準にすることで眼の存在領域の決定する
ことができる。図１０はその１例を示したものであり、
赤外線ランプで照明された眼球の角膜表面での正反射光
がカメラ３に捕捉され、輝点（角膜反射像）１８として
観測され、また、運転者の掛けている眼鏡のレンズによ
る赤外線ランプの高輝度反射点１９が示されている。

【００７３】以上説明したように本実施例によれば運転
者の眼鏡の有無に関係なく眼の存在領域を正確に切出す
ことが可能になり、更に精度の高い居眠り検出を行なう
ことができる。

【００７４】また、日差しが顔面に直接当っているよう
な場合を想定して眼鏡の有無判定用赤外線ランプの点灯
に併せてサンバイザ等を連動させてめの領域を日蔭にす
ることもできる。

【００７５】図１１は開閉眼の判断を眼の存在領域での
眼球部の連続黒色画素数の係数により行なう例について
説明するフローチャートである。

【００７６】この処理はウインドウのＹ方向に座標を検
出するものであり、左右それぞれの眼において行なわれ
る。先ず、連続黒色画素数の係数処理については左眼の
場合を例として、図１２で説明する。

【００７７】図１２で、自動検索された左眼のウインド
ウの右側Ｘ座標のＸ２を始点としてこの位置から横方向
（Ｘ方向）にＸ１までを範囲として検索開始のＹ座標Ｙ
Ｂから縦方向上方（Ｙ方向）にＹＢー５０までを検索
し、これを横方向１ドットの間隔毎に行なっていく。

【００７８】また、右眼に関しては右眼のウインドウの
左側Ｘ座標のＸＸ１を始点として、この位置から横方向
（Ｘ方向）にＸＸ２までを範囲とし、検索開始のＹ座標
は右眼のウインドウ座標設定処理で求められたＹＢ’か
ら縦方向上方（Ｙ方向）にＹＢ’ー５０までを検索し、
これを横方向１ドットの間隔毎に行なっていく。

【００７９】図１１で、先ず、ステップＳ４０１におい
てＸ方向の検出範囲の規定カウンタＸＥＣＨＥＣＫがＸ
２に、また、Ｙ方向の検出範囲の規定カウンタＹＥＣＨ
ＥＣＫがＹＢに初期化され連続黒色画素数がクリアされ
る。

【００８０】次に、ステップＳ４０２でＸ方向の検索範
囲規定カウンタＸＥＣＨＥＣＫがＹＢー５０以下か否か
が判定される。この判定はＸ方向に全て検索したか否か
を判断するものである。Ｘ方向に全て検索した場合は処
理を終了する。

【００８１】ステップＳ４０２でＸ方向に全て検索して
いないと判定された場合は、ステップＳ４０３に移る。

【００８２】そして、ステップＳ４０３で、新たなＸ軸
の検索を行なう時に連続黒色画素数を検出したフラグＥ
ＢＦＬ、連続白色画素数を検出したフラグＥＷＦＬ、黒
色画素連続カウンタＢＬＡＣＫＥ、白色画素連続カウン
タＷＨＩＴＥＥをクリアしてステップＳ４２１へ移る。

【００８３】ステップＳ４２１ではＹ軸の検索初期値が
白色画素か否かを判定する。検索初期値が白色画素でな
い場合、すなわち黒色画素の場合は髪等がウインドウ内
に入っているものとしてそのＸ軸でのＹ方向への検索を
中止してステップＳ４１８に移行し次のＸ軸の検索に移
る。Ｙ軸の検索初期値が白色画素の場合はステップＳ４
２２に移る。

【００８４】また、ステップＳ４２２ではそのＸ軸での
Ｙ軸方向を全て検索したか否かを判定する。Ｙ軸方向の
検索を全て終了した場合もステップＳ４１８に移行し次
のＸ軸の検索に移る。

【００８５】ステップＳ４０４以降のフローチャートに
ついては、具体的なＹ軸方向への検索の例を図１２の走
査線（イ）〜（ヘ）場合に分けて説明する。

【００８６】（１） パターン（イ）の場合 ステップＳ４０４で連続白色画素のフラグＥＷＦＬのセ
ットの有無（ＥＷＦＬ＝１ならセット）を判定する。フ
ラグＥＷＦＬがセットされている場合はステップＳ４１
０に移行するが、パターン（イ）では、フラグＥＷＦＬ
がセットされていないためステップＳ４０５に移り該当
するドットが黒色画素か白色画素かが判定される。図１
２から明らかなようにパターン（イ）の場合は白色画素
であるためステップＳ４１２へ移行する。

【００８７】ステップＳ４１２では連続黒色画素のフラ
グＥＢＦＬのセットの有無（ＥＢＦＬ＝１ならセット）
を判定する。パターン（イ）では、フラグＥＢＦＬはセ
ットされていないためステップＳ４１６に移行し、白色
画素のカウンタＷＨＩＴＥＥのカウントをスタートさせ
る。

【００８８】次に、ステップＳ４１７で連続白色画素数
が３０個を越えたか否かを判定し、３０以内の場合は３
０を越えるまでステップＳ４１９に移行しＹ座標をカウ
ントダウンしてステップＳ４２２から同一手順を繰返し
て白色画素数をカウントアップしていく。

【００８９】ステップ４１７で白色画素が３０個を越え
た場合はＹ座標の検索範囲が満たされていなくてもステ
ップ４１８へ移り次のＸ軸の検索に移る（ステップＳ４
１７で白色画素の連続数を３０個を上限としている理由
は白色画素が３０個以上続いた後に現れる黒色画素は眼
である確率は低く、眉、髪等の確率が高いので眉、髪等
を表す黒色画素をカウントすることを防ぐためであ
る）。

【００９０】パターン（イ）のような場合のＸ軸の検索
では黒色画素が現れることはなく、従って、ステップＳ
４２０に移ることはないので開閉眼の判断に用いる最大
黒色画素数ＢＬＡＣＫＥＭＡＸの値は０のままであり、
数値が更新されることはない。

【００９１】（２） パターン（ロ）の場合 ステップＳ４１８に戻り、新たなＸ軸の検索に移りステ
ップＳ４０３で連続黒色画素数を検出したフラグＥＢＦ
Ｌ、連続白色画素数を検出したフラグＥＷＦＬ、黒色画
素連続カウンタＢＬＡＣＫＥ、白色画素連続カウンタＷ
ＨＩＴＥＥをクリアした後にステップＳ４０４に移る。

【００９２】ステップＳ４０４ではステップＳ４０３で
フラグＥＢＦＬ，フラグＥＷＦＬはクリアされているた
め、パターン（イ）の場合と同様にステップＳ４０５，
Ｓ４１２，Ｓ４１６，Ｓ４１７，Ｓ４２０，Ｓ４１９，
Ｓ４０４，からＳ４０５で黒色画素が現れるまでＹ座標
をカウントダウンし、白色画素連続カウンタＷＨＩＴＥ
Ｅをカウントアップする。

【００９３】パターン（ロ）の場合は少なくとも白色画
素が３０個を越えるまでに黒色画素が現れるので、黒色
画素が現れた時にステップＳ４０６に移り連続黒色画素
のカウンタＢＬＡＣＫＥをスタートさせて、ステップＳ
４０８に移る。

【００９４】ステップＳ４０８は２ドット以下の黒色画
素のノイズを除くものであり、黒色画素が２ドット以下
の連続で黒色画素が現れた場合には、ステップＳ４１
２，Ｓ４１６，Ｓ４１７からＳ４２０へ移行し、ノイズ
としてカウントしたおそれのある黒色画素連続カウンタ
ＢＬＡＣＫＥをクリアし検索を続ける。

【００９５】ステップＳ４０８で３ドット以上の黒色画
素が連続した場合にはステップＳ４０９に移行しフラグ
ＥＢＦＫをセットする。フラグＥＢＦＫのセット後も黒
色画素が連続する限りステップＳ４１９，Ｓ４０４〜Ｓ
４０９を繰り返して黒色画素をカウントアップしてい
く。なお。ここで、黒色画素の連続が途切れた場合はス
テップＳ４１２に移行する。

【００９６】ステップＳ４１２ではフラグＥＢＦＬがセ
ットされているか否かを判断する。パターン（ロ）の場
合は既にＥＢＦＬがセットされているため、ステップＳ
４１３で白色画素連続カウンタＷＨＩＴＥＥのカウント
をスタートさせる。

【００９７】次にステップＳ４１４で白色画素の連続数
を調べる。ここで連続数が５個未満の場合はステップＳ
４１９，Ｓ４０４，Ｓ４０５，Ｓ４１２，Ｓ４１３から
Ｓ４１４を繰り返しＹ座標をカウントダウンして、白色
画素をカウントアップしていく。

【００９８】ステップＳ４１４で白色画素の連続が５個
以上になった場合はステップＳ４１５でフラグＥＷＦＬ
をセットする。フラグＥＷＦＬのセット後にステップＳ
４１９に移行しＹ座標を同様にカウントダウンし、ステ
ップＳ４２２を経てステップＳ４０４に移る。

【００９９】ステップＳ４０４の判定ではフラグＥＷＦ
ＬがセットされているのでステップＳ４１０に移り、ス
テップＳ４１０でステップＳ４０７でカウントした連続
黒色画素数ＢＬＡＣＫＥと最大連続黒色画素数ＢＬＡＣ
ＫＥＭＡＸとを比較する。

【０１００】比較の結果、そのＸ軸上でカウントした連
続黒色画素数ＢＬＡＣＫＥが最大連続黒色画素数ＢＬＡ
ＣＫＥＭＡＸより多い場合はステップＳ４１１でＢＬＡ
ＣＫＥがＢＬＡＣＫＥＭＡＸに置き換えられて、ステッ
プＳ４１８に移る。

【０１０１】また、ステップＳ４１０で連続黒色画素数
ＢＬＡＣＫＥが最大連続黒色画素数ＢＬＡＣＫＥＭＡＸ
より少ない場合はそのまま次のＸ軸の検索（ステップＳ
４１８）に移る。

【０１０２】パターン（ロ）のＸ軸上の流れでは、Ｙ軸
の初期値からの白色画素の連続を確認し、その後眼の部
分にあたる黒色画素の連続を判断してこの黒色画素数を
カウントする。その後、眼の上の白色画素を判断するこ
とで眼の縦方向の大きさを連続黒色画素で認識する。

【０１０３】（３） パターン（ハ）の場合 パターン（ハ）は眼の部分を２値化した時に、眼球の虹
彩部が白くなること（夜間、トンネル内等の赤外光のみ
での画像の場合によくみられる）への対応である。

【０１０４】パターン（ハ）の場合も基本的な処理はパ
ターン（ロ）の場合と同一である。パターン（ハ）では
連続画素数が確認され、黒色画素のカウントアップ中に
眼球の虹彩部の白色画素が現れた場合には、眼の部分の
黒色画素がまだ続いていても黒色画素のカウントを中止
し虹彩部の白色画素のカウントアップを開始する。

【０１０５】ここで、ステップＳ４１４で白色画素が５
個を越えないうちに再び黒色画素が現れる場合は、フラ
グＥＷＦＬがセットされていないので中止していた黒色
画素のカウントアップを再開する。この後、眼の上の白
色画素が確認された場合はパターン（ロ）と同一の処理
を行なう。

【０１０６】（４） パターン（ニ）の場合 パターン（ニ）の場合はパターン（ロ）の場合と全く同
一であるが、ステップＳ４０７でカウントアップした黒
色画素数ＢＬＡＣＫＥの値がより大きい場合は眼の上の
連続白色画素の確認後、ステップＳ４１０，Ｓ４１１で
最大連続黒色画素数ＢＬＡＣＫＥＭＡＸを黒色画素数Ｂ
ＬＡＣＫＥで置き換え、そのウインドウでの最大連続黒
色画素数を記憶する。

【０１０７】（５） パターン（ホ）の場合 パターン（ホ）は眼以外、例えば眉、髪等の連続黒色画
素のカウントを行なってしまう場合である。眉、髪等の
黒色画素は少なくとも眼の下にあることはないので、Ｙ
軸上の検索を開始し白色画素のカウントアップを繰り返
しステップＳ４１７で連続白色画素数が３０個を越えた
場合（その後にできた黒色画素は眼のものであるとはし
ない）は、そのＸ軸での検索を中止し次のＸ軸の検索に
移る。

【０１０８】（６） パターン（ヘ）の場合 パターン（へ）はウインドウの左端の髪の連続黒色画素
のカウントを行なってしまう場合である。ウインドウの
左端の髪の連続黒色画素数は非常に多くなる可能性があ
るがウインドウ左端の連続黒色画素の上に白色画素が現
れることはなく、フラグＥＷＦＬがセットされていない
ため、髪による連続黒色画素数が多くなっても、最大連
続黒色画素数ＢＬＡＣＫＥＭＡＸの数値の置き換えは行
なわない。

【０１０９】従って、全てのＸ軸の検索を終了すると眼
の縦方向（Ｙ軸方向）の最大連続黒色画素数が得られ
る。これらの処理は開眼時／閉眼時に拘らず検出するこ
とができ、その最大連続黒色画素の数により開閉眼を認
識することができる。

【０１１０】以上本発明の一実施例について説明した
が、本発明は上記実施例に限定されるものではなく、種
々の変形実施が可能であることはいうまでもない。

【０１１１】

【発明の効果】以上説明したように第１の発明によれ
ば、赤外線ランプの反射点により運転者が眼鏡を掛けて
いるか否かを事前に判定し、運転者が眼鏡を掛けている
場合でも眼の存在領域を決定できるように構成している
ので、運転者が眼鏡を掛けている場合に眼の存在領域を
正確に検出することが可能となった。

【０１１２】また、第２の発明によれば、赤外線ランプ
の反射点により運転者が眼鏡を掛けているか否かを事前
に判定し、運転者が眼鏡を掛けていない場合でも眼の存
在領域を決定できるように構成しているので、運転者が
眼鏡を掛けていない場合に眼の存在領域を正確に検出す
ることが可能となった。

【図面の簡単な説明】

【図１】本発明の車両運転者の状態検出装置の一実施例
の構成図である。

【図２】図１の車両運転者の状態検出装置の動作を示す
フローチャートである。

【図３】カメラで撮影した領域を示すウインドウの説明
図である。

【図４】存在領域の設定Ａに関わる左右各々のウインド
ウの横方向の位置を決定するフローチャートである。

【図５】図４に示す処理の一部の詳細なフローチャート
である。

【図６】ウインドウの縦方向の範囲設定処理のフローチ
ャートである。

【図７】ウインドウの縦方向の範囲設定処理の説明図で
ある。

【図８】眼の存在領域のＹ軸方向の座標決定の説明図で
ある。

【図９】運転者が眼鏡を掛けている場合の眼の存在領域
の決定方法を示す説明図である。

【図１０】運転者が眼鏡を掛けている場合の眼の存在領
域の決定方法を示す説明図である。

【図１１】開閉眼検出処理のフローチャートである。

【図１２】図１１のフローチャートの説明図である。

【符号の説明】

１ 赤外線ランプＡ（発光手段） ２ 赤外線ランプＢ ３ カメラ（画像入力手段） ４ Ａ／Ｄ変換器（２値化手段） ５ 画像メモリ ６ 眼鏡の有無判定回路（眼鏡有無判定手段） ７ 眼球存在位置規定回路（眼の存在領域設定手段） ８ 開閉眼判定回路 ９ 居眠り判定回路

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 運転者の顔画像を顔画像データとして入
   力する画像入力手段と、 運転者の顔面部に不可視光線を照射する発光手段と、 前記画像入力手段から送出される濃淡画像において眼鏡
   に写る発光手段の反射点の画像認識により眼鏡の有無を
   判定する眼鏡有無判定手段と、 前記眼鏡有無判定手段により眼鏡有りと判定された場合
   は、運転者の掛けている眼鏡のレンズに写り込む発光手
   段の反射点を基準に眼の存在領域を設定する眼の存在領
   域設定手段と、 前記領域内で運転者の開閉眼を検出する開閉眼検出手段
   と、 前記開閉眼検出手段からの開閉眼信号により運転者の状
   態を判断する運転者状態判定手段とを備えたことを特徴
   とする運転者の状態検出装置。
2. 【請求項２】 前記眼鏡有無判定手段により眼鏡なしと
   判定された場合は、前記顔画像データの眼を含む領域を
   決定する第２の眼の存在領域設定手段を備え、 前記第２の眼の存在領域設定手段が、 前記画像入力手段から送出される入力画像を２値化する
   ２値化手段と、 前記２値化手段において画像の左右方向へ走査し連続す
   る白色画素数を計数する白色画素数計数手段と、 前記画素数の変化量から顔画像の幅方向端の安定部を検
   出する安定部検出手段と、 前記安定部の有無と前記連続画素数の変化量から顔画像
   の輪郭線の連続性を判断する輪郭線の連続性判断手段
   と、 前記判断に基づき顔面の端を特定する顔面の端特定手段
   と、 前記顔面の端特定手段により特定された顔面の端から眼
   の存在領域の横方向の位置を決定する眼球の左右領域決
   定手段と、 前記決定された眼の横方向の存在領域で縦方向の下方か
   ら黒領域を検出する黒領域検出手段と、 検出された黒領域を基準にして眼の存在領域の縦方向の
   位置を決定する眼球の縦領域決定手段と、により眼の存
   在領域を設定することを特徴とする請求項１記載の運転
   者の状態検出装置。