JP4935762B2 - 顔画像処理装置 - Google Patents

Description

本発明は、顔画像処理装置に関し、より特定的には、車両に乗車する運転者の前方から当該運転者を撮像する顔画像処理装置に関する。

従来、車両を運転する運転者を撮像し、撮像された画像を用いて当該運転者の状態を監視するシステムが開発されている。例えば、運転者の前方から撮像するカメラが車両のステアリングホイール付近に設置され、当該カメラが撮像した画像を用いて運転者の状態が解析される。

例えば、運転者を撮像した撮像画像を用いて、運転者の顔の向きを判定する顔状態検出装置が開示されている（例えば、特許文献１参照）。上記特許文献１で開示された顔状態検出装置は、運転者の顔の特徴部の認識回数をカウントし、当該カウント数に基づいて顔の向きを検出するための特徴部を選定する。そして、上記顔状態検出装置は、運転者がサングラスやマスク等の着用物を着用しているために、運転者の顔の特徴部の何れかが検出できなくなった場合、これらの着用物を顔の特徴部候補として認識して、顔向きを検出する。
特開２００３−２９６７１２号公報

しかしながら、上記特許文献１で開示された顔状態検出装置では、当該顔状態検出装置が認識していない運転者の顔の特徴部を運転者等へ報知しないため、当該顔状態検出装置が正常に作動しているのか否かについて運転者が把握できない。したがって、上記顔状態検出装置が正常に作動していない状態であっても、運転者が当該装置の作動に頼った運転をするような状態が考えられる。また、運転者は、上記顔状態検出装置が正常に作動しているのか否かについて把握できないため、上記顔状態検出装置を正常に作動させるために運転者自身が取り得る対応策があったとしても、その対応策を認識することができないため、結果的に上記顔状態検出装置が正常に作動していない状態が継続してしまうことになる。

それ故に、本発明の目的は、運転者に装置の状態を適切に報知することができる顔画像処理装置を提供することである。

上記のような目的を達成するために、本発明は、以下に示すような特徴を有している。
第１の局面は、撮像画像取得手段、特徴部検出手段、および報知手段を備える顔画像処理装置である。撮像画像取得手段は、車両の運転者の顔を撮像する撮像手段から撮像画像を取得する。特徴部検出手段は、撮像画像に撮像されている当該顔の特徴部を検出する。報知手段は、顔画像処理装置特徴部検出手段が何れかの特徴部を検出できなかった場合、当該特徴部を運転者へ報知する。

第２の局面は、上記第１の局面において、報知手段は、特徴部検出手段が検出できなかった特徴部を報知すると共に、当該特徴部を検出できなかった推定原因を運転者へ報知する。

第３の局面は、上記第２の局面において、報知手段は、特徴部検出手段が検出できなかった特徴部および推定原因を運転者へ報知すると共に、運転者が当該推定原因を解消する際の注意事項を運転者へ報知する。

第４の局面は、上記第２の局面において、推定原因は、撮像手段から見て特徴部を遮ることが想定される着用物を運転者が着用していることである。

第５の局面は、上記第２の局面において、記憶手段を、さらに備える。記憶手段は、特徴部毎に検出できない推定原因情報をそれぞれ予め記憶する。報知手段は、特徴部検出手段が何れかの特徴部を検出できなかった場合、当該特徴部に対応して記憶手段に記憶された推定原因情報を、推定原因として運転者へ報知する。

第６の局面は、上記第２の局面において、記憶手段を、さらに備える。記憶手段は、特徴部毎に検出できない推定原因情報および当該推定原因を解消する際の注意事項情報をそれぞれ予め記憶する。報知手段は、特徴部検出手段が何れかの特徴部を検出できなかった場合、当該特徴部に対応して記憶手段に記憶された推定原因情報および注意事項情報を、それぞれ推定原因および注意事項として運転者へ報知する。

第７の局面は、上記第１または第２の局面において、撮像画像取得手段は、撮像手段から予め定められた周期毎に撮像画像を取得する。特徴部検出手段は、撮像画像取得手段が撮像画像を取得する毎に当該撮像画像に撮像されている特徴部を検出する。報知手段は、特徴部検出手段が同じ特徴部を第１の時間以上継続して検出できなかった場合、当該特徴部を運転者へ報知する。

第８の局面は、上記第１または第２の局面において、撮像画像取得手段は、撮像手段から予め定められた周期毎に撮像画像を取得する。特徴部検出手段は、撮像画像取得手段が撮像画像を取得する毎に当該撮像画像に撮像されている特徴部を検出する。報知手段は、特徴部を運転者へ報知した後、特徴部検出手段が当該特徴部を第２の時間以上さらに継続して検出できなかった場合、運転者へ当該特徴部を報知することを停止する。

第９の局面は、上記第８の局面において、報知手段は、特徴部を運転者へ報知することを停止した後、顔画像処理装置が正常に作動していないことを示す異常情報を運転者へ報知する。

第１０の局面は、上記第１または第２の局面において、撮像画像取得手段は、撮像手段から予め定められた周期毎に撮像画像を取得する。特徴部検出手段は、撮像画像取得手段が撮像画像を取得する毎に当該撮像画像に撮像されている特徴部を検出する。報知手段は、特徴部を運転者へ報知した後、特徴部検出手段が当該特徴部の検出が可能となった場合、運転者へ当該特徴部を報知することを停止する。

上記第１の局面によれば、撮像画像から運転者の顔の特徴部が検出できなかった場合、当該検出できなかった特徴部を運転者に報知するため、顔画像処理装置の動作状況を運転者が確認することができる。

上記第２の局面によれば、撮像画像から運転者の顔の特徴部が検出できなかった場合、その特徴部と共に検出できなかった推定原因が報知されるため、検出できなかった原因を運転者が容易に解消することができる。

上記第３の局面によれば、さらに検出できなかった推定原因を解消する際の注意事項が報知されるため、当該推定原因を解消する際に起こり得る危険な状態を回避することが可能となり、より安全な運転を促すことが可能となる。

上記第４の局面によれば、撮像画像から運転者の顔の特徴部が検出できなかった場合、その特徴部と共に検出できなかった原因が、運転者自身の着用物にあることを知ることができる。

上記第５の局面によれば、予め特徴部毎に推定原因を記憶しておくことによって、容易に特徴部毎の推定原因を報知することができる。

上記第６の局面によれば、予め特徴部毎に推定原因および当該推定原因を解消する際の注意事項を記憶しておくことによって、容易に特徴部毎の推定原因および当該推定原因を解消する際の注意事項を報知することができる。

上記第７の局面によれば、運転者や運転環境によって一時的に生じた特徴部の未検出に対する報知を抑制することができ、当該報知が頻繁に行われることによる運転者の煩わしさを軽減することができる。

上記第８の局面によれば、検出できなかった特徴部を報知し続けることによって生じる運転者の煩わしさを軽減することができる。

上記第９の局面によれば、検出できなかった特徴部を報知し続けることによって生じる運転者の煩わしさを軽減すると共に、異常情報を表示することによってより安全な運転を促すことが可能となる。

上記第１０の局面によれば、撮像画像から特徴部が検出できなかった原因が解消されたとき、当該特徴部に対する報知を停止して通常時の処理に復帰することができる。

以下、図１を参照して本発明の一実施形態に係る顔画像処理装置について説明する。なお、本実施形態では、当該顔画像処理装置を含むドライバサポートシステムが車両に搭載される例について説明する。一例として、ドライバサポートシステムは、当該車両を運転する運転者の顔を撮像し、撮像画像に基づいて運転者の状態（顔の向き、眼の開閉度等）を判断して、判断結果に応じた車両の制御を行う。また、上記ドライバサポートシステムは、車両周辺の他の車両や障害物を認知し衝突の危険性を判断して、判断結果に応じた車両の制御も行う。なお、図１は、当該顔画像処理装置を含むドライバサポートシステムの機能構成の一例を示すブロック図である。

図１において、ドライバサポートシステムは、ドライバモニタカメラ１、ドライバモニタＥＣＵ（Electrical Control Unit）２、ドライバサポートシステムＥＣＵ３、ミリ波レーダ４、表示部５、オーディオアンプ６、スピーカ６１、ブレーキ制御ＥＣＵ７、警報ブザー７１、およびブレーキＡＣＴ（アクチュエータ）７２を備えている。そして、ドライバモニタＥＣＵ２、ドライバサポートシステムＥＣＵ３、およびミリ波レーダ４は、互いにＣＡＮ（Controller Area Network）１等を介して接続される。また、ドライバサポートシステムＥＣＵ３、表示部５、オーディオアンプ６、およびブレーキ制御ＥＣＵ７は、ＣＡＮ２等を介して接続される。なお、ドライバモニタＥＣＵ２が本発明の顔画像処理装置の一例に相当する。

ドライバモニタカメラ１は、ドライバモニタＥＣＵ２から電力が供給されてそれぞれ作動するＣＣＤ（Charge Coupled Device）１１およびＬＥＤ（Light Emitting Diode）１２を含む。例えば、ＬＥＤ１２は、運転者の正面から当該運転者へ向けて近赤外光を照射する照明装置である。この場合、ＣＣＤ１１は、近赤外領域で高い感度特性を有する撮像装置であり、典型的には、近赤外ＣＣＤカメラである。このように、近赤外領域で高い感度特性を有するＣＣＤ１１を用いることにより、夜間やトンネル内等を走行中で車内が暗い状況でも、ＬＥＤ１２で照らされた運転者を感度よく撮像することが可能である。なお、ＣＣＤ１１は、運転者の顔を正面から撮像可能な位置に配置される。そして、ＣＣＤ１１は、所定の周期毎に運転者の顔およびその周囲の画像を撮像して、撮像された画像をドライバモニタＥＣＵ２へ出力する。なお、ドライバモニタカメラ１の設置位置の詳細については、後述する。

ドライバモニタＥＣＵ２は、その内部に複数のマイクロコンピュータ（以下、マイコンと記載する）等の情報処理装置、処理に用いる各種データを格納するメモリ、ドライバモニタカメラ１に電力を供給する電源回路、およびインターフェース回路などを備える処理装置である。例えば、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１で撮像された撮像画像を用いて、運転者の顔向きを判断したり、運転者の眼の開閉度を判断したりして、その判断結果をドライバサポートシステムＥＣＵ３へ出力する。また、ドライバモニタＥＣＵ２は、運転者の顔向きや眼の開閉度等を判断するために必要な当該運転者の顔の特徴部（例えば、顔全体、鼻孔、瞼等）が撮像画像から検出できない場合、その未検出から生じる装置の状況を告知するための情報をドライバサポートシステムＥＣＵ３へ出力する。

ミリ波レーダ４は、車両の前方、後方、斜め前方向等へ向けてミリ波を出射して、対象物から反射した電波を受信する。そして、ミリ波レーダ４は、受信した電波に基づいて、車両の周辺に存在する他の車両や障害物の位置や自車との相対速度等を測定して、その結果をドライバサポートシステムＥＣＵ３へ出力する。

ドライバサポートシステムＥＣＵ３は、ドライバモニタＥＣＵ２から出力された運転者の顔向きおよび眼の開閉度等の情報と、ミリ波レーダ４から出力された自車周辺の車両や障害物の認知結果とに基づいて、車両に搭載された乗員保護装置特性を適正に調整したり、衝突条件緩和システムを作動させたり、運転者に適切な警告を与えたりする。また、ドライバサポートシステムＥＣＵ３は、上記特徴部の未検出から生じる装置の状況を告知するための情報に基づいて、当該情報を運転者へ報知する。図１においては、ドライバサポートシステムＥＣＵ３が制御する装置の一例として、表示部５、オーディオアンプ６、およびブレーキ制御ＥＣＵ７が記載されている。

表示部５は、車両の運転席に着席して当該車両を運転する運転者から視認可能な位置に設けられる。例えば、表示部５は、運転席前面の計器盤（インスツルメントパネル）に設けられ、ドライバサポートシステムＥＣＵ３からの指示に応じた警報や情報を運転者に表示する。例えば、運転者が正面を向いていない状態や眼を閉じている状態であると判断され、車両と他の物体との衝突の危険性がある場合、ドライバサポートシステムＥＣＵ３は、表示部５に運転者に衝突回避操作を促す表示を早期に行う（警報の前出し）。また、表示部５は、上記特徴部の未検出によって装置が正常に作動していない場合、その状況を運転者に告知するための情報の表示を行う。典型的には、表示部５は、主要ないくつかの計器、表示灯、警告灯、および各種情報を表示するマルチインフォメーションディスプレイ等を１つのパネル内に組み合わせて配置したコンビネーションメータで構成される。なお、表示部５は、ハーフミラー（反射ガラス）を運転席前面のフロントガラスの一部に設け、当該ハーフミラーに情報等の虚像を蛍光表示するヘッドアップディスプレイ（Head-Up Display）等、他の表示装置で構成してもかまわない。

オーディオアンプ６は、ドライバサポートシステムＥＣＵ３から出力された音声情報に応じて増幅した音声信号をスピーカ６１に出力し、スピーカ６１を介して当該音声情報を運転者へ報知する。

ブレーキ制御ＥＣＵ７は、車両に搭載された警報ブザー７１やブレーキＡＣＴ７２の動作を制御する。例えば、運転者が正面を向いていない状態や眼を閉じている状態であると判断され、車両と他の物体との衝突の危険性があるとドライバサポートシステムＥＣＵ３が判断した場合、ブレーキ制御ＥＣＵ７は、警報ブザー７１を早期に作動させて運転者に衝突回避操作を促す（警報の前出し）。これによって、運転者は、早期に上記脇見等の運転状態を解消して衝突回避操作を行うことができる。また、ブレーキ制御ＥＣＵ７は、運転者がブレーキペダルを踏んだ力に応じて、ブレーキ油圧を加圧加勢するように、ブレーキＡＣＴ７２の動作を制御する等を行う（警報ブレーキ）。これによって、ブレーキＡＣＴ７２の油圧応答性が向上し、車両の速度低減を図ることができる。

次に、図２および図３を参照して、ドライバモニタカメラ１について説明する。なお、図２は、車両に設置されたドライバモニタカメラ１を運転席の横方向から見た一例を示す側面概要図である。図３は、車両に設置されたドライバモニタカメラ１をステアリングホイール９１側から見た一例を示す正面概要図である。

図２および図３において、ドライバモニタカメラ１は、ステアリングコラム９２の上面に設置される。そして、ドライバモニタカメラ１は、ステアリングホイール９１の開口部（例えば、リム９１１の内側でスポーク９１２等が設けられていない開口部）を通って、ステアリングホイール９１を操作する運転者の正面から当該運転者の顔を撮像するように撮像方向が調整される。なお、図２においては、ドライバモニタカメラ１の視野を示す視体積の一部（カメラ画角の一部）が破線で記載されており、運転手の頭部が当該視体積内に含まれるようにドライバモニタカメラ１の撮像方向が調整される。ここで、上述したようにドライバモニタカメラ１にはＬＥＤ１２が設けられているが、ＬＥＤ１２も上記撮像方向と同様に、運転者の正面から当該運転者へ向けて近赤外光を照射する。なお、ＬＥＤ１２が近赤外光は、少なくともドライバモニタカメラ１のカメラ画角より広い範囲に照射される。このように、ドライバモニタカメラ１は、ステアリングコラム９２上に設置されるため、運転者の正面となる至近距離から当該運転者を撮像することができ、車両に乗車した運転者の顔を精度よく撮像することが可能となる。

次に、ドライバモニタＥＣＵ２の具体的な動作を説明する前に、図４を参照して当該動作で用いられる主なデータの一例について説明する。なお、図４は、ドライバモニタＥＣＵ２のメモリに記憶される主なデータの一例を示す図である。

図４において、ドライバモニタＥＣＵ２のメモリには、撮像画像データＤａ、顔未検出フラグＤｂ、鼻孔未検出フラグＤｃ、瞼未検出フラグＤｄ、告知表示フラグＤｅ、顔未検出カウントデータＤｆ、鼻孔未検出カウントデータＤｇ、瞼未検出カウントデータＤｈ、告知表示カウントデータＤｉ、眼の開閉度データＤｊ、告知情報データＤｋ、および異常情報データＤｌ等が記憶される。

撮像画像データＤａは、ドライバモニタカメラ１が撮像した画像を示すデータが記憶され、所定の処理周期毎に更新される。

顔未検出フラグＤｂは、撮像画像中に運転者の顔が検出できなかった場合にＯＮに設定される顔未検出フラグＦｆの状態を示すデータが記憶される。鼻孔未検出フラグＤｃは、撮像画像中に運転者の鼻孔が検出できなかった場合にＯＮに設定される鼻孔未検出フラグＦｎの状態を示すデータが記憶される。瞼未検出フラグＤｄは、撮像画像中に運転者の瞼が検出できなかった場合にＯＮに設定される瞼未検出フラグＦｅの状態を示すデータが記憶される。告知表示フラグＤｅは、ドライバサポートシステムが正常に作動していないことを示す告知を表示部５に表示している場合にＯＮに設定される告知表示フラグＦｄの状態を示すデータが記憶される。

顔未検出カウントデータＤｆは、撮像画像中に運転者の顔が検出できない状態が継続している時間（顔未検出カウント値Ｃｆ）を示すデータが記憶される。鼻孔未検出カウントデータＤｇは、撮像画像中に運転者の鼻孔が検出できない状態が継続している時間（鼻孔未検出カウント値Ｃｎ）を示すデータが記憶される。瞼未検出カウントデータＤｈは、撮像画像中に運転者の瞼が検出できない状態が継続している時間（瞼未検出カウント値Ｃｅ）を示すデータが記憶される。告知表示カウントデータＤｉは、ドライバサポートシステムが正常に作動していないことを示す告知を表示部５に表示している時間（告知表示カウント値Ｃｄ）を示すデータが記憶される。

眼の開閉度データＤｊは、撮像画像を用いて算出された運転者の眼の開閉度を示すデータが記憶される。

告知情報データＤｋは、ドライバサポートシステムが撮像画像中の特徴部を検出していないことを示す告知情報を示すデータが記憶される。具体的には、告知情報データＤｋは、運転者の顔の特徴部（例えば、顔全体、鼻孔、瞼等）が撮像画像から検出できない場合に備えて、検出できなかった特徴部に応じた告知情報が記憶されている。以下、図５を参照して、告知情報データＤｋの一例を説明する。

図５において、告知情報データＤｋには、例えば、ドライバモニタＥＣＵ２が未検出となった特徴部に応じて、運転者に報知する告知情報がそれぞれ記述された告知情報テーブルが記録される。上記告知情報テーブルは、撮像画像中で検出できなかった未検出特徴部に対して、告知情報Ｉａ〜Ｉｃがそれぞれ記述される。ここで、告知情報Ｉａは、ドライバモニタＥＣＵ２が撮像画像から検出できなかった運転者の顔の特徴部を運転者へ報知する情報である。告知情報Ｉｂは、特徴部が未検出となった推定原因を運転者へ報知する情報である。告知情報Ｉｃは、運転者が上記推定原因を解消する際の注意事項を運転者へ報知する情報である。以下、各未検出特徴部に対する告知情報Ｉａ〜Ｉｃの例をそれぞれ列挙して説明する。

上記告知情報テーブルには、未検出特徴部「顔」に対する告知情報Ｉａとして「顔を検出できませんでした。」が記述される。また、上記告知情報テーブルには、未検出特徴部「顔」に対する告知情報Ｉｂとして「カメラとの間に遮るものがありませんか？」が記述される。さらに、上記告知情報テーブルには、未検出特徴部「顔」に対する告知情報Ｉｃとして「危険のないところに車を停止して、遮るものを外してください。」が記述される。

上記告知情報テーブルには、未検出特徴部「鼻孔」に対する告知情報Ｉａとして「鼻孔を検出できませんでした。」が記述される。また、上記告知情報テーブルには、未検出特徴部「鼻孔」に対する告知情報Ｉｂとして「マスクを着用していませんか？」が記述される。さらに、上記告知情報テーブルには、未検出特徴部「鼻孔」に対する告知情報Ｉｃとして「マスクを外せるようであれば、危険のないところに車を停止して、マスクを外してください。」が記述される。

上記告知情報テーブルには、未検出特徴部「瞼」に対する告知情報Ｉａとして「瞼を検出できませんでした。」が記述される。また、上記告知情報テーブルには、未検出特徴部「瞼」に対する告知情報Ｉｂとして「サングラス、眼鏡、帽子を着用していませんか？前髪が目にかかっていませんか？」が記述される。さらに、上記告知情報テーブルには、未検出特徴部「瞼」に対する告知情報Ｉｃとして「着用物を外せるようであれば、危険のないところに車を停止して、外してください。」が記述される。

上記告知情報テーブルには、未検出特徴部「眉」に対する告知情報Ｉａとして「眉を検出できませんでした。」が記述される。また、上記告知情報テーブルには、未検出特徴部「眉」に対する告知情報Ｉｂとして「サングラス、眼鏡、帽子を着用していませんか？前髪が眉にかかっていませんか？」が記述される。さらに、上記告知情報テーブルには、未検出特徴部「眉」に対する告知情報Ｉｃとして「着用物を外せるようであれば、危険のないところに車を停止して、外してください。」が記述される。

上記告知情報テーブルには、未検出特徴部「口」に対する告知情報Ｉａとして「口を検出できませんでした。」が記述される。また、上記告知情報テーブルには、未検出特徴部「口」に対する告知情報Ｉｂとして「マスクを着用していませんか？」が記述される。さらに、上記告知情報テーブルには、未検出特徴部「口」に対する告知情報Ｉｃとして「マスクを外せるようであれば、危険のないところに車を停止して、マスクを外してください。」が記述される。

上記告知情報テーブルには、未検出特徴部「鼻」に対する告知情報Ｉａとして「鼻を検出できませんでした。」が記述される。また、上記告知情報テーブルには、未検出特徴部「鼻」に対する告知情報Ｉｂとして「マスクを着用していませんか？」が記述される。さらに、上記告知情報テーブルには、未検出特徴部「鼻」に対する告知情報Ｉｃとして「マスクを外せるようであれば、危険のないところに車を停止して、マスクを外してください。」が記述される。

上記告知情報テーブルには、未検出特徴部「耳」に対する告知情報Ｉａとして「耳を検出できませんでした。」が記述される。また、上記告知情報テーブルには、未検出特徴部「耳」に対する告知情報Ｉｂとして「帽子、耳あてを着用していませんか？髪の毛が耳にかかっていませんか？」が記述される。さらに、上記告知情報テーブルには、未検出特徴部「耳」に対する告知情報Ｉｃとして「着用物を外せるようであれば、危険のないところに車を停止して、外してください。」が記述される。

図４に戻り、異常情報データＤｌは、ドライバサポートシステムが正常に作動していないことを示す異常情報を示すデータが記憶される。例えば、異常情報データＤｌには、ドライバサポートシステムが正常に作動していないために、運転者の安全運転を促す情報を示すデータが記録される。

次に、図６および図７を参照して、ドライバモニタＥＣＵ２の動作の一例について説明する。なお、図６は、ドライバモニタＥＣＵ２によって実行される処理の一例を示す前半のフローチャートである。図７は、ドライバモニタＥＣＵ２によって実行される処理の一例を示す後半のフローチャートである。なお、図６および図７に示すフローチャートでは、告知対象とする特徴部として運転者の顔、鼻孔、瞼を一例として説明する。また、図６および図７に示すフローチャートの各ステップは、ドライバモニタＥＣＵ２が所定のプログラムを実行することによって行われる。なお、これらの処理を実行するためのプログラムは、例えば、ドライバモニタＥＣＵ２に設けられた記憶領域（例えば、メモリ、ハードディスク、光ディスク等）に予め格納されており、ドライバモニタＥＣＵ２の電源がそれぞれオンになったときにドライバモニタＥＣＵ２によって実行される。

図６において、ドライバモニタＥＣＵ２は、初期設定を行い（ステップＳ５１）、次のステップに処理を進める。具体的には、ドライバモニタＥＣＵ２は、上記ステップＳ５１において、メモリに記憶されている各パラメータ等を初期化する。例えば、ドライバモニタＥＣＵ２は、顔未検出フラグＦｆ、鼻孔未検出フラグＦｎ、瞼未検出フラグＦｅ、および告知表示フラグＦｄの状態をそれぞれＯＦＦに初期化する。また、ドライバモニタＥＣＵ２は、顔未検出カウント値Ｃｆ、鼻孔未検出カウント値Ｃｎ、瞼未検出カウント値Ｃｅ、および告知表示カウント値Ｃｄをそれぞれ０に初期化する。

次に、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１から撮像画像を取得して、撮像画像データＤａを更新し（ステップＳ５２）、次のステップに処理を進める。

次に、ドライバモニタＥＣＵ２は、上記ステップＳ５２で撮像画像データＤａに格納された撮像画像において、運転者の顔が検出可能か否かを判断する（ステップＳ５３）。後述によって明らかとなるが、ドライバモニタＥＣＵ２は、撮像画像データＤａに格納された撮像画像から、運転者の顔の輪郭、中心線、顔の特徴部の位置、特徴部の状況等を認識している。例えば、上記ステップＳ５３においては、ドライバモニタＥＣＵ２は、撮像画像に運転者の顔自体が撮像されていない場合や、運転者の顔が認識できない場合、顔が検出不可能であると判断する。そして、ドライバモニタＥＣＵ２は、運転者の顔が検出可能である場合、処理を次のステップＳ５４に処理を進める。一方、ドライバモニタＥＣＵ２は、運転者の顔が検出できない場合、処理を次のステップＳ５７に処理を進める。

ステップＳ５４において、ドライバモニタＥＣＵ２は、顔未検出フラグＤｂを参照して顔未検出フラグＦｆの状態がＯＮであるか否かを判断する。そして、ドライバモニタＥＣＵ２は、顔未検出フラグＦｆの状態がＯＮの場合、顔未検出フラグＦｆの状態をＯＦＦに変更して顔未検出フラグＤｂを更新し（ステップＳ５５）、表示部５の表示を通常表示にして（ステップＳ５６）、次のステップＳ６２に処理を進める。一方、ドライバモニタＥＣＵ２は、顔未検出フラグＦｆの状態がＯＦＦの場合、そのまま次のステップＳ６２に処理を進める。

ここで、後述により明らかとなるが、上記ステップＳ５４の判断時点において顔未検出フラグＦｆがＯＮである場合は、それまでドライバモニタＥＣＵ２が撮像画像から運転者の顔を検出できなかったことを示している。つまり、当該判断時点において、ドライバモニタＥＣＵ２が撮像画像から運転者の顔を検出できない状態から顔を検出できる状態に変化したことを示している。そこで、上記ステップＳ５５では顔未検出フラグＦｆの状態を顔検出が可能であることを示す状態（すなわち、ＯＦＦ）に変更して、上記ステップＳ５６ではそれまで顔が未検出であることを示す告知が表示部５に示されている場合に通常表示に戻す復帰処理を可能にしている。なお、ステップＳ５６の処理においては、表示部５が既に通常表示状態の場合があるが、ドライバモニタＥＣＵ２は、この場合当該通常表示のままで次のステップＳ６２に処理を進める。

一方、撮像画像から運転者の顔が検出できない場合（ステップＳ５３でＮｏ）、ドライバモニタＥＣＵ２は、顔未検出フラグＤｂを参照して顔未検出フラグＦｆの状態がＯＮであるか否かを判断する（ステップＳ５７）。そして、ドライバモニタＥＣＵ２は、顔未検出フラグＦｆの状態がＯＮの場合、顔未検出カウントデータＤｆを参照して顔未検出カウント値Ｃｆに１を加算して顔未検出カウントデータＤｆを更新し（ステップＳ５８）、次のステップＳ６１に処理を進める。一方、ドライバモニタＥＣＵ２は、顔未検出フラグＦｆの状態がＯＦＦの場合、顔未検出フラグＦｆの状態をＯＮに変更して顔未検出フラグＤｂを更新し（ステップＳ５９）、顔未検出カウントデータＤｆの顔未検出カウント値Ｃｆを１に設定して（ステップＳ６０）、次のステップＳ６１に処理を進める。

ステップＳ６１において、ドライバモニタＥＣＵ２は、顔未検出カウントデータＤｆの顔未検出カウント値Ｃｆが予め定められた閾値Ｃ１以上か否かを判断する。ここで、閾値Ｃ１は、撮像画像で運転者の顔を検出できない状況が一時的な現象か、継続的な現象かを判断するための値であり、様々な実験や経験則から得られた値が設定される。そして、ドライバモニタＥＣＵ２は、顔未検出カウント値Ｃｆが閾値Ｃ１以上の場合、処理を次のステップＳ９１（図７）に進める。一方、ドライバモニタＥＣＵ２は、顔未検出カウント値Ｃｆが閾値Ｃ１未満の場合、上記ステップＳ５２に戻って処理を繰り返す。

ここで、上記ステップＳ５７〜Ｓ６１の処理は、ドライバモニタＥＣＵ２が撮像画像から運転者の顔を検出できる状態から顔を検出できない状態に変化したときに顔未検出フラグＦｆの状態をＯＮにし（ステップＳ５９）、当該顔未検出フラグＦｆの状態をＯＮした後の経過時間を顔未検出カウント値Ｃｆとしてカウントし（ステップＳ５８、Ｓ６０）、当該顔未検出カウント値Ｃｆが閾値Ｃ１に到達したか否かを判断（ステップＳ６１）するための処理である。つまり、上記ステップＳ５７〜Ｓ６１の処理では、ドライバモニタＥＣＵ２が撮像画像から運転者の顔を検出できない状態が継続している時間を計測して、当該時間が閾値Ｃ１に到達した場合にステップＳ９１以降の処理を行うことになる。

ステップＳ６２において、ドライバモニタＥＣＵ２は、上記ステップＳ５２で撮像画像データＤａに格納された撮像画像において、運転者の鼻孔が検出可能か否かを判断する。例えば、上記ステップＳ６２においては、ドライバモニタＥＣＵ２は、撮像画像に運転者の鼻孔自体が撮像されていない場合や、運転者の鼻孔が認識できない場合、鼻孔が検出不可能であると判断する。そして、ドライバモニタＥＣＵ２は、運転者の鼻孔が検出可能である場合、処理を次のステップＳ６３に処理を進める。一方、ドライバモニタＥＣＵ２は、運転者の鼻孔が検出できない場合、処理を次のステップＳ６６に処理を進める。

ステップＳ６３において、ドライバモニタＥＣＵ２は、鼻孔未検出フラグＤｃを参照して鼻孔未検出フラグＦｎの状態がＯＮであるか否かを判断する。そして、ドライバモニタＥＣＵ２は、鼻孔未検出フラグＦｎの状態がＯＮの場合、鼻孔未検出フラグＦｎの状態をＯＦＦに変更して鼻孔未検出フラグＤｃを更新し（ステップＳ６４）、表示部５の表示を通常表示にして（ステップＳ６５）、次のステップＳ７１に処理を進める。一方、ドライバモニタＥＣＵ２は、鼻孔未検出フラグＦｎの状態がＯＦＦの場合、そのまま次のステップＳ７１に処理を進める。

ここで、後述により明らかとなるが、上記ステップＳ６３の判断時点において鼻孔未検出フラグＦｎがＯＮである場合は、それまでドライバモニタＥＣＵ２が撮像画像から運転者の鼻孔を検出できなかったことを示している。つまり、当該判断時点において、ドライバモニタＥＣＵ２が撮像画像から運転者の鼻孔を検出できない状態から鼻孔を検出できる状態に変化したことを示している。そこで、上記ステップＳ６４では鼻孔未検出フラグＦｎの状態を鼻孔検出が可能であることを示す状態（すなわち、ＯＦＦ）に変更して、上記ステップＳ６５ではそれまで鼻孔が未検出であることを示す告知が表示部５に示されている場合に通常表示に戻す復帰処理を可能にしている。なお、ステップＳ６５の処理においては、表示部５が既に通常表示状態の場合があるが、ドライバモニタＥＣＵ２は、この場合当該通常表示のままで次のステップＳ７１に処理を進める。

一方、撮像画像から運転者の鼻孔が検出できない場合（ステップＳ６２でＮｏ）、ドライバモニタＥＣＵ２は、鼻孔未検出フラグＤｃを参照して鼻孔未検出フラグＦｎの状態がＯＮであるか否かを判断する（ステップＳ６６）。そして、ドライバモニタＥＣＵ２は、鼻孔未検出フラグＦｎの状態がＯＮの場合、鼻孔未検出カウントデータＤｇを参照して鼻孔未検出カウント値Ｃｎに１を加算して鼻孔未検出カウントデータＤｇを更新し（ステップＳ６７）、次のステップＳ７０に処理を進める。一方、ドライバモニタＥＣＵ２は、鼻孔未検出フラグＦｎの状態がＯＦＦの場合、鼻孔未検出フラグＦｎの状態をＯＮに変更して鼻孔未検出フラグＤｃを更新し（ステップＳ６８）、鼻孔未検出カウントデータＤｇの鼻孔未検出カウント値Ｃｎを１に設定して（ステップＳ６９）、次のステップＳ７０に処理を進める。

ステップＳ７０において、ドライバモニタＥＣＵ２は、鼻孔未検出カウントデータＤｇの鼻孔未検出カウント値Ｃｎが閾値Ｃ１以上か否かを判断する。ここで、閾値Ｃ１は、上記ステップＳ６１と同様に、撮像画像で運転者の鼻孔を検出できない状況が一時的な現象か、継続的な現象かを判断するための値であり、様々な実験や経験則から得られた値が設定される。そして、ドライバモニタＥＣＵ２は、鼻孔未検出カウント値Ｃｎが閾値Ｃ１以上の場合、処理を次のステップＳ９１（図７）に進める。一方、ドライバモニタＥＣＵ２は、鼻孔未検出カウント値Ｃｎが閾値Ｃ１未満の場合、上記ステップＳ５２に戻って処理を繰り返す。

ここで、上記ステップＳ６６〜Ｓ７０の処理は、ドライバモニタＥＣＵ２が撮像画像から運転者の鼻孔を検出できる状態から鼻孔を検出できない状態に変化したときに鼻孔未検出フラグＦｎの状態をＯＮにし（ステップＳ６８）、当該鼻孔未検出フラグＦｎの状態をＯＮした後の経過時間を鼻孔未検出カウント値Ｃｎとしてカウントし（ステップＳ６７、Ｓ６９）、当該鼻孔未検出カウント値Ｃｎが閾値Ｃ１に到達したか否かを判断（ステップＳ７０）するための処理である。つまり、上記ステップＳ６６〜Ｓ７０の処理では、ドライバモニタＥＣＵ２が撮像画像から運転者の鼻孔を検出できない状態が継続している時間を計測して、当該時間が閾値Ｃ１に到達した場合にステップＳ９１以降の処理を行うことになる。

ステップＳ７１において、ドライバモニタＥＣＵ２は、上記ステップＳ５２で撮像画像データＤａに格納された撮像画像において、運転者の瞼が検出可能か否かを判断する。例えば、上記ステップＳ７１においては、ドライバモニタＥＣＵ２は、撮像画像に運転者の瞼自体が撮像されていない場合や、運転者の瞼が認識できない場合、瞼が検出不可能であると判断する。そして、ドライバモニタＥＣＵ２は、運転者の瞼が検出可能である場合、処理を次のステップＳ７２に処理を進める。一方、ドライバモニタＥＣＵ２は、運転者の瞼が検出できない場合、処理を次のステップＳ７５に処理を進める。

ステップＳ７２において、ドライバモニタＥＣＵ２は、瞼未検出フラグＤｄを参照して瞼未検出フラグＦｅの状態がＯＮであるか否かを判断する。そして、ドライバモニタＥＣＵ２は、瞼未検出フラグＦｅの状態がＯＮの場合、瞼未検出フラグＦｅの状態をＯＦＦに変更して瞼未検出フラグＤｄを更新し（ステップＳ７３）、表示部５の表示を通常表示にして（ステップＳ７４）、次のステップＳ８０に処理を進める。一方、ドライバモニタＥＣＵ２は、瞼未検出フラグＦｅの状態がＯＦＦの場合、そのまま次のステップＳ８０に処理を進める。

ここで、後述により明らかとなるが、上記ステップＳ７２の判断時点において瞼未検出フラグＦｅがＯＮである場合は、それまでドライバモニタＥＣＵ２が撮像画像から運転者の瞼を検出できなかったことを示している。つまり、当該判断時点において、ドライバモニタＥＣＵ２が撮像画像から運転者の瞼を検出できない状態から瞼を検出できる状態に変化したことを示している。そこで、上記ステップＳ７３では瞼未検出フラグＦｅの状態を瞼検出が可能であることを示す状態（すなわち、ＯＦＦ）に変更して、上記ステップＳ７４ではそれまで瞼が未検出であることを示す告知が表示部５に示されている場合に通常表示に戻す復帰処理を可能にしている。なお、ステップＳ７４の処理においては、表示部５が既に通常表示状態の場合があるが、ドライバモニタＥＣＵ２は、この場合当該通常表示のままで次のステップＳ８０に処理を進める。

一方、撮像画像から運転者の瞼が検出できない場合（ステップＳ７１でＮｏ）、ドライバモニタＥＣＵ２は、瞼未検出フラグＤｄを参照して瞼未検出フラグＦｅの状態がＯＮであるか否かを判断する（ステップＳ７５）。そして、ドライバモニタＥＣＵ２は、瞼未検出フラグＦｅの状態がＯＮの場合、瞼未検出カウントデータＤｈを参照して瞼未検出カウント値Ｃｅに１を加算して瞼未検出カウントデータＤｈを更新し（ステップＳ７６）、次のステップＳ７９に処理を進める。一方、ドライバモニタＥＣＵ２は、瞼未検出フラグＦｅの状態がＯＦＦの場合、瞼未検出フラグＦｅの状態をＯＮに変更して瞼未検出フラグＤｄを更新し（ステップＳ７７）、瞼未検出カウントデータＤｈの瞼未検出カウント値Ｃｅを１に設定して（ステップＳ７８）、次のステップＳ７９に処理を進める。

ステップＳ７９において、ドライバモニタＥＣＵ２は、瞼未検出カウントデータＤｈの瞼未検出カウント値Ｃｅが閾値Ｃ１以上か否かを判断する。ここで、閾値Ｃ１は、上記ステップＳ６１と同様に、撮像画像で運転者の瞼を検出できない状況が一時的な現象か、継続的な現象かを判断するための値であり、様々な実験や経験則から得られた値が設定される。そして、ドライバモニタＥＣＵ２は、瞼未検出カウント値Ｃｅが閾値Ｃ１以上の場合、処理を次のステップＳ９１（図７）に進める。一方、ドライバモニタＥＣＵ２は、瞼未検出カウント値Ｃｅが閾値Ｃ１未満の場合、上記ステップＳ５２に戻って処理を繰り返す。

ここで、上記ステップＳ７５〜Ｓ７９の処理は、ドライバモニタＥＣＵ２が撮像画像から運転者の瞼を検出できる状態から瞼を検出できない状態に変化したときに瞼未検出フラグＦｅの状態をＯＮにし（ステップＳ７７）、当該瞼未検出フラグＦｅの状態をＯＮした後の経過時間を瞼未検出カウント値Ｃｅとしてカウントし（ステップＳ７６、Ｓ７８）、当該瞼未検出カウント値Ｃｅが閾値Ｃ１に到達したか否かを判断（ステップＳ７９）するための処理である。つまり、上記ステップＳ７５〜Ｓ７９の処理では、ドライバモニタＥＣＵ２が撮像画像から運転者の瞼を検出できない状態が継続している時間を計測して、当該時間が閾値Ｃ１に到達した場合にステップＳ９１以降の処理を行うことになる。

ステップＳ８０において、ドライバモニタＥＣＵ２は、撮像画像を用いて運転者の眼の開閉度を演算する処理を行う。次に、ドライバモニタＥＣＵ２は、処理を終了するか否かを判断する（ステップＳ８１）。例えば、ドライバモニタＥＣＵ２は、車両の運転者が処理を終了する操作（例えば、イグニッションスイッチをＯＦＦする操作等）を行った場合、処理を終了すると判断する。そして、ドライバモニタＥＣＵ２は、処理を継続する場合、上記ステップＳ５２に戻って処理を繰り返す。一方、ドライバモニタＥＣＵ２は、処理を終了する場合、当該フローチャートによる処理を終了する。

以下、上記ステップＳ８１において行われる、眼の開閉度を演算する処理の一例について説明する。

例えば、ドライバモニタＥＣＵ２は、ソーベルオペレータ等を用いたエッジ抽出処理によって、撮像画像中で顔の輪郭部分および顔の左右方向の中心となる縦中心線を探索して、撮像画像中に撮像されている運転者の顔の輪郭左端、輪郭右端、および顔の縦中心線を検出する。一例として、ドライバモニタＥＣＵ２は、撮像画像の輝度画像を作成し、当該輝度画像にエッジ抽出処理を施して、顔の輪郭左端、輪郭右端、および顔部品（眉、眼、鼻、口等）の位置を抽出する。次に、ドライバモニタＥＣＵ２は、抽出された顔の輪郭左端、輪郭右端、および顔部品の位置に基づいて、撮像画像に撮像された運転者の顔幅および縦中心線を算出する。そして、ドライバモニタＥＣＵ２は、輪郭左端から縦中心線までの左顔幅、および輪郭右端から縦中心線までの右顔幅をそれぞれ算出する。

そして、ドライバモニタＥＣＵ２は、運転者の眼の位置がどの範囲に撮像されているかを推定する眼の位置推定処理を、撮像画像を用いて行う。ドライバモニタＥＣＵ２は、上記顔幅情報等を用いて、撮像画像にいて運転者の鼻が撮像されていると推定される範囲を設定する。そして、ドライバモニタＥＣＵ２は、上記範囲内に対して運転者の鼻の部分を探索して、撮像画像における鼻の位置を検出する。具体的には、ドライバモニタＥＣＵ２は、上記範囲内における一対の鼻孔の位置を検出する。そして、ドライバモニタＥＣＵ２は、一対の鼻孔の中間位置を撮像画像における鼻の位置として設定する。なお、一般的に鼻孔の形状は、眼の形状等に比べて個人差が小さい。そのため、鼻孔の位置は眼の位置等に比べてより正確に検出することができる。

次に、ドライバモニタＥＣＵ２は、鼻の位置を基準に最適な左眼の探索範囲および右眼の探索範囲を撮像画像に対して設定する。例えば、ドライバモニタＥＣＵ２は、鼻の位置から予め定められた方向に所定距離だけ離れた撮像画像上の位置に、左眼探索範囲および右眼探索範囲をそれぞれ設定する。ここで、鼻の位置を基準として左眼探索範囲および右眼探索範囲をそれぞれ設定する方向および距離は、予め定められた標準となる情報に基づいて設定すればよい。なお、上記顔幅情報に応じて、左眼探索範囲および右眼探索範囲をそれぞれ設定する方向および距離や左眼探索範囲および右眼探索範囲の大きさをそれぞれ変化させてもかまわない。これによって、撮像画像で撮像されている運転者の顔のサイズが変化（典型的には、運転者の顔とドライバモニタカメラ１との間の距離が変化）しても、当該顔のサイズの変化に追従して左眼探索範囲および右眼探索範囲の位置や大きさを適切に設定することができる。

そして、ドライバモニタＥＣＵ２は、撮像画像に設定された左眼探索範囲内において、運転者の左眼を探索して検出する。また、ドライバモニタＥＣＵ２は、撮像画像に設定された右眼探索範囲内において、運転者の右眼を探索して検出する。例えば、探索範囲内における眼の検出については、予め設定された眼のテンプレート画像を用いた各種パターンマッチング手法を用いて行うことができる。

次に、ドライバモニタＥＣＵ２は、運転者の両眼の開閉度を算出する。例えば、ドライバモニタＥＣＵ２は、撮像画像における運転者の左眼および右眼それぞれについて、上瞼の輪郭および下瞼の輪郭を抽出する。一例として、左眼および右眼における上瞼および下瞼の検出については、予め設定された上瞼および下瞼のテンプレート画像を用いた各種パターンマッチング手法を用いて行うことができる。そして、ドライバモニタＥＣＵ２は、それぞれの上瞼と下瞼との間の距離を各眼の開閉度として算出して、当該開閉度を示すデータを用いて眼の開閉度データＤｊを更新する。

その後、ドライバモニタＥＣＵ２は、眼の開閉度データＤｊに格納されている眼の開閉度を示すデータをドライバサポートシステムＥＣＵ３へ出力する。このデータ出力に応じて、ドライバサポートシステムＥＣＵ３は、ドライバモニタＥＣＵ２から受け取ったデータと、ミリ波レーダ４から出力された自車周辺の車両や障害物の認知結果とに基づいて、車両に搭載された乗員保護装置特性を適正に調整したり、衝突条件緩和システムを作動させたり、運転者に適切な警告を与えたりする。

なお、上記ステップＳ８０における開閉度演算処理においては、運転者の眼の開閉度だけでなく、運転者の顔向きや視線方向を演算してもかまわない。

例えば、ドライバモニタＥＣＵ２は、撮像画像において、運転者の顔の輪郭左端から縦中心線までの左顔幅、および輪郭右端から縦中心線までの右顔幅をそれぞれ算出することができる。そして、ドライバモニタＥＣＵ２は、左顔幅および右顔幅の値の比に基づいて顔向き角度αを算出することが可能となる。ここで、顔向き角度αの値は、ドライバモニタカメラ１に対して正面（つまり、車両の正面）を向いた状態がα＝０とする。そして、顔向き角度αの値は、顔がドライバモニタカメラ１に対して正面を向いた状態から右方向を向くほど大きな値になるとし、左方向を向くほど小さな値になるとする。つまり、顔向き角度αの値は、顔がドライバモニタカメラ１に対して右方向を向くと正の値となり、左方向を向くと負の値となる。

また、ドライバモニタＥＣＵ２は、撮像画像における運転者の左眼および右眼それぞれについて、虹彩の位置を抽出することによって、視線方向を演算することが可能となる。例えば、左眼および右眼における虹彩の検出については、楕円フィルタを用いる手法等を用いることができる。一般的に、虹彩の形状は、撮像画像上においては、顔向きや瞼で遮られたりして円形にはならず、むしろ楕円形状になることが多い。そこで、撮像画像における運転者の左眼および右眼それぞれについて、サイズが異なる複数の楕円フィルタを適用し、当該楕円フィルタの外側領域および内側領域に対する輝度をそれぞれ求める。このとき、外側領域の輝度と内側領域の輝度との間に輝度の差が生じれば、楕円フィルタの内側範囲を虹彩として、用いた楕円フィルタの位置から虹彩の位置を求める。なお、左眼および右眼における虹彩の位置検出については、この手法に限らず、予め設定された虹彩のテンプレート画像を用いた各種パターンマッチング手法や、左眼および右眼の内部を２値化して黒色領域の位置を抽出する手法等、他の検出手法を用いてもかまわない。そして、ドライバモニタＥＣＵ２は、運転者の左眼および右眼それぞれにおける虹彩の位置と、顔向き方向αとに基づいて、運転者の視線方向を算出する。例えば、ドライバモニタＥＣＵ２は、車両の正面方向に対する運転者の視線の角度を視線方向として算出する。

図７に進み、ステップＳ９１において、ドライバモニタＥＣＵ２は、撮像画像データＤａに格納された撮像画像において未検出となった特徴部に応じて、告知表示処理を行い、次のステップに処理を進める。例えば、ドライバモニタＥＣＵ２は、告知情報データＤｋを参照して、現在の未検出特徴部に応じた告知情報Ｉａ〜Ｉｃを抽出し、当該告知情報Ｉａ〜Ｉｃを示す文字情報をドライバサポートシステムＥＣＵ３へ出力して、当該文字情報を表示部５に表示する。

例えば、図８に示すように、未検出特徴部が「顔」である場合、未検出特徴部が「顔」に対する告知情報として告知情報テーブルに記述されている告知情報Ｉａ〜Ｉｃを表示部５に表示する。具体的には、未検出特徴部が「顔」である場合、表示部５には、「顔を検出できませんでした。」（告知情報Ｉａ）、「カメラとの間に遮るものがありませんか？」（告知情報Ｉｂ）、「危険のないところに車を停止して、遮るものを外してください。」（告知情報Ｉｃ）がそれぞれ表示されて、運転者に報知される。これによって、運転者は、ドライバモニタカメラ１がタオル等の布で覆われていた場合など、ドライバモニタカメラ１と運転者との間を遮るものが存在した場合、その遮るものを取り外すことによって、ドライバサポートシステムの動作が復帰することを予測することができる。

例えば、図９に示すように、未検出特徴部が「鼻孔」である場合、未検出特徴部が「鼻孔」に対する告知情報として告知情報テーブルに記述されている告知情報Ｉａ〜Ｉｃを表示部５に表示する。具体的には、未検出特徴部が「鼻孔」である場合、表示部５には、「鼻孔を検出できませんでした。」（告知情報Ｉａ）、「マスクを着用していませんか？」（告知情報Ｉｂ）、「マスクを外せるようであれば、危険のないところに車を停止して、マスクを外してください。」（告知情報Ｉｃ）がそれぞれ表示されて、運転者に報知される。

例えば、図１０に示すように、未検出特徴部が「瞼」である場合、未検出特徴部が「瞼」に対する告知情報として告知情報テーブルに記述されている告知情報Ｉａ〜Ｉｃを表示部５に表示する。具体的には、未検出特徴部が「瞼」である場合、表示部５には、「瞼を検出できませんでした。」（告知情報Ｉａ）、「サングラス、眼鏡、帽子を着用していませんか？前髪が目にかかっていませんか？」（告知情報Ｉｂ）、「着用物を外せるようであれば、危険のないところに車を停止して、外してください。」（告知情報Ｉｃ）がそれぞれ表示されて、運転者に報知される。

ここで、上述した告知情報の表示は、特徴部が未検出となっている状態が一時的な現象でない場合（すなわち、未検出継続時間が閾値Ｃ１以上の場合）に行われる。例えば、運転者が一時的に手で顔、眼、鼻等を触ったり、運転者の顔の一部に一時的な外光が入射したりした場合、一時的に撮像画像から特徴部が検出できない状況となる。しかしながら、このような一時的な現象に応じて告知表示を行うと、運転者にとって煩わしい情報表示となってしまうため、未検出時間が閾値Ｃ１に到達した時点で告知表示を開始する。これによって、告知表示による運転者の煩わしさを軽減することが可能となる。

図７に戻り、上記ステップＳ９１の処理の後、ドライバモニタＥＣＵ２は、告知表示フラグＤｅを参照して告知表示フラグＦｄの状態がＯＮであるか否かを判断する（ステップＳ９２）。そして、ドライバモニタＥＣＵ２は、告知表示フラグＦｄの状態がＯＮの場合、告知表示カウントデータＤｉを参照して告知表示カウント値Ｃｄに１を加算して告知表示カウントデータＤｉを更新し（ステップＳ９３）、次のステップＳ９６に処理を進める。一方、ドライバモニタＥＣＵ２は、告知表示フラグＦｄの状態がＯＦＦの場合、告知表示フラグＦｄの状態をＯＮに変更して告知表示フラグＤｅを更新し（ステップＳ９４）、告知表示カウントデータＤｉの告知表示カウント値Ｃｄを１に設定して（ステップＳ９５）、次のステップＳ９６に処理を進める。

ステップＳ９６において、ドライバモニタＥＣＵ２は、告知表示カウントデータＤｉの告知表示カウント値Ｃｄが予め定められた閾値Ｃ２以上か否かを判断する。ここで、閾値Ｃ２は、上記ステップＳ９１によって特徴部が検出できない旨の告知を運転者へ行うことによって解消される可能性があるものか、解消ができないものかを時間で判断するための値であり、様々な実験や経験則から得られた値が設定される。そして、ドライバモニタＥＣＵ２は、告知表示カウント値Ｃｄが閾値Ｃ２以上の場合、処理を次のステップＳ９７に進める。一方、ドライバモニタＥＣＵ２は、告知表示カウント値Ｃｄが閾値Ｃ２未満の場合、上記ステップＳ５２に戻って処理を繰り返す。

ステップＳ９７において、ドライバモニタＥＣＵ２は、異常表示処理を行い、当該フローチャートによる処理を終了する。例えば、ドライバモニタＥＣＵ２は、異常情報データＤｌを参照して、異常情報を示す文字情報をドライバサポートシステムＥＣＵ３へ出力して、当該文字情報を表示部５に表示する。表示部５に表示する。

例えば、図１１に示すように、表示部５には、「ドライバサポートシステムが正常に作動していません。安全に配慮して、気を付けて運転してください。」と異常情報Ｉｄが表示されて、運転者に報知される。このように、上記ステップＳ９７では、ドライバサポートシステムが正常に作動していないことが運転者に報知され、運転者の安全運転をさらに促す情報が報知される。

ここで、上記ステップＳ９１〜Ｓ９７の処理では、表示部５に特徴部が検出できないことを示す告知表示を行ったときに告知表示フラグＦｄの状態をＯＮにし（ステップＳ９４）、当該告知表示フラグＦｄの状態をＯＮした後の経過時間を告知表示カウント値Ｃｄとしてカウントし（ステップＳ９３、Ｓ９５）、当該告知表示カウント値Ｃｄが閾値Ｃ２に到達したか否かを判断（ステップＳ９６）している。つまり、上記告知表示を継続している時間を計測して、当該時間が閾値Ｃ２に到達した場合にステップＳ９７の処理を行うことになる。例えば、運転者が運転の際に着用する必要がある眼鏡等によって特徴点が検出できない場合や、運転環境によって外すことができない装着物（サングラス等）によって特徴点が検出できない場合や、運転者では解消できない告知情報外の原因によって特徴点が検出できない場合等においては、運転者に上記告知表示を行っても解消されないことが多い。このような場合、告知表示を長時間続けると運転者にとって煩わしい情報表示となってしまうため、告知表示時間が閾値Ｃ２に到達した時点で表示内容を異常情報に切り換える。これによって、告知表示による運転者の煩わしさが軽減されることに加え、さらに運転者の安全運転意識を向上させることが可能となる。

なお、上述したステップＳ９７の動作では、上記異常情報を表示部５に表示することなく上記告知表示を表示部５に表示することを停止してもかまわない。このように、上記告知表示を停止するだけでも、上記告知表示を長時間続けることによって運転者が感じる煩わしさを軽減することができる。

このように、本実施形態に係る顔画像処理装置によれば、撮像画像から運転者の顔の特徴部が検出できなかった場合、当該検出できなかった特徴部を運転者に報知するため、ドライバサポートシステムの動作状況を運転者が確認することができる。

なお、上述した説明では、撮像画像から運転者の顔の特徴部が検出できなかった場合、当該特徴部に応じて告知情報Ｉａ〜Ｉｃを表示部５に表示する一例を用いた。これによって、運転者は、表示部５を視認することによって、未検出の特徴部、推定原因、推定原因解消時の注意事項を知ることが可能となる。しかしながら、このような効果を期待しない場合、表示部５に表示する告知情報は他の態様であってもかまわない。例えば、表示部５に告知情報Ｉａのみが表示されたとしても、運転者は、ドライバサポートシステムが検出できていない自身の特徴部を知ることができ、当該特徴部が検出できないことに繋がる原因が運転者の状態や環境に生じていないか考察することが可能となる。つまり、運転者は、表示部５に告知情報Ｉａのみが表示されたとしても、その推定原因を推し量ることが可能となり、自身にその原因がある場合はその原因を解消してその結果のシステム状況を確認することも可能となる。

また、上述した説明では、告知情報Ｉａ〜Ｉｃや異常情報Ｉｄを表示部５に表示する一例を用いたが、他の態様で告知情報や異常情報を運転者に報知してもかまわない。第１の例として、オーディオアンプ６およびスピーカ６１を介して、告知情報Ｉａ〜Ｉｃや異常情報Ｉｄを音声で運転者に報知してもかまわない。この場合、ドライバモニタＥＣＵ２は、告知情報データＤｋや異常情報データＤｌを参照して、告知情報や異常情報を示す音声情報をドライバサポートシステムＥＣＵ３へ出力して、当該音声情報に基づいた音声をスピーカ６１から出力する。

第２の例として、告知情報Ｉａのみを運転者へ報知する場合、複数のランプの点灯／消滅によって運転者へ報知する。例えば、運転席前面の計器盤（インスツルメントパネル）に特徴点毎のランプを設け、撮像画像から運転者の顔の特徴部が検出できなかった場合に当該特徴点に応じたランプを点灯させる。これによって、運転者は、ランプの点灯しているシステムが検出できなかった特徴部であることを知ることができ、ドライバサポートシステムの動作状況を運転者が確認することができる。

第３の例として、告知情報Ｉａのみを運転者へ報知する場合、ランプが点灯する色によって運転者へ報知する。例えば、運転席前面の計器盤（インスツルメントパネル）に特徴点毎に複数色の点灯が可能なランプを設け、撮像画像から運転者の顔の特徴部が検出できなかった場合に当該特徴点に応じた色でランプを点灯させる。これによって、運転者は、ランプが点灯している色によってシステムが検出できなかった特徴部を知ることができ、ドライバサポートシステムの動作状況を運転者が確認することができる。

第４の例として、告知情報Ｉａのみを運転者へ報知する場合、ランプが点滅するパターンによって運転者へ報知する。例えば、運転席前面の計器盤（インスツルメントパネル）に特徴点毎に複数パターンで点滅が可能なランプを設け、撮像画像から運転者の顔の特徴部が検出できなかった場合に当該特徴点に応じたパターンでランプを点滅させる。これによって、運転者は、ランプが点滅しているパターンによってシステムが検出できなかった特徴部を知ることができ、ドライバサポートシステムの動作状況を運転者が確認することができる。

第５の例として、告知情報Ｉａのみを運転者へ報知する場合、表示部５に表示する数値や記号等によって運転者へ報知する。例えば、運転席前面の計器盤（インスツルメントパネル）に特徴点毎の数値や記号等を表示する表示領域を設け、撮像画像から運転者の顔の特徴部が検出できなかった場合に当該特徴点に応じた数値や記号等を表示させる。これによって、運転者は、表示されている数値や記号等によってシステムが検出できなかった特徴部を知ることができ、ドライバサポートシステムの動作状況を運転者が確認することができる。

また、上述した説明では、ドライバサポートシステムＥＣＵ３を介して、表示部５に告知情報や異常情報が表示処理される例を用いたが、ドライバモニタＥＣＵ２が直接表示部５に表示する内容を制御してもかまわない。

また、上述したドライバモニタＥＣＵ２の処理動作では、告知対象とする特徴部の一例として、運転者の顔、鼻孔、瞼を用いたが、他の特徴部も同様の処理が可能となる。例えば、図５で示した運転者の眉、口、鼻、耳等を告知対象に加えても、同様の処理が可能であることは言うまでもない。

また、上述した実施形態においては、ドライバモニタカメラ１をステアリングコラム９２の上面に設置される例を用いたが、ドライバモニタカメラ１を他の位置に設置してもかまわない。ドライバモニタカメラ１は、車両に乗車した運転者の顔を撮像できる位置であればどのような位置に設置されてもかまわず、例えば運転席前面の計器盤（インスツルメントパネル）内、計器盤上、ステアリングホイール内、および車室内上部等に設置してもかまわない。

また、上述したドライバモニタＥＣＵ２の処理順序、時間カウント方法、各種フラグデータによる状態判定方法等は、単なる一例に過ぎず他の順序や方法であっても、本発明を実現できることは言うまでもない。

また、ドライバモニタＥＣＵ２が実行するプログラムは、ドライバモニタＥＣＵ２に設けられた記憶領域に予め格納されるだけでなく、外部記憶媒体を通じてドライバモニタＥＣＵ２に供給されたり、有線または無線の通信回線を通じてドライバモニタＥＣＵ２に供給されたりしてもよい。

以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

本発明に係る顔画像処理装置は、運転者に装置の状態を適切に報知することができ、車両に着席した運転者の状態を判定するシステム等に有用である。

本発明の一実施形態に係る顔画像処理装置を含むドライバサポートシステムの機能構成の一例を示すブロック図 車両に設置されたドライバモニタカメラ１を運転席の横方向から見た一例を示す側面概要図 車両に設置されたドライバモニタカメラ１をステアリングホイール９１側から見た一例を示す正面概要図 図１のドライバモニタＥＣＵ２のメモリに記憶される主なデータの一例を示す図 図４の告知情報データＤｋの一例を示す図 図１のドライバモニタＥＣＵ２によって実行される処理の一例を示す前半のフローチャート 図１のドライバモニタＥＣＵ２によって実行される処理の一例を示す後半のフローチャート 未検出特徴部が「顔」である場合に表示部５に表示される告知情報の一例を示す図 未検出特徴部が「鼻孔」である場合に表示部５に表示される告知情報の一例を示す図 未検出特徴部が「瞼」である場合に表示部５に表示される告知情報の一例を示す図 表示部５に表示される異常情報の一例を示す図

符号の説明

１…ドライバモニタカメラ
１１…ＣＣＤ
１２…ＬＥＤ
２…ドライバモニタＥＣＵ
３…ドライバサポートシステムＥＣＵ
４…ミリ波レーダ
５…表示部
６…オーディオアンプ
６１…スピーカ
７…ブレーキ制御ＥＣＵ
７１…警報ブザー
７２…ブレーキＡＣＴ
９１…ステアリングホイール
９１１…リム
９１２…スポーク
９２…ステアリングコラム

Claims (8)

1. 車両の運転者の顔を撮像する撮像手段から撮像画像を取得する撮像画像取得手段と、
   前記撮像画像に撮像されている当該顔の特徴部を検出する特徴部検出手段と、
   前記特徴部検出手段が何れかの前記特徴部を検出できなかった場合、当該特徴部を運転者へ報知する報知手段とを備え、
   前記報知手段は、前記特徴部検出手段が検出できなかった特徴部および当該特徴部を検出できなかった推定原因を運転者へ報知すると共に、運転者が当該推定原因を解消する際の安全に関する注意事項を運転者へ報知する、顔画像処理装置。
2. 前記推定原因は、前記撮像手段から見て前記特徴部を遮ることが想定される着用物を運転者が着用していることである、請求項１に記載の顔画像処理装置。
3. 前記特徴部毎に検出できない推定原因情報をそれぞれ予め記憶した記憶手段を、さらに備え、
   前記報知手段は、前記特徴部検出手段が何れかの前記特徴部を検出できなかった場合、当該特徴部に対応して前記記憶手段に記憶された前記推定原因情報を、前記推定原因として運転者へ報知する、請求項１または２に記載の顔画像処理装置。
4. 前記特徴部毎に検出できない推定原因情報および当該推定原因を解消する際の注意事項情報をそれぞれ予め記憶した記憶手段を、さらに備え、
   前記報知手段は、前記特徴部検出手段が何れかの前記特徴部を検出できなかった場合、当該特徴部に対応して前記記憶手段に記憶された前記推定原因情報および前記注意事項情報を、それぞれ前記推定原因および前記注意事項として運転者へ報知する、請求項１または２に記載の顔画像処理装置。
5. 前記撮像画像取得手段は、前記撮像手段から予め定められた周期毎に前記撮像画像を取得し、
   前記特徴部検出手段は、前記撮像画像取得手段が前記撮像画像を取得する毎に当該撮像画像に撮像されている前記特徴部を検出し、
   前記報知手段は、前記特徴部検出手段が同じ前記特徴部を第１の時間以上継続して検出できなかった場合、当該特徴部を運転者へ報知する、請求項１〜４のいずれかに記載の顔画像処理装置。
6. 前記撮像画像取得手段は、前記撮像手段から予め定められた周期毎に前記撮像画像を取得し、
   前記特徴部検出手段は、前記撮像画像取得手段が前記撮像画像を取得する毎に当該撮像画像に撮像されている前記特徴部を検出し、
   前記報知手段は、前記特徴部を運転者へ報知した後、前記特徴部検出手段が当該特徴部を第２の時間以上さらに継続して検出できなかった場合、運転者へ当該特徴部を報知することを停止する、請求項１〜４のいずれかに記載の顔画像処理装置。
7. 前記報知手段は、前記特徴部を運転者へ報知することを停止した後、前記顔画像処理装置が正常に作動していないことを示す異常情報を運転者へ報知する、請求項６に記載の顔画像処理装置。
8. 前記撮像画像取得手段は、前記撮像手段から予め定められた周期毎に前記撮像画像を取得し、
   前記特徴部検出手段は、前記撮像画像取得手段が前記撮像画像を取得する毎に当該撮像画像に撮像されている前記特徴部を検出し、
   前記報知手段は、前記特徴部を運転者へ報知した後、前記特徴部検出手段が当該特徴部の検出が可能となった場合、運転者へ当該特徴部を報知することを停止する、請求項１〜４のいずれかに記載の顔画像処理装置。

Images