JP3685403B2 - 顔画像処理装置 - Google Patents
顔画像処理装置 Download PDFInfo
- Publication number
- JP3685403B2 JP3685403B2 JP2002237854A JP2002237854A JP3685403B2 JP 3685403 B2 JP3685403 B2 JP 3685403B2 JP 2002237854 A JP2002237854 A JP 2002237854A JP 2002237854 A JP2002237854 A JP 2002237854A JP 3685403 B2 JP3685403 B2 JP 3685403B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- length
- pixel
- image
- level extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は顔画像処理装置に関し、特に撮影された人物の顔画像より目を抽出するための顔画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、車両運転者の脇見、居眠り運転等の運転状態を検出するため、運転者の顔を車両室内に設けられたカメラで撮影し、得られた顔画像を処理して顔の特徴点である目を抽出する顔画像の処理装置が提案されている。
【０００３】
図３４乃至図３６は特開平6-32154号公報に開示された従来の顔画像処理装置を示す図であって、図３４は従来の顔画像処理装置の構成図であり、図３５は従来の顔画像処理装置における運転者の状態を検出するためのフローチャート、図３６は従来装置における顔画像とその２値画像である。
【０００４】
以下、図３４乃至図３６を用いてかかる従来例について説明する。
【０００５】
図３４において、Ａは顔画像撮像部を示しており、この顔画像撮像部Ａは、カメラ１０１と、撮像対象を照射するための光源１０２と、その光源１０２を駆動する光源駆動回路１０３とからなる。カメラ１０１は、CCD等よりなる２次元撮像素子１０１ａと、映像信号処理回路１０１ｂと、撮像レンズ１０１ｃと、その撮像レンズ１０１ｃの前面光軸上に配置された可視光カットフィルタ１０１とを有する。光源駆動回路１０３は映像信号処理回路１０１ｂの出力側に接続され、その明暗出力が入力される。光源１０２は近赤外光源で、高輝度の近赤外LEDを多数個並べた光源やハロゲンランプやキセノンランプの前に可視光カットフィルタが設けられている。光源駆動回路１０３及び近赤外光源１０２は一体化されてカメラ部１とは別に配置されている。
【０００６】
Ｂは顔画像処理部を示し、この顔画像処理部Ｂは、映像信号処理回路１０１ｂの出力側に入力されてその映像出力が入力されるA/D変換器１００と、そのA/D変換器の出力側に接続された画像メモリ１１０と、映像信号処理回路１０１ｂのCCD撮像タイミング信号が入力される入力インタフェース（I/F）１２０と、中央演算素子（CPU）１３０と、リードオンリメモリ（ROM）１４０と、ランダムアクセスメモリ（RAM）１５０と、出力インタフェース（I/F）１６０とを有する。A/D変換器１００、画像メモリ１１０、入力インタフェース１２０、ROM１４０、RAM１５０、出力インタフェース１６０はCPU１３０とバス１１０３０で接続されている。CPU１３０は、ROM１４０に内蔵された制御プログラムを実行して、後述する２値化手段、眼球存在領域設定手段、眼球検出手段、瞬目検出手段、居眠り判定手段等の機能を果たすものである。ｐは撮像対象の運転者を示している。
【０００７】
次に上記従来例の動作について説明する。
カメラ１０１のCCD１０１ａは日中は太陽光の可視光カットフィルタ１０１を通過する太陽光の近赤外成分で運転者ｐの顔画像を撮像し、映像信号処理回路１０１ｂで映像信号に変換する。映像信号処理回路１０１ｂは画像輝度を積分して平均画像輝度を求め、運転者ｐの周囲が暗くなって平均画像輝度が所定値以下に低下した場合に、暗状態出力を光源駆動回路１０３に送出して近赤外光源１０２を点灯させて運転者の顔面周辺を照明することにより、カメラ１０１により同様に運転者ｐの顔画像を撮像する。
【０００８】
カメラ部１で撮像された運転者ｐの顔画像の映像信号は、図３５において、先ず、ステップＳＴ１００でA/D変換器１００によりA/D変換されてデジタル階調画像に変換され、ステップ１１０で画像メモリ１１０に記憶される。
【０００９】
次に、ステップＳＴ１２０で２値化手段は画像メモリ１１０に記憶した画像データを読み出して適当な２値化閾値で２値化して２値画像に変換し、ステップＳＴ１３０で眼球存在領域設定手段は顔の左右横方向に白色画素を検索して連続白色画素領域の端部より顔の横幅輪郭線を特定し、特定された顔の横幅輪郭線より眼球存在領域の座標を設定し、ステップＳＴ１４０で眼球検出手段は前記眼球存在領域内で黒色画素が連続した黒色画素領域を検索し、検索した黒色画素領域の位置関係や縦方向の黒色画素数に基づき眼球領域を検出する。
【００１０】
最後に、ステップＳＴ１５０で瞬目検出手段は検出された眼球領域内での縦方向黒色画素数に基づき目の開閉を検出し、ステップＳＴ１６０で居眠り判定手段は検出した目の開閉状態に基づき居眠りを判定し、居眠り状態と判定された場合に出力インタフェース１６０より外部に警報信号を送出して運転者ｐに警報する。
【００１１】
これら一連の動作は入力インタフェース１２０より入力されたCCD撮像タイミング信号にあわせて、ROM１４０に記憶された命令によりCPU１３０で制御され、RAM１５０は制御、演算中の一時的なデータの記憶に用いられる。
【００１２】
一方、図示しないが、論文「視線検出のための瞳孔撮影光学系の設計法」（電子情報通信学会誌D-II Vol.J74D-II No.6）で示されるように、カメラ１０１の撮像軸に同軸な放射軸を持つ近赤外光源をカメラ１０１に近接して配置して、この近赤外光源により照明しつつ顔を撮像することにより、弱い照明でも網膜反射によって人物の瞳孔が顕著に明るく撮影でき、２値化後の白色画素を簡単な画像処理で検索して目の位置を検出することができる。
【００１３】
【発明が解決しようとする課題】
しかしながら、かかる従来装置においては、日中に太陽光により顔を撮影する場合には、太陽光による外乱、即ち太陽の高度や向き、木漏れ日下走行時等の周囲環境等によっては顔に陰影が生じ、２値化がうまくいかず目抽出が困難になるという問題点があった。
【００１４】
例えば、図３６は太陽光が運転席の斜め上方から当たっており、顔の上半分が車体、あるいはサンバイザの陰になっているような状態の運転者顔画像４１０３を従来の方法で２値化した例を示しており、かかる状態では顔の上下で画素レベルが大きく異なるため、明るい部分の影響を受けて２値化閾値が上昇し、かかる２値化閾値での２値化後の２値画像４１０２では鼻孔、口裂は抽出されるが目、髪、眉を含む顔の上半分全体は一つの黒色領域となってしまい目領域を分離して抽出することができない。
【００１５】
また、目領域を分離できた場合でも、顔輪郭や個人により大きく異なる髪の領域が存在する顔画像から目領域を特定しなければならず、画像処理アルゴリズムが複雑で時間がかかるという問題点があった。
【００１６】
また、夜間等の暗状態では光量の大きな近赤外光源１０２を点灯して運転者ｐの顔面周辺を照明して顔を撮像しなければならないため、光源が大型となり装置が大型且つ高価になるとともに、装置の消費電力が大きいという問題点があった。
【００１７】
また、上述の開示論文のように、カメラに近接して弱い近赤外光源を設けて瞳孔を撮像するものにおいては、日中は太陽光の近赤外成分により顔全体が映ってしまうため瞳孔を分離して撮影することができず、目抽出が困難になるという問題点があった。
【００１８】
この発明は上記問題点を解決するために成されたものであり、車載条件下など周囲の明るさや周囲環境による光外乱に左右されることなく、人物の目領域を簡単な画像処理アルゴリズムを用いて短時間で検出できる、小型且つ安価で低消費電力の顔画像処理装置を得ることを目的としている。
【００１９】
【課題を解決するための手段】
この発明に係る顔画像処理装置は、人物の顔面を含む所定領域を撮像する２次元撮像手段と、前記２次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸（Ｘ軸）方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、前記２次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、前記レベル抽出フィルタは、所定の最大フィルタ長及びその最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長となるように画素数を規則的に間引きし、間引いた後の画素の画素レベルをトーナメント形式で比較し、そのトーナメント最終階層より比較値を出力するフィルタからなり、前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する画素長となるように画素間引き数を選択するものであることを特徴とする。
また、人物の顔面を含む所定領域を撮像する２次元撮像手段と、前記２次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸（Ｘ軸）方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、前記２次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、前記レベル抽出フィルタは、所定の最大フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するとともに、前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長に対応した各々のトーナメント階層より比較値を出力するフィルタからなり、前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する前記レベル抽出フィルタのトーナメント階層よりの出力を選択するようにしたことを特徴とする。
さらに、人物の顔面を含む所定領域を撮像する２次元撮像手段と、前記２次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸（Ｘ軸）方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、前記２次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、前記レベル抽出フィルタは、所定の最大フィルタ長及び前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するフィルタからなり、前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する画素長に対応した各々のトーナメント階層以下のトーナメント階層の出力を無視して、トーナメントに参加する画素数を前記設定フィルタ長に相当する画素長となるようフィルタ端部より制限するようにしたことを特徴とする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面により説明する。
【００３１】
実施の形態１．
図１乃至図７はこの発明の顔画像処理装置の一実施の形態を示すものであり、車両運転者の居眠り運転等の運転状態の検出に応用した顔画像処理装置の実施の形態を示している。図１はこの実施の形態による顔画像処理装置を含む運転者の状態検出装置の概略構成図、図２はこの顔画像処理装置を用いた運転者状態検出のフローチャート、図３は画像処理回路の回路ブロック図、図４は黒レベル抽出フィルタの作用説明図、図５は黒レベル抽出フィルタ処理した２値顔画像、図６は夜間撮影時の入力顔画像と白レベル抽出フィルタ処理した２値顔画像、図７は最大値（MAX）フィルタの回路構成図である。
【００３２】
以下、この実施の形態による顔画像処理装置の構成について説明する。
図１において、ａは撮像部、ｂは画像処理部、ｐは撮像対象としての運転者を示している。撮像部ａは、運転者ｐの顔面を含む所定領域を撮像するカメラ１と、夜間等運転者ｐの周囲が暗状態の場合に運転者ｐの顔面を含む所定領域を照明する照明手段としての近赤外照明２と、後述する中央演算素子（CPU）からの出力を受け近赤外照明２を点灯あるいは消灯する照明制御手段３と、運転者ｐの撮像領域近傍の明るさを検出する明暗検出手段としての照度センサとから構成される。カメラ１は、Ｘ軸方向（水平走査軸方向）７６８×Ｙ軸方向（垂直走査軸方向）４９３の計３８万画素を有する２次元撮像手段としてのCCD１ａと、映像信号処理回路１ｂと、撮像レンズ１ｃと、その撮像レンズ１ｃの前面光軸上に配置された可視光カットフィルタ１ｄとを有する。カメラ１はダッシュボード上あるいはインスツルメントパネル部等に配置して、前方より運転者ｐの顔を顔縦方向がＸ軸方向となる向きで撮影する。撮影角度は顔の正面やや斜め下からが目領域抽出のために最も有利である。近赤外照明２は、照明の放射軸がカメラ１の撮像軸に略同軸状に配置され、且つカメラ１に近接して配置されている。近赤外照明２は、光出力が数ｍＷ以下の小型の近赤外LEDをカメラ１に前述のごとく近接して数個設けて運転者ｐを照明する。あるいは、図示しないが照明手段として、カメラ１の撮像軸上にハーフミラーを設けて光軸を２分し、一方の光軸上に近赤外LEDを配置してハーフミラーを介して撮像軸と略同軸状に運転者ｐを照明するような同軸照射照明手段を用いることもできる。照度センサ４は車両のダッシュボードや後部窓下部等車両周囲の明るさを判定できる場所に設置される。
【００３３】
画像処理部ｂは、映像信号処理回路１ｂや照度センサ４の出力側に接続され、映像信号処理回路１ｂのCCD撮像タイミング信号や照度センサ４の出力が入力される入力インタフェース（I/F）１０と、映像信号処理回路１ｂの出力側に接続され、その映像出力が入力されるA/D変換器１１と、そのA/D変換器１１の出力に接続されたゲートアレイやディジタルシグナルプロセッサ（DSP）等からなる画像処理回路２０と、その画像処理回路２０に接続された画像メモリ１２と、照明制御手段３に制御信号を送出する出力インタフェース（I/F）１３と、中央演算素子（CPU）１４と、各種のプログラムあるいは数値が記憶されているリードオンリメモリ（ROM）１５と、演算中の値を一時的に記憶保持するランダムアクセスメモリ（RAM）１６と、後段の種々の機器に接続される出力インタフェース（I/F）１７とから構成される。入力インタフェース（I/F）１０、A/D変換器１１、画像処理回路２０、画像メモリ１２、出力インタフェース（I/F）１３、ROM１５、RAM１６、出力インタフェース（I/F）１７はCPU１４とバス１８により接続されている。
【００３４】
尚、カメラ１及びA/D変換器１１は本発明の画像入力手段を構成する。また、CPU１４はROM１５に記憶された制御プログラムを実行して、後述する明暗検出手段、目領域検出手段、瞬目検出手段、居眠り判定手段等の機能を果たすものである。
【００３５】
図２は運転者状態検出のフローチャートであり、本図を基に実施の形態１の動作につき説明する。
先ず、ステップＳＴ１０で画像入力手段はカメラ１で撮影された顔画像（例えば顔画像４７）の映像信号を顔画像処理装置ｂのA/D変換器１１によりA/D変換しディジタル階調画像に変換して、画像処理回路２０に出力する。かかる顔画像の撮像時の初期状態においては近赤外照明２は消灯されている。
【００３６】
次に、ステップＳＴ１１においてノイズ除去手段としての画像処理回路２０によりＸ軸方向の隣接した３画素の画素レベルを平均化し、高空間周波数のノイズを除去して、画像のざらつきを少なくした後、ステップＳＴ１２で明暗検出手段は入力インタフェース１０より照度センサ４の出力を読みとり、ステップＳＴ１３で運転者の周囲環境が夜間、トンネル内等暗い状態即ち前記出力が暗状態であるか否かを判定する。ここで、暗状態でなければ、ステップＳＴ１４で後述する黒レベル抽出フィルタ２３（図３）は画像中よりＸ軸方向の所定画素長以下の領域の黒レベルを抽出するとともに、ステップＳＴ１５で近赤外照明２が点灯されていれば、次のサイクルの撮像に備えて出力インタフェース１３より照明制御手段３に消灯信号を送出して近赤外照明２を消灯し、暗状態であれば、ステップＳＴ１６で同じく後述する白レベル抽出フィルタ２４（図３）は画像中よりＸ軸方向の所定画素長以下の領域の白レベルを抽出するとともに、ステップＳＴ１７で近赤外照明２が消灯されていれば、次のサイクルの撮像に備えて同様に照明制御手段３に点灯信号を送出して近赤外照明２を点灯する。
【００３７】
続いて、ステップＳＴ１８において２値化手段は黒レベル抽出フィルタ２３あるいは白レベル抽出フィルタ２４通過後の画像を浮動２値化して２値画像に変換する。上記の黒レベル抽出フィルタ２３、白レベル抽出フィルタ２４及び２値化手段は、後述のごとく画像処理回路２０内にハードウェアにより構成されている。
【００３８】
次に、ステップＳＴ１９において、画像処理回路２０から出力された２値画像は２値形式のフレームメモリとして画像メモリ１２に記憶される。ステップＳＴ２０において、目領域検出手段はかかる画像メモリ１２に記憶された画像データを処理して画像中より目領域を検出し、ステップＳＴ２１において、瞬目検出手段は目領域検出手段により検出された目領域の画像データにより目の開閉を判定する。ステップＳＴ２２において、居眠り判定手段は、瞬目検出手段により検出された目の開閉パターンから居眠り状態の有無を判定し、居眠り状態と判定した場合、出力インタフェース１７に信号を送り出し、例えば出力インタフェース１７に接続した図示しない警報手段で運転者に警報を発するようにする。
【００３９】
これら一連の動作はCCD撮像タイミング信号にあわせて、ROM１５に記憶された命令によりCPU１４で制御され、RAM１６は制御、演算中の一時的なデータの記憶、保持に用いられる。
【００４０】
次に、レベル抽出フィルタにつき図３以降を用いてさらに詳細に説明する。
図３は画像処理回路２０のブロック図であり、２１は３画素平均化フィルタで、前述のごとく高周波ノイズ成分を除去して入力画像のざらつきをなくし、２２はレベル抽出フィルタの切り換え手段であり、明暗検出手段の出力でスイッチＳＷ１によりフィルタを黒レベル抽出フィルタ２３と白レベル抽出フィルタ２４のいずれかに切り換える。
【００４１】
黒レベル抽出フィルタ２３は最大値（MAX）フィルタ２０１ａ、最小値(MIN）フィルタ２０２ａ、引き算器２０３ａよりなる。先ず、最大値フィルタ２０１ａは画像走査軸に沿ってある着目画素の前後のフィルタ長である所定画素長の各画素の画素レベルの最大値を前記着目画素の値とし、次に最小値フィルタ２０２ａは最大値フィルタ２０１ａの出力画像より、ある着目画素の左右の前記フィルタ長の各画素の画素レベルの最小値を前記着目画素の値とし、最後に引き算器２０３ａで最小値フィルタ２０２ａの出力画像より入力画像を引き算することにより、入力画像中より前記所定画素長以下の黒レベルのみを抽出する。
【００４２】
他方、白レベル抽出フィルタ２４は最小値フィルタ２０２ｂ、最大値フィルタ２０１ｂ、引き算器２０３ｂよりなる。先ず、最小値フィルタ２０２ｂで同様にフィルタ長である所定画素長の各画素の画素レベルの最小値をとり、次に最大値フィルタ２０１ｂで最小値フィルタ２０２ｂの出力画像より前記フィルタ長の各画素の画素レベルの最大値をとり、最後に入力画像より最大値フィルタ２０１ｂの出力画像を引き算するようにして、入力画像中より前記所定画素長以下の白レベルのみを抽出する。
【００４３】
かかる黒、白レベル抽出フィルタ２３、２４の出力画像は、２値化手段２６と２値化閾値演算手段２５とに入力され、画像レベルより２値化閾値演算手段２５により２値化閾値SHLが算出され、かかる２値化閾値SHLにより２値化手段２６で２値化されて２値画像に変換される。
【００４４】
ここで、黒レベルの抽出フィルタ２３のフィルタ長は、画像上での平均的な目の上下幅に余裕度を掛けた画素長とし、本実施の形態では３０画素長の値を用いている。また、白レベル抽出フィルタ２４のフィルタ長は、画像上での平均的な瞳孔直径に同様に余裕度を掛けた画素長とし、本実施の形態では２０画素長の値を用いている。
【００４５】
図４は、従来例では２値化に失敗した日中の顔画像４７の同一部分（線AOA'上）の画素レベルを、本実施の形態において黒レベル抽出フィルタ２３を通過後、２値化するまでの各段階での変化を示している。３画素平均化フィルタ２１を通過した画像ｆ１の画素レベルは、最大値フィルタ２０１ａ、最小値フィルタ２０２ａを通過後の画像ｆ２では、フィルタ長以下の画素レベルがフィルタ長で切ったレベルに固定され、さらに画像ｆ２から引き算器２０３ａで画像ｆ１の画素レベルを引くと、画像ｆ３に示すように前記フィルタ長以下の領域の黒レベルのみが抽出される。従って、２値化閾値演算手段２５により演算された閾値で２値化手段２６により画像ｆ３を２値化して得られた２値画像ｆ４は、図５の２値画像４０にも示すように、入力顔画像中より眉、目、鼻孔、口裂のみが抽出された２値画像となる。
【００４６】
従って、太陽光による外乱即ち、太陽の高度や向き、木漏れ日下走行時等の周囲環境等によっては顔に陰影が生じるような場合でも、画像４０のように眉、目、鼻孔、口裂という顔の特徴領域がはっきり抽出されるという利点がある。また、前記目の上下幅により設定したフィルタ長に対して顔縦方向に広い黒領域は抽出されないため、髪形等個人差の大きな頭髪部をはじめから除去でき、顔の個人差の影響を受けにくいという利点もある。
また、前述のごとく個人差の大きな頭髪部を除いて顔の特徴領域がはっきり抽出されるため、比較的簡単なアルゴリズムで顔画像より目を短時間で検出できる。
さらに、画像状態に応じてレベル抽出フィルタを切り換えて目を精度良く検出する。
【００４７】
図６は運転者ｐの周囲が暗い状態で近赤外照明２を点灯させて運転者ｐを撮像した顔画像であり、近赤外照明２の出力が小さいため顔は撮像されないが、瞳孔は網膜反射により図のごとく明るく撮像される。このような場合には、図２のステップＳＴ１２において明暗検出手段の出力によりフィルタ切り換え手段でスイッチＳＷ１が白レベル抽出フィルタ２４の側に切り換えられ、前記設定フィルタ長より上述のように白レベル抽出処理が行われて２値画像４２に示すように瞳孔のみが抽出され、かかる瞳孔がステップＳＴ２０で目領域検出手段により目として検出される。
【００４８】
従って、夜間等の暗状態でも光量の小さな近赤外照明２のみで運転者ｐの顔面周辺を照明して顔を撮像すればよいため、光源が小型で且つ安価になるとともに、消費電力が小さいという利点がある。
【００４９】
図７は最大値フィルタ２０１の回路構成図である。最大値フィルタ２０１は、１画素ずつ画素を遅延する画素遅延回路３０（図では遅延回路３０の一部を略している）と、遅延後の画素と遅延前の画素のレベルを比較して大きいレベルを出力する比較回路３１とからなっている。入力端子DATA INからの画像入力信号を画素遅延回路３０により制御端子CLOCKからの制御信号のタイミングで１画素遅延しつつ、比較回路３１により隣接する画素レベルを順次トーナメント形式で比較していき、最終的にフィルタ出力FLT OUTから、図では遅延回路３１の両端の節の数である２０画素長の最大値が出力される。最小値フィルタ２０２も最大値フィルタ２０１と同様の回路で構成されているが、比較回路３１は遅延後の画素と遅延前の画素のレベルを比較して小さいレベルを出力するものであり、最終的にフィルタ出力FLT OUTから、同じく２０画素長の最小値が出力される。即ち、最大値フィルタ２０１及び最小値フィルタ２０２は、上記のように簡単な回路構成のハードウエアであり、また、引き算器２０３及び２値化手段２６もハードウエアで構成され画像の走査と同一制御タイミングで処理されるため、目の検出のための顔の特徴領域抽出が安価にできるとともに、レベル抽出フィルタ処理、２値化処理がリアルタイムで高速に実行できる。
【００５０】
実施の形態２．
上記実施の形態１においては、レベル抽出フィルタの切り換えに用いる明暗検出手段として照度センサ４を用いた場合を示したが、照度センサ４のような運転者ｐの周囲の明るさを検知する検知手段を用いずに、撮像した顔画像自体の明るさより明暗判定を行ってもよい。
【００５１】
例えば、顔画像の映像信号をA/D変換したディジタル階調画像の画像レベルを全画素あるいは所定画素範囲にわたって積分して画像平均輝度を求め、かかる画像平均輝度で明暗判定をしてもよいし、図示しないが、カメラ１の映像信号処理回路１ｂに一般的に具備されている、画像輝度を基に映像信号の利得を制御する自動利得制御（AGC）回路の制御信号やCCD１ａの画像蓄積時間を制御する電子シャッター回路の出力を、A/D変換器１１や入力インタフェース１０に入力して画像処理部ｂに取り込み、これらの信号より、例えばシャッター速度が1/60秒即ち開放状態で且つAGC制御信号が制御範囲を逸脱して高利得側に張り付いている場合を暗状態とし、それ以外の状態を明状態とする明暗判定を行ってもよい。
かかる場合においても実施の形態１と同等の効果を奏する。
【００５２】
実施の形態３．
上記実施の形態１においては黒レベル抽出フィルタ２３と白レベル抽出フィルタ２４を各々別回路で構成した例を示したが、最大値フィルタ２０１及び最小値フィルタ２０２を各１回路配置し、かかる回路の接続順序を切り換えて上記２種類のレベル抽出フィルタを構成することもできる。
【００５３】
図８は本発明の実施の形態３の画像処理回路の回路ブロック図であり、フィルタ切り換え手段２２によってスイッチＳＷ１、ＳＷ２を切り換えると共に引き算器２０３の引き算順序を切り換えることにより、黒レベル抽出フィルタ２３と白レベル抽出フィルタ２４とを構成する。図８のスイッチＳＷ１、ＳＷ２の位置は黒レベル抽出フィルタ２３を構成した場合を示しており、図示するごとく３画素平均化フィルタ２１の出力画像即ちレベル抽出フィルタへの入力画像が、最大値フィルタ２０１、最小値フィルタ２０２の順に処理され、引き算器２０３で前記入力画像より最小値フィルタ２０２の出力画像が引き算されることにより黒レベル抽出フィルタとして機能する。フィルタ切り換え手段２２によりスイッチＳＷ１、ＳＷ２を反転させ、引き算順序を上記と切り換えれば、入力画像は最小値フィルタ２０２、最大値フィルタ２０１の順に処理され、引き算器２０３で最大値フィルタ２０１の出力画像より前記入力画像が引き算されて白レベル抽出フィルタ２４として機能する。
【００５４】
かかる実施の形態によれば、最大値フィルタ２０１、最小値フィルタ２０２、引き算器２０３を各々１ずつ省略できるため、回路規模が簡略化され装置をより安価に製造できるという利点がある。
【００５５】
実施の形態４．
上記実施の形態３では、最大値フィルタ２０１及び最小値フィルタ２０２の接続順序を切り換えることにより２種類のレベル抽出フィルタを構成した場合を示したが、最大値フィルタ２０１、最小値フィルタ２０２の回路構成が同等であることに着目して、１種類のフィルタ回路で前記２種類のレベル抽出フィルタを構成ですることもきる。
【００５６】
図９は本発明の実施の形態４の画像処理回路の回路ブロック図、図１０は最大最小値（MAX／MIN）フィルタ２０４の回路構成図である。
図１０においては、実施の形態１の図７と異なり、最大最小値フィルタ２０４の各比較回路３２には、遅延回路３０の入出力画素レベルの大小のいずれをとるかを選択する制御信号MAX／MINが入力されている。図１０において、制御信号MAX／MINがMAX側にある場合には、各比較回路３２は遅延回路３０の入出力画素レベルの大きな方を選択するため、トーナメント比較階層の最終段出力であるフィルタ出力FLT OUTからはフィルタ長の画素レベルの最大値が出力される。逆に、制御信号MAX／MINがMIN側にある場合には、各比較回路３２は遅延回路３０の入出力画素レベルの小さな方を選択するため、出力FLT OUTからはフィルタ長の画素レベルの最小値が出力される。即ち最大最小値フィルタ２０４は制御信号MAX／MINの切り換えにより最大値フィルタ、最小値フィルタの双方の機能を持つ。
【００５７】
図９に示すように、この実施の形態４の画像処理回路２０ａでは、かかる最大最小値フィルタ２０４を２つ直列に接続し、フィルタ切り換え手段２２で制御信号MAX／MIN及び引き算器２０３の引き算順序を切り換えて黒レベル抽出フィルタ２３と白レベル抽出フィルタ２４とを構成する。即ち、黒レベル抽出フィルタ２３として機能させたい場合は、１段目の最大最小値フィルタ２０４をMAX側に、２段目の最大最小値フィルタ２０４をMIN側にし、白レベル抽出フィルタ２４として機能させたい場合は各段の最大最小値フィルタ２０４を各々逆側に切り換える。このとき引き算器２０３の引き算順序も実施の形態２と同様に切り換える。
【００５８】
即ち、かかる実施の形態においても実施の形態３と同様の効果が得られるとともに、フィルタ切り換え用のスイッチＳＷ１、ＳＷ２が省略でき、また同一の回路を使用するためより回路を簡略化できる。
【００５９】
実施の形態５．
図１１乃至図１６は本発明の実施の形態５を表しており、この実施の形態５は２種類のレベル抽出フィルタのフィルタ切り換えを運転者ｐの顔画像からの目検出結果を基に行うようにしたものである。図１１はこの実施の形態５の顔画像処理装置を用いた運転者状態検出のフローチャート、図１２はレベル抽出フィルタを黒レベル抽出あるいは白レベル抽出に切り換えるフィルタ型切換判定手段のフローチャート、図１３は目領域検出手段のフローチャートであり、図１４乃至図１６は目領域検出の画像での説明図で、図１４は黒レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸ヒストグラム、図１５は目の候補領域のＸ軸ヒストグラム、図１６は白レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸ヒストグラムを各々示している。
【００６０】
以下、本実施の形態について上記各図を用いて説明する。
図１１において、先ずステップＳＴ３０で装置起動時の初期設定状態であるか否かを判定し、初期設定状態であれば、ステップＳＴ３１でレベル抽出フィルタを先ず黒レベル抽出フィルタ２３とし、ステップＳＴ３２で近赤外照明２を消灯しておく。初期設定状態でなければ、ステップＳＴ３３で後述するフィルタ型切換判定手段のルーチンにおいて設定されるフィルタ切り換えフラグ（FLAG）が立っている（ON）か否（OFF）かを判定し、フィルタ切り換えFLAGがONであれば、ステップＳＴ３４でレベル抽出フィルタをもう一方に切り換えるとともに、ステップＳＴ３５で近赤外照明２の点灯、消灯を切り換える。フィルタ切り換えFLAGがOFFであれば、上記ステップＳＴ３４、ステップＳＴ３５を省略する。
【００６１】
次に、図２と同様のステップＳＴ１０からステップＳＴ１１まで及びステップＳＴ１８からステップＳＴ１９までの処理を行った後、ステップＳＴ２０において、後述する目領域検出手段がレベル抽出フィルタ処理後の２値顔画像より目を検出し、ステップＳＴ３６でフィルタ型切換判定手段が目の検出結果に基づきレベル抽出フィルタを切り換えるべきか否かを判定してフィルタ切り換えFLAGを出力する。最後に、図２と同様にステップＳＴ２１からステップＳＴ２２までを実行する。
【００６２】
フィルタ型切換判定手段の処理ルーチンは以下の通りである。
図１２において、先ず、ステップＳＴ３６０で目領域検出手段により判定された目検出FLAGの状態を調べ、目検出FLAGがONであればステップＳＴ３６１でFLAG状態数NEFを１インクリメントし、OFFであればステップＳＴ３６２でNEFを１デクリメントする。即ち、FLAG状態数NEFは２値顔画像における所定の画像数Nでの目の検出成績を表しており、NEF＝Nが検出確率１００％、NEF＝０が検出確率５０％を示す。
【００６３】
次に、ステップＳＴ３６３で所定期間経過したか否かを画像数で判定し、所定画像数N以上となった場合には、ステップＳＴ３６４でFLAG状態数NEFが最低許容目検出確率に相当するMINNEF以下であるか否かを判定し、MINNEF以下であった場合には、目の検出上現状のレベル抽出フィルタ処理が適合していないとして、ステップＳＴ３６５でフィルタ切り換えFLAGをONにする。NEFがMINNEFを越えていた場合には、現状のレベル抽出フィルタ処理が適合しているとして、ステップＳＴ３６６でフィルタ切り換えFLAGをONにする。最後に、ステップＳＴ３６７でFLAG状態数NEFを０にリセットする。ステップＳＴ３６３において所定画像数Nを経過していない場合には、ステップＳＴ３６４からステップＳＴ３６７までを省略してメインルーチンへ戻る。
【００６４】
２値顔画像よりの目検出は以下のように行われる。
図１３において、先ず、画像メモリ１３に記憶された２値画像データを読み出し、ステップＳＴ２００で各画像軸Ｘ、Ｙ方向に沿った画素を画像軸Ｙ、Ｘの各位置について積算したＸ軸ヒストグラムSUMX、Ｙ軸ヒストグラムSUMYをそれぞれ求め、ステップＳＴ２０１で、
［式１］ XFC＝ΣｉＸｉSUMX（Ｘｉ）／ΣｉSUMX（Ｘｉ）
YFC＝ΣjＹjSUMX（Ｙj）／ΣjSUMX（Ｙj）
として顔重心FCの位置座標（XFC，YFC）を算出する。ここでΣｉSUMX（Ｘｉ）＝ΣjSUMX（Ｙj）であり、ΣjSUMX（Ｙj）は実際には計算を要しない。図１４に黒レベル抽出フィルタ２３で処理した２値画像４０、図１６に白レベル抽出フィルタ２３で処理した２値画像４２の各々SUMX、SUMY、顔重心FC４０１を示している。
【００６５】
次に、ステップＳＴ２０２でレベル抽出フィルタ処理が明状態処理即ち黒レベル抽出フィルタ処理であるか否かを調べ、明状態処理の場合には、ステップＳＴ２０３以降を実行する。
【００６６】
図１４に示すように、黒レベル抽出フィルタ２３で処理された２値画像４０においては、頭髪を除いた眉、目、鼻孔、口裂という顔の特徴領域が抽出されるため、顔重心FC４０１の近くに略左右対称に目領域が存在する。そこで、ステップＳＴ２０３で顔重心位置座標（XFC，YFC）を基に一組の矩形の候補存在領域４０２を設定して目の候補の検索領域を限定し、ステップＳＴ２０４で候補存在領域４０２内のＹ軸ヒストグラムSUMYが所定の閾値SHL以上の領域EABを候補領域４０３として設定する。図では眉領域に相当するEAB1と目領域に相当するEAB2が設定される。
【００６７】
続いて、ステップＳＴ２０５で候補領域EAB４０３中に目領域が存在するか否かを判定する。目領域の判定方法は、図１５に示すように、候補存在領域４０２内の各候補領域EAB４０３のＸ軸ヒストグラムSUMXを求め、その最大値SUMXMAXと半値幅EAWを基に目領域を判定する。目領域は、図示のごとく、顔の他の特徴領域に比べ最大値SUMXMAXが大きく、半値幅EAWが小さいという特徴があり、かかる特徴に着目して目領域を判定している。他方の候補存在領域４０２内の各候補領域EAB４０３についても同様の判定が行われる。
【００６８】
最後に、ステップＳＴ２０５で目領域が存在すると判定した場合には、ステップＳＴ２０６で目検出FLAGをONにし、逆に目領域が存在しないと判定した場合には、ステップＳＴ２０７で目検出FLAGをOFFにして処理をメインルーチンに戻す。
【００６９】
他方、ステップＳＴ２０２でレベル抽出フィルタ処理が明状態処理でない場合、即ち白レベル抽出フィルタ処理の場合には、ステップＳＴ２０８以降を実行する。図１６に示すように、白レベル抽出フィルタ２４で処理された２値画像４２においては、殆ど瞳孔領域のみが抽出されており、やはり顔重心FC４０１の近くに略左右対称に瞳孔領域が存在する。そこで、ステップＳＴ２０８で前述と同様に顔重心FC４０１を基に一組の矩形の候補存在領域４０２を設定して瞳孔の候補の検索領域を限定し、ステップＳＴ２０９で同様に候補領域EAB４０３を設定し、ステップＳＴ２１０で候補領域EAB４０３中より瞳孔領域を判定する。瞳孔領域は、候補領域EAB４０３のＸ軸ヒストグラムSUMXの幅と、Ｙ軸ヒストグラムSUMYの幅と、その比及び一組の候補存在領域４０２内のＸ軸ヒストグラムSUMXのピーク位置YPR、YPL間の距離DOEより判定している。
【００７０】
最後に、ステップＳＴ２１０で瞳孔領域が存在すると判定した場合には、同様にステップＳＴ２０６で目検出FLAGをONにし、逆に瞳孔領域が存在しないと判定した場合には、同様にステップＳＴ２０７で目検出FLAGをOFFにして処理をメインルーチンに戻す。
【００７１】
かかる実施の形態においても、実施の形態１と同様の効果があるとともに、２種類のレベル抽出フィルタのフィルタ切り換えをその結果である顔画像よりの目検出結果でフィードバックして行うようにしたため、レベル抽出フィルタの選定が的確にでき、より確実に目が検出できるという利点がある。
【００７２】
実施の形態６．
実施の形態５では２種類のレベル抽出フィルタのフィルタ切り換えを顔画像よりの目検出結果を基に行うようにしたが、目検出の前段階でフィルタ切り換えの判定が可能である。
【００７３】
図１７及び図１８は本発明の実施の形態６を表しており、この実施の形態６はレベル抽出フィルタの出力顔画像中の抽出画素領域の割合によりレベル抽出フィルタの切り換えを行うようにしたものである。図１７は実施の形態６の顔画像処理を用いた運転者状態検出のフローチャート、図１８は図１７のフィルタ切換型判定手段のフローチャートである。
【００７４】
図１７において、図１１のステップＳＴ３０からステップＳＴ３５まで、ステップＳＴ１０からステップＳＴ１１まで及びステップＳＴ１８からステップＳＴ１９までの処理を行った後、ステップＳＴ４０で後述するフィルタ型切換判定手段が、レベル抽出フィルタの出力顔画像中の抽出画素領域の割合によりレベル抽出フィルタを切り換えるべきか否かを判定してフィルタ切り換えFLAGを出力する。
【００７５】
フィルタ型切換判定手段の処理ルーチンは以下のようである。
図１８において、先ず、ステップＳＴ４００で２値画像データを読み出し、２値画像のＸ軸ヒストグラムSUMX、Ｙ軸ヒストグラムSUMYを求め、ステップＳＴ４０１でＸ軸ヒストグラムSUMX、Ｙ軸ヒストグラムSUMYにおける極大ピークの内各々極大値が所定の閾値SHLX、SHLY（図示せず）を越える極大ピークの数NPX、NPYを求める。かかるピーク数NPX、NPYは後述のごとくレベル抽出フィルタ処理した２値画像の複雑さを示すものである。
【００７６】
次に、ステップＳＴ４０２でレベル抽出フィルタ処理が明状態処理か否かを調べ、明状態処理の場合はステップＳＴ４０３以降でピーク数NPX、NPYの数を調べる。日中の明るい状態で黒レベル抽出フィルタ２３処理された２値画像では、図１４に示すように、顔の各特徴領域に相当する黒画素領域が多数抽出され、ヒストグラムSUMX、SUMYの大きな極大ピークが４カ所以上存在する。しかしながら、周囲が暗くなると入力画像のコントラストが極めて悪化するため、全体に幅の広い黒領域となって、黒レベル抽出フィルタ２３の処理では、全く黒画素領域が抽出されないか、黒画素領域が抽出されても抽出画像のコントラストが極めて小さく２値化ができないため、抽出領域の数が少なくなる。従って、ヒストグラムSUMX、SUMYの大きな極大ピークは出現しないか、出現しても極めて数が少なくなる。
【００７７】
そこでステップＳＴ４０３において、先ずＸ軸ヒストグラムSUMXのピーク数NPXが所定値NPXB以下か否かを調べ、NPXB以下であれば、ステップＳＴ４０４でＹ軸ヒストグラムSUMYのピーク数NPYが所定値NPYB以下か否かを調べ、NPYB以下であれば、レベル抽出フィルタが画像状態に適合していないとしてステップＳＴ４０５でフィルタ切り換えFLAGをONにし、これ以外の場合には、ステップＳＴ４０６でフィルタ切り換えFLAGをOFFにして、メインルーチンに戻す。
【００７８】
他方、ステップＳＴ４０２でレベル抽出フィルタ処理が明状態処理でない場合には、ステップＳＴ４０７以降でピーク数NPX、NPYの数を調べる。夜間等の暗い状態で白レベル抽出フィルタ２４により処理された２値画像では、図１６に示すように、殆ど瞳孔領域の白画素領域のみが抽出され、ヒストグラムSUMX、SUMYの大きな極大ピークの数は極めて少ない。しかしながら、周囲が明るくなると太陽光により顔の造作が映る状態となり、瞳孔領域が相対的に暗く撮像され、白レベル抽出フィルタ２４の処理では額や頬の一部、鼻頭、白目領域等の白画素領域が抽出されるようになって、抽出領域の数が増え、SUMX、SUMYは多数のピークを持つ複雑なヒストグラムとなる。
【００７９】
そこでステップＳＴ４０７において、先ずＸ軸ヒストグラムSUMXのピーク数NPXが所定値NPXD以上か否かを調べ、NPXD以上であれば、ステップＳＴ４０８でＹ軸ヒストグラムSUMYのピーク数NPYが所定値NPYD以上か否かを調べ、NPYD以上であれば、レベル抽出フィルタがやはり画像状態に適合していないとしてステップＳＴ４０５でフィルタ切り換えFLAGをONにし、これ以外の場合は、ステップＳＴ４０６でフィルタ切り換えFLAGをOFFにして、メインルーチンに戻す。
【００８０】
次に、図１７のメインルーチン上のステップＳＴ４１でフィルタ切り換えFLAGがONか否かを調べ、ONであれば画像状態が前述のごとく目検出に適合していないため、ステップＳＴ２０の目領域検出手段を省略してステップＳＴ４２で目検出FLAGをOFFにして後処理に移る。フィルタ切り換えFLAGがOFFであれば、ステップＳＴ２０の目領域検出手段を実行後、後処理に移る。
【００８１】
かかる実施の形態においても、実施の形態５と同様の効果があるとともに、レベル抽出フィルタ処理が目の検出に適合していない場合には、目領域検出手段を省略して処理するようにするとともに、ハードウエア化による高速処理が容易なヒストグラム演算の結果でレベル抽出フィルタの切り換え判定を行うようにしたため、顔画像処理がより高速化されるという利点がある。
【００８２】
実施の形態７．
尚、上記実施の形態においては、Ｘ軸ヒストグラムSUMX、Ｙ軸ヒストグラムSUMYの各所定閾値SHLX、SHLY以上の極大ピークのピーク数NPX、NPYによりレベル抽出フィルタの切り換え判定をするようにしたが、前記極大ピークのピーク数NPX、NPYと各極大値PXi、PYiの双方で評価関数を作成し、かかる評価関数で切り換え判定をするようにしてもよい。図示しないが、例えば評価関数EFとして、k1、k2を所定の重み係数とした、
［式２］ EF＝k1＊（NPX＋NPY）＋k2＊Σi（Pxi＋Pyi）
を用いて、明状態処理時には、前記EFが所定値以下であればフィルタ切り換えFLAGをONにし、暗状態処理時には、前記EFが所定値以上であればフィルタ切り換えFLAGをONにする。
【００８３】
さらに、レベル抽出フィルタ処理後の２値画像において、画像の全画素数NTに対する画像中の２値レベルの和ΣNの比ΣN／NTの大小、即ち画像中における抽出領域の面積の割合SDにより、前記SDが明状態処理時には所定値以下、暗状態処理時には所定値以上であれば、フィルタ切り換えFLAGをONにするようにしてもよい。また、抽出領域の数をラベリング等他の画像処理手段を用いて算出して切り換え判定するようにしてもよい。
かかる実施の形態においても、実施の形態６と同様の効果を奏する。
【００８４】
実施の形態８．
図１９乃至図２３は本発明の実施の形態８を表しており、この実施の形態８は、レベル抽出フィルタのフィルタ長を運転者ｐとカメラ１との距離に応じて可変にすることにより目をより精度良く抽出する顔画像処理装置の例を示すものである。図１９は実施の形態８の顔画像処理を用いた運転者状態検出のフローチャート、図２０は図１９におけるフィルタ長設定手段のフローチャート、図２１は運転者ｐと撮像部ａ’との距離検出部の構成図、図２２は可変長フィルタを含む画像処理回路の回路ブロック図、図２３はフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【００８５】
以下、本実施の形態を上記各図を用いて説明する。
図１９において、最初に、ステップＳＴ５０でフィルタ長設定手段によりレベル抽出フィルタのフィルタ長を設定する。
【００８６】
画面中での顔画像の大きさは運転者ｐと撮像部ａ’との距離Ｌに反比例することから、レベル抽出フィルタ長が一定の場合には、距離Ｌが近い場合、目領域の画面での大きさがフィルタ長より大きくなって目領域が抽出されなくなる。
【００８７】
そこで図２０に示すように、フィルタ長設定手段は、先ずステップＳＴ５００で運転者ｐと撮像部ａ’との距離Ｌを検出し、ステップＳＴ５０１で黒レベル抽出フィルタ長BFL、白レベル抽出フィルタ長DFLを、予め記憶された平均的運転姿勢から求めた基準距離Ｌ０、その基準距離Ｌ０での平均的顔画像より求めた各レベル抽出フィルタの基準長BFL0、DFL0を基にして、各々
［式３］ BFL＝BFL0＊Ｌ０／Ｌ
DFL＝DFL0＊Ｌ０／Ｌ
により算出し、ステップＳＴ５０２で前記フィルタ長BFL、DFLに最も近いフィルタ長に設定されるよう、後述するマルチプレクサの制御コードであるフィルタナンバーBN、DNを選定するとともに、ステップＳＴ５０３でフィルタ長切り換えFLAGをONにしてメインルーチンに戻す。
【００８８】
運転者ｐと撮像部ａ’との距離Ｌは、図２１に示すように、撮像部ａ’に設けられた距離検出部５により検出される。距離検出部５は近赤外光源５１、バンドパスフィルタ５２、レンズ５３、一次元光位置検知素子（PSD）５４、距離演算回路５５からなっている。ここで、一次元光位置検知素子（PSD）５４は素子上への光の入射位置に応じた電気出力を生じる受光素子であり、バンドパスフィルタ５２は近赤外光源５１の波長に合わせた透過帯を持ち、近赤外光源５１とレンズ５３の光軸は平行で基準長DBだけ離れている。
【００８９】
かかる構成にて、近赤外光源５１の放射光を運転者ｐに当て、運転者ｐからの拡散反射光をバンドパスフィルタ５２を介してレンズ５３により一次元光位置検知素子（PSD）５４上に集光させる。距離Ｌは一次元光位置検知素子（PSD）５４上の集光位置DXより、三角測量の原理を用いて距離演算回路５５で、
［式４］ Ｌ＝ｆ＊DB／DX
として求めて、実施の形態１と同様の画像処理部ｂ（図１）に距離Ｌのデータを送出する。
【００９０】
図１９において、ステップＳＴ５０で上述のごとくレベル抽出フィルタのフィルタ長を設定し、図２と同様のステップＳＴ１０からステップＳＴ１２までを実行した後、ステップＳＴ５１で運転者の周囲環境が暗状態であるか否かを判定し、暗状態でなければ、ステップＳＴ５２でフィルタ長切り換えFLAGがONか否かを調べる。ONであれば、ステップＳＴ５３で黒レベル抽出フィルタ２３をフィルタ長設定手段で設定したフィルタ長BFL対応のフィルタナンバーBNに切り換え、ONでなければ、ステップＳＴ５３を省略して以前の設定フィルタ長のままとし、ステップＳＴ５４で黒レベル抽出フィルタ２３により画像中より前記フィルタ長BFL以下の領域の黒レベルを抽出し、ステップＳＴ５５で近赤外照明２を消灯する。
【００９１】
ステップＳＴ５１で暗状態と判定された場合は、同様にステップＳＴ５６でフィルタ長切り換えFLAGがONか否かを調べ、ONであれば、ステップＳＴ５７で白レベル抽出フィルタ２４をフィルタ長DFL対応のフィルタナンバーDNに切り換え、ONでなければ、ステップＳＴ５７を省略して以前の設定フィルタ長のままとし、ステップＳＴ５８で白レベル抽出フィルタ２４により画像中より前記フィルタ長DFL以下の領域の白レベルを抽出し、ステップＳＴ５９で近赤外照明２を点灯する。この後、実施の形態１のステップＳＴ１８以下と同じ処理を行ってメインルーチンを終了する。
【００９２】
図２２に示すように、この実施の形態の画像処理回路２０ｂの黒レベル抽出フィルタ２３ａ及び白レベル抽出フィルタ２４ａは上記各実施の形態と同様にハードウエアで構成されており、黒レベル抽出フィルタ２３ａは、フィルタ長BFL切り換え手段２７ａの出力側に接続された最大値フィルタ２０５ａ及び最小値フィルタ２０６ａと引き算器２０３ａとよりなり、白レベル抽出フィルタ２４ａは、同じくフィルタ長BFL切り換え手段２７ｂの出力側に接続された最小値フィルタ２０６ｂ及び最大値フィルタ２０５ｂと引き算器２０３ｂとよりなる。
【００９３】
黒レベル抽出フィルタ２３ａは、先ず最大値フィルタ２０５ａによりフィルタ長BFL切り換え手段２７ａで指定されたフィルタナンバーBNに相当する画素長の画素レベルの最大値をとり、次に最小値フィルタ２０６ａにより最大値フィルタ２０５ａの出力画像より、同様にフィルタナンバーBNに相当する画素長の画素レベルの最小値をとり、最後に引き算器２０３ａで最小値フィルタ２０６ａの出力画像より入力画像を引き算するようにして、入力画像中より前記フィルタナンバーBNで指定した画素長以下の黒レベルのみを抽出する。
【００９４】
他方、白レベル抽出フィルタ２４ａは、最小値フィルタ２０６ｂで同様にフィルタ長DFL切り換え手段２７ｂで指定されたフィルタナンバーDNに相当する画素長の画素レベルの最小値をとり、次に最大値フィルタ２０５ｂで最小値フィルタ２０６ｂの出力画像より、フィルタナンバーDNに相当する画素長の画素レベルの最大値をとり、最後に入力画像より最大値フィルタ２０５ｂの出力画像を引き算するようにして、入力画像中より前記フィルタナンバーDNで指定した画素長以下の白レベルのみを抽出する。
【００９５】
この実施の形態の画像処理回路２０ｂの上記以外の構成、作用は実施の形態１の画像処理部２０の構成と同様である。
【００９６】
図２３はかかるフィルタ長可変のMAXあるいは最小値フィルタの回路構成図を示しており、３３はマルチプレクサで、ここでは５つの画素遅延回路３０の内の３つの画素遅延回路３０の入出力４つの内より１つを選択して出力するマルチプレクサ３３を６回路用いた最大値フィルタの例を示している。各マルチプレクサ３３には、フィルタ長をフィルタナンバーとして指定する制御信号MPCNTが入力されており、比較回路３１は各５つの画素遅延回路３０の入力とマルチプレクサ３３の出力をトーナメント形式で比較して大きい側の画素レベルを出力する。
【００９７】
かかる回路において、制御信号MPCNTがフィルタナンバー１を指示した場合には、先ず１段目のマルチプレクサ３３は最初の画素より５画素遅延した画素レベルを出力し、１段目の比較回路３１は前記最初の画素と前記５画素遅延した画素とを比較して大きい方の画素レベルを出力し、２段目の比較回路３１は１段目の比較結果とさらに５画素遅延した２段目のマルチプレクサ３３の出力を比較し、このような具合に順次トーナメント形式で比較していって最終的に出力FLT OUTより５画素飛びに比較した３１画素長の最大値が出力される。例えば、フィルタナンバー３を指示した場合には、３画素飛びに比較した１９画素長の最大値が出力される。即ち、かかる最大値フィルタでは制御信号MPCNTによりフィルタ長が１３画素長より３１画素長まで６画素長おきに４段階に可変される。
【００９８】
尚、フィルタ長可変の最小値フィルタも比較回路３１で小さい側の画素レベルを出力するようにして、同様に構成される。
【００９９】
かかる実施の形態においては、運転者ｐと撮像部ａ’との距離Ｌに応じ画面中での顔画像の大きさに合わせてレベル抽出フィルタのフィルタ長を変化させるようにしたため、運転者の運転姿勢に係わらず目を確実に検出できるという利点がある。
【０１００】
尚、上記実施の形態においては、フィルタ長可変の黒レベル抽出フィルタ２３ａ、白レベル抽出フィルタ２４ａをフィルタ長制御信号MP CNTを設けた別々の最大値フィルタ２０５ａ、２０５ｂ、最小値フィルタ２０６ａ、２０６ｂを用いて構成した場合を示したが、実施の形態３の図８の最大値フィルタ２０１、最小値フィルタ２０２あるいは、実施の形態４の図９の最大最小値フィルタ２０４をフィルタ長制御信号MP CNTを設けたフィルタで構成して黒レベル抽出と白レベル抽出を切り換えるようにしてもよい。
【０１０１】
実施の形態９．
上記各実施の形態においては、運転者ｐと撮像部ａ、ａ’との距離Ｌを距離センサを用いて直接検出する場合につき示したが、距離Ｌを間接的に求めるようにしても良い。
【０１０２】
図２４は運転席の模式図、図２５は距離Ｌ算出のフローチャートであり、６は距離検出部で、運転席のシート座部６１の前後方向位置Ｘがシート座部６１に内蔵された変位センサ６２で求められ、シート背もたれ部６３の角度θがシート座部６１とシート背もたれ部６３のピボット部に内蔵された角度センサ６４により求められて、画像処理装置ｂに送出されて距離Ｌが演算される。
【０１０３】
画像処理部ｂでは、図２５に示す距離Ｌ演算ルーチンにおいて、ステップＳＴ５０００で変位センサ６２よりシート位置Ｘを、ステップＳＴ５００１で角度センサ６４よりシート角度θを読み込み、ステップＳＴ５００２で運転者ｐと撮像部ａとの距離Ｌが、予め記憶されているシート座部６１の基準位置Ｘ0、シート背もたれ部６３のヘッドレスト部までの長さHL、人の頭の平均的な前後厚HD、撮像装置ａの仰角φを用いて、
［式５］ Ｌ＝（Ｘ＋Ｘ0＋HL＊sinθ−HD）／cosφ
で算出される。
かかる実施の形態においても、実施の形態８と同様の効果を奏する。
【０１０４】
実施の形態１０．
図２６及び図２７は本発明の実施の形態１０を表しており、この実施の形態１０はレベル抽出フィルタのフィルタ長を画像中での目領域あるいは瞳孔領域の大きさに応じて可変にすることにより、目をより精度良く抽出する顔画像処理装置の例を示すものである。図２６は実施の形態１０のフィルタ長設定手段のフローチャート、図２７はフィルタ長設定手段におけるフィルタ長学習手段のフローチャートである。
【０１０５】
以下、本実施の形態を上記各図を用いて説明する。
図２６において、先ずステップＳＴ５１０で顔画像処理装置が起動直後状態であるか否かを調べ、起動直後であればステップＳＴ５１１で黒レベル抽出フィルタ２３、白レベル抽出フィルタ２４のフィルタ長を予め記憶している各初期値FL0に設定する。初期値FL0は黒レベル抽出フィルタ２３、白レベル抽出フィルタ２４につき顔画像上での各々人の平均的な開眼時の目領域の上下幅、瞳孔の直径に相当する画素長に各々所定の係数を掛けた値に設定する。
【０１０６】
装置が起動直後でなければ、ステップＳＴ５１２で装置起動後所定時間経過しているか否かを調べる。運転者の覚醒が低下すると、開眼時においても次第に上瞼が下がって目領域の上下幅が小さくなるが、これに合わせてフィルタ長を短くしていくと、何らかの刺激で一時的に運転者の覚醒水準が上がり、目領域の上下幅が突然大きくなった場合には、レベル抽出フィルタでの目の抽出ができなくなる。そこで、レベル抽出フィルタ長の設定を装置起動後の運転者の覚醒状態において行い、装置起動後から所定時間経過した時、ステップＳＴ５１３でフィルタ長切り換えFLAGをOFFにし、これ以降のフィルタ長の更新を禁止する。装置起動後所定時間経過していなければ、ステップＳＴ５２０で後述するフィルタ長学習手段の処理ルーチンを行う。
【０１０７】
次に、ステップＳＴ５２１で所定の画像数Ｎ処理したか否かを判定し、画像処理数がＮに達していない場合には、ステップＳＴ５２２で一つ前の画像での目検出手段ＳＴ２０における目検出FLAGがONであるか否かを判定し、ONである場合には、ステップＳＴ５２３で目検出FLAG状態数NEFを１インクリメントし、ONでない場合には、ステップＳＴ５２４でNEFを１デクリメントした後、ステップＳＴ５１３でフィルタ長切り換えFLAGをOFFしてメインルーチンに戻す。
【０１０８】
画像処理数がＮに達した場合には、ステップＳＴ５２５で所定画像数Ｎ内での目の検出成績を表す目検出FLAG状態数NEFを前回のFLAG状態数NEFOLDと比較し、NEFがNEFOLDより大ならば、フィルタ長切り換えによる効果が見られるものとして、より検出成績が向上することを期待してステップＳＴ５２６で前記フィルタ長学習手段で求めたフィルタ長FLに対応するフィルタナンバーFNを選択し、ステップＳＴ５２７でフィルタ長切り換えFLAGをONにしてフィルタ長を変え、逆にNEFがNEFOLD以下ならば、ステップＳＴ５２８でフィルタ長切り換えFLAGをOFFにする。最後に、ステップＳＴ５２９でNEFをNEFOLDに代入してNEFOLDを更新するとともに、NEFをクリアしてメインルーチンに戻す。
【０１０９】
フィルタ長学習手段の処理ルーチンは図２７に示す通りであり、ここでは黒レベル抽出フィルタ２３により処理した画像につき説明する。
先ず、ステップＳＴ５２００で目検出FLAGがONか否か、ステップＳＴ５２０１で目領域が開眼状態であるか否かを調べ、目検出FLAGがONで目領域が開眼状態である場合のみ以下の処理を実行し、そうでない場合にはファイル長設定手段のルーチンに戻す。
【０１１０】
ステップＳＴ５２０２では、目領域検出手段によりＳＴ２０で検出された２値顔画像の目領域の内、開眼状態の目領域の顔縦方向のヒストグラム、即ちＸ軸ヒストグラムSUMXの最大値SUMXMAXの最新の記憶値MSUMXMAXを読み出す。図１５に示すように、SUMXMAXは開眼時の目領域の上下幅の画素長に等しい。次に、ステップＳＴ５２０３で同様に最新の開眼状態の目領域のSUMXMAXを読み出し、ステップＳＴ５２０４でSUMXMAXより記憶値MSUMXMAXを引き算し、ステップＳＴ５２０５でSUMXMAXが記憶値MSUMXMAXより大ならば、ステップＳＴ５２０６でMSUMXMAXをSUMXMAXで更新する。
【０１１１】
最後に、ステップＳＴ５２０７で画像数が所定の画像数Ｎに達したか否かを調べ、上記画像数がＮ以上である場合には、ステップＳＴ５２０８で画像数Ｎにおける開眼状態の目の上下幅の画素長の最大値を示すMSUMXMAXに所定の余裕幅FLOを加えた画素長FLを黒レベル抽出フィルタ２３のフィルタ長FLとして設定し、ステップＳＴ５２０９でMSUMXMAXをクリアする。画像数がＮに達しない場合には、ファイル長設定手段のルーチンに戻す。画像数Ｎは学習の効果を見ながら数百から千程度の任意の値に設定しておけばよい。
【０１１２】
前述したごとく、上記においては黒レベル抽出フィルタ２３にて処理した目領域の検出結果より黒レベル抽出フィルタ２３のフィルタ長FLを設定する場合につき示したが、白レベル抽出フィルタ２４のフィルタ長FLについても、白レベル抽出フィルタ２４で処理した画像につき上記と同じ処理を行って、開眼と判定された瞳孔領域のヒストグラムの画像数Ｎでの最大値MSUMXMAXを用いて全く同様に設定できる。
【０１１３】
かかる実施の形態においては、レベル抽出フィルタのフィルタ長を目領域検出手段で検出された目領域の上下幅あるいは瞳孔領域の大きさの関数値として設定したため、運転者の目の大きさの個人差による影響を排除して目を確実に検出できるという利点がある。
【０１１４】
また、前記関数値を目領域検出手段で検出された目領域の上下幅あるいは瞳孔領域の大きさの所定期間における最大値を基に設定したため、運転者の目の動きに拘わらず目をより確実に検出できるという利点がある。
【０１１５】
また、目検出の頻度の向上、低下を学習しフィルタ長の設定の更新を決定するようにしたため、目検出の頻度が最も高くなる最適なフィルタ長の設定が可能となる。
【０１１６】
さらに、顔画像処理装置の起動後の運転者の覚醒度の高い所定期間のみフィルタ長の更新を行い、以後は最新の更新フィルタ長を用いるようにしたため、運転者の覚醒が低下した状態でも、誤り無く目を確実に検出できるという利点がある。
【０１１７】
尚、上記実施の形態においては、フィルタ長FLを目領域の上下幅あるいは瞳孔領域の大きさの所定期間における最大値に所定値を加えた値としたが、前記最大値に所定係数を掛けた値等、前記最大値を基にした他の関数形を用いても良い。
【０１１８】
実施の形態１１．
図２８は本発明の実施の形態１１を表しており、この実施の形態１１は、目領域の上下幅あるいは瞳孔領域の大きさの所定期間における最大頻度値を基にレベル抽出フィルタのフィルタ長FLを設定する場合を示している。
【０１１９】
図２８は、実施の形態１１におけるフィルタ長学習手段のフローチャートであり、先ず実施の形態１０と同様に、ステップＳＴ５２２０で目検出FLAGがONか否か、ステップＳＴ５２２１で目領域が開眼状態であるか否かを調べ、目検出FLAGがONで目領域が開眼状態である場合のみ、ステップＳＴ５２２３で目領域あるいは瞳孔領域のＸ軸ヒストグラムSUMXの最大値SUMXMAXを読み出す。次いで、ステップＳＴ５２２３でSUMXMAXの度数分布HIST（SUMXMAX）を演算し、ステップＳＴ５２２４で画像数がＮに達したことを判定する。ステップＳＴ５２２５で所定画像数Ｎ内でのSUMXMAXの度数分布HISTの最大値をMHISTとし、度数分布HISTの標準偏差をSHISTとして、ステップＳＴ５２２６でレベル抽出フィルタのフィルタ長FLを、所定の重み係数K1、K2を用いて、
［式６］ FL＝K1＊MHIST＋K2＊SHIST
により設定する。最後に、ステップＳＴ５２２７で度数分布HISTをクリアしておく。
かかる実施の形態においても、実施の形態１０と同等の効果を奏する。
【０１２０】
上記実施の形態では、フィルタ長FLを所定期間における目領域の上下幅あるいは瞳孔領域の大きさの最大頻度値及び標準偏差を基に設定した場合を示したが、最大頻度値のみを用いて設定しても良いし、最大頻度値の代わりに度数分布HISTの平均値あるいは中央値を、標準偏差の代わりに分散を用いても良い。この場合、重み係数K1、K2は当然、用いる特性値により変更される。
【０１２１】
上記実施の形態１０、１１においては、レベル抽出フィルタのフィルタ長を目の検出結果による画像中での目領域あるいは瞳孔領域の大きさに応じて可変にするようにしたが、運転者ｐとカメラ１との距離Ｌに応じて先ずフィルタ長を変更させた後、前記目の検出結果によるフィルタ長の可変を行うようにしてもよい。
【０１２２】
実施の形態１２．
図２９はレベル抽出フィルタのフィルタ長を可変する他の構成の可変MAXあるいは最小値フィルタの回路構成図である。最大値フィルタとするか最小値フィルタとするかは、前述のごとく、比較回路３１で大きい側の画素レベルを出力させるか、小さい側の画素レベルを出力させるかにより変更されるが、以下最大値フィルタとして説明する。
【０１２３】
図２９では、全画素長２０の最大値を出力するよう１９階層の二つの入力の大きい側の画素レベルを出力する比較回路３１を設け、比較回路３１の９、１１、１３、１５、１７、１９階層目の出力をマルチプレクサ３３に入力して、マルチプレクサ３３よりかかる６入力の内の一つをFLT OUTとして出力する最大値フィルタの例を示している。
【０１２４】
かかる回路において、制御信号MPCNTが例えばフィルタナンバー４を指示した場合には、１３階層目の比較回路３１の出力が選択され１４階層目以降は無視されるため、出力FLT OUTより連続した１４画素長の最大値が出力される。また、フィルタナンバー１では、最高階層の比較出力が選択されて連続した２０画素長の最大値が出力される。即ち、かかる可変長フィルタでは制御信号MPCNTによりフィルタ長が１０画素長より２０画素長まで２画素長おきに６段階に可変される。
【０１２５】
かかる実施の形態においても、実施の形態８と同じように可変フィルタ長のレベル抽出フィルタを構成できるのみでなく、実施の形態８の図２３に示される可変MAXあるいは最小値フィルタに比較し、連続した画素の最大あるいは最小を検出するため画像分解能が落ちず、また、回路構成の複雑なマルチプレクサ３３が一つで済むため全体の回路構成を簡略化でき、フィルタ回路を安価に構成できるという利点がある。
【０１２６】
実施の形態１３．
図３０はレベル抽出フィルタのフィルタ長を可変にするさらに他の構成の可変MAXあるいは最小値フィルタの回路構成図である。
図３０において、スイッチ３４には、比較回路３１の出力信号と比較回路３１の後側の入力信号とが接続され、デコーダ３５の１ビット制御信号に応じて、制御信号が１であれば前記比較回路３１の後側の入力信号を、０であれば前記比較回路３１の出力信号を出力する。即ち、デコーダ３５の制御信号が１であれば、かかる制御信号が入力されたスイッチ３４以前の比較結果が無視される構成となっている。図３０では、かかる比較回路３１とスイッチ３４の組が４層積層されている。デコーダ３５には、フィルタ制御コード信号CODEが入力され、コード信号CODEに従って４つのスイッチ３４の一つに１を出力する。
【０１２７】
かかる回路において、例えばコード信号CODEが２層目のスイッチ３４を１とした場合、４層目の比較回路３１の出力が無視されるため、最初の画素より４画素遅延した画素がフィルタの入力画素となり、これ以降の遅延画素で比較が行われるため、フィルタ長は１６画素長となる。即ち、かかる可変長フィルタでは、コード信号CODEによりフィルタ長が１２画素長より１８画素長まで２画素長おきに４段階に可変される。
【０１２８】
かかる実施の形態においても、実施の形態１２と同様の効果を奏するのみでなく、回路構成の複雑なマルチプレクサ３３を使用しないため全体の回路構成をさらに簡略化でき、フィルタ回路をさらに安価に構成できるという利点がある。
【０１２９】
実施の形態１４．
図３１及び図３２は本発明の実施の形態１４を表しており、この実施の形態１４は顔画像の画像軸の両方にレベル抽出フィルタ処理を行って目を検出する顔画像処理装置の例を示すもので、図３１は実施の形態１４の顔画像処理を用いた運転者状態検出のフローチャート、図３２は実施の形態１４の顔画像処理の画像での説明図である。以下、本実施の形態を上記各図と前述の図を援用して説明する。
【０１３０】
図３１において、先ず、ステップＳＴ１０よりステップＳＴ１２を実行後、ステップＳＴ１３で明暗検出手段の出力が暗状態であるか否かを判定し、暗状態でなければ階調画像信号は２分されて、一方の階調画像信号は、ステップＳＴ６０で画像上での目の上下幅より広い所定画素長のフィルタ長を有する第一の黒レベル抽出フィルタ２３で画像中よりＸ軸方向の前記フィルタ長以下の領域の黒レベルを抽出するとともに、ステップＳＴ１５で近赤外照明２を消灯し、ステップＳＴ１８において２値化手段で前記第一の黒レベル抽出フィルタ２３通過後の画像を浮動２値化して２値画像に変換し、ステップＳＴ１９において、２値画像は２値画像フレームメモリに記憶される。他方の階調画像信号は、ステップＳＴ６１において画像フレームメモリに一旦記憶され、ステップＳＴ６２で前記画像フレームメモリをＸ軸に垂直なＹ軸方向に走査して、画像上での黒目領域の直径より広い所定画素長のフィルタ長を有する第二の黒レベル抽出フィルタ２３で画像中よりＹ軸方向の前記フィルタ長以下の領域の黒レベルを抽出し、ステップＳＴ１５で近赤外照明２を消灯し、ステップＳＴ１８において２値化手段で前記第二の黒レベル抽出フィルタ２３通過後の画像を浮動２値化して２値画像に変換する。
【０１３１】
次に、ステップＳＴ６３で画像論理積演算手段により、前記２値画像フレームメモリに記憶されたＸ軸方向のレベル抽出処理後の２値画像を、前記Ｙ軸方向のレベル抽出処理後の２値画像のＹ軸方向に同期走査して、これら二つの２値画像の画像論理積を演算し、かかる演算結果によりステップＳＴ１９で前記２値画像フレームメモリの内容を更新する。
【０１３２】
ステップＳＴ１３で明暗検出手段の出力が暗状態であれば、ステップＳＴ１６で画像上での瞳孔直径により広い所定画素長のフィルタ長を有する白レベル抽出フィルタ２４で画像中よりＸ軸方向の前記フィルタ長以下の領域の白レベルを抽出するとともに、ステップＳＴ１７で近赤外照明２を点灯し、ステップＳＴ１８において２値化手段で白レベル抽出フィルタ２４通過後の画像を浮動２値化して２値画像に変換し、ステップＳＴ１９において２値画像フレームメモリに記憶する。
【０１３３】
続いて、ステップＳＴ２０において、目領域検出手段は更新された２値画像フレームメモリに記憶された画像データを処理して画像中より目領域を検出し、目領域検出結果に基づき実施の形態１と同様にステップＳＴ２１、２２が処理され、運転者の居眠り状態の有無を判定して運転者に警報を発する。
【０１３４】
図３２は眼鏡を着装した運転者ｐの明状態での顔画像の、画像処理の各段階での変化を示したものである。ステップＳＴ６０において第一の黒レベル抽出フィルタ処理されステップＳＴ１８で２値化された２値顔画像４４は、入力画像である原画４３に対しＸ軸方向に目の上下幅よりかなり広い黒領域である髪、眼鏡の横枠部分等が除去される。これに対して、ステップＳＴ６２で第二の黒レベル抽出フィルタ処理されステップＳＴ１８で２値化された２値顔画像４５は、Ｙ軸方向に黒目幅よりかなり広い黒領域である髪、眉、口裂、眼鏡の縦枠部分等が除去されている。ステップＳＴ６３においてかかる二つの２値顔画像４４、４５を論理積演算した差分画像４６は、図３２に示すように、二つの２値顔画像４４、４５の黒領域の共通部分である目の黒目領域の部分、眼鏡枠の一部、鼻孔のみが残る単純な画像となる。
【０１３５】
かかる実施の形態においても、実施の形態１と同様の効果が得られるとともに、顔画像の２軸方向に各々レベル抽出フィルタ処理を施すことにより、眼鏡を着装した顔画像等においても、目を含む顔の特徴領域をより単純な形で抽出できるため、簡単なアルゴリズムで顔画像から目をより短時間で精度良く検出できる。
【０１３６】
また、上記実施の形態においては、明暗検出手段の出力により黒あるいは白レベル抽出フィルタに切り換えたが、実施の形態５と同様に運転者ｐの顔画像よりの目検出結果を基にフィルタの切り換えを行うようにしてもよいし、実施の形態６と同様レベル抽出フィルタの出力顔画像中の抽出画素領域の割合によりフィルタの切り換えを行うようにしてもよい
【０１３７】
実施の形態１５．
上記実施の形態１４においては、目領域検出手段の検出結果に応じて２軸方向の各レベル抽出フィルタのフィルタ長を所定の一定長としたが、実施の形態１０、１１等に示すように、前記フィルタ長を目領域検出手段の検出結果に応じて可変にしてもよい。
【０１３８】
図３３は、このような例を示す本発明の実施の形態１５を表しており、この実施の形態１５におけるレベル抽出フィルタのフィルタ長の設定を説明する目の候補存在領域４０２のＸ、Ｙ軸ヒストグラムである。
【０１３９】
ステップＳＴ２０において、目領域検出手段は画像フレームメモリに記憶された２値画像４６を実施の形態５と同様に処理して、目の候補存在領域４０２を設定する。次に、候補存在領域４０２中でＸ軸方向及びＹ軸方向に各々画素レベルを積算してＸ軸ヒストグラムSUMX及びＹ軸ヒストグラムSUMYを求め、SUMX、SUMYが所定閾値SHL以上の領域を目の候補領域４０４とする。目領域は、実施の形態５における瞳孔領域の抽出と同様に、候補領域４０４のＸ軸ヒストグラムSUMXとＹ軸ヒストグラムSUMYを求め、SUMX、SUMYの幅とその比、及び一組の候補存在領域４０２内のＸ軸ヒストグラムSUMXのピーク位置とその間の距離より判定する。
【０１４０】
続いて、目領域と判定された候補領域４０４の前記SUMX及びSUMYの各最大値SUMXMAX及びSUMYMAXを求め、SUMXMAXを用いて実施の形態１０と同様にして第一の黒レベル抽出フィルタのフィルタ長を目領域の上下幅の学習値に基づいて設定し、SUMYMAXを用いて同様にして第二の黒レベル抽出フィルタのフィルタ長を目領域の左右幅即ち黒目領域の直径の学習値に基づいて設定して、かかる可変長レベル抽出フィルタによる抽出画像より目を検出する。白レベル抽出フィルタに関しても、実施の形態１０と同様にして瞳孔の大きさの学習値に基づいてフィルタ長を設定する。
【０１４１】
かかる実施の形態においては、レベル抽出フィルタのフィルタ長を目検出手段で検出された目領域の上下幅、左右幅あるいは瞳孔領域の大きさの関数値として設定したため、実施の形態１０と同様、運転者の目の大きさの個人差、運転者の目の動きに拘わらず目を確実に検出できるという利点がある。
【０１４２】
上記実施の形態においては、レベル抽出フィルタのフィルタ長を目の検出結果を基に変更するようにしたが、運転者ｐとカメラ１との距離Ｌに応じて先ずフィルタ長を変更させた後、前記目の検出結果によるフィルタ長の可変を行うようにしてもよい。
【０１４３】
尚、上記各実施の形態においてはカメラにCCD固体撮像素子を用いた場合を示したが、他の固体撮像素子あるいは撮像管を用いても良く、また本発明を自動車の運転者状態の検出用の顔画像処理装置につき示したが、撮影された人物の顔画像より目を抽出するための他の顔画像処理装置にも適用できる。
【０１４４】
【発明の効果】
この発明は以上説明したように構成されているため、以下に示すような効果を奏する。
【０１４５】
距離相当量算出手段により２次元撮像手段と撮像される人物との距離を求めて、フィルタ長設定手段により前記距離に比例して黒レベルあるいは白レベルを抽出するレベル抽出フィルタの所定画素長を設定するようにしたので、撮像装置と人物との距離に拘わらず目を確実に検出することができる。
【０１４６】
また、フィルタ長設定手段により、黒レベルを抽出するレベル抽出フィルタの所定画素長を、該レベル抽出フィルタの出力顔画像を基にして目検出手段により検出された目領域の顔縦方向の長さの関数値とし、あるいは白レベルを抽出するレベル抽出フィルタの所定画素長を、該レベル抽出フィルタの出力顔画像を基にして目領域検出手段により検出された瞳孔領域の大きさの関数値として各々設定するようにしたので、撮像する人物の個人差による影響を排除して目を確実に検出することができる。
【０１４７】
また、フィルタ長設定手段により第一の黒レベル抽出フィルタの所定画素長と第二の黒レベル抽出フィルタの所定画素長とを、前記二つの黒レベル抽出フィルタの出力顔画像を基にして目領域検出手段により検出された各々目領域の顔縦方向の長さの関数値と目領域中での顔横方向の黒目領域の長さの関数値として設定するようにしたので、撮像する人物の個人差による影響を排除して目を確実に検出することができる。
【０１４８】
また、目領域の顔縦方向の長さの関数値、目領域中での顔横方向の黒目領域の長さの関数値、瞳孔領域の大きさの関数値を、所定期間内の各々前記目領域の顔縦方向の長さの最大値、目領域中での顔横方向の黒目領域の長さの最大値、瞳孔領域の大きさの最大値、の関数としたので、人物の目の動きに拘わらず目をより確実に検出できる。
【０１４９】
また、目領域の顔縦方向の長さの関数値、目領域中での顔横方向の黒目領域の長さの関数値、瞳孔領域の大きさの関数値を、所定期間における前記目領域の顔縦方向の長さ、目領域中での顔横方向の黒目領域の長さ、瞳孔領域の大きさの各々の度数分布の少なくとも最大頻度値の関数としたので、人物の目の動きに拘わらず目をより確実に検出することができる。
【０１５０】
また、目領域の顔縦方向の長さの関数値、目領域中での顔横方向の黒目領域の長さの関数値、瞳孔領域の大きさの関数値を、所定期間における前記目領域の顔縦方向の長さ、目領域中での顔横方向の黒目領域の長さ、瞳孔領域の大きさの各々の度数分布の平均値あるいは中央値及び分散あるいは標準偏差の関数としたので、人物の目の動きに拘わらず目をより確実に検出することができる。
【０１５１】
また、目検出頻度算出手段により目領域検出手段による目領域の検出頻度を求めて、前記目検出頻度により現状のフィルタ長の設定の更新、非更新を決定するようにしたので、目検出の頻度が最も高くなる最適なフィルタ長の設定が可能となる。
【０１５２】
また、フィルタ長の設定の更新を顔画像処理装置の起動後の所定期間のみ行い、以後は最新の更新フィルタ長を用いるようにしたので、人物の覚醒状態に拘わらず目を確実に検出することができる。
【０１５３】
また、レベル抽出フィルタを、所定の最大フィルタ長及びその最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長となるよう画素数を規則的に間引き、間引いた後の画素の画素レベルをトーナメント形式で比較してそのトーナメント最終階層より比較値を出力するフィルタにより構成し、設定フィルタ長に相当する画素長となるよう画素間引き数を選択することによりフィルタ長の設定を変えるようにしたので、フィルタのハードウエア化が容易になり、レベル抽出処理を高速に行うことができる。
【０１５４】
また、レベル抽出フィルタを、所定の最大フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するとともに、最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長に対応した各々のトーナメント階層より比較値を出力するフィルタにより構成し、前記設定フィルタ長に相当する前記レベル抽出フィルタのトーナメント階層からの出力を選択することによりフィルタ長の設定を変えるようにしたので、回路構成を簡略化できレベル抽出処理を高速に行えるとともにフィルタ回路が安価になる。
【０１５５】
また、レベル抽出フィルタを、所定の最大フィルタ長及び前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するフィルタにより構成し、前記設定フィルタ長に相当する画素長に対応した各々のトーナメント階層以下のトーナメント階層の出力を無視して、トーナメントに参加する画素数を前記設定フィルタ長に相当する画素長となるようフィルタ端部より制限することによりフィルタ長の設定を変えるようにしたので、回路構成をより簡略化でき、レベル抽出処理を高速に行えるとともにフィルタ回路がより安価になる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１の顔画像処理装置を含む運転者の状態検出装置の概略構成図である。
【図２】 この実施の形態１の顔画像処理を用いた運転者状態検出のフローチャートである。
【図３】 図２に示す画像処理回路の回路ブロック図である。
【図４】 図３に示す黒レベル抽出フィルタの作用説明図である。
【図５】 この実施の形態１の黒レベル抽出フィルタ処理した２値顔画像である。
【図６】 この実施の形態１の夜間撮影時の入力顔画像と白レベル抽出フィルタ処理した２値顔画像である。
【図７】 図３に示す最大値フィルタの回路構成図である。
【図８】 本発明の実施の形態３の画像処理回路の回路ブロック図である。
【図９】 本発明の実施の形態４の画像処理回路の回路ブロック図である。
【図１０】 図９に示す最大最小値フィルタ２０４の回路構成図である。
【図１１】 本発明の実施の形態５による顔画像処理を用いた運転者状態検出のフローチャートである。
【図１２】 図１１に示すフィルタ切り換え判定手段のフローチャートである。
【図１３】 この実施の形態５による目領域検出のフローチャートである。
【図１４】 この実施の形態５による目の検出を説明する黒レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸ヒストグラムである。
【図１５】 この実施の形態５による目の検出を説明する目の候補領域のＸ軸ヒストグラムである。
【図１６】 この実施の形態５による目の検出を説明する白レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸ヒストグラムである。
【図１７】 本発明の実施の形態６による顔画像処理を用いた運転者状態検出のフローチャートである。
【図１８】 図１７に示すフィルタ型切り換え判定手段のフローチャートである。
【図１９】 本発明の実施の形態８による顔画像処理を用いた運転者状態検出のフローチャートである。
【図２０】 図１９に示すフィルタ長設定手段のフローチャートである。
【図２１】 この実施の形態８による運転者ｐと撮像部ａとの距離検出部の構成図である。
【図２２】 この実施の形態８の画像処理回路の回路ブロック図である。
【図２３】 図２２に示すフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【図２４】 本発明の実施の形態９による運転者とカメラとの距離検出を説明する運転席の模式図である。
【図２５】 図２４における距離Ｌ算出のフローチャートである。
【図２６】 本発明の実施の形態１０のフィルタ長設定手段のフローチャートである。
【図２７】 図２６に示すフィルタ長学習手段のフローチャートである。
【図２８】 本発明の実施の形態１１のフィルタ長学習手段のフローチャートである。
【図２９】 本発明の実施の形態１２のフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【図３０】 本発明の実施の形態１３のフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【図３１】 本発明の実施の形態１４の顔画像処理を用いた運転者状態検出のフローチャートである。
【図３２】 この実施の形態１４の顔画像処理の画像での説明図である。
【図３３】 本発明の実施の形態１５によるフィルタ長の設定を説明する目の候補存在領域４０２のＸ、Ｙ軸ヒストグラムである。
【図３４】 従来の顔画像処理装置の構成図である。
【図３５】 従来の顔画像処理装置における運転者の状態検出のフローチャートである。
【図３６】 従来装置における顔画像とその２値画像である。
【符号の説明】
ａ，ａ’ 撮像部、ｂ 画像処理部、ｐ 撮像対象（運転者）、１ カメラ、１ａ CCD、１ｂ 映像信号処理回路、１ｃ 撮像レンズ、１ｄ 可視光カットフィルタ、２ 近赤外照明、３ 照明制御手段、４ 照度センサ、５，６ 距離検出部、１０ 入力インタフェース、１１ A/D変換器、１２ 画像メモリ、１３，１７ 出力インタフェース、１４ CPU、１５ ROM、１６ RAM、１８ バス、２０，２０ａ，２０ｂ 画像処理回路、２２ フィルタ切り換え手段、２３，２３ａ 黒レベル抽出フィルタ、２４，２４ａ 白レベル抽出フィルタ、２０１，２０１ａ，２０１ｂ，２０５ａ，２０５ｂ 最大値フィルタ、２０２，２０２ａ，２０２ｂ，２０６ａ，２０６ｂ 最小値フィルタ、２０３，２０３ａ，２０３ｂ 引き算器、２０４ 最大最小値フィルタ、２６ ２値化手段、２７ フィルタ長切り換え手段、３０ 遅延回路、３１，３２ 比較回路、３３ マルチプレクサ、３４ スイッチ、３５ デコーダ、４０，４２，４４，４５，４６ ２値顔画像、４０１ 顔重心、４０２ 候補存在領域、４０３，４０４ 候補領域。
【発明の属する技術分野】
本発明は顔画像処理装置に関し、特に撮影された人物の顔画像より目を抽出するための顔画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、車両運転者の脇見、居眠り運転等の運転状態を検出するため、運転者の顔を車両室内に設けられたカメラで撮影し、得られた顔画像を処理して顔の特徴点である目を抽出する顔画像の処理装置が提案されている。
【０００３】
図３４乃至図３６は特開平6-32154号公報に開示された従来の顔画像処理装置を示す図であって、図３４は従来の顔画像処理装置の構成図であり、図３５は従来の顔画像処理装置における運転者の状態を検出するためのフローチャート、図３６は従来装置における顔画像とその２値画像である。
【０００４】
以下、図３４乃至図３６を用いてかかる従来例について説明する。
【０００５】
図３４において、Ａは顔画像撮像部を示しており、この顔画像撮像部Ａは、カメラ１０１と、撮像対象を照射するための光源１０２と、その光源１０２を駆動する光源駆動回路１０３とからなる。カメラ１０１は、CCD等よりなる２次元撮像素子１０１ａと、映像信号処理回路１０１ｂと、撮像レンズ１０１ｃと、その撮像レンズ１０１ｃの前面光軸上に配置された可視光カットフィルタ１０１とを有する。光源駆動回路１０３は映像信号処理回路１０１ｂの出力側に接続され、その明暗出力が入力される。光源１０２は近赤外光源で、高輝度の近赤外LEDを多数個並べた光源やハロゲンランプやキセノンランプの前に可視光カットフィルタが設けられている。光源駆動回路１０３及び近赤外光源１０２は一体化されてカメラ部１とは別に配置されている。
【０００６】
Ｂは顔画像処理部を示し、この顔画像処理部Ｂは、映像信号処理回路１０１ｂの出力側に入力されてその映像出力が入力されるA/D変換器１００と、そのA/D変換器の出力側に接続された画像メモリ１１０と、映像信号処理回路１０１ｂのCCD撮像タイミング信号が入力される入力インタフェース（I/F）１２０と、中央演算素子（CPU）１３０と、リードオンリメモリ（ROM）１４０と、ランダムアクセスメモリ（RAM）１５０と、出力インタフェース（I/F）１６０とを有する。A/D変換器１００、画像メモリ１１０、入力インタフェース１２０、ROM１４０、RAM１５０、出力インタフェース１６０はCPU１３０とバス１１０３０で接続されている。CPU１３０は、ROM１４０に内蔵された制御プログラムを実行して、後述する２値化手段、眼球存在領域設定手段、眼球検出手段、瞬目検出手段、居眠り判定手段等の機能を果たすものである。ｐは撮像対象の運転者を示している。
【０００７】
次に上記従来例の動作について説明する。
カメラ１０１のCCD１０１ａは日中は太陽光の可視光カットフィルタ１０１を通過する太陽光の近赤外成分で運転者ｐの顔画像を撮像し、映像信号処理回路１０１ｂで映像信号に変換する。映像信号処理回路１０１ｂは画像輝度を積分して平均画像輝度を求め、運転者ｐの周囲が暗くなって平均画像輝度が所定値以下に低下した場合に、暗状態出力を光源駆動回路１０３に送出して近赤外光源１０２を点灯させて運転者の顔面周辺を照明することにより、カメラ１０１により同様に運転者ｐの顔画像を撮像する。
【０００８】
カメラ部１で撮像された運転者ｐの顔画像の映像信号は、図３５において、先ず、ステップＳＴ１００でA/D変換器１００によりA/D変換されてデジタル階調画像に変換され、ステップ１１０で画像メモリ１１０に記憶される。
【０００９】
次に、ステップＳＴ１２０で２値化手段は画像メモリ１１０に記憶した画像データを読み出して適当な２値化閾値で２値化して２値画像に変換し、ステップＳＴ１３０で眼球存在領域設定手段は顔の左右横方向に白色画素を検索して連続白色画素領域の端部より顔の横幅輪郭線を特定し、特定された顔の横幅輪郭線より眼球存在領域の座標を設定し、ステップＳＴ１４０で眼球検出手段は前記眼球存在領域内で黒色画素が連続した黒色画素領域を検索し、検索した黒色画素領域の位置関係や縦方向の黒色画素数に基づき眼球領域を検出する。
【００１０】
最後に、ステップＳＴ１５０で瞬目検出手段は検出された眼球領域内での縦方向黒色画素数に基づき目の開閉を検出し、ステップＳＴ１６０で居眠り判定手段は検出した目の開閉状態に基づき居眠りを判定し、居眠り状態と判定された場合に出力インタフェース１６０より外部に警報信号を送出して運転者ｐに警報する。
【００１１】
これら一連の動作は入力インタフェース１２０より入力されたCCD撮像タイミング信号にあわせて、ROM１４０に記憶された命令によりCPU１３０で制御され、RAM１５０は制御、演算中の一時的なデータの記憶に用いられる。
【００１２】
一方、図示しないが、論文「視線検出のための瞳孔撮影光学系の設計法」（電子情報通信学会誌D-II Vol.J74D-II No.6）で示されるように、カメラ１０１の撮像軸に同軸な放射軸を持つ近赤外光源をカメラ１０１に近接して配置して、この近赤外光源により照明しつつ顔を撮像することにより、弱い照明でも網膜反射によって人物の瞳孔が顕著に明るく撮影でき、２値化後の白色画素を簡単な画像処理で検索して目の位置を検出することができる。
【００１３】
【発明が解決しようとする課題】
しかしながら、かかる従来装置においては、日中に太陽光により顔を撮影する場合には、太陽光による外乱、即ち太陽の高度や向き、木漏れ日下走行時等の周囲環境等によっては顔に陰影が生じ、２値化がうまくいかず目抽出が困難になるという問題点があった。
【００１４】
例えば、図３６は太陽光が運転席の斜め上方から当たっており、顔の上半分が車体、あるいはサンバイザの陰になっているような状態の運転者顔画像４１０３を従来の方法で２値化した例を示しており、かかる状態では顔の上下で画素レベルが大きく異なるため、明るい部分の影響を受けて２値化閾値が上昇し、かかる２値化閾値での２値化後の２値画像４１０２では鼻孔、口裂は抽出されるが目、髪、眉を含む顔の上半分全体は一つの黒色領域となってしまい目領域を分離して抽出することができない。
【００１５】
また、目領域を分離できた場合でも、顔輪郭や個人により大きく異なる髪の領域が存在する顔画像から目領域を特定しなければならず、画像処理アルゴリズムが複雑で時間がかかるという問題点があった。
【００１６】
また、夜間等の暗状態では光量の大きな近赤外光源１０２を点灯して運転者ｐの顔面周辺を照明して顔を撮像しなければならないため、光源が大型となり装置が大型且つ高価になるとともに、装置の消費電力が大きいという問題点があった。
【００１７】
また、上述の開示論文のように、カメラに近接して弱い近赤外光源を設けて瞳孔を撮像するものにおいては、日中は太陽光の近赤外成分により顔全体が映ってしまうため瞳孔を分離して撮影することができず、目抽出が困難になるという問題点があった。
【００１８】
この発明は上記問題点を解決するために成されたものであり、車載条件下など周囲の明るさや周囲環境による光外乱に左右されることなく、人物の目領域を簡単な画像処理アルゴリズムを用いて短時間で検出できる、小型且つ安価で低消費電力の顔画像処理装置を得ることを目的としている。
【００１９】
【課題を解決するための手段】
この発明に係る顔画像処理装置は、人物の顔面を含む所定領域を撮像する２次元撮像手段と、前記２次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸（Ｘ軸）方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、前記２次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、前記レベル抽出フィルタは、所定の最大フィルタ長及びその最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長となるように画素数を規則的に間引きし、間引いた後の画素の画素レベルをトーナメント形式で比較し、そのトーナメント最終階層より比較値を出力するフィルタからなり、前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する画素長となるように画素間引き数を選択するものであることを特徴とする。
また、人物の顔面を含む所定領域を撮像する２次元撮像手段と、前記２次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸（Ｘ軸）方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、前記２次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、前記レベル抽出フィルタは、所定の最大フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するとともに、前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長に対応した各々のトーナメント階層より比較値を出力するフィルタからなり、前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する前記レベル抽出フィルタのトーナメント階層よりの出力を選択するようにしたことを特徴とする。
さらに、人物の顔面を含む所定領域を撮像する２次元撮像手段と、前記２次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸（Ｘ軸）方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、前記２次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、前記レベル抽出フィルタは、所定の最大フィルタ長及び前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するフィルタからなり、前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する画素長に対応した各々のトーナメント階層以下のトーナメント階層の出力を無視して、トーナメントに参加する画素数を前記設定フィルタ長に相当する画素長となるようフィルタ端部より制限するようにしたことを特徴とする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面により説明する。
【００３１】
実施の形態１．
図１乃至図７はこの発明の顔画像処理装置の一実施の形態を示すものであり、車両運転者の居眠り運転等の運転状態の検出に応用した顔画像処理装置の実施の形態を示している。図１はこの実施の形態による顔画像処理装置を含む運転者の状態検出装置の概略構成図、図２はこの顔画像処理装置を用いた運転者状態検出のフローチャート、図３は画像処理回路の回路ブロック図、図４は黒レベル抽出フィルタの作用説明図、図５は黒レベル抽出フィルタ処理した２値顔画像、図６は夜間撮影時の入力顔画像と白レベル抽出フィルタ処理した２値顔画像、図７は最大値（MAX）フィルタの回路構成図である。
【００３２】
以下、この実施の形態による顔画像処理装置の構成について説明する。
図１において、ａは撮像部、ｂは画像処理部、ｐは撮像対象としての運転者を示している。撮像部ａは、運転者ｐの顔面を含む所定領域を撮像するカメラ１と、夜間等運転者ｐの周囲が暗状態の場合に運転者ｐの顔面を含む所定領域を照明する照明手段としての近赤外照明２と、後述する中央演算素子（CPU）からの出力を受け近赤外照明２を点灯あるいは消灯する照明制御手段３と、運転者ｐの撮像領域近傍の明るさを検出する明暗検出手段としての照度センサとから構成される。カメラ１は、Ｘ軸方向（水平走査軸方向）７６８×Ｙ軸方向（垂直走査軸方向）４９３の計３８万画素を有する２次元撮像手段としてのCCD１ａと、映像信号処理回路１ｂと、撮像レンズ１ｃと、その撮像レンズ１ｃの前面光軸上に配置された可視光カットフィルタ１ｄとを有する。カメラ１はダッシュボード上あるいはインスツルメントパネル部等に配置して、前方より運転者ｐの顔を顔縦方向がＸ軸方向となる向きで撮影する。撮影角度は顔の正面やや斜め下からが目領域抽出のために最も有利である。近赤外照明２は、照明の放射軸がカメラ１の撮像軸に略同軸状に配置され、且つカメラ１に近接して配置されている。近赤外照明２は、光出力が数ｍＷ以下の小型の近赤外LEDをカメラ１に前述のごとく近接して数個設けて運転者ｐを照明する。あるいは、図示しないが照明手段として、カメラ１の撮像軸上にハーフミラーを設けて光軸を２分し、一方の光軸上に近赤外LEDを配置してハーフミラーを介して撮像軸と略同軸状に運転者ｐを照明するような同軸照射照明手段を用いることもできる。照度センサ４は車両のダッシュボードや後部窓下部等車両周囲の明るさを判定できる場所に設置される。
【００３３】
画像処理部ｂは、映像信号処理回路１ｂや照度センサ４の出力側に接続され、映像信号処理回路１ｂのCCD撮像タイミング信号や照度センサ４の出力が入力される入力インタフェース（I/F）１０と、映像信号処理回路１ｂの出力側に接続され、その映像出力が入力されるA/D変換器１１と、そのA/D変換器１１の出力に接続されたゲートアレイやディジタルシグナルプロセッサ（DSP）等からなる画像処理回路２０と、その画像処理回路２０に接続された画像メモリ１２と、照明制御手段３に制御信号を送出する出力インタフェース（I/F）１３と、中央演算素子（CPU）１４と、各種のプログラムあるいは数値が記憶されているリードオンリメモリ（ROM）１５と、演算中の値を一時的に記憶保持するランダムアクセスメモリ（RAM）１６と、後段の種々の機器に接続される出力インタフェース（I/F）１７とから構成される。入力インタフェース（I/F）１０、A/D変換器１１、画像処理回路２０、画像メモリ１２、出力インタフェース（I/F）１３、ROM１５、RAM１６、出力インタフェース（I/F）１７はCPU１４とバス１８により接続されている。
【００３４】
尚、カメラ１及びA/D変換器１１は本発明の画像入力手段を構成する。また、CPU１４はROM１５に記憶された制御プログラムを実行して、後述する明暗検出手段、目領域検出手段、瞬目検出手段、居眠り判定手段等の機能を果たすものである。
【００３５】
図２は運転者状態検出のフローチャートであり、本図を基に実施の形態１の動作につき説明する。
先ず、ステップＳＴ１０で画像入力手段はカメラ１で撮影された顔画像（例えば顔画像４７）の映像信号を顔画像処理装置ｂのA/D変換器１１によりA/D変換しディジタル階調画像に変換して、画像処理回路２０に出力する。かかる顔画像の撮像時の初期状態においては近赤外照明２は消灯されている。
【００３６】
次に、ステップＳＴ１１においてノイズ除去手段としての画像処理回路２０によりＸ軸方向の隣接した３画素の画素レベルを平均化し、高空間周波数のノイズを除去して、画像のざらつきを少なくした後、ステップＳＴ１２で明暗検出手段は入力インタフェース１０より照度センサ４の出力を読みとり、ステップＳＴ１３で運転者の周囲環境が夜間、トンネル内等暗い状態即ち前記出力が暗状態であるか否かを判定する。ここで、暗状態でなければ、ステップＳＴ１４で後述する黒レベル抽出フィルタ２３（図３）は画像中よりＸ軸方向の所定画素長以下の領域の黒レベルを抽出するとともに、ステップＳＴ１５で近赤外照明２が点灯されていれば、次のサイクルの撮像に備えて出力インタフェース１３より照明制御手段３に消灯信号を送出して近赤外照明２を消灯し、暗状態であれば、ステップＳＴ１６で同じく後述する白レベル抽出フィルタ２４（図３）は画像中よりＸ軸方向の所定画素長以下の領域の白レベルを抽出するとともに、ステップＳＴ１７で近赤外照明２が消灯されていれば、次のサイクルの撮像に備えて同様に照明制御手段３に点灯信号を送出して近赤外照明２を点灯する。
【００３７】
続いて、ステップＳＴ１８において２値化手段は黒レベル抽出フィルタ２３あるいは白レベル抽出フィルタ２４通過後の画像を浮動２値化して２値画像に変換する。上記の黒レベル抽出フィルタ２３、白レベル抽出フィルタ２４及び２値化手段は、後述のごとく画像処理回路２０内にハードウェアにより構成されている。
【００３８】
次に、ステップＳＴ１９において、画像処理回路２０から出力された２値画像は２値形式のフレームメモリとして画像メモリ１２に記憶される。ステップＳＴ２０において、目領域検出手段はかかる画像メモリ１２に記憶された画像データを処理して画像中より目領域を検出し、ステップＳＴ２１において、瞬目検出手段は目領域検出手段により検出された目領域の画像データにより目の開閉を判定する。ステップＳＴ２２において、居眠り判定手段は、瞬目検出手段により検出された目の開閉パターンから居眠り状態の有無を判定し、居眠り状態と判定した場合、出力インタフェース１７に信号を送り出し、例えば出力インタフェース１７に接続した図示しない警報手段で運転者に警報を発するようにする。
【００３９】
これら一連の動作はCCD撮像タイミング信号にあわせて、ROM１５に記憶された命令によりCPU１４で制御され、RAM１６は制御、演算中の一時的なデータの記憶、保持に用いられる。
【００４０】
次に、レベル抽出フィルタにつき図３以降を用いてさらに詳細に説明する。
図３は画像処理回路２０のブロック図であり、２１は３画素平均化フィルタで、前述のごとく高周波ノイズ成分を除去して入力画像のざらつきをなくし、２２はレベル抽出フィルタの切り換え手段であり、明暗検出手段の出力でスイッチＳＷ１によりフィルタを黒レベル抽出フィルタ２３と白レベル抽出フィルタ２４のいずれかに切り換える。
【００４１】
黒レベル抽出フィルタ２３は最大値（MAX）フィルタ２０１ａ、最小値(MIN）フィルタ２０２ａ、引き算器２０３ａよりなる。先ず、最大値フィルタ２０１ａは画像走査軸に沿ってある着目画素の前後のフィルタ長である所定画素長の各画素の画素レベルの最大値を前記着目画素の値とし、次に最小値フィルタ２０２ａは最大値フィルタ２０１ａの出力画像より、ある着目画素の左右の前記フィルタ長の各画素の画素レベルの最小値を前記着目画素の値とし、最後に引き算器２０３ａで最小値フィルタ２０２ａの出力画像より入力画像を引き算することにより、入力画像中より前記所定画素長以下の黒レベルのみを抽出する。
【００４２】
他方、白レベル抽出フィルタ２４は最小値フィルタ２０２ｂ、最大値フィルタ２０１ｂ、引き算器２０３ｂよりなる。先ず、最小値フィルタ２０２ｂで同様にフィルタ長である所定画素長の各画素の画素レベルの最小値をとり、次に最大値フィルタ２０１ｂで最小値フィルタ２０２ｂの出力画像より前記フィルタ長の各画素の画素レベルの最大値をとり、最後に入力画像より最大値フィルタ２０１ｂの出力画像を引き算するようにして、入力画像中より前記所定画素長以下の白レベルのみを抽出する。
【００４３】
かかる黒、白レベル抽出フィルタ２３、２４の出力画像は、２値化手段２６と２値化閾値演算手段２５とに入力され、画像レベルより２値化閾値演算手段２５により２値化閾値SHLが算出され、かかる２値化閾値SHLにより２値化手段２６で２値化されて２値画像に変換される。
【００４４】
ここで、黒レベルの抽出フィルタ２３のフィルタ長は、画像上での平均的な目の上下幅に余裕度を掛けた画素長とし、本実施の形態では３０画素長の値を用いている。また、白レベル抽出フィルタ２４のフィルタ長は、画像上での平均的な瞳孔直径に同様に余裕度を掛けた画素長とし、本実施の形態では２０画素長の値を用いている。
【００４５】
図４は、従来例では２値化に失敗した日中の顔画像４７の同一部分（線AOA'上）の画素レベルを、本実施の形態において黒レベル抽出フィルタ２３を通過後、２値化するまでの各段階での変化を示している。３画素平均化フィルタ２１を通過した画像ｆ１の画素レベルは、最大値フィルタ２０１ａ、最小値フィルタ２０２ａを通過後の画像ｆ２では、フィルタ長以下の画素レベルがフィルタ長で切ったレベルに固定され、さらに画像ｆ２から引き算器２０３ａで画像ｆ１の画素レベルを引くと、画像ｆ３に示すように前記フィルタ長以下の領域の黒レベルのみが抽出される。従って、２値化閾値演算手段２５により演算された閾値で２値化手段２６により画像ｆ３を２値化して得られた２値画像ｆ４は、図５の２値画像４０にも示すように、入力顔画像中より眉、目、鼻孔、口裂のみが抽出された２値画像となる。
【００４６】
従って、太陽光による外乱即ち、太陽の高度や向き、木漏れ日下走行時等の周囲環境等によっては顔に陰影が生じるような場合でも、画像４０のように眉、目、鼻孔、口裂という顔の特徴領域がはっきり抽出されるという利点がある。また、前記目の上下幅により設定したフィルタ長に対して顔縦方向に広い黒領域は抽出されないため、髪形等個人差の大きな頭髪部をはじめから除去でき、顔の個人差の影響を受けにくいという利点もある。
また、前述のごとく個人差の大きな頭髪部を除いて顔の特徴領域がはっきり抽出されるため、比較的簡単なアルゴリズムで顔画像より目を短時間で検出できる。
さらに、画像状態に応じてレベル抽出フィルタを切り換えて目を精度良く検出する。
【００４７】
図６は運転者ｐの周囲が暗い状態で近赤外照明２を点灯させて運転者ｐを撮像した顔画像であり、近赤外照明２の出力が小さいため顔は撮像されないが、瞳孔は網膜反射により図のごとく明るく撮像される。このような場合には、図２のステップＳＴ１２において明暗検出手段の出力によりフィルタ切り換え手段でスイッチＳＷ１が白レベル抽出フィルタ２４の側に切り換えられ、前記設定フィルタ長より上述のように白レベル抽出処理が行われて２値画像４２に示すように瞳孔のみが抽出され、かかる瞳孔がステップＳＴ２０で目領域検出手段により目として検出される。
【００４８】
従って、夜間等の暗状態でも光量の小さな近赤外照明２のみで運転者ｐの顔面周辺を照明して顔を撮像すればよいため、光源が小型で且つ安価になるとともに、消費電力が小さいという利点がある。
【００４９】
図７は最大値フィルタ２０１の回路構成図である。最大値フィルタ２０１は、１画素ずつ画素を遅延する画素遅延回路３０（図では遅延回路３０の一部を略している）と、遅延後の画素と遅延前の画素のレベルを比較して大きいレベルを出力する比較回路３１とからなっている。入力端子DATA INからの画像入力信号を画素遅延回路３０により制御端子CLOCKからの制御信号のタイミングで１画素遅延しつつ、比較回路３１により隣接する画素レベルを順次トーナメント形式で比較していき、最終的にフィルタ出力FLT OUTから、図では遅延回路３１の両端の節の数である２０画素長の最大値が出力される。最小値フィルタ２０２も最大値フィルタ２０１と同様の回路で構成されているが、比較回路３１は遅延後の画素と遅延前の画素のレベルを比較して小さいレベルを出力するものであり、最終的にフィルタ出力FLT OUTから、同じく２０画素長の最小値が出力される。即ち、最大値フィルタ２０１及び最小値フィルタ２０２は、上記のように簡単な回路構成のハードウエアであり、また、引き算器２０３及び２値化手段２６もハードウエアで構成され画像の走査と同一制御タイミングで処理されるため、目の検出のための顔の特徴領域抽出が安価にできるとともに、レベル抽出フィルタ処理、２値化処理がリアルタイムで高速に実行できる。
【００５０】
実施の形態２．
上記実施の形態１においては、レベル抽出フィルタの切り換えに用いる明暗検出手段として照度センサ４を用いた場合を示したが、照度センサ４のような運転者ｐの周囲の明るさを検知する検知手段を用いずに、撮像した顔画像自体の明るさより明暗判定を行ってもよい。
【００５１】
例えば、顔画像の映像信号をA/D変換したディジタル階調画像の画像レベルを全画素あるいは所定画素範囲にわたって積分して画像平均輝度を求め、かかる画像平均輝度で明暗判定をしてもよいし、図示しないが、カメラ１の映像信号処理回路１ｂに一般的に具備されている、画像輝度を基に映像信号の利得を制御する自動利得制御（AGC）回路の制御信号やCCD１ａの画像蓄積時間を制御する電子シャッター回路の出力を、A/D変換器１１や入力インタフェース１０に入力して画像処理部ｂに取り込み、これらの信号より、例えばシャッター速度が1/60秒即ち開放状態で且つAGC制御信号が制御範囲を逸脱して高利得側に張り付いている場合を暗状態とし、それ以外の状態を明状態とする明暗判定を行ってもよい。
かかる場合においても実施の形態１と同等の効果を奏する。
【００５２】
実施の形態３．
上記実施の形態１においては黒レベル抽出フィルタ２３と白レベル抽出フィルタ２４を各々別回路で構成した例を示したが、最大値フィルタ２０１及び最小値フィルタ２０２を各１回路配置し、かかる回路の接続順序を切り換えて上記２種類のレベル抽出フィルタを構成することもできる。
【００５３】
図８は本発明の実施の形態３の画像処理回路の回路ブロック図であり、フィルタ切り換え手段２２によってスイッチＳＷ１、ＳＷ２を切り換えると共に引き算器２０３の引き算順序を切り換えることにより、黒レベル抽出フィルタ２３と白レベル抽出フィルタ２４とを構成する。図８のスイッチＳＷ１、ＳＷ２の位置は黒レベル抽出フィルタ２３を構成した場合を示しており、図示するごとく３画素平均化フィルタ２１の出力画像即ちレベル抽出フィルタへの入力画像が、最大値フィルタ２０１、最小値フィルタ２０２の順に処理され、引き算器２０３で前記入力画像より最小値フィルタ２０２の出力画像が引き算されることにより黒レベル抽出フィルタとして機能する。フィルタ切り換え手段２２によりスイッチＳＷ１、ＳＷ２を反転させ、引き算順序を上記と切り換えれば、入力画像は最小値フィルタ２０２、最大値フィルタ２０１の順に処理され、引き算器２０３で最大値フィルタ２０１の出力画像より前記入力画像が引き算されて白レベル抽出フィルタ２４として機能する。
【００５４】
かかる実施の形態によれば、最大値フィルタ２０１、最小値フィルタ２０２、引き算器２０３を各々１ずつ省略できるため、回路規模が簡略化され装置をより安価に製造できるという利点がある。
【００５５】
実施の形態４．
上記実施の形態３では、最大値フィルタ２０１及び最小値フィルタ２０２の接続順序を切り換えることにより２種類のレベル抽出フィルタを構成した場合を示したが、最大値フィルタ２０１、最小値フィルタ２０２の回路構成が同等であることに着目して、１種類のフィルタ回路で前記２種類のレベル抽出フィルタを構成ですることもきる。
【００５６】
図９は本発明の実施の形態４の画像処理回路の回路ブロック図、図１０は最大最小値（MAX／MIN）フィルタ２０４の回路構成図である。
図１０においては、実施の形態１の図７と異なり、最大最小値フィルタ２０４の各比較回路３２には、遅延回路３０の入出力画素レベルの大小のいずれをとるかを選択する制御信号MAX／MINが入力されている。図１０において、制御信号MAX／MINがMAX側にある場合には、各比較回路３２は遅延回路３０の入出力画素レベルの大きな方を選択するため、トーナメント比較階層の最終段出力であるフィルタ出力FLT OUTからはフィルタ長の画素レベルの最大値が出力される。逆に、制御信号MAX／MINがMIN側にある場合には、各比較回路３２は遅延回路３０の入出力画素レベルの小さな方を選択するため、出力FLT OUTからはフィルタ長の画素レベルの最小値が出力される。即ち最大最小値フィルタ２０４は制御信号MAX／MINの切り換えにより最大値フィルタ、最小値フィルタの双方の機能を持つ。
【００５７】
図９に示すように、この実施の形態４の画像処理回路２０ａでは、かかる最大最小値フィルタ２０４を２つ直列に接続し、フィルタ切り換え手段２２で制御信号MAX／MIN及び引き算器２０３の引き算順序を切り換えて黒レベル抽出フィルタ２３と白レベル抽出フィルタ２４とを構成する。即ち、黒レベル抽出フィルタ２３として機能させたい場合は、１段目の最大最小値フィルタ２０４をMAX側に、２段目の最大最小値フィルタ２０４をMIN側にし、白レベル抽出フィルタ２４として機能させたい場合は各段の最大最小値フィルタ２０４を各々逆側に切り換える。このとき引き算器２０３の引き算順序も実施の形態２と同様に切り換える。
【００５８】
即ち、かかる実施の形態においても実施の形態３と同様の効果が得られるとともに、フィルタ切り換え用のスイッチＳＷ１、ＳＷ２が省略でき、また同一の回路を使用するためより回路を簡略化できる。
【００５９】
実施の形態５．
図１１乃至図１６は本発明の実施の形態５を表しており、この実施の形態５は２種類のレベル抽出フィルタのフィルタ切り換えを運転者ｐの顔画像からの目検出結果を基に行うようにしたものである。図１１はこの実施の形態５の顔画像処理装置を用いた運転者状態検出のフローチャート、図１２はレベル抽出フィルタを黒レベル抽出あるいは白レベル抽出に切り換えるフィルタ型切換判定手段のフローチャート、図１３は目領域検出手段のフローチャートであり、図１４乃至図１６は目領域検出の画像での説明図で、図１４は黒レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸ヒストグラム、図１５は目の候補領域のＸ軸ヒストグラム、図１６は白レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸ヒストグラムを各々示している。
【００６０】
以下、本実施の形態について上記各図を用いて説明する。
図１１において、先ずステップＳＴ３０で装置起動時の初期設定状態であるか否かを判定し、初期設定状態であれば、ステップＳＴ３１でレベル抽出フィルタを先ず黒レベル抽出フィルタ２３とし、ステップＳＴ３２で近赤外照明２を消灯しておく。初期設定状態でなければ、ステップＳＴ３３で後述するフィルタ型切換判定手段のルーチンにおいて設定されるフィルタ切り換えフラグ（FLAG）が立っている（ON）か否（OFF）かを判定し、フィルタ切り換えFLAGがONであれば、ステップＳＴ３４でレベル抽出フィルタをもう一方に切り換えるとともに、ステップＳＴ３５で近赤外照明２の点灯、消灯を切り換える。フィルタ切り換えFLAGがOFFであれば、上記ステップＳＴ３４、ステップＳＴ３５を省略する。
【００６１】
次に、図２と同様のステップＳＴ１０からステップＳＴ１１まで及びステップＳＴ１８からステップＳＴ１９までの処理を行った後、ステップＳＴ２０において、後述する目領域検出手段がレベル抽出フィルタ処理後の２値顔画像より目を検出し、ステップＳＴ３６でフィルタ型切換判定手段が目の検出結果に基づきレベル抽出フィルタを切り換えるべきか否かを判定してフィルタ切り換えFLAGを出力する。最後に、図２と同様にステップＳＴ２１からステップＳＴ２２までを実行する。
【００６２】
フィルタ型切換判定手段の処理ルーチンは以下の通りである。
図１２において、先ず、ステップＳＴ３６０で目領域検出手段により判定された目検出FLAGの状態を調べ、目検出FLAGがONであればステップＳＴ３６１でFLAG状態数NEFを１インクリメントし、OFFであればステップＳＴ３６２でNEFを１デクリメントする。即ち、FLAG状態数NEFは２値顔画像における所定の画像数Nでの目の検出成績を表しており、NEF＝Nが検出確率１００％、NEF＝０が検出確率５０％を示す。
【００６３】
次に、ステップＳＴ３６３で所定期間経過したか否かを画像数で判定し、所定画像数N以上となった場合には、ステップＳＴ３６４でFLAG状態数NEFが最低許容目検出確率に相当するMINNEF以下であるか否かを判定し、MINNEF以下であった場合には、目の検出上現状のレベル抽出フィルタ処理が適合していないとして、ステップＳＴ３６５でフィルタ切り換えFLAGをONにする。NEFがMINNEFを越えていた場合には、現状のレベル抽出フィルタ処理が適合しているとして、ステップＳＴ３６６でフィルタ切り換えFLAGをONにする。最後に、ステップＳＴ３６７でFLAG状態数NEFを０にリセットする。ステップＳＴ３６３において所定画像数Nを経過していない場合には、ステップＳＴ３６４からステップＳＴ３６７までを省略してメインルーチンへ戻る。
【００６４】
２値顔画像よりの目検出は以下のように行われる。
図１３において、先ず、画像メモリ１３に記憶された２値画像データを読み出し、ステップＳＴ２００で各画像軸Ｘ、Ｙ方向に沿った画素を画像軸Ｙ、Ｘの各位置について積算したＸ軸ヒストグラムSUMX、Ｙ軸ヒストグラムSUMYをそれぞれ求め、ステップＳＴ２０１で、
［式１］ XFC＝ΣｉＸｉSUMX（Ｘｉ）／ΣｉSUMX（Ｘｉ）
YFC＝ΣjＹjSUMX（Ｙj）／ΣjSUMX（Ｙj）
として顔重心FCの位置座標（XFC，YFC）を算出する。ここでΣｉSUMX（Ｘｉ）＝ΣjSUMX（Ｙj）であり、ΣjSUMX（Ｙj）は実際には計算を要しない。図１４に黒レベル抽出フィルタ２３で処理した２値画像４０、図１６に白レベル抽出フィルタ２３で処理した２値画像４２の各々SUMX、SUMY、顔重心FC４０１を示している。
【００６５】
次に、ステップＳＴ２０２でレベル抽出フィルタ処理が明状態処理即ち黒レベル抽出フィルタ処理であるか否かを調べ、明状態処理の場合には、ステップＳＴ２０３以降を実行する。
【００６６】
図１４に示すように、黒レベル抽出フィルタ２３で処理された２値画像４０においては、頭髪を除いた眉、目、鼻孔、口裂という顔の特徴領域が抽出されるため、顔重心FC４０１の近くに略左右対称に目領域が存在する。そこで、ステップＳＴ２０３で顔重心位置座標（XFC，YFC）を基に一組の矩形の候補存在領域４０２を設定して目の候補の検索領域を限定し、ステップＳＴ２０４で候補存在領域４０２内のＹ軸ヒストグラムSUMYが所定の閾値SHL以上の領域EABを候補領域４０３として設定する。図では眉領域に相当するEAB1と目領域に相当するEAB2が設定される。
【００６７】
続いて、ステップＳＴ２０５で候補領域EAB４０３中に目領域が存在するか否かを判定する。目領域の判定方法は、図１５に示すように、候補存在領域４０２内の各候補領域EAB４０３のＸ軸ヒストグラムSUMXを求め、その最大値SUMXMAXと半値幅EAWを基に目領域を判定する。目領域は、図示のごとく、顔の他の特徴領域に比べ最大値SUMXMAXが大きく、半値幅EAWが小さいという特徴があり、かかる特徴に着目して目領域を判定している。他方の候補存在領域４０２内の各候補領域EAB４０３についても同様の判定が行われる。
【００６８】
最後に、ステップＳＴ２０５で目領域が存在すると判定した場合には、ステップＳＴ２０６で目検出FLAGをONにし、逆に目領域が存在しないと判定した場合には、ステップＳＴ２０７で目検出FLAGをOFFにして処理をメインルーチンに戻す。
【００６９】
他方、ステップＳＴ２０２でレベル抽出フィルタ処理が明状態処理でない場合、即ち白レベル抽出フィルタ処理の場合には、ステップＳＴ２０８以降を実行する。図１６に示すように、白レベル抽出フィルタ２４で処理された２値画像４２においては、殆ど瞳孔領域のみが抽出されており、やはり顔重心FC４０１の近くに略左右対称に瞳孔領域が存在する。そこで、ステップＳＴ２０８で前述と同様に顔重心FC４０１を基に一組の矩形の候補存在領域４０２を設定して瞳孔の候補の検索領域を限定し、ステップＳＴ２０９で同様に候補領域EAB４０３を設定し、ステップＳＴ２１０で候補領域EAB４０３中より瞳孔領域を判定する。瞳孔領域は、候補領域EAB４０３のＸ軸ヒストグラムSUMXの幅と、Ｙ軸ヒストグラムSUMYの幅と、その比及び一組の候補存在領域４０２内のＸ軸ヒストグラムSUMXのピーク位置YPR、YPL間の距離DOEより判定している。
【００７０】
最後に、ステップＳＴ２１０で瞳孔領域が存在すると判定した場合には、同様にステップＳＴ２０６で目検出FLAGをONにし、逆に瞳孔領域が存在しないと判定した場合には、同様にステップＳＴ２０７で目検出FLAGをOFFにして処理をメインルーチンに戻す。
【００７１】
かかる実施の形態においても、実施の形態１と同様の効果があるとともに、２種類のレベル抽出フィルタのフィルタ切り換えをその結果である顔画像よりの目検出結果でフィードバックして行うようにしたため、レベル抽出フィルタの選定が的確にでき、より確実に目が検出できるという利点がある。
【００７２】
実施の形態６．
実施の形態５では２種類のレベル抽出フィルタのフィルタ切り換えを顔画像よりの目検出結果を基に行うようにしたが、目検出の前段階でフィルタ切り換えの判定が可能である。
【００７３】
図１７及び図１８は本発明の実施の形態６を表しており、この実施の形態６はレベル抽出フィルタの出力顔画像中の抽出画素領域の割合によりレベル抽出フィルタの切り換えを行うようにしたものである。図１７は実施の形態６の顔画像処理を用いた運転者状態検出のフローチャート、図１８は図１７のフィルタ切換型判定手段のフローチャートである。
【００７４】
図１７において、図１１のステップＳＴ３０からステップＳＴ３５まで、ステップＳＴ１０からステップＳＴ１１まで及びステップＳＴ１８からステップＳＴ１９までの処理を行った後、ステップＳＴ４０で後述するフィルタ型切換判定手段が、レベル抽出フィルタの出力顔画像中の抽出画素領域の割合によりレベル抽出フィルタを切り換えるべきか否かを判定してフィルタ切り換えFLAGを出力する。
【００７５】
フィルタ型切換判定手段の処理ルーチンは以下のようである。
図１８において、先ず、ステップＳＴ４００で２値画像データを読み出し、２値画像のＸ軸ヒストグラムSUMX、Ｙ軸ヒストグラムSUMYを求め、ステップＳＴ４０１でＸ軸ヒストグラムSUMX、Ｙ軸ヒストグラムSUMYにおける極大ピークの内各々極大値が所定の閾値SHLX、SHLY（図示せず）を越える極大ピークの数NPX、NPYを求める。かかるピーク数NPX、NPYは後述のごとくレベル抽出フィルタ処理した２値画像の複雑さを示すものである。
【００７６】
次に、ステップＳＴ４０２でレベル抽出フィルタ処理が明状態処理か否かを調べ、明状態処理の場合はステップＳＴ４０３以降でピーク数NPX、NPYの数を調べる。日中の明るい状態で黒レベル抽出フィルタ２３処理された２値画像では、図１４に示すように、顔の各特徴領域に相当する黒画素領域が多数抽出され、ヒストグラムSUMX、SUMYの大きな極大ピークが４カ所以上存在する。しかしながら、周囲が暗くなると入力画像のコントラストが極めて悪化するため、全体に幅の広い黒領域となって、黒レベル抽出フィルタ２３の処理では、全く黒画素領域が抽出されないか、黒画素領域が抽出されても抽出画像のコントラストが極めて小さく２値化ができないため、抽出領域の数が少なくなる。従って、ヒストグラムSUMX、SUMYの大きな極大ピークは出現しないか、出現しても極めて数が少なくなる。
【００７７】
そこでステップＳＴ４０３において、先ずＸ軸ヒストグラムSUMXのピーク数NPXが所定値NPXB以下か否かを調べ、NPXB以下であれば、ステップＳＴ４０４でＹ軸ヒストグラムSUMYのピーク数NPYが所定値NPYB以下か否かを調べ、NPYB以下であれば、レベル抽出フィルタが画像状態に適合していないとしてステップＳＴ４０５でフィルタ切り換えFLAGをONにし、これ以外の場合には、ステップＳＴ４０６でフィルタ切り換えFLAGをOFFにして、メインルーチンに戻す。
【００７８】
他方、ステップＳＴ４０２でレベル抽出フィルタ処理が明状態処理でない場合には、ステップＳＴ４０７以降でピーク数NPX、NPYの数を調べる。夜間等の暗い状態で白レベル抽出フィルタ２４により処理された２値画像では、図１６に示すように、殆ど瞳孔領域の白画素領域のみが抽出され、ヒストグラムSUMX、SUMYの大きな極大ピークの数は極めて少ない。しかしながら、周囲が明るくなると太陽光により顔の造作が映る状態となり、瞳孔領域が相対的に暗く撮像され、白レベル抽出フィルタ２４の処理では額や頬の一部、鼻頭、白目領域等の白画素領域が抽出されるようになって、抽出領域の数が増え、SUMX、SUMYは多数のピークを持つ複雑なヒストグラムとなる。
【００７９】
そこでステップＳＴ４０７において、先ずＸ軸ヒストグラムSUMXのピーク数NPXが所定値NPXD以上か否かを調べ、NPXD以上であれば、ステップＳＴ４０８でＹ軸ヒストグラムSUMYのピーク数NPYが所定値NPYD以上か否かを調べ、NPYD以上であれば、レベル抽出フィルタがやはり画像状態に適合していないとしてステップＳＴ４０５でフィルタ切り換えFLAGをONにし、これ以外の場合は、ステップＳＴ４０６でフィルタ切り換えFLAGをOFFにして、メインルーチンに戻す。
【００８０】
次に、図１７のメインルーチン上のステップＳＴ４１でフィルタ切り換えFLAGがONか否かを調べ、ONであれば画像状態が前述のごとく目検出に適合していないため、ステップＳＴ２０の目領域検出手段を省略してステップＳＴ４２で目検出FLAGをOFFにして後処理に移る。フィルタ切り換えFLAGがOFFであれば、ステップＳＴ２０の目領域検出手段を実行後、後処理に移る。
【００８１】
かかる実施の形態においても、実施の形態５と同様の効果があるとともに、レベル抽出フィルタ処理が目の検出に適合していない場合には、目領域検出手段を省略して処理するようにするとともに、ハードウエア化による高速処理が容易なヒストグラム演算の結果でレベル抽出フィルタの切り換え判定を行うようにしたため、顔画像処理がより高速化されるという利点がある。
【００８２】
実施の形態７．
尚、上記実施の形態においては、Ｘ軸ヒストグラムSUMX、Ｙ軸ヒストグラムSUMYの各所定閾値SHLX、SHLY以上の極大ピークのピーク数NPX、NPYによりレベル抽出フィルタの切り換え判定をするようにしたが、前記極大ピークのピーク数NPX、NPYと各極大値PXi、PYiの双方で評価関数を作成し、かかる評価関数で切り換え判定をするようにしてもよい。図示しないが、例えば評価関数EFとして、k1、k2を所定の重み係数とした、
［式２］ EF＝k1＊（NPX＋NPY）＋k2＊Σi（Pxi＋Pyi）
を用いて、明状態処理時には、前記EFが所定値以下であればフィルタ切り換えFLAGをONにし、暗状態処理時には、前記EFが所定値以上であればフィルタ切り換えFLAGをONにする。
【００８３】
さらに、レベル抽出フィルタ処理後の２値画像において、画像の全画素数NTに対する画像中の２値レベルの和ΣNの比ΣN／NTの大小、即ち画像中における抽出領域の面積の割合SDにより、前記SDが明状態処理時には所定値以下、暗状態処理時には所定値以上であれば、フィルタ切り換えFLAGをONにするようにしてもよい。また、抽出領域の数をラベリング等他の画像処理手段を用いて算出して切り換え判定するようにしてもよい。
かかる実施の形態においても、実施の形態６と同様の効果を奏する。
【００８４】
実施の形態８．
図１９乃至図２３は本発明の実施の形態８を表しており、この実施の形態８は、レベル抽出フィルタのフィルタ長を運転者ｐとカメラ１との距離に応じて可変にすることにより目をより精度良く抽出する顔画像処理装置の例を示すものである。図１９は実施の形態８の顔画像処理を用いた運転者状態検出のフローチャート、図２０は図１９におけるフィルタ長設定手段のフローチャート、図２１は運転者ｐと撮像部ａ’との距離検出部の構成図、図２２は可変長フィルタを含む画像処理回路の回路ブロック図、図２３はフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【００８５】
以下、本実施の形態を上記各図を用いて説明する。
図１９において、最初に、ステップＳＴ５０でフィルタ長設定手段によりレベル抽出フィルタのフィルタ長を設定する。
【００８６】
画面中での顔画像の大きさは運転者ｐと撮像部ａ’との距離Ｌに反比例することから、レベル抽出フィルタ長が一定の場合には、距離Ｌが近い場合、目領域の画面での大きさがフィルタ長より大きくなって目領域が抽出されなくなる。
【００８７】
そこで図２０に示すように、フィルタ長設定手段は、先ずステップＳＴ５００で運転者ｐと撮像部ａ’との距離Ｌを検出し、ステップＳＴ５０１で黒レベル抽出フィルタ長BFL、白レベル抽出フィルタ長DFLを、予め記憶された平均的運転姿勢から求めた基準距離Ｌ０、その基準距離Ｌ０での平均的顔画像より求めた各レベル抽出フィルタの基準長BFL0、DFL0を基にして、各々
［式３］ BFL＝BFL0＊Ｌ０／Ｌ
DFL＝DFL0＊Ｌ０／Ｌ
により算出し、ステップＳＴ５０２で前記フィルタ長BFL、DFLに最も近いフィルタ長に設定されるよう、後述するマルチプレクサの制御コードであるフィルタナンバーBN、DNを選定するとともに、ステップＳＴ５０３でフィルタ長切り換えFLAGをONにしてメインルーチンに戻す。
【００８８】
運転者ｐと撮像部ａ’との距離Ｌは、図２１に示すように、撮像部ａ’に設けられた距離検出部５により検出される。距離検出部５は近赤外光源５１、バンドパスフィルタ５２、レンズ５３、一次元光位置検知素子（PSD）５４、距離演算回路５５からなっている。ここで、一次元光位置検知素子（PSD）５４は素子上への光の入射位置に応じた電気出力を生じる受光素子であり、バンドパスフィルタ５２は近赤外光源５１の波長に合わせた透過帯を持ち、近赤外光源５１とレンズ５３の光軸は平行で基準長DBだけ離れている。
【００８９】
かかる構成にて、近赤外光源５１の放射光を運転者ｐに当て、運転者ｐからの拡散反射光をバンドパスフィルタ５２を介してレンズ５３により一次元光位置検知素子（PSD）５４上に集光させる。距離Ｌは一次元光位置検知素子（PSD）５４上の集光位置DXより、三角測量の原理を用いて距離演算回路５５で、
［式４］ Ｌ＝ｆ＊DB／DX
として求めて、実施の形態１と同様の画像処理部ｂ（図１）に距離Ｌのデータを送出する。
【００９０】
図１９において、ステップＳＴ５０で上述のごとくレベル抽出フィルタのフィルタ長を設定し、図２と同様のステップＳＴ１０からステップＳＴ１２までを実行した後、ステップＳＴ５１で運転者の周囲環境が暗状態であるか否かを判定し、暗状態でなければ、ステップＳＴ５２でフィルタ長切り換えFLAGがONか否かを調べる。ONであれば、ステップＳＴ５３で黒レベル抽出フィルタ２３をフィルタ長設定手段で設定したフィルタ長BFL対応のフィルタナンバーBNに切り換え、ONでなければ、ステップＳＴ５３を省略して以前の設定フィルタ長のままとし、ステップＳＴ５４で黒レベル抽出フィルタ２３により画像中より前記フィルタ長BFL以下の領域の黒レベルを抽出し、ステップＳＴ５５で近赤外照明２を消灯する。
【００９１】
ステップＳＴ５１で暗状態と判定された場合は、同様にステップＳＴ５６でフィルタ長切り換えFLAGがONか否かを調べ、ONであれば、ステップＳＴ５７で白レベル抽出フィルタ２４をフィルタ長DFL対応のフィルタナンバーDNに切り換え、ONでなければ、ステップＳＴ５７を省略して以前の設定フィルタ長のままとし、ステップＳＴ５８で白レベル抽出フィルタ２４により画像中より前記フィルタ長DFL以下の領域の白レベルを抽出し、ステップＳＴ５９で近赤外照明２を点灯する。この後、実施の形態１のステップＳＴ１８以下と同じ処理を行ってメインルーチンを終了する。
【００９２】
図２２に示すように、この実施の形態の画像処理回路２０ｂの黒レベル抽出フィルタ２３ａ及び白レベル抽出フィルタ２４ａは上記各実施の形態と同様にハードウエアで構成されており、黒レベル抽出フィルタ２３ａは、フィルタ長BFL切り換え手段２７ａの出力側に接続された最大値フィルタ２０５ａ及び最小値フィルタ２０６ａと引き算器２０３ａとよりなり、白レベル抽出フィルタ２４ａは、同じくフィルタ長BFL切り換え手段２７ｂの出力側に接続された最小値フィルタ２０６ｂ及び最大値フィルタ２０５ｂと引き算器２０３ｂとよりなる。
【００９３】
黒レベル抽出フィルタ２３ａは、先ず最大値フィルタ２０５ａによりフィルタ長BFL切り換え手段２７ａで指定されたフィルタナンバーBNに相当する画素長の画素レベルの最大値をとり、次に最小値フィルタ２０６ａにより最大値フィルタ２０５ａの出力画像より、同様にフィルタナンバーBNに相当する画素長の画素レベルの最小値をとり、最後に引き算器２０３ａで最小値フィルタ２０６ａの出力画像より入力画像を引き算するようにして、入力画像中より前記フィルタナンバーBNで指定した画素長以下の黒レベルのみを抽出する。
【００９４】
他方、白レベル抽出フィルタ２４ａは、最小値フィルタ２０６ｂで同様にフィルタ長DFL切り換え手段２７ｂで指定されたフィルタナンバーDNに相当する画素長の画素レベルの最小値をとり、次に最大値フィルタ２０５ｂで最小値フィルタ２０６ｂの出力画像より、フィルタナンバーDNに相当する画素長の画素レベルの最大値をとり、最後に入力画像より最大値フィルタ２０５ｂの出力画像を引き算するようにして、入力画像中より前記フィルタナンバーDNで指定した画素長以下の白レベルのみを抽出する。
【００９５】
この実施の形態の画像処理回路２０ｂの上記以外の構成、作用は実施の形態１の画像処理部２０の構成と同様である。
【００９６】
図２３はかかるフィルタ長可変のMAXあるいは最小値フィルタの回路構成図を示しており、３３はマルチプレクサで、ここでは５つの画素遅延回路３０の内の３つの画素遅延回路３０の入出力４つの内より１つを選択して出力するマルチプレクサ３３を６回路用いた最大値フィルタの例を示している。各マルチプレクサ３３には、フィルタ長をフィルタナンバーとして指定する制御信号MPCNTが入力されており、比較回路３１は各５つの画素遅延回路３０の入力とマルチプレクサ３３の出力をトーナメント形式で比較して大きい側の画素レベルを出力する。
【００９７】
かかる回路において、制御信号MPCNTがフィルタナンバー１を指示した場合には、先ず１段目のマルチプレクサ３３は最初の画素より５画素遅延した画素レベルを出力し、１段目の比較回路３１は前記最初の画素と前記５画素遅延した画素とを比較して大きい方の画素レベルを出力し、２段目の比較回路３１は１段目の比較結果とさらに５画素遅延した２段目のマルチプレクサ３３の出力を比較し、このような具合に順次トーナメント形式で比較していって最終的に出力FLT OUTより５画素飛びに比較した３１画素長の最大値が出力される。例えば、フィルタナンバー３を指示した場合には、３画素飛びに比較した１９画素長の最大値が出力される。即ち、かかる最大値フィルタでは制御信号MPCNTによりフィルタ長が１３画素長より３１画素長まで６画素長おきに４段階に可変される。
【００９８】
尚、フィルタ長可変の最小値フィルタも比較回路３１で小さい側の画素レベルを出力するようにして、同様に構成される。
【００９９】
かかる実施の形態においては、運転者ｐと撮像部ａ’との距離Ｌに応じ画面中での顔画像の大きさに合わせてレベル抽出フィルタのフィルタ長を変化させるようにしたため、運転者の運転姿勢に係わらず目を確実に検出できるという利点がある。
【０１００】
尚、上記実施の形態においては、フィルタ長可変の黒レベル抽出フィルタ２３ａ、白レベル抽出フィルタ２４ａをフィルタ長制御信号MP CNTを設けた別々の最大値フィルタ２０５ａ、２０５ｂ、最小値フィルタ２０６ａ、２０６ｂを用いて構成した場合を示したが、実施の形態３の図８の最大値フィルタ２０１、最小値フィルタ２０２あるいは、実施の形態４の図９の最大最小値フィルタ２０４をフィルタ長制御信号MP CNTを設けたフィルタで構成して黒レベル抽出と白レベル抽出を切り換えるようにしてもよい。
【０１０１】
実施の形態９．
上記各実施の形態においては、運転者ｐと撮像部ａ、ａ’との距離Ｌを距離センサを用いて直接検出する場合につき示したが、距離Ｌを間接的に求めるようにしても良い。
【０１０２】
図２４は運転席の模式図、図２５は距離Ｌ算出のフローチャートであり、６は距離検出部で、運転席のシート座部６１の前後方向位置Ｘがシート座部６１に内蔵された変位センサ６２で求められ、シート背もたれ部６３の角度θがシート座部６１とシート背もたれ部６３のピボット部に内蔵された角度センサ６４により求められて、画像処理装置ｂに送出されて距離Ｌが演算される。
【０１０３】
画像処理部ｂでは、図２５に示す距離Ｌ演算ルーチンにおいて、ステップＳＴ５０００で変位センサ６２よりシート位置Ｘを、ステップＳＴ５００１で角度センサ６４よりシート角度θを読み込み、ステップＳＴ５００２で運転者ｐと撮像部ａとの距離Ｌが、予め記憶されているシート座部６１の基準位置Ｘ0、シート背もたれ部６３のヘッドレスト部までの長さHL、人の頭の平均的な前後厚HD、撮像装置ａの仰角φを用いて、
［式５］ Ｌ＝（Ｘ＋Ｘ0＋HL＊sinθ−HD）／cosφ
で算出される。
かかる実施の形態においても、実施の形態８と同様の効果を奏する。
【０１０４】
実施の形態１０．
図２６及び図２７は本発明の実施の形態１０を表しており、この実施の形態１０はレベル抽出フィルタのフィルタ長を画像中での目領域あるいは瞳孔領域の大きさに応じて可変にすることにより、目をより精度良く抽出する顔画像処理装置の例を示すものである。図２６は実施の形態１０のフィルタ長設定手段のフローチャート、図２７はフィルタ長設定手段におけるフィルタ長学習手段のフローチャートである。
【０１０５】
以下、本実施の形態を上記各図を用いて説明する。
図２６において、先ずステップＳＴ５１０で顔画像処理装置が起動直後状態であるか否かを調べ、起動直後であればステップＳＴ５１１で黒レベル抽出フィルタ２３、白レベル抽出フィルタ２４のフィルタ長を予め記憶している各初期値FL0に設定する。初期値FL0は黒レベル抽出フィルタ２３、白レベル抽出フィルタ２４につき顔画像上での各々人の平均的な開眼時の目領域の上下幅、瞳孔の直径に相当する画素長に各々所定の係数を掛けた値に設定する。
【０１０６】
装置が起動直後でなければ、ステップＳＴ５１２で装置起動後所定時間経過しているか否かを調べる。運転者の覚醒が低下すると、開眼時においても次第に上瞼が下がって目領域の上下幅が小さくなるが、これに合わせてフィルタ長を短くしていくと、何らかの刺激で一時的に運転者の覚醒水準が上がり、目領域の上下幅が突然大きくなった場合には、レベル抽出フィルタでの目の抽出ができなくなる。そこで、レベル抽出フィルタ長の設定を装置起動後の運転者の覚醒状態において行い、装置起動後から所定時間経過した時、ステップＳＴ５１３でフィルタ長切り換えFLAGをOFFにし、これ以降のフィルタ長の更新を禁止する。装置起動後所定時間経過していなければ、ステップＳＴ５２０で後述するフィルタ長学習手段の処理ルーチンを行う。
【０１０７】
次に、ステップＳＴ５２１で所定の画像数Ｎ処理したか否かを判定し、画像処理数がＮに達していない場合には、ステップＳＴ５２２で一つ前の画像での目検出手段ＳＴ２０における目検出FLAGがONであるか否かを判定し、ONである場合には、ステップＳＴ５２３で目検出FLAG状態数NEFを１インクリメントし、ONでない場合には、ステップＳＴ５２４でNEFを１デクリメントした後、ステップＳＴ５１３でフィルタ長切り換えFLAGをOFFしてメインルーチンに戻す。
【０１０８】
画像処理数がＮに達した場合には、ステップＳＴ５２５で所定画像数Ｎ内での目の検出成績を表す目検出FLAG状態数NEFを前回のFLAG状態数NEFOLDと比較し、NEFがNEFOLDより大ならば、フィルタ長切り換えによる効果が見られるものとして、より検出成績が向上することを期待してステップＳＴ５２６で前記フィルタ長学習手段で求めたフィルタ長FLに対応するフィルタナンバーFNを選択し、ステップＳＴ５２７でフィルタ長切り換えFLAGをONにしてフィルタ長を変え、逆にNEFがNEFOLD以下ならば、ステップＳＴ５２８でフィルタ長切り換えFLAGをOFFにする。最後に、ステップＳＴ５２９でNEFをNEFOLDに代入してNEFOLDを更新するとともに、NEFをクリアしてメインルーチンに戻す。
【０１０９】
フィルタ長学習手段の処理ルーチンは図２７に示す通りであり、ここでは黒レベル抽出フィルタ２３により処理した画像につき説明する。
先ず、ステップＳＴ５２００で目検出FLAGがONか否か、ステップＳＴ５２０１で目領域が開眼状態であるか否かを調べ、目検出FLAGがONで目領域が開眼状態である場合のみ以下の処理を実行し、そうでない場合にはファイル長設定手段のルーチンに戻す。
【０１１０】
ステップＳＴ５２０２では、目領域検出手段によりＳＴ２０で検出された２値顔画像の目領域の内、開眼状態の目領域の顔縦方向のヒストグラム、即ちＸ軸ヒストグラムSUMXの最大値SUMXMAXの最新の記憶値MSUMXMAXを読み出す。図１５に示すように、SUMXMAXは開眼時の目領域の上下幅の画素長に等しい。次に、ステップＳＴ５２０３で同様に最新の開眼状態の目領域のSUMXMAXを読み出し、ステップＳＴ５２０４でSUMXMAXより記憶値MSUMXMAXを引き算し、ステップＳＴ５２０５でSUMXMAXが記憶値MSUMXMAXより大ならば、ステップＳＴ５２０６でMSUMXMAXをSUMXMAXで更新する。
【０１１１】
最後に、ステップＳＴ５２０７で画像数が所定の画像数Ｎに達したか否かを調べ、上記画像数がＮ以上である場合には、ステップＳＴ５２０８で画像数Ｎにおける開眼状態の目の上下幅の画素長の最大値を示すMSUMXMAXに所定の余裕幅FLOを加えた画素長FLを黒レベル抽出フィルタ２３のフィルタ長FLとして設定し、ステップＳＴ５２０９でMSUMXMAXをクリアする。画像数がＮに達しない場合には、ファイル長設定手段のルーチンに戻す。画像数Ｎは学習の効果を見ながら数百から千程度の任意の値に設定しておけばよい。
【０１１２】
前述したごとく、上記においては黒レベル抽出フィルタ２３にて処理した目領域の検出結果より黒レベル抽出フィルタ２３のフィルタ長FLを設定する場合につき示したが、白レベル抽出フィルタ２４のフィルタ長FLについても、白レベル抽出フィルタ２４で処理した画像につき上記と同じ処理を行って、開眼と判定された瞳孔領域のヒストグラムの画像数Ｎでの最大値MSUMXMAXを用いて全く同様に設定できる。
【０１１３】
かかる実施の形態においては、レベル抽出フィルタのフィルタ長を目領域検出手段で検出された目領域の上下幅あるいは瞳孔領域の大きさの関数値として設定したため、運転者の目の大きさの個人差による影響を排除して目を確実に検出できるという利点がある。
【０１１４】
また、前記関数値を目領域検出手段で検出された目領域の上下幅あるいは瞳孔領域の大きさの所定期間における最大値を基に設定したため、運転者の目の動きに拘わらず目をより確実に検出できるという利点がある。
【０１１５】
また、目検出の頻度の向上、低下を学習しフィルタ長の設定の更新を決定するようにしたため、目検出の頻度が最も高くなる最適なフィルタ長の設定が可能となる。
【０１１６】
さらに、顔画像処理装置の起動後の運転者の覚醒度の高い所定期間のみフィルタ長の更新を行い、以後は最新の更新フィルタ長を用いるようにしたため、運転者の覚醒が低下した状態でも、誤り無く目を確実に検出できるという利点がある。
【０１１７】
尚、上記実施の形態においては、フィルタ長FLを目領域の上下幅あるいは瞳孔領域の大きさの所定期間における最大値に所定値を加えた値としたが、前記最大値に所定係数を掛けた値等、前記最大値を基にした他の関数形を用いても良い。
【０１１８】
実施の形態１１．
図２８は本発明の実施の形態１１を表しており、この実施の形態１１は、目領域の上下幅あるいは瞳孔領域の大きさの所定期間における最大頻度値を基にレベル抽出フィルタのフィルタ長FLを設定する場合を示している。
【０１１９】
図２８は、実施の形態１１におけるフィルタ長学習手段のフローチャートであり、先ず実施の形態１０と同様に、ステップＳＴ５２２０で目検出FLAGがONか否か、ステップＳＴ５２２１で目領域が開眼状態であるか否かを調べ、目検出FLAGがONで目領域が開眼状態である場合のみ、ステップＳＴ５２２３で目領域あるいは瞳孔領域のＸ軸ヒストグラムSUMXの最大値SUMXMAXを読み出す。次いで、ステップＳＴ５２２３でSUMXMAXの度数分布HIST（SUMXMAX）を演算し、ステップＳＴ５２２４で画像数がＮに達したことを判定する。ステップＳＴ５２２５で所定画像数Ｎ内でのSUMXMAXの度数分布HISTの最大値をMHISTとし、度数分布HISTの標準偏差をSHISTとして、ステップＳＴ５２２６でレベル抽出フィルタのフィルタ長FLを、所定の重み係数K1、K2を用いて、
［式６］ FL＝K1＊MHIST＋K2＊SHIST
により設定する。最後に、ステップＳＴ５２２７で度数分布HISTをクリアしておく。
かかる実施の形態においても、実施の形態１０と同等の効果を奏する。
【０１２０】
上記実施の形態では、フィルタ長FLを所定期間における目領域の上下幅あるいは瞳孔領域の大きさの最大頻度値及び標準偏差を基に設定した場合を示したが、最大頻度値のみを用いて設定しても良いし、最大頻度値の代わりに度数分布HISTの平均値あるいは中央値を、標準偏差の代わりに分散を用いても良い。この場合、重み係数K1、K2は当然、用いる特性値により変更される。
【０１２１】
上記実施の形態１０、１１においては、レベル抽出フィルタのフィルタ長を目の検出結果による画像中での目領域あるいは瞳孔領域の大きさに応じて可変にするようにしたが、運転者ｐとカメラ１との距離Ｌに応じて先ずフィルタ長を変更させた後、前記目の検出結果によるフィルタ長の可変を行うようにしてもよい。
【０１２２】
実施の形態１２．
図２９はレベル抽出フィルタのフィルタ長を可変する他の構成の可変MAXあるいは最小値フィルタの回路構成図である。最大値フィルタとするか最小値フィルタとするかは、前述のごとく、比較回路３１で大きい側の画素レベルを出力させるか、小さい側の画素レベルを出力させるかにより変更されるが、以下最大値フィルタとして説明する。
【０１２３】
図２９では、全画素長２０の最大値を出力するよう１９階層の二つの入力の大きい側の画素レベルを出力する比較回路３１を設け、比較回路３１の９、１１、１３、１５、１７、１９階層目の出力をマルチプレクサ３３に入力して、マルチプレクサ３３よりかかる６入力の内の一つをFLT OUTとして出力する最大値フィルタの例を示している。
【０１２４】
かかる回路において、制御信号MPCNTが例えばフィルタナンバー４を指示した場合には、１３階層目の比較回路３１の出力が選択され１４階層目以降は無視されるため、出力FLT OUTより連続した１４画素長の最大値が出力される。また、フィルタナンバー１では、最高階層の比較出力が選択されて連続した２０画素長の最大値が出力される。即ち、かかる可変長フィルタでは制御信号MPCNTによりフィルタ長が１０画素長より２０画素長まで２画素長おきに６段階に可変される。
【０１２５】
かかる実施の形態においても、実施の形態８と同じように可変フィルタ長のレベル抽出フィルタを構成できるのみでなく、実施の形態８の図２３に示される可変MAXあるいは最小値フィルタに比較し、連続した画素の最大あるいは最小を検出するため画像分解能が落ちず、また、回路構成の複雑なマルチプレクサ３３が一つで済むため全体の回路構成を簡略化でき、フィルタ回路を安価に構成できるという利点がある。
【０１２６】
実施の形態１３．
図３０はレベル抽出フィルタのフィルタ長を可変にするさらに他の構成の可変MAXあるいは最小値フィルタの回路構成図である。
図３０において、スイッチ３４には、比較回路３１の出力信号と比較回路３１の後側の入力信号とが接続され、デコーダ３５の１ビット制御信号に応じて、制御信号が１であれば前記比較回路３１の後側の入力信号を、０であれば前記比較回路３１の出力信号を出力する。即ち、デコーダ３５の制御信号が１であれば、かかる制御信号が入力されたスイッチ３４以前の比較結果が無視される構成となっている。図３０では、かかる比較回路３１とスイッチ３４の組が４層積層されている。デコーダ３５には、フィルタ制御コード信号CODEが入力され、コード信号CODEに従って４つのスイッチ３４の一つに１を出力する。
【０１２７】
かかる回路において、例えばコード信号CODEが２層目のスイッチ３４を１とした場合、４層目の比較回路３１の出力が無視されるため、最初の画素より４画素遅延した画素がフィルタの入力画素となり、これ以降の遅延画素で比較が行われるため、フィルタ長は１６画素長となる。即ち、かかる可変長フィルタでは、コード信号CODEによりフィルタ長が１２画素長より１８画素長まで２画素長おきに４段階に可変される。
【０１２８】
かかる実施の形態においても、実施の形態１２と同様の効果を奏するのみでなく、回路構成の複雑なマルチプレクサ３３を使用しないため全体の回路構成をさらに簡略化でき、フィルタ回路をさらに安価に構成できるという利点がある。
【０１２９】
実施の形態１４．
図３１及び図３２は本発明の実施の形態１４を表しており、この実施の形態１４は顔画像の画像軸の両方にレベル抽出フィルタ処理を行って目を検出する顔画像処理装置の例を示すもので、図３１は実施の形態１４の顔画像処理を用いた運転者状態検出のフローチャート、図３２は実施の形態１４の顔画像処理の画像での説明図である。以下、本実施の形態を上記各図と前述の図を援用して説明する。
【０１３０】
図３１において、先ず、ステップＳＴ１０よりステップＳＴ１２を実行後、ステップＳＴ１３で明暗検出手段の出力が暗状態であるか否かを判定し、暗状態でなければ階調画像信号は２分されて、一方の階調画像信号は、ステップＳＴ６０で画像上での目の上下幅より広い所定画素長のフィルタ長を有する第一の黒レベル抽出フィルタ２３で画像中よりＸ軸方向の前記フィルタ長以下の領域の黒レベルを抽出するとともに、ステップＳＴ１５で近赤外照明２を消灯し、ステップＳＴ１８において２値化手段で前記第一の黒レベル抽出フィルタ２３通過後の画像を浮動２値化して２値画像に変換し、ステップＳＴ１９において、２値画像は２値画像フレームメモリに記憶される。他方の階調画像信号は、ステップＳＴ６１において画像フレームメモリに一旦記憶され、ステップＳＴ６２で前記画像フレームメモリをＸ軸に垂直なＹ軸方向に走査して、画像上での黒目領域の直径より広い所定画素長のフィルタ長を有する第二の黒レベル抽出フィルタ２３で画像中よりＹ軸方向の前記フィルタ長以下の領域の黒レベルを抽出し、ステップＳＴ１５で近赤外照明２を消灯し、ステップＳＴ１８において２値化手段で前記第二の黒レベル抽出フィルタ２３通過後の画像を浮動２値化して２値画像に変換する。
【０１３１】
次に、ステップＳＴ６３で画像論理積演算手段により、前記２値画像フレームメモリに記憶されたＸ軸方向のレベル抽出処理後の２値画像を、前記Ｙ軸方向のレベル抽出処理後の２値画像のＹ軸方向に同期走査して、これら二つの２値画像の画像論理積を演算し、かかる演算結果によりステップＳＴ１９で前記２値画像フレームメモリの内容を更新する。
【０１３２】
ステップＳＴ１３で明暗検出手段の出力が暗状態であれば、ステップＳＴ１６で画像上での瞳孔直径により広い所定画素長のフィルタ長を有する白レベル抽出フィルタ２４で画像中よりＸ軸方向の前記フィルタ長以下の領域の白レベルを抽出するとともに、ステップＳＴ１７で近赤外照明２を点灯し、ステップＳＴ１８において２値化手段で白レベル抽出フィルタ２４通過後の画像を浮動２値化して２値画像に変換し、ステップＳＴ１９において２値画像フレームメモリに記憶する。
【０１３３】
続いて、ステップＳＴ２０において、目領域検出手段は更新された２値画像フレームメモリに記憶された画像データを処理して画像中より目領域を検出し、目領域検出結果に基づき実施の形態１と同様にステップＳＴ２１、２２が処理され、運転者の居眠り状態の有無を判定して運転者に警報を発する。
【０１３４】
図３２は眼鏡を着装した運転者ｐの明状態での顔画像の、画像処理の各段階での変化を示したものである。ステップＳＴ６０において第一の黒レベル抽出フィルタ処理されステップＳＴ１８で２値化された２値顔画像４４は、入力画像である原画４３に対しＸ軸方向に目の上下幅よりかなり広い黒領域である髪、眼鏡の横枠部分等が除去される。これに対して、ステップＳＴ６２で第二の黒レベル抽出フィルタ処理されステップＳＴ１８で２値化された２値顔画像４５は、Ｙ軸方向に黒目幅よりかなり広い黒領域である髪、眉、口裂、眼鏡の縦枠部分等が除去されている。ステップＳＴ６３においてかかる二つの２値顔画像４４、４５を論理積演算した差分画像４６は、図３２に示すように、二つの２値顔画像４４、４５の黒領域の共通部分である目の黒目領域の部分、眼鏡枠の一部、鼻孔のみが残る単純な画像となる。
【０１３５】
かかる実施の形態においても、実施の形態１と同様の効果が得られるとともに、顔画像の２軸方向に各々レベル抽出フィルタ処理を施すことにより、眼鏡を着装した顔画像等においても、目を含む顔の特徴領域をより単純な形で抽出できるため、簡単なアルゴリズムで顔画像から目をより短時間で精度良く検出できる。
【０１３６】
また、上記実施の形態においては、明暗検出手段の出力により黒あるいは白レベル抽出フィルタに切り換えたが、実施の形態５と同様に運転者ｐの顔画像よりの目検出結果を基にフィルタの切り換えを行うようにしてもよいし、実施の形態６と同様レベル抽出フィルタの出力顔画像中の抽出画素領域の割合によりフィルタの切り換えを行うようにしてもよい
【０１３７】
実施の形態１５．
上記実施の形態１４においては、目領域検出手段の検出結果に応じて２軸方向の各レベル抽出フィルタのフィルタ長を所定の一定長としたが、実施の形態１０、１１等に示すように、前記フィルタ長を目領域検出手段の検出結果に応じて可変にしてもよい。
【０１３８】
図３３は、このような例を示す本発明の実施の形態１５を表しており、この実施の形態１５におけるレベル抽出フィルタのフィルタ長の設定を説明する目の候補存在領域４０２のＸ、Ｙ軸ヒストグラムである。
【０１３９】
ステップＳＴ２０において、目領域検出手段は画像フレームメモリに記憶された２値画像４６を実施の形態５と同様に処理して、目の候補存在領域４０２を設定する。次に、候補存在領域４０２中でＸ軸方向及びＹ軸方向に各々画素レベルを積算してＸ軸ヒストグラムSUMX及びＹ軸ヒストグラムSUMYを求め、SUMX、SUMYが所定閾値SHL以上の領域を目の候補領域４０４とする。目領域は、実施の形態５における瞳孔領域の抽出と同様に、候補領域４０４のＸ軸ヒストグラムSUMXとＹ軸ヒストグラムSUMYを求め、SUMX、SUMYの幅とその比、及び一組の候補存在領域４０２内のＸ軸ヒストグラムSUMXのピーク位置とその間の距離より判定する。
【０１４０】
続いて、目領域と判定された候補領域４０４の前記SUMX及びSUMYの各最大値SUMXMAX及びSUMYMAXを求め、SUMXMAXを用いて実施の形態１０と同様にして第一の黒レベル抽出フィルタのフィルタ長を目領域の上下幅の学習値に基づいて設定し、SUMYMAXを用いて同様にして第二の黒レベル抽出フィルタのフィルタ長を目領域の左右幅即ち黒目領域の直径の学習値に基づいて設定して、かかる可変長レベル抽出フィルタによる抽出画像より目を検出する。白レベル抽出フィルタに関しても、実施の形態１０と同様にして瞳孔の大きさの学習値に基づいてフィルタ長を設定する。
【０１４１】
かかる実施の形態においては、レベル抽出フィルタのフィルタ長を目検出手段で検出された目領域の上下幅、左右幅あるいは瞳孔領域の大きさの関数値として設定したため、実施の形態１０と同様、運転者の目の大きさの個人差、運転者の目の動きに拘わらず目を確実に検出できるという利点がある。
【０１４２】
上記実施の形態においては、レベル抽出フィルタのフィルタ長を目の検出結果を基に変更するようにしたが、運転者ｐとカメラ１との距離Ｌに応じて先ずフィルタ長を変更させた後、前記目の検出結果によるフィルタ長の可変を行うようにしてもよい。
【０１４３】
尚、上記各実施の形態においてはカメラにCCD固体撮像素子を用いた場合を示したが、他の固体撮像素子あるいは撮像管を用いても良く、また本発明を自動車の運転者状態の検出用の顔画像処理装置につき示したが、撮影された人物の顔画像より目を抽出するための他の顔画像処理装置にも適用できる。
【０１４４】
【発明の効果】
この発明は以上説明したように構成されているため、以下に示すような効果を奏する。
【０１４５】
距離相当量算出手段により２次元撮像手段と撮像される人物との距離を求めて、フィルタ長設定手段により前記距離に比例して黒レベルあるいは白レベルを抽出するレベル抽出フィルタの所定画素長を設定するようにしたので、撮像装置と人物との距離に拘わらず目を確実に検出することができる。
【０１４６】
また、フィルタ長設定手段により、黒レベルを抽出するレベル抽出フィルタの所定画素長を、該レベル抽出フィルタの出力顔画像を基にして目検出手段により検出された目領域の顔縦方向の長さの関数値とし、あるいは白レベルを抽出するレベル抽出フィルタの所定画素長を、該レベル抽出フィルタの出力顔画像を基にして目領域検出手段により検出された瞳孔領域の大きさの関数値として各々設定するようにしたので、撮像する人物の個人差による影響を排除して目を確実に検出することができる。
【０１４７】
また、フィルタ長設定手段により第一の黒レベル抽出フィルタの所定画素長と第二の黒レベル抽出フィルタの所定画素長とを、前記二つの黒レベル抽出フィルタの出力顔画像を基にして目領域検出手段により検出された各々目領域の顔縦方向の長さの関数値と目領域中での顔横方向の黒目領域の長さの関数値として設定するようにしたので、撮像する人物の個人差による影響を排除して目を確実に検出することができる。
【０１４８】
また、目領域の顔縦方向の長さの関数値、目領域中での顔横方向の黒目領域の長さの関数値、瞳孔領域の大きさの関数値を、所定期間内の各々前記目領域の顔縦方向の長さの最大値、目領域中での顔横方向の黒目領域の長さの最大値、瞳孔領域の大きさの最大値、の関数としたので、人物の目の動きに拘わらず目をより確実に検出できる。
【０１４９】
また、目領域の顔縦方向の長さの関数値、目領域中での顔横方向の黒目領域の長さの関数値、瞳孔領域の大きさの関数値を、所定期間における前記目領域の顔縦方向の長さ、目領域中での顔横方向の黒目領域の長さ、瞳孔領域の大きさの各々の度数分布の少なくとも最大頻度値の関数としたので、人物の目の動きに拘わらず目をより確実に検出することができる。
【０１５０】
また、目領域の顔縦方向の長さの関数値、目領域中での顔横方向の黒目領域の長さの関数値、瞳孔領域の大きさの関数値を、所定期間における前記目領域の顔縦方向の長さ、目領域中での顔横方向の黒目領域の長さ、瞳孔領域の大きさの各々の度数分布の平均値あるいは中央値及び分散あるいは標準偏差の関数としたので、人物の目の動きに拘わらず目をより確実に検出することができる。
【０１５１】
また、目検出頻度算出手段により目領域検出手段による目領域の検出頻度を求めて、前記目検出頻度により現状のフィルタ長の設定の更新、非更新を決定するようにしたので、目検出の頻度が最も高くなる最適なフィルタ長の設定が可能となる。
【０１５２】
また、フィルタ長の設定の更新を顔画像処理装置の起動後の所定期間のみ行い、以後は最新の更新フィルタ長を用いるようにしたので、人物の覚醒状態に拘わらず目を確実に検出することができる。
【０１５３】
また、レベル抽出フィルタを、所定の最大フィルタ長及びその最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長となるよう画素数を規則的に間引き、間引いた後の画素の画素レベルをトーナメント形式で比較してそのトーナメント最終階層より比較値を出力するフィルタにより構成し、設定フィルタ長に相当する画素長となるよう画素間引き数を選択することによりフィルタ長の設定を変えるようにしたので、フィルタのハードウエア化が容易になり、レベル抽出処理を高速に行うことができる。
【０１５４】
また、レベル抽出フィルタを、所定の最大フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するとともに、最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長に対応した各々のトーナメント階層より比較値を出力するフィルタにより構成し、前記設定フィルタ長に相当する前記レベル抽出フィルタのトーナメント階層からの出力を選択することによりフィルタ長の設定を変えるようにしたので、回路構成を簡略化できレベル抽出処理を高速に行えるとともにフィルタ回路が安価になる。
【０１５５】
また、レベル抽出フィルタを、所定の最大フィルタ長及び前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するフィルタにより構成し、前記設定フィルタ長に相当する画素長に対応した各々のトーナメント階層以下のトーナメント階層の出力を無視して、トーナメントに参加する画素数を前記設定フィルタ長に相当する画素長となるようフィルタ端部より制限することによりフィルタ長の設定を変えるようにしたので、回路構成をより簡略化でき、レベル抽出処理を高速に行えるとともにフィルタ回路がより安価になる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１の顔画像処理装置を含む運転者の状態検出装置の概略構成図である。
【図２】 この実施の形態１の顔画像処理を用いた運転者状態検出のフローチャートである。
【図３】 図２に示す画像処理回路の回路ブロック図である。
【図４】 図３に示す黒レベル抽出フィルタの作用説明図である。
【図５】 この実施の形態１の黒レベル抽出フィルタ処理した２値顔画像である。
【図６】 この実施の形態１の夜間撮影時の入力顔画像と白レベル抽出フィルタ処理した２値顔画像である。
【図７】 図３に示す最大値フィルタの回路構成図である。
【図８】 本発明の実施の形態３の画像処理回路の回路ブロック図である。
【図９】 本発明の実施の形態４の画像処理回路の回路ブロック図である。
【図１０】 図９に示す最大最小値フィルタ２０４の回路構成図である。
【図１１】 本発明の実施の形態５による顔画像処理を用いた運転者状態検出のフローチャートである。
【図１２】 図１１に示すフィルタ切り換え判定手段のフローチャートである。
【図１３】 この実施の形態５による目領域検出のフローチャートである。
【図１４】 この実施の形態５による目の検出を説明する黒レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸ヒストグラムである。
【図１５】 この実施の形態５による目の検出を説明する目の候補領域のＸ軸ヒストグラムである。
【図１６】 この実施の形態５による目の検出を説明する白レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸ヒストグラムである。
【図１７】 本発明の実施の形態６による顔画像処理を用いた運転者状態検出のフローチャートである。
【図１８】 図１７に示すフィルタ型切り換え判定手段のフローチャートである。
【図１９】 本発明の実施の形態８による顔画像処理を用いた運転者状態検出のフローチャートである。
【図２０】 図１９に示すフィルタ長設定手段のフローチャートである。
【図２１】 この実施の形態８による運転者ｐと撮像部ａとの距離検出部の構成図である。
【図２２】 この実施の形態８の画像処理回路の回路ブロック図である。
【図２３】 図２２に示すフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【図２４】 本発明の実施の形態９による運転者とカメラとの距離検出を説明する運転席の模式図である。
【図２５】 図２４における距離Ｌ算出のフローチャートである。
【図２６】 本発明の実施の形態１０のフィルタ長設定手段のフローチャートである。
【図２７】 図２６に示すフィルタ長学習手段のフローチャートである。
【図２８】 本発明の実施の形態１１のフィルタ長学習手段のフローチャートである。
【図２９】 本発明の実施の形態１２のフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【図３０】 本発明の実施の形態１３のフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【図３１】 本発明の実施の形態１４の顔画像処理を用いた運転者状態検出のフローチャートである。
【図３２】 この実施の形態１４の顔画像処理の画像での説明図である。
【図３３】 本発明の実施の形態１５によるフィルタ長の設定を説明する目の候補存在領域４０２のＸ、Ｙ軸ヒストグラムである。
【図３４】 従来の顔画像処理装置の構成図である。
【図３５】 従来の顔画像処理装置における運転者の状態検出のフローチャートである。
【図３６】 従来装置における顔画像とその２値画像である。
【符号の説明】
ａ，ａ’ 撮像部、ｂ 画像処理部、ｐ 撮像対象（運転者）、１ カメラ、１ａ CCD、１ｂ 映像信号処理回路、１ｃ 撮像レンズ、１ｄ 可視光カットフィルタ、２ 近赤外照明、３ 照明制御手段、４ 照度センサ、５，６ 距離検出部、１０ 入力インタフェース、１１ A/D変換器、１２ 画像メモリ、１３，１７ 出力インタフェース、１４ CPU、１５ ROM、１６ RAM、１８ バス、２０，２０ａ，２０ｂ 画像処理回路、２２ フィルタ切り換え手段、２３，２３ａ 黒レベル抽出フィルタ、２４，２４ａ 白レベル抽出フィルタ、２０１，２０１ａ，２０１ｂ，２０５ａ，２０５ｂ 最大値フィルタ、２０２，２０２ａ，２０２ｂ，２０６ａ，２０６ｂ 最小値フィルタ、２０３，２０３ａ，２０３ｂ 引き算器、２０４ 最大最小値フィルタ、２６ ２値化手段、２７ フィルタ長切り換え手段、３０ 遅延回路、３１，３２ 比較回路、３３ マルチプレクサ、３４ スイッチ、３５ デコーダ、４０，４２，４４，４５，４６ ２値顔画像、４０１ 顔重心、４０２ 候補存在領域、４０３，４０４ 候補領域。
Claims (3)
- 人物の顔面を含む所定領域を撮像する２次元撮像手段と、
前記２次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸（Ｘ軸）方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、
前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、
前記２次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、
前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、
前記レベル抽出フィルタは、所定の最大フィルタ長及びその最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長となるように画素数を規則的に間引きし、間引いた後の画素の画素レベルをトーナメント形式で比較し、そのトーナメント最終階層より比較値を出力するフィルタからなり、
前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する画素長となるように画素間引き数を選択するものであることを特徴とする顔画像処理装置。 - 人物の顔面を含む所定領域を撮像する２次元撮像手段と、
前記２次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸（Ｘ軸）方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、
前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、
前記２次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、
前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、
前記レベル抽出フィルタは、所定の最大フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するとともに、前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長に対応した各々のトーナメント階層より比較値を出力するフィルタからなり、
前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する前記レベル抽出フィルタのトーナメント階層よりの出力を選択するようにしたことを特徴とする顔画像処理装置。 - 人物の顔面を含む所定領域を撮像する２次元撮像手段と、
前記２次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸（Ｘ軸）方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、
前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、
前記２次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、
前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、
前記レベル抽出フィルタは、所定の最大フィルタ長及び前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するフィルタからなり、
前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する画素長に対応した各々のトーナメント階層以下のトーナメント階層の出力を無視して、トーナメントに参加する画素数を前記設定フィルタ長に相当する画素長となるようフィルタ端部より制限するようにしたことを特徴とする顔画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002237854A JP3685403B2 (ja) | 2002-08-19 | 2002-08-19 | 顔画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002237854A JP3685403B2 (ja) | 2002-08-19 | 2002-08-19 | 顔画像処理装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23728395A Division JP3355076B2 (ja) | 1995-09-14 | 1995-09-14 | 顔画像処理装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005112202A Division JP3905544B2 (ja) | 2005-04-08 | 2005-04-08 | 顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003115043A JP2003115043A (ja) | 2003-04-18 |
| JP3685403B2 true JP3685403B2 (ja) | 2005-08-17 |
Family
ID=19196416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002237854A Expired - Fee Related JP3685403B2 (ja) | 2002-08-19 | 2002-08-19 | 顔画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3685403B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4765008B2 (ja) * | 2004-03-16 | 2011-09-07 | 国立大学法人静岡大学 | 瞳孔と鼻孔を用いた頭部の方向を検出する方法 |
| JP2007004448A (ja) * | 2005-06-23 | 2007-01-11 | Honda Motor Co Ltd | 視線検出装置 |
| KR102119898B1 (ko) * | 2018-12-03 | 2020-07-06 | 김영천 | 운전자 휴대폰 감시용 카메라 장치 |
-
2002
- 2002-08-19 JP JP2002237854A patent/JP3685403B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003115043A (ja) | 2003-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3316725B2 (ja) | 顔画像撮像装置 | |
| JP2937030B2 (ja) | 画像処理装置及び人物状態判定装置 | |
| JP4853389B2 (ja) | 顔画像撮像装置 | |
| JP5212927B2 (ja) | 顔撮影システム | |
| JP3355076B2 (ja) | 顔画像処理装置 | |
| JP3905544B2 (ja) | 顔画像処理装置 | |
| US7801335B2 (en) | Apparatus and methods for detecting the presence of a human eye | |
| JP2541688B2 (ja) | 眼位置検出装置 | |
| JP4347599B2 (ja) | 個人認証装置 | |
| JP5366028B2 (ja) | 顔画像撮像装置 | |
| JP2000139878A (ja) | アイリスパターン認識装置 | |
| US10891479B2 (en) | Image processing method and system for iris recognition | |
| WO2011105004A1 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
| KR20060035620A (ko) | 생체 판별 장치와 그것을 사용한 인증 장치 및 생체 판별방법 | |
| JP2007025758A (ja) | 人の顔画像抽出方法及び同装置 | |
| JP2011066809A (ja) | 撮像装置 | |
| JP3685403B2 (ja) | 顔画像処理装置 | |
| JP3465336B2 (ja) | 顔画像撮影装置 | |
| JPH0953917A (ja) | 車両用視線方向計測装置 | |
| EP2218398A1 (en) | Person recognition method and device incorporating the anatomic location of the retina as a biometric constant, corresponding to the physiological location of the projection of the visual axis | |
| KR100254030B1 (ko) | 얼굴화상 처리 장치 | |
| JP2688527B2 (ja) | 視線方向検出方法 | |
| JP3296119B2 (ja) | 車両用視線方向計測装置 | |
| JP3342810B2 (ja) | 虹彩画像取得装置 | |
| JPH0560515A (ja) | 運転者の眼位置検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050526 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080610 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110610 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120610 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |