JP3685403B2 - 顔画像処理装置 - Google Patents
顔画像処理装置 Download PDFInfo
- Publication number
- JP3685403B2 JP3685403B2 JP2002237854A JP2002237854A JP3685403B2 JP 3685403 B2 JP3685403 B2 JP 3685403B2 JP 2002237854 A JP2002237854 A JP 2002237854A JP 2002237854 A JP2002237854 A JP 2002237854A JP 3685403 B2 JP3685403 B2 JP 3685403B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- length
- pixel
- image
- level extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は顔画像処理装置に関し、特に撮影された人物の顔画像より目を抽出するための顔画像処理装置に関するものである。
【0002】
【従来の技術】
従来より、車両運転者の脇見、居眠り運転等の運転状態を検出するため、運転者の顔を車両室内に設けられたカメラで撮影し、得られた顔画像を処理して顔の特徴点である目を抽出する顔画像の処理装置が提案されている。
【0003】
図34乃至図36は特開平6-32154号公報に開示された従来の顔画像処理装置を示す図であって、図34は従来の顔画像処理装置の構成図であり、図35は従来の顔画像処理装置における運転者の状態を検出するためのフローチャート、図36は従来装置における顔画像とその2値画像である。
【0004】
以下、図34乃至図36を用いてかかる従来例について説明する。
【0005】
図34において、Aは顔画像撮像部を示しており、この顔画像撮像部Aは、カメラ101と、撮像対象を照射するための光源102と、その光源102を駆動する光源駆動回路103とからなる。カメラ101は、CCD等よりなる2次元撮像素子101aと、映像信号処理回路101bと、撮像レンズ101cと、その撮像レンズ101cの前面光軸上に配置された可視光カットフィルタ101とを有する。光源駆動回路103は映像信号処理回路101bの出力側に接続され、その明暗出力が入力される。光源102は近赤外光源で、高輝度の近赤外LEDを多数個並べた光源やハロゲンランプやキセノンランプの前に可視光カットフィルタが設けられている。光源駆動回路103及び近赤外光源102は一体化されてカメラ部1とは別に配置されている。
【0006】
Bは顔画像処理部を示し、この顔画像処理部Bは、映像信号処理回路101bの出力側に入力されてその映像出力が入力されるA/D変換器100と、そのA/D変換器の出力側に接続された画像メモリ110と、映像信号処理回路101bのCCD撮像タイミング信号が入力される入力インタフェース(I/F)120と、中央演算素子(CPU)130と、リードオンリメモリ(ROM)140と、ランダムアクセスメモリ(RAM)150と、出力インタフェース(I/F)160とを有する。A/D変換器100、画像メモリ110、入力インタフェース120、ROM140、RAM150、出力インタフェース160はCPU130とバス11030で接続されている。CPU130は、ROM140に内蔵された制御プログラムを実行して、後述する2値化手段、眼球存在領域設定手段、眼球検出手段、瞬目検出手段、居眠り判定手段等の機能を果たすものである。pは撮像対象の運転者を示している。
【0007】
次に上記従来例の動作について説明する。
カメラ101のCCD101aは日中は太陽光の可視光カットフィルタ101を通過する太陽光の近赤外成分で運転者pの顔画像を撮像し、映像信号処理回路101bで映像信号に変換する。映像信号処理回路101bは画像輝度を積分して平均画像輝度を求め、運転者pの周囲が暗くなって平均画像輝度が所定値以下に低下した場合に、暗状態出力を光源駆動回路103に送出して近赤外光源102を点灯させて運転者の顔面周辺を照明することにより、カメラ101により同様に運転者pの顔画像を撮像する。
【0008】
カメラ部1で撮像された運転者pの顔画像の映像信号は、図35において、先ず、ステップST100でA/D変換器100によりA/D変換されてデジタル階調画像に変換され、ステップ110で画像メモリ110に記憶される。
【0009】
次に、ステップST120で2値化手段は画像メモリ110に記憶した画像データを読み出して適当な2値化閾値で2値化して2値画像に変換し、ステップST130で眼球存在領域設定手段は顔の左右横方向に白色画素を検索して連続白色画素領域の端部より顔の横幅輪郭線を特定し、特定された顔の横幅輪郭線より眼球存在領域の座標を設定し、ステップST140で眼球検出手段は前記眼球存在領域内で黒色画素が連続した黒色画素領域を検索し、検索した黒色画素領域の位置関係や縦方向の黒色画素数に基づき眼球領域を検出する。
【0010】
最後に、ステップST150で瞬目検出手段は検出された眼球領域内での縦方向黒色画素数に基づき目の開閉を検出し、ステップST160で居眠り判定手段は検出した目の開閉状態に基づき居眠りを判定し、居眠り状態と判定された場合に出力インタフェース160より外部に警報信号を送出して運転者pに警報する。
【0011】
これら一連の動作は入力インタフェース120より入力されたCCD撮像タイミング信号にあわせて、ROM140に記憶された命令によりCPU130で制御され、RAM150は制御、演算中の一時的なデータの記憶に用いられる。
【0012】
一方、図示しないが、論文「視線検出のための瞳孔撮影光学系の設計法」(電子情報通信学会誌D-II Vol.J74D-II No.6)で示されるように、カメラ101の撮像軸に同軸な放射軸を持つ近赤外光源をカメラ101に近接して配置して、この近赤外光源により照明しつつ顔を撮像することにより、弱い照明でも網膜反射によって人物の瞳孔が顕著に明るく撮影でき、2値化後の白色画素を簡単な画像処理で検索して目の位置を検出することができる。
【0013】
【発明が解決しようとする課題】
しかしながら、かかる従来装置においては、日中に太陽光により顔を撮影する場合には、太陽光による外乱、即ち太陽の高度や向き、木漏れ日下走行時等の周囲環境等によっては顔に陰影が生じ、2値化がうまくいかず目抽出が困難になるという問題点があった。
【0014】
例えば、図36は太陽光が運転席の斜め上方から当たっており、顔の上半分が車体、あるいはサンバイザの陰になっているような状態の運転者顔画像4103を従来の方法で2値化した例を示しており、かかる状態では顔の上下で画素レベルが大きく異なるため、明るい部分の影響を受けて2値化閾値が上昇し、かかる2値化閾値での2値化後の2値画像4102では鼻孔、口裂は抽出されるが目、髪、眉を含む顔の上半分全体は一つの黒色領域となってしまい目領域を分離して抽出することができない。
【0015】
また、目領域を分離できた場合でも、顔輪郭や個人により大きく異なる髪の領域が存在する顔画像から目領域を特定しなければならず、画像処理アルゴリズムが複雑で時間がかかるという問題点があった。
【0016】
また、夜間等の暗状態では光量の大きな近赤外光源102を点灯して運転者pの顔面周辺を照明して顔を撮像しなければならないため、光源が大型となり装置が大型且つ高価になるとともに、装置の消費電力が大きいという問題点があった。
【0017】
また、上述の開示論文のように、カメラに近接して弱い近赤外光源を設けて瞳孔を撮像するものにおいては、日中は太陽光の近赤外成分により顔全体が映ってしまうため瞳孔を分離して撮影することができず、目抽出が困難になるという問題点があった。
【0018】
この発明は上記問題点を解決するために成されたものであり、車載条件下など周囲の明るさや周囲環境による光外乱に左右されることなく、人物の目領域を簡単な画像処理アルゴリズムを用いて短時間で検出できる、小型且つ安価で低消費電力の顔画像処理装置を得ることを目的としている。
【0019】
【課題を解決するための手段】
この発明に係る顔画像処理装置は、人物の顔面を含む所定領域を撮像する2次元撮像手段と、前記2次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸(X軸)方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、前記2次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、前記レベル抽出フィルタは、所定の最大フィルタ長及びその最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長となるように画素数を規則的に間引きし、間引いた後の画素の画素レベルをトーナメント形式で比較し、そのトーナメント最終階層より比較値を出力するフィルタからなり、前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する画素長となるように画素間引き数を選択するものであることを特徴とする。
また、人物の顔面を含む所定領域を撮像する2次元撮像手段と、前記2次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸(X軸)方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、前記2次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、前記レベル抽出フィルタは、所定の最大フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するとともに、前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長に対応した各々のトーナメント階層より比較値を出力するフィルタからなり、前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する前記レベル抽出フィルタのトーナメント階層よりの出力を選択するようにしたことを特徴とする。
さらに、人物の顔面を含む所定領域を撮像する2次元撮像手段と、前記2次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸(X軸)方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、前記2次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、前記レベル抽出フィルタは、所定の最大フィルタ長及び前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するフィルタからなり、前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する画素長に対応した各々のトーナメント階層以下のトーナメント階層の出力を無視して、トーナメントに参加する画素数を前記設定フィルタ長に相当する画素長となるようフィルタ端部より制限するようにしたことを特徴とする。
【0030】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面により説明する。
【0031】
実施の形態1.
図1乃至図7はこの発明の顔画像処理装置の一実施の形態を示すものであり、車両運転者の居眠り運転等の運転状態の検出に応用した顔画像処理装置の実施の形態を示している。図1はこの実施の形態による顔画像処理装置を含む運転者の状態検出装置の概略構成図、図2はこの顔画像処理装置を用いた運転者状態検出のフローチャート、図3は画像処理回路の回路ブロック図、図4は黒レベル抽出フィルタの作用説明図、図5は黒レベル抽出フィルタ処理した2値顔画像、図6は夜間撮影時の入力顔画像と白レベル抽出フィルタ処理した2値顔画像、図7は最大値(MAX)フィルタの回路構成図である。
【0032】
以下、この実施の形態による顔画像処理装置の構成について説明する。
図1において、aは撮像部、bは画像処理部、pは撮像対象としての運転者を示している。撮像部aは、運転者pの顔面を含む所定領域を撮像するカメラ1と、夜間等運転者pの周囲が暗状態の場合に運転者pの顔面を含む所定領域を照明する照明手段としての近赤外照明2と、後述する中央演算素子(CPU)からの出力を受け近赤外照明2を点灯あるいは消灯する照明制御手段3と、運転者pの撮像領域近傍の明るさを検出する明暗検出手段としての照度センサとから構成される。カメラ1は、X軸方向(水平走査軸方向)768×Y軸方向(垂直走査軸方向)493の計38万画素を有する2次元撮像手段としてのCCD1aと、映像信号処理回路1bと、撮像レンズ1cと、その撮像レンズ1cの前面光軸上に配置された可視光カットフィルタ1dとを有する。カメラ1はダッシュボード上あるいはインスツルメントパネル部等に配置して、前方より運転者pの顔を顔縦方向がX軸方向となる向きで撮影する。撮影角度は顔の正面やや斜め下からが目領域抽出のために最も有利である。近赤外照明2は、照明の放射軸がカメラ1の撮像軸に略同軸状に配置され、且つカメラ1に近接して配置されている。近赤外照明2は、光出力が数mW以下の小型の近赤外LEDをカメラ1に前述のごとく近接して数個設けて運転者pを照明する。あるいは、図示しないが照明手段として、カメラ1の撮像軸上にハーフミラーを設けて光軸を2分し、一方の光軸上に近赤外LEDを配置してハーフミラーを介して撮像軸と略同軸状に運転者pを照明するような同軸照射照明手段を用いることもできる。照度センサ4は車両のダッシュボードや後部窓下部等車両周囲の明るさを判定できる場所に設置される。
【0033】
画像処理部bは、映像信号処理回路1bや照度センサ4の出力側に接続され、映像信号処理回路1bのCCD撮像タイミング信号や照度センサ4の出力が入力される入力インタフェース(I/F)10と、映像信号処理回路1bの出力側に接続され、その映像出力が入力されるA/D変換器11と、そのA/D変換器11の出力に接続されたゲートアレイやディジタルシグナルプロセッサ(DSP)等からなる画像処理回路20と、その画像処理回路20に接続された画像メモリ12と、照明制御手段3に制御信号を送出する出力インタフェース(I/F)13と、中央演算素子(CPU)14と、各種のプログラムあるいは数値が記憶されているリードオンリメモリ(ROM)15と、演算中の値を一時的に記憶保持するランダムアクセスメモリ(RAM)16と、後段の種々の機器に接続される出力インタフェース(I/F)17とから構成される。入力インタフェース(I/F)10、A/D変換器11、画像処理回路20、画像メモリ12、出力インタフェース(I/F)13、ROM15、RAM16、出力インタフェース(I/F)17はCPU14とバス18により接続されている。
【0034】
尚、カメラ1及びA/D変換器11は本発明の画像入力手段を構成する。また、CPU14はROM15に記憶された制御プログラムを実行して、後述する明暗検出手段、目領域検出手段、瞬目検出手段、居眠り判定手段等の機能を果たすものである。
【0035】
図2は運転者状態検出のフローチャートであり、本図を基に実施の形態1の動作につき説明する。
先ず、ステップST10で画像入力手段はカメラ1で撮影された顔画像(例えば顔画像47)の映像信号を顔画像処理装置bのA/D変換器11によりA/D変換しディジタル階調画像に変換して、画像処理回路20に出力する。かかる顔画像の撮像時の初期状態においては近赤外照明2は消灯されている。
【0036】
次に、ステップST11においてノイズ除去手段としての画像処理回路20によりX軸方向の隣接した3画素の画素レベルを平均化し、高空間周波数のノイズを除去して、画像のざらつきを少なくした後、ステップST12で明暗検出手段は入力インタフェース10より照度センサ4の出力を読みとり、ステップST13で運転者の周囲環境が夜間、トンネル内等暗い状態即ち前記出力が暗状態であるか否かを判定する。ここで、暗状態でなければ、ステップST14で後述する黒レベル抽出フィルタ23(図3)は画像中よりX軸方向の所定画素長以下の領域の黒レベルを抽出するとともに、ステップST15で近赤外照明2が点灯されていれば、次のサイクルの撮像に備えて出力インタフェース13より照明制御手段3に消灯信号を送出して近赤外照明2を消灯し、暗状態であれば、ステップST16で同じく後述する白レベル抽出フィルタ24(図3)は画像中よりX軸方向の所定画素長以下の領域の白レベルを抽出するとともに、ステップST17で近赤外照明2が消灯されていれば、次のサイクルの撮像に備えて同様に照明制御手段3に点灯信号を送出して近赤外照明2を点灯する。
【0037】
続いて、ステップST18において2値化手段は黒レベル抽出フィルタ23あるいは白レベル抽出フィルタ24通過後の画像を浮動2値化して2値画像に変換する。上記の黒レベル抽出フィルタ23、白レベル抽出フィルタ24及び2値化手段は、後述のごとく画像処理回路20内にハードウェアにより構成されている。
【0038】
次に、ステップST19において、画像処理回路20から出力された2値画像は2値形式のフレームメモリとして画像メモリ12に記憶される。ステップST20において、目領域検出手段はかかる画像メモリ12に記憶された画像データを処理して画像中より目領域を検出し、ステップST21において、瞬目検出手段は目領域検出手段により検出された目領域の画像データにより目の開閉を判定する。ステップST22において、居眠り判定手段は、瞬目検出手段により検出された目の開閉パターンから居眠り状態の有無を判定し、居眠り状態と判定した場合、出力インタフェース17に信号を送り出し、例えば出力インタフェース17に接続した図示しない警報手段で運転者に警報を発するようにする。
【0039】
これら一連の動作はCCD撮像タイミング信号にあわせて、ROM15に記憶された命令によりCPU14で制御され、RAM16は制御、演算中の一時的なデータの記憶、保持に用いられる。
【0040】
次に、レベル抽出フィルタにつき図3以降を用いてさらに詳細に説明する。
図3は画像処理回路20のブロック図であり、21は3画素平均化フィルタで、前述のごとく高周波ノイズ成分を除去して入力画像のざらつきをなくし、22はレベル抽出フィルタの切り換え手段であり、明暗検出手段の出力でスイッチSW1によりフィルタを黒レベル抽出フィルタ23と白レベル抽出フィルタ24のいずれかに切り換える。
【0041】
黒レベル抽出フィルタ23は最大値(MAX)フィルタ201a、最小値(MIN)フィルタ202a、引き算器203aよりなる。先ず、最大値フィルタ201aは画像走査軸に沿ってある着目画素の前後のフィルタ長である所定画素長の各画素の画素レベルの最大値を前記着目画素の値とし、次に最小値フィルタ202aは最大値フィルタ201aの出力画像より、ある着目画素の左右の前記フィルタ長の各画素の画素レベルの最小値を前記着目画素の値とし、最後に引き算器203aで最小値フィルタ202aの出力画像より入力画像を引き算することにより、入力画像中より前記所定画素長以下の黒レベルのみを抽出する。
【0042】
他方、白レベル抽出フィルタ24は最小値フィルタ202b、最大値フィルタ201b、引き算器203bよりなる。先ず、最小値フィルタ202bで同様にフィルタ長である所定画素長の各画素の画素レベルの最小値をとり、次に最大値フィルタ201bで最小値フィルタ202bの出力画像より前記フィルタ長の各画素の画素レベルの最大値をとり、最後に入力画像より最大値フィルタ201bの出力画像を引き算するようにして、入力画像中より前記所定画素長以下の白レベルのみを抽出する。
【0043】
かかる黒、白レベル抽出フィルタ23、24の出力画像は、2値化手段26と2値化閾値演算手段25とに入力され、画像レベルより2値化閾値演算手段25により2値化閾値SHLが算出され、かかる2値化閾値SHLにより2値化手段26で2値化されて2値画像に変換される。
【0044】
ここで、黒レベルの抽出フィルタ23のフィルタ長は、画像上での平均的な目の上下幅に余裕度を掛けた画素長とし、本実施の形態では30画素長の値を用いている。また、白レベル抽出フィルタ24のフィルタ長は、画像上での平均的な瞳孔直径に同様に余裕度を掛けた画素長とし、本実施の形態では20画素長の値を用いている。
【0045】
図4は、従来例では2値化に失敗した日中の顔画像47の同一部分(線AOA'上)の画素レベルを、本実施の形態において黒レベル抽出フィルタ23を通過後、2値化するまでの各段階での変化を示している。3画素平均化フィルタ21を通過した画像f1の画素レベルは、最大値フィルタ201a、最小値フィルタ202aを通過後の画像f2では、フィルタ長以下の画素レベルがフィルタ長で切ったレベルに固定され、さらに画像f2から引き算器203aで画像f1の画素レベルを引くと、画像f3に示すように前記フィルタ長以下の領域の黒レベルのみが抽出される。従って、2値化閾値演算手段25により演算された閾値で2値化手段26により画像f3を2値化して得られた2値画像f4は、図5の2値画像40にも示すように、入力顔画像中より眉、目、鼻孔、口裂のみが抽出された2値画像となる。
【0046】
従って、太陽光による外乱即ち、太陽の高度や向き、木漏れ日下走行時等の周囲環境等によっては顔に陰影が生じるような場合でも、画像40のように眉、目、鼻孔、口裂という顔の特徴領域がはっきり抽出されるという利点がある。また、前記目の上下幅により設定したフィルタ長に対して顔縦方向に広い黒領域は抽出されないため、髪形等個人差の大きな頭髪部をはじめから除去でき、顔の個人差の影響を受けにくいという利点もある。
また、前述のごとく個人差の大きな頭髪部を除いて顔の特徴領域がはっきり抽出されるため、比較的簡単なアルゴリズムで顔画像より目を短時間で検出できる。
さらに、画像状態に応じてレベル抽出フィルタを切り換えて目を精度良く検出する。
【0047】
図6は運転者pの周囲が暗い状態で近赤外照明2を点灯させて運転者pを撮像した顔画像であり、近赤外照明2の出力が小さいため顔は撮像されないが、瞳孔は網膜反射により図のごとく明るく撮像される。このような場合には、図2のステップST12において明暗検出手段の出力によりフィルタ切り換え手段でスイッチSW1が白レベル抽出フィルタ24の側に切り換えられ、前記設定フィルタ長より上述のように白レベル抽出処理が行われて2値画像42に示すように瞳孔のみが抽出され、かかる瞳孔がステップST20で目領域検出手段により目として検出される。
【0048】
従って、夜間等の暗状態でも光量の小さな近赤外照明2のみで運転者pの顔面周辺を照明して顔を撮像すればよいため、光源が小型で且つ安価になるとともに、消費電力が小さいという利点がある。
【0049】
図7は最大値フィルタ201の回路構成図である。最大値フィルタ201は、1画素ずつ画素を遅延する画素遅延回路30(図では遅延回路30の一部を略している)と、遅延後の画素と遅延前の画素のレベルを比較して大きいレベルを出力する比較回路31とからなっている。入力端子DATA INからの画像入力信号を画素遅延回路30により制御端子CLOCKからの制御信号のタイミングで1画素遅延しつつ、比較回路31により隣接する画素レベルを順次トーナメント形式で比較していき、最終的にフィルタ出力FLT OUTから、図では遅延回路31の両端の節の数である20画素長の最大値が出力される。最小値フィルタ202も最大値フィルタ201と同様の回路で構成されているが、比較回路31は遅延後の画素と遅延前の画素のレベルを比較して小さいレベルを出力するものであり、最終的にフィルタ出力FLT OUTから、同じく20画素長の最小値が出力される。即ち、最大値フィルタ201及び最小値フィルタ202は、上記のように簡単な回路構成のハードウエアであり、また、引き算器203及び2値化手段26もハードウエアで構成され画像の走査と同一制御タイミングで処理されるため、目の検出のための顔の特徴領域抽出が安価にできるとともに、レベル抽出フィルタ処理、2値化処理がリアルタイムで高速に実行できる。
【0050】
実施の形態2.
上記実施の形態1においては、レベル抽出フィルタの切り換えに用いる明暗検出手段として照度センサ4を用いた場合を示したが、照度センサ4のような運転者pの周囲の明るさを検知する検知手段を用いずに、撮像した顔画像自体の明るさより明暗判定を行ってもよい。
【0051】
例えば、顔画像の映像信号をA/D変換したディジタル階調画像の画像レベルを全画素あるいは所定画素範囲にわたって積分して画像平均輝度を求め、かかる画像平均輝度で明暗判定をしてもよいし、図示しないが、カメラ1の映像信号処理回路1bに一般的に具備されている、画像輝度を基に映像信号の利得を制御する自動利得制御(AGC)回路の制御信号やCCD1aの画像蓄積時間を制御する電子シャッター回路の出力を、A/D変換器11や入力インタフェース10に入力して画像処理部bに取り込み、これらの信号より、例えばシャッター速度が1/60秒即ち開放状態で且つAGC制御信号が制御範囲を逸脱して高利得側に張り付いている場合を暗状態とし、それ以外の状態を明状態とする明暗判定を行ってもよい。
かかる場合においても実施の形態1と同等の効果を奏する。
【0052】
実施の形態3.
上記実施の形態1においては黒レベル抽出フィルタ23と白レベル抽出フィルタ24を各々別回路で構成した例を示したが、最大値フィルタ201及び最小値フィルタ202を各1回路配置し、かかる回路の接続順序を切り換えて上記2種類のレベル抽出フィルタを構成することもできる。
【0053】
図8は本発明の実施の形態3の画像処理回路の回路ブロック図であり、フィルタ切り換え手段22によってスイッチSW1、SW2を切り換えると共に引き算器203の引き算順序を切り換えることにより、黒レベル抽出フィルタ23と白レベル抽出フィルタ24とを構成する。図8のスイッチSW1、SW2の位置は黒レベル抽出フィルタ23を構成した場合を示しており、図示するごとく3画素平均化フィルタ21の出力画像即ちレベル抽出フィルタへの入力画像が、最大値フィルタ201、最小値フィルタ202の順に処理され、引き算器203で前記入力画像より最小値フィルタ202の出力画像が引き算されることにより黒レベル抽出フィルタとして機能する。フィルタ切り換え手段22によりスイッチSW1、SW2を反転させ、引き算順序を上記と切り換えれば、入力画像は最小値フィルタ202、最大値フィルタ201の順に処理され、引き算器203で最大値フィルタ201の出力画像より前記入力画像が引き算されて白レベル抽出フィルタ24として機能する。
【0054】
かかる実施の形態によれば、最大値フィルタ201、最小値フィルタ202、引き算器203を各々1ずつ省略できるため、回路規模が簡略化され装置をより安価に製造できるという利点がある。
【0055】
実施の形態4.
上記実施の形態3では、最大値フィルタ201及び最小値フィルタ202の接続順序を切り換えることにより2種類のレベル抽出フィルタを構成した場合を示したが、最大値フィルタ201、最小値フィルタ202の回路構成が同等であることに着目して、1種類のフィルタ回路で前記2種類のレベル抽出フィルタを構成ですることもきる。
【0056】
図9は本発明の実施の形態4の画像処理回路の回路ブロック図、図10は最大最小値(MAX/MIN)フィルタ204の回路構成図である。
図10においては、実施の形態1の図7と異なり、最大最小値フィルタ204の各比較回路32には、遅延回路30の入出力画素レベルの大小のいずれをとるかを選択する制御信号MAX/MINが入力されている。図10において、制御信号MAX/MINがMAX側にある場合には、各比較回路32は遅延回路30の入出力画素レベルの大きな方を選択するため、トーナメント比較階層の最終段出力であるフィルタ出力FLT OUTからはフィルタ長の画素レベルの最大値が出力される。逆に、制御信号MAX/MINがMIN側にある場合には、各比較回路32は遅延回路30の入出力画素レベルの小さな方を選択するため、出力FLT OUTからはフィルタ長の画素レベルの最小値が出力される。即ち最大最小値フィルタ204は制御信号MAX/MINの切り換えにより最大値フィルタ、最小値フィルタの双方の機能を持つ。
【0057】
図9に示すように、この実施の形態4の画像処理回路20aでは、かかる最大最小値フィルタ204を2つ直列に接続し、フィルタ切り換え手段22で制御信号MAX/MIN及び引き算器203の引き算順序を切り換えて黒レベル抽出フィルタ23と白レベル抽出フィルタ24とを構成する。即ち、黒レベル抽出フィルタ23として機能させたい場合は、1段目の最大最小値フィルタ204をMAX側に、2段目の最大最小値フィルタ204をMIN側にし、白レベル抽出フィルタ24として機能させたい場合は各段の最大最小値フィルタ204を各々逆側に切り換える。このとき引き算器203の引き算順序も実施の形態2と同様に切り換える。
【0058】
即ち、かかる実施の形態においても実施の形態3と同様の効果が得られるとともに、フィルタ切り換え用のスイッチSW1、SW2が省略でき、また同一の回路を使用するためより回路を簡略化できる。
【0059】
実施の形態5.
図11乃至図16は本発明の実施の形態5を表しており、この実施の形態5は2種類のレベル抽出フィルタのフィルタ切り換えを運転者pの顔画像からの目検出結果を基に行うようにしたものである。図11はこの実施の形態5の顔画像処理装置を用いた運転者状態検出のフローチャート、図12はレベル抽出フィルタを黒レベル抽出あるいは白レベル抽出に切り換えるフィルタ型切換判定手段のフローチャート、図13は目領域検出手段のフローチャートであり、図14乃至図16は目領域検出の画像での説明図で、図14は黒レベル抽出フィルタ処理した2値顔画像のX、Y軸ヒストグラム、図15は目の候補領域のX軸ヒストグラム、図16は白レベル抽出フィルタ処理した2値顔画像のX、Y軸ヒストグラムを各々示している。
【0060】
以下、本実施の形態について上記各図を用いて説明する。
図11において、先ずステップST30で装置起動時の初期設定状態であるか否かを判定し、初期設定状態であれば、ステップST31でレベル抽出フィルタを先ず黒レベル抽出フィルタ23とし、ステップST32で近赤外照明2を消灯しておく。初期設定状態でなければ、ステップST33で後述するフィルタ型切換判定手段のルーチンにおいて設定されるフィルタ切り換えフラグ(FLAG)が立っている(ON)か否(OFF)かを判定し、フィルタ切り換えFLAGがONであれば、ステップST34でレベル抽出フィルタをもう一方に切り換えるとともに、ステップST35で近赤外照明2の点灯、消灯を切り換える。フィルタ切り換えFLAGがOFFであれば、上記ステップST34、ステップST35を省略する。
【0061】
次に、図2と同様のステップST10からステップST11まで及びステップST18からステップST19までの処理を行った後、ステップST20において、後述する目領域検出手段がレベル抽出フィルタ処理後の2値顔画像より目を検出し、ステップST36でフィルタ型切換判定手段が目の検出結果に基づきレベル抽出フィルタを切り換えるべきか否かを判定してフィルタ切り換えFLAGを出力する。最後に、図2と同様にステップST21からステップST22までを実行する。
【0062】
フィルタ型切換判定手段の処理ルーチンは以下の通りである。
図12において、先ず、ステップST360で目領域検出手段により判定された目検出FLAGの状態を調べ、目検出FLAGがONであればステップST361でFLAG状態数NEFを1インクリメントし、OFFであればステップST362でNEFを1デクリメントする。即ち、FLAG状態数NEFは2値顔画像における所定の画像数Nでの目の検出成績を表しており、NEF=Nが検出確率100%、NEF=0が検出確率50%を示す。
【0063】
次に、ステップST363で所定期間経過したか否かを画像数で判定し、所定画像数N以上となった場合には、ステップST364でFLAG状態数NEFが最低許容目検出確率に相当するMINNEF以下であるか否かを判定し、MINNEF以下であった場合には、目の検出上現状のレベル抽出フィルタ処理が適合していないとして、ステップST365でフィルタ切り換えFLAGをONにする。NEFがMINNEFを越えていた場合には、現状のレベル抽出フィルタ処理が適合しているとして、ステップST366でフィルタ切り換えFLAGをONにする。最後に、ステップST367でFLAG状態数NEFを0にリセットする。ステップST363において所定画像数Nを経過していない場合には、ステップST364からステップST367までを省略してメインルーチンへ戻る。
【0064】
2値顔画像よりの目検出は以下のように行われる。
図13において、先ず、画像メモリ13に記憶された2値画像データを読み出し、ステップST200で各画像軸X、Y方向に沿った画素を画像軸Y、Xの各位置について積算したX軸ヒストグラムSUMX、Y軸ヒストグラムSUMYをそれぞれ求め、ステップST201で、
[式1] XFC=ΣiXiSUMX(Xi)/ΣiSUMX(Xi)
YFC=ΣjYjSUMX(Yj)/ΣjSUMX(Yj)
として顔重心FCの位置座標(XFC,YFC)を算出する。ここでΣiSUMX(Xi)=ΣjSUMX(Yj)であり、ΣjSUMX(Yj)は実際には計算を要しない。図14に黒レベル抽出フィルタ23で処理した2値画像40、図16に白レベル抽出フィルタ23で処理した2値画像42の各々SUMX、SUMY、顔重心FC401を示している。
【0065】
次に、ステップST202でレベル抽出フィルタ処理が明状態処理即ち黒レベル抽出フィルタ処理であるか否かを調べ、明状態処理の場合には、ステップST203以降を実行する。
【0066】
図14に示すように、黒レベル抽出フィルタ23で処理された2値画像40においては、頭髪を除いた眉、目、鼻孔、口裂という顔の特徴領域が抽出されるため、顔重心FC401の近くに略左右対称に目領域が存在する。そこで、ステップST203で顔重心位置座標(XFC,YFC)を基に一組の矩形の候補存在領域402を設定して目の候補の検索領域を限定し、ステップST204で候補存在領域402内のY軸ヒストグラムSUMYが所定の閾値SHL以上の領域EABを候補領域403として設定する。図では眉領域に相当するEAB1と目領域に相当するEAB2が設定される。
【0067】
続いて、ステップST205で候補領域EAB403中に目領域が存在するか否かを判定する。目領域の判定方法は、図15に示すように、候補存在領域402内の各候補領域EAB403のX軸ヒストグラムSUMXを求め、その最大値SUMXMAXと半値幅EAWを基に目領域を判定する。目領域は、図示のごとく、顔の他の特徴領域に比べ最大値SUMXMAXが大きく、半値幅EAWが小さいという特徴があり、かかる特徴に着目して目領域を判定している。他方の候補存在領域402内の各候補領域EAB403についても同様の判定が行われる。
【0068】
最後に、ステップST205で目領域が存在すると判定した場合には、ステップST206で目検出FLAGをONにし、逆に目領域が存在しないと判定した場合には、ステップST207で目検出FLAGをOFFにして処理をメインルーチンに戻す。
【0069】
他方、ステップST202でレベル抽出フィルタ処理が明状態処理でない場合、即ち白レベル抽出フィルタ処理の場合には、ステップST208以降を実行する。図16に示すように、白レベル抽出フィルタ24で処理された2値画像42においては、殆ど瞳孔領域のみが抽出されており、やはり顔重心FC401の近くに略左右対称に瞳孔領域が存在する。そこで、ステップST208で前述と同様に顔重心FC401を基に一組の矩形の候補存在領域402を設定して瞳孔の候補の検索領域を限定し、ステップST209で同様に候補領域EAB403を設定し、ステップST210で候補領域EAB403中より瞳孔領域を判定する。瞳孔領域は、候補領域EAB403のX軸ヒストグラムSUMXの幅と、Y軸ヒストグラムSUMYの幅と、その比及び一組の候補存在領域402内のX軸ヒストグラムSUMXのピーク位置YPR、YPL間の距離DOEより判定している。
【0070】
最後に、ステップST210で瞳孔領域が存在すると判定した場合には、同様にステップST206で目検出FLAGをONにし、逆に瞳孔領域が存在しないと判定した場合には、同様にステップST207で目検出FLAGをOFFにして処理をメインルーチンに戻す。
【0071】
かかる実施の形態においても、実施の形態1と同様の効果があるとともに、2種類のレベル抽出フィルタのフィルタ切り換えをその結果である顔画像よりの目検出結果でフィードバックして行うようにしたため、レベル抽出フィルタの選定が的確にでき、より確実に目が検出できるという利点がある。
【0072】
実施の形態6.
実施の形態5では2種類のレベル抽出フィルタのフィルタ切り換えを顔画像よりの目検出結果を基に行うようにしたが、目検出の前段階でフィルタ切り換えの判定が可能である。
【0073】
図17及び図18は本発明の実施の形態6を表しており、この実施の形態6はレベル抽出フィルタの出力顔画像中の抽出画素領域の割合によりレベル抽出フィルタの切り換えを行うようにしたものである。図17は実施の形態6の顔画像処理を用いた運転者状態検出のフローチャート、図18は図17のフィルタ切換型判定手段のフローチャートである。
【0074】
図17において、図11のステップST30からステップST35まで、ステップST10からステップST11まで及びステップST18からステップST19までの処理を行った後、ステップST40で後述するフィルタ型切換判定手段が、レベル抽出フィルタの出力顔画像中の抽出画素領域の割合によりレベル抽出フィルタを切り換えるべきか否かを判定してフィルタ切り換えFLAGを出力する。
【0075】
フィルタ型切換判定手段の処理ルーチンは以下のようである。
図18において、先ず、ステップST400で2値画像データを読み出し、2値画像のX軸ヒストグラムSUMX、Y軸ヒストグラムSUMYを求め、ステップST401でX軸ヒストグラムSUMX、Y軸ヒストグラムSUMYにおける極大ピークの内各々極大値が所定の閾値SHLX、SHLY(図示せず)を越える極大ピークの数NPX、NPYを求める。かかるピーク数NPX、NPYは後述のごとくレベル抽出フィルタ処理した2値画像の複雑さを示すものである。
【0076】
次に、ステップST402でレベル抽出フィルタ処理が明状態処理か否かを調べ、明状態処理の場合はステップST403以降でピーク数NPX、NPYの数を調べる。日中の明るい状態で黒レベル抽出フィルタ23処理された2値画像では、図14に示すように、顔の各特徴領域に相当する黒画素領域が多数抽出され、ヒストグラムSUMX、SUMYの大きな極大ピークが4カ所以上存在する。しかしながら、周囲が暗くなると入力画像のコントラストが極めて悪化するため、全体に幅の広い黒領域となって、黒レベル抽出フィルタ23の処理では、全く黒画素領域が抽出されないか、黒画素領域が抽出されても抽出画像のコントラストが極めて小さく2値化ができないため、抽出領域の数が少なくなる。従って、ヒストグラムSUMX、SUMYの大きな極大ピークは出現しないか、出現しても極めて数が少なくなる。
【0077】
そこでステップST403において、先ずX軸ヒストグラムSUMXのピーク数NPXが所定値NPXB以下か否かを調べ、NPXB以下であれば、ステップST404でY軸ヒストグラムSUMYのピーク数NPYが所定値NPYB以下か否かを調べ、NPYB以下であれば、レベル抽出フィルタが画像状態に適合していないとしてステップST405でフィルタ切り換えFLAGをONにし、これ以外の場合には、ステップST406でフィルタ切り換えFLAGをOFFにして、メインルーチンに戻す。
【0078】
他方、ステップST402でレベル抽出フィルタ処理が明状態処理でない場合には、ステップST407以降でピーク数NPX、NPYの数を調べる。夜間等の暗い状態で白レベル抽出フィルタ24により処理された2値画像では、図16に示すように、殆ど瞳孔領域の白画素領域のみが抽出され、ヒストグラムSUMX、SUMYの大きな極大ピークの数は極めて少ない。しかしながら、周囲が明るくなると太陽光により顔の造作が映る状態となり、瞳孔領域が相対的に暗く撮像され、白レベル抽出フィルタ24の処理では額や頬の一部、鼻頭、白目領域等の白画素領域が抽出されるようになって、抽出領域の数が増え、SUMX、SUMYは多数のピークを持つ複雑なヒストグラムとなる。
【0079】
そこでステップST407において、先ずX軸ヒストグラムSUMXのピーク数NPXが所定値NPXD以上か否かを調べ、NPXD以上であれば、ステップST408でY軸ヒストグラムSUMYのピーク数NPYが所定値NPYD以上か否かを調べ、NPYD以上であれば、レベル抽出フィルタがやはり画像状態に適合していないとしてステップST405でフィルタ切り換えFLAGをONにし、これ以外の場合は、ステップST406でフィルタ切り換えFLAGをOFFにして、メインルーチンに戻す。
【0080】
次に、図17のメインルーチン上のステップST41でフィルタ切り換えFLAGがONか否かを調べ、ONであれば画像状態が前述のごとく目検出に適合していないため、ステップST20の目領域検出手段を省略してステップST42で目検出FLAGをOFFにして後処理に移る。フィルタ切り換えFLAGがOFFであれば、ステップST20の目領域検出手段を実行後、後処理に移る。
【0081】
かかる実施の形態においても、実施の形態5と同様の効果があるとともに、レベル抽出フィルタ処理が目の検出に適合していない場合には、目領域検出手段を省略して処理するようにするとともに、ハードウエア化による高速処理が容易なヒストグラム演算の結果でレベル抽出フィルタの切り換え判定を行うようにしたため、顔画像処理がより高速化されるという利点がある。
【0082】
実施の形態7.
尚、上記実施の形態においては、X軸ヒストグラムSUMX、Y軸ヒストグラムSUMYの各所定閾値SHLX、SHLY以上の極大ピークのピーク数NPX、NPYによりレベル抽出フィルタの切り換え判定をするようにしたが、前記極大ピークのピーク数NPX、NPYと各極大値PXi、PYiの双方で評価関数を作成し、かかる評価関数で切り換え判定をするようにしてもよい。図示しないが、例えば評価関数EFとして、k1、k2を所定の重み係数とした、
[式2] EF=k1*(NPX+NPY)+k2*Σi(Pxi+Pyi)
を用いて、明状態処理時には、前記EFが所定値以下であればフィルタ切り換えFLAGをONにし、暗状態処理時には、前記EFが所定値以上であればフィルタ切り換えFLAGをONにする。
【0083】
さらに、レベル抽出フィルタ処理後の2値画像において、画像の全画素数NTに対する画像中の2値レベルの和ΣNの比ΣN/NTの大小、即ち画像中における抽出領域の面積の割合SDにより、前記SDが明状態処理時には所定値以下、暗状態処理時には所定値以上であれば、フィルタ切り換えFLAGをONにするようにしてもよい。また、抽出領域の数をラベリング等他の画像処理手段を用いて算出して切り換え判定するようにしてもよい。
かかる実施の形態においても、実施の形態6と同様の効果を奏する。
【0084】
実施の形態8.
図19乃至図23は本発明の実施の形態8を表しており、この実施の形態8は、レベル抽出フィルタのフィルタ長を運転者pとカメラ1との距離に応じて可変にすることにより目をより精度良く抽出する顔画像処理装置の例を示すものである。図19は実施の形態8の顔画像処理を用いた運転者状態検出のフローチャート、図20は図19におけるフィルタ長設定手段のフローチャート、図21は運転者pと撮像部a’との距離検出部の構成図、図22は可変長フィルタを含む画像処理回路の回路ブロック図、図23はフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【0085】
以下、本実施の形態を上記各図を用いて説明する。
図19において、最初に、ステップST50でフィルタ長設定手段によりレベル抽出フィルタのフィルタ長を設定する。
【0086】
画面中での顔画像の大きさは運転者pと撮像部a’との距離Lに反比例することから、レベル抽出フィルタ長が一定の場合には、距離Lが近い場合、目領域の画面での大きさがフィルタ長より大きくなって目領域が抽出されなくなる。
【0087】
そこで図20に示すように、フィルタ長設定手段は、先ずステップST500で運転者pと撮像部a’との距離Lを検出し、ステップST501で黒レベル抽出フィルタ長BFL、白レベル抽出フィルタ長DFLを、予め記憶された平均的運転姿勢から求めた基準距離L0、その基準距離L0での平均的顔画像より求めた各レベル抽出フィルタの基準長BFL0、DFL0を基にして、各々
[式3] BFL=BFL0*L0/L
DFL=DFL0*L0/L
により算出し、ステップST502で前記フィルタ長BFL、DFLに最も近いフィルタ長に設定されるよう、後述するマルチプレクサの制御コードであるフィルタナンバーBN、DNを選定するとともに、ステップST503でフィルタ長切り換えFLAGをONにしてメインルーチンに戻す。
【0088】
運転者pと撮像部a’との距離Lは、図21に示すように、撮像部a’に設けられた距離検出部5により検出される。距離検出部5は近赤外光源51、バンドパスフィルタ52、レンズ53、一次元光位置検知素子(PSD)54、距離演算回路55からなっている。ここで、一次元光位置検知素子(PSD)54は素子上への光の入射位置に応じた電気出力を生じる受光素子であり、バンドパスフィルタ52は近赤外光源51の波長に合わせた透過帯を持ち、近赤外光源51とレンズ53の光軸は平行で基準長DBだけ離れている。
【0089】
かかる構成にて、近赤外光源51の放射光を運転者pに当て、運転者pからの拡散反射光をバンドパスフィルタ52を介してレンズ53により一次元光位置検知素子(PSD)54上に集光させる。距離Lは一次元光位置検知素子(PSD)54上の集光位置DXより、三角測量の原理を用いて距離演算回路55で、
[式4] L=f*DB/DX
として求めて、実施の形態1と同様の画像処理部b(図1)に距離Lのデータを送出する。
【0090】
図19において、ステップST50で上述のごとくレベル抽出フィルタのフィルタ長を設定し、図2と同様のステップST10からステップST12までを実行した後、ステップST51で運転者の周囲環境が暗状態であるか否かを判定し、暗状態でなければ、ステップST52でフィルタ長切り換えFLAGがONか否かを調べる。ONであれば、ステップST53で黒レベル抽出フィルタ23をフィルタ長設定手段で設定したフィルタ長BFL対応のフィルタナンバーBNに切り換え、ONでなければ、ステップST53を省略して以前の設定フィルタ長のままとし、ステップST54で黒レベル抽出フィルタ23により画像中より前記フィルタ長BFL以下の領域の黒レベルを抽出し、ステップST55で近赤外照明2を消灯する。
【0091】
ステップST51で暗状態と判定された場合は、同様にステップST56でフィルタ長切り換えFLAGがONか否かを調べ、ONであれば、ステップST57で白レベル抽出フィルタ24をフィルタ長DFL対応のフィルタナンバーDNに切り換え、ONでなければ、ステップST57を省略して以前の設定フィルタ長のままとし、ステップST58で白レベル抽出フィルタ24により画像中より前記フィルタ長DFL以下の領域の白レベルを抽出し、ステップST59で近赤外照明2を点灯する。この後、実施の形態1のステップST18以下と同じ処理を行ってメインルーチンを終了する。
【0092】
図22に示すように、この実施の形態の画像処理回路20bの黒レベル抽出フィルタ23a及び白レベル抽出フィルタ24aは上記各実施の形態と同様にハードウエアで構成されており、黒レベル抽出フィルタ23aは、フィルタ長BFL切り換え手段27aの出力側に接続された最大値フィルタ205a及び最小値フィルタ206aと引き算器203aとよりなり、白レベル抽出フィルタ24aは、同じくフィルタ長BFL切り換え手段27bの出力側に接続された最小値フィルタ206b及び最大値フィルタ205bと引き算器203bとよりなる。
【0093】
黒レベル抽出フィルタ23aは、先ず最大値フィルタ205aによりフィルタ長BFL切り換え手段27aで指定されたフィルタナンバーBNに相当する画素長の画素レベルの最大値をとり、次に最小値フィルタ206aにより最大値フィルタ205aの出力画像より、同様にフィルタナンバーBNに相当する画素長の画素レベルの最小値をとり、最後に引き算器203aで最小値フィルタ206aの出力画像より入力画像を引き算するようにして、入力画像中より前記フィルタナンバーBNで指定した画素長以下の黒レベルのみを抽出する。
【0094】
他方、白レベル抽出フィルタ24aは、最小値フィルタ206bで同様にフィルタ長DFL切り換え手段27bで指定されたフィルタナンバーDNに相当する画素長の画素レベルの最小値をとり、次に最大値フィルタ205bで最小値フィルタ206bの出力画像より、フィルタナンバーDNに相当する画素長の画素レベルの最大値をとり、最後に入力画像より最大値フィルタ205bの出力画像を引き算するようにして、入力画像中より前記フィルタナンバーDNで指定した画素長以下の白レベルのみを抽出する。
【0095】
この実施の形態の画像処理回路20bの上記以外の構成、作用は実施の形態1の画像処理部20の構成と同様である。
【0096】
図23はかかるフィルタ長可変のMAXあるいは最小値フィルタの回路構成図を示しており、33はマルチプレクサで、ここでは5つの画素遅延回路30の内の3つの画素遅延回路30の入出力4つの内より1つを選択して出力するマルチプレクサ33を6回路用いた最大値フィルタの例を示している。各マルチプレクサ33には、フィルタ長をフィルタナンバーとして指定する制御信号MPCNTが入力されており、比較回路31は各5つの画素遅延回路30の入力とマルチプレクサ33の出力をトーナメント形式で比較して大きい側の画素レベルを出力する。
【0097】
かかる回路において、制御信号MPCNTがフィルタナンバー1を指示した場合には、先ず1段目のマルチプレクサ33は最初の画素より5画素遅延した画素レベルを出力し、1段目の比較回路31は前記最初の画素と前記5画素遅延した画素とを比較して大きい方の画素レベルを出力し、2段目の比較回路31は1段目の比較結果とさらに5画素遅延した2段目のマルチプレクサ33の出力を比較し、このような具合に順次トーナメント形式で比較していって最終的に出力FLT OUTより5画素飛びに比較した31画素長の最大値が出力される。例えば、フィルタナンバー3を指示した場合には、3画素飛びに比較した19画素長の最大値が出力される。即ち、かかる最大値フィルタでは制御信号MPCNTによりフィルタ長が13画素長より31画素長まで6画素長おきに4段階に可変される。
【0098】
尚、フィルタ長可変の最小値フィルタも比較回路31で小さい側の画素レベルを出力するようにして、同様に構成される。
【0099】
かかる実施の形態においては、運転者pと撮像部a’との距離Lに応じ画面中での顔画像の大きさに合わせてレベル抽出フィルタのフィルタ長を変化させるようにしたため、運転者の運転姿勢に係わらず目を確実に検出できるという利点がある。
【0100】
尚、上記実施の形態においては、フィルタ長可変の黒レベル抽出フィルタ23a、白レベル抽出フィルタ24aをフィルタ長制御信号MP CNTを設けた別々の最大値フィルタ205a、205b、最小値フィルタ206a、206bを用いて構成した場合を示したが、実施の形態3の図8の最大値フィルタ201、最小値フィルタ202あるいは、実施の形態4の図9の最大最小値フィルタ204をフィルタ長制御信号MP CNTを設けたフィルタで構成して黒レベル抽出と白レベル抽出を切り換えるようにしてもよい。
【0101】
実施の形態9.
上記各実施の形態においては、運転者pと撮像部a、a’との距離Lを距離センサを用いて直接検出する場合につき示したが、距離Lを間接的に求めるようにしても良い。
【0102】
図24は運転席の模式図、図25は距離L算出のフローチャートであり、6は距離検出部で、運転席のシート座部61の前後方向位置Xがシート座部61に内蔵された変位センサ62で求められ、シート背もたれ部63の角度θがシート座部61とシート背もたれ部63のピボット部に内蔵された角度センサ64により求められて、画像処理装置bに送出されて距離Lが演算される。
【0103】
画像処理部bでは、図25に示す距離L演算ルーチンにおいて、ステップST5000で変位センサ62よりシート位置Xを、ステップST5001で角度センサ64よりシート角度θを読み込み、ステップST5002で運転者pと撮像部aとの距離Lが、予め記憶されているシート座部61の基準位置X0、シート背もたれ部63のヘッドレスト部までの長さHL、人の頭の平均的な前後厚HD、撮像装置aの仰角φを用いて、
[式5] L=(X+X0+HL*sinθ−HD)/cosφ
で算出される。
かかる実施の形態においても、実施の形態8と同様の効果を奏する。
【0104】
実施の形態10.
図26及び図27は本発明の実施の形態10を表しており、この実施の形態10はレベル抽出フィルタのフィルタ長を画像中での目領域あるいは瞳孔領域の大きさに応じて可変にすることにより、目をより精度良く抽出する顔画像処理装置の例を示すものである。図26は実施の形態10のフィルタ長設定手段のフローチャート、図27はフィルタ長設定手段におけるフィルタ長学習手段のフローチャートである。
【0105】
以下、本実施の形態を上記各図を用いて説明する。
図26において、先ずステップST510で顔画像処理装置が起動直後状態であるか否かを調べ、起動直後であればステップST511で黒レベル抽出フィルタ23、白レベル抽出フィルタ24のフィルタ長を予め記憶している各初期値FL0に設定する。初期値FL0は黒レベル抽出フィルタ23、白レベル抽出フィルタ24につき顔画像上での各々人の平均的な開眼時の目領域の上下幅、瞳孔の直径に相当する画素長に各々所定の係数を掛けた値に設定する。
【0106】
装置が起動直後でなければ、ステップST512で装置起動後所定時間経過しているか否かを調べる。運転者の覚醒が低下すると、開眼時においても次第に上瞼が下がって目領域の上下幅が小さくなるが、これに合わせてフィルタ長を短くしていくと、何らかの刺激で一時的に運転者の覚醒水準が上がり、目領域の上下幅が突然大きくなった場合には、レベル抽出フィルタでの目の抽出ができなくなる。そこで、レベル抽出フィルタ長の設定を装置起動後の運転者の覚醒状態において行い、装置起動後から所定時間経過した時、ステップST513でフィルタ長切り換えFLAGをOFFにし、これ以降のフィルタ長の更新を禁止する。装置起動後所定時間経過していなければ、ステップST520で後述するフィルタ長学習手段の処理ルーチンを行う。
【0107】
次に、ステップST521で所定の画像数N処理したか否かを判定し、画像処理数がNに達していない場合には、ステップST522で一つ前の画像での目検出手段ST20における目検出FLAGがONであるか否かを判定し、ONである場合には、ステップST523で目検出FLAG状態数NEFを1インクリメントし、ONでない場合には、ステップST524でNEFを1デクリメントした後、ステップST513でフィルタ長切り換えFLAGをOFFしてメインルーチンに戻す。
【0108】
画像処理数がNに達した場合には、ステップST525で所定画像数N内での目の検出成績を表す目検出FLAG状態数NEFを前回のFLAG状態数NEFOLDと比較し、NEFがNEFOLDより大ならば、フィルタ長切り換えによる効果が見られるものとして、より検出成績が向上することを期待してステップST526で前記フィルタ長学習手段で求めたフィルタ長FLに対応するフィルタナンバーFNを選択し、ステップST527でフィルタ長切り換えFLAGをONにしてフィルタ長を変え、逆にNEFがNEFOLD以下ならば、ステップST528でフィルタ長切り換えFLAGをOFFにする。最後に、ステップST529でNEFをNEFOLDに代入してNEFOLDを更新するとともに、NEFをクリアしてメインルーチンに戻す。
【0109】
フィルタ長学習手段の処理ルーチンは図27に示す通りであり、ここでは黒レベル抽出フィルタ23により処理した画像につき説明する。
先ず、ステップST5200で目検出FLAGがONか否か、ステップST5201で目領域が開眼状態であるか否かを調べ、目検出FLAGがONで目領域が開眼状態である場合のみ以下の処理を実行し、そうでない場合にはファイル長設定手段のルーチンに戻す。
【0110】
ステップST5202では、目領域検出手段によりST20で検出された2値顔画像の目領域の内、開眼状態の目領域の顔縦方向のヒストグラム、即ちX軸ヒストグラムSUMXの最大値SUMXMAXの最新の記憶値MSUMXMAXを読み出す。図15に示すように、SUMXMAXは開眼時の目領域の上下幅の画素長に等しい。次に、ステップST5203で同様に最新の開眼状態の目領域のSUMXMAXを読み出し、ステップST5204でSUMXMAXより記憶値MSUMXMAXを引き算し、ステップST5205でSUMXMAXが記憶値MSUMXMAXより大ならば、ステップST5206でMSUMXMAXをSUMXMAXで更新する。
【0111】
最後に、ステップST5207で画像数が所定の画像数Nに達したか否かを調べ、上記画像数がN以上である場合には、ステップST5208で画像数Nにおける開眼状態の目の上下幅の画素長の最大値を示すMSUMXMAXに所定の余裕幅FLOを加えた画素長FLを黒レベル抽出フィルタ23のフィルタ長FLとして設定し、ステップST5209でMSUMXMAXをクリアする。画像数がNに達しない場合には、ファイル長設定手段のルーチンに戻す。画像数Nは学習の効果を見ながら数百から千程度の任意の値に設定しておけばよい。
【0112】
前述したごとく、上記においては黒レベル抽出フィルタ23にて処理した目領域の検出結果より黒レベル抽出フィルタ23のフィルタ長FLを設定する場合につき示したが、白レベル抽出フィルタ24のフィルタ長FLについても、白レベル抽出フィルタ24で処理した画像につき上記と同じ処理を行って、開眼と判定された瞳孔領域のヒストグラムの画像数Nでの最大値MSUMXMAXを用いて全く同様に設定できる。
【0113】
かかる実施の形態においては、レベル抽出フィルタのフィルタ長を目領域検出手段で検出された目領域の上下幅あるいは瞳孔領域の大きさの関数値として設定したため、運転者の目の大きさの個人差による影響を排除して目を確実に検出できるという利点がある。
【0114】
また、前記関数値を目領域検出手段で検出された目領域の上下幅あるいは瞳孔領域の大きさの所定期間における最大値を基に設定したため、運転者の目の動きに拘わらず目をより確実に検出できるという利点がある。
【0115】
また、目検出の頻度の向上、低下を学習しフィルタ長の設定の更新を決定するようにしたため、目検出の頻度が最も高くなる最適なフィルタ長の設定が可能となる。
【0116】
さらに、顔画像処理装置の起動後の運転者の覚醒度の高い所定期間のみフィルタ長の更新を行い、以後は最新の更新フィルタ長を用いるようにしたため、運転者の覚醒が低下した状態でも、誤り無く目を確実に検出できるという利点がある。
【0117】
尚、上記実施の形態においては、フィルタ長FLを目領域の上下幅あるいは瞳孔領域の大きさの所定期間における最大値に所定値を加えた値としたが、前記最大値に所定係数を掛けた値等、前記最大値を基にした他の関数形を用いても良い。
【0118】
実施の形態11.
図28は本発明の実施の形態11を表しており、この実施の形態11は、目領域の上下幅あるいは瞳孔領域の大きさの所定期間における最大頻度値を基にレベル抽出フィルタのフィルタ長FLを設定する場合を示している。
【0119】
図28は、実施の形態11におけるフィルタ長学習手段のフローチャートであり、先ず実施の形態10と同様に、ステップST5220で目検出FLAGがONか否か、ステップST5221で目領域が開眼状態であるか否かを調べ、目検出FLAGがONで目領域が開眼状態である場合のみ、ステップST5223で目領域あるいは瞳孔領域のX軸ヒストグラムSUMXの最大値SUMXMAXを読み出す。次いで、ステップST5223でSUMXMAXの度数分布HIST(SUMXMAX)を演算し、ステップST5224で画像数がNに達したことを判定する。ステップST5225で所定画像数N内でのSUMXMAXの度数分布HISTの最大値をMHISTとし、度数分布HISTの標準偏差をSHISTとして、ステップST5226でレベル抽出フィルタのフィルタ長FLを、所定の重み係数K1、K2を用いて、
[式6] FL=K1*MHIST+K2*SHIST
により設定する。最後に、ステップST5227で度数分布HISTをクリアしておく。
かかる実施の形態においても、実施の形態10と同等の効果を奏する。
【0120】
上記実施の形態では、フィルタ長FLを所定期間における目領域の上下幅あるいは瞳孔領域の大きさの最大頻度値及び標準偏差を基に設定した場合を示したが、最大頻度値のみを用いて設定しても良いし、最大頻度値の代わりに度数分布HISTの平均値あるいは中央値を、標準偏差の代わりに分散を用いても良い。この場合、重み係数K1、K2は当然、用いる特性値により変更される。
【0121】
上記実施の形態10、11においては、レベル抽出フィルタのフィルタ長を目の検出結果による画像中での目領域あるいは瞳孔領域の大きさに応じて可変にするようにしたが、運転者pとカメラ1との距離Lに応じて先ずフィルタ長を変更させた後、前記目の検出結果によるフィルタ長の可変を行うようにしてもよい。
【0122】
実施の形態12.
図29はレベル抽出フィルタのフィルタ長を可変する他の構成の可変MAXあるいは最小値フィルタの回路構成図である。最大値フィルタとするか最小値フィルタとするかは、前述のごとく、比較回路31で大きい側の画素レベルを出力させるか、小さい側の画素レベルを出力させるかにより変更されるが、以下最大値フィルタとして説明する。
【0123】
図29では、全画素長20の最大値を出力するよう19階層の二つの入力の大きい側の画素レベルを出力する比較回路31を設け、比較回路31の9、11、13、15、17、19階層目の出力をマルチプレクサ33に入力して、マルチプレクサ33よりかかる6入力の内の一つをFLT OUTとして出力する最大値フィルタの例を示している。
【0124】
かかる回路において、制御信号MPCNTが例えばフィルタナンバー4を指示した場合には、13階層目の比較回路31の出力が選択され14階層目以降は無視されるため、出力FLT OUTより連続した14画素長の最大値が出力される。また、フィルタナンバー1では、最高階層の比較出力が選択されて連続した20画素長の最大値が出力される。即ち、かかる可変長フィルタでは制御信号MPCNTによりフィルタ長が10画素長より20画素長まで2画素長おきに6段階に可変される。
【0125】
かかる実施の形態においても、実施の形態8と同じように可変フィルタ長のレベル抽出フィルタを構成できるのみでなく、実施の形態8の図23に示される可変MAXあるいは最小値フィルタに比較し、連続した画素の最大あるいは最小を検出するため画像分解能が落ちず、また、回路構成の複雑なマルチプレクサ33が一つで済むため全体の回路構成を簡略化でき、フィルタ回路を安価に構成できるという利点がある。
【0126】
実施の形態13.
図30はレベル抽出フィルタのフィルタ長を可変にするさらに他の構成の可変MAXあるいは最小値フィルタの回路構成図である。
図30において、スイッチ34には、比較回路31の出力信号と比較回路31の後側の入力信号とが接続され、デコーダ35の1ビット制御信号に応じて、制御信号が1であれば前記比較回路31の後側の入力信号を、0であれば前記比較回路31の出力信号を出力する。即ち、デコーダ35の制御信号が1であれば、かかる制御信号が入力されたスイッチ34以前の比較結果が無視される構成となっている。図30では、かかる比較回路31とスイッチ34の組が4層積層されている。デコーダ35には、フィルタ制御コード信号CODEが入力され、コード信号CODEに従って4つのスイッチ34の一つに1を出力する。
【0127】
かかる回路において、例えばコード信号CODEが2層目のスイッチ34を1とした場合、4層目の比較回路31の出力が無視されるため、最初の画素より4画素遅延した画素がフィルタの入力画素となり、これ以降の遅延画素で比較が行われるため、フィルタ長は16画素長となる。即ち、かかる可変長フィルタでは、コード信号CODEによりフィルタ長が12画素長より18画素長まで2画素長おきに4段階に可変される。
【0128】
かかる実施の形態においても、実施の形態12と同様の効果を奏するのみでなく、回路構成の複雑なマルチプレクサ33を使用しないため全体の回路構成をさらに簡略化でき、フィルタ回路をさらに安価に構成できるという利点がある。
【0129】
実施の形態14.
図31及び図32は本発明の実施の形態14を表しており、この実施の形態14は顔画像の画像軸の両方にレベル抽出フィルタ処理を行って目を検出する顔画像処理装置の例を示すもので、図31は実施の形態14の顔画像処理を用いた運転者状態検出のフローチャート、図32は実施の形態14の顔画像処理の画像での説明図である。以下、本実施の形態を上記各図と前述の図を援用して説明する。
【0130】
図31において、先ず、ステップST10よりステップST12を実行後、ステップST13で明暗検出手段の出力が暗状態であるか否かを判定し、暗状態でなければ階調画像信号は2分されて、一方の階調画像信号は、ステップST60で画像上での目の上下幅より広い所定画素長のフィルタ長を有する第一の黒レベル抽出フィルタ23で画像中よりX軸方向の前記フィルタ長以下の領域の黒レベルを抽出するとともに、ステップST15で近赤外照明2を消灯し、ステップST18において2値化手段で前記第一の黒レベル抽出フィルタ23通過後の画像を浮動2値化して2値画像に変換し、ステップST19において、2値画像は2値画像フレームメモリに記憶される。他方の階調画像信号は、ステップST61において画像フレームメモリに一旦記憶され、ステップST62で前記画像フレームメモリをX軸に垂直なY軸方向に走査して、画像上での黒目領域の直径より広い所定画素長のフィルタ長を有する第二の黒レベル抽出フィルタ23で画像中よりY軸方向の前記フィルタ長以下の領域の黒レベルを抽出し、ステップST15で近赤外照明2を消灯し、ステップST18において2値化手段で前記第二の黒レベル抽出フィルタ23通過後の画像を浮動2値化して2値画像に変換する。
【0131】
次に、ステップST63で画像論理積演算手段により、前記2値画像フレームメモリに記憶されたX軸方向のレベル抽出処理後の2値画像を、前記Y軸方向のレベル抽出処理後の2値画像のY軸方向に同期走査して、これら二つの2値画像の画像論理積を演算し、かかる演算結果によりステップST19で前記2値画像フレームメモリの内容を更新する。
【0132】
ステップST13で明暗検出手段の出力が暗状態であれば、ステップST16で画像上での瞳孔直径により広い所定画素長のフィルタ長を有する白レベル抽出フィルタ24で画像中よりX軸方向の前記フィルタ長以下の領域の白レベルを抽出するとともに、ステップST17で近赤外照明2を点灯し、ステップST18において2値化手段で白レベル抽出フィルタ24通過後の画像を浮動2値化して2値画像に変換し、ステップST19において2値画像フレームメモリに記憶する。
【0133】
続いて、ステップST20において、目領域検出手段は更新された2値画像フレームメモリに記憶された画像データを処理して画像中より目領域を検出し、目領域検出結果に基づき実施の形態1と同様にステップST21、22が処理され、運転者の居眠り状態の有無を判定して運転者に警報を発する。
【0134】
図32は眼鏡を着装した運転者pの明状態での顔画像の、画像処理の各段階での変化を示したものである。ステップST60において第一の黒レベル抽出フィルタ処理されステップST18で2値化された2値顔画像44は、入力画像である原画43に対しX軸方向に目の上下幅よりかなり広い黒領域である髪、眼鏡の横枠部分等が除去される。これに対して、ステップST62で第二の黒レベル抽出フィルタ処理されステップST18で2値化された2値顔画像45は、Y軸方向に黒目幅よりかなり広い黒領域である髪、眉、口裂、眼鏡の縦枠部分等が除去されている。ステップST63においてかかる二つの2値顔画像44、45を論理積演算した差分画像46は、図32に示すように、二つの2値顔画像44、45の黒領域の共通部分である目の黒目領域の部分、眼鏡枠の一部、鼻孔のみが残る単純な画像となる。
【0135】
かかる実施の形態においても、実施の形態1と同様の効果が得られるとともに、顔画像の2軸方向に各々レベル抽出フィルタ処理を施すことにより、眼鏡を着装した顔画像等においても、目を含む顔の特徴領域をより単純な形で抽出できるため、簡単なアルゴリズムで顔画像から目をより短時間で精度良く検出できる。
【0136】
また、上記実施の形態においては、明暗検出手段の出力により黒あるいは白レベル抽出フィルタに切り換えたが、実施の形態5と同様に運転者pの顔画像よりの目検出結果を基にフィルタの切り換えを行うようにしてもよいし、実施の形態6と同様レベル抽出フィルタの出力顔画像中の抽出画素領域の割合によりフィルタの切り換えを行うようにしてもよい
【0137】
実施の形態15.
上記実施の形態14においては、目領域検出手段の検出結果に応じて2軸方向の各レベル抽出フィルタのフィルタ長を所定の一定長としたが、実施の形態10、11等に示すように、前記フィルタ長を目領域検出手段の検出結果に応じて可変にしてもよい。
【0138】
図33は、このような例を示す本発明の実施の形態15を表しており、この実施の形態15におけるレベル抽出フィルタのフィルタ長の設定を説明する目の候補存在領域402のX、Y軸ヒストグラムである。
【0139】
ステップST20において、目領域検出手段は画像フレームメモリに記憶された2値画像46を実施の形態5と同様に処理して、目の候補存在領域402を設定する。次に、候補存在領域402中でX軸方向及びY軸方向に各々画素レベルを積算してX軸ヒストグラムSUMX及びY軸ヒストグラムSUMYを求め、SUMX、SUMYが所定閾値SHL以上の領域を目の候補領域404とする。目領域は、実施の形態5における瞳孔領域の抽出と同様に、候補領域404のX軸ヒストグラムSUMXとY軸ヒストグラムSUMYを求め、SUMX、SUMYの幅とその比、及び一組の候補存在領域402内のX軸ヒストグラムSUMXのピーク位置とその間の距離より判定する。
【0140】
続いて、目領域と判定された候補領域404の前記SUMX及びSUMYの各最大値SUMXMAX及びSUMYMAXを求め、SUMXMAXを用いて実施の形態10と同様にして第一の黒レベル抽出フィルタのフィルタ長を目領域の上下幅の学習値に基づいて設定し、SUMYMAXを用いて同様にして第二の黒レベル抽出フィルタのフィルタ長を目領域の左右幅即ち黒目領域の直径の学習値に基づいて設定して、かかる可変長レベル抽出フィルタによる抽出画像より目を検出する。白レベル抽出フィルタに関しても、実施の形態10と同様にして瞳孔の大きさの学習値に基づいてフィルタ長を設定する。
【0141】
かかる実施の形態においては、レベル抽出フィルタのフィルタ長を目検出手段で検出された目領域の上下幅、左右幅あるいは瞳孔領域の大きさの関数値として設定したため、実施の形態10と同様、運転者の目の大きさの個人差、運転者の目の動きに拘わらず目を確実に検出できるという利点がある。
【0142】
上記実施の形態においては、レベル抽出フィルタのフィルタ長を目の検出結果を基に変更するようにしたが、運転者pとカメラ1との距離Lに応じて先ずフィルタ長を変更させた後、前記目の検出結果によるフィルタ長の可変を行うようにしてもよい。
【0143】
尚、上記各実施の形態においてはカメラにCCD固体撮像素子を用いた場合を示したが、他の固体撮像素子あるいは撮像管を用いても良く、また本発明を自動車の運転者状態の検出用の顔画像処理装置につき示したが、撮影された人物の顔画像より目を抽出するための他の顔画像処理装置にも適用できる。
【0144】
【発明の効果】
この発明は以上説明したように構成されているため、以下に示すような効果を奏する。
【0145】
距離相当量算出手段により2次元撮像手段と撮像される人物との距離を求めて、フィルタ長設定手段により前記距離に比例して黒レベルあるいは白レベルを抽出するレベル抽出フィルタの所定画素長を設定するようにしたので、撮像装置と人物との距離に拘わらず目を確実に検出することができる。
【0146】
また、フィルタ長設定手段により、黒レベルを抽出するレベル抽出フィルタの所定画素長を、該レベル抽出フィルタの出力顔画像を基にして目検出手段により検出された目領域の顔縦方向の長さの関数値とし、あるいは白レベルを抽出するレベル抽出フィルタの所定画素長を、該レベル抽出フィルタの出力顔画像を基にして目領域検出手段により検出された瞳孔領域の大きさの関数値として各々設定するようにしたので、撮像する人物の個人差による影響を排除して目を確実に検出することができる。
【0147】
また、フィルタ長設定手段により第一の黒レベル抽出フィルタの所定画素長と第二の黒レベル抽出フィルタの所定画素長とを、前記二つの黒レベル抽出フィルタの出力顔画像を基にして目領域検出手段により検出された各々目領域の顔縦方向の長さの関数値と目領域中での顔横方向の黒目領域の長さの関数値として設定するようにしたので、撮像する人物の個人差による影響を排除して目を確実に検出することができる。
【0148】
また、目領域の顔縦方向の長さの関数値、目領域中での顔横方向の黒目領域の長さの関数値、瞳孔領域の大きさの関数値を、所定期間内の各々前記目領域の顔縦方向の長さの最大値、目領域中での顔横方向の黒目領域の長さの最大値、瞳孔領域の大きさの最大値、の関数としたので、人物の目の動きに拘わらず目をより確実に検出できる。
【0149】
また、目領域の顔縦方向の長さの関数値、目領域中での顔横方向の黒目領域の長さの関数値、瞳孔領域の大きさの関数値を、所定期間における前記目領域の顔縦方向の長さ、目領域中での顔横方向の黒目領域の長さ、瞳孔領域の大きさの各々の度数分布の少なくとも最大頻度値の関数としたので、人物の目の動きに拘わらず目をより確実に検出することができる。
【0150】
また、目領域の顔縦方向の長さの関数値、目領域中での顔横方向の黒目領域の長さの関数値、瞳孔領域の大きさの関数値を、所定期間における前記目領域の顔縦方向の長さ、目領域中での顔横方向の黒目領域の長さ、瞳孔領域の大きさの各々の度数分布の平均値あるいは中央値及び分散あるいは標準偏差の関数としたので、人物の目の動きに拘わらず目をより確実に検出することができる。
【0151】
また、目検出頻度算出手段により目領域検出手段による目領域の検出頻度を求めて、前記目検出頻度により現状のフィルタ長の設定の更新、非更新を決定するようにしたので、目検出の頻度が最も高くなる最適なフィルタ長の設定が可能となる。
【0152】
また、フィルタ長の設定の更新を顔画像処理装置の起動後の所定期間のみ行い、以後は最新の更新フィルタ長を用いるようにしたので、人物の覚醒状態に拘わらず目を確実に検出することができる。
【0153】
また、レベル抽出フィルタを、所定の最大フィルタ長及びその最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長となるよう画素数を規則的に間引き、間引いた後の画素の画素レベルをトーナメント形式で比較してそのトーナメント最終階層より比較値を出力するフィルタにより構成し、設定フィルタ長に相当する画素長となるよう画素間引き数を選択することによりフィルタ長の設定を変えるようにしたので、フィルタのハードウエア化が容易になり、レベル抽出処理を高速に行うことができる。
【0154】
また、レベル抽出フィルタを、所定の最大フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するとともに、最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長に対応した各々のトーナメント階層より比較値を出力するフィルタにより構成し、前記設定フィルタ長に相当する前記レベル抽出フィルタのトーナメント階層からの出力を選択することによりフィルタ長の設定を変えるようにしたので、回路構成を簡略化できレベル抽出処理を高速に行えるとともにフィルタ回路が安価になる。
【0155】
また、レベル抽出フィルタを、所定の最大フィルタ長及び前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するフィルタにより構成し、前記設定フィルタ長に相当する画素長に対応した各々のトーナメント階層以下のトーナメント階層の出力を無視して、トーナメントに参加する画素数を前記設定フィルタ長に相当する画素長となるようフィルタ端部より制限することによりフィルタ長の設定を変えるようにしたので、回路構成をより簡略化でき、レベル抽出処理を高速に行えるとともにフィルタ回路がより安価になる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1の顔画像処理装置を含む運転者の状態検出装置の概略構成図である。
【図2】 この実施の形態1の顔画像処理を用いた運転者状態検出のフローチャートである。
【図3】 図2に示す画像処理回路の回路ブロック図である。
【図4】 図3に示す黒レベル抽出フィルタの作用説明図である。
【図5】 この実施の形態1の黒レベル抽出フィルタ処理した2値顔画像である。
【図6】 この実施の形態1の夜間撮影時の入力顔画像と白レベル抽出フィルタ処理した2値顔画像である。
【図7】 図3に示す最大値フィルタの回路構成図である。
【図8】 本発明の実施の形態3の画像処理回路の回路ブロック図である。
【図9】 本発明の実施の形態4の画像処理回路の回路ブロック図である。
【図10】 図9に示す最大最小値フィルタ204の回路構成図である。
【図11】 本発明の実施の形態5による顔画像処理を用いた運転者状態検出のフローチャートである。
【図12】 図11に示すフィルタ切り換え判定手段のフローチャートである。
【図13】 この実施の形態5による目領域検出のフローチャートである。
【図14】 この実施の形態5による目の検出を説明する黒レベル抽出フィルタ処理した2値顔画像のX、Y軸ヒストグラムである。
【図15】 この実施の形態5による目の検出を説明する目の候補領域のX軸ヒストグラムである。
【図16】 この実施の形態5による目の検出を説明する白レベル抽出フィルタ処理した2値顔画像のX、Y軸ヒストグラムである。
【図17】 本発明の実施の形態6による顔画像処理を用いた運転者状態検出のフローチャートである。
【図18】 図17に示すフィルタ型切り換え判定手段のフローチャートである。
【図19】 本発明の実施の形態8による顔画像処理を用いた運転者状態検出のフローチャートである。
【図20】 図19に示すフィルタ長設定手段のフローチャートである。
【図21】 この実施の形態8による運転者pと撮像部aとの距離検出部の構成図である。
【図22】 この実施の形態8の画像処理回路の回路ブロック図である。
【図23】 図22に示すフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【図24】 本発明の実施の形態9による運転者とカメラとの距離検出を説明する運転席の模式図である。
【図25】 図24における距離L算出のフローチャートである。
【図26】 本発明の実施の形態10のフィルタ長設定手段のフローチャートである。
【図27】 図26に示すフィルタ長学習手段のフローチャートである。
【図28】 本発明の実施の形態11のフィルタ長学習手段のフローチャートである。
【図29】 本発明の実施の形態12のフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【図30】 本発明の実施の形態13のフィルタ長可変MAXあるいは最小値フィルタの回路構成図である。
【図31】 本発明の実施の形態14の顔画像処理を用いた運転者状態検出のフローチャートである。
【図32】 この実施の形態14の顔画像処理の画像での説明図である。
【図33】 本発明の実施の形態15によるフィルタ長の設定を説明する目の候補存在領域402のX、Y軸ヒストグラムである。
【図34】 従来の顔画像処理装置の構成図である。
【図35】 従来の顔画像処理装置における運転者の状態検出のフローチャートである。
【図36】 従来装置における顔画像とその2値画像である。
【符号の説明】
a,a’ 撮像部、b 画像処理部、p 撮像対象(運転者)、1 カメラ、1a CCD、1b 映像信号処理回路、1c 撮像レンズ、1d 可視光カットフィルタ、2 近赤外照明、3 照明制御手段、4 照度センサ、5,6 距離検出部、10 入力インタフェース、11 A/D変換器、12 画像メモリ、13,17 出力インタフェース、14 CPU、15 ROM、16 RAM、18 バス、20,20a,20b 画像処理回路、22 フィルタ切り換え手段、23,23a 黒レベル抽出フィルタ、24,24a 白レベル抽出フィルタ、201,201a,201b,205a,205b 最大値フィルタ、202,202a,202b,206a,206b 最小値フィルタ、203,203a,203b 引き算器、204 最大最小値フィルタ、26 2値化手段、27 フィルタ長切り換え手段、30 遅延回路、31,32 比較回路、33 マルチプレクサ、34 スイッチ、35 デコーダ、40,42,44,45,46 2値顔画像、401 顔重心、402 候補存在領域、403,404 候補領域。
Claims (3)
- 人物の顔面を含む所定領域を撮像する2次元撮像手段と、
前記2次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸(X軸)方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、
前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、
前記2次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、
前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、
前記レベル抽出フィルタは、所定の最大フィルタ長及びその最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長となるように画素数を規則的に間引きし、間引いた後の画素の画素レベルをトーナメント形式で比較し、そのトーナメント最終階層より比較値を出力するフィルタからなり、
前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する画素長となるように画素間引き数を選択するものであることを特徴とする顔画像処理装置。 - 人物の顔面を含む所定領域を撮像する2次元撮像手段と、
前記2次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸(X軸)方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、
前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、
前記2次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、
前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、
前記レベル抽出フィルタは、所定の最大フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するとともに、前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長に対応した各々のトーナメント階層より比較値を出力するフィルタからなり、
前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する前記レベル抽出フィルタのトーナメント階層よりの出力を選択するようにしたことを特徴とする顔画像処理装置。 - 人物の顔面を含む所定領域を撮像する2次元撮像手段と、
前記2次元撮像手段により得られた前記人物の顔画像の少なくとも顔縦方向に近い一方の画像軸(X軸)方向の所定画素長以下の領域の黒レベルあるいは白レベルを抽出するレベル抽出フィルタと、
前記レベル抽出フィルタのいずれかの前記所定画素長を設定するフィルタ長設定手段と、
前記2次元撮像手段と人物との距離に相当する距離相当量算出手段とを備え、
前記フィルタ長設定手段は、前記距離相当量算出手段の算出距離に比例して前記所定画素長を設定し、
前記レベル抽出フィルタは、所定の最大フィルタ長及び前記最大フィルタ長より短い各々所定の設定フィルタ長に相当する画素長の隣接した画素の画素レベルをトーナメント形式で比較して、そのトーナメント最終階層より比較値を出力するフィルタからなり、
前記フィルタ長設定手段におけるフィルタ長の設定は、前記設定フィルタ長に相当する画素長に対応した各々のトーナメント階層以下のトーナメント階層の出力を無視して、トーナメントに参加する画素数を前記設定フィルタ長に相当する画素長となるようフィルタ端部より制限するようにしたことを特徴とする顔画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002237854A JP3685403B2 (ja) | 2002-08-19 | 2002-08-19 | 顔画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002237854A JP3685403B2 (ja) | 2002-08-19 | 2002-08-19 | 顔画像処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23728395A Division JP3355076B2 (ja) | 1995-09-14 | 1995-09-14 | 顔画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005112202A Division JP3905544B2 (ja) | 2005-04-08 | 2005-04-08 | 顔画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003115043A JP2003115043A (ja) | 2003-04-18 |
JP3685403B2 true JP3685403B2 (ja) | 2005-08-17 |
Family
ID=19196416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002237854A Expired - Fee Related JP3685403B2 (ja) | 2002-08-19 | 2002-08-19 | 顔画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3685403B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4765008B2 (ja) * | 2004-03-16 | 2011-09-07 | 国立大学法人静岡大学 | 瞳孔と鼻孔を用いた頭部の方向を検出する方法 |
JP2007004448A (ja) * | 2005-06-23 | 2007-01-11 | Honda Motor Co Ltd | 視線検出装置 |
KR102119898B1 (ko) * | 2018-12-03 | 2020-07-06 | 김영천 | 운전자 휴대폰 감시용 카메라 장치 |
-
2002
- 2002-08-19 JP JP2002237854A patent/JP3685403B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003115043A (ja) | 2003-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3316725B2 (ja) | 顔画像撮像装置 | |
JP2937030B2 (ja) | 画像処理装置及び人物状態判定装置 | |
JP4853389B2 (ja) | 顔画像撮像装置 | |
JP5212927B2 (ja) | 顔撮影システム | |
JP3355076B2 (ja) | 顔画像処理装置 | |
JP3905544B2 (ja) | 顔画像処理装置 | |
US7801335B2 (en) | Apparatus and methods for detecting the presence of a human eye | |
JP2541688B2 (ja) | 眼位置検出装置 | |
JP4347599B2 (ja) | 個人認証装置 | |
JP5366028B2 (ja) | 顔画像撮像装置 | |
JP2000139878A (ja) | アイリスパターン認識装置 | |
US10891479B2 (en) | Image processing method and system for iris recognition | |
WO2011105004A1 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
KR20060035620A (ko) | 생체 판별 장치와 그것을 사용한 인증 장치 및 생체 판별방법 | |
JP2007025758A (ja) | 人の顔画像抽出方法及び同装置 | |
JP2011066809A (ja) | 撮像装置 | |
JP3685403B2 (ja) | 顔画像処理装置 | |
JP3465336B2 (ja) | 顔画像撮影装置 | |
JPH0953917A (ja) | 車両用視線方向計測装置 | |
EP2218398A1 (en) | Person recognition method and device incorporating the anatomic location of the retina as a biometric constant, corresponding to the physiological location of the projection of the visual axis | |
KR100254030B1 (ko) | 얼굴화상 처리 장치 | |
JP2688527B2 (ja) | 視線方向検出方法 | |
JP3296119B2 (ja) | 車両用視線方向計測装置 | |
JP3342810B2 (ja) | 虹彩画像取得装置 | |
JPH0560515A (ja) | 運転者の眼位置検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050526 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080610 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110610 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120610 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |