JP2008276328A - 顔画像撮像装置 - Google Patents

Abstract

【課題】メガネなどによる反射光や環境光の影響を取り除いた顔画像を得ることができる顔画像撮像装置を提供する。
【解決手段】各々が輝度の異なる部分を含んだ明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、環境光顔画像ｐｚの３つの顔画像の輝度の演算処理を行うことで、メガネ反射と太陽光などの環境光を除去した部位検出画像と瞳孔画像を生成する。
【選択図】図６

Description

本発明は、ドライバの顔画像の撮像に好適な顔画像撮像装置に関する。

眠気や脇見運転などといった運転操作上好ましくないドライバの状態を、顔画像を含むセンシング手段を用いて検出するドライバモニタリング装置では、昼夜問わず安定して顔画像を撮像する必要がある。そのため、従来は、参照光として投光器から近赤外光を含む光をドライバの顔に向けて照射することで、安定した顔画像を撮像するための環境を作り出し、その環境下で撮像した顔画像に対して画像処理を施してドライバの顔検出や顔部位検出を行う。

しかしながら、実際には、太陽光の影響や建物による反射光、投光器からの光がドライバのメガネなどで反射するため、画像処理が難しくなるばかりか、検出不能になることが多い。

このような問題に対し、特許文献１に記載の技術では、ドライバの顔部分をそれぞれ別の方向から照明を照射したときの画像を撮像し、その２つの画像上で位置が移動した反射像をメガネなどの光沢反射面での反射像と判断して取り除くことによって網膜反射像を正しく検出できるとしている。
特開２００２−３５２２２９号公報

上記特許文献１の技術では、光沢反射面での反射像を取り除いた画像を得ることができるものの、太陽光などの環境光の影響を取り除くことができない。

本発明は、上記の問題を鑑みてなされたもので、その目的は、メガネなどによる反射光や環境光の影響を取り除いた顔画像を得ることができる顔画像撮像装置を提供することにある。

請求項１に記載の顔画像撮像装置は、
車両の乗員の顔画像を繰り返し撮像するカメラと、
カメラの光軸に対し同軸に配置された同軸投光器と、
カメラの光軸に対し非同軸に配置された非同軸投光器と、
同軸投光器及び非同軸投光器の点灯・消灯、及び点灯時における光量の少なくとも一方を制御して、乗員の顔に照射される光の照射状態を調整する投光制御装置と、
投光制御装置による照射状態の調整に同期した顔画像が撮像されるように、カメラの撮像タイミングを制御する撮像制御装置と、
同軸投光器の光を主とする照射状態のときにカメラが撮像した明瞳孔顔画像、非同軸投光器の光を主とする照射状態のときにカメラが撮像した暗瞳孔顔画像、及び乗員の周囲の環境光を主とする照射状態のときにカメラが撮像した環境光顔画像を用いて、その各々の顔画像の輝度の演算処理を行う輝度演算処理装置と、を備えることを特徴とする。

明瞳孔顔画像とは、乗員の顔に照らされる光の主成分が同軸投光器からの照射光であるときに撮像された顔画像（環境光の成分も含む）であり、乗員の眼球の網膜上の光の反射をカメラで捉えることで、眼球の瞳孔部分が特に明るく写し出された（”赤目現象”とも呼ばれる）画像となる。また、暗瞳孔画像とは、乗員の顔に照らされる光の主成分が非同軸投光器（赤目現象を引き起こさない程度にカメラのレンズから離して配置される）からの照射光であるときに撮像された顔画像（環境光の成分も含む）であり、乗員の眼球の網膜上の光の反射はカメラで捉えなくなるため、眼球の瞳孔部分が特に明るく写し出されることのない画像である。従って、明瞳孔画像と暗瞳孔画像とは、眼球の瞳孔部分の輝度が大きく異なり、その部分以外の輝度は同等程度を示すことになる。

また、環境光画像とは、乗員の顔に照らされる光の主成分が環境光であるときに撮像された顔画像（光量を小さくした同軸投光器や非同軸投光器からの光成分を含んでもよい）である。従って、この環境光画像は、明瞳孔画像や暗瞳孔画像と比較すると、乗員の顔の輝度が低く、顔の周辺の背景の輝度はそれらと同等程度を示すことになる。

このように、明瞳孔顔画像、暗瞳孔顔画像、環境光顔画像の３つの顔画像は、それぞれ輝度の異なる部分を含んでいる。本発明は、この点に着目してなされたもので、明瞳孔顔画像、暗瞳孔顔画像、環境光顔画像を用いて、その各々の顔画像の輝度の演算処理を行う。これにより、輝度の異なる部分のみ抽出した顔画像を生成することが可能となるため、太陽光などの環境光の影響を取り除くことができるのである。

ここで、例えば、乗員がメガネやサングラスなど光沢反射面を持つ反射物を着用している場合、明瞳孔顔画像や暗瞳孔顔画像には、反射物からの反射像が写し出される。そこで、請求項２に記載の顔画像撮像装置では、カメラが撮像する撮像範囲内に光沢反射面の持つ反射物が存在するかどうかを判断する反射物判断手段を備え、
輝度演算処理装置は、
反射物判断手段によって反射物が存在すると判断した場合、明瞳孔顔画像と暗瞳孔顔画像の輝度の減算処理を行い、
輝度減算処理を行った結果から、明瞳孔顔画像及び暗瞳孔顔画像における反射物からの反射範囲を特定する反射範囲特定手段を備え、
輝度演算処理装置は、
明瞳孔顔画像における反射範囲の輝度を、反射範囲に対応した暗瞳孔顔画像における輝度に置き換える輝度演算処理を行うとともに、
暗瞳孔顔画像における反射範囲の輝度を、反射範囲に対応した明瞳孔顔画像における輝度に置き換える輝度演算処理を行うことを特徴とする。

これにより、反射物からの反射を含む明瞳孔顔画像と暗瞳孔顔画像から、反射物の反射が除去された明瞳孔顔合成画像と暗瞳孔顔合成画像を得ることができる。そして、明瞳孔顔合成画像、暗瞳孔顔合成画像、及び環境光顔画像を用いて、その各々の顔画像の輝度の演算処理を行うことで、輝度の異なる部分のみの顔画像を生成することができるため、メガネなどの光沢反射面からの反射光や太陽光などの環境光の影響を取り除いた顔画像を得ることが可能となる。

請求項３に記載の顔画像撮像装置によれば、
同軸投光器及び非同軸投光器は複数の光源を各々備えるものであり、
複数の光源は、乗員の顔の縦方向に並んで配置されることを特徴とする。

本発明の顔画像装置を車両の乗員の顔画像を撮像するために用いる場合、車両の車室内は一般に暗いため投光器の光量を増すために複数の光源が必要となるが、乗員の顔の横方向に光源を並べると、メガネなどの光沢反射面からの反射が画像の横方向に広がる。すると、明瞳孔顔画像に含まれる光沢反射面からの反射と暗瞳孔顔画像に含まれる光沢反射面からの反射とが重なることがあり、この場合、光沢反射面からの反射を除去することが難しくなるからである。

請求項４に記載の顔画像装置によれば、輝度演算処理装置は、輝度演算処理の施された顔画像から、乗員の顔の部位の検出に用いるための部位検出画像と、乗員の瞳孔の位置の検出に用いるための瞳孔画像を生成するとともに、部位検出画像と瞳孔画像を合成した合成画像を生成する画像生成処理を実行し、この画像生成処理で生成した合成画像の画像情報を出力することを特徴とする。これにより、出力する画像情報量を抑えることができる。

また、請求項５に記載のように、輝度演算処理装置は、瞳孔画像の瞳孔部分を着色したうえで、合成画像を生成するようにしてもよい。これにより、合成画像を用いて画像処理することで、容易に乗員の瞳孔を検出することができる。

以下、本発明の実施形態について図面を用いて説明する。なお、本実施形態では、本発明の顔画像撮像装置を用いて車両の運転者の顔画像を撮像する場合について説明する。
図１は、本実施形態の顔画像撮像装置の全体構成を示すブロック図である。

図１に示すように、顔画像撮像装置は、カメラ１０、カメラ１０と一体となって構成されるカメラ装置２０、画像ＥＣＵ３０、投光制御回路４０、６０、同軸投光器５０、非同軸投光器７０によって構成される。

カメラ１０は、図２に示すように、車両の運転者（乗員）の顔画像を撮像するために用いられ、車室内のインストルメントパネル付近に配置される。このカメラ１０は、高速撮像が可能なイメージャを採用しているため、約３００マイクロ秒の撮像時間で、約３０マイクロ秒毎の撮像時間間隔での撮像が可能となっている。

図１に示すカメラ装置２０は、画像メモリ２１及び信号処理回路２２を備えている。画像メモリ２１は、カメラ１０で撮像した画像の画像情報を記憶するためのメモリである。信号処理回路２２は、画像メモリ２１に記憶した画像情報を読み出して、後述する輝度演算処理を実行した後、その輝度演算処理によって生成された画像情報を画像ＥＣＵ３０へ出力する。

画像ＥＣＵ３０は、画像処理回路３１及び撮像制御回路３２を備えている。画像処理回路３１は、カメラ装置２０から出力された画像情報を入力し、この画像情報から運転者の顔の部位を検出したり、運転者の視線を検出したりするための画像処理を実行する。撮像制御回路３２は、投光制御回路４０、６０による照射状態の調整に同期して、カメラ１０の撮像タイミングを制御するほか、カメラ１０の露光時間や出力ゲインなどについても制御する。

投光制御回路４０は、図２、図３に示すように、カメラ１０の（レンズ）光軸とほぼ同軸に配置された同軸投光器５０の点灯・消灯や点灯時における光量（光の強さ）を調整するものである。また、投光制御回路６０は、図３に示すように、カメラ１０の（レンズ）光軸に対し非同軸に（カメラの光軸からある程度離して）配置された非同軸投光器７０の点灯・消灯や点灯時における光量を調整するものである。投光制御回路４０、６０は、カメラ１０の撮像タイミングと同期して、運転者の顔に照射される光の照射状態を調整する。

図３に示すように、同軸投光器５０及び非同軸投光器７０は、複数の光源（中心波長が８５０〜９５０ｎｍ程度である近赤外光、あるいは赤外光を照射できるもの）を各々備えており、その複数の光源は、乗員の顔の縦方向に並んで配置され、運転者の顔に光源からの光を照射する。

次に、本顔画像撮像装置の動作について説明する。図４は、カメラ１０の撮像タイミング、同軸投光器５０及び非同軸投光器７０の点灯タイミング、及びカメラ１０で撮像された顔画像の出力タイミングを並べたものである。本顔画像撮像装置は、先ず、運転者の顔に照射される光の照射状態が同軸投光器５０の光を主とする照射状態（実際には、同軸投光器５０の光だけでなく、運転者の周囲の環境光（太陽光など）も含む。なお、非同軸投光器７０の光量が微少となるように調整して同時に照射してもよい。）であるときの明瞳孔顔画像ｐｘをカメラ１０で撮像する（図５（ａ））。なお、明瞳孔顔画像ｐｘの撮像時間は約３００マイクロ秒とする。明瞳孔顔画像ｐｘの撮像が終了すると、その画像情報が画像メモリ２１に一時的に記憶される。

明瞳孔顔画像ｐｘの撮像終了から約３０マイクロ秒後に、運転者の顔に照射される光の照射状態が非同軸投光器７０の光を主とする照射状態（実際には、非同軸投光器７０の光だけでなく、運転者の周囲の環境光（太陽光など）も含む。なお、同軸投光器５０の光量が微少となるように調整して同時に照射してもよい。）であるときの暗瞳孔顔画像ｐｙをカメラ１０で撮像する（図５（ｂ））。この暗瞳孔顔画像ｐｙの撮像時間については、明瞳孔顔画像ｐｘの撮像時間と同様に約３００マイクロ秒とする。暗瞳孔顔画像ｐｙの撮像が終了すると、その画像情報が画像メモリ２１に一時的に記憶される。

そして、暗瞳孔顔画像ｐｙの撮像終了から約３０マイクロ秒後に、運転者の顔に照射される光の照射状態が運転者の周囲の環境光を主とする照射状態（同軸投光器５０及び非同軸投光器７０の光量が微少となるように調整して同時に照射してもよい。）であるときの環境光顔画像ｐｚをカメラ１０で撮像する（図５（ｃ））。この環境光顔画像ｐｚの撮像時間については、明瞳孔顔画像ｐｘ及び暗瞳孔顔画像ｐｙの撮像時間と同様に約３００マイクロ秒とする。環境光顔画像ｐｚの撮像が終了すると、その画像情報が画像メモリ２１に一時的に記憶される。

なお、カメラ１０は、高速撮像が可能なイメージャを採用している。従って、上記のように時分割で顔画像を撮像しても、その間の運転者の自発的な動きや車両の振動に伴う運転者の動きによる各顔画像間における運転者の位置ずれは補償される。また、明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、環境光顔画像ｐｚにおける環境光の時間的変化についても、各撮像タイミングのタイムラグが極めて短いため、その環境光の変化についても補償される。

このように、明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、及び環境光顔画像ｐｚが撮像されると、信号処理回路２２では、画像メモリ２１に一時的に記憶された明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、及び環境光顔画像ｐｚの画像情報を用いて、これら顔画像の輝度の演算処理（輝度演算処理）を行う。

この輝度演算処理とは、運転者の顔の部位の検出に用いるための顔画像（以下、部位検出画像と呼ぶ）と、運転者の瞳孔の位置の検出に用いるための顔画像（以下、瞳孔画像と呼ぶ）を生成するものであり、運転者がメガネやサングラスなどの着用の有無に応じた処理を行う。

ここで、明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、及び環境光顔画像ｐｚを用いた輝度演算処理により、部位検出画像や瞳孔画像が生成できる点について説明する。先ず、明瞳孔顔画像ｐｘは、運転者の顔に照らされる光の主成分が同軸投光器５０からの照射光であるときに撮像された顔画像であり、運転者の眼球の網膜上の光の反射をカメラ１０で捉えることで、眼球の瞳孔部分が特に明るく写し出された（”赤目現象”とも呼ばれる）画像となる。また、暗瞳孔画像ｐｙは、運転者の顔に照らされる光の主成分が非同軸投光器７０（赤目現象を引き起こさない程度にカメラ１０のレンズ光軸から離して配置される）からの照射光であるときに撮像された顔画像であり、運転者の眼球の網膜上の光の反射はカメラ１０で捉えなくなるため、眼球の瞳孔部分が特に明るく写し出されることのない画像となる。従って、明瞳孔画像ｐｘと暗瞳孔画像ｐｙとは、眼球の瞳孔部分の輝度が大きく異なり、その部分以外の輝度は同等程度を示すことになる。

また、環境光画像ｐｚは、運転者の顔に照らされる光の主成分が環境光であるときに撮像された顔画像である。従って、この環境光画像ｐｚは、明瞳孔画像ｐｘや暗瞳孔画像ｐｙと比較すると、運転者の顔部分の輝度が低く、顔の周辺の背景の輝度はそれらと同等程度を示すことになる。

このように、明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、環境光顔画像ｐｚの３つの顔画像は、それぞれ輝度の異なる部分を含んでいるので、明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、環境光顔画像ｐｚの顔画像の輝度の演算処理を行うことで、輝度の異なる部分のみ抽出した顔画像を生成することが可能となる。これにより、太陽光などの環境光の影響を取り除いた部位検出画像や瞳孔画像が生成できる。

図６（ａ）は、部位検出画像を示したものであり、環境光の影響が除去され、同軸投光器５０及び非同軸投光器７０からの反射光のみの画像となっている。この部位検出画像は、明瞳孔顔画像ｐｘと暗瞳孔顔画像ｐｙの輝度を加算し、その加算した顔画像（ｐｘ＋ｐｙ）から環境光顔画像ｐｚの輝度を２倍にした顔画像（２×ｐｚ）を減じる（ｐｘ＋ｐｙ−２×ｐｚ）ことで生成される。この輝度演算処理における輝度の演算は、各々の顔画像において対応する画素の輝度同士を対象とする。なお、環境光顔画像ｐｚの輝度を２倍するのは、明瞳孔顔画像ｐｘと暗瞳孔顔画像ｐｙの輝度を加算しているため、この加算した顔画像（ｐｘ＋ｐｙ）の環境光の輝度が２倍になっているからである。

図６（ｂ）は、瞳孔画像を示したものであり、環境光の影響が除去されるとともに、同軸投光器５０及び非同軸投光器７０からの反射光も取り除かれ、運転者の眼球の網膜上の光の反射光のみの画像となっている。この瞳孔画像は、明瞳孔顔画像ｐｘから暗瞳孔顔画像ｐｙの輝度を減算する（ｐｘ−ｐｙ）ことで生成される。

このように、部位検出画像と瞳孔画像が生成されると、信号処理回路２２では、これらの画像情報を約３３ミリ秒毎に画像ＥＣＵに出力する。その際、例えば、図７に示すように、部位検出画像において運転者の顔が写し出されていない部分に、縮小した瞳孔画像を合成して、１つの画像情報として出力するようにしてもよい。これにより、出力する画像情報量を抑えることができる。

さらに、図６（ｂ）で検出した瞳孔部分を着色（例えば赤色など）したうえで（通常は白黒）、図７に示す合成画像を生成してもよい。これにより、画像ＥＣＵ３０では、この合成画像を用いて画像処理することで、容易に運転者の瞳孔を検出することができる。

また、上述したように、環境光顔画像ｐｚの撮像時間（すなわち、露光時間）は、明瞳孔顔画像ｐｘ及び暗瞳孔顔画像ｐｙの撮像時間と同様に約３００マイクロ秒としているが、部位検出画像を生成する際、環境光顔画像ｐｚの輝度を２倍にしているので、その撮像時間を２倍の約６００マイクロ秒とすることで、環境光顔画像ｐｚの輝度を２倍しないようにしてもよい。

次に、運転者がメガネやサングラスなどの光沢反射面を着用している場合の明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、及び環境光顔画像ｐｚ、及び、これらの画像情報を用いて、環境光とともに光沢反射面からの反射光の影響が除去された部位検出画像及び瞳孔画像を生成するための輝度演算処理について説明する。

図９（ａ）〜（ｃ）は、運転者がメガネを着用している場合に撮像された明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、及び環境光顔画像ｐｚを示した図である。このように、運転者がメガネを着用している場合、明瞳孔顔画像ｐｘ及び暗瞳孔顔画像ｐｙには、メガネからの反射光が写し出されるため、この反射光の写し出された明瞳孔顔画像ｐｘ及び暗瞳孔顔画像ｐｙを用いて上述した輝度演算処理を行うと、反射光の影響が残った部位検出画像や瞳孔画像となり、部位検出や瞳孔の位置検出が困難となる。

そこで、運転者がメガネなどを着用している場合には、先ず、メガネからの反射光を除去した明瞳孔顔画像ｐｘｐｙと暗瞳孔顔画像ｐｙｐｘを生成する。そして、その明瞳孔顔画像ｐｘｐｙ、暗瞳孔顔画像ｐｙｐｘ、及び環境光顔画像ｐｚを用いて、上述した輝度演算処理を行う。

図１０（ａ）は、メガネ反射が除去された明瞳孔顔画像ｐｘｐｙを示しており、図１０（ｂ）は、メガネ反射が除去された暗瞳孔顔画像ｐｘｐｙを示している。この明瞳孔顔画像ｐｘｐｙ及び暗瞳孔顔画像ｐｘｐｙを生成するには、先ず、図９（ａ）、（ｂ）に示した明瞳孔顔画像ｐｘと暗瞳孔顔画像ｐｙとの輝度を減算し、その減算した輝度を絶対値に換算し、絶対値に換算された顔画像（｜ｐｘ−ｐｙ|）と明瞳孔顔画画像ｐｘ及び暗瞳孔顔画像ｐｙの輝度を各々比較することで、メガネ反射が写し出される範囲（反射範囲）を特定する。

そして、明瞳孔顔画像ｐｘについては、特定した反射範囲の輝度を、その反射範囲に対応した暗瞳孔顔画像ｐｙにおける輝度を参照して、その輝度に置き換えることで、図１０（ａ）に示すメガネ反射が除去された明瞳孔顔画像ｐｘｐｙを生成する。また、暗瞳孔顔画像ｐｙについては、特定した反射範囲の輝度を、その反射範囲に対応した明瞳孔顔画像ｐｘにおける輝度を参照して、その輝度に置き換えることで、図１０（ｂ）に示すメガネ反射が除去された暗瞳孔顔画像ｐｙｐｘを生成する。

その後、メガネ反射が除去された明瞳孔顔画像ｐｘｐｙと暗瞳孔顔画像ｐｙｐｘの輝度を加算し、その加算した顔画像（ｐｘｐｙ＋ｐｙｐｘ）から環境光顔画像ｐｚの輝度を２倍にした顔画像（２×ｐｚ）を減じる（ｐｘｐｙ＋ｐｙｐｘ−２×ｐｚ）ことで、図１０（ｃ）に示すメガネ反射とともに環境光が除去された部位検出画像が生成される。

図１０（ｄ）は、メガネ反射とともに環境光が除去された瞳孔画像を示したものであり、この瞳孔画像は、メガネ反射が除去された明瞳孔顔画像ｐｘｐｙからメガネ反射が除去された暗瞳孔顔画像ｐｙｐｘの輝度を減算する（ｐｘｐｙ−ｐｙｐｙ）ことで生成される。このように、メガネ反射とともに環境光が除去された部位検出画像と瞳孔画像が生成されると、信号処理回路２２では、これらの画像情報を約３３ミリ秒毎に画像ＥＣＵに出力する。

なお、同軸投光器５０及び非同軸投光器７０の複数の光源を乗員の顔の縦方向に並んで配置したのは、メガネ反射が顔画像の横方向に広がることで、明瞳孔顔画像ｐｘに含まれるメガネ反射と暗瞳孔顔画像ｐｙに含まれるメガネ反射とが重ならないようにするためである。つまり、両顔画像においてメガネ反射が重なると、メガネ反射を除去することが難しくなるからである。

次に、輝度演算処理を含む本顔画像撮像装置の動作の流れについて、図１１に示すフローチャートを用いて説明する。先ずステップＳ１では撮像制御回路３２を起動し、ステップＳ２にて、明瞳孔顔画像ｐｘを撮像し、その撮像した画像情報を画像メモリ２１に記憶する。ステップＳ３では、暗瞳孔顔画像ｐｙを撮像し、その撮像した画像情報を画像メモリ２１に記憶する。ステップＳ４では、環境光顔画像ｐｚを撮像し、その撮像した画像情報を画像メモリ２１に記憶する。

ステップＳ５では、運転者がメガネやサングラスなど光沢反射面を持つ反射物を着用しているかどうかを判断する。例えば、予め、図示しない操作入力手段を用いて、運転者にメガネなどを着用しているかどうかの入力操作を実行させておき、その入力操作結果をステップＳ５にて逐次参照して判断する。このステップＳ５にて肯定判断した場合（メガネなどを着用している場合）には、ステップＳ７へ処理を進め、否定判断した場合（メガネなどを着用していない場合）には、ステップＳ６へ処理を進める。以下、ステップＳ６〜ステップＳ８が上述した輝度演算処理に相当する。

ステップＳ６では、図６（ａ）、（ｂ）に示した部位検出画像及び瞳孔画像を生成する。ステップＳ７では、図１０（ａ）、（ｂ）に示したメガネ反射を除去した明瞳孔顔画像ｐｘｐｙ、及び暗瞳孔顔画像ｐｙｐｘを生成する。ステップＳ８では、ステップＳ７で生成したガネ反射を除去した明瞳孔顔画像ｐｘｐｙ、暗瞳孔顔画像ｐｙｐｘ、及び環境光画像ｐｚを用いて、メガネ反射とともに環境光が除去された部位検出画像と瞳孔画像が生成する。

ステップＳ９では、ステップＳ６、又はステップＳ８にて生成した部位検出画像と瞳孔画像を１つの画像に合成して画像ＥＣＵ３０に出力する。ステップＳ１０では、画像メモリ２１に一時的に記憶した画像情報をリセット（消去）して、ステップＳ１へ処理を移行し、上述した処理を繰り返す。

このように、本実施形態で説明した顔画像撮像装置によって、輝度の異なる部分を含んでいる明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、環境光顔画像ｐｚの３つの顔画像の輝度の演算処理を行うことで、メガネ反射と太陽光などの環境光を除去した部位検出画像と瞳孔画像を得ることができる。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することができる。

例えば、同軸投光器５０及び非同軸投光器７０の光源からの光の波長を変えることができるようにして、波長を変えながら運転者の顔に光を照射する。このようにすることで、運転者の肌の色の違いによって輝度に変化が見られることから、人種をある程度特定することができる。人種が特定できれば、顔の部位が抽出し易くなる。この場合、波長を変化させたときの顔画像から、顔の部位が明確に検出できる波長（輝度のエッジ強度を参照して）を見つけるようにしてもよい。

また、本実施形態では、露光時間を約３００マイクロ秒、撮像時間間隔を約３０マイクロ秒としているが、これらの露光時間や撮像時間間隔に限定されるものではなく、適宜、設定されるものである。

また、車両に搭載されるアプリケーションにより、運転者の瞳孔位置を検出する必要がない場合には、必ずしも明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、環境光顔画像ｐｚを毎回撮像する必要はない。さらに、アプリケーションから指示信号を受けて、撮像を省略（中断）するようにしてもよい。

顔画像撮像装置の全体構成を示すブロック図である。 車室内におけるカメラ１０と同軸投光器５０の配置を示した図である。 カメラ１０の光軸とほぼ同軸に配置された同軸投光器５０と、カメラ１０の光軸と非同軸に配置された非同軸投光器７０を示した図である。 カメラ１０の撮像タイミング、同軸投光器５０及び非同軸投光器７０の点灯タイミング、及びカメラ１０で撮像された顔画像の出力タイミングを示した図である。 （ａ）〜（ｃ）は、運転者がメガネを着用していない場合に撮像された明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、及び環境光顔画像ｐｚを示した図である。 （ａ）は、メガネを着用していない場合の部位検出画像を示し、（ｂ）は、メガネを着用していない場合の瞳孔画像を示した図である。 部位検出画像と瞳孔画像を合成した合成画像を示した図である。 環境光顔画像ｐｚの撮像時間を約６００マイクロ秒とした場合のカメラ１０の撮像タイミングを示した図である。 （ａ）〜（ｃ）は、運転者がメガネを着用している場合に撮像された明瞳孔顔画像ｐｘ、暗瞳孔顔画像ｐｙ、及び環境光顔画像ｐｚを示した図である。 （ａ）は、メガネ反射を除去した明瞳孔顔画像ｐｘｐｙを示し、（ｂ）は、メガネ反射を除去した暗瞳孔顔画像ｐｙｐｘを示し、（ｃ）は、メガネ反射と環境光を除去した部位検出画像を示し、（ｄ）は、メガネ反射と環境光を除去した瞳孔画像を示した図である。 本顔画像撮像装置の動作を説明するためのフローチャートである。

符号の説明

１０ カメラ
２０ カメラ装置
２１ 画像メモリ
２２ 信号処理回路
３０ 画像ＥＣＵ
３１ 画像処理回路
３２ 撮像制御回路
４０、６０ 投光制御回路
５０ 同軸投光器
７０ 非同軸投光器

Claims (5)

1. 車両の乗員の顔画像を繰り返し撮像するカメラと、
   前記カメラの光軸に対し同軸に配置された同軸投光器と、
   前記カメラの光軸に対し非同軸に配置された非同軸投光器と、
   前記同軸投光器及び前記非同軸投光器の点灯・消灯、及び点灯時における光量の少なくとも一方を制御して、前記乗員の顔に照射される光の照射状態を調整する投光制御装置と、
   前記投光制御装置による照射状態の調整に同期した顔画像が撮像されるように、前記カメラの撮像タイミングを制御する撮像制御装置と、
   前記同軸投光器の光を主とする照射状態のときに前記カメラが撮像した明瞳孔顔画像、前記非同軸投光器の光を主とする照射状態のときに前記カメラが撮像した暗瞳孔顔画像、及び、前記乗員の周囲の環境光を主とする照射状態のときに前記カメラが撮像した環境光顔画像を用いて、その各々の顔画像の輝度の演算処理を行う輝度演算処理装置と、を備えることを特徴とする顔画像撮像装置。
2. 前記カメラが撮像する撮像範囲内に光沢反射面の持つ反射物が存在するかどうかを判断する反射物判断手段を備え、
   前記輝度演算処理装置は、
   前記反射物判断手段によって反射物が存在すると判断した場合、前記明瞳孔顔画像と前記暗瞳孔顔画像の輝度の減算処理を行い、
   前記輝度減算処理を行った結果から、前記明瞳孔顔画像及び前記暗瞳孔顔画像における前記反射物からの反射範囲を特定する反射範囲特定手段を備え、
   前記輝度演算処理装置は、
   前記明瞳孔顔画像における前記反射範囲の輝度を、前記反射範囲に対応した前記暗瞳孔顔画像における輝度に置き換える輝度演算処理を行うとともに、
   前記暗瞳孔顔画像における前記反射範囲の輝度を、前記反射範囲に対応した前記明瞳孔顔画像における輝度に置き換える輝度演算処理を行うことを特徴とする請求項１記載の顔画像撮像装置。
3. 前記同軸投光器及び前記非同軸投光器は複数の光源を各々備えるものであり、
   前記複数の光源は、前記乗員の顔の縦方向に並んで配置されることを特徴とする請求項１又は２記載の顔画像撮像装置。
4. 前記輝度演算処理装置は、前記輝度演算処理の施された顔画像から、前記乗員の顔の部位の検出に用いるための部位検出画像と、前記乗員の瞳孔の位置の検出に用いるための瞳孔画像を生成するとともに、前記部位検出画像と前記瞳孔画像を合成した合成画像を生成する画像生成処理を実行し、この画像生成処理で生成した合成画像の画像情報を出力することを特徴とする請求項１〜３のいずれか１項に記載の顔画像撮像装置。
5. 前記輝度演算処理装置は、前記瞳孔画像の瞳孔部分を着色したうえで、前記合成画像を生成することを特徴とする請求項４記載の顔画像撮像装置。

Images