JP5366028B2 - 顔画像撮像装置 - Google Patents

Description

本発明は、人物の顔画像を撮像する顔画像撮像装置に関する。

運転者の顔を車両室内に設けられたカメラで撮像し、撮像した顔画像を処理して顔の特徴点である目、鼻、口等を抽出し、特徴点の位置や目の開閉状態より車両運転者の顔の向き、居眠り運転等の運転状態を検出する運転者状態検出装置が開示されている。このような運転者状態検出装置では、近赤外の波長領域を持つ赤外ストロボやＬＥＤをカメラの近くに配備して運転者の顔を照明し運転者の顔を撮像している。

眼球の網膜反射像および角膜反射像の位置を画像情報として取り入れて、車両運転者の眼球からの反射像を計測する場合、太陽光などの強い外来光下では、瞳孔が縮小するため、瞳孔を通過して網膜に達する光量が減少し、網膜からの反射像が得にくくなり、視線方向の計測精度が悪化する。そこで、シャッター速度を高速化し、照明光のピークパワーを増加させることにより、外来光によるノイズが低減され、計測時間の増大を招くことなく、精度よく、反射像を抽出できる車両用視線方向計測装置が考案されている（特許文献１参照）。

また、２次元撮像手段により撮像された検出対象者の顔画像に基づき検出対象者の目を検出する目検出手段が検出対象者の目を検出していないとき、少なくとも検出対象者の顔面を、光学フィルタを通過する赤外光で照明するとともに２次元撮像手段の光軸と赤外光の光軸とのなす角度が所定角度以上になるように配置された赤外光照明手段を励起することで、運転者が眼鏡を装着していても眼鏡のレンズ表面反射光の影響を極力抑えて、運転者の顔画像を撮像できる顔画像撮像装置が考案されている（特許文献２参照）。

また、カメラによる顔画像の取得時における照明照度を、各種の乗員外観認識処理で必要な照明照度に変更することにより、赤外線照射手段の長寿命化が可能である運転者の外観認識システムが考案されている（特許文献３参照）。

また、低照度環境において被写体の明るさの変化に応じて適応的に照明装置の発光量を調整できる動画撮像装置が考案されている（特許文献４参照）。

また、自車両の照射部が作動しており、かつ自車両のエンジンが停止しているときは、環境光検出部で検出された環境光照度に主に基づいて照射光の強度を調節する一方、自車両の照射部、および自車両のエンジンがそれぞれ作動しているときは、認識部から通知される認識結果に主に基づいて照射光の強度を調節することで、運転者に違和感を与えることのない照明装置が考案されている（特許文献５参照）。

特開平０８−１５９７３３号公報 特開平０９−０２１６１１号公報 特開２００５−３０１７４２号公報 特開２００５−３５４１５５号公報 特開２０１０−１７６３８２号公報

スタンレー電気株式会社のＬＥＤに関するサイト（http://www.stanley-components.com/jp/selection_guide_tree/selection_guide_search_detail.cfm）

特許文献１にもあるように、強い外来光下で、例えば、運転者の眼鏡に周囲の風景が映りこむような環境において運転者の顔の特徴点を検出する場合、太陽光よりも強い照明があることが好ましい。そこで、例えばＬＥＤ等の光源を撮像タイミングに合わせてパルス点灯することで、常時点灯させる場合に比較してより強い光を効果的に照射することが行われる。ＬＥＤの光源波長は夜間において運転者が不快に感じたり運転操作に支障を与えることがないように、通常は不可視光である近赤外光が用いられるが、撮像系の感度を確保するために近赤外光の中でも低波長側のＬＥＤを選択することが現実的であり、通常そのようなＬＥＤでは可視成分も若干含まれており運転者の視覚特性によっては赤く知覚される場合がある。このため、特に夜間など周囲が暗いときには、撮像タイミングによっては運転者にフリッカ（ちらつき）を感じさせてしまうことがある。

フリッカを抑制するためには、照明を常時点灯すればよいが、ＬＥＤの定格範囲の電流量では発光強度が弱く、眼鏡への風景の写り込みをなくすには十分ではない。十分な発光強度を確保するためには、例えば多数のＬＥＤをアレイ状に設置することも考えられるが、コストアップにつながるという問題がある。

特許文献２〜特許文献５においては、目の検出状態，乗員外観認識処理，被写体の明るさ，あるいは照射部およびエンジンの動作状況に応じて照射光（ＬＥＤ）の発光強度（光量）を調整しているが、フリッカ抑制対策や発光強度の調整等の、目の安全性に対する考慮については、開示・示唆ともない。

上記問題点を背景として、本発明の課題は、乗員の顔面に向けて投光された光のフリッカを抑えつつ運転者の眼鏡への周囲の風景の写り込みを低減することが可能な顔画像撮像装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するための顔画像撮像装置は、車両の乗員の顔面を含む領域に向けて投光する投光器と、乗員の顔面を含む予め定められた領域を撮像する際に、撮像素子の露光時間やゲイン、Ｙカーブなどの撮像条件を設定する撮像制御部と、撮像制御部の設定した撮像条件に基づいて、乗員の顔面を含む予め定められた領域を撮像する撮像部と、車両または乗員に照射される太陽光、街路灯、顔画像撮像装置以外から放射される車両内の光などを含む環境光を検出する環境光検出部と、検出した環境光の光量が予め定められた光量閾値を上回るときの動作モードと、光量閾値を下回るときの動作モードの少なくとも２つのモードのいずれかを判定する動作モード判定部と、動作モードに基づき、投光器の光源の発光パターンを設定する発光パターン設定部と、発光パターンに基づいて、光源を発光させるよう投光器を制御する投光器制御部と、を備えることを前提とする。

本発明は、環境光の状況により動作モードを判定し、その動作モードに基づいて投光器の発光パターンを設定することで、運転者が知覚する投光器（すなわち、光源）のフリッカを低減できるように制御している。上記構成によって、環境光の光量が多いときには、投光器の光量を比較的大きくするように発光パターンを設定しても、照明のフリッカを低減できる。これにより、眼鏡への風景の写り込みが特に問題となる日中においてフリッカをドライバに感じさせることなく眼鏡への風景の写り込みを低減することもできる。一方、環境光の光量が少ないときには、眼鏡への風景の写り込みの影響は小さいので、投光器の光量を小さくして発光時間を長く設定したり、フリッカを感じないように発光周期が短くなるように発光パターンを設定することで、照明のフリッカを低減することができる。また、投光器に多数のＬＥＤをアレイ状に設置することなく必要光量（発光強度）を確保することができる。

また、本発明の顔画像撮像装置は、撮像部により撮像した画像データから乗員の顔面を認識する認識部を備え、認識部において、乗員の顔面の予め定められた領域における画素値が予め定められた基準値に近づくように、投光器が発光パターンで発光する際、撮像制御部は、撮像部の露光時間あるいはゲインの少なくとも一方を調整することにより撮像条件を設定し、次回の撮像時には、設定した撮像条件を反映して撮像部が撮像することを特徴とする。

また、本発明の顔画像撮像装置における撮像制御部は、認識部での認識結果において、乗員の顔面の所定領域における画素値が基準値の範囲内とならないときには、撮像条件を再度設定し、その再度設定した撮像条件を反映して撮像部が撮像を行うことを繰り返す。その際、認識結果をフィードバックしたことにより、頻繁に撮像条件が変わることもありうる。また、頻繁に撮像条件が変わることにより乗員の顔面を正しく認識できないこともありうる。そのため、予め決められた時間を経過した際に、撮像制御部は認識部での認識結果を用いて撮像条件を再設定することを特徴とする。

本発明では、動作モードを判定するために環境光の状態を定期的に測定しているため、走行環境下で時々刻々と変化する環境光の影響をフィードバックした結果として頻繁に動作モードが変わることもあり得る。また、乗員の顔面の認識状態が基準状態に近い場合に動作モードが変わると、かえって以降の認識状態が基準状態とは異なる状態となり、乗員の顔面を認識するための最適な制御に収束しないことにより、乗員の顔面を正しく認識できないこともありうる。そのため、撮像制御部が繰り返しの撮像条件を制御している期間が予め定められた期間閾値を超えたとき、動作モード判定部は動作モードを再度判定することを特徴とする。上記構成によって、動作モードを再判定する手間を省き、迅速に乗員の顔面を正しく認識できるようになる。

上記構成によっても、頻繁に動作モードを再判定することを防止するとともに、迅速に乗員の顔面を正しく認識できるようになる。

また、本発明の顔画像撮像装置における発光パターン設定部は、環境光検出部が予め定められたタイミングで検出している環境光の状態に基づいて、光源の発光パターンを変更することにより乗員がフリッカを感じにくくなるようにすることを特徴とする。

上記構成によって、乗員の顔面を認識することよりも、フリッカの抑制を優先することで、光源の発光（すなわち、フリッカ）が、運転の妨げになることや車内環境を悪化させることを防止することができる。

また、本発明の顔画像撮像装置における発光パターン設定部は、動作モードが環境光閾値を上回るブライトモードのときは、発光パターンを、撮像部の露光のタイミングと同期したパルス発光である露光同時発光を含むパターンに設定することを特徴とする。

眼鏡への風景の写りこみの起こる状況では、環境光量が多いので、投光器（すなわち、光源）をパルス点灯させてその投光量を大きくしても、運転者はフリッカを感じにくい。上記構成によって、ブライトモードのときには、フリッカの発生を抑制しつつ、環境光量に対する投光量を増やす（すなわち、Ｓ／Ｎ比を向上させる）ことで乗員の顔面を正しく認識することが可能となる。

また、本発明の顔画像撮像装置における発光パターン設定部は、動作モードが環境光閾値を下回るダークモードのときは、発光パターンを、撮像部の露光のタイミングと同期するパルス発光である露光同時発光に加え、撮像部の露光時間と同時期ではない時間にも発光する発光パターンである非露光時発光を含むものに設定することを特徴とする。

上記構成によって、ダークモードのときには、パルス発光の頻度（例えば周波数）を大きくすることで、乗員はフリッカを感じにくくなる。

また、本発明の顔画像撮像装置における発光パターン設定部は、非露光時発光における発光パターンをパルス発光とすることを特徴とする。

非露光時発光における発光パターンをパルス発光とすることによって、見かけ上パルスの周波数が高くなるため、光源のフリッカを抑制できるとともに、撮像時には露光同時発光により十分な光量を確保できるため、乗員の顔面を正しく認識することが可能となる。なお、環境光が弱いときには、眼鏡への風景の写りこみは起こりにくいことが知られている。また、非露光時発光を行うことで顔画像撮像にとって不要な発光を投光器にさせることになるため、光源の定格内使用を考慮すると露光同時発光の際の光量をブライトモード時と比較して相対的に低く設定する必要があるが、ダークモード時はそもそも環境光が少ないためＳ／Ｎが十分高く保たれるため問題にはならない。

また、本発明の顔画像撮像装置の発光パターン設定部は、非露光時発光における発光パターンを常時発光とすることを特徴とする。

上記構成によっても、投光器を常時発光することで光源のフリッカを抑制できるとともに、露光時間を長くすることで撮像時には十分な光量を確保できるため、乗員の顔面を正しく認識することが可能となる。また、常時発光を行うことで露光時以外にも無駄に投光させることになるため、光源の定格内使用を考慮すると投光量を相対的に低く設定する必要があるが、ダークモード時はそもそも環境光が少ないためＳ／Ｎが十分高く保たれるため、上記の通り露光時間を長くすることで問題にはならない。

また、本発明の顔画像撮像装置における発光パターン設定部は、露光同時発光および非露光時発光における光源への印加電流をそれぞれ独立した値に設定することを特徴とする。

上記構成によっても、発光の見かけ上の周波数を大きくすることができるので、光源のフリッカを抑制できるとともに、撮像時には十分な光量を確保できるため、乗員の顔面を正しく認識することが可能となる。さらに、非露光時発光時の印加電流を低減することで光源の消費電流を低減することができる。

また、本発明の顔画像撮像装置における光源が投光する光は、近赤外の波長を含むことを特徴とする。

上記構成によって、近赤外の波長領域を持つ赤外ストロボやＬＥＤを用いて運転者の顔を撮像している従来の顔画像撮像装置の構成を大きく変更することなく本発明の構成を実現できる。

本発明の顔画像撮像装置の構成を示すブロック図。 本発明の投光器制御処理を説明するフロー図。 照度閾値の設定例を示す図。 投光器の投光パターンと撮像部の撮像タイミングの関係を示す図。 各動作モードにおける投光パターンの例を示す図。 カメラ制御テーブルの例を示す図。 従来技術による投光器制御処理を説明するフロー図。 ＬＥＤをパルス駆動する際のパルス幅と電流量との関係を示す図。 本発明の投光器制御処理の別例を説明するフロー図。

以下、本発明の顔画像撮像装置について、図面を用いて説明する。図１に、本発明の顔画像撮像装置１の構成を示す。顔画像撮像装置１は、主制御部２と、主制御部２に接続された環境光検出部３，投光器４，撮像部５，操作部６を含んで構成される。また、ＬＡＮ１５を介してナビゲーション装置１１と通信可能に接続してもよい。

主制御部２は、周知のＣＰＵ，ＲＯＭ，ＲＡＭ，およびＡＤ変換回路や入出力回路等の周辺回路等を含むコンピュータハードウェアとして構成され、ＣＰＵがＲＯＭに記憶された制御プログラムおよびデータを実行することで、顔画像撮像装置１の各種機能を実現する。主制御部２に含まれる、動作モード判定部２１，発光パターン設定部２２，投光器制御部２３，撮像制御部２４，認識部２５，設定部２７，記憶部２８は、上述のコンピュータハードウェアを、機能毎にブロック化して表示したものである。

動作モード判定部２１は、外部から取得した情報に基づいて、動作モードを判定し、その結果を出力する。発光パターン設定部２２は、動作モードに応じた投光器４の発光パターンを設定する。投光器制御部２３は、発光パターン設定部２２からの出力を受け、設定された発光パターンに基づいて投光器４の光源４ａを励起あるいは停止する。撮像制御部２４は、投光器制御部２３あるいは発光パターン設定部２２からの出力を受け、撮像部５の動作制御（例えば、シャッター５ａの開閉）を行う。認識部２５は、周知の画像処理回路を含み、撮像部５で撮像した画像データを画像処理可能な状態に増幅し、一般的な２値化処理や特徴点の抽出処理を行うことによって乗員の顔面の画像を抽出し、その抽出結果に基づいて、乗員の顔面を認識できたか否かを出力する。

設定部２７は、操作部６（後述）の操作に基づいて、顔画像撮像装置１の動作に関する設定を行う。記憶部２８は、周知のフラッシュメモリ等の不揮発性記憶媒体により構成され、設定部２７の設定内容、あるいはカメラ制御テーブル（図６参照）のような、顔画像撮像装置１の動作に必要なデータを記憶する。

また、主制御部２に、日時情報を出力する時計ＩＣ２９，ＬＡＮ１５との通信インターフェース回路であるＬＡＮ Ｉ／Ｆ２６を含む構成としてもよい。

環境光検出部３は、車両に照射される光（すなわち、環境光）を検出するためのもので、周知のＣｄＳセルを用いた光センサあるいは照度計を用いる。また、車両に車室内の空調を行う車両用空調装置（図示せず）が備えられ、その車両用空調装置に、車両に対する日射量を検出するための周知の日射センサが含まれているときには、日射センサを用いてもよい。

投光器４は、例えば、近赤外の波長を含む光をパルス発光可能である赤外ＬＥＤのような光源４ａを含んで構成される。光源４ａは、投光器制御部２３により励起され、乗員の顔面あるいはその周辺を含めた方向に近赤外光を照射する。また、投光器４は、光源４ａが照射する近赤外光の光軸と撮像部５の光軸とが概ね一致するように配置される。

撮像部５は、例えば、周知のＣＣＤ、ＣＭＯＳカメラ等で構成され、乗員の顔面を含む予め定められた領域を撮像する。撮像部５には、予め定められたタイミングおよび露光時間に基づいて動作するシャッター５ａが設けられている。

操作部６は、キーあるいはスイッチで構成され、ユーザの操作により、例えば、照度閾値（詳細は後述）等の設定を行う。

ナビゲーション装置１１は、車両の走行に伴ってＧＰＳ（Global Positioning System：全地球測位システム）等により現在位置を検出し、その現在位置を表示装置上に道路地図とともに表示して、出発地から目的地までの適切な経路を設定し、表示装置や音声出力装置などによって案内する周知のもので、位置検出部１１ａ，地図データ１１ｂ等を含んでいる。

まず、本発明の構成との比較のため、図７を用いて、従来技術による投光器制御処理について説明する。まず、投光器制御部２３からの制御指令により、投光器４から乗員の顔面あるいはその周辺を含めた方向にパルス状の近赤外光を一定周期で照射するとともに、撮像制御部２４からの制御指令により、撮像部５で乗員の顔面を含む予め定められた領域を撮像する（Ｓ３１）。次に、認識部２５において、撮像した画像データから乗員の顔を認識する（Ｓ３２）。その認識結果に基づいて、制御値（例えば、投光器４の光量あるいは撮像部５のシャッタースピード，詳細は後述）を変更する必要がある場合（Ｓ３３：Ｙｅｓ）、制御値を変更し（Ｓ３４）、ステップＳ３１へ戻り、投光・撮影を行う。

図７の構成では、乗員の顔の認識精度を上げるためには、近赤外光の照射時間を長くする、近赤外光の発光強度（光量）を上げる、露光時間を長くする、のうちの少なくとも一つを行えばよい。しかし、例えば常時発光のように近赤外光の照射時間（すなわち、パルス幅）を長くする方法では、フリッカの発生は抑制できるが、図８のように、ＬＥＤの定格範囲の電流量では、十分な発光強度を得ることができない（詳細は、非特許文献１参照）。

図２を用いて、本発明の投光器制御処理について説明する。なお、本処理は、上述の制御プログラムに含まれ、制御プログラムの他の処理とともにＣＰＵにより繰り返し実行される。

まず、以下のうちの少なくとも一つを用いて環境光情報（照度）を取得する（Ｓ１１）。
・ 環境光検出部３に含まれる光センサあるいは照度計の値を環境光情報として取得する。
・ 上述の日射センサで検出した日射量を照度に換算する。
・ 時計ＩＣ２９から取得した日時情報から、例えば、朝，昼，夕方，夜間のような時間帯を特定し、その時間帯に基づいて照度を推定する。
・ 撮像部５で撮像した画像に車両の窓が含まれているときには、窓の撮像状態（例えば、窓の明るさ）から照度を推定する。
・ 撮像部５で撮像した画像から、乗員の瞳孔径を検出し、瞳孔径から照度を推定する（瞳孔径が大きいほど照度は低くなる）。
・ ナビゲーション装置１１から現在位置情報を取得し、現在位置から照度を推定する。例えば、トンネル内を走行中であれば照度は低くなる。

次に、動作モード判定部２１において、取得した照度が、予め定められた照度閾値を上回るか否かを判定する。図３に、照度閾値の設定例を示す。照度閾値は、ほとんどの人がフリッカを感じない領域内の、個人差によってフリッカを感じる領域との境界となる照度よりも高い値に設定されている。そして、図２のように、取得した照度が照度閾値を上回る場合（Ｓ１２：Ｙｅｓ）、動作モードをブライトモードとする（Ｓ１３）。一方、取得した照度が照度閾値を下回る場合（Ｓ１２：Ｎｏ）、動作モードをダークモードとする（Ｓ２４）。

なお、人間の光に対する感受性には個人差があるので、照度閾値を変更することができるようにしてもよい。乗員が所定の手順で操作部６を操作すると、設定部２７がその操作を検出して操作内容（すなわち、照度閾値）を設定し記憶部２８に記憶する。また、設定内容は、動作モード判定部２１に出力する。

次に、動作モードに変化があったか否か、すなわち今回決定した動作モードが、前回の処理で決定した動作モードと同じか否かを判定する。動作モードに変化があった場合（Ｓ１４：Ｙｅｓ）、ディレイ閾値ｎにｎ２をセットする（Ｓ１５）。一方、動作モードに変化がない場合（Ｓ１４：Ｎｏ）、ディレイ閾値ｎにｎ１をセットする（Ｓ２５）。ここで、ｎ１，ｎ２は０または正の整数で、ｎ１＞ｎ２の関係がある。

次に、発光パターン設定部２２において、動作モードに応じた発光パターンを設定する（Ｓ１６）。

ここで、図４を用いて、投光器４の発光パターンと撮像部５のシャッター５ａの開閉制御タイミングについて説明する。図４の例では、シャッター５ａは、周期Ｔ１で開閉（露光ともいう）を繰り返す。投光器４は、シャッター５ａの開閉タイミング（周期Ｔ１）に同期してパルス発光する。まず、投光器４が発光を開始（ＯＮ）し、発光を開始して予め定められた時間経過後に、シャッター５ａが開状態となり、露光時間終了後にシャッター５ａが閉状態となるとともに、発光を終了（ＯＦＦ）する。なお、撮影対象物体により露光時間（シャッター５ａの開状態の時間）は変動する（詳細は後述）。また、露光が終了してから予め定められた時間が経過したときに、投光器４の発光を終了してもよい。

無論、投光器４の投光タイミングを基準として、撮像部５の撮像を制御する構成としてもよい。

次に、図５を用いて、各動作モードにおける投光器４（すなわち、光源４ａ）発光パターンの例について説明する。撮像部５のシャッター５ａは、例えば、３０Ｈｚの周期で露光を繰り返す。ブライトモードでは、投光器４は、シャッター５ａの露光に同期して電流Ｉが印加されて発光する（すなわち、露光同時発光）。発光パターンは、パルス発光である。

なお、パルス発光の波形は、矩形波あるいは方形波の他に、鋸歯状波，三角波，正弦波であってもよい。これらの波形のいずれを用いるかは、投光器制御部２３および投光器４の構成により定められる。

図５の例では、ダークモードは、発光パターンとしてダークモード１〜７が列記してあるが、これらのうちの一つを用いる。無論、図３において、照度閾値を複数設定してダークモード領域を細分化し、その細分化した領域毎に、７個のうちから発光パターンを設定してもよい。以下、各ダークモードの発光パターンについて説明する。

ダークモード１は、投光器４は、６０Ｈｚの周期で発光を繰り返す。つまり、シャッター５ａの露光に同期するタイミング（すなわち、露光同時発光）でパルス発光し、かつ、シャッター５ａの露光に同期しないタイミング（すなわち、非露光同時発光）でパルス発光する。これにより、フリッカの発生を抑制できる。

上記説明では６０Ｈｚの発光周期を代表例として用いたが、車両の振動によっては６０Ｈｚにおいてもフリッカを知覚する場合がある。したがって、ダークモード１では、周知の振動センサ（図示せず）を用いて車両内の各部の振動を検知し、それらの振動周波数に応じて、非露光同時発光させる発光周期を変化させてもよい。すなわち、車両内の振動を検知する振動検知部を備え、発光パターン設定部は、検知した振動周波数に応じて、非露光同時発光の発光パターンを設定する構成である。つまり、振動周波数の高い環境においてはよりフリッカを知覚しやすいため、フリッカを感じにくいように発光周波数を連動させて高く設定する。ここで関係する振動は、投光器自体の振動と運転者の振動の相対的な値であるが、運転者の振動は計測することが困難なため、シートの振動から人体モデルを用いて推定した頭部の振動周波数を用いてもよい。

ダークモード２は、投光器４は、ダークモード１と同様に６０Ｈｚの周期でパルス発光を繰り返すが、シャッター５ａの露光に同期しないタイミングでは、電流（すなわち、発光強度）Ｉ２をシャッター５ａの露光に同期するタイミングの電流Ｉよりも小さくして発光している。これにより、フリッカの発生を抑制できるとともに、ダークモード１に比べて投光器４での消費電流を低減することができる。

ダークモード３は、投光器４は、ダークモード２において、シャッター５ａの露光に同期しないタイミングでは、発光電流Ｉ３をダークモード２のＩ２よりも小さくして発光する一方、発光時間をダークモード２よりも長くしている。これにより、フリッカの発生を抑制できるとともに、ダークモード１に比べて投光器４での消費電流を低減することができる。

ダークモード４は、投光器４は、ブライトモードと同様に３０Ｈｚの周期で発光を繰り返すが、電流値はそのままで発光時間をブライトモードよりも長くしている。これにより、フリッカの発生を抑制できる。

ダークモード５は、投光器４は、ブライトモードと同様に３０Ｈｚの周期で発光を繰り返すが、シャッター５ａの露光終了後も、予め定められた時間（例えば、発光周期よりも短い）、露光時の電流Ｉとは異なる（例えば、少ない）電流Ｉ５で発光している。これにより、フリッカの発生を抑制できるとともに、ダークモード４に比べて投光器４での消費電流を低減することができる。

ダークモード６は、投光器４は、シャッター５ａの露光タイミングに関係なく常時発光する。このときの発光電流Ｉ６は、ブライトモードの電流値Ｉよりも小さくする。これにより、フリッカの発生を抑制できるとともに、特にダークモード４に比べて投光器４での消費電流を低減することができる。

ダークモード７は、ブライトモードとダークモード６とを合わせたもので、投光器４は、シャッター５ａの露光終了後も、露光時の電流Ｉよりも小さな発光電流Ｉ７で常時発光する。これにより、フリッカの発生を抑制できるとともに、特にダークモード４に比べて投光器４での消費電流を低減することができる。

上述のダークモードの各発光パターンにおいて、より効果の高いものとして、ダークモード１，２，６を挙げることができる。

図２に戻り、投光器制御部２３において、上述のように決定した発光パターンに基づいて、撮像タイミングに基づいて投光器４の投光制御を行うとともに、撮像制御部２４が撮像部５を動作制御して撮像を行う（Ｓ１７）。そして、認識部２５において、撮像部５にて撮像した画像データから乗員の顔を認識する（Ｓ１８）。そして、その認識結果に基づいて、制御値を変更する必要があるか否かを判定する。

例えば、撮影した乗員の顔画像から額・頬などの肌に相当する領域を検出し、乗員の肌の色であるその領域の色（フィルタを通した画素値）と、記憶部２８に予めに記憶されている予め定められた基準色とを比較して、その比較結果（例えば、双方の色の差を数値化したもの）に基づいて、制御値を変更する必要があるか否かを判定する。

制御値を変更する必要がない場合（Ｓ１９：Ｎｏ）、ディレイカウンタＭの値をインクリメントし（Ｓ２３）、ステップＳ１７へ戻り、現在の制御値を用いて投光・撮像を繰り返す。一方、制御値を変更する必要がある場合（Ｓ１９：Ｙｅｓ）、ディレイカウンタＭの値とディレイ閾値ｎとを比較し、Ｍ＞ｎの場合（Ｓ２０：Ｙｅｓ）、ディレイカウンタＭ＝０とし（Ｓ２１）、ステップＳ１１へ戻り、動作モードを再度決定する。

一方、Ｍ＞ｎでない場合（Ｓ２０：Ｎｏ）、制御値を変更し（Ｓ２２）、ディレイカウンタＭの値をインクリメントする（Ｓ２３）。そして、ステップＳ１７へ戻り、投光・撮影を行う。

上述のように、動作モードが変化した直後のディレイ閾値ｎは、動作モードが変化しない通常時のディレイ閾値ｎ１よりも小さいｎ２が設定されている。すなわち、一定時間は、動作モード判定部が動作モードを判定した際、動作モードが変化したときは、動作モードが変化しないときよりも短く設定される構成である。つまり、動作モードの変化が一時的のものか否かを判別できるようになっている。よって、車両においては、橋の下あるいは建物の陰を走行する場合のような、比較的短時間の照度の変化によって動作モードが変化したときに、変化前の動作モードに迅速に戻ることができるので、乗員の顔を正確に認識できない時間を短縮することができる。

図６を用いて、制御値の詳細について説明する。制御値は、予め記憶部２８に記憶されたカメラ制御テーブルを参照して決定する。カメラ制御テーブルは、少なくとも１つの制御テーブル（テーブル１）を含む。各パラメータのうち、「ｄＢ」は、例えば、上述の認識部２５での、撮影した乗員の顔画像の色と基準色との比較において、双方の色の差を数値化したもの、あるいはインデックス番号である。そして、初期設定値は「０」であり、このときのシャッター５ａの開状態の時間（露光時間）である「シャッター時間」は３００μｓｅｃで、撮像した画像データ（アナログ信号）を撮像部５で増幅するための増幅率である「Ｇａｉｎ（ゲイン）」は２倍となっている。つまり、制御値は、「シャッター時間」および「Ｇａｉｎ」を含む構成となっている。

また、制御値は、「Ｇａｉｎ」が同じで「シャッター時間」が異なるものを含んでおり、制御値の微調整を可能としている。無論、「シャッター時間」が同じで「Ｇａｉｎ」が異なる制御値を含む構成としてもよい。

撮像した顔画像の色が基準色よりも暗いときには、発光強度が小さいので、例えば、双方の色の差に基づいて、現在の「ｄＢ」値よりも大きい「ｄＢ」値に対応する「シャッター時間」および「Ｇａｉｎ」に変更する。一方、撮像した顔画像の色が基準色よりも明るいときには、発光強度が十分大きいので、双方の色の差に基づいて、現在の「ｄＢ」値よりも小さい「ｄＢ」値に対応する「シャッター時間」および「Ｇａｉｎ」に変更する。

動作モードが変化したときは、現在の「ｄＢ」値に対応する制御値を用いて撮像してもよいし、「ｄＢ」値が「０」に対応する制御値を用いて撮像してもよい。

また、テーブル１〜３のようにカメラ制御テーブルを複数備え、撮像した顔画像の色と基準色との比較結果（色の差）に応じて、テーブル１〜３のうちから使用するテーブルを選択し、選択したテーブルから制御値を決定してもよい。また、カメラ制御テーブルを、発光パターン毎に備える構成としてもよい。

図９を用いて、本発明の投光器制御処理の別例について説明する。なお、本処理は、上述の図２の変形例であるため、図２と同様の処理ステップについては同一の番号を付与し、ここでの詳細な説明は割愛する。ステップＳ１１〜Ｓ１８までは、図２と同様である。

ステップＳ１８で、認識部２５において、撮像部５にて撮像した画像データから乗員の顔を認識した後、ディレイカウンタＭの値とディレイ閾値ｎとを比較し、Ｍ＞ｎの場合（Ｓ１９ａ：Ｙｅｓ）、ディレイカウンタＭ＝０とし（Ｓ２１）、ステップＳ１１へ戻り、動作モードを再度決定する。

一方、Ｍ＞ｎでない場合（Ｓ１９ａ：Ｎｏ）、図２と同様に制御値を変更する必要があるか否かを判定する。制御値を変更する必要がない場合（Ｓ２０ａ：Ｎｏ）、ディレイカウンタＭの値をインクリメントし（Ｓ２３ａ）、ステップＳ１７へ戻り、現在の制御値を用いて投光・撮像を繰り返す。一方、制御値を変更する必要がある場合（Ｓ２０ａ：Ｙｅｓ）、制御値を変更する（Ｓ２２ａ）。そして、ディレイカウンタＭの値をインクリメントし（Ｓ２３ａ）、ステップＳ１７へ戻り、投光・撮影を行う。

以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

１ 顔画像撮像装置
２ 主制御部
３ 環境光検出部
４ 投光器
４ａ 光源
５ 撮像部
５ａ シャッター
６ 操作部
１１ ナビゲーション装置
２１ 動作モード判定部
２２ 発光パターン設定部
２３ 投光器制御部
２４ 撮像制御部
２５ 認識部
２７ 設定部
２８ 記憶部

Claims (11)

1. 車両の乗員の顔面を含む領域に向けて投光する投光器と、
   前記乗員の顔面を含む予め定められた領域を撮像する際に、撮像条件を設定する撮像制御部と、
   前記撮像制御部の設定した撮像条件に基づいて、乗員の顔面を含む予め定められた領域を撮像する撮像部と、
   前記車両または前記乗員に照射される環境光を検出する環境光検出部と、
   検出した前記環境光の光量が予め定められた光量閾値を上回るときの動作モードと、前記光量閾値を下回るときの動作モードの少なくとも２つのモードのいずれかを判定する動作モード判定部と、
   前記動作モードに基づき、前記投光器の光源の発光パターンを設定する発光パターン設定部と、
   前記発光パターンに基づいて、前記光源を発光させるよう投光器を制御する投光器制御部と、
   を備え、
   前記発光パターン設定部は、前記動作モードが前記光量閾値を下回るダークモードのときは、前記発光パターンを、前記撮像部の露光のタイミングと同期するパルス発光である露光同時発光に加え、前記撮像部の露光時間と同時期ではない時間に発光する発光パターンである非露光時発光を含むものに設定することを特徴とする顔画像撮像装置。
2. 前記撮像部により撮像した画像データから前記乗員の顔面を認識する認識部を備え、
   前記認識部において、前記乗員の顔面の予め定められた領域における画素値が予め定められた基準値に近づくように、前記投光器が前記発光パターンで発光する際、前記撮像制御部は、前記撮像部の露光時間あるいはゲインの少なくとも一方を調整することにより前記撮像条件を設定し、次回の撮像時には、設定した撮像条件を反映して前記撮像部が撮像することを特徴とする請求項１に記載の顔画像撮像装置。
3. 前記撮像制御部は、前記認識部での認識結果において、前記乗員の顔面の所定領域における画素値が前記基準値の範囲内でないときには、前記撮像条件を再度設定するが、その際、前回の撮像条件の設定反映後から一定時間が経過していない場合は、前記撮像条件を再設定した後、前記一定時間が経過するまで前記再設定した該撮像条件を反映しないことを特徴とする請求項２に記載の顔画像撮像装置。
4. 前記動作モード判定部は、前記環境光検出部により検出された環境光の状態に基づいて、前記動作モードを再判定する際に、前回の前記動作モードの判定後から一定時間が経過していない場合は、前記再判定の後、前記一定時間が経過するまで前記再判定した動作モードを反映しないことを特徴とする請求項１から請求項３のいずれか１項に記載の顔画像撮像装置。
5. 前記動作モード判定部は、前記一定時間が経過後、前記撮像条件の再設定要求が生じたときに前記動作モードを再判定する、もしくは前記一定時間が経過後直ちに前記動作モードを再判定することを特徴とする請求項４に記載の顔画像撮像装置。
6. 前記発光パターン設定部は、前記環境光検出部が予め定められたタイミングで検出している前記環境光の状態に基づいて、前記光源の発光パターンを変更することにより、前記乗員がフリッカを感じにくくなるようにすることを特徴とする請求項１から請求項５のいずれか１項に記載の顔画像撮像装置。
7. 前記発光パターン設定部は、前記動作モードが前記光量閾値を上回るブライトモードのときは、前記発光パターンを、前記撮像部の露光のタイミングと同期したパルス発光である露光同時発光を含むものに設定することを特徴とする請求項１から請求項６のいずれか１項に記載の顔画像撮像装置。
8. 前記発光パターン設定部は、前記非露光時発光における発光パターンをパルス発光とすることを特徴とする請求項１から請求項７のいずれか１項に記載の顔画像撮像装置。
9. 前記発光パターン設定部は、前記非露光時発光における発光パターンを常時発光とすることを特徴とする請求項１から請求項７のいずれか１項に記載の顔画像撮像装置。
10. 前記発光パターン設定部は、前記露光同時発光および前記非露光時発光における前記光源への印加電流をそれぞれ独立した値に設定することを特徴とする請求項１から請求項９のいずれか１項に記載の顔画像撮像装置。
11. 前記光源が投光する光は、近赤外の波長を含むことを特徴とする請求項１から請求項１０のいずれか１項に記載の顔画像撮像装置。