JP6480586B2 - 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法 - Google Patents

Description

関連出願の相互参照

本出願は、２０１５年７月２９日に日本国に特許出願された特願２０１５−１５００７３の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本発明は、移動体の運転者などの対象者の状態を監視するための画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法に関する。

従来、車両の運転者などの対象者を赤外帯域の光で照射し、赤外線カメラで撮像した撮像画像を用いて当該対象者の状態を監視し、例えば居眠り運転を防止するための警報を発生する装置が知られている。例えば、特許文献１には、運転者を撮像する撮像装置において、運転者に光を照射する照明手段を車両のステアリングホイールに設置して、運転者を撮像する技術が開示されている。

特開２００９−２００７１８号公報

本発明の一実施形態に係る画像処理装置は、画像取得部と、制御部と、を備える。画像取得部は、１以上の光源からの照射光で対象者を撮像した撮像画像を取得する。制御部は、撮像画像上において対象者の瞳孔を含む所定領域内で輝度が最大である第１位置と、第１位置における第１輝度と、第１位置から撮像画像上において第１距離だけ離れた第２位置と、第２位置における第２輝度と、を検出し、第１輝度および第２輝度に基づいて判定される瞳孔の大きさに基づいて、１以上の光源からの光量を調整するための調整情報を生成する。

本発明の一実施形態に係る撮像装置は、撮像素子と、制御部と、を備える。撮像素子は、光源からの照射光で対象者を撮像して撮像画像を生成する。制御部は、撮像画像上において対象者の瞳孔を含む所定領域内で輝度が最大である第１位置と、第１位置における第１輝度と、第１位置から撮像画像上において第１距離だけ離れた第２位置と、第２位置における第２輝度と、を検出し、第１輝度および第２輝度に基づいて判定される瞳孔の大きさに基づいて、光源からの光量を調整するための調整情報を生成する。

本発明の一実施形態に係る運転者監視システムは、照明装置と、撮像装置と、画像処理装置と、を備える。照明装置は、移動体の運転者に光を照射する。撮像装置は、光が照射された運転者を撮像して撮像画像を生成する。画像処理装置は、撮像画像上において運転者の瞳孔を含む所定領域内で輝度が最大である第１位置と、第１位置における第１輝度と、第１位置から撮像画像上において第１距離だけ離れた第２位置と、第２位置における第２輝度と、を検出し、第１輝度および第２輝度に基づいて判定される瞳孔の大きさに基づいて、照明装置からの光量を調整するための調整情報を生成する。

本発明の一実施形態に係る移動体は、照明装置と、撮像装置と、画像処理装置と、を備える。照明装置は、運転者に光を照射する。撮像装置は、光が照射された運転者を撮像して撮像画像を生成する。画像処理装置は、撮像画像上において運転者の瞳孔を含む所定領域内で輝度が最大である第１位置と、第１位置における第１輝度と、第１位置から撮像画像上において第１距離だけ離れた第２位置と、第２位置における第２輝度と、を検出し、第１輝度および第２輝度に基づいて判定される瞳孔の大きさに基づいて、照明装置からの光量を調整するための調整情報を生成する。

本発明の一実施形態に係る画像処理方法は、光源からの照射光で対象者を撮像した撮像画像を取得するステップと、撮像画像上において対象者の瞳孔を含む所定領域内で輝度が最大である第１位置と、第１位置における第１輝度と、第１位置から撮像画像上において第１距離だけ離れた第２位置と、第２位置における第２輝度と、を検出するステップと、第１輝度および第２輝度に基づいて判定される瞳孔の大きさに基づいて、光源からの光量を調整するための調整情報を生成するステップと、を含む。

本発明の一実施形態に係る運転者監視システムの概略構成を示すブロック図である。 図１の運転者監視システムを備える車両を示す概略図である。 評価パラメータと調整パラメータとの関係を示す図である。 車両内の光量が少ない場合における、撮像画像上の運転者の眼と輝度とを示す図である。 車両内の光量が多い場合における、撮像画像上の運転者の眼と輝度とを示す図である。 図１の照明装置の動作を説明するフローチャートである。 図１の撮像装置の動作を説明するフローチャートである。 図１の画像処理装置の動作を説明するフローチャートである。 本発明の他の実施形態に係る撮像装置の概略構成を示すブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。

図１を参照して、本発明の一実施形態に係る運転者監視システムについて説明する。運転者監視システムは、移動体に搭載される。本開示における「移動体」は、例えば車両、船舶、および航空機などを含んでもよい。以下、車両を移動体の例として説明する。

図１に示すように、運転者監視システム１０は、照明装置１１と、撮像装置１２と、画像処理装置１３と、を備える。運転者監視システム１０は、警告装置１４をさらに備えてもよい。運転者監視システム１０の各構成要素は、無線、有線、またはＣＡＮなどのネットワーク１５を介して情報を送受信可能である。

図２に示すように、照明装置１１は、運転者などの対象者１８の顔に光を照射可能となるように、例えば車両１６のダッシュボード１７に配置される。撮像装置１２は、照明装置１１からの照射光が照射された対象者１８の顔を撮像可能となるように、例えば車両１６のダッシュボード１７に配置される。本実施形態において、照明装置１１および撮像装置１２は、互いに近接して配置される。撮像装置１２は、画像上の対象者１８の眼の瞳孔が明るい撮像画像（明瞳孔画像）を生成する。

運転者監視システム１０の各構成について説明する。

照明装置１１は（図１参照）、１以上の光源１９と、照明光学系２０と、通信部２１と、照明制御部２２と、を備える。

光源１９は、例えばＬＥＤなどを含む。光源１９は、所定の波長帯域の光を発する。本実施形態において、光源１９は赤外帯域の拡散光を発する赤外ＬＥＤである。しかしながら、発せられる光の波長帯域および指向性は任意のものを採用可能である。

照明光学系２０は、例えば画角が調整されたレンズを含む。照明光学系２０は、照明光学系２０を透過する光を照射する。本実施形態において、照明光学系２０を透過した光源１９からの光は、対象者１８の顔全体に照射される。

通信部２１は、ネットワーク１５を介して情報の入力（取得）および出力を行うインターフェースを含む。

照明制御部２２は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵを含む。照明制御部２２は、照明装置１１の各部位の動作を制御する。例えば、照明制御部２２は、通信部２１を介して撮像装置１２から取得する同期信号に応じて周期的に、光源１９に赤外帯域の光を所定の発光時間パルス発光させる。

照明制御部２２は、光源１９をパルス発光させるためのパルス信号（制御信号）を用いて、光源１９をパルス発光させる。制御信号のパルス幅と周期の逆数（周波数）との積であるデューティー比、光源１９の駆動電流値（パルスの大きさ）、およびパルス発光させる光源１９の数などのパラメータに応じて、照明装置１１からの照射光の光量が変化する。本実施形態において、照明制御部２２は、通信部２１を介して画像処理装置１３から調整情報を取得する。調整情報は、照明装置１１からの照射光の光量を調整するための調整パラメータの値を指定する情報である。調整パラメータは、例えば制御信号のデューティー比、パルス幅、周期、または周波数と、光源１９の駆動電流値と、発光させる光源１９の数と、のうち少なくとも１つを含む。照明制御部２２は、調整情報に応じた制御信号を生成し、当該制御信号を用いて光源１９をパルス発光させる。あるいは、調整情報に制御信号自体が含まれる構成であってもよい。かかる場合、照明制御部２２は、調整情報に含まれる制御信号を用いて、光源１９をパルス発光させる。

撮像装置１２は、撮像光学系２３と、撮像素子２４と、ＡＦＥ２５と、画像処理部２６と、通信部２７と、カメラ制御部２８とを備える。

撮像光学系２３は、絞りおよび複数のレンズを含む。撮像光学系２３は、被写体像を結像させる。撮像光学系２３は、所定の波長帯域の光、本実施形態では赤外帯域の光のみを通過させるフィルタをさらに含む。撮像光学系２３は、照明装置１１からの照射光の照射先からの反射光を取込可能となるように、撮像装置１２の筐体に配置される。本実施形態において、撮像光学系２３は、照射光が照射された対象者１８の顔を含む被写体の像を結像可能である。本実施形態において、撮像光学系２３は、照明装置１１の照明光学系２０の近傍に設けられる。

撮像素子２４は、例えばＣＣＤ撮像素子またはＣＭＯＳ撮像素子を含む。撮像素子２４は、撮像光学系２３によって結像される被写体像を撮像して、撮像画像を生成する。撮像素子２４がＣＭＯＳ撮像素子である場合には、ＡＦＥ２５の各機能を撮像素子２４が有する構成であってもよい。

ＡＦＥ２５は、例えばＣＤＳ、ＡＧＣ、およびＡＤＣを含む。ＡＦＥ２５は、撮像素子２４によって生成されたアナログの撮像画像に対し、ＣＤＳ、ゲイン調整（ＡＧＣ）、およびＡ／Ｄ変換（ＡＤＣ）等の所定の前段画像処理を施す。

画像処理部２６は、例えばＤＳＰなどの画像処理専用のプロセッサを含む。画像処理部２６は、ＡＦＥ２５によって前段画像処理が施された撮像画像に対して、露出調整処理等の所定の後段画像処理を施す。

通信部２７は、ネットワーク１５を介して情報の入力（取得）および出力を行うインターフェースを含む。

カメラ制御部２８は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵを含む。カメラ制御部２８は、撮像装置１２全体の動作を制御する。例えば、カメラ制御部２８は、撮像のタイミングを示す同期信号を生成し、通信部２７を介して同期信号を照明装置１１へ出力する。カメラ制御部２８は、撮像素子２４の動作を制御して、周期的に、例えば３０ｆｐｓで被写体を撮像させる。カメラ制御部２８は、画像処理部２６および通信部２７の動作を制御して、後段画像処理が施された撮像画像を、ネットワーク１５を介して画像処理装置１３へ出力させる。

画像処理装置１３は、通信部２９と、記憶部３０と、制御部３１とを備える。

通信部２９は、ネットワーク１５を介して情報の入力（取得）および出力を行うインターフェースを含む。通信部２９は、撮像装置１２が生成した撮像画像を取得する画像取得部として機能する。

記憶部３０は、画像処理装置１３の動作に必要な種々の情報およびプログラムを記憶する。例えば記憶部３０は、図３に示すように、後述する評価パラメータと、照明装置１１からの照射光の光量を調整するための調整パラメータと、の対応関係を示す情報を予め記憶する。当該対応関係は、例えば実験またはシミュレーションによって、予め決定可能である。当該対応関係の詳細については後述する。

制御部３１は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵを含む。制御部３１は、画像処理装置１３全体の動作を制御する。

例えば制御部３１は、通信部２９を介して、撮像装置１２によって後段画像処理が施された撮像画像を取得する。

制御部３１は、撮像画像の輝度に基づいて、対象者１８の瞳孔の大きさ、すなわち車両１６内の外光の光量を判定する。以下、具体的に説明する。

制御部３１は、撮像画像上の対象者１８の眼を検出する。眼の検出は、例えばパターンマッチングを用いる手法や、撮像画像上の特徴点を抽出する手法など、任意の手法を採用可能である。

制御部３１は、撮像画像上において対象者１８の眼（瞳孔）を含む所定領域を切り出す。

図４（ａ）は、例えば夜など、車両１６内の外光の光量が比較的少ない場合に撮像された撮像画像上の対象者１８の眼を示す。車両１６内の光量が少ないため、撮像画像上の虹彩（黒目）３６に対する瞳孔３２の大きさは比較的大きい。図４（ｂ）は、撮像画像上の所定領域内で対象者１８の瞳孔３２の中心を通る線分３３上の位置と輝度との関係を示す図であって、横軸を位置、縦軸を輝度としたグラフである。上述したように、本実施形態において撮像画像は明瞳孔画像である。このため、撮像画像上の瞳孔３２は明るく撮像される。撮像画像上の所定領域内において、瞳孔３２の中心位置（第１位置）の第１輝度Ｐが最も高い。瞳孔３２の中心部分３７は、図４（ｂ）に示す輝度のピーク部分に略対応する。第１位置から所定距離（第１距離）だけ離れた位置（第２位置）の第２輝度Ｑは、瞳孔３２の内側であるため比較的大きいが、第１輝度Ｐよりも小さい。第１位置から第１距離よりも長い所定距離（第２距離）だけ離れた位置（第３位置）の第３輝度Ｒは、瞳孔３２の外側の虹彩３６部分であるため比較的小さく、第２輝度Ｑよりもさらに小さい。

一方、図５（ａ）は、例えば昼間など、車両１６内の外光の光量が比較的多い場合に撮像された撮像画像上の対象者１８の眼を示す。車両１６内の光量が多いため、撮像画像上の虹彩３８に対する瞳孔３４の大きさは比較的小さい。図５（ｂ）は、撮像画像上の所定領域内で対象者１８の瞳孔３４の中心を通る線分３５上の位置と輝度との関係を示す図であって、横軸を位置、縦軸を輝度としたグラフである。撮像画像上の所定領域内において、瞳孔３４の中心位置（第１位置）の第１輝度Ｐが最も高い。瞳孔３４の中心部分３９は、図５（ｂ）に示す輝度のピーク部分に略対応する。第１位置から所定距離（第１距離）だけ離れた位置（第２位置）の第２輝度Ｑは、瞳孔３４の外側の虹彩３８部分であるため比較的小さく、第１輝度Ｐよりも小さい。第１位置から第１距離よりも長い所定距離（第２距離）だけ離れた位置（第３位置）の第３輝度Ｒは、瞳孔３４の外側の虹彩３８部分であるため比較的小さく、第２輝度Ｑと略等しい。

このように、車両１６内の外光の光量が少ない場合には瞳孔の大きさが大きくなり、撮像画像上の第２位置が瞳孔３２の内側となるため（図４参照）、第２輝度Ｑは比較的大きくなる。一方、車両１６内の外光の光量が多い場合には瞳孔の大きさが小さくなり、撮像画像上の第２位置が瞳孔３４の外側の虹彩３８部分となるため（図５参照）、第２輝度Ｑは比較的小さくなる。

本実施形態において、制御部３１は、撮像画像上の所定領域内を走査して、輝度が最も高い第１位置と、第１位置における第１輝度Ｐと、第２位置と、第２位置における第２輝度Ｑと、を検出する。制御部３１は、さらに第３位置と、第３位置における第３輝度Ｒと、を検出してもよい。そして制御部３１は、第１輝度Ｐおよび第２輝度Ｑに基づいて、瞳孔の大きさと相関関係を有する評価パラメータを算出する。制御部３１は、第１輝度Ｐ、第２輝度Ｑ、および第３輝度に基づいて、評価パラメータを算出してもよい。

例えば評価パラメータは、第１輝度Ｐと第２輝度Ｑとの差Ｐ−Ｑ、第１輝度Ｐに対する第２輝度Ｑの割合Ｑ／Ｐ、または、第１輝度Ｐと第３輝度Ｒの差に対する第１輝度Ｐと第２輝度Ｑの差の割合（Ｐ−Ｑ）／（Ｐ−Ｒ）などであるが、これらに限られない。

制御部３１は、算出された評価パラメータに基づいて、対象者１８の瞳孔の大きさ、すなわち車両１６内の外光の光量を判定する。例えば、評価パラメータが第１輝度Ｐに対する第２輝度Ｑの割合Ｑ／Ｐである場合、制御部３１は、評価パラメータであるＱ／Ｐが１に近いほど瞳孔が大きいと判定し、車両１６内の外光の光量が少ないと判定する。あるいは、評価パラメータが第１輝度Ｐと第２輝度Ｑとの差Ｐ−Ｑである場合、制御部３１は、評価パラメータであるＰ−Ｑが小さいほど瞳孔が大きいと判定し、車両１６内の外光の光量が少ないと判定する。

制御部３１は、上述したように任意の手法を採用して撮像画像上の対象者１８の眼を検出する際に、同時に眼の大きさを検出し、検出された眼の大きさに基づいて、第１距離および第２距離を決定してもよい。具体的には、制御部３１は、検出された眼の大きさが大きいほど、第１距離および第２距離をそれぞれ長くするように決定する。あるいは、制御部３１は、検出された眼の大きさ（例えば、眼の左右方向の長さ）に所定の割合を乗じて、第１距離および第２距離をそれぞれ決定する。このようにして、例えば車両１６内における対象者１８と撮像装置１２との距離に応じて撮像画像上の対象者１８の眼（瞳孔）の大きさが変化しても、眼の大きさに対する第１距離および第２距離の相対長さの変化が抑制される。このため、例えば第１距離および第２距離としてそれぞれ定数を用いる構成と比較して、瞳孔の大きさの判定精度、すなわち車両１６内の外光の光量の判定精度が向上する。

制御部３１は、記憶部３０に記憶された、評価パラメータと、照明装置１１からの照射光の光量を調整するための調整パラメータと、の対応関係を示す情報（図３参照）に基づいて、算出された評価パラメータに対応する調整パラメータを決定する。当該対応関係において、評価パラメータに基づいて判定される瞳孔の大きさが大きいほど、すなわち車両１６内の外光の光量が少ないほど、照明装置１１からの照射光の光量を低減する調整パラメータが対応付けられる。

例えば、評価パラメータが第１輝度Ｐに対する第２輝度Ｑの割合Ｑ／Ｐであり、調整パラメータが照明装置１１の制御信号のデューティー比である場合、評価パラメータであるＱ／Ｐの値が大きいほど（１に近いほど）、調整パラメータであるデューティー比が小さい値に定められる。瞳孔の大きさが大きく、車両１６内の外光の光量が少ないと判定される場合には、照明装置１１からの照射光の光量が比較的少なくても対象者１８の状態が十分な精度で判定される蓋然性が高い。かかる場合に照明装置１１からの照射光の光量が低減するので、照明装置１１の光源１９の消費電力が低減し、光源１９の長寿命化および照射光の照射による対象者１８の眼の負担の低減が可能となる。

一方、制御部３１は、例えば照明装置１１からの照射光の光量が少ないために撮像画像上の第１位置を検出できないなど、撮像画像上の対象者１８の眼または瞳孔が検出できない場合には、照明装置１１からの照射光の光量を増加させるように調整パラメータを決定する。具体的には、制御部３１は、撮像画像上の第１位置を検出できない場合に、調整パラメータであるデューティー比を増加させる。

制御部３１は、決定した調整パラメータの値を指定する情報を含む調整情報を生成し、通信部２９を介して当該調整情報を照明装置１１へ出力する。あるいは、制御部３１は、決定した調整パラメータに応じた制御信号を含む調整情報を生成し、通信部２９を介して当該調整情報を照明装置１１へ出力してもよい。

制御部３１は、撮像画像上の対象者１８の眼または瞳孔の検出結果に応じて、警告装置１４に警告を行わせる制御情報を生成する。例えば、撮像画像上の対象者１８の眼または瞳孔が所定時間連続して検出されない場合には、対象者１８がよそ見運転または居眠り運転をしている蓋然性が高い。かかる場合には、制御部３１は、警告装置１４に警告を行わせる制御情報を生成する。制御部３１は、通信部２９を介して当該制御情報を警告装置１４へ出力する。

警告装置１４は、例えばスピーカおよびバイブレータなどを備える。警告装置１４は、画像処理装置１３から制御情報を取得すると、対象者１８に対して警告を行う。警告は、例えば音および振動の少なくとも一方によって行われる。

図６のフローチャートを参照して、照明装置１１の動作について説明する。本動作は、例えば車両１６が走行をはじめたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行される。

ステップＳ１００：照明制御部２２は、通信部２１を介して撮像装置１２から同期信号を取得する。

ステップＳ１０１：照明制御部２２は、通信部２１を介して画像処理装置１３から調整情報を取得する。

ステップＳ１０２：照明制御部２２は、ステップＳ１０１の調整情報に基づいて生成した制御信号、または、調整情報に含まれる制御信号を用いて、光源１９をパルス発光させる。その後、ステップＳ１００に戻る。

図７のフローチャートを参照して、撮像装置１２の動作について説明する。本動作は、例えば車両１６が走行をはじめたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行される。

ステップＳ２００：カメラ制御部２８は、撮像のタイミングを示す同期信号を生成し、通信部２７を介して同期信号を照明装置１１へ出力する。

ステップＳ２０１：カメラ制御部２８は、撮像素子２４の動作を制御して、被写体を撮像させて、撮像画像を生成させる。

ステップＳ２０２：カメラ制御部２８は、画像処理部２６および通信部２７の動作を制御して、後段画像処理が施された撮像画像を、ネットワーク１５を介して画像処理装置１３へ出力させる。その後、ステップＳ２００に戻る。

図８のフローチャートを参照して、画像処理装置１３が調整情報を出力する動作について説明する。本動作は、例えば車両１６が走行をはじめたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行される。

ステップＳ３００：制御部３１は、通信部２９を介して、撮像装置１２によって後段画像処理が施された撮像画像を取得する。

ステップＳ３０１：制御部３１は、例えばパターンマッチングを用いる手法や、撮像画像上の特徴点を抽出する手法など、任意の手法を用いて、撮像画像上の対象者１８の眼を検出したか否かを判定する。撮像画像上の眼を検出した場合には（ステップＳ３０１−Ｙｅｓ）、ステップＳ３０２に進む。一方、撮像画像上の眼を検出しなかった場合には（ステップＳ３０１−Ｎｏ）、ステップＳ３０７に進む。

ステップＳ３０２：ステップＳ３０１において撮像画像上の眼を検出した場合には（ステップＳ３０１−Ｙｅｓ）、制御部３１は、撮像画像上において対象者１８の眼を含む所定領域を切り出す。

ステップＳ３０３：制御部３１は、撮像画像上の所定領域内を走査して、輝度が最も高い第１位置と、第１位置における第１輝度Ｐと、を検出したか否かを判定する。第１位置及び第１輝度Ｐを検出した場合には（ステップＳ３０３−Ｙｅｓ）、ステップＳ３０４に進む。一方、第１位置及び第１輝度Ｐを検出しなかった場合には（ステップＳ３０３−Ｎｏ）、ステップＳ３０７に進む。

ステップＳ３０４：ステップＳ３０３において第１位置及び第１輝度Ｐを検出した場合には（ステップＳ３０３−Ｙｅｓ）、制御部３１は、第２位置と、第２位置における第２輝度Ｑと、を検出する。制御部３１は、さらに第３位置と、第３位置における第３輝度Ｒと、を検出してもよい。

ステップＳ３０５：制御部３１は、第１輝度Ｐおよび第２輝度Ｑに基づいて、瞳孔の大きさと相関関係を有する評価パラメータを算出する。制御部３１は、第１輝度Ｐ、第２輝度Ｑ、および第３輝度に基づいて、評価パラメータを算出してもよい。

ステップＳ３０６：制御部３１は、算出された評価パラメータに基づいて、対象者１８の瞳孔の大きさ、すなわち車両１６内の外光の光量を判定する。

ステップＳ３０７：ステップＳ３０１において撮像画像上の眼が検出されなかった場合（ステップＳ３０１−Ｎｏ）、またはステップＳ３０３において第１位置及び第１輝度Ｐを検出しなかった場合には（ステップＳ３０３−Ｎｏ）、制御部３１は、照明装置１１からの照射光の光量を増加させるように調整パラメータを決定する。一方、ステップＳ３０６において瞳孔の大きさ、すなわち外光の光量が判定された場合には、制御部３１は、判定された瞳孔の大きさが大きいほど、すなわち車両１６内の外光の光量が少ないほど、照明装置１１からの照射光の光量を低減するように調整パラメータを決定する。

ステップＳ３０８：制御部３１は、決定した調整パラメータの値を指定する情報を含む調整情報を生成し、通信部２９を介して当該調整情報を照明装置１１へ出力する。あるいは、制御部３１は、決定した調整パラメータに応じた制御信号を含む調整情報を生成し、通信部２９を介して当該調整情報を照明装置１１へ出力してもよい。その後、ステップＳ３００に戻る。

一般的に、車両内に差し込む自然光などの外光の光量は、例えば昼間または夜間など、車両外部の環境に応じて異なる。外光には様々な波長の光が含まれる。このため、従来技術では、外光の光量が多い場合には、外光がノイズとなって対象者の状態の判定精度が低下する可能性がある。様々な環境下で十分な照射光の光量を確保するために、照明手段から大きな光量の照射光を照射すると、照明手段の光源の消費電力が増加する可能性がある。したがって、光源の消費電力の低減について改善の余地があった。

一方、本実施形態に係る運転者監視システム１０の画像処理装置１３は、光源１９からの照射光が照射された対象者１８を撮像した撮像画像を取得する。画像処理装置１３は、撮像画像から判定される対象者１８の瞳孔の大きさに基づいて、光源１９からの照射光の光量を調整するための調整情報を生成する。このように、車両１６内の外光の光量に応じて変化する対象者１８の瞳孔の大きさに基づいて照射光の光量が調整される。このため、例えば一定の光量の照射光を照射する構成と比較して、照明装置１１の光源１９の消費電力の低減、光源１９の長寿命化、および照射光の照射による対象者１８の眼の負担の低減が可能となる。

画像処理装置１３は、撮像画像から対象者１８の眼または瞳孔が検出されない場合には、照射光の光量を増加させる調整情報を生成する。このようにして、例えば照射光の光量不足によって瞳孔が検出できない場合には、照射光の光量が増加して瞳孔が検出可能となる蓋然性が高まるため、対象者１８の状態の判定精度が向上する。

画像処理装置１３は、撮像画像上の瞳孔を含む所定領域内で、瞳孔の中心位置、すなわち輝度が最大である第１位置における第１輝度と、第１位置から第１距離だけ離れた第２位置における第２輝度と、に基づいて瞳孔の大きさを判定する。このように、撮像画像上の２点の輝度に基づいて瞳孔の大きさが判定可能であり、例えば対象者１８の眼に対応する撮像画像上の領域全ての輝度に基づいて瞳孔の大きさを判定する手法と比較して、処理負担が軽減される。

画像処理装置１３は、撮像画像上で検出された眼の大きさに基づいて第１距離を決定する。このようにして、例えば対象者１８が撮像装置１２の近くに存在する場合と、対象者１８が撮像装置１２から離れて存在する場合とで、検出された眼の大きさに対する第１距離の相対長さの変化が抑制される。このため、例えば第１距離として所定の値を用いる構成と比較して、瞳孔の大きさの判定精度が向上する。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、上述した実施形態に係る運転者監視システム１０は、照明装置１１と、撮像装置１２と、画像処理装置１３と、警告装置１４と、を備える。しかしながら、運転者監視システム１０の各構成要素および機能は再配置可能である。例えば、照明装置１１、画像処理装置１３、および警告装置１４の構成および機能の一部または全部を撮像装置１２に包含させてもよい。例えば、上述した実施形態に係る画像処理装置１３の構成および機能の一部を包含させた撮像装置１２０は、図９に示すように、撮像光学系２３と、撮像素子２４と、ＡＦＥ２５と、画像処理部２６と、通信部２７と、カメラ制御部２８と、記憶部３００と、制御部３１０と、を備える。撮像光学系２３、撮像素子２４、ＡＦＥ２５、画像処理部２６、通信部２７、およびカメラ制御部２８は、上述した実施形態と同様である。記憶部３００および制御部３１０は、上述した実施形態に係る画像処理装置１３の記憶部３０および制御部３１とそれぞれ同様の構成および機能を有する。例えば、制御部３１０は、制御部３１と同様に、撮像画像から判定される対象者の瞳孔の大きさに基づいて、光源からの光量を調整するための調整情報を生成する。撮像装置１２０のカメラ制御部２８および制御部３１０は、１つまたは複数のプロセッサで構成されてもよい。

上述の実施形態に係る運転者監視システム１０の構成要素の一部は、車両１６の外部に設けられてもよい。例えば、画像処理装置１３などは、携帯電話または外部サーバなどの通信機器として実現され、運転者監視システム１０の他の構成要素と有線または無線によって接続されてもよい。

１０ 運転者監視システム
１１ 照明装置
１２、１２０ 撮像装置
１３ 画像処理装置
１４ 警告装置
１５ ネットワーク
１６ 車両
１７ ダッシュボード
１８ 対象者
１９ 光源
２０ 照明光学系
２１ 通信部
２２ 照明制御部
２３ 撮像光学系
２４ 撮像素子
２５ ＡＦＥ
２６ 画像処理部
２７ 通信部
２８ カメラ制御部
２９ 通信部
３０、３００ 記憶部
３１、３１０ 制御部
３２ 瞳孔
３３ 線分
３４ 瞳孔
３５ 線分
３６ 虹彩
３７ 中心部分
３８ 虹彩
３９ 中心部分

Claims (10)

1. １以上の光源からの照射光で対象者を撮像した撮像画像を取得する画像取得部と、
   前記撮像画像上において前記対象者の瞳孔を含む所定領域内で輝度が最大である第１位置と、該第１位置における第１輝度と、該第１位置から前記撮像画像上において第１距離だけ離れた第２位置と、該第２位置における第２輝度と、を検出し、前記第１輝度および前記第２輝度に基づいて判定される前記瞳孔の大きさに基づいて、前記１以上の光源からの光量を調整するための調整情報を生成する制御部と、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記調整情報は、判定された前記瞳孔の大きさが大きいほど前記光量を減少させる。
3. 請求項１又は２に記載の画像処理装置であって、
   前記調整情報は、前記撮像画像から前記対象者の眼または瞳孔が検出されない場合、前記光量を増加させる。
4. 請求項１乃至３の何れか一項に記載の画像処理装置であって、
   前記調整情報は、前記光源をパルス発光させる制御信号と、該制御信号のデューティー比、パルス幅、周期、または周波数を指定する情報と、前記光源の駆動電流値を指定する情報と、発光させる前記光源の数を指定する情報と、のうち少なくとも１つを含む。
5. 請求項１乃至４の何れか一項に記載の画像処理装置であって、
   前記制御部は、前記第１輝度と前記第２輝度との差が小さいほど、または、前記第１輝度に対する前記第２輝度の割合が大きいほど、前記瞳孔の大きさが大きいと判定する。
6. 請求項１乃至５の何れか一項に記載の画像処理装置であって、
   前記制御部は、前記撮像画像上の前記対象者の眼の大きさを検出し、検出された該眼の大きさに基づいて前記第１距離を決定する。
7. 光源からの照射光で対象者を撮像して撮像画像を生成する撮像素子と、
   前記撮像画像上において前記対象者の瞳孔を含む所定領域内で輝度が最大である第１位置と、該第１位置における第１輝度と、該第１位置から前記撮像画像上において第１距離だけ離れた第２位置と、該第２位置における第２輝度と、を検出し、前記第１輝度および前記第２輝度に基づいて判定される前記瞳孔の大きさに基づいて、前記光源からの光量を調整するための調整情報を生成する制御部と、
   を備える、撮像装置。
8. 移動体の運転者に光を照射する照明装置と、
   前記光が照射された前記運転者を撮像して撮像画像を生成する撮像装置と、
   前記撮像画像上において前記運転者の瞳孔を含む所定領域内で輝度が最大である第１位置と、該第１位置における第１輝度と、該第１位置から前記撮像画像上において第１距離だけ離れた第２位置と、該第２位置における第２輝度と、を検出し、前記第１輝度および前記第２輝度に基づいて判定される前記瞳孔の大きさに基づいて、前記照明装置からの光量を調整するための調整情報を生成する画像処理装置と、
   を備える、運転者監視システム。
9. 運転者に光を照射する照明装置と、
   前記光が照射された前記運転者を撮像して撮像画像を生成する撮像装置と、
   前記撮像画像上において前記運転者の瞳孔を含む所定領域内で輝度が最大である第１位置と、該第１位置における第１輝度と、該第１位置から前記撮像画像上において第１距離だけ離れた第２位置と、該第２位置における第２輝度と、を検出し、前記第１輝度および前記第２輝度に基づいて判定される前記瞳孔の大きさに基づいて、前記照明装置からの光量を調整するための調整情報を生成する画像処理装置と、
   を備える、移動体。
10. 光源からの照射光で対象者を撮像した撮像画像を取得するステップと、
    前記撮像画像上において前記対象者の瞳孔を含む所定領域内で輝度が最大である第１位置と、該第１位置における第１輝度と、該第１位置から前記撮像画像上において第１距離だけ離れた第２位置と、該第２位置における第２輝度と、を検出するステップと、
    前記第１輝度および前記第２輝度に基づいて判定される前記瞳孔の大きさに基づいて、前記光源からの光量を調整するための調整情報を生成するステップと、
    を含む、画像処理方法。

Images