JP6646879B2 - 撮像装置 - Google Patents

Description

本発明は、たとえば車両に搭載されるドライバモニタのような撮像装置に関し、特に、被写体に光を照射して撮像を行う撮像装置に関する。

車両に搭載されるドライバモニタは、カメラで撮像した運転者の顔の画像を解析して、瞼の閉じ具合や視線方向などから、居眠り運転や脇見運転の有無を監視する装置である。

ドライバモニタのカメラには、運転者の顔を撮像する撮像素子が備わっているが、夜間やトンネル内では車両の室内が暗いために、運転者の顔を正確に撮像するのが困難となる。そこで、カメラに発光素子を設け、撮像時に発光素子が発する光を、運転者の顔に照射することで、顔を明るくした状態で撮像を行うようにしている。

発光素子としては、たとえば近赤外光を発するＬＥＤが用いられる。また、撮像素子としては、たとえば近赤外領域において高感度特性を示すＣＭＯＳイメージセンサが用いられる。このような撮像素子と発光素子を用いることで、車両が夜間やトンネル内を走行する場合でも、運転者の顔を高感度に撮像することが可能となる。特許文献１および特許文献２には、このように運転者の顔に光を照射して撮像を行うドライバモニタが記載されている。

特許文献１のドライバモニタにおいては、光を照射しない状態で撮像した顔の画像（第１画像）と、光を照射した状態で撮像した顔の画像（第２画像）とを取得し、第１画像と第２画像の輝度の差分を算出し、この差分に基づいて撮像範囲における顔の部分を特定するようにしている。

特許文献２のドライバモニタにおいては、露光量が少ない条件下で撮像した第１撮像画像を用いて、運転者の顔の広域部分（顔の輪郭など）に対する画像処理を行い、露光量が多い条件下で撮像した第２撮像画像を用いて、運転者の顔の一部分（目など）に対する画像処理を行うようにしている。

特許文献１のように、光を照射しない場合の第１画像と、光を照射した場合の第２画像とから、それらの差分である差分画像を生成することにより、太陽光などの外乱光の影響が除去され、ムラの少ない鮮明な顔画像を得ることができる。

しかしながら、車両の室内に入射する外乱光は一様ではなく、天候や周囲の環境などによって変化する。このため、外乱光が少ない場合は、第１画像と第２画像との間に顕著な輝度差が現れるが、たとえば顔が太陽光を受けて十分に明るい状態では、光を照射してもしなくても、顔の明るさはあまり変わらないから、第１画像と第２画像との間に顕著な輝度差が現れない。したがって、この場合に第１画像と第２画像との差分をとると、差分画像の全体が著しく暗くなって、いわゆる黒潰れの状態となり、画像処理において顔を正確に認識できなくなる。

特開２０１７−１７５１９９号公報 特開２００９−２７６８４９号公報

本発明は、外乱光のレベルに応じて、差分画像を最適な明るさに調整することが可能な撮像装置を提供することを課題とする。

本発明に係る撮像装置は、撮像部、画像処理部、輝度検出部、目標輝度設定部、および感度調整部を備えている。撮像部は、被写体を撮像する撮像素子と、被写体に光を照射する発光素子とを有しており、発光素子が光を照射していない状態で撮像した被写体の第１画像と、発光素子が光を照射している状態で撮像した被写体の第２画像とを生成する。画像処理部は、第１画像と第２画像との差分である差分画像を生成し、当該差分画像に基づいて被写体を検出する。輝度検出部は、第１画像の輝度と差分画像の輝度を検出する。目標輝度設定部は、輝度検出部で検出された第１画像の輝度に基づいて、差分画像の目標輝度を設定する。感度調整部は、輝度検出部で検出された差分画像の輝度が、目標輝度設定部で設定された目標輝度に近づくように、撮像部の撮像感度を調整する。

このような撮像装置においては、第１画像の輝度および差分画像の輝度をそれぞれ検出し、第１画像の輝度に基づいて、差分画像の目標輝度を設定し、差分画像の輝度が目標輝度に近づくように、撮像部の撮像感度を調整している。このため、第１画像の輝度から外乱光のレベルを判定して、差分画像の目標輝度を、外乱光レベルに応じた値に設定することができる。その結果、外乱光が多い場合は目標輝度を低く設定し、外乱光が少ない場合は目標輝度を高く設定することで、差分画像を最適な明るさに調整することが可能となる。

本発明において、目標輝度設定部は、輝度検出部で検出された第１画像の輝度を、予め設定された輝度閾値と比較し、第１画像の輝度が輝度閾値以下である場合は、差分画像の目標輝度を上げ、第１画像の輝度が輝度閾値以下でない場合は、差分画像の目標輝度を下げるようにしてもよい。

本発明において、感度調整部は、輝度検出部で検出された差分画像の輝度が、目標輝度を所定量下回っている場合は、撮像感度を上げ、輝度検出部で検出された差分画像の輝度が、目標輝度を所定量超えている場合は、撮像感度を下げるようにしてもよい。

本発明において、目標輝度設定部は、第１画像の輝度に応じた複数段階の外乱光レベルと、当該外乱光レベルのそれぞれに対応する目標輝度とが記憶された第１テーブルを有し、輝度検出部で検出された第１画像の輝度に対し、第１テーブルを参照して目標輝度を設定するようにしてもよい。

本発明において、感度調整部は、撮像部の撮像感度に応じた複数段階の感度レベルと、当該感度レベルのそれぞれに対応する感度調整パラメータとが記憶された第２テーブルを有し、目標輝度設定部で設定された差分画像の目標輝度に対し、第２テーブルを参照して、感度調整パラメータに基づき撮像感度を調整するようにしてもよい。

本発明において、感度調整パラメータは、撮像素子の露光時間、発光素子の駆動電流、および撮像素子のゲインのうちの少なくとも１つを含んでいてもよい。

本発明において、感度調整部は、感度調整パラメータのうち、撮像素子の露光時間または発光素子の駆動電流を優先的に採用することにより、撮像感度を調整し、撮像素子の露光時間または発光素子の駆動電流を上げても、差分画像の輝度が目標輝度に近づかない場合に、撮像素子のゲインを上げるようにしてもよい。

本発明において、輝度検出部は、第１画像の領域のうち、被写体の特定部分が収まる特定領域の輝度を、当該第１画像の輝度として検出してもよい。

本発明において、輝度検出部は、特定領域内に被写体の特定部分が捉えられない場合は、第１画像上で、特定部分の探索範囲を徐々に広げてゆき、探索範囲内に特定部分が捉えられると、当該特定部分に対して新たに特定領域を設定し、当該特定領域の輝度を第１画像の輝度として検出してもよい。

本発明において、被写体は車両の運転者であり、特定部分は運転者の顔であり、特定領域は、顔が収まる顔領域であってもよい。

本発明によれば、外乱光のレベルに応じて、差分画像を最適な明るさに調整することが可能な撮像装置を提供することができる。

本発明の実施形態であるドライバモニタの電気ブロック図である。 撮像部による顔の撮像の様子を示す図である。 オフ画像、オン画像、および差分画像を模式的に示す図である。 オフ画像における顔位置の変化と、顔の探索範囲を示す図である。 外乱光レベルテーブルを示す図である。 感度レベルテーブルを示す図である。 感度調整の手順を示すフローチャートである。

本発明の実施形態につき、図面を参照しながら説明する。各図において、同一の部分または対応する部分には、同一符号を付してある。以下では、本発明を車両に搭載されるドライバモニタに適用した例を挙げる。

まず、図１および図２を参照して、ドライバモニタの構成について説明する。図１において、ドライバモニタ１００は、図２の車両５０に搭載されており、撮像部１、制御部２、および駆動回路３を備えている。

撮像部１は、カメラを構成しており、撮像素子１１と発光素子１２とを有している。撮像部１には、これら以外にレンズなどの光学部品も備わっている（図示省略）。撮像素子１１は、たとえばＣＭＯＳイメージセンサからなる。発光素子１２は、たとえば近赤外光を発光するＬＥＤからなる。

図２に示すように、撮像部１は、シート５２に着座した運転者５３の顔Ｆと対向する位置に設置されている。点線は、撮像部１の撮像範囲を表している。本例では、撮像部１は運転席のダッシュボード５１に、図示しないディスプレイや計器類と共に設けられているが、撮像部１の設置場所はこれに限定されない。撮像素子１１は運転者５３の顔Ｆを撮像し、発光素子１２は運転者５３の顔に近赤外光を照射する。運転者５３は、本発明における「被写体」の一例である。

撮像部１は、発光素子１２が光を照射していない状態（非発光状態）で撮像した運転者５３の画像（以下、「オフ画像」という。）と、発光素子１２が光を照射している状態（発光状態）で撮像した運転者５３の画像（以下、「オン画像」という。）とを生成し、それぞれの画像データを、制御部２の画像処理部２１へ出力する。

図３（ａ）は、オフ画像の例を模式的に示している。図３（ｂ）は、オン画像の例を模式的に示している。なお、図３では、顔Ｆ以外の背景の画像を省略してある。光照射のない状態で撮像されたオフ画像Ｇ１は、光照射のある状態で撮像されたオン画像Ｇ２に比べて、暗い画像となっている。オフ画像Ｇ１は、本発明における「第１画像」に相当し、オン画像Ｇ２は、本発明における「第２画像」に相当する。

制御部２は、画像処理部２１、ドライバ状態判定部２２、輝度検出部２３、目標輝度設定部２４、および感度調整部２５を備えている。

画像処理部２１は、撮像部１で撮像された撮像画像に対して所定の処理を行う。たとえば、画像処理部２１は、撮像部１から取得したオン画像とオフ画像との差分である差分画像を生成し、この差分画像に基づいて、運転者５３の顔Ｆや顔の特徴点（目、鼻、口など）を検出したり、顔Ｆの向きを検出したり、視線方向を検出したりする。

図３（ｃ）は、差分画像の例を模式的に示している。図３（ｂ）のオン画像Ｇ２と図３（ａ）のオフ画像Ｇ１との差分である差分画像Ｇｓは、外乱光が除去されて、ムラの少ない鮮明な画像となっている。

ドライバ状態判定部２２は、画像処理部２１で検出された顔の特徴点、顔の向き、視線方向などに基づいて、運転者５３の運転状態（居眠り運転や脇見運転など）を判定する。この判定結果は、上位装置であるＥＣＵ（Electronic Control Unit）２００へ送られる。ＥＣＵ２００は、車両５０に搭載されており、図示しないＣＡＮ（Controller Area Network）を介して、ドライバモニタ１００と接続されている。

輝度検出部２３は、オフ画像Ｇ１の輝度と、差分画像Ｇｓの輝度をそれぞれ検出する。オフ画像Ｇ１は、光照射のない状態で撮像されるため、図３（ａ）で示したように輝度は低い。一方、差分画像Ｇｓは、明るいオン画像Ｇ２と暗いオフ画像Ｇ１との差分であるから、図３（ｃ）で示したように輝度は高い。

なお、輝度検出部２３は、図４（ａ）に示すように、オフ画像Ｇ１の領域のうち、顔Ｆが収まる顔領域Ｚの輝度を検出し、これをオフ画像Ｇ１の輝度とする。顔領域Ｚの輝度検出にあたっては、たとえば、顔領域Ｚに含まれる各画素の輝度値の最大値または平均値を求め、これを顔領域Ｚの輝度とする。顔領域Ｚは、オフ画像Ｇ１の中央領域に予め設定しておいてもよいし、オフ画像Ｇ１の領域で実際に顔Ｆが検出された位置を基準として、都度設定するようにしてもよい。顔領域Ｚは、本発明における「特定領域」の一例である。また、輝度検出部２３は、差分画像Ｇｓについても、上記と同様の方法で顔領域の輝度を検出し、これを差分画像Ｇｓの輝度とする。

また、輝度検出部２３は、図４（ｂ）に示すように、被写体（運転者５３）が動いて、顔領域Ｚ内に顔Ｆが捉えられなくなった場合は、図４（ｃ）に示すように、オフ画像Ｇ１上で、顔Ｆの探索範囲Ｗを徐々に広げてゆく。そして、図４（ｄ）に示すように、探索範囲Ｗ内に顔Ｆが捉えられると、輝度検出部２３は、この位置における顔Ｆに対して新たに顔領域Ｚを設定し、当該顔領域Ｚの輝度をオフ画像Ｇ１の輝度として検出する。探索範囲Ｗをオフ画像Ｇ１の領域全体に一挙に拡大しないのは、そのようにすると、顔Ｆ以外の反射物からの光により誤検出のおそれがあるためである。差分画像Ｇｓについても、上記と同様の方法で顔の探索が行われる。

目標輝度設定部２４は、輝度検出部２３で検出されたオフ画像Ｇ１の輝度に基づいて、差分画像Ｇｓの目標輝度を設定する。オフ画像Ｇ１は、発光素子１２が光を照射していない状態での画像であるから、その輝度は太陽光などの外乱光のみで決まる。したがって、オフ画像Ｇ１の輝度から外乱光のレベルを判定することができ、外乱光のレベルに応じて差分画像Ｇｓの目標輝度を設定することができる。この目標輝度の設定については、後で詳しく説明する。

感度調整部２５は、輝度検出部２３で検出された差分画像Ｇｓの輝度が、目標輝度設定部２４で設定された目標輝度に近づくように、撮像部１の撮像感度を調整する。すなわち、差分画像Ｇｓの輝度が目標輝度を下回る場合は、撮像感度を上げて差分画像Ｇｓの輝度を増加させ、差分画像Ｇｓの輝度が目標輝度を超える場合は、撮像感度を下げて差分画像Ｇｓの輝度を低下させる。この撮像感度の調整についても、後で詳しく説明する。

駆動回路３は、感度調整部２５から与えられる後述の露光時間制御信号および光パワー制御信号に基づいて、発光素子１２に所定の駆動電流を供給し、発光素子１２を発光させる。

なお、図１において、制御部２に含まれる画像処理部２１、ドライバ状態判定部２２、輝度検出部２３、目標輝度設定部２４、および感度調整部２５のそれぞれの機能は、実際にはソフトウェアによって実現されるが、図１では便宜上、ハードウェアのブロック図で示している。

次に、目標輝度設定部２４における差分画像Ｇｓの目標輝度の設定について、詳細に説明する。図１に示すように、目標輝度設定部２４には外乱光レベルテーブルＴａが備わっている。この外乱光レベルテーブルＴａの具体例が、図５に示されている。図５において、外乱光レベルテーブルＴａには、オフ画像Ｇ１の輝度に応じた複数段階（ここでは４段階）の外乱光レベルと、外乱光レベルのそれぞれに対応する差分画像Ｇｓの目標輝度と、オフ画像Ｇ１の輝度閾値と、外乱光レベルのそれぞれに対応する太陽光飽和フラグとが記憶されている。外乱光レベルテーブルＴａは、本発明における「第１テーブル」に相当する。

目標輝度設定部２４は、輝度検出部２３で検出されたオフ画像Ｇ１の輝度（以下、「検出輝度Ｘ」と表記する）に対し、外乱光レベルテーブルＴａを参照して、差分画像Ｇｓの目標輝度を設定する。具体的には、検出輝度Ｘを輝度閾値（８０、１６０、１９２）と比較して外乱光レベル（レベル１〜４）を判別し、当該外乱光レベルに対応する目標輝度（１６０、８０、４８）を、差分画像Ｇｓの目標輝度として設定する。

たとえば、検出輝度Ｘが、Ｘ≦８０であれば、外乱光レベルは１であり、目標輝度は１６０に設定される。検出輝度Ｘが、８０＜Ｘ≦１６０であれば、外乱光レベルは２であり、目標輝度は８０に設定される。検出輝度Ｘが、１６０＜Ｘ≦１９２であれば、外乱光レベルは３であり、目標輝度は４８に設定される。これらの場合、太陽光飽和フラグはオフとなっている。また、検出輝度Ｘが、１９２＜Ｘになると、外乱光レベルは４であり、検出輝度Ｘが飽和状態となるため、目標輝度は４８のまま変更されない。この場合は、太陽光飽和フラグがオンとなり、外乱光である太陽光によって検出輝度Ｘが飽和したことが、制御部２からＥＣＵ２００へ通知される。

このように、オフ画像Ｇ１の検出輝度Ｘが小さい場合は、外乱光レベルが小さい、つまり外乱光が少ないので、差分画像Ｇｓの目標輝度を上げて、差分画像Ｇｓが明るくなるようにする。一方、オフ画像Ｇ１の検出輝度Ｘが大きい場合は、外乱光レベルが大きい、つまり外乱光が多いので、差分画像Ｇｓの目標輝度を下げて、差分画像Ｇｓが明るくなり過ぎないようにする。すなわち、本実施形態では、オフ画像Ｇ１の輝度から外乱光レベルを判定し、外乱光レベルに応じた目標輝度を設定するようにしている。

次に、感度調整部２５における撮像感度の調整について、詳細に説明する。図１に示すように、感度調整部２５には感度レベルテーブルＴｂが備わっている。この感度レベルテーブルＴｂの具体例が、図６に示されている。図６において、感度レベルテーブルＴｂには、撮像部１の撮像感度に応じた複数段階（ここでは１５段階）の感度レベルと、この感度レベルのそれぞれに対応する感度調整パラメータとが記憶されている。本例では、感度調整パラメータは、撮像素子１１の露光時間と、発光素子１２の駆動電流と、撮像素子１１のゲインとからなる。感度レベルテーブルＴｂは、本発明における「第２テーブル」に相当する。

図６の例では、撮像素子１１の露光時間は、感度レベルが上がるに従って増加し、感度レベル１０に達すると一定となる。発光素子１２の駆動電流は、全感度レベル０〜１４にわたって一定である。撮像素子１１のゲインは、感度レベル９までは一定であり、感度レベル１０以降は、感度レベルが上がるに従って増加する。なお、撮像素子１１のゲインは、本例ではアナログゲインである。

撮像素子１１の露光時間は、感度調整部２５から出力される露光時間制御信号により制御され、発光素子１２の駆動電流は、感度調整部２５から出力される光パワー制御信号により制御され、撮像素子１１のゲインは、感度調整部２５から出力されるゲイン制御信号により制御される。また、発光素子１２の駆動電流の通電時間は、感度調整部２５から出力される露光時間制御信号により制御され、発光素子１２は、露光時間の期間だけ通電されて発光する。

感度調整部２５は、輝度検出部２３で検出された差分画像Ｇｓの輝度（以下、「検出輝度Ｙ」と表記する）と、目標輝度設定部２４で設定された目標輝度とを比較し、検出輝度Ｙが目標輝度±αの範囲となるように、すなわち検出輝度Ｙが目標輝度に近づくように、感度レベルを切り替える。なお、αは予め設定された一定値である。

たとえば、図５において、差分画像Ｇｓの目標輝度が８０（外乱光レベル：２）に設定されており、このときの感度レベルが図６のレベル７であったとする。この場合、検出輝度Ｙが、Ｙ＜８０−αであれば、すなわち検出輝度Ｙが目標輝度を所定量下回っていれば、感度レベルをレベル８に上げる。これにより、撮像素子１１の露光時間が１．２０ｓｅｃから１．４４ｓｅｃに切り替えられ、露光時間が長くなる。このため、撮像感度が上がって、差分画像Ｇｓの輝度が増加する。

感度調整部２５は、感度レベルをレベル８に上げた後、輝度検出部２３で検出された差分画像Ｇｓの検出輝度Ｙを確認する。そして、感度レベルをレベル８に上げても、依然として検出輝度ＹがＹ＜８０−αであれば、感度レベルをレベル９に上げる。これにより、撮像素子１１の露光時間が１．４４ｓｅｃから１．７３ｓｅｃに切り替えられ、露光時間がさらに長くなる。このため、撮像感度がさらに上がって、差分画像Ｇｓの輝度がさらに増加する。しかし、感度レベルをレベル９に上げても、依然として検出輝度ＹがＹ＜８０−αであれば、感度調整部２５は、感度レベルをレベル１０に上げる。以下同様にして、検出輝度ＹがＹ≧８０−αとなるまで、感度レベルを段階的に上げてゆく。

なお、レベル１０では、撮像素子１１の露光時間が１．７３ｓｅｃから２．００ｓｅｃに切り替えられるが、同時に、撮像素子１１のゲインもそれまでの２．００から、２．０６に切り替えられる。これは、露光時間の切り替えだけでは、検出輝度Ｙを目標輝度に近づけることが困難な場合に、撮像素子１１のゲインを上げることで、撮像感度をより高くし、検出輝度Ｙを速やかに目標輝度に近づけるためである。また、感度レベルがレベル１０になるまで、ゲインを上げないようにしているのは、ゲインを上げることによって、撮像画像中のノイズが増大するためである。

このように、本実施形態では、撮像感度を上げるに際して、感度調整パラメータのうち、撮像素子１１の露光時間を優先的に採用している。そして、可能な限り露光時間の切り替えで対応し、露光時間では対応できなくなった時点で、撮像素子１１のゲインを上げることで、撮像画像中のノイズを最小限に抑えている。

以上は、感度レベルを段階的に上げる場合であるが、感度レベルを段階的に下げる場合も、同様に考えることができる。

たとえば、図５において、差分画像Ｇｓの目標輝度が４８（外乱光レベル：３）に設定されており、このときの感度レベルが図６のレベル９であったとする。この場合、検出輝度Ｙが、Ｙ＞４８＋αであれば、すなわち検出輝度Ｙが目標輝度を所定量上回っていれば、感度レベルをレベル８に下げる。これにより、撮像素子１１の露光時間が１．７３ｓｅｃから１．４４ｓｅｃに切り替えられ、露光時間が短くなる。このため、撮像感度が下がって差分画像Ｇｓの輝度が低下する。

感度調整部２５は、感度レベルをレベル８に下げた後、輝度検出部２３で検出された差分画像Ｇｓの検出輝度Ｙを確認する。そして、感度レベルをレベル８に下げても、依然として検出輝度ＹがＹ＞４８＋αであれば、感度レベルをレベル７に下げる。これにより、撮像素子１１の露光時間が１．４４ｓｅｃから１．２０ｓｅｃに切り替えられ、露光時間がさらに短くなる。このため、撮像感度がさらに下がって、差分画像Ｇｓの輝度がさらに低下する。以下同様にして、検出輝度ＹがＹ≦４８＋αとなるまで、感度レベルを段階的に下げてゆく。

図７は、感度調整の一連の手順を示したフローチャートである。

図７において、ステップＳ１では、目標輝度設定部２４が外乱光レベルをデフォルト値（たとえばレベル２）に設定するとともに、感度調整部２５が感度レベルをデフォルト値（たとえばレベル９）に設定する。

ステップＳ２では、発光素子１２を発光させない状態で、撮像部１が、運転者５３を撮像してオフ画像Ｇ１を生成する。ステップＳ３では、発光素子１２を発光させた状態で、撮像部１が、運転者５３を撮像してオン画像Ｇ２を生成する。ステップＳ４では、画像処理部２１が、オン画像Ｇ２とオフ画像Ｇ１の差分を演算して、差分画像Ｇｓを生成する。

ステップＳ５では、目標輝度設定部２４が、輝度検出部２３で検出されたオフ画像Ｇ１の輝度（前述の検出輝度Ｘ）が、図５の外乱光テーブルＴａにおける輝度閾値以下であるか否かを判定する。判定の結果、オフ画像Ｇ１の輝度が輝度閾値以下であれば（ステップＳ５：ＹＥＳ）、ステップＳ６へ進む。ステップＳ６では、目標輝度設定部２４が、外乱光テーブルＴａにおける外乱光レベルを１段階下げて、差分画像Ｇｓの目標輝度を上げる。

一方、ステップＳ５での判定の結果、オフ画像Ｇ１の輝度が輝度閾値以下でなければ（ステップＳ５：ＮＯ）、ステップＳ７へ進む。ステップＳ７では、目標輝度設定部２４が、外乱光テーブルＴａにおける外乱光レベルを１段階上げて、差分画像Ｇｓの目標輝度を下げる。

ステップＳ６、Ｓ７を実行した後、ステップＳ８へ進む。ステップＳ８では、感度調整部２５が、輝度検出部２３で検出された差分画像Ｇｓの輝度（前述の検出輝度Ｙ）が、目標輝度±αの範囲にあるか否かを判定する。判定の結果、差分画像Ｇｓの輝度が、目標輝度±αの範囲にあれば（ステップＳ８：ＹＥＳ）、ステップＳ２へ戻って、撮像部１による撮像を継続する。一方、判定の結果、差分画像Ｇｓの輝度が、目標輝度±αの範囲になければ（ステップＳ８：ＮＯ）、ステップＳ９へ進む。

ステップＳ９では、感度調整部２５が、感度レベルテーブルＴｂにおける感度レベルを変更する。この場合、差分画像Ｇｓの検出輝度Ｙが、Ｙ＜目標輝度−α、すなわち目標輝度を所定量下回っていれば、感度レベルを１段階上げて、撮像感度を大きくする。また、差分画像Ｇｓの検出輝度Ｙが、Ｙ＞目標輝度＋α、すなわち目標輝度を所定量超えていれば、感度レベルを１段階下げて、撮像感度を小さくする。ステップＳ９を実行した後は、ステップＳ２へ戻って、撮像部１による撮像を継続する。

以上述べたように、本実施形態においては、オフ画像Ｇ１の輝度および差分画像Ｇｓの輝度をそれぞれ検出し、オフ画像Ｇ１の輝度に基づいて、差分画像Ｇｓの目標輝度を設定し、差分画像Ｇｓの輝度が目標輝度に近づくように、撮像部１の撮像感度を調整している。このため、オフ画像Ｇ１の輝度から外乱光のレベルを判定して、差分画像Ｇｓの目標輝度を、外乱光レベルに応じた値に設定することができる。その結果、外乱光が多い場合は目標輝度を低く設定し、外乱光が少ない場合は目標輝度を高く設定することで、差分画像を最適な明るさに調整することが可能となる。

本発明では、以上述べた実施形態以外にも、以下のような種々の実施形態を採用することができる。

前記の実施形態では、図６の感度レベルテーブルＴｂにおいて、発光素子１２の駆動電流を感度レベルに関係なく一定としたが、発光素子１２の駆動電流を感度レベルの増加と共に増加させてもよい。

前記の実施形態では、図６の感度レベルテーブルＴｂにおいて、感度調整パラメータのうち、撮像素子１１の露光時間を優先させたが、発光素子１２の駆動電流を優先させてもよい。

前記の実施形態では、図６の感度レベルテーブルＴｂにおいて、感度調整パラメータとして、露光時間と駆動電流とゲインの３つを用いたが、感度調整パラメータは、これらのうちの２つまたは１つであってもよい。

前記の実施形態では、撮像素子１１のゲインとして、アナログゲインを採用したが、デジタルゲインを採用してもよい。また、アナログゲインとデジタルゲインを併用してもよい。

前記の実施形態では、図７のステップＳ８において、差分画像Ｇｓの輝度が目標輝度±αの範囲にあるか否かを判定したが、差分画像Ｇｓの輝度が目標輝度に等しいか否かを判定してもよい。すなわち、αの値はゼロであってもよい。

前記の実施形態では、撮像画像における顔領域Ｚが四角形である例を挙げたが（図４）、これに限らず、顔領域Ｚは菱形、楕円形、円形などの領域であってもよい。

前記の実施形態では、被写体が車両の運転者５３であり、被写体の特定部分が顔Ｆであり、撮像画像における特定領域が顔領域Ｚであったが、本発明はこれらに限定されない。被写体は運転者以外の乗員であってもよく、被写体の特定部分は顔以外の部位であってもよく、特定領域は顔以外の部位が収まる領域であってもよい。

前記の実施形態では、本発明の撮像装置として車両に搭載されるドライバモニタ１００を例に挙げたが、本発明は、車両以外の用途に用いられる撮像装置にも適用することができる。

１ 撮像部
１１ 撮像素子
１２ 発光素子
２ 制御部
２１ 画像処理部
２２ ドライバ状態判定部
２３ 輝度検出部
２４ 目標輝度設定部
２５ 感度調整部
３ 駆動回路
５３ 運転者（被写体）
１００ ドライバモニタ（撮像装置）
Ｔａ 外乱光レベルテーブル（第１テーブル）
Ｔｂ 感度レベルテーブル（第２テーブル）
Ｆ 顔
Ｇ１ オフ画像（第１画像）
Ｇ２ オン画像（第２画像）
Ｇｓ 差分画像
Ｚ 顔領域（特定領域）
Ｗ 探索範囲

Claims (10)

1. 被写体を撮像する撮像素子、および前記被写体に光を照射する発光素子を有する撮像部と、
   前記撮像部が撮像した撮像画像に対して所定の処理を行う画像処理部と、を備え、
   前記撮像部は、前記発光素子が光を照射していない状態で撮像した前記被写体の第１画像と、前記発光素子が光を照射している状態で撮像した前記被写体の第２画像とを生成し、
   前記画像処理部は、前記第１画像と前記第２画像との差分である差分画像を生成し、当該差分画像に基づいて前記被写体を検出する、撮像装置において、
   前記第１画像の輝度および前記差分画像の輝度を検出する輝度検出部と、
   前記輝度検出部で検出された前記第１画像の輝度に基づいて、前記差分画像の目標輝度を設定する目標輝度設定部と、
   前記輝度検出部で検出された前記差分画像の輝度が、前記目標輝度設定部で設定された目標輝度に近づくように、前記撮像部の撮像感度を調整する感度調整部と、をさらに備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記目標輝度設定部は、
   前記輝度検出部で検出された前記第１画像の輝度を、予め設定された輝度閾値と比較し、
   前記第１画像の輝度が前記輝度閾値以下である場合は、前記差分画像の目標輝度を上げ、
   前記第１画像の輝度が前記輝度閾値以下でない場合は、前記差分画像の目標輝度を下げる、ことを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記感度調整部は、
   前記輝度検出部で検出された前記差分画像の輝度が、前記目標輝度を所定量下回っている場合は、前記撮像感度を上げ、
   前記輝度検出部で検出された前記差分画像の輝度が、前記目標輝度を所定量超えている場合は、前記撮像感度を下げる、ことを特徴とする撮像装置。
4. 請求項１ないし請求項３のいずれかに記載の撮像装置において、
   前記目標輝度設定部は、
   前記第１画像の輝度に応じた複数段階の外乱光レベルと、当該外乱光レベルのそれぞれに対応する前記目標輝度とが記憶された第１テーブルを有し、
   前記輝度検出部で検出された前記第１画像の輝度に対し、前記第１テーブルを参照して前記目標輝度を設定する、ことを特徴とする撮像装置。
5. 請求項１ないし請求項４のいずれかに記載の撮像装置において、
   前記感度調整部は、
   前記撮像部の撮像感度に応じた複数段階の感度レベルと、当該感度レベルのそれぞれに対応する感度調整パラメータとが記憶された第２テーブルを有し、
   前記目標輝度設定部で設定された前記差分画像の目標輝度に対し、前記第２テーブルを参照して、前記感度調整パラメータに基づき前記撮像感度を調整する、ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記感度調整パラメータは、前記撮像素子の露光時間、前記発光素子の駆動電流、および前記撮像素子のゲインのうちの少なくとも１つを含む、ことを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記感度調整部は、前記感度調整パラメータのうち、前記撮像素子の露光時間または前記発光素子の駆動電流を優先的に採用することにより、前記撮像感度を調整し、
   前記撮像素子の露光時間または前記発光素子の駆動電流を上げても、前記差分画像の輝度が目標輝度に近づかない場合に、前記撮像素子のゲインを上げる、ことを特徴とする撮像装置。
8. 請求項１ないし請求項７のいずれかに記載の撮像装置において、
   前記輝度検出部は、前記第１画像の領域のうち、前記被写体の特定部分が収まる特定領域の輝度を、当該第１画像の輝度として検出する、ことを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記輝度検出部は、
   前記特定領域内に前記被写体の特定部分が捉えられない場合は、前記第１画像上で、前記特定部分の探索範囲を徐々に広げてゆき、前記探索範囲内に前記特定部分が捉えられると、当該特定部分に対して新たに前記特定領域を設定し、当該特定領域の輝度を前記第１画像の輝度として検出する、ことを特徴とする撮像装置。
10. 請求項８または請求項９に記載の撮像装置において、
    前記被写体は、車両の運転者であり
    前記特定部分は、前記運転者の顔であり、
    前記特定領域は、前記顔が収まる顔領域である、ことを特徴とする撮像装置。

Images