JP7496183B2 - 撮像装置 - Google Patents

Description

本開示は、撮像装置に関する。

従来、可視領域の波長を有する可視光に加えて、近赤外領域の波長を有する近赤外光を検出可能な撮像素子を搭載することにより、夜間などの可視光の光量が少ない環境であっても画像を得ることができる撮像装置に係る技術が知られている。

特開２００８－２８９００１号公報

しかしながら、昼間などの可視光の光量が多い環境においては、可視光に加えて検出される近赤外光により被写体に対する画像の色再現性が低下するなど、画質が低下する場合があった。

本開示は、近赤外光による被写体の色再現性劣化を抑え、画質の最適化を実現することができる撮像装置を提供する。

本開示に係る撮像装置は、光学バンドパスフィルタと、撮像素子と、減算器と、乗算器と、加算器と、輝度マトリックスと、輝度レベル判定部とを備える。前記光学バンドパスフィルタは、可視領域の波長を有する可視光及び近赤外領域の波長を有する近赤外光を選択的に透過させるように構成される。前記撮像素子は、前記光学バンドパスフィルタを透過した可視光及び近赤外光の受光強度に応じた信号レベルの第１の信号と、光学バンドパスフィルタを透過した近赤外光の受光強度に応じた信号レベルの第２の信号とを出力するように構成される。前記減算器は、前記第１の信号から前記第２の信号を減算して第３の信号を出力するように構成される。前記乗算器は、前記第２の信号に制御値を乗算して前記第２の信号の信号レベル以下の第４の信号を出力するように構成される。前記加算器は、前記第３の信号に前記第４の信号を加算して画像信号を出力するように構成される。前記輝度マトリックスは、前記画像信号に応じた可視領域の輝度情報を出力するように構成される。前記輝度レベル判定部は、前記輝度マトリックスからの前記輝度情報に基づいて、可視領域の輝度レベルに応じた値の前記制御値を前記乗算器に供給するように構成される。

本開示に係る撮像装置によれば、近赤外光による被写体の色再現性劣化を抑え、画質の最適化を実現することができる。

図１は、実施形態に係る撮像装置の構成の一例を示す図である。 図２は、図１の信号処理部の構成の一例を示す図である。 図３は、図１及び図２の光学バンドパスフィルタの有する透過率特性の一例を示す図である。 図４は、図１及び図２の撮像素子のカラーフィルタにおける配列パターンの一例を示す模式図である。 図５は、図１及び図２の撮像素子の画素と出力信号との関係の一例を示す図である。 図６は、実施形態に係る輝度レベルに応じた乗算器制御の特性の一例を示す図である。 図７は、実施形態に係る輝度レベルに応じたホワイトバランス制御の特性の一例を示す図である。 図８は、実施形態に係る輝度レベルに応じたクロマゲイン制御の特性の一例を示す図である。 図９は、実施形態に係る輝度レベルに応じた乗算器制御により得られる画像信号について説明するための図である。

以下、図面を参照しながら、本開示に係る撮像装置の実施形態について説明する。

従来、運転者の視野を補う視界補助のために、車両には、後部のバックカメラやサイドミラー横のサイドカメラが搭載されていた。このような中、車の安全性向上のため、カメラの映像を活用して、人や物体を検知し、検知の結果に基づいて運転者に注意を促したり、車両を制御したりする技術が知られている。

カメラの映像を活用した車両の制御としては、車両の全周囲を撮影したカメラの映像に基づく自動駐車機能などが知られている。しかしながら、例えばサイドカメラの撮像領域は、車両のライトが届かないなど、暗い環境シーンが多く、可視領域の波長を有する可視光を検出可能な可視カメラでは十分な感度で映像を確保できなかった。

これに対して、可視光だけでなく、近赤外領域の波長を有する近赤外光をさらに検出可能な撮像素子を搭載する２つの波長帯域を持つカメラを用いて、夜間などの可視光の光量が少ない環境であっても画像を得る技術が知られている。

しかしながら、昼間などの可視光の光量が多い環境においては、可視光に加えて検出される近赤外光により被写体に対する画像の色再現性が低下するなど、画質が低下する場合があった。また、画質の低下を抑制するために、光量が多い環境と、光量が少ない環境との間で近赤外光の利用の有無を切り替えるなどの制御が行われる場合、制御の切り替え時に画質に差が生じることにより、ユーザに違和感を与える場合があった。

そこで、本開示は、近赤外光による被写体の色再現性劣化を抑え、画質の最適化を実現することができる撮像装置を提供する。

本開示に係る撮像装置は、一例として、車両に搭載される複数の車載カメラの各々であるとする。複数の車載カメラは、例えば、車両の前部、後部、左側面部及び右側面部にそれぞれ取り付けられた４つのカメラを含む。

ここで、車両の前部とは、例えば車両のエンブレム部などである。前部の車載カメラは、例えば車両の前方の路面を斜め方向に見下ろすような姿勢で取り付けされている。つまり、前部の車載カメラは、車両の前方を中心とした所定の撮影領域を撮影可能に構成される。

また、車両の後部とは、例えば車両のリアライセンスガーニッシュ部などである。後部の車載カメラは、例えば車両の後方の路面を斜め方向に見下ろすような姿勢で取り付けされている。つまり、後部の車載カメラは、車両の後方を中心とした所定の撮影領域を撮影可能に構成される。

また、車両の左側面部及び右側面部、すなわち車両の側方部とは、例えば車両のサイドミラー部などである。側方部の車載カメラは、それぞれ、例えば車両の側方の路面を真下方向に見下ろすような姿勢で取り付けされている。つまり、側方部の車載カメラは、それぞれ、車両の側方を中心とした所定の撮影領域を撮影可能に構成される。

なお、複数の車載カメラのうちの隣接する車載カメラは、一例として、互いに撮影領域の一部が重複するように配置される。この場合、複数の車載カメラにより得られた複数の画像を貼り合わせるように合成することにより、車両の全周を表現する画像を生成可能である。

なお、本開示に係る撮像装置を搭載する車両としては、自転車、自動二輪車、自動車、電車などの各種の車両が適宜利用可能である。また、本開示に係る撮像装置は、車両に限らず、船舶、航空機などの各種の移動体に搭載されても構わない。ここで、車両を含む各種の移動体は、有人で移動する移動体であってもよいし、無人で移動する移動体であってもよい。また、これらの移動体の移動は、ユーザにより制御されてもよいし、自律的に制御されてもよい。

図１は、実施形態に係る撮像装置１の構成の一例を示す図である。図２は、図１の信号処理部３０の構成の一例を示す図である。

撮像装置１は、図１及び図２に示すように、撮像部１０及び信号処理部３０を備える。撮像部１０は、所定の撮像領域を所定のフレームレートで逐次撮像し、読み出された画素信号を信号処理部３０へ出力するように構成される。この画素信号は、ＲＧＢ信号及びＩＲ信号を含む。ＲＧＢ信号及びＩＲ信号の詳細については、後述する。信号処理部３０は、撮像部１０からのＲＧＢ信号のマトリックス情報に基づいて、ＲＧＢ信号とＩＲ信号とをシームレスに減算又は加算する信号処理を実行するように構成される。撮像装置１は、信号処理部３０により信号処理が施された画像信号５０を出力するように構成される。

撮像部１０は、図１に示すように、撮像光学系１１及び撮像素子１２を有する。撮像部１０は、撮像光学系１１を介して撮像素子１２の撮像面に結像された被写体光束の受光強度に応じた信号レベルの画素信号を信号処理部３０へ出力する。

撮像光学系１１は、図１に示すように、光学バンドパスフィルタ（ＢＰＦ）１１１及びレンズ１１２を有する。

光学ＢＰＦ１１１は、特定の波長の光を選択的に透過させる波長選択性を有するフィルタである。図３は、図１及び図２の光学ＢＰＦ１１１の有する透過率特性（ＢＰＦ）の一例を示す図である。図３に示すグラフにおいて、縦軸及び横軸は、それぞれ、透過率［％］及び波長［ｎｍ］を示す。なお、図３に示すグラフには、光学ＢＰＦ１１１の透過率特性（ＢＰＦ）に加えて、撮像素子１２の可視光に関する分光特性（Ｒ，Ｇ，Ｂ）と、近赤外光を放射するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）の発光スペクトル（ＬＥＤ）とを示す。光学ＢＰＦ１１１は、図３に示すように、可視領域の波長を有する光を可視光と、近赤外領域の波長を有する近赤外光とを選択的に透過させるように構成される。

レンズ１１２は、被写体光束を撮像素子１２の撮像面上に結像する光学素子である。なお、図１及び図２には、単レンズで構成されるレンズ１１２を例示するが、これに限らない。レンズ１１２は、パワーを有する少なくとも１つの光学素子により所望の結像性能を有していればよく、少なくとも１つの単レンズを含む複合レンズで構成されてもよいし、レンズ系や反射系の組合せで構成されてもよい。

撮像素子１２は、撮像光学系１１を介して撮像面に結像された被写体光束の受光強度に応じた信号レベルの画素信号を出力するように構成される。撮像素子１２としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子が適宜利用可能である。撮像素子１２は、レンズ１１２によって被写体光束が結像される位置に配置される。撮像素子１２は、画素を構成する複数の受光部が２次元的に配列されて構成されている。複数の受光部の各々は、例えばフォトダイオードである。複数の受光部の各々は、可視領域の波長を有する可視光と、近赤外領域の波長を有する近赤外光とを検出可能に構成される。複数の受光部の各々は、受光強度、すなわち受光量に応じた電荷を生成する。生成された電荷は、複数の受光部の各々に接続されているキャパシタに蓄積される。キャパシタに蓄積された電荷は、画素信号として読み出される。

撮像素子１２の撮像面の被写体側には、カラーフィルタ１２１が設けられている。カラーフィルタ１２１は、ベイヤー配列構造において、Ｒ画素をＢＬ（ブラック）画素に変更し、かつ、Ｂ画素の一部をＲ画素に変更した画素配列を有する。ここで、ベイヤー配列構造とは、水平方向にＲ画素及びＧ画素が交互に配列されたラインと、水平方向にＢ画素及びＧ画素が交互に配列されたラインとが垂直方向に交互に配置されるカラーフィルタの配列構造のことを言う。

図４は、図１及び図２の撮像素子１２のカラーフィルタ１２１における配列パターンの一例を示す模式図である。具体的には、実施形態に係るカラーフィルタ１２１は、図４に示すように、水平方向にＢ画素，Ｇ画素，Ｒ画素，Ｇ画素の順の４つの画素が繰り返し配列されたラインと、水平方向にＧ画素及びＢＬ画素が交互に配列されたラインとが垂直方向に交互に配置される配列構造を有する。

なお、水平方向にＢ画素，Ｇ画素，Ｒ画素，Ｇ画素の順の４つの画素が繰り返し配列されたラインのうちの、垂直方向に連続する２つのライン間では、２画素だけ水平方向にずれている。換言すれば、実施形態に係るカラーフィルタ１２１の配列構造は、時計回りにＢ画素，Ｇ画素，ＢＬ画素，Ｇ画素の順に配列された画素グループと、時計回りにＲ画素，Ｇ画素，ＢＬ画素，Ｇ画素の順に配列された画素グループとを含む。

なお、カラーフィルタ１２１における配列パターンは図４に示す配列構造に限らない。例えば、カラーフィルタ１２１の配列構造は、ベイヤー配列構造において、Ｇ画素の一部をＢＬ（ブラック）画素に変更した画素配列であっても構わない。

ここで、撮像素子１２の複数の画素の各々から出力される画素信号について説明する。図５は、図１及び図２の撮像素子１２の画素と出力信号との関係の一例を示す図である。撮像素子１２からの画素信号は、ＲＧＢ信号及びＢＬ信号を含む。ＲＧＢ信号は、図２及び図５に示すように、Ｒ´信号、Ｇ´信号及びＢ´信号を含む。

Ｒ´信号は、Ｒ画素から読み出される信号である。Ｇ´信号は、Ｇ画素から読み出される信号である。Ｂ´信号は、Ｂ画素から読み出される信号である。ＢＬ信号は、ＢＬ画素から読み出されるＩＲ信号である。なお、撮像素子１２の近赤外光に関する分光特性は、例えば図３に示す近赤外光を放射するＬＥＤの発光スペクトル（ＬＥＤ）に応じた特性であるとする。

ここで、光学ＢＰＦ１１１は、上述したように、近赤外光を透過するように構成されている。また、撮像素子１２の複数の受光部の各々は、可視光及び近赤外光を検出可能に構成されている。このような中、カラーフィルタ１２１のＲ画素、Ｇ画素及びＢ画素の各々に対応するフィルタは、それぞれ、赤色光、緑色光及び青色光に限らず、近赤外光をさらに透過可能である。例えば、被写体光束の可視光成分の受光強度が撮像素子１２の検出感度より小さい場合、Ｒ´信号、Ｇ´信号及びＢ´信号の各々と、ＢＬ信号とは、同等である。

したがって、Ｒ´信号は、図５に示すように、赤色光の受光強度に応じた信号レベルのＲ信号と、近赤外光の受光強度に応じた信号レベルのＩＲ信号との和に相当する信号である。また、Ｇ´信号は、緑色光の受光強度に応じた信号レベルのＧ信号と、ＩＲ信号との和に相当する信号である。また、Ｂ´信号は、青色光の受光強度に応じた信号レベルのＢ信号と、ＩＲ信号との和に相当する信号である。これらのことから、撮像素子１２は、光学ＢＰＦ１１１を透過した可視光及び近赤外光の受光強度に応じた信号レベルのＲＧＢ信号と、光学ＢＰＦ１１１を透過した近赤外光の受光強度に応じた信号レベルのＩＲ信号とを出力するように構成されると表現できる。ここで、ＲＧＢ信号は、第１の信号の一例である。また、ＩＲ信号は、第２の信号の一例である。

信号処理部３０は、図２に示すように、減算器３１、加算器３２、乗算器３３、ＡＥ／ＡＷＢ／γ処理部３４、輝度信号処理部３５、クロマ信号処理部３６、輝度マトリックス（ＭＴＸ）３７及び輝度レベル判定部３８を有する。

減算器３１、加算器３２、乗算器３３、輝度信号処理部３５、クロマ信号処理部３６、輝度ＭＴＸ３７及び輝度レベル判定部３８の各々は、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの論理回路により構成される。

なお、減算器３１、加算器３２、乗算器３３、輝度信号処理部３５、クロマ信号処理部３６、輝度ＭＴＸ３７及び輝度レベル判定部３８のうちの少なくとも２つが、１つの論理回路により構成されても構わない。また、減算器３１、加算器３２、乗算器３３、輝度信号処理部３５、クロマ信号処理部３６、輝度ＭＴＸ３７及び輝度レベル判定部３８は、それぞれ２つ以上の論理回路により構成されても構わない。

減算器３１は、＋側の入力端に入力された信号から－側の入力端に入力された信号を減算し、入力された２つの信号の差を示す信号を出力するように構成される回路ブロックである。ここで、差を示す信号は、第３の信号の一例である。減算器３１の２つの入力端は、それぞれ撮像素子１２の出力端に電気的に接続される。減算器３１の出力端は、加算器３２の２つの入力端のうちの乗算器３３とは異なる入力端に電気的に接続される。

加算器３２は、２つの入力端に入力された２つの信号を加算し、入力された２つの信号の和を示す画像信号を出力するように構成される回路ブロックである。加算器３２の２つの入力端は、それぞれ減算器３１の出力端及び乗算器３３の出力端に電気的に接続される。加算器３２の出力端は、ＡＥ／ＡＷＢ／γ処理部３４の入力端に電気的に接続される。

乗算器３３は、入力端に入力された信号に、制御端に入力された乗算値を示す信号を乗算し、入力端に入力された信号と乗算値を示す信号との積を示す信号を出力するように構成される回路ブロックである。なお、積を示す信号の信号レベルは、入力端に入力された信号の信号レベル以下であるとする。つまり、乗算値は、０以上、かつ、１以下の実数であるとする。ここで、乗算値は、制御値の一例である。また、積を示す信号は、第４の信号の一例である。乗算器３３の入力端は、減算器３１の－側の入力端と並列に、撮像素子１２の出力端に電気的に接続される。乗算器３３の制御端は、輝度レベル判定部３８の出力端の１つに電気的に接続される。乗算器３３の出力端は、加算器３２の２つの入力端のうちの減算器３１とは異なる入力端に電気的に接続される。

ＡＥ／ＡＷＢ／γ処理部３４の入力端は、加算器３２の出力端に電気的に接続される。ＡＥ／ＡＷＢ／γ処理部３４の制御端は、輝度レベル判定部３８の出力端の１つに電気的に接続される。ＡＥ／ＡＷＢ／γ処理部３４の出力端は、輝度信号処理部３５の入力端、クロマ信号処理部３６の入力端及び輝度ＭＴＸ３７の入力端の各々に電気的に接続される。ＡＥ／ＡＷＢ／γ処理部３４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサと、Ｆｌａｓｈメモリなどのメモリとを有する。ＡＥ／ＡＷＢ／γ処理部３４は、メモリにロードされたプログラムをプロセッサが実行することにより、ＡＥ処理部３４１、ＡＷＢ処理部３４２及びγ処理部３４３としての機能を実現する。ここで、ＡＥ／ＡＷＢ／γ処理部３４は、処理部の一例である。

なお、ＡＥ／ＡＷＢ／γ処理部３４は、ＤＳＰやＡＳＩＣ、ＦＰＧＡなどの論理回路により構成されてもよい。この場合、減算器３１、加算器３２、乗算器３３、ＡＥ／ＡＷＢ／γ処理部３４、輝度信号処理部３５、クロマ信号処理部３６、輝度ＭＴＸ３７及び輝度レベル判定部３８のうちの少なくとも２つが、１つの論理回路により構成されても構わない。また、ＡＥ／ＡＷＢ／γ処理部３４は、２つ以上の論理回路により構成されても構わない。

ＡＥ処理部３４１は、自動露出（ＡＥ）制御処理を行う。具体的には、ＡＥ処理部３４１は、画像データにおける被写体輝度を表すＡＥ評価値に基づいて、撮像素子１２のゲインやシャッタ速度値など絞り値補正に相当する撮影条件を設定する。換言すれば、ＡＥ処理部３４１は、画像信号５０の示す画像の明るさを最適化する。

ＡＷＢ処理部３４２は、輝度レベル判定部３８からの制御信号に応じて、オートホワイトバランス（ＡＷＢ）制御処理を行う。ＡＷＢ制御処理において、ＡＷＢ処理部３４２は、被写体光束の色温度に合わせて、撮像素子１２から出力されるＲＧＢ信号の信号レベルを調整する。例えば、ＡＷＢ処理部３４２は、撮像素子１２の所定の画素グループごとに同色画素の画素値の平均値や積算値に基づいて、Ｇ信号の信号レベルにＲ信号及びＢ信号の信号レベルを合わせるようにして、ＲＧＢ信号の信号レベルを調整する。なお、ＡＷＢ処理部３４２は、撮像光学系１１の分光透過率特性及び撮像素子１２の分光感度特性を通過した信号に基づいて同色画素の画素値の平均値や積算値を算出する。

γ処理部３４３は、ガンマ変換処理を行う。ガンマ変換処理において、γ処理部３４３は、ガンマ値を調整することにより画像信号５０の示す画像のコントラストを調整し、画像の視認性を向上させる。

輝度信号処理部３５は、輝度信号処理を行う回路ブロックである。輝度信号処理部３５は、例えば、ＲＧＢ信号から輝度情報を出力するように構成される輝度ＭＴＸ回路や画像にくっきり感を出すための輪郭補正処理を行うように構成される回路などを含む。輝度信号処理部３５の入力端は、ＡＥ／ＡＷＢ／γ処理部３４の出力端に電気的に接続される。

クロマ信号処理部３６は、色信号処理を行う回路ブロックである。クロマ信号処理部３６は、例えば、色信号のＭＴＸ回路や色彩度補正処理を行う回路、クロマゲイン調整処理を行う回路などを含む。クロマ信号処理部３６の入力端は、輝度信号処理部３５の入力端と並列に、ＡＥ／ＡＷＢ／γ処理部３４の出力端に電気的に接続される。クロマ信号処理部３６の制御端は、輝度レベル判定部３８の出力端の１つに電気的に接続される。

輝度信号処理部３５の出力端と、クロマ信号処理部３６の出力端とは、図示しない結合器を介して、信号処理部３０の出力端に電気的に接続される。つまり、信号処理部３０の出力端から出力される画像信号５０は、輝度信号処理部３５の出力信号と、クロマ信号処理部３６の出力信号とを結合した信号である。

輝度ＭＴＸ３７は、ＲＧＢ信号に応じた可視領域の輝度情報を出力するように構成される回路ブロックである。輝度ＭＴＸ３７の入力端は、輝度信号処理部３５の入力端及びクロマ信号処理部３６の入力端と並列に、ＡＥ／ＡＷＢ／γ処理部３４の出力端に電気的に接続される。輝度ＭＴＸ３７の出力端は、輝度レベル判定部３８の入力端に電気的に接続される。

輝度信号処理部３５の輝度ＭＴＸ回路及び輝度ＭＴＸ３７は、一例として、それぞれＳＤ（ＢＴ６０１）規格の輝度ＭＴＸ式に従い撮像素子１２の複数の画素の各々について輝度信号（Ｙ）を算出することにより、輝度情報を出力するように構成される。ＳＤ（ＢＴ６０１）規格の輝度ＭＴＸ式は、式（１）により表現される。式（１）において、Ｒ、Ｇ及びＢは、それぞれ、Ｒ信号、Ｇ信号及びＢ信号の信号レベルを示す。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ

輝度信号処理部３５の輝度ＭＴＸ回路及び輝度ＭＴＸ３７は、別の一例として、それぞれＨＤ（ＢＴ７０９）規格の輝度ＭＴＸ式に従い輝度信号（Ｙ）を算出することにより、輝度情報を出力するように構成される。ＨＤ（ＢＴ７０９）規格の輝度ＭＴＸ式は、式（２）により表現される。式（２）において、Ｒ、Ｇ及びＢは、それぞれ、Ｒ信号、Ｇ信号及びＢ信号の信号レベルを示す。
Ｙ＝０．２１Ｒ＋０．７２Ｇ＋０．０７Ｂ

なお、輝度信号処理部３５の輝度ＭＴＸ回路と、輝度ＭＴＸ３７とは、一体に構成されていても構わない。例えば、輝度信号処理部３５は、輝度ＭＴＸ３７を有し、輝度ＭＴＸ３７からの輝度情報に基づいて、画像信号に対して輝度信号処理を施すように構成される回路ブロックである。この構成によれば、回路系の部品点数や大きさを低減することができる。回路系の部品点数や大きさの低減は、撮像装置１の低コスト化や小型化に寄与する。

輝度レベル判定部３８は、輝度情報に基づいて信号処理部３０の動作を制御するように構成される回路ブロックである。具体的には、輝度レベル判定部３８は、輝度情報に含まれる画素ごとの輝度信号の信号レベル、すなわち可視領域の輝度レベルに応じて信号処理部３０の動作を制御するように構成される。輝度レベル判定部３８の入力端は、輝度ＭＴＸ３７の出力端に電気的に接続される。輝度レベル判定部３８の３つの出力端は、それぞれ乗算器３３の制御端、ＡＥ／ＡＷＢ／γ処理部３４の制御端及びクロマ信号処理部３６の制御端に電気的に接続される。

輝度レベル判定部３８は、輝度ＭＴＸ３７の出力する複数の画素の各々の輝度信号に基づいて、可視領域の輝度レベルを判定するように構成される。一例として、輝度レベル判定部３８は、例えば撮像素子１２の撮像面のうちの所定の領域ごとに輝度レベルを判定する。所定の領域は、例えば図４に示す画素配列の２×４の８つの画素の領域、４×２の８つの画素の領域、４×４の１６つの画素の領域又はこれらの組合せの領域である。所定の領域は、例えば、撮像面の中央部と周辺部との間で異なる数の画素の領域であってもよい。

別の一例として、輝度レベル判定部３８は、例えば撮像素子１２の撮像面のうちの特定の領域に関して輝度レベルを判定する。特定の領域は、例えば撮像面の中央部又は周辺部の画素の領域である。特定の領域は、任意の大きさであり、例えば図４に示す画素配列の２×４の８つの画素の領域、４×２の８つの画素の領域、４×４の１６つの画素の領域又はこれらの組合せの領域である。また、特定の領域は、中央部又は周辺部に２つ以上設けられていても構わない。また、特定の領域は、中央部と周辺部との両部に設けられていても構わない。

別の一例として、輝度レベル判定部３８は、例えば撮像素子１２の撮像面の全領域に関して輝度レベルを判定する。

また、輝度レベル判定部３８は、輝度レベルに応じてＲＧＢ信号に加算されるＩＲ信号の信号レベルを制御するように構成される。図６は、実施形態に係る輝度レベルに応じた乗算器制御の特性の一例を示す図である。

輝度レベル判定部３８は、輝度レベルが所定の閾値ｂｒ１２より大きい場合、乗算器３３の制御端に乗算値の値として「０」を供給する。つまり、可視領域の輝度レベルが高い「明るい環境」の場合には、乗算器３３の出力信号の信号レベルが「０」になるため、加算器３２では減算器３１の出力信号に対して何も加算されず、Ｒ信号、Ｇ信号及びＢ信号がＡＥ／ＡＷＢ／γ処理部３４に供給される。

輝度レベル判定部３８は、輝度レベルが所定の閾値ｂｒ１１以下の場合、乗算器３３の制御端に乗算値の値として「１」を供給する。つまり、可視領域の輝度レベルが非常に低い「非常に暗い環境」の場合には、乗算器３３からＩＲ信号がそのまま出力されるため、加算器３２では減算器３１で減算された分のＩＲ信号が加算され、Ｒ´信号、Ｇ´信号及びＢ´信号がＡＥ／ＡＷＢ／γ処理部３４に供給される。

一方で、輝度レベル判定部３８は、輝度レベルが所定の閾値ｂｒ１１より大きく、かつ、所定の閾値ｂｒ１２以下の場合、乗算器３３の制御端に乗算値の値として「０」から「１」の間の輝度レベルに応じた値を供給する。つまり、可視領域の輝度レベルが低い「暗い環境」の場合、可視領域の輝度レベルが下がるほど、乗算器３３の出力信号の信号レベルが増加し、加算器３２での減算器３１の出力信号に対するＩＲ信号の加算の程度が増加する。ここで、所定の閾値ｂｒ１１より大きく、かつ、所定の閾値ｂｒ１２以下の輝度レベルの領域は、第１の範囲の一例である。また、所定の閾値ｂｒ１１は、第１の範囲の下限の一例である。また、所定の閾値ｂｒ１２は、第１の範囲の上限の一例である。

なお、図６に示す例では、所定の閾値ｂｒ１１より大きく、かつ、所定の閾値ｂｒ１２以下の輝度レベルの領域において、乗算値の値と、輝度レベルとの関係は線形であるが、非線形であっても構わない。

このように、輝度レベル判定部３８は、輝度ＭＴＸ３７からの輝度情報に基づいて、可視領域の輝度レベルに応じた値の乗算値を乗算器３３に供給するように構成される。これにより、信号処理部３０は、Ｒ信号、Ｇ信号及びＢ信号とＩＲ信号との連続的な加算を実現する。また、撮像装置１は、ＩＲ信号を加算する制御とＩＲ信号を加算しない制御との非連続的な切替に伴うユーザの違和感を抑制することができる。

なお、輝度レベルが所定の閾値ｂｒ１１の場合に乗算器３３の制御端に輝度レベルに応じた乗算値の値が供給されても構わない。また、輝度レベルが所定の閾値ｂｒ１２の場合に乗算器３３の制御端に乗算値の値として「０」が供給されても構わない。

また、輝度レベル判定部３８は、輝度レベルに応じてホワイトバランス制御のオン／オフを切り替えるように構成される。図７は、実施形態に係る輝度レベルに応じたホワイトバランス制御の特性の一例を示す図である。

輝度レベル判定部３８は、輝度レベルが所定の閾値ｂｒ２１より大きい場合、ＡＥ／ＡＷＢ／γ処理部３４の制御端にホワイトバランス制御をＯＮ状態とするための制御信号を供給する。一方で、輝度レベル判定部３８は、輝度レベルが所定の閾値ｂｒ２１以下である場合、ＡＥ／ＡＷＢ／γ処理部３４の制御端にホワイトバランス制御をＯＦＦ状態とするための制御信号を供給する。ここで、所定の閾値ｂｒ２１は、第１の閾値の一例である。

このように、可視領域の輝度レベルが低い低照度の状態、すなわち「非常に暗い環境」の場合、輝度レベル判定部３８は、ホワイトバランス制御を停止させる。これにより、撮像装置１は、クロマ情報の少ない領域でのホワイトバランス制御による弊害を抑制することができる。

なお、輝度レベルが所定の閾値ｂｒ２１の場合にＡＥ／ＡＷＢ／γ処理部３４の制御端にホワイトバランス制御をＯＮ状態とするための制御信号が供給されても構わない。

また、輝度レベル判定部３８は、輝度レベルに応じてクロマ信号処理のゲインを制御するように構成される。図８は、実施形態に係る輝度レベルに応じたクロマゲイン制御の特性の一例を示す図である。

輝度レベル判定部３８は、輝度レベルが所定の閾値ｂｒ３２より大きい場合、すなわち可視領域の輝度レベルが高い「明るい環境」の場合、クロマ信号処理部３６の制御端にクロマゲインの値として「１」を供給する。また、輝度レベル判定部３８は、輝度レベルが所定の閾値ｂｒ３１以下の場合、すなわち可視領域の輝度レベルが非常に低い「非常に暗い環境」の場合、クロマ信号処理部３６の制御端にクロマゲインの値として「０」を供給する。一方で、輝度レベル判定部３８は、輝度レベルが所定の閾値ｂｒ３１より大きく、かつ、所定の閾値ｂｒ３２以下の場合、すなわち可視領域の輝度レベルが低い「暗い環境」の場合、クロマ信号処理部３６の制御端にクロマゲインの値として「０」から「１」の間の輝度レベルに応じた値を供給する。この場合、可視領域の輝度レベルが下がるほど、クロマゲインの値が低下する。ここで、所定の閾値ｂｒ３１より大きく、かつ、所定の閾値ｂｒ３２以下の輝度レベルの領域は、第２の範囲の一例である。

なお、図８に示す例では、輝度レベルが所定の閾値ｂｒ３１より大きく、かつ、所定の閾値ｂｒ３２以下の領域において、クロマゲインの値と、輝度レベルとの関係は線形であるが、非線形であっても構わない。

このように、信号処理部３０は、輝度レベルが低い低照度の場合には、クロマ信号の信号レベルを抑圧する。すなわち白黒の状態となる。これにより、撮像装置１は、低照度におけるクロマノイズを低減し、低照度における画質劣化を抑制することができる。

なお、輝度レベルが所定の閾値ｂｒ３１の場合にクロマ信号処理部３６の制御端に輝度レベルに応じたクロマゲインの値が供給されても構わない。また、輝度レベルが所定の閾値ｂｒ３２の場合にクロマ信号処理部３６の制御端にクロマゲインの値として「１」が供給されても構わない。

なお、所定の閾値ｂｒ１１、所定の閾値ｂｒ２１及び所定の閾値ｂｒ３１は、同じ輝度レベルの値であってもよいし、それぞれ異なる値であっても構わない。同様に、所定の閾値ｂｒ１２及び所定の閾値ｂｒ３２は、同じ輝度レベルの値であってもよいし、互いに異なる値であっても構わない。

ここで、実施形態に係る撮像装置１の動作の一例について説明する。以下の流れは、所定のフレームレートで逐次撮像して得られた画素信号に対して、逐次実行されるとする。

撮像素子１２は、光学ＢＰＦ１１１を透過した可視光及び近赤外光の受光強度に応じたＲ´信号、Ｇ´信号及びＢ´信号を生成し、生成されたＲ´信号、Ｇ´信号及びＢ´信号を減算器３１の＋側の入力端に供給する。また、撮像素子１２は、光学ＢＰＦ１１１を透過した近赤外光の受光強度に応じたＩＲ信号を生成し、生成されたＩＲ信号を減算器３１の－側の入力端と、乗算器３３の入力端との各々に供給する。

減算器３１は、Ｒ´信号、Ｇ´信号及びＢ´信号の各々からＩＲ信号を減算し、Ｒ信号、Ｇ信号及びＢ信号を加算器３２へ出力する。また、乗算器３３は、ＩＲ信号に輝度レベル判定部３８からの乗算値を乗算することにより、入力されたＩＲ信号の信号レベル以下の信号を加算器３２へ出力する。その後、加算器３２は、減算器３１から出力された信号と、乗算器３３から出力された信号とを加算し、加算して得られた画像信号をＡＥ／ＡＷＢ／γ処理部３４へ出力する。

ＡＥ／ＡＷＢ／γ処理部３４は、加算器３２から出力された画像信号に基づいてＡＥ制御処理を行う。また、加算器３２から出力された画像信号に対してＡＷＢ制御処理やガンマ変換処理などの画像処理を施す。なお、ＡＷＢ制御処理を行うか否かは、輝度レベル判定部３８からの制御信号に基づいて決定される。ＡＥ／ＡＷＢ／γ処理部３４は、画像処理が施された画像信号を、輝度信号処理部３５、クロマ信号処理部３６及び輝度ＭＴＸ３７の各々に供給する。

その後、輝度信号処理部３５は、ＡＥ／ＡＷＢ／γ処理部３４からの画像信号に対して、輝度信号処理を行う。クロマ信号処理部３６は、ＡＥ／ＡＷＢ／γ処理部３４からの画像信号に対して、輝度レベル判定部３８からのクロマゲインを用いてクロマ信号処理を行う。輝度信号処理部３５及びクロマ信号処理部３６の各々により処理が施された画像信号は結合され、現在のフレームの画像信号５０として出力される。

また、輝度ＭＴＸ３７は、ＡＥ／ＡＷＢ／γ処理部３４からの画像信号に応じた可視領域の輝度情報を出力する。輝度レベル判定部３８は、輝度ＭＴＸ３７からの輝度情報に基づいて可視領域の輝度レベルを判定する。ここで、輝度レベル判定部３８は、判定された輝度レベルに応じた乗算値を乗算器３３に供給することにより、輝度レベルに応じた乗算器制御の特性を実現する。

図９は、実施形態に係る輝度レベルに応じた乗算器制御により得られる画像信号５０について説明するための図である。

可視領域の輝度レベルが高い「明るい環境」の場合、輝度レベル判定部３８から乗算器３３に供給される乗算値は「０」である。つまり、画像信号５０は、図９に示すように、可視光の受光強度に応じたＲ信号、Ｇ信号及びＢ信号だけを用いて生成される。

可視領域の輝度レベルが低い「暗い環境」の場合、輝度レベル判定部３８から乗算器３３に供給される乗算値は、輝度レベルに応じた値である。つまり、画像信号５０は、図９に示すように、可視光の受光強度に応じたＲ信号、Ｇ信号及びＢ信号に対して、輝度レベルに応じた信号レベルのＩＲ信号を加算することにより生成される。

可視領域の輝度レベルが非常に低い「非常に暗い環境」の場合、輝度レベル判定部３８から乗算器３３に供給される乗算値は「１」である。つまり、画像信号５０は、図９に示すように、可視光の受光強度に応じたＲ信号、Ｇ信号及びＢ信号に対して、近赤外光の受光強度に応じたＩＲ信号を加算することにより生成される。

また、輝度レベル判定部３８は、判定された輝度レベルに応じた制御信号をＡＥ／ＡＷＢ／γ処理部３４に供給することにより、輝度レベルに応じたホワイトバランス制御の特性を実現する。また、輝度レベル判定部３８は、判定された輝度レベルに応じたクロマゲインをクロマ信号処理部３６に供給することにより、輝度レベルに応じたクロマゲイン制御の特性を実現する。

このように、撮像装置１は、所定の撮影領域を所定のフレームレートで逐次撮影することにより、画像信号５０を出力するように構成される。また、撮像装置１は、ＲＧＢ信号のマトリックス情報に基づいて、ＲＧＢ信号とＩＲ信号とをシームレスに減算又は加算処理するように構成される。

これにより、実施形態に係る撮像装置１は、近赤外光による被写体の色再現性劣化を抑え、画質の最適化を実現することができる。また、実施形態に係る撮像装置１によれば、ＲＧＢ信号にＩＲ信号をシームレスに重畳させることができるため、ＲＧＢ信号とＩＲ信号との減算又は加算に伴う画質の変化を抑制し、ユーザに与える違和感を低減することができる。

なお、本開示に係る撮像装置１は、図１に示すように、近赤外光を発する照明部７０をさらに有する構成とすることもできる。照明部７０は、例えば図３に示す発光スペクトル（ＬＥＤ）を有する近赤外光を放射可能に構成されるＬＥＤである。この構成によれば、夜間などの可視光の光量が少ない環境で得られる画像の画質をさらに向上させることができる。また、実施形態に係る技術によれば、照明部７０のオン／オフ切替に伴う画質の変化も抑制することができる。

なお、本開示に係る撮像装置１は、車載カメラに限らず、監視カメラなどの環境の光量が変化する環境で使用されるカメラに対して任意に適用可能である。

なお、本実施形態の撮像装置１で実行される処理の一部又は全部は、ソフトウェアにより実現されても構わない。

本実施形態の撮像装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の撮像装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の撮像装置１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態の撮像装置１で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

以上説明した少なくとも１つの実施形態によれば、近赤外光による被写体の色再現性劣化を抑え、画質の最適化を実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 撮像装置
１０ 撮像部
１１ 撮像光学系
１１１ 光学バンドパスフィルタ（ＢＰＦ）
１１２ レンズ
１２ 撮像素子
１２１ カラーフィルタ
３０ 信号処理部
３１ 減算器
３２ 加算器
３３ 乗算器
３４ ＡＥ／ＡＷＢ／γ処理部（処理部）
３４１ ＡＥ処理部
３４２ ＡＷＢ処理部
３４３ γ処理部
３５ 輝度信号処理部
３６ クロマ信号処理部
３７ 輝度マトリックス（ＭＴＸ）
３８ 輝度レベル判定部
５０ 画像信号
７０ 照明部

Claims (7)

1. 可視領域の波長を有する可視光及び近赤外領域の波長を有する近赤外光を選択的に透過させるように構成される光学バンドパスフィルタと、
   前記光学バンドパスフィルタを透過した可視光及び近赤外光の受光強度に応じた信号レベルの第１の信号と、光学バンドパスフィルタを透過した近赤外光の受光強度に応じた信号レベルの第２の信号とを出力するように構成される撮像素子と、
   前記第１の信号から前記第２の信号を減算して第３の信号を出力するように構成される減算器と、
   前記第２の信号に制御値を乗算して前記第２の信号の信号レベル以下の第４の信号を出力するように構成される乗算器と、
   前記第３の信号に前記第４の信号を加算して画像信号を出力するように構成される加算器と、
   前記画像信号に応じた可視領域の輝度情報を出力するように構成される輝度マトリックスと、
   前記輝度マトリックスからの前記輝度情報に基づいて、可視領域の輝度レベルに応じた値の前記制御値を前記乗算器に供給するように構成される輝度レベル判定部と
   を具備する撮像装置。
2. 前記輝度レベル判定部は、前記輝度情報に基づいて前記輝度レベルを判定する、請求項１に記載の撮像装置。
3. 前記輝度レベル判定部は、前記輝度レベルが第１の範囲内のとき、前記輝度レベルが大きいほど前記制御値の値を小さくする、請求項１又は請求項２に記載の撮像装置。
4. 前記制御値は、０以上、かつ、１以下の実数であり、
   前記輝度レベル判定部は、
   前記輝度レベルが前記第１の範囲の上限より大きいとき、前記制御値の値を０とし、
   前記輝度レベルが前記第１の範囲の下限より小さいとき、前記制御値の値を１とする、
   請求項３に記載の撮像装置。
5. 前記画像信号のホワイトバランスを調整するホワイトバランス制御を行うように構成される処理部をさらに備え、
   前記輝度レベル判定部は、前記輝度レベルが第１の閾値以下のとき、前記ホワイトバランス制御をＯＦＦ状態にするための制御信号を前記処理部に供給する、
   請求項１から請求項４のうちのいずれか一項に記載の撮像装置。
6. 前記画像信号に対してクロマゲインの値に応じてクロマ信号処理を施すクロマ信号処理部をさらに備え、
   前記輝度レベル判定部は、前記輝度レベルが第２の範囲内のとき、前記輝度レベルが大きいほど前記クロマ信号処理部に供給する前記クロマゲインの値を大きくする、
   請求項１から請求項５のうちのいずれか一項に記載の撮像装置。
7. 前記輝度マトリックスからの前記輝度情報に基づいて、前記画像信号に対して輝度信号処理を施す輝度信号処理部をさらに備える、請求項１から請求項６のうちのいずれか一項に記載の撮像装置。

Images