JP2016200742A - 撮像装置 - Google Patents

Abstract

【課題】可視光線カットフィルタを用いても被写体によらずナイトモードからデイモードに適切に切り換わることを可能にした撮像装置を提供すること。
【解決手段】被写体からの光のうち可視光成分を撮像素子に導くために撮像素子とレンズの間の光路に挿抜可能な状態で置かれたフィルタ１と、赤外線成分を導くために光路に挿抜可能な状態で置かれたフィルタ２と、前記撮像素子で得られた画像をある定められた領域と前記定められた領域とは異なる領域について、それぞれの前記領域ごとの輝度平均値を算出する輝度平均値算出部と、前記輝度平均値を比較する比較手段と、前記比較手段による比較結果に応じて前記フィルタ１を前記光路から抜き出し、前記フィルタ２を前記光路上に挿入するフィルタ制御部と、を有する撮像装置において、前記フィルタ２の一部分のみ、可視光成分も含めて前記撮像素子に導くことを特徴とする。
【選択図】図１

Description

本発明は、撮像装置に関し、特に監視カメラや車載カメラなどの監視を目的とした撮像装置に関する。

従来、昼夜を問わず監視を行う必要がある場合、昼間は赤外線カットフィルタを撮像素子の前面に配置してカラー撮影を行うデイモード、夜間は感度を上げるために赤外線カットフィルタを外して白黒撮影を行うナイトモードを有する監視カメラが用いられてきた。ここでデイモードとナイトモードの切り替えには、被写体の輝度を画像から求め、その結果をもとに自動で切り換える、といったことが通常行われている。また照度センサを備え、周囲の照度を直接測定して、その結果をもとに自動で切り換える、ということも行われている。また、ナイトモードにおいては被写体をより鮮明に撮影するため、かつ被写体に対して気付かれないように、また運転や生活の妨げにならないように、人間の目には見えない赤外線照明を被写体に照射することも良く行われている。

特許文献１では赤外線を被写体に照射するナイトモードにおいて、ゲインの制御を行い画像のＳ／Ｎ比を向上させることができる撮像装置が開示されている。

特許第５４７１５５０号公報

ナイトモードにおいて被写体の輝度を求める際、可視光線に加えて赤外線も合わせた値が画像から求められる。ここで光学的特性から、一般的なレンズを使用すると可視光線と赤外線で焦点面が異なるため、両方の光が存在する場合にはフォーカス位置がそれぞれ異なってしまい、全体的にピントが合っていない画像が得られる、といったことが発生していた。このとき、赤外線カットフィルタを外すと同時に、可視光線カットフィルタを挿入することで赤外線のみの画像が得られるので、ピントの合った画像が得られる。

しかし、その場合ナイトモードで得られる画像は赤外線のみによる画像のため、可視光線の輝度が増加したかどうかが分からない。そのため上述の特許文献に開示された従来技術ではライトなどの点灯や夜明けなどでデイモードに切り替えることが難しくなってしまう。また照度センサを用いれば周囲の照度は測定できるが、夜間の屋外と屋内を同時に撮影するときや、ズームレンズを用いて遠方を監視するときなど、照度センサでは被写体の照度を正確に求められない場合がある。

そこで、本発明の目的は、可視光線カットフィルタを用いても被写体によらずナイトモードからデイモードに適切に切り換わることを可能にした撮像装置を提供することにある。

上記の目的を達成するために、本発明は、撮像素子と、レンズと、被写体からの光のうち可視光成分を前記撮像素子に導くために前記撮像素子と前記レンズの間の光路に挿抜可能な状態で置かれたフィルタ１と、前記被写体からの光のうち赤外線成分を前記撮像素子に導くために前記光路に挿抜可能な状態で置かれたフィルタ２と、前記撮像素子で得られた画像をある定められた領域と前記定められた領域とは異なる領域について、それぞれの前記領域ごとの輝度平均値を算出する輝度平均値算出部と、前記輝度平均値を比較する比較手段と、前記比較手段による比較結果に応じて前記フィルタ１を前記光路から抜き出し、前記フィルタ２を前記光路上に挿入するフィルタ制御部と、を有する撮像装置において、前記フィルタ２の一部分のみ、可視光成分も含めて前記撮像素子に導くことを特徴とする。

本発明によれば、ナイトモードからデイモードに適切に切り換わることが可能な撮像装置を提供することができる。

本発明の実施形態に係る撮像装置の一例を示した模式図である。 本発明の実施形態に係る撮像装置における信号処理部の内部構成の一例を示した模式図である。 本発明の実施形態に係る撮像装置における撮像素子と可視光線カットフィルタとの位置関係の一例について示した模式図である。 本発明の実施形態に係る撮像装置における被写体の見え方について示した模式図である。 本発明の実施例１に係る撮像装置の動作を説明するためのフローチャートである。 本発明の実施例２に係る撮像装置の動作を説明するためのフローチャートである。 本発明の実施例３に係る撮像装置の動作を説明するためのフローチャートである。 本発明の実施例４に係る撮像装置の動作を説明するためのフローチャートである。 本発明の実施例５に係る撮像装置の動作を説明するためのフローチャートである。 本発明の実施例６に係る撮像装置の動作を説明するためのフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は本発明の実施形態に係る撮像装置の構造を示した模式図である。レンズユニット１０１によって集光された被写体像は撮像素子２０１によって電気信号に変換されたのち、信号処理部２０２によって信号処理され、連続する画像、または映像としてネットワークなどの外部に出力される。レンズユニット１０１は被写体に応じて最適な映像を得られるようにズーム、フォーカス、絞り、フィルタなどの構成部分を備えており、信号処理部２０２からの制御信号を通して制御される。

前記のフィルタとして、レンズユニット１０１と撮像素子２０１の間の光軸上にレンズユニット１０１を通して撮像素子２０１に入射する光のうち主に可視光線成分を透過する赤外線カットフィルタ１１１、および主に赤外線成分のみを透過する可視光線カットフィルタ１１２が内蔵されている。これらのフィルタは信号処理部２０２からの制御信号により独立、あるいは排他的に挿抜される構造となっている。また前記の撮像素子２０１はＣＣＤセンサやＣＭＯＳセンサなどの半導体撮像素子である。

これらは主に可視光線（波長３８０〜７８０ナノメートル）に高い感度を有しており、各画素ごとに赤（R）、緑（G）、青（B）のいずれかに高い感度を有するが、赤外線（７８０ナノメートル以上）にもある程度の感度を有している。そのため赤外線照明によって照らされている場所などの赤外線で明るい被写体については、可視光線カットフィルタ１１２が挿入された状態でも被写体を鮮明に撮影することが出来る。本発明はさらに、赤外線を投光するための赤外線照明３０１を備えており、被写体に向けて照射して撮影することで被写体の赤外線画像を取得することができる。

ここで、図３（a）および図３（b）は可視光線カットフィルタ１１２と撮像素子２０１の位置関係を示している。図３（b）のように、可視光線カットフィルタ１１２は一部、より好ましくは四隅の分光透過率が他の場所とは異なり、可視光線についても透過する構造となっている。これにより、撮像素子２０１に入射する光のうち、画面の四隅に相当する部分からの光は、可視光線カットフィルタ１１２を挿入していても、可視光線と赤外線両方の光が入射することが出来る。

図２は信号処理部２０２の内部構成を模式的に表したものである。撮像素子２０１から得られた被写体像の電気信号は、信号処理部２０２内の画像処理部２１１によって画像処理され、JPEG画像やあるいはH.264などのビデオ映像が作られる。ここで画像処理とは、露出制御、ホワイトバランス制御、ガンマ補正などの処理を含み、被写体に応じて最適な画像になるように細かく制御を行っている。また、画像処理部２１１で適切な画像が得られるように、レンズユニット制御部２１２によってレンズユニット１０１のズーム、フォーカス、絞り、およびフィルタ挿抜の制御動作を行う。

同様に、撮像素子制御部２１３によって撮像素子２０１のゲイン、シャッタースピードの制御を同時に行う。ここで被写体が明るい場合は絞りを絞り、シャッタースピードを短く、ゲインを小さくする制御をする（以後デイモードとする）。このとき、赤外線カットフィルタ１１１はレンズの光軸上に挿入されており、被写体からの光のうち赤外線成分をカットすることで、得られる画像の色再現性を高めている。

被写体が暗くなってくると、絞りを開き、シャッタースピードを長く、ゲインを大きくするが、さらに赤外線カットフィル１１１をレンズ光軸上から外すと同時に可視光線カットフィルタ１１２を挿入し、赤外線照明３０１を点灯する（以後ナイトモードとする）。撮像素子のR、G、B各画素は赤外線に対しては感度がほぼ同一に調整されていることが多く、ナイトモード時は通常、画像処理部２１１のホワイトバランス制御を変更し、カラー画像ではなく白黒画像を出力する。赤外線カットフィルタ１１１および可視光線カットフィルタ１１２の挿抜タイミングは、レンズ、撮像素子および画像処理部の制御結果をもとに被写体の照度を推定することで信号処理部２０２によって決定される。

信号処理部２０２はさらに領域別処理部２１４、比較部２１５を備えている。領域別処理部２１４は、被写体像のうち、指定された大きさで区切られた領域ごとに様々な処理を行うことができ、被写体輝度の平均値やピントが合っているかの指標であるフォーカス評価値を算出することが出来る。このとき、画像処理部２１１の処理後の画像を元に処理を行っても良く、処理前のR、G、Bそれぞれの画素値を元に処理を行っても良い。また比較部２１５は、領域別処理部２１４が処理した領域ごとの値、またはそれらをもとに計算された値を、規定された値あるいは領域それぞれの値と比較し、その結果をもとに、信号処理部２０２は再び様々な処理を行う。詳細な動作については後述する。

信号処理部２０２にはさらに動体検出部２１６を備えていても良く、画像処理部２１１にて得られた連続する画像から、移動する被写体を検出する。また、動体検出結果を付加情報として画像に関連付けを行っても良い。また信号処理部内にあるメモリ２１９に検出結果を保存しても良い。

また通信制御部２１７を持ち、得られた画像データを外部に出力する。このとき特定被写体の検出結果を同時に出力しても良い。また照明制御部２１８を持ち、赤外線照明３０１の点灯、消灯、および調光制御を行っている。赤外線照明３０１を点灯させる場合、レンズユニット制御部２１２を介して赤外線カットフィルタ１１１を光軸上から外し、可視光線カットフィルタ１１２を光軸上に挿入しておくことが望ましい。これら各部分、およびメモリはそれぞれバスを介して接続されていて、データをやり取りすることが可能である。

以下に、図４を用いて領域別処理部２１４および比較部２１５の動作について記述する。図４（a）は画像処理部２１１によって得られた夜景の画像であり、図４（b）および図４（c）はその一部に対してズームしたときの画像である。これらの画像に対して、領域別処理部２１４が画像の四隅、および中央部について、それぞれの領域内の画素値から輝度の平均値を算出する。四隅および中央部の領域サイズは画像のサイズによって変わるが、四隅については領域の一辺が数１０〜数１００画素分程度になるように、中央部については四隅以外の領域か、画像全体の半分〜３／４程度になるように選択することが望ましい。ここで、四隅の領域の平均輝度値をそれぞれL1〜L4、中央部の平均輝度値をLCとする。

ここで、ナイトモードで図４（a）の撮影しているときについて考える。このとき平均輝度値L1〜L4はLCと同程度か、あるいは照明の配光特性やレンズ光学特性からLC＞L1〜L4となっている。ここでレンズのズームをTELE側に駆動し、図４（b）のように明るい場所に画角を移動する。撮像装置はナイトモードのため、画面の中央部は赤外線照明による赤外線のみ入射し、四隅については赤外線と可視光線の両方の光が入射することになる。このとき、比較部２１５により、L1〜L4＞LCとなり、図４（c）のように画面の四隅が明るくなる。

このことから被写体が可視光線で明るいと判断できるので、デイモードに切り替えることが出来る。このとき、四隅の一部だけを比較すると、被写体によっては明るいものが四隅のうちどこかに存在する可能性もあるため、四隅の輝度値の平均値が中央部の輝度値よりも大きいとき、あるいは四隅の輝度値全てが中央部の輝度値よりも大きいときに、被写体画可視光線で明るい、と判断しても良い。また、動体検出部２１６において動体を検知している時はそのカラー情報が必要になる場合があるため、検知時のみデイモードに切り替える、としても良い。なお、レンズのズームをTELE側に移動する場合を一例として示したが、明るさが変化する環境であればズーム位置に依らず適用が可能である。

ここで四隅のフォーカス評価値をF1〜F4、中央部のフォーカス評価値をFCとし、赤外光のみの場合における四隅、中央部のフォーカス評価値と、赤外線と可視光線の両方の光がある場合のフォーカス評価値を考える。中央部のFCについてはどちらもほぼ同じ値となり、ピントが合っている状態となるが、四隅のF1〜F4に関しては赤外線と可視光線の両方の光によりピントの合わない画像となり、フォーカス評価値が小さくなる。よってこのフォーカス評価値から可視光線で明るいかどうか判断し、デイモードに切り替える動作を行っても良い。

ここでフォーカス評価値として、専用のセンサの出力から求めても良いし、画像のコントラスト差から求めても良い。ここでフォーカス評価値はある程度ばらつく可能性があり、また被写体が変化する場合もあるため、中央簿のフォーカス評価値比率に対して四隅のフォーカス評価値比率が半分以下になった時のみ、可視光線で明るいかどうか判断するとしても良い。

また、画像処理部２１１の処理前の信号から各領域のR、G、Bの各画素データを用い、それぞれの輝度値を求めると、可視光線においては各画素での感度の違いから、輝度値が異なってくる。そこでR、G、B各画素の輝度値の比がある規定値以上となった場合、可視光線で明るいかどうか判断し、デイモードに切り替える動作を行っても良い。ここで赤外線のみの場合は各画素の輝度値がほぼ等しくなるのに対して、可視光線のみの場合は、G画素の輝度値がR、B画素のおよそ倍程度になるため、前記規定値として1.2から1.5程度とすることが望ましい。

［実施例１］
以下、本発明の第1の実施例による撮像装置について、図１、図２、および図５のフローチャートを用いて説明する。以下は本発明の第1の実施例による撮像装置の、ナイトモードにおける動作のフローチャートである。

（S501）領域別処理部２１４により、画像処理部２１１にて取得した画像に対し、四隅の60x60ピクセルごとの領域と、それ以外の領域全体に対して、それぞれの平均輝度値L1〜L4、LCを算出する。また各領域の輝度平均値をメモリ２１９に記憶する。（S502）に進む。（S502）比較部２１５により、L1〜L4の各値とLCを比較する。（S503）に移動する。（S503）L1〜L4の全てについて、LCよりも大きい場合、信号処理部２０２が、被写体が可視光線で明るいと判断して（S504）に移動する。そうでない場合、（S501）に戻る。（S504）可視光線カットフィルタ１１２をレンズ光軸から外すとともに赤外線カットフィルタ１１１をレンズ光軸に挿入して、デイモードに切り替える。

以上の動作を行うことで、ナイトモードからデイモードに適切に切り替えることが出来る。

［実施例２］
以下、本発明の第２の実施例による撮像装置について、図１、図２、および図６のフローチャートを用いて説明する。以下は本発明の第2の実施例による撮像装置の、ナイトモードにおける動作のフローチャートである。

（S601）領域別処理部２１４により、撮像素子２０１から得られた被写体像の信号に対し、四隅の60x60ピクセルごとの領域に対して、それぞれの画素平均輝度値をRGBごとに算出する。また各領域の輝度平均値をメモリ２１９に記憶する。（S602）に進む。

（S602）比較部２１５により、四隅のRGB画素平均輝度値の比率を求める。（S603）に進む。（S603）全ての領域において、G画素の輝度平均値がR画素の1.5倍以上かつ、G画素の輝度平均値がB画素の1.5倍以上となっている場合、信号処理部２０２が、被写体が可視光線で明るいと判断して（S604）に進む。そうでない場合は（S601）に戻る。（S604）可視光線カットフィルタ１１２をレンズ光軸から外すとともに赤外線カットフィルタ１１１をレンズ光軸に挿入して、デイモードに切り替える。

以上の動作を行うことで、実施例１とは異なる手法で、ナイトモードからデイモードに適切に切り替えることが出来る。

［実施例３］
以下、本発明の第３の実施例による撮像装置について、図１、図２、および図７のフローチャートを用いて説明する。以下は本発明の第３の実施例による撮像装置の、ナイトモードにおける動作のフローチャートである。

（S701）ナイトモード切り替えの直後に、領域別処理部２１４により、画像処理部２１１にて取得した画像に対し、四隅の60x60ピクセルごとの領域と、それ以外の領域全体に対して、それぞれのフォーカス評価値F1〜F4、FCを算出する。また各領域のフォーカス評価値をメモリ２１９に記憶する。（S702）に進む。

（S702）領域別処理部２１４により、画像処理部２１１にて取得した画像に対し、四隅の60x60ピクセルごとの領域と、それ以外の領域全体に対して、それぞれのフォーカス評価値F1'〜F4'、FC'を算出する。また各領域のフォーカス評価値をメモリ２１９に記憶する。その後（S703）に進む。

（S703）比較部２１５により、F1'〜F4'の各値およびFC'を（S701）にて求めたF1〜F4およびFCと比較する。（S704）に移動する。（S704）F1'〜F4'の全てにおいて、
Fn'/Fn < 0.5×FC'/FC （n=1〜4）
が成り立つ場合、信号処理部２０２が、被写体が可視光線で明るいと判断して（S705）に進む。そうでない場合、（S702）に戻る。（S705）可視光線カットフィルタ１１２をレンズ光軸から外すとともに赤外線カットフィルタ１１１をレンズ光軸に挿入して、デイモードに切り替える。

以上の動作を行うことで、実施例１および２とは異なる手法で、ナイトモードからデイモードに適切に切り替えることが出来る。

［実施例４］
以下、本発明の第４の実施例による撮像装置について、図１、図２、および図８のフローチャートを用いて説明する。以下は本発明の第４の実施例による撮像装置の、ナイトモードにおける動作のフローチャートである。

（S801）実施例３における（S701）と同様の動作を行い、（S802）に進む。（S802）〜（S803）実施例１における（S501）〜（S502）と同様の動作を行い、（S804）に進む。

（S804）L1〜L4の全てについて、LCよりも大きい場合、信号処理部２０２が、被写体が可視光線で明るいと判断して（S811）に移動する。そうでない場合、（S805）に進む。（S805）〜（S806）実施例２における（S601）〜（S602）と同様の動作を行い、（S807）に進む。（S807）全ての領域において、G画素の輝度平均値がR画素の1.5倍以上かつ、G画素の輝度平均値がB画素の1.5倍以上となっている場合、信号処理部２０２が、被写体が可視光線で明るいと判断して（S811）に進む。そうでない場合は（S808）に進む。

（S808）〜（S809）実施例３における（S702）〜（S703）と同様の動作を行い、（S810）に移動する。（S810）F1'〜F4'の全てにおいて、
Fn'/Fn < 0.5×FC'/FC （n=1〜4）
が成り立つ場合、信号処理部２０２が、被写体が可視光線で明るいと判断して（S811）に進む。そうでない場合、（S802）に戻る。（S811）可視光線カットフィルタ１１２をレンズ光軸から外すとともに赤外線カットフィルタ１１１をレンズ光軸に挿入して、デイモードに切り替える。

以上の動作を行うことで、実施例１ないし３とは異なる手法で、ナイトモードからデイモードに適切に切り替えることが出来る。

［実施例５］
以下、本発明の第５の実施例による撮像装置について、図１、図２、および図９のフローチャートを用いて説明する。以下は本発明の第５の実施例による撮像装置の、ナイトモードにおける動作のフローチャートである。

（S901）レンズのズーム位置が中央よりもTELE側にある場合、（S902）に進む。それ以外は（S901）を繰り返す。（S902）〜（S905）実施例１における（S501）〜（S504）と同様の動作を行う。

以上の動作を行うことで、実施例１ないし４とは異なる手法で、ナイトモードからデイモードに適切に切り替えることが出来る。

［実施例６］
以下、本発明の第６の実施例による撮像装置について、図１、図２、および図１０のフローチャートを用いて説明する。以下は本発明の第５の実施例による撮像装置の、ナイトモードにおける動作のフローチャートである。

（S1001）動体検出部２１６において動体を検出している場合、（S1002）に進む。それ以外は（S1001）を繰り返す。（S1002）〜（S1005）実施例１における（S501）〜（S504）と同様の動作を行う。

以上の動作を行うことで、実施例１ないし５とは異なる手法で、ナイトモードからデイモードに適切に切り替えることが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ レンズユニット、１１１ 赤外線カットフィルタ、
１１２ 可視光線カットフィルタ、２０１ 撮像素子、２０２ 信号処理部、
２１１ 画像処理部、２１２ レンズユニット制御部、２１３ 撮像素子制御部、
２１４ 領域別処理部、２１５ 比較部、２１６ 動体検出部、２１７ 通信制御部、
２１８ 照明制御部、２１９ メモリ、３０１ 赤外線照明

Claims (6)

1. 撮像素子と、レンズと、被写体からの光のうち可視光成分を前記撮像素子に導くために前記撮像素子と前記レンズの間の光路に挿抜可能な状態で置かれたフィルタ１と、前記被写体からの光のうち赤外線成分を前記撮像素子に導くために前記光路に挿抜可能な状態で置かれたフィルタ２と、前記撮像素子で得られた画像をある定められた領域と前記定められた領域とは異なる領域について、それぞれの前記領域ごとの輝度平均値を算出する輝度平均値算出部と、前記輝度平均値を比較する比較手段と、前記比較手段による比較結果に応じて前記フィルタ１を前記光路から抜き出し、前記フィルタ２を前記光路上に挿入するフィルタ制御部と、を有する撮像装置において、前記フィルタ２の一部分のみ、可視光成分も含めて前記撮像素子に導くことを特徴とする撮像装置。
2. 前記輝度平均値算出部が、画像処理後の画像から輝度値を算出することを特徴とする請求項１に記載の撮像装置。
3. 撮像素子と、レンズと、被写体からの光のうち可視光成分を前記撮像素子に導くために前記撮像素子と前記レンズの間の光路に挿抜可能な状態で置かれたフィルタ１と、前記被写体からの光のうち赤外線成分を前記撮像素子に導くために前記光路に挿抜可能な状態で置かれたフィルタ２と、前記撮像素子で得られたRGBの画素ごとの輝度値をある定められた領域と前記定められた領域とは異なる領域から算出し、それぞれの前記領域ごとの画素色比率を算出する画素色比率算出部と、前記画素色比率を比較する比較手段と、前記比較手段による比較結果に応じて前記フィルタ１を前記光路から抜き出し、前記フィルタ２を前記光路上に挿入するフィルタ制御部と、を有する撮像装置において、前記フィルタ２の一部分のみ、可視光成分も含めて前記撮像素子に導くことを特徴とする撮像装置。
4. 撮像素子と、レンズと、被写体からの光のうち可視光成分を前記撮像素子に導くために前記撮像素子と前記レンズの間の光路に挿抜可能な状態で置かれたフィルタ１と、前記被写体からの光のうち赤外線成分を前記撮像素子に導くために前記光路に挿抜可能な状態で置かれたフィルタ２と、前記撮像素子で得られた画像をある定められた領域と前記定められた領域とは異なる領域について、それぞれの前記領域ごとのフォーカス評価値を算出するフォーカス評価値算出部と、前記フォーカス評価値を比較する比較手段と、前記比較手段による比較結果に応じて前記フィルタ１を前記光路から抜き出し、前記フィルタ２を前記光路上に挿入するフィルタ制御部と、を有する撮像装置において、前記フィルタ２の一部分のみ、可視光成分も含めて前記撮像素子に導くことを特徴とする撮像装置。
5. 前記レンズがズーム動作可能なレンズであり、前記レンズのズーム位置が中央よりTELE側にある時のみ前記フィルタ２を制御することを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
6. さらに動体を検出する動体検出部を備え、前記動体検出部が動体を検出している間のみ前記フィルタ２を制御することを特徴とする、請求項１乃至請求項５の何れか一項に記載の撮像装置。