JP6466809B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関する。

本技術分野の背景技術として、特許文献１がある。特許文献１には、「撮像装置およびテレビドアホン装置に関し、暗い場所で被写体にとって照明される光が眩しくならないようにカラーの撮影映像を得る場合であっても、撮影開始後直ぐに被写体の視認性をよくし判別しやすくすることを目的とする。撮像装置は、被写体を照明する撮影用赤外光源部と、被写体を照明する撮影用可視光源部と、被写体を撮影する撮像部と、撮影用赤外光源部および撮影用可視光源部の発光を制御する発光制御部とを備え、発光制御部は、撮像部で撮影を開始するときに赤外光を発光開始させると共に、この発光開始後、時間経過と共に可視光の光量を赤外光より緩やかに増加させる構成とした。」と記載されている。

特開２０１０−２１２９４１号公報

特許文献１によれば、被写体を照明する撮影用赤外光源部と撮影用可視光源部が用いられるので、撮像装置により撮像される画像の色再現性が向上する。しかし、特許文献１の撮像装置を用いても、画像内の所望の被写体のすべてに光源からの赤外光および可視光が照射されない場合があり、撮像される画像の一部が、他の部分に比べて色再現性が悪くなる。監視カメラのように、撮像装置の用途によっては、画像内の所望の被写体のすべてに亘って色再現性が良いことが望ましい。

開示する撮像装置は、非可視光と可視光とに感度を有し、被写体の画像を撮像して画像信号を生成する撮像部、画像を複数の領域に分割した画像領域の、画像信号の非可視光の光量を検出する非可視光量検波部、被写体に非可視光を照射する光源部、および
非可視光量検波部が検出した非可視光の光量が所定の光量に満たない画像領域にある被写体に非可視光を照射するように光源部を制御する制御部を有する。

開示する撮像装置によれば、画像内の少なくとも所望の領域の色再現性が良くなる。

実施例１の撮像装置の構成例である。 撮像部の一例を示す構成図である。 イメージセンサ部の色フィルタ配列の一例である。 色フィルタの分光特性の一例である。 光源部の光量制御の一例である。 撮影シーンの一例である。 撮像装置により撮影された画像である。 光源部Ａにより非可視光が被写体の人物Ａに照射されている撮影シーンである。 光源部Ａにより非可視光が被写体の人物Ａに照射されて撮影された画像である。 実施例２の撮像装置の構成例である。 光源部および非可視光調整部の、制御部による制御方法の一例である。 被写体を撮像装置で撮像した画像の一例である。 被写体の可視光量と赤外光量との関係を示す例である。 非可視光調整部へ設定する画素毎の利得の制御曲線である。 実施例４の撮像装置の構成例である。 光源部およびフィルタの制御例である。 実施例５の撮像装置の構成例である。 撮影シーンの一例である。 撮像装置により撮影された画像である。 光源部Ａにより非可視光が被写体の人物Ａに照射されている撮影シーンである。 光源部Ａにより非可視光が被写体の人物Ａに照射されて撮影された画像である。 実施例６の構成例である。

以下、実施例を図面を用いて説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。

非可視光（第１の波長帯の光）として赤外光を例に説明するが、各実施例はイメージセンサ部の色フィルタを、可視光（第２の波長帯の光）と赤外光ではなく、可視光と非可視光（第１の波長帯の光）として紫外光に対して感度を持つように構成することも可能である。色フィルタが非可視光としての赤外光に対して感度を持つ場合は、可視光に所定の光量の非可視光としての赤外光を加えた光を、画像が暗い領域の被写体に照射することにより、画像全体として色再現性のよい画像が得られる。色フィルタが非可視光としての紫外光に感度を持つ場合は紫外光領域の画像と可視光のカラー画像を合成することで、色の着いた紫外光画像が得られる。

以下、非可視光（第１の波長帯の光）として近赤外の波長帯を含む赤外光を、可視光（第２の波長帯の光）として、赤色信号、緑色信号、青色信号、及び青色から赤色まで含む可視光である白色信号を例に説明する。

本実施例の撮像装置は、撮影した画像を複数の領域に分割した画像領域毎に、可視光の光量と、非可視光と可視光との光量の割合とに基づいて、被写体に照射する非可視光源の光量を調節する。画像を複数の領域に分割した画像領域につては、例示と共に後述する。

図１は、本実施例の撮像装置の構成例である。撮像装置は、撮像部１０１、信号処理部１０３、可視光信号生成部１０４、非可視光信号生成部１０５、白調整部１０６、画像合成部１０７、輝度信号生成部１０８、色差信号生成部１０９、制御部１１０、可視光量検波部１１２、非可視光量検波部１１３、信号レベル検波部１１４、および光源部１１６を有する。以下、各部について説明する。

撮像部１０１は、非可視光と可視光とに感度を有し、被写体を撮像して画像信号を生成して出力する。撮像部１０１は、撮像レンズ、ズームレンズ及びフォーカスレンズを含むレンズ群、絞り、シャッター、ＣＣＤまたはＣＭＯＳなどのイメージセンサ、増幅器及びＡＤコンバータ等を含み、レンズ群によって結像された可視光及び非可視光を、イメージセンサの色フィルタにより所定の波長成分対応に分光して光電変換することで、所定の波長成分に対応した画素信号を出力する。所定の波長成分は、非可視光と可視光とが加算された成分であり、たとえば、赤色光＋赤外光、緑色光＋赤外光、青色光＋赤外光、及び青色から赤色まで含む可視光＋赤外光の４種である。

信号処理部１０３は、撮像部１０１から出力された画素信号（各画素信号は、所定の波長成分のいずれか１つに対応しているRAWデータ）から、デモザイク処理により、所定の波長成分毎の画素信号（１画素信号は、４つの波長成分の各々に対応している画素データ）を、画像の全領域に亘って出力する。以下、各部の動作において、特に説明を要しない場合は、所定の波長成分毎の画素信号に対応する動作を説明し、その動作が画像の全領域に亘っているものとする。

可視光信号生成部１０４は、信号処理部１０３から出力された所定の波長成分毎の画素信号を対象に、マトリクス演算処理を実行することにより、各所定の波長成分の画素信号から各可視光成分の信号である可視光信号を抽出して出力する。可視光信号は、所定の波長成分から赤外光成分を減じた、たとえば、赤色光、緑色光、青色光、及び青色から赤色まで含む可視光に対応する、赤色信号、緑色信号、青色信号、及び青色から赤色まで含む可視光である白色信号である。

非可視光信号生成部１０５は、信号処理部１０３から出力された所定の波長成分毎の画素信号を対象に、マトリクス演算処理を実行することにより非可視光成分に対する信号である非可視光信号を抽出して出力する。非可視光信号は赤外光信号である。

可視光信号生成部１０４および非可視光信号生成部１０５を分かり易くするために、図示及び説明を別々にしたが、マトリクス演算処理は、たとえば、白色信号＝赤色信号＋緑色信号＋青色信号として、赤色信号、緑色信号、青色信号および赤外光信号を変数とした連立方程式を解くことに等しい。

白調整部１０６は、可視光信号生成部１０４から出力される各可視光信号に、ホワイトバランスのずれ量に応じた各利得（各可視光信号対応の利得）を乗算することによりホワイトバランス補正を行い、ホワイトバランス補正した各可視光信号を出力する。すなわち、ホワイトバランス補正は、各可視光信号の間で色に関連する信号である、赤色信号、緑色信号及び青色信号の割合を変えることである。なお、白調整部１０６は、ホワイトバランス補正した赤色信号、緑色信号及び青色信号を加算した白色信号も出力する。

画像合成部１０７は、非可視光信号生成部１０５から出力される非可視光信号と白調整部１０６から出力される可視光信号の各々とを合成した、所定の波長成分毎の合成信号を出力する。所定の波長成分の合成信号は、赤色信号＋赤外光信号に対応した赤色合成信号、緑色信号＋赤外光信号に対応した緑色合成信号、青色信号＋赤外光信号に対応した青色合成信号、及び白色信号＋赤外光信号に対応した白色合成信号である。

輝度信号生成部１０８は、画像合成部１０７が出力した各合成信号を所定の割合で加算する合成処理により生成した輝度信号を出力する。色差信号生成部１０９は、画像合成部１０７が出力した各合成信号から色に関係する合成信号である、赤色合成信号、緑色合成信号、及び青色合成信号を選択し、選択した合成信号から色差信号に変換する変換式を用いた合成処理を実行し、色差信号を出力する。

可視光量検波部１１２は、可視光信号生成部１０４が出力した可視光信号の大きさを画像領域別に（撮像した画像を複数の領域（画像領域）に分割し、分割した各々に関して）検出する処理を実行し、可視光信号の大きさに関する情報を画像領域別に出力する。可視光信号の大きさの検出処理は、各画素の可視光信号の信号レベルを、画像領域毎に加算し、画像領域毎の可視光信号の大きさとして、加算結果をそのまま、又は変換して出力する。そのまま又は変換のいずれでもよいのは、後述するように、画像領域毎に可視光信号の大きさと非可視光信号の大きさとの割合を光量の割合として用いるので、各画像領域について同じ処理（変換するのであれば、いずれの画像領域を対象にしても同様に変換する。）であればよいことによる。また、可視光信号として、赤色信号＋緑色信号＋青色信号、白色信号、および白色信号＋赤色信号＋緑色信号＋青色信号のいずれかを用いて、同じ処理により画像領域毎に可視光信号の大きさを検出すればよい。

非可視光量検波部１１３は、非可視光信号生成部１０５が出力した非可視光信号の大きさを、可視光量検波部１１２と同様の画像領域別に検出する処理を実行し、非可視光信号の大きさに関する情報を画像領域別に出力する。非可視光信号の大きさの検出処理は、各画素の非可視光信号の信号レベルを、画像を複数に分割した、可視光量検波部１１２と同様の画像領域毎に加算し、画像領域毎の非可視光信号の大きさとして、加算結果をそのまま、又は変換して出力する。そのまま又は変換のいずれでもよいのは、可視光量検波部１１２の場合と同様の理由である。

信号レベル検波部１１４は、信号処理部１０３が出力した各画素信号の信号レベルを画像領域別に積算、または画像領域別のピーク値の検出等により、撮像画像の明るさまたはコントラスト等の明るさに係る情報を画像領域別に出力する。

光源部１１６は、撮像装置が撮影対象（以下、被写体）に照射する光量を画像領域別に調節できる、非可視光の赤外光源であり、後述する制御部１１０から設定される画像領域毎の光量制御パラメータに対応した電圧を各画像領域に対応した発光部（光源）に印加することにより、制御した光量の非可視光を被写体に照射する。光源部１１６の各発光部による非可視光の照射方向および照射領域は、昨今のプロジェクションマッピング（ビデオマッピングやマッピングプロジェクションとも呼ばれる）技術を用いることにより、容易に制御される。

制御部１１０は、制御部１１０に予め設定された明るさの目標値等と、信号レベル検波部１１４が出力する明るさに係る情報に基づいて、撮像部１０１の露光制御を行う。このとき、信号レベル検波部１１４は画像領域別に明るさに係る情報を出力するので、画像全体としての明るさに係る情報に変換して用いる。撮像部１０１の露光制御は、制御部１１０が撮像部１０１に設定する露光制御パラメータを用いる。露光制御パラメータは、撮像部１０１のレンズの絞り、シャッター速度、増幅器の利得であり、撮像部１０１に入力する光量および撮像部１０１から出力する画素信号の信号レベルを制御するパラメータである。ここで、予め露光制御パラメータ、信号レベル検波部１１４の出力情報（明るさに係る情報）、及び被写体の光量の関係を制御部１１０に予め設定しておくことにより、制御部１１０は、撮像部１０１に設定した露光制御パラメータと信号レベル検波部１１４の出力情報から画像全体としての光量を算出することができる。

被写体に照射されている可視光の光量を可視光の絶対量と呼び、被写体に照射されている非可視光の光量を非可視光の絶対量と呼ぶ。制御部１１０に、可視光の絶対量に対する適切な赤外光量の情報（適切赤外光量）を予め設定しておく。赤外光は、可視光の絶対量が十分にある場合には不要である。可視光の絶対量が少ない場合に、撮像装置でノイズが少ない画像を生成するために赤外光の被写体への照射が有効であるが、赤外光量を多くすると被写体の色を再現するのが難しくなる。撮像部１０１には、可視光の絶対量に対応して、生成する画像のノイズ量と色の再現性のバランスで、実験的または経験的に視認性がよい画像が得られる赤外光量を、適切赤外光量として予め設定しておく。

なお、適切赤外光量は制御部１１０内に予め設定しても良いし、撮像装置にメモリを設け、メモリに設定された適切赤外光量の設定値を制御部１１０が読み出すことにより、適切赤外光量を得ても良い。また、可視光の絶対量と適切赤外光量の関係が、関係式で表される場合、制御部１１０はその関係式から適切赤外光量を算出する。また、可視光の絶対量をいくつかの範囲（段階）に分け、分けられた各範囲内の可視光の絶対量に対応した適切赤外光量が設定されている場合、制御部１１０は可視光の絶対量に対応した適切赤外光量を選択する。

制御部１１０は、可視光量検波部１１２が出力する画像領域別の可視光信号の大きさと、非可視光量検波部１１３が出力する画像領域別の非可視光信号の大きさに基づいて、可視光と赤外光の光量の割合（可視光比）を画像領域別に算出する。制御部１１０は、画像領域別に算出した可視光比および信号レベル検波部１１４が出力する画像領域別の明るさに係る情報から得られる被写体の画像領域別の光量の絶対量（可視光の絶対量と赤外光の絶対量の和）を用いて、可視光の絶対量と赤外光の絶対量を画像領域別に算出する。制御部１１０は、算出した画像領域別の可視光の絶対量に対応して制御部１１０に予め設定されている適切赤外光量から目標赤外光量（後述）を画像領域別に算出または選択する。制御部１１０は、画像領域の各々において、算出した可視光の絶対量に対応した適切赤外光量に、算出した赤外光の絶対量が合致するように、光量制御パラメータ（適切赤外光量と赤外光の絶対量との差分に応じた目標赤外光量の設定）により光源部１１６を制御する。赤外光の絶対量が適切赤外光量５０１より少ない画像領域には光源部１１６から照射する赤外光の光量が多くなるように、赤外光の絶対量が適切赤外光量５０１より多い画像領域には光源部１１６から照射する赤外光の光量が少なくなるように、制御部１１０は、画像領域毎の光量制御パラメータにより光源部１１６を制御する。

説明した撮像装置を用いた撮影の例は、後述する。説明したように、本実施例の撮像装置では、撮像部１０１に設定した画像領域毎の光量制御パラメータと、信号レベル検波部１１４、可視光量検波部１１２、及び非可視光量検波部１１３の画像領域毎の出力から、光源部１１６から被写体に画像領域毎に適切な光量の赤外光を照射することができ、画像領域毎の可視光量に増減が生じても、色再現性の高く視認性の良い画像を生成できる。

以上、本実施例の撮像装置について説明したが、回路構成は本実施例に限定されるものではなく、たとえば、信号レベル検波部１１４による、撮像画像の明るさ、あるいはコントラスト等の明るさに係る情報の画像領域毎の取得に替えて、制御部１１０が、可視光量検波部１１２の出力情報と非可視光量検波部１１３の出力情報を合わせたものを画像領域毎の明るさに係る情報として、露光制御および画像領域毎の可視光および非可視光の光量の絶対量の算出に用いても良い。これにより、回路規模が低減できる。また、白バランス検波部１１１は、可視光量検波部１１２により色信号ごとに検波し、各色信号の検波結果の差からホワイトバランスのずれ量を取得してもよい。これにより、回路規模が低減できる。

以下、撮像部１０１を構成する各部の一例について説明する。

図２は、撮像部１０１の一例を示す構成図である。撮像部１０１は、レンズ部２０１と絞り２０２を含む光学部２００、イメージセンサ部２０３、信号レベルを増幅する増幅部２０４、および、アナログ信号をデジタル信号に変換するＡＤ変換部２０５を有する。レンズ部２０１は、撮像レンズ、ズームレンズやフォーカスレンズを含むレンズ群であり、制御部１１０からの露光制御パラメータに従って絞り２０２を開閉することにより、光学部２００が出力する光量を調整する。

撮像部１０１への入射光は、光学部２００を通してイメージセンサ部２０３に入射する。イメージセンサ部２０３は、後述する色フィルタを介した入射光を光電変換し、イメージセンサ部２０３への入射光の光量に対応した信号を出力する。増幅部２０４は、イメージセンサ部２０３から出力された信号を増幅する。ＡＤ変換部２０５は、増幅部２０４で増幅されたアナログ信号をデジタル信号に変換する。

撮像部１０１から出力される信号のレベル（信号レベル）は、光学部２００の絞り２０２やイメージセンサ部２０３の露光時間、および増幅部２０４の利得の調整により制御される。明るさが同じ被写体であり、光学部２００の絞り２０２やイメージセンサ部２０３の露光時間、増幅部２０４の利得を同じ値に設定すれば、撮像部１０１から出力される信号レベルは等しくなる。したがって、光学部２００の絞り２０２やイメージセンサ部２０３の露光時間、増幅部２０４の利得と信号レベルから被写体の画像全体としての光量を求めることができる。

夜間等の暗い被写体を撮像する監視カメラ用途における動画像ではイメージセンサ部２０３の露光時間が動画像の１フレームの時間（フレームレートの逆数）より短いため、光学部２００の絞り２０２を開き、増幅部２０４の利得を大きくして撮影する場合が多い。さらに、非可視光である赤外光を使って、夜間等の暗い被写体においても撮像装置の出力画像の視認性を向上させている。

図３は、赤外光を利用するイメージセンサ部２０３の色フィルタ配列の一例である。ＲＩＲ３０１は赤色光と赤外光に感度を持つ色フィルタ、ＧＩＲ３０２は緑色光と赤外光に感度を持つ色フィルタ、ＢＩＲ３０３は青色光と赤外光に感度を持つ色フィルタＢＩＲ、ＷＩＲ３０４は青色から赤色光までの可視光と赤外光に感度を持つ色フィルタである。各々の色フィルタに赤外光の感度を持たせることにより、夜間等の暗い被写体においても撮像部１０１から出力される信号レベルを高くすることができる。

図４は、図３で説明した色フィルタの分光特性の一例である。色フィルタＲＩＲ３０１が配置されたＲＩＲ画素は可視光の赤の波長と赤外光の波長の各々に感度を持つ。色フィルタＧＩＲ３０２が配置されたＧＩＲ画素は可視光の緑の波長と赤外光の波長の各々に感度を持つ。色フィルタＢＩＲ３０３が配置されたＢＩＲ画素は可視光の青の付近と赤外光の波長の各々に感度を持つ。色フィルタＷＩＲ３０４が配置されたＷＩＲ画素は可視光の赤、緑および青の波長と赤外光の波長の各々に感度を持つ。

信号処理部１０３は、異なる色フィルタで配列されたイメージセンサ部２０３の出力画素信号をＡＤ変換した撮像部１０１の出力（所定の波長成分のいずれか１つに対応しているRAWデータ）に対して，補間処理などによってデモザイク処理を実行する。あるＲＩＲ画素信号の画素位置にＧＩＲ画素信号、ＢＩＲ画素信号およびＷＩＲ画素信号は存在しないため、信号処理部１０３は、周囲の存在しない各色の画素信号から補間処理によって各色の補間信号を生成し、補間信号により補間した画素信号を出力する。

図５は、光源部１１６の光量制御の一例である。横軸は被写体に照射されている可視光量（可視光の光量）、縦軸は被写体に照射されている赤外光量（非可視光の光量）である。適切赤外光量５０１は、可視光量に対して出力画像の色再現性が良く、視認性が最もよくなる赤外光量である。環境赤外光量５０２は、光源部１１６から光を照射していないときに被写体に照射されている赤外光量である。目標光量５０３は、光源部１１６から被写体に照射する赤外光の目標の光量であり、適切赤外光量５０１から環境赤外光量５０２を減じた光量である。

制御部１１０は、前述のように、画像領域別に算出した可視光比および信号レベル検波部１１４が出力する画像領域別の明るさに係る情報から得られる被写体の画像領域別の光量の絶対量（可視光の絶対量と赤外光の絶対量の和）を用いて、可視光の絶対量と赤外光の絶対量を画像領域別に算出する。制御部１１０は、各画像領域において、算出した可視光の絶対量に対応した適切赤外光量５０１に、算出した赤外光の絶対量が合致するように光源部１１６を制御する。赤外光の絶対量が適切赤外光量５０１より少ない画像領域には光源部１１６から照射する赤外光の光量が多くなるように、赤外光の絶対量が適切赤外光量５０１より多い画像領域には光源部１１６から照射する赤外光の光量が少なくなるように、制御部１１０は、画像領域毎の光量制御パラメータにより光源部１１６を制御する。

なお、図５では可視光量と適切赤外光量５０１の関係を線形で示しているが、可視光量と適切赤外光量５０１の関係は線形に限ったものではなく、撮像素子（イメージセンサ部２０３）の特性により非線形になる場合がある。

前述のように撮像部１０１の出力の画素信号（各画素信号は、所定の波長成分のいずれか１つに対応しているRAWデータ）はデジタル信号であるので、信号処理部１０３以降の処理をプロセッサにより実行するのに好適である。したがって、撮像装置は、撮像部１０１、光源部１１６、プロセッサ及びメモリを含んで構成できる。プロセッサは、図１の信号処理部１０３〜信号レベル検波部１１４の各部の処理を前述したように実行し、メモリに、露光制御パラメータ、図５に示した可視光量、適切赤外光量５０１、環境赤外光量５０２及び目標光量５０３の関係、画像領域毎の光量制御パラメータなどを格納する。ただし、プロセッサは、メモリに格納した画像領域毎の光量制御パラメータを光源部１１６に出力し、光源部１１６は出力された画像領域毎の光量制御パラメータに対応した電圧を各画像領域に対応した発光部に印加する。

以上のように、撮像装置は、光源部１１６から照射する赤外光の光量を、被写体に照射されている可視光の光量に対して、画像領域毎に適切に制御することで、画像全体として色再現性が良く、視認性の良い画像を得ることができる。説明した撮像装置に対する理解を深めるために、以下に撮像装置を用いた撮影の例を説明する。

図６は、撮像装置を用いて撮影する撮影シーンの一例である。光源部１１６は、撮影方向に向かって左側に対して非可視光を照射する光源部Ａと、撮影方向に向かって右側に対して非可視光を照射する光源部Ｂを有している。撮影方向の被写体には周辺光が照射されており、人物Ａは物陰にいるために周辺光が当たらず、人物Ｂにのみ周辺光が照射されている撮影条件である。なお、光源部１１６が有する光源による非可視光の照射方向を、制御部１１０が制御すれば、光源の数を少なくできる。

図７は、図６の撮影条件で撮像装置により撮影された画像である。被写体として人物Ａと人物Ｂが撮影され、人物Ａを含む画像領域Ａと人物Ｂを含む画像領域Ｂとに画像が領域分割されている。画像領域Ａは、光源部Ａにより非可視光が照射される画像領域であり、画像領域Ｂは、光源部Ｂにより非可視光が照射される画像領域である。

図８は、光源部Ａにより非可視光が被写体の人物Ａに照射されている撮影シーンである。図６の撮影条件により、画像領域Ａの非可視光の光量が目標光量より少ないならば、制御部１１０は図８に示すように光源Ａが照射する非可視光の光量を多くする。

図９は、光源部Ａにより非可視光が被写体の人物Ａに照射されて撮影された画像である。このように、画像領域Ａの被写体に照射される非可視光量が適切な画像を取得することができる。

以上の例示から分かるように、画像を複数の領域に分割した画像領域は、光源部１１６による被写体への、例示の光源部Ａおよび光源部Ｂのように、独立した非可視光の照射領域に対応する。ただし、照射領域を円形に、画像領域を矩形に例示しているように、照射領域と画像領域とは一致する必要はない。

また、撮像装置の各部の動作における画像領域は、撮像方向の明るさに応じて予め設定した、光源部１１６による照射領域に対応するように、画像領域に分割し、分割した画像領域を画素位置として制御部１１０に予め記憶しておき、ある画素信号を処理するときに、その画素信号がどの画像領域の画素位置にあるかにより把握される。画像領域が矩形であれば、４角の画素位置の座標を制御部１１０に予め記憶しておく。

以上のように、画像内の被写体毎に対応する画像領域毎に、照射する非可視光の光量を制御することで、画像内の画像領域毎に可視光量の増減が生じても、撮像装置は、色再現性が高く、視認性の良い画像を生成する。

図１０は本実施例の撮像装置の構成例である。本実施例の撮像装置は、実施例１の撮像装置に、新たに非可視光調整部７０１を含み、非可視光信号生成部１０５および画像合成部１０７の動作が実施例１と異なる。非可視光調整部７０１は、非可視光信号生成部１０５から出力された画像領域毎の非可視光信号に、制御部１１０で指定された画像領域毎の利得を乗算した画像領域毎の非可視光信号を、画像合成部１０７へ出力する。

画像合成部１０７は、画像領域毎の非可視光信号と白調整部１０６から出力される可視光信号の各々とを合成した、所定の波長成分毎の合成信号を出力する。画像合成部１０７は、実施例１では非可視光信号生成部１０５から出力される非可視光信号を画像の合成に用いるが、本実施例では、非可視光調整部７０１から出力される画像領域毎の非可視光信号を用い、画像領域毎に非可視光信号の信号レベルが制御された、所定の波長成分毎の合成信号を出力する。

以上により、非可視光信号の信号レベルが画像領域毎に制御されることにより、画像領域毎の非可視光の絶対量が等価的に制御されることになり、画像内の画像領域毎に可視光量の増減が生じても、撮像装置は、色再現性が高く、視認性の良い画像を生成する。

図１１は、光源部１１６および非可視光調整部７０１の、制御部１１０による制御方法の一例である。図１１の（１）は、図５と同じものには同じ符号を付している。閾値１は、被写体に照射されている可視光量に対して視認性の良い画像を生成するのに適切な赤外光量である適切赤外光量５０１と光源部１１６の赤外光源を点灯しなくても被写体に照射されている環境赤外光量５０２とが等しい場合の可視光量であり、被写体に照射されている可視光量が閾値１より多ければ、光源部１１６からの赤外光の照射は不要であり、かつ、可視光量の増加に応じて、環境赤外光量５０２を減らした方が、色再現性が良いことを示している。閾値２は、色再現性が良く、視認性の良い画像を生成するための可視光量として十分であり、赤外光が不要になる可視光量を示している。撮像装置が出力する画像を色再現性が良く、視認性の良いものにするには、閾値１から非可視光の信号レベルを下げていき、閾値２で信号レベルを最小にする制御をする。

図１１の（２）は、制御部１１０が非可視光調整部７０１に設定する利得８０１の例を示している。制御部１１０は、可視光量が少ない画像領域では非可視光調整部７０１の利得を１倍とし、画像合成部１０７は非可視光信号生成部１０５から出力される、その画像領域の非可視光の信号レベルを使用する。非可視光調整部７０１の利得が１の画像領域では、その画像領域の被写体に照射する赤外光量を、光源部１１６からその画像領域の被写体に照射する非可視光の光量を増減することにより、非可視光信号生成部１０５から出力される、その画像領域の非可視光信号レベルを制御する。

制御部１１０は、可視光量が閾値１を超える画像領域は、可視光量の増加に応じて非可視光調整部７０１に出力する利得を下げていき、閾値２で最小値（たとえば、0.01）とする。制御部１１０では、非可視光調整部７０１で非可視光信号レベルを画像領域毎に制御することにより、光源部１１６からの光量が必要な可視光量から赤外光量が不要な可視光量まで、画像合成部１０７に入力する可視光成分に対する、画像領域毎の非可視光成分の割合を制御でき、撮像装置から出力される画像の色再現性を向上させることができる。

以上説明した撮像装置により、非可視光調整部７０１を設けることにより、画像領域毎に、赤外光の光源が必要な低照度から赤外光が不要な高照度の被写体まで視認性の良い画像を得ることができる。

なお、図１１の（２）に示す閾値１および閾値２は固定値ではなく、撮影環境によって異なる。また、可視光量と赤外光利得の関係は１例であり、撮像部１０１の特性や撮像環境によって異なる場合があり、図示した関係に限定されるものではない。

本実施例の撮像装置は、実施例１で説明したように、プロセッサにより、図１０の信号処理部１０３〜信号レベル検波部１１４および非可視光調整部７０１の各部の処理を実行してもよい。

以上説明したように、被写体に照射されている非可視光量が、必要な非可視光量よりも多い画像領域では、非可視光調整部７０１で赤外光量の信号レベルを小さくすることにより、色再現性の良い画像を得ることができる。

以上では、実施例１と同様に、色差信号を生成する色差信号生成部１０９を、画像合成部１０７の後に配置した例で説明しているが、色差信号生成部１０９では色差信号生成時に非可視光信号成分が減算されてなくなるので、白調整部１０６の出力信号を用いるように配置しても同様の色差信号が得られる。

本実施例は、画像の領域によって可視光量や非可視光量に差異がある場合の光量制御の例である。本実施例でも、非可視光を赤外光として説明する。

また、説明を分かり易くするために、実施例１、２の画像領域ではなく、本実施例では画像として説明するが、画像を画像領域と読み替えることにより、本実施例が、画像を複数の分割した画像領域においても同様であることが理解される。

図１２は、被写体を撮像装置で撮像した画像の一例である。画像１０００は、被写体１００１および被写体１００２を撮像し、被写体１００１は撮像装置に近く、被写体１００２は撮像装置から遠い例を示している。被写体１００１の近くに可視光源があり、被写体１００２の近くには可視光源がない場合、被写体１００１の可視光量は被写体１００２の可視光量より多くなる。このように、画像１０００内の被写体によって、可視光量が異なることから、適切赤外光量も異なることになる。

また、光源部１１６により被写体に照射される赤外光の光量は、光源部１１６が照射する赤外光の光量と、光源部１１６と被写体との距離で決定されるので、同じ光源部１１６か撮像範囲に同じ光量の赤外光を照射しても、被写体１００１が受ける赤外光量と被写体１００２が受ける赤外光量は異なる。そこで、撮像装置が撮像する画面内の各被写体を視認性の良い画像として出力するために、画素毎に非可視光調整部７０１の利得を制御する。以下、制御方法について説明する。

本実施例の撮像装置は、実施例２の撮像装置（図１０）との比較で、可視光量検波部１１２が出力する可視光信号の大きさ（信号レベル）と、非可視光量検波部１１３が出力する非可視光信号の大きさ（信号レベル）を入力し、動作する制御部１１０が実施例２と異なる。したがって、本実施例の撮像装置の構成例として、実施例２と同様の図１０を用いて説明する。

制御部１１０は、光源部１１６が撮像範囲に向けて照射する赤外光の光量（実施例１で説明した目標光量５０３）を決定する。目標光量５０３は、実施例１で説明したように、適切赤外光量５０１から決定される。適切赤外光量５０１は、信号レベル検波部１１４が出力する明るさに係る情報から得られる画像の光量の絶対量、並びに、可視光量検波部１１２が出力する可視光信号の大きさ、および非可視光量検波部１１３が出力する非可視光信号の大きさから得られる可視光比に基づいて決定される。

目標光量５０３は、実施例１では、画像領域毎に決定されるが、本実施例では、局所的に可視光量が少ない領域に対応するために、画像を複数の小領域に分割し、小領域毎に目標光量５０３を決定する。実施例１の画像領域が、局所的に可視光量が少ない領域を判別するために十分であれば小領域を画像領域としてもよいが、一般に小領域は画像領域より小さく設定する。小領域は、光源部１１６を制御するためではなく、撮像装置内の各部の処理のために設定する領域であるので、任意に小さくできる。

したがって、本実施例では、可視光量検波部１１２、非可視光量検波部１１３、および信号レベル検波部１１４の各出力は、小領域毎に制御部１１０に入力される。制御部１１０は、小領域毎の可視光の絶対量を求め、可視光の絶対量が最も少ない小領域の可視光の絶対量を用いて、適切赤外光量５０１および目標光量５０３を決定し、光源部１１６を制御する。

制御部１１０は、可視光信号生成部１０４からの画素毎の可視光信号と、非可視光信号生成部１０５からの画素毎の非可視光信号とから、画素毎の適切赤外光量５０１を求め、さらに非可視光調整部７０１の画素毎の利得を決定する。

制御部１１０による、非可視光調整部７０１の画素毎の利得の決定方法の例を説明する。図１２の被写体１００２が最も可視光量が少ない小領域にあるとする。図１３は、被写体１００２の可視光量と赤外光量との関係を示す例である。図１３の横軸は被写体に照射されている可視光量（可視光信号生成部１０４からの画素毎の可視光信号の信号レベル）を表し、縦軸は被写体に照射されている赤外光量（非可視光信号生成部１０５からの画素毎の非可視光信号の信号レベル）を表し、可視光量に対する適切赤外光量５０１を表す。図１３において、被写体１００１の可視光量１１０１、被写体１００２の可視光量１１０２、被写体１００１の赤外光量１１１１、被写体１００２の赤外光量１１１２、被写体１００１の可視光の光量に対して適切赤外光量１１１３、被写体１００２の可視光の光量に対して適切赤外光１１１４示している。ここでの赤外光量は、光源部１１６からの照射する赤外光と環境赤外光との光量が加算された光量である。

図１３では、被写体１００２の可視光量１１０２に対する赤外光量１１１２が適切赤外光量１１１４であるが、被写体１００１では適切赤外光量１１１３より被写体１００１に照射されている赤外光量１１１１が多いことを示している。被写体１００２が最も可視光量が少ない小領域にあるとして、光源部１１６を制御しているので、被写体１００２は適切赤外光量１１１４が照射されている。したがって、被写体１００２を含む小領域以外の小領域では、照射されている赤外光量は適切赤外光量１１１３より多くなっている。

図１４は、非可視光調整部７０１へ設定する画素毎の利得の制御曲線である。図１４は、横軸が照射されている赤外光量と適切赤外光量１１１３との差を表し、縦軸が非可視光調整部７０１へ設定する画素毎の利得を表し、横軸の値に対する縦軸の値の制御曲線１３０１を表している。ここで、赤外光量に対して非可視光調整部７０１で非可視光信号レベルを調整することなく出力する場合の利得を１としている。

制御部１１０は、被写体に照射されている赤外光量と適切赤外光量の差分がない場合では利得を１とし、被写体に照射されている赤外光量と適切赤外光量との差が大きくなるにつれ利得を制御曲線１３０１に沿って曲線的に下げていく。なお、図１４ではノイズの増幅を考慮し、適切赤外光量のほうが被写体に照射されている赤外光量よりも大きい場合は利得が１になるように制御しているが、不足分を補うように利得を大きくしてもよい。

非可視光調整部７０１は、制御部１１０によって決定された画素毎の利得を、非可視光信号生成部１０５からの画素毎の非可視光信号の信号レベルに乗算して、乗算結果としての非可視光信号の信号レベルを画像合成部１０７に出力する。

以上説明したように、制御部１１０は、光源部１１６の光量を最も可視光の光量が少ない小領域の光量を補うように制御し、可視光の画素毎の信号レベルに対応する適切赤外光量と非可視光の画素毎の信号レベルとの差に基づいて、制御曲線に従って画素毎の利得を決定する。さらに、非可視光調整部７０１が、画素毎の利得を用いて、画像合成部１０７へ出力する非可視光の画素毎の信号レベルを制御する。以上のような制御により、撮像装置で撮像した映像の画面内で可視光量にばらつきがある場合にも、画像合成部１０７に入力する非可視光信号レベルを適切に制御でき、色再現性がよい画像を生成できる。

なお、本実施例では画素単位での制御について説明したが、画素間で急激に利得が変化することにより擬似輪郭等の視認性の低下がある場合は、例えば、ローバスフィルタを設け、画素間の利得の変化を滑らかにしてもよい。

図１５は、本実施例の撮像装置の構成例である。本実施例の撮像装置は、実施例１（図１）の構成の光源部１１６の前面（照射方向）に、フィルタ１４０１を有する。フィルタ１４０１は、画像を複数に分割した分割領域毎に、光源部１１６が照射する光の透過率を調整できる液晶パネル等により構成されており、光の透過率の変化により各分割領域に対応する被写体に照射される光量を制御する。

光源部１１６は、実施例１と同様に、少なくともオン・オフ制御できる赤外光源である。ただし、本実施例では、フィルタ１４０１の透過率を分割領域毎に調整するので、実施例１で例示したように分割領域に対応した光源を設ける必要はない。

図１６は、光源部１１６およびフィルタ１４０１の制御例である。図１６の（１）は、図５と同様である。

図１６の（２）の横軸は分割領域に対応した被写体に照射されている可視光量を表し、縦軸はフィルタ１４０１の透過率を表し、被写体に照射されている可視光量に応じて、制御部１１０が制御する透過率１５０１を表す。可視光量が少ないときは、フィルタ１４０１の透過率を大きくし、光源部１１６の赤外光の多くを透過させる。可視光量が大きくなり、必要な赤外光少なくなるにつれ、フィルタ１４０１の透過率を下げていき、画像合成部１０７に入力する分割領域毎の赤外光の成分を少なくする。

以上の制御により、光源から被写体に照射される赤外光量を分割領域毎に調節することができ、実施例１と同様に、色再現性が良く、視認性の良い画像が得られる。また、第２および第３の実施例のように非可視光調整部７０１を設けることにより、それぞれ同様な効果を得ることができる。

なお、実施例１では分割領域に対応して物理的大きさに制約のある光源を設けるが、本実施例で用いるフィルタは小型で物理的制約が小さいので、分割領域の数を大きくでき、きめ細かい制御により、色再現性が良く、視認性の良い画像が得られる。

図１７は、本実施例の撮像装置の構成例である。本実施例の撮像装置は、実施例１（図１）の構成の、非可視光生成部１０５と画像合成部１０７との間に非可視光調整部７０１を設け、白調整部１０６と画像合成部１０７との間に可視光調整部７０２を有する。実施例２、３と比較すると可視光調整部７０２を追加したことになる。撮像装置は、実施例１と同様に画像領域対応に光源を制御し、新たに非可視光調整部７０１および可視光調整部７０２により非可視光および可視光の信号レベルを画像領域毎に調整する。

非可視光調整部７０１は、実施例２と同様に、非可視光信号生成部１０５から出力された画像領域毎の非可視光信号に、制御部１１０により指定された画像領域毎の利得を乗算した画像領域毎の非可視光信号を、画像合成部１０７へ出力する。また、可視光調整部７０２は、可視光信号生成部１０４から出力された画像領域毎の可視光信号に、制御部１１０により指定された画像領域毎の利得を乗算した画像領域毎の可視光信号を、画像合成部１０７へ出力する。

制御部１１６は、実施例１と同様に、予め可視光の絶対量に対する適切赤外光量の関係に基づいて、光源部１１６から照射する非可視光（赤外光）の光量を画像領域毎に制御する。本実施例の制御部１１６は、さらに、画像領域毎の非可視光量と目標非可視光量との関係に基づいて、非可視光調整部７０１および可視光調整部７０２の各々が用いる利得を設定する。非可視光調整部７０１の動作は実施例２と同様であり、可視光調整部７０２の動作は、白調整部１０６が出力する可視光信号を対象にすること以外は、非可視光調整部７０１の動作と同様である。

図１８は、撮像装置を用いて撮影する撮影シーンの一例である。光源部１１６は、実施例１の撮影シーンの例示（図６）と同様に、撮影方向に向かって左側に対して非可視光を照射する光源部Ａと、撮影方向に向かって右側に対して非可視光を照射する光源部Ｂを有している。撮影方向の被写体には周辺光が照射されており、人物Ａは物陰にいるために周辺光が当たらず、人物Ｂ、人物Ｃおよび人物Ｄに周辺光が照射されている撮影条件である。

図１９は、図１８の撮影条件で撮像装置により撮影された画像である。被写体として人物Ａ〜Ｄが撮影され、各人物を含む画像領域Ａ〜Ｄに画像が領域分割されている。画像領域ＡおよびＣは、光源部Ａにより非可視光が照射される画像領域であり、画像領域ＢおよびＤは、光源部Ｂにより非可視光が照射される画像領域である。したがって、本実施例の画像領域は、実施例１の画像領域をさらに分割した領域である。

図２０は、光源部Ａにより非可視光が被写体の人物Ａに照射されている撮影シーンである。図１８の撮影条件により、画像領域Ａの非可視光の光量が目標光量より少ないとするならば、制御部１１０は図２０に示すように光源Ａが照射する非可視光の光量を多くする。

図２１は、光源部Ａにより非可視光が被写体の人物Ａに照射されて撮影された画像である。このように、画像領域Ａの被写体に照射される非可視光量が適切な画像を取得することができる。

一方、光源Ａの照射光量を多くしたために、画像領域Ｃの非可視光量が目標非可視光量より多くなる。このような場合、制御部１１０は、画像領域Ｃに対応する、非可視光調整部７０１利得及び可視光調整部７０２の利得の少なくとも一方を低くし、画像合成部１０７に入力する画像領域Ｃの信号レベル（非可視光の信号レベルと可視光の信号レベルとの和）が大きくならないように制御する。

また図１９の画像において、画像領域Ａの非可視光量が目標非可視光量より少ない状態であるとするならば、制御部１１０は、図２１に示すように光源Ａの照射光量を多くし、且つ露光時間が短くなるよう撮像部１０１に露光制御パラメータを設定する。この手順により、さらに画像領域Ａ、Ｂ、Ｄに対応する非可視光調整部７０１の利得及び可視光調整部７０２の利得を高くして増幅させることで、信号レベルが低くならないよう制御する。

以上により、撮影画像内に存在する被写体毎に個別に非可視光の照射光量を適正に制御し、さらに光源の制御に対応する画像領域よりも細かい画像領域毎に信号レベルを調整する利得を制御することで、撮像装置は、撮影画像内の画像領域毎に可視光量の増減が生じた場合であっても、色再現性が高く視認性の良い画像を生成する。

なお、非可視光調整部７０１及び可視光調整部７０２に設定する利得は、画像領域毎に設定するものとしたが、画像領域間の利得差が小さくなるよう画像領域間の所定の範囲で徐々に変化させるように構成してもよい。この構成であれば、画像領域間の利得差を小さくすることができるので、エッジ発生などの弊害を抑制できる。

本実施例の撮像装置は、被写体に照射される光源の非可視光の光量が目標光量に満たない画像領域に存在する被写体に対して非可視光を照射するように光源を制御し、さらに、非可視光および可視光の信号レベルを画像領域別に変更し、且つ非可視光および可視光のノイズ除去の強度を画像領域別に制御する。

図２２は、本実施例の構成例である。本実施例の撮像装置は、実施例５（図１７）の構成の、非可視光調整部７０１と画像合成部１０７との間に非可視光ノイズ除去部２７０１を設け、可視光調整部７０２と画像合成部１０７との間に可視光ノイズ除去部２７０２を設けている。

非可視光ノイズ除去部２７０１は、非可視光信号に対するノイズ除去処理の強度を画像領域別に変更する。すなわち、非可視光ノイズ除去部２７０１は、非可視光信号に対するノイズ除去を強くするか、ノイズ除去を弱くしつつ解像度を維持するかを、画像領域別に変更できる。

可視光ノイズ除去部２７０２は、可視光信号に対するノイズ除去処理の強度を画像領域別に変更する。すなわち、可視光ノイズ除去部２７０２は、可視光信号に対するノイズ除去を強くするか、ノイズ除去を弱くしつつ解像度を維持するかを、画像領域別に変更できる。

可視光ノイズ除去部２７０２及び非可視光ノイズ除去部２７０１のノイズ除去方法は、画像に重畳されるノイズを除去する方法であればよい。たとえば、移動平均フィルタやメディアンフィルタなどの空間フィルタを適用する方法、またはフレーム間画像の積算によるフレーム間フィルタを適用する方法である。

制御部１１０は、実施例１と同様に、予め可視光の絶対量に対する適切赤外光量の関係に基づいて、光源部１１６から照射する非可視光（赤外光）の光量を画像領域毎に制御する。また制御部１１０は、実施例５と同様に、画像領域別に可視光信号と非可視光信号の信号利得を制御する。

本実施例では、制御部１１０はさらに、画像領域毎に、非可視光量の目標非可視光量との大小関係に応じて、非可視光ノイズ除去部２７０１のノイズ除去強度を画像領域毎に制御し、可視光ノイズ除去部２７０２のノイズ除去強度を画像領域毎に制御する。

以上の構成によれば、光源部１１６から照射される光量を多くし、且つ非可視光調整部７０１及び可視光調整部７０２により信号を増幅した画像領域であってもなお、非可視光量が目標非可視光量より少なかった場合に、極めて暗い領域である（＝ノイズが目立つ画像領域である）としてノイズ除去強度を強くすることができる。一方、それ以外の画像領域に対しては、ノイズ除去強度を弱くすることで、解像度の低下などの弊害を抑制することが可能となる。

また、可視光信号及び非可視光信号の各々について個別にノイズ除去を行う構成とすることができ、可視光及び非可視光の比率に応じたノイズ除去強度の変更が可能となる。

なお、非可視光ノイズ除去部２７０１及び可視光ノイズ除去部２７０２は、ノイズ除去強度を画像領域別に設定するものとしたが、画像領域間のノイズ除去強度の差が小さくなるよう、画像領域間の所定の範囲で徐々に変化させるように構成してもよい。この構成であれば、画像領域間のノイズ除去強度差を小さくすることができ、偽エッジ発生などの弊害を抑制することができる。

説明した実施形態の撮像装置によれば、画像内の少なくとも所望の領域の色再現性が良くなる。

また、部分的に照明が照射された被写体を撮影する場合、または自発光する被写体が撮影画像内に部分的に存在するような状況で撮影する場合，撮像装置は好適な画質の画像を出力できる。

さらに、撮像装置にノイズ除去部を設けることにより、撮像装置は、画像内の少なくとも所望の領域の色再現性が良く、信号対雑音比が大きい画像を出力できる。

１０１・・・撮像部、１０３・・・信号処理部、１０４・・・可視光信号生成部、１０５・・・非可視光信号生成部、１０６・・・白調整部、１０７・・・画像合成部、１０８・・・輝度信号生成部、１０９・・・色差信号生成部、１１０・・・制御部、１１２・・・可視光量検波部、１１３・・・非可視光量検波部、１１４・・・信号レベル検波部、１１６・・・光源部、２０１・・・レンズ部、２０２・・・絞り、２０３・・・イメージセンサ部、２０４・・・増幅部、２０５・・・ＡＤ変換部、７０１・・・非可視光調整部、１４０１・・・フィルタ、７０２・・・可視光調整部、２７０１・・・非可視光ノイズ除去部、２７０２・・・可視光信号ノイズ除去部。

Claims (7)

1. 非可視光と可視光とに感度を有し、被写体の画像を撮像して画像信号を生成する撮像部、
   前記画像を複数の画像領域に分割した前記画像領域の、前記画像信号の前記非可視光の光量を検出する非可視光量検波部、
   前記被写体に前記非可視光を照射する光源部、
   前記光源部の前記非可視光の照射方向に配置され、前記非可視光の透過率を調整するフィルタ、および
   前記非可視光量検波部が検出した前記非可視光の光量が所定の光量に満たない前記画像領域にある前記被写体に前記非可視光を照射するように前記光源部を制御する制御部を有し、
   前記制御部は、
   前記画像領域の、前記所定の光量と前記非可視光量検波部が検出した前記非可視光の光量との差分に応じて、前記光源部が照射する前記非可視光の光量を制御するとともに、
   前記光源部が照射する前記非可視光の光量を、前記フィルタの前記透過率を調整することによって制御することを特徴とする撮像装置。
2. 非可視光と可視光とに感度を有し、被写体の画像を撮像して画像信号を生成する撮像部、
   前記画像を複数の画像領域に分割した前記画像領域の、前記画像信号の前記非可視光の光量を検出する非可視光量検波部、
   前記被写体に前記非可視光を照射する光源部、
   前記撮像部からの前記画像信号から、前記画像領域の前記非可視光の信号を生成する非可視光信号生成部、
   前記非可視光信号生成部が生成した前記非可視光の信号に、決定された第１の利得を乗じて、前記非可視光の信号を調整する非可視光調整部、および
   前記非可視光量検波部が検出した前記非可視光の光量が所定の光量に満たない前記画像領域にある前記被写体に前記非可視光を照射するように前記光源部を制御する制御部を有し、
   前記制御部は、前記画像領域の、前記所定の光量と前記非可視光量検波部が検出した光量との差分に応じて、前記第１の利得を決定することを特徴とする撮像装置。
3. 前記撮像部からの前記画像信号から、前記画像領域の前記可視光の信号を生成する可視光信号生成部、および
   前記可視光信号生成部が生成した前記可視光の信号に、決定された第２の利得を乗じて、前記可視光の信号を調整する可視光調整部をさらに有し、
   前記制御部は、前記画像領域の、前記光源部からの照射による前記非可視光の前記所定の光量からの増分に応じて、前記第１及び前記第２の利得の少なくとも一方を調整することを特徴とする請求項２に記載の撮像装置。
4. 前記非可視光調整部が調整した、前記画像領域の前記非可視光の信号から重畳する非可視光ノイズを第１のノイズ除去強度で除去する非可視光ノイズ除去部、
   前記可視光調整部が調整した、前記画像領域の前記可視光の信号から重畳する可視光ノイズを第２のノイズ除去強度で除去する可視光ノイズ除去部を有し、
   前記制御部は、前記画像領域の、前記所定の光量と前記非可視光量検波部が検出した光量との差分に応じて、前記第１及び前記第２のノイズ除去強度を決定することを特徴とする請求項３に記載の撮像装置。
5. 非可視光と可視光とに感度を有し、被写体の画像を撮像して画像信号を生成する撮像部、前記被写体に前記非可視光を照射する光源部、および前記光源部の前記非可視光の照射方向に、前記非可視光の透過率を調整するフィルタを有する撮像装置による撮像方法であって、前記撮像装置は、
   前記画像を複数の画像領域に分割した前記画像領域の、前記画像信号の前記非可視光の光量を検出し、
   検出した前記非可視光の光量が所定の光量に満たない前記画像領域にある前記被写体に前記非可視光を照射するように前記光源部を制御し、
   前記画像領域の、前記所定の光量と検出した前記非可視光の光量との差分に応じて、前記光源部が照射する前記非可視光の光量を制御するとともに、
   前記光源部が照射する前記非可視光の光量を、前記フィルタの前記透過率を調整することによって制御することを特徴とする撮像方法。
6. 非可視光と可視光とに感度を有し、被写体の画像を撮像して画像信号を生成する撮像部、および前記被写体に前記非可視光を照射する光源部を有する撮像装置による撮像方法であって、前記撮像装置は、
   前記画像を複数の画像領域に分割した前記画像領域の、前記画像信号の前記非可視光の光量を検出し、
   検出した前記非可視光の光量が所定の光量に満たない前記画像領域にある前記被写体に前記非可視光を照射するように前記光源部を制御し、
   前記画像領域の、前記所定の光量と検出した前記非可視光の光量との差分に応じて、第１の利得を決定し、
   前記撮像部からの前記画像信号から、前記画像領域の前記非可視光の信号を生成し、
   生成した前記非可視光の信号に、前記第１の利得を乗じて、前記非可視光の信号を調整することを特徴とする撮像方法。
7. 前記撮像装置は、
   前記撮像部からの前記画像信号から、前記画像領域の前記可視光の信号を生成し、
   生成した前記可視光の信号に、決定された第２の利得を乗じて、前記可視光の信号を調整するものであって、
   前記画像領域の、前記光源部からの照射による前記非可視光の前記所定の光量からの増分に応じて、前記第１及び前記第２の利得の少なくとも一方を調整することを特徴とする請求項６に記載の撮像方法。

Images