JP2020048095A - 撮像装置及び制御方法 - Google Patents

Abstract

【課題】撮像装置に関するユーザーの設定から、ユーザーの意図をくみ取って、それに応じた画像を取得する撮像装置を提供する。【解決手段】撮像装置１００において、可視光に感度を有し輝度情報と色情報を含む第１の画像信号１０７を出力する第１の撮像素子１０３と、赤外光に感度を有し輝度情報を含む第２の画像信号１０８を出力する第２の撮像素子１０４と、第１の撮像素子から出力された第１の画像信号と、第２の撮像素子から出力された第２の画像信号を合成し、第３の画像信号を生成する合成処理部１０５と、第３の画像信号の明るさ、コントラスト、色のいずれかに関する撮影パラメータを設定する撮影パラメータ設定手段と、を有する。合成処理手段は、撮影パラメータ設定手段によって第３の画像信号の明るさ、コントラスト、色の少なくとも一つに関するパラメータが変更された場合に、第１の画像信号と第２の画像信号の合成割合を変更する。【選択図】図１

Description

本発明は撮像装置及びその制御方法に関するものである。

監視用途などの撮像装置においては、夜間などの低照度時にも鮮明な被写体像を取得することが要求される。低照度時にも鮮明な被写体像を取得できる撮像装置として、可視光に感度を有する撮像素子に加えて、赤外光に感度を有する撮像素子を備え、これら二つの撮像素子で取得した画像信号を合成して表示する撮像装置が提案されている（例えば特許文献１）

特開２０１３−２４７４９２号公報

特許文献１では、撮影環境に応じて、自動的に合成処理時の合成パラメータを決定している。しかしながら、ユーザーの意図によっては、必ずしもユーザーが所望する画像が取得できない場合がある。

そこで、本発明はユーザーによる各種パラメータ設定に基づき、ユーザーの意図を反映した最適な画像を取得することができるユーザーフレンドリーな撮像装置を得ることを目的とする。

撮像装置であって、可視光に感度を有し輝度情報と色情報を含む第１の画像信号を出力する第１の撮像素子と、
赤外光に感度を有し輝度情報を含む第２の画像信号を出力する第２の撮像素子と、
前記第１の撮像素子から出力された前記第１の画像信号と、第２の撮像素子から出力された第２の画像信号を合成し、第３の画像信号を生成する合成処理手段と、
前記第３の画像の明るさ、コントラスト、色のいずれかに関する撮影パラメータを設定する撮影パラメータ設定手段と、を有し、
前記合成処理手段は、前記撮影パラメータ設定手段によって前記第３の画像信号の明るさ、コントラスト、色の少なくとも一つに関するパラメータが変更された場合に、前記第１の画像信号と前記第２の画像信号の合成割合を変更することを特徴とする。

本発明によれば、ユーザーによる各種パラメータ設定に基づき、ユーザーの意図を反映した最適な画像を取得することができるユーザーフレンドリーな撮像装置を得ることができる。

実施例１の撮像装置の構成図。 波長選択プリズムのスペクトル分布図。 実施例１における動作を示すフローチャート。 実施例１の撮影パラメータ設定手段の構成例を示す図。 実施例２の撮影パラメータ設定手段の構成例を示す図。 色ゲインやαを変更した場合のヒストグラムを説明する図。 実施例２の彩度設定動作を示すフローチャート。 実施例２における彩度閾値を可変設定するためのフローチャート。 実施例２におけるユーザーインターフェースの変形例を示す図。 輝度ゲインやαを変更した場合のヒストグラムを説明する図。 実施例３における明るさの設定に関するフローチャート。 実施例４におけるコントラストの設定に関するフローチャート。

以下、図を用いて、本発明の実施例における撮像装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

本実施例における撮像装置を図１に示す。図１において、撮像装置１００は、結像光学系１０１、光分離部１０２、第１の撮像素子１０３、第２の撮像素子１０４、合成処理部１０５、制御部１０６、撮影パラメータ設定手段１１０を有する。

光分離部１０２は、結像光学系１０１を通って入射した光を、第１の撮像素子１０３と第２の撮像素子１０４に分離している。具体的には、光分離部１０２は波長選択プリズムから構成されており、特定の閾値の波長よりも短い波長の光（可視光）は波長選択プリズムを透過し、特定の閾値の波長よりも長い波長の光（赤外光）は波長選択プリズムで反射されるように構成されている。なお、ここで透過する／反射するとは８０％以上の光が透過する／反射することを意味する。

即ち、可視光は第１の撮像素子１０３に入射し、赤外光は第２の撮像素子１０４に入射するように構成されている。ここで、前記の特定の閾値は６００ｎｍ以上７５０ｎｍ以下である。即ち、可視光と赤外光の境目は６００ｎｍ以上７５０ｎｍ以下と定義する。また、赤外光とは前記特定の閾値から２５００ｎｍまでの波長の光を意味する。図２に、波長選択プリズムの分光透過スペクトルと分光反射スペクトルの例を示した。実線が透過、点線が反射である。

第１の撮像素子１０３は少なくとも可視光に感度を有し、第２の撮像素子１０４は少なくとも赤外光に感度を有している。例えば、光電変換部の材料としてＳｉを使用すれば、波長３８０ｎｍ以上波長１１００ｎｍ以下の光に感度を有する撮像素子が実現できる。従って、第１の撮像素子１０３、第２の撮像素子１０４ともに、光電変換部をＳｉで形成すればよい。なお、第１の撮像素子１０３、第２の撮像素子１０４としては、例えばＣＣＤやＣＭＯＳタイプの固体撮像素子などを用いることができる。

第１の撮像素子１０３中の画素は、ＲＧＢベイヤー配列のオンチップカラーフィルタを備えており、第１の撮像素子１０３から出力されるＲＧＢ形式の第１の画像信号１０７には輝度情報のほかに色情報が含まれている。一方、第２の撮像素子１０４から出力される第２の画像信号１０８には輝度情報のみが含まれている。なお、第１の撮像素子１０３は可視光をメインとした感度分布を持っていればよく、可視光以外の感度分布を持っていてもよい。

また、第２の撮像素子１０４は赤外光をメインとした感度分布を持っていればよく、赤外光以外の光に対しても感度分布を持っていてもよい。各々の撮像素子１０３、１０４の駆動および画像信号の読み出しは、制御部１０６が制御している。制御部１０６にはＣＰＵなどのコンピュータや、メモリが含まれている。なお前記メモリには、前記ＣＰＵによって後述のフローチャートの動作を実行させるためのコンピュータプログラムが記憶されている。また制御部１０６にはＣＰＵからの指示に基づき各種回路の動作を制御するための駆動回路も内蔵されている。
合成処理部１０５は、第１の画像信号１０７と第２の画像信号１０８を合成して、第３の画像信号１０９を生成する。具体的には、例えば以下のような処理を行う。

まず、ＲＧＢ形式で読み出された第１の画像信号１０７をデモザイク処理し、現像してＹＵＶ形式の画像信号に変換する。この際の第１の画像信号１０７から得られたＹＵＶ信号を各々、Ｙ１、Ｕ１、Ｖ１とする。同様に、第２の画像信号１０８も現像してＹＵＶ形式に変換する。この際の第２の画像信号１０８のＹ信号をＹ２とする。なお、第２の画像信号１０８は色情報を有さずＵとＶの値はゼロである。

次に、Ｙ１信号とＹ２信号を合成して、第３の画像信号１０９を生成する。具体的には、第３の画像信号１０９のＹＵＶ信号を各々、Ｙ３、Ｕ３、Ｖ３とした時、以下のような式を用いて第３の画像信号１０９を生成する。
Ｙ３＝α×Ｙ１＋（１−α）×Ｙ２ （式１）
Ｕ３＝Ｕ１ （式２）
Ｖ３＝Ｖ１ （式３）

ここで、αは０以上１以下の実数である。式１からわかるように、Ｙ信号で決まる輝度情報に関しては、αの値が大きいほど、第３の画像信号１０９は第１の画像信号１０７に近くなり、αの値が小さいほど、第３の画像信号１０９は第２の画像信号１０８に近くなる。また、Ｕ信号、Ｖ信号とＹ信号の比で決まる色情報に関しても、αの値が大きいほど、第３の画像信号１０９は第１の画像信号１０７に近くなり、αの値が小さいほど、第３の画像信号１０９は第２の画像信号１０８に近くなる。

夜間などの低照度時には可視光成分よりも赤外光成分の方が強い場合が多い。従って、合成処理部１０５によって合成処理を行うことで、第１の画像信号１０７よりもＳＮ比に優れ、輝度情報と色情報の両方の情報を持つ第３の画像信号１０９を取得することができる。

式１より、第３の画像信号１０９は、αの値が大きいほど第１の画像信号１０７に近いため、色再現性に優れた画像信号となる。一方、αの値が小さいほど第２の画像信号１０８に近いため、ＳＮ比に優れた画像信号となる。即ち、色再現性とＳＮ比はトレードオフの関係となっており、αの値を制御することでＳＮ比と色再現性のどちらを重視するかを変更することができる。

次に図３は本実施例における動作を示すフローチャートである。まずＳ３０１において撮影環境の照度を測定する。具体的には例えば前記第１の画像信号のＹ信号のレベルを平均化することによって被写体の照度を検出することができる。そして検出された照度に応じてＳ３０２においてαの値を決定する。具体的には、照度が高いほどαを大きく、照度が低いほどαを小さくする。即ち、照度が高いほど色再現性を重視した合成画像を生成し、照度が低いほどＳＮ比を重視した合成画像信号を生成する。例えば、十分な照度が得られている場合にはαを１にして第１の画像信号１０７を表示し、照度が低下するにつれて、αを小さくして連続的に重みを変更して合成画像信号である第３の画像信号１０９を表示する。そして最終的にはαを０にして第２の画像信号１０８を表示する。

しかしながら、照度が同じであっても、ユーザーによって、色再現性を重視したい場合、ＳＮ比を重視したい場合が異なる。そこで本実施例では、更に撮像装置に関するユーザーインターフェースの各種設定状況から、ユーザーの意図をくみ取って、前記αを変更し色再現性とＳＮ比のどちらを重視するかを切り替えているため、最適な画像信号を取得できる。以下で更に詳細な説明を行う。

図４は撮影パラメータ設定手段の構成例を示す図である。撮影パラメータ設定手段１１０は例えば画像表示が可能な液晶タッチパネルから構成されており、合成処理部１０５で生成した第３の画像信号１０９を表示する表示部１１１を有する。更に、画像の露出、コントラスト、色などに関する設定を行うインターフェース１１２を備えている。ユーザーがカーソルやタッチパネルなどのインターフェース１１２を用いて露出、コントラスト、色等に関する設定を行うと、その設定を反映して、表示部１１１に表示する第３の画像信号１０９が変化するように構成されている。

なお、後述するように、撮像装置１００内部に表示部１１１やインターフェース１１２を備えていなくても良い。例えば、撮像装置１００がネットワークを介して第３の画像信号１０３をＰＣやスマートフォンなどのクライアント装置に転送し、クライアント装置側に配置された表示部やインターフェースを用いて、ユーザーが撮影パラメータを設定する構成となっていても良い。

更には合成処理部１０５もクライアント装置側に配置してもよく、クライアント装置からの指示に応じて撮像装置１００から第１の画像信号と第２の画像信号をクライアント装置に送り、クライアント装置側で合成を行ってもよい。

まず、図３のＳ３０３において、ユーザーが明るさに関する設定を行ったか否かを判断する。ここで、明るさに関する設定とは、目標の露出レベルを変更する設定を含む。

また、自動露出設定をシャッター優先モードにしたり、シャッタースピードやゲイン（撮像感度）そのものをマニュアルで設定したりする場合も含む。また、シャッタースピードやゲインをマニュアルで所定値より小さくしたり、シャッタースピードやゲインの上限／下限値を設定したりする設定も含む。また、表示される画像の明るさ（ブライトネスと呼ぶこともある）の設定も含む。なお、結像光学系１０１が絞り調整機能を有している場合には、自動露出設定を絞り優先にしたり、絞り値をマニュアルで設定したりする設定も含む。

ユーザーが、これらの明るさに関する設定を行った場合、ユーザーは第３の画像信号１０９の明るさ、または、第３の画像信号１０９の解像感、を重視していることが分かるので前記αを所定割合下げる。

即ち、Ｓ３０４において、αを所定割合さげる。更にユーザーが目標の露出レベルを上げた場合、あるいは画像の明るさを上げた場合等においては、ユーザーは第３の画像信号１０９の内、暗い部分の視認性を向上させようとしているとしてαを更に下げてもよい。一方、ユーザーが目標の露出レベルを下げた場合、あるいは画像の明るさを下げた場合、ユーザーは第３の画像信号１０９の内、明るい部分の視認性を向上させようとしているのでαを上げてもよい。

また、Ｓ３０４において、絞り優先モードに切り替えたり、ユーザーが絞りを調整したりした場合、即ち絞りを開いた場合にはピント面近傍の被写体の解像感を向上させようとしていることが分かる。また絞りを絞った場合にはピント面から離れた被写体の解像感を、向上させようとしていることが分かる。したがっていずれの場合もαを所定割合下げる。

一般に、結像光学系の解像力は、ピント面近傍が最も高く、ピント面から離れるに従って、物体が十分に遠い場合、ほぼピント面からの距離の逆数に比例して解像力が低下する。ピント面での解像力は、収差や回折の影響によって多少ずれるものの、おおまかには結像光学系のＦ値（絞り値）に反比例する。また、解像力のピント面からの距離の逆数に対する比例係数は、収差や回折の影響によって多少ずれるものの、おおまかには結像光学系のＦ値の２乗に反比例する。即ち、絞りを開いているほど、ピント面近傍の画像の解像感が高く、絞りを絞っているほど、ピント面から離れた被写体の解像感が高くなる。したがって、ユーザーが解像感を高めようとして絞りを操作した場合にはαを所定割合下げる。

またＳ３０４において、ユーザーがシャッタースピードを短くした場合には動き量の大きい被写体の解像感を、シャッタースピードを長くした場合には暗い部分の視認性を向上させようとしていることが分かる。なぜなら、シャッタースピードが短いほど、動きブレの影響が小さく、シャッタースピードが長いほど、撮像素子の画素に入射する光の量が増加するため、暗い部分のＳＮ比が向上するためである。したがって、シャッタースピード優先モードに切り替えたり、シャッタースピードを調整したりした場合にはαを所定割合小さくする。

同様に、Ｓ３０４において、ユーザーがゲイン、あるいはゲインの上限値を設定した場合には、暗い部分の視認性を、向上させたいことが分かる。したがって、αを所定割合小さくする。

以上のように、Ｓ３０３でユーザーが明るさに関する設定を行った場合、その背景には、第３の画像信号１０９の明るさ、または、第３の画像信号１０９の解像感のどちらかを重視したい、という意図があることが分かる。即ち、いずれの場合もユーザーは色情報よりも輝度情報を重視していることが分かる。

そこで、本実施例の撮像装置１００では、ユーザーが明るさに関する上記のような明るさに関する設定のいずれか１つの設定を行った場合、Ｓ３０４において基本的にαを所定割合（例えば数％）下げる。更に明るさを上げるような設定（例えば絞り値を所定より小さくしたり、シャッタースピードを所定値より長くしたり、撮像感度を所定値より上げた場合等）をした場合には合成割合αを更に小さくして、第３の画像信号１０９を第２の画像信号１０８に近づける。前述したように、合成割合αが小さいほど、画像のＳＮ比を向上させることができるため、ユーザーの意図通りの画像を取得することができる。逆に明るさをさげるような設定をした場合にはαを大きくしてもよい。

次に、Ｓ３０５において、ユーザーがコントラストに関する設定を行ったか否か判別する。ここで、コントラストに関する設定とは、表示される画像のコントラスト、エッジ強調の強さ、画像圧縮の設定を含む。また、結像光学系がフォーカスの手動調整機能やズームの手動調整機能を有している場合、フォーカスやズームに関する手動設定を含む。
ユーザーが、これらのコントラストに関する設定を行った場合、ユーザーは、第３の画像信号１０９の解像感を重視していることが分かる。

即ち、ユーザーがフォーカスを調整した場合、ユーザーが視認したい領域の解像感が十分ではなく、第３の画像信号１０９全体、もしくはその一部の領域の解像感を向上させたい、という意図がある。また、ユーザーがズーム倍率を高くした場合、あるいは、ユーザーが表示される画像のコントラストを上げた場合には、ユーザーが視認したい領域の解像感が十分ではなく、解像感を向上させたい、という意図がある。

以上のように、ユーザーがコントラストに関する設定を行った場合、その背景には、第３の画像信号１０９の解像感を重視したい、という意図があることが分かる。即ち、ユーザーは色情報よりも輝度情報を重視していることが分かる。

そこで、本実施例の撮像装置１００では、Ｓ３０５でユーザーがコントラストに関する設定を行った場合、Ｓ３０６においてαを所定割合（例えば数％）下げる。更に、コントラストを上げるような設定の場合にはαを更に小さくして、第３の画像信号１０９を第２の画像信号１０８に近づける。前述したように、合成割合αが小さいほど、画像信号のＳＮ比を向上させることができるため、ユーザーの意図通りの画像を取得することができる。逆にコントラストを下げるような設定の場合にはαを上げてもよい。なお、本実施例ではＳ３０４とＳ３０６でそれぞれαを所定割合下げているが、例えばＳ３０４でαを所定割合下げたら、Ｓ３０６では再度αを下げないようにしてもよい。

続いて、Ｓ３０７で、ユーザーが色に関する設定を行ったか否か判別する。ここで、色に関する設定とは、各色のゲインを手動で調整したり、表示される画像の色の彩度を変更したりする設定を含む。また、ユーザーによる、色温度の設定や、自動色バランス調整の実施、といった設定を含む。

ユーザーが、これらの色に関する設定を行った場合、ユーザーは、第３の画像信号１０９の色再現性を重視している。なぜなら手段、ユーザーが色に関する設定を行ったということは、現在表示されている第３の画像信号１０９の色情報の視認性が不十分であると感じており、色情報を改善させたい、という意図が読み取れるからである。

そこで、本実施例の撮像装置１００では、ユーザーが色に関する設定を行った場合、Ｓ３０８で合成割合αを所定割合（例えば数％）大きくして、第３の画像信号１０９を第１の画像信号１０７に近づける。前述のように、合成割合αが大きいほど、画像の色再現性が向上するため、ユーザーの意図通りの画像を取得することができる。なお、本実施例ではＳ３０４やＳ３０６で一旦αを所定割合下げたのち、Ｓ３０８でαを所定割合上げるようにしている。しかし、Ｓ３０８ではαを所定割合上げる際の基準はＳ３０２で照度に応じて変更されたαを基準にしてＳ３０８でαを所定割合上げるようにしてもよい。

以上では、第３の画像信号１０９のみを表示する場合を示したが、第１の画像信号１０７、第２の画像信号１０８のいずれか、または両方を第３の画像信号１０９とともに同時に表示しても良い。但し、特に撮像装置１００がネットワークを介して画像信号をクライアント装置に転送している場合、表示する画像の種類が多いほど、データ量が増大して、表示画像の遅延を招くため、第３の画像信号１０９のみを転送して表示する方が好ましい。

ユーザーが明るさ、コントラスト、色に関する設定を行う前の合成割合αは一定の値（例えば０．５）を使用しても良い。あるいは、ユーザーが明るさ、コントラスト、色に関する設定を行った場合、どの程度合成割合αを変更するかを、パラメータの変更度合によって変更しても良い。例えば、露出レベルや画像の明るさ、コントラスト、色の彩度などの場合値の変更度合が大きいほど、合成割合の変更度合いを大きくする方が好ましい。

なお、ユーザーが直接、合成割合αを設定するようにしてもよいが、本実施例のように、撮影パラメータの設定から、間接的にユーザーの意図を読み取ってαを変更する方が好ましい。以下で理由を説明する。通常の可視光画像を取得する撮像装置の場合、可視光画像と赤外光画像の合成は行わないため、ユーザーは合成割合αを変更できない。そのため、通常の可視光画像を取得する撮像装置に慣れたユーザーにとって、合成割合αを変更した場合に、生成される合成画像がどのように変化するか、を予測することが難しい。本実施例の撮像装置の場合、ユーザーは、通常の可視光画像を取得する撮像装置でも使用している、撮影パラメータの設定のみを行うため、ユーザーにとって生成される画像の変化を予測することが容易である。即ち、本実施例の撮像装置では、ユーザーは、通常の可視光を取得する撮像装置と同様の撮影パラメータの設定を行うだけで、撮像装置が自動で最適な合成割合αを判断し、ユーザーの意図通りの第３の画像信号を生成することができる。従って特別な技術的な知識がなくてもユーザーフレンドリーな設定が自動で行われることになる。

なお、Ｓ３０８の後でユーザーは第３の画像信号の表示状態を確認して、αを更に手動で設定（微調整）できるようにしてもよい。即ち、ユーザーインターフェースはαを手動設定するための設定手段を有し、Ｓ３０９においてαの手動設定が所定時間内に行われたか否かを判別し、Ｙｅｓの場合にはＳ３１０でαをそれに応じて変更する。そのあとＳ３１１に進む。Ｓ３０９でＮｏの場合はαを変更せずにＳ３１１に進む。Ｓ３１１において、（ユーザーが表示されている合成画像に対する各種設定が完了したと判断して）不図示の決定ボタンが押した、あるいは最後の設定から所定時間以上が経過したか否かを判別する。Ｓ３１１でＹｅｓ即ち前記決定ボタンが押されたか最後の設定から所定時間が経過したらＳ３１２に進み上記の各種のパラメータ設定状態と最終的なαとユーザーＩＤとを関連付けて不図示の不揮発性メモリに学習データとして保存し、フローを終了する。

なお、上記の不揮発性メモリに保存された学習データは図３のフローの開始にあたってユーザーＩＤの入力にともなって読出されるようにしてもよい。そうすることによって、図３のフローにおいてα等の変更をする際に上記の不揮発性メモリから読み出されたユーザーごとの過去の設定情報を参照することによってユーザーごとの好みを反映した最適な設定が可能となる。

実施例２の撮像装置では、ユーザーの撮影パラメータの設定に応じて、合成割合αを変化させる場合と、合成割合αを変化させない場合を使い分けるようにする。具体的には、合成割合αを変化させなくても、ユーザーの意図が反映できる場合にはαを変化させず、αを変化させないと、ユーザーの意図が反映できない場合には、αを変化させる。このような構成とすることで、ユーザーの意図を更に正確に反映した第３の画像信号１０９が取得できるため、好ましい。

例として、ユーザーが色の彩度を変更する場合について図５〜図７を用いて説明する。色の彩度はＵ信号、Ｖ信号が大きくなるほど、大きい。一方、前述したように、合成割合αが大きいほど、Ｙ信号に対するＵ信号、Ｙ信号に対するＶ信号の比を向上させることができる。言い換えると、Ｙ信号に対するＵ信号、Ｖ信号の比を向上させるためには、色の彩度を大きくするか、合成割合αを大きくすればよい。

なお、一般に、色の彩度が同じ、即ちＵ信号とＶ信号の値が変化しなくても、Ｙ信号が変化すると、色の鮮やかさは異なって見える。即ち、Ｙ信号に対するＵ信号、Ｖ信号の比が、色の鮮やかさに相当するため、以下では、Ｙ信号に対するＵ信号、Ｖ信号の比を、色の鮮やかさと呼ぶ。

即ち、ユーザーが色の鮮やかさを減少させたい場合には、第３の画像信号１０９を生成し表示する際に、色ゲインによって彩度を減少させる方法と、合成割合αを小さくして第２の画像信号１０８に近い第３の画像信号１０９を生成する方法が選択できる。一方、ユーザーが色の鮮やかさを向上させたい場合には、第３の画像信号１０９を生成し表示する際に、色ゲインによって彩度を向上させる方法と、合成割合αを大きくして第１の画像信号１０７に近い第３の画像信号１０９を生成する方法を選択できる。そこで、実施例２の撮像装置では以下のような制御を行う。

図５は実施例２の撮像装置の撮影パラメータ設定手段１１０の例を示した図である。撮影パラメータ設定手段１１０は、合成処理部１０５で生成した第３の画像信号１０９を表示する表示部２１１と、画像の露出、コントラスト、色に関する設定を行うユーザーインターフェース２１２を備えている。図５では、例として色の彩度を設定するユーザーインターフェースのみを示したが図３のように明るさやコントラストについてもインターフェースを備えていてもよい。なお、色の彩度設定用カーソル２１３は左に動かすほど色の彩度が低く、右に動かすほど色の彩度が高くなるようなユーザーインターフェースである。

彩度設定用カーソルの位置が第１の彩度閾値Ｃ１より大きくかつ、第２の彩度閾値Ｃ２より小さい（ただしＣ１＜Ｃ２）の場合には表示する際の色ゲインの変更のみによって、ユーザーの意図通りの彩度の第３の画像信号１０９が取得できる。一方で、彩度設定用カーソルの位置が第１の彩度閾値Ｃ１より小さい、あるいは第２の彩度閾値Ｃ２より大きい場合には、色ゲインの変更のみでは、ユーザーの意図通りの彩度の第３の画像信号１０９を取得するのが困難になる。

図６は色ゲインやαを変更した場合のヒストグラムを説明する図である。より具体的には、表示する際に色ゲインを変更することによって色の鮮やかさを変化させた場合と、合成割合αによって色の鮮やかさを変化させた場合の差異を説明する模式図である。図６（Ａ）は色の鮮やかさの変更前、図６（Ｂ）は、図６（Ａ）に対して、表示する際の色ゲインを上げた場合、図６（Ｃ）は、図６（Ａ）に対して、合成割合αを大きくした場合である。また、図６（Ｄ）は色の鮮やかさの変更前、図６（Ｅ）は、図６（Ｄ）に対して、表示する際の色ゲインを下げた場合、図６（Ｆ）は、図６（Ｄ）に対して、合成割合αを小さくした場合である。

色ゲインを変更することによって色の鮮やかさを変化させた場合には、元々の画像が有するビット数以上の階調表現ができないため、図６（Ｂ）、（Ｅ）のように、中間階調の色の再現性が低下してしまう。特に、色ゲインを大きく変更するほど、中間階調の色の情報が失われる。一方、合成割合αによって色の鮮やかさを変化させた場合、第３の画像信号１０９を生成するところで中間階調を維持することができるため、図６（Ｃ）、（Ｆ）のように、中間階調を維持したまま、色の鮮やかさを変更することができる。

図７は実施例２における彩度設定動作を示すフローチャートである。実施例２ではＳ７０１で彩度の設定がなされたか否かを判別し、彩度の設定がなされた場合にはＳ７０２において、変更後の彩度が第２の彩度閾値Ｃ２より小さいか判別する。Ｓ７０２でＹｅｓの場合にはＳ７０３で変更後の彩度が第１の彩度閾値Ｃ１より大きいか判別する。Ｓ７０３で変更後の彩度が第１の彩度閾値Ｃ１より大きい場合には、合成割合αを変化させずに彩度のアップダウンの設定に応じて色ゲインをアップダウンさせる（Ｓ７０４、図７の真ん中のルート）。一方で、Ｓ７０２においてＮｏ即ち変更後の彩度が第２の彩度閾値Ｃ２より小さくない場合には、彩度のアップに応じて合成割合αを増加させて第３の画像信号１０９を第１の画像信号１０７に近づける（Ｓ７０５、図７の一番右のルート）。一方Ｓ７０３において変更後の彩度が第１の彩度閾値Ｃ１より大きくない場合には、彩度ダウンに応じて合成割合αをダウンさせて第３の画像信号１０９を第２の画像信号１０８に近づける（Ｓ７０６、図７の一番左のルート）。そして、このような構成とすることで、ユーザーの意図を更に正確に反映することができる。以下で理由を説明する。

合成処理を行わずに、通常の可視光画像を取得する撮像装置を想定した場合、合成割合によって色の鮮やかさを制御することができない。従って、通常の可視光画像を取得する撮像装置においては、ユーザーが色の彩度の変更を行った時、色ゲインによって色の鮮やかさが変わる。従って、ユーザーが本実施例の撮像装置に対して彩度を変更した場合も、ユーザーは色ゲインによって色の鮮やかさが変わることを予測している可能性が高い。

そこで、実施例２の撮像装置では、中間階調の色の再現性が許容できる範囲内では、通常の可視光画像を取得する撮像装置と同様に、Ｓ７０４でαを変更せずに色ゲインによって色の彩度を変更する。このような構成とすることで、通常の可視光画像を取得する撮像装置と同じような動作を予測するユーザーに対して、より違和感の少ない画像を取得できる。なお、図７の実施例においてＳ７０５とＳ７０６においても彩度のアップダウンに応じて色のゲインをアップダウンしてもよい。

なお第１の彩度閾値Ｃ１、第２の彩度閾値Ｃ２は可変としてもよい。図８は実施例２における第１の彩度閾値Ｃ１、第２の彩度閾値Ｃ２を可変設定するためのフローチャートである。この実施例においてはメニュー選択によって彩度閾値を手動で変更するモードか彩度閾値を自動で変更するモードを選択できる。また、手動で変更するモードの場合にさらに、色重視モードか否かを選択できるものとする。図８において、Ｓ８０１で彩度閾値を手動で変更するモードか否かを判定し、Ｙｅｓの場合には更にＳ８０２で色重視モードか否かを判別する。色重視モードの場合には、Ｓ８０３において、合成割合αを上げるとともに、彩度閾値Ｃ１を下げ、彩度閾値Ｃ２を上げＣ１とＣ２の間隔を広げる。Ｓ８０２で色重視モードでないと判別された場合にはＳ８０４で、合成割合αを下げるとともに、彩度閾値Ｃ１を上げ、彩度閾値Ｃ２を下げＣ１とＣ２の間隔を狭くする。
一方Ｓ８０１で彩度閾値を自動で変更するモードと判別された場合には、Ｓ８０５において照度が所定の値Ｍ２より大きいか否かを判別する。Ｓ８０５において照度がＭ２より大きいと判別された場合にはＳ８０３に進み、合成割合αを上げるとともに、彩度閾値Ｃ１を下げ、彩度閾値Ｃ２を上げＣ１とＣ２の間隔を広げる。Ｓ８０５で照度がＭ２より大きくないと判別された場合にはＳ８０６に進み、照度が所定の値Ｍ１（ただしＭ１＜Ｍ２）より小さいか否か判別する。Ｓ８０６で照度がＭ１より小さい場合にはＳ８０４に進み、合成割合αを下げるとともに、彩度閾値Ｃ１を上げ、彩度閾値Ｃ２を下げＣ１とＣ２の間隔を狭くする。Ｓ８０６でＮｏの場合、即ち、照度がＭ１とＭ２の間である場合にはＣ１、Ｃ２は変更しない。このように第１の彩度閾値Ｃ１、第２の彩度閾値Ｃ２を可変設定することによって図７のフローチャートにおけるαの制御がより最適にできるようになる。

次に図９は実施例２における図５のユーザーインターフェース２１２の変形例を示す図であり、図９（Ａ）に示す様に、第１の彩度閾値Ｃ１、第２の彩度閾値Ｃ２をユーザーインターフェース２１２上に表示しても良い。この時、図９（Ｂ）に示す様に、ユーザーインターフェースの例えば色や明るさや線の太さや破線実線などを、Ｃ１とＣ２の間の領域と、Ｃ１より小さい、あるいはＣ２より大きい領域とで変更すると更に好ましい。図９（Ｂ）では、第１の彩度閾値Ｃ１や第２の彩度閾値Ｃ２の間の領域は実線、第１の彩度閾値Ｃ１より小さい、あるいは第２の彩度閾値Ｃ２より大きい領域では点線で表示されるようにしている。

また、図９（Ｃ）に示す様に、色の彩度設定用カーソル２１３がＣ１とＣ２の間の領域にある場合には、Ｃ１より小さい、あるいはＣ２より大きい領域の部分は表示されていなくても良い。この時、図９（Ｄ）に示す様に、ユーザーが色の彩度設定用カーソル２１３がＣ１からＣ２の領域を越えて設定しようとした場合にのみ、Ｃ１より小さい、あるいはＣ２より大きい領域が表示されるようになっていても良い。

あるいは、図９（Ｅ）に示す様に、ユーザーが色の彩度設定用カーソル２１３が第１の彩度閾値Ｃ１、または第２の彩度閾値Ｃ２を越えて設定しようとした場合に、ポップアップ警告（例えば「これ以上彩度を上げると合成割合が変わります。」など）が表示されるようになっていても良い。

図９（Ａ）〜（Ｅ）に示すような構成とすることで、ユーザーが、色ゲインによって変化して色の彩度が変化しているのか、合成割合によって変化しているのかを、把握することができるため、好ましい。なお、図９（Ａ）〜（Ｅ）では、彩度設定用カーソル２１３が長方形のバーと、円形のカーソルの組み合わせである場合を示したが、他の形の図形を使用しても良いし、彩度を数字で表現しても良い。
以上では、ユーザーが色の彩度を変更した場合について説明したが、明るさに関する設定についても、同様の構成とすることが好ましい。

即ち、実施例３においては、明るさについても、ユーザーが表示される画像の明るさの設定を変更した場合に、実施例２と同様の構成を適用するものとする。前述したように、夜間などの低照度時には可視光成分よりも赤外光成分の方が強い場合が多い。従って、第１の画像信号１０７の方が、第２の画像信号１０８よりも相対的に暗い。

即ち、ユーザーが明るさを暗くしたい場合には、第３の画像信号１０９を生成した後に、表示する際の輝度ゲインを変更して明るさを暗くする方法と、合成割合αを大きくする方法が選択できる。一方、ユーザーが明るさを明るくしたい場合には、第３の画像信号１０９を生成した後に、表示する際の輝度ゲインを変更して明るさを明るくする方法と、合成割合αを小さくする方法が選択できる。

図１０は表示する際に輝度ゲインを変更することによって明るさを変化させた場合と、合成割合αによって明るさを変化させた場合の差異をヒストグラムを用いて説明した模式図である。図１０（Ａ）は明るさの変更前、図１０（Ｂ）は、図１０（Ａ）に対して、表示する際の輝度ゲインを上げた場合、図１０（Ｃ）は、図１０（Ａ）に対して、合成割合αを大きくした場合である。また、図１０（Ｄ）は明るさの変更前、図１０（Ｅ）は、図１０（Ｄ）に対して、表示する際の輝度ゲインを下げた場合、図１０（Ｆ）は、図１０（Ｄ）に対して、合成割合αを小さくした場合である。

図１１は実施例３における明るさの設定に関するフローチャートであり、まずＳ１１０１において明るさ設定をしたか否かを判別する。Ｙｅｓの場合、Ｓ１１０２で、変更後の明るさが第２の輝度閾値Ｌ２より小さいか否かを判別する。Ｙｅｓの場合には更にＳ１１０３で変更後の明るさが第１の輝度閾値Ｌ１より大きい（ただしＬ１＜Ｌ２）か否かを判別する。Ｓ１１０３でＹｅｓの場合つまり変更後の明るさが第１の輝度閾値Ｌ１より大きく第２の輝度閾値Ｌ２より小さい場合Ｓ１１０４において変更後の明るさ設定のアップダウンに応じて輝度のゲインをアップダウンさせる。この時αは変化させない。一方で、Ｓ１１０２でＮｏ、即ち変更後の明るさが第２の輝度閾値Ｌ２よりも小さくない場合には、Ｓ１１０５において変更後の明るさ設定のアップに応じてαをダウンさせて第３の画像信号１０９を第２の画像信号１０８に近づける。一方、Ｓ１１０３でＮｏ即ち、変更後の明るさが第１の輝度閾値Ｌ１より大きくない場合には、Ｓ１１０６において、変更後の明るさ設定のダウンに応じて合成割合αをアップさせて第３の画像信号１０９を第１の画像信号１０７に近づける。

即ち、中間階調の輝度の再現性が許容できる範囲では、通常の可視光画像を取得する撮像装置と同様に、輝度ゲインによって明るさを変更する。このような構成とすることで、通常の可視光画像を取得する撮像装置と同じような動作を予測するユーザーに対して、より違和感の少ない画像を取得できる。なお、上記実施例において輝度がＬ１より小さい場合またはＬ２より大きい場合においてαだけでなく輝度のアップダウンに応じて輝度ゲインもアップダウンしてもよい。

実施例４においては、コントラストについても、ユーザーが表示される画像のコントラストの設定を変更した場合に、同様の構成を適用する。前述したように、合成割合αが小さいほどＳＮ比の優れた第３の画像信号１０９が取得できる。従って、合成割合αが小さいほど輝度差の小さいテクスチャも視認することができる。即ちユーザーがコントラストを増加させた場合、ユーザーはテクスチャの視認性を向上させようとしていると推測できる。図１０に示す明るさの変化と同様、表示する際の輝度ゲインを変更することによって画像のコントラストを増加させた場合、中間階調の輝度の情報が失われてしまう。即ち、輝度ゲインを変更することによって画像のコントラストを増加させた場合、輝度差の大きいテクスチャの視認性は向上するが、輝度差が小さいテクスチャの視認性は向上しない。

一方、画像のＳＮ比を向上させつつ、画像のコントラストも増加させた場合、輝度差の小さいテクスチャも視認できるようになる。従って、表示する際の輝度ゲインによってコントラストを増加させた場合、同時に合成割合αを減少させた方が、輝度差の小さいテクスチャも視認できるようになる。ここで、ユーザーがコントラストを第２のコントラスト閾値Ｄ２を越えずに増加させた場合には、ユーザーは輝度差の大きいテクスチャの視認性のみが向上したことで満足している、と判断できる。一方で、ユーザーが、第２のコントラスト閾値Ｄ２を越えてコントラストを更に増加させようとした場合、輝度差の大きいテクスチャの視認性だけではなく、輝度差の小さいテクスチャの視認性も向上させようとしているとわかる。

そこで、実施例４の撮像装置では、変更後のコントラストが第２のコントラスト閾値Ｄ２より小さい場合は、合成割合αを変化させない。一方で、変更後のコントラストが第２のコントラスト閾値Ｄ２よりも大きい場合には、合成割合αを減少させて第３の画像信号１０９を第２の画像信号１０８に近づける。このような構成とすることで、通常の可視光画像を取得する撮像装置と同じような動作を予測するユーザーに対して、より違和感の少ない画像を取得できる。

ユーザーがコントラストを減少させた場合、ユーザーは輝度差の小さいテクスチャの視認性を低下させたいと判断していると推測できる。表示する際の輝度ゲインを変更することによって画像のコントラストを減少させた場合、輝度差の大きいテクスチャの階調差は低下するものの、階調差の小さいテクスチャとして残存している。

一方、画像のコントラストを減少させつつ、画像のＳＮ比も同時に減少させた場合、輝度差の大きいテクスチャがノイズに埋もれるようになる。従って、表示する際の輝度ゲインによってコントラストを減少させた場合、同時に合成割合αを増加させた方が、より大きい輝度差のテクスチャもノイズに埋もれるため、視認性を低下させることができる。

ここで、ユーザーがコントラストを第１のコントラスト閾値Ｄ１を越えずに減少させた場合には、ユーザーは輝度差の小さいテクスチャの視認性が低下したことで満足している、と判断できる。一方で、ユーザーが、第１のコントラスト閾値Ｄ１を越えてコントラストを更に減少させようとした場合、輝度差の小さいテクスチャの視認性だけではなく、輝度差の大きいテクスチャの視認性も低下させようとしているとわかる。

具体的にその処理について説明する。図１２は実施例４におけるコントラストの設定に関するフローチャートを示す。まず、Ｓ１２０１においてコントラスト設定がされたか否かを判別する。Ｙｅｓの場合にはＳ１２０２においてコントラスト設定のアップダウンに応じて輝度ゲインのアップダウンを行う。更にＳ１２０３において設定後のコントラストが前記第２のコントラスト閾値Ｄ２よりも小さいか否かを判別し、Ｙｅｓの場合には更にＳ１２０４で設定後のコントラストが第１のコントラスト閾値Ｄ１（ただしＤ１＜Ｄ２）よりも大きいか否か判別する。Ｓ１２０４でＹｅｓの場合にはそのままフローは終了する。一方Ｓ１２０３でＮｏの場合即ち設定後のコントラストがＤ２よりも小さいくない場合にはＳ１２０５で設定後のコントラストのアップに応じてαをダウンする。またＳ１２０４において、設定後のコントラストがＤ１より大きくない場合には、Ｓ１２０６で設定後のコントラストダウンに応じてαをアップする。

上記のように、実施例４の撮像装置では、変更後のコントラストがＤ１より大きくＤ２より小さい場合は、合成割合αを変化させない。一方で、変更後のコントラストが第１のコントラスト閾値Ｄ１より小さい場合には、合成割合αを増加させて第３の画像信号１０９を第１の画像信号１０７に近づける。このような構成とすることで、通常の可視光画像を取得する撮像装置と同じような動作を予測するユーザーに対して、より違和感の少ない画像を取得できる。

以上のように、実施例２〜実施例４に示す撮像装置では、ユーザーが色、明るさ、コントラストの変更度合が所定の閾値範囲内の場合には、合成割合を変更しないため、通常の可視光画像を取得する撮像装置と同じような画像の変化を示す。一方で、ユーザーが色、明るさ、コントラストの変更度合が所定の閾値範囲外の場合には、合成割合も変更することで、色や輝度のゲイン調整のみでは表現できないダイナミックレンジの広い第３の画像信号１０９を取得することができる。

なお、実施例における撮像装置は監視カメラなどのようにクライアント装置とネットワークを介して相互に通信可能な状態に接続されている、複数装置からなる構成であってもよい。その場合クライアント装置は、撮像装置を制御する各種コマンドをネットワークを介して送信する。それを受けて、撮像装置は、コマンドに対するレスポンスや撮像した画像データをクライアント装置に送信する。そして撮像装置の撮影パラメータは、クライアント装置側からユーザーが選択することができる。

クライアント装置は例えばＰＣやスマホなどの外部機器であり、ネットワークは、有線ＬＡＮ、無線ＬＡＮ等により構成されている。また、ネットワークを介して撮像装置に電源を供給する構成となっていても良い。

なお、上記実施例においては光分離部１０２により第１の撮像素子と第２の撮像素子に異なる分光特性の光を導くように構成しているが、例えば第１の撮像素子と第２の撮像素子のそれぞれの前に異なる分光特性のフィルタが配置されていてもよい。また、第１の撮像素子と第２の撮像素子は光分離部１０２を介さずに別々の独立した光学系を介した光を受光する２眼タイプであってもよい。更には第１の撮像素子と第２の撮像素子は、一つの撮像素子内に例えば第１の撮像素子用の分光特性フィルタを配置した画素と第２の撮像素子用の分光特性フィルタを配置した画素を交互に配置したものであってもよい。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、本発明における制御の一部または全部を上述した実施例の機能を実現するプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００：撮像装置
１０１：結像光学系
１０２：光分離部
１０３：第１の撮像素子
１０４：第２の撮像素子
１０５：合成処理部
１０６：制御部
１０７：第１の画像信号
１０８：第２の画像信号
１０９：第３の画像信号
１１０、２１０：撮影パラメータ設定手段
１１１、２１１：表示部
１１２、２１２：ユーザーインターフェース
２１３：彩度設定用カーソル

Claims (20)

1. 可視光に感度を有し輝度情報と色情報を含む第１の画像信号を出力する第１の撮像素子と、
   赤外光に感度を有し輝度情報を含む第２の画像信号を出力する第２の撮像素子と、
   前記第１の撮像素子から出力された前記第１の画像信号と、第２の撮像素子から出力された第２の画像信号を合成し、第３の画像信号を生成する合成処理手段と、
   前記第３の画像信号の明るさ、コントラスト、色のいずれかに関する撮影パラメータを設定する撮影パラメータ設定手段と、を有し、
   前記合成処理手段は、前記撮影パラメータ設定手段によって前記第３の画像信号の明るさ、コントラスト、色の少なくとも一つに関するパラメータが変更された場合に、前記第１の画像信号と前記第２の画像信号の合成割合を変更することを特徴とする撮像装置。
2. 前記撮影パラメータ設定手段によって、前記第３の画像信号の明るさに関するパラメータが変更された場合に、前記第３の画像信号における第２の画像信号の合成割合を高めることを特徴とする請求項１に記載の撮像装置。
3. 絞り調整機能を含む結像光学系を有し、前記撮影パラメータ設定手段によって絞りに関するパラメータが変更された場合に、前記第３の画像信号における前記第２の画像信号の合成割合を高めることを特徴とする、請求項２に記載の撮像装置。
4. 前記撮影パラメータ設定手段によって、前記第３の画像信号のコントラストに関するパラメータが変更された場合に、前記第３の画像信号における前記第２の画像信号の合成割合を高めることを特徴とする、請求項１から３のいずれか１項に記載の撮像装置。
5. フォーカス調整機能を含む結像光学系を有し、前記撮影パラメータ設定手段によってフォーカスに関するパラメータが変更された場合に、前記第３の画像信号における前記第２の画像信号の合成割合を高めることを特徴とする、請求項１から４のいずれか１項に記載の撮像装置。
6. ズーム調整機能を含む結像光学系を有し、前記撮影パラメータ設定手段によってズームに関するパラメータが変更された場合に、前記第３の画像信号における前記第２の画像信号の合成割合を高めることを特徴とする、請求項１から５のいずれか１項に記載の撮像装置。
7. 前記撮影パラメータ設定手段によって、前記第３の画像信号の色に関するパラメータが変更された場合に、前記第３の画像信号における前記第１の画像信号の合成割合を高めることを特徴とする、請求項１から６のいずれか１項に記載の撮像装置。
8. 前記撮影パラメータ設定手段における、前記撮影パラメータの変更度合が大きいほど、前記合成処理手段における前記第１の画像信号と前記第２の画像信号の合成割合の変更度合いを大きくすることを特徴とする、請求項１から７のいずれか１項に記載の撮像装置。
9. 前記撮影パラメータ設定手段における、前記撮影パラメータの変更度合が所定の閾値より小さい場合には、前記合成処理手段における前記第１の画像信号と前記第２の画像信号の合成割合を変更しないことを特徴とする、請求項１から８のいずれか１項に記載の撮像装置。
10. 前記撮影パラメータ設定手段によって、彩度が変更された場合、変更後の彩度が第１の閾値と前記第１の閾値より大きい第２の閾値の間の場合には前記合成割合を変更せず、変更後の彩度が前記第１の閾値より小さい場合には前記第３の画像信号における前記第２の画像信号の合成割合を高め、変更後の彩度が前記第２の閾値よりも大きい場合には前記第３の画像信号における前記第１の画像信号の割合を高めることを特徴とする、請求項９に記載の撮像装置。
11. 前記撮影パラメータ設定手段によって、明るさが変更された場合、変更後の明るさが第１の閾値と前記第１の閾値より大きい第２の閾値の間の場合には前記合成割合を変更せず、変更後の明るさが前記第１の閾値より小さい場合には前記第３の画像信号における前記第１の画像信号の合成割合を高め、変更後の明るさが前記第２の閾値よりも大きい場合には第３の画像信号における前記第２の画像信号の合成割合を高めることを特徴とする、請求項９または１０に記載の撮像装置。
12. 前記撮影パラメータ設定手段によって、コントラストが変更された場合、変更後のコントラストが第１の閾値と前記第１の閾値より大きい第２の閾値の間の場合は前記合成割合を変更せず、変更後の明るさが前記第１の閾値より小さい場合には前記第３の画像信号における前記第１の画像信号の割合を高め、変更後の明るさが前記第２の閾値よりも大きい場合には前記第３の画像信号における前記第２の画像信号の合成割合を高めることを特徴とする、請求項９から１１のいずれか１項に記載の撮像装置。
13. 前記撮影パラメータ設定手段がユーザーインターフェースを備え、ユーザーインターフェースに前記閾値を表示することを特徴とする、請求項９から１２のいずれか１項に記載の撮像装置。
14. 前記撮影パラメータの変更度合が前記第１の閾値と第２の閾値の間にあるか否かに応じてユーザーインターフェースの表示を変更することを特徴とする、請求項９から１３のいずれか１項に記載の撮像装置。
15. 前記撮影パラメータの変更度合が前記第１の閾値または前記第２の閾値を越えた場合に、ユーザーインターフェースに所定の表示が現れるようにしたことを特徴とする、請求項９から１４のいずれか１項に記載の撮像装置。
16. 前記撮像装置はネットワークを介して接続されたクライアント装置を含み、前記クライアント装置が撮影パラメータ設定手段を有することを特徴とする請求項１から１５のいずれか１項に記載の撮像装置。
17. 前記撮像装置はネットワークを介して接続されたクライアント装置を含み、前記クライアント装置が前記合成処理手段を有することを特徴とする請求項１から１６のいずれか１項に記載の撮像装置。
18. 請求項１から１７のうちいずれか一項に記載の撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
19. 請求項１８に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
20. 可視光に感度を有し輝度情報と色情報を含む第１の画像信号を出力する第１の撮像素子と、赤外光に感度を有し輝度情報を含む第２の画像信号を出力する第２の撮像素子と、を少なくとも有する撮像装置を制御するための制御方法であって、
    前記第１の撮像素子から出力された前記第１の画像信号と、第２の撮像素子から出力された第２の画像信号を合成し、第３の画像信号を生成する合成処理ステップと、
    前記第３の画像信号の明るさ、コントラスト、色のいずれかに関する撮影パラメータを設定する撮影パラメータ設定ステップと、を有し、
    前記合成処理ステップは、前記撮影パラメータ設定ステップによって前記第３の画像信号の明るさ、コントラスト、色の少なくとも一つに関するパラメータが変更された場合に、前記第１の画像信号と前記第２の画像信号の合成割合を変更することを特徴とする撮像装置を制御するための制御方法。
    
    

Images