JP7286412B2 - 画像処理装置およびその制御方法、撮像装置、監視システム - Google Patents

Description

本発明は、可視光画像における色再現性を向上させる技術に関するものである。

監視用途などの撮像装置においては、夜間などの低照度時にも鮮明な被写体像を取得することが要求される。そこで、低照度時にも鮮明な被写体像を取得できるようにするため、赤外光に感度を有する固体撮像素子を備えた撮像装置が提案されている。また、可視光に感度を有する固体撮像素子及び赤外光に感度を有する固体撮像素子により取得した画像を合成して表示する撮像装置が提案されている（例えば特許文献１）。

特開２０１７－１５６４６４号公報

特許文献１では、波長選択プリズムを使用して可視光と赤外光を分離し、可視光と赤外光各々を撮像する固体撮像素子に導いている。しかしながら、赤外照明部から強い光を照射した場合、波長選択プリズムを介して、赤外光の一部が可視光用の固体撮像素子に漏れこむ、という現象が発生する場合がある。その結果、可視光用の固体撮像素子によって取得する画像の色再現性が低下し、合成画像の色再現性も低下してしまうという課題がある。

本発明は、このような問題に鑑みてなされたものであり、可視光画像あるいは当該可視光画像と赤外光画像とを合成した合成画像における色再現性の低下を抑制することを目的としている。

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
結像光学系からの入射光に基づいて可視域の画像を生成する第１の撮像素子により得られた第１の画像を取得する取得手段と、
前記第１の撮像素子に入射する赤外光の受光強度を推定する推定手段と、
前記推定手段により推定された受光強度に基づいて、前記第１の画像に対するホワイトバランス調整を制御する制御手段と、
を有し、
前記第１の画像は赤画素、緑画素、青画素から構成されており、
前記制御手段は、前記受光強度が大きいほど前記第１の画像における緑画素に対する色ゲインを赤画素及び青画素に対する色ゲインよりも大きく設定し、前記ホワイトバランス調整を行うよう制御する。

又は、上述の問題点を解決するため、本発明に係る撮像装置は以下の構成を備える。すなわち、撮像装置は、
結像光学系と、
前記結像光学系からの入射光を可視光成分と赤外光成分とに分離する光分離手段と、
前記可視光成分に基づいて可視域の画像を生成する第１の撮像素子と、
前記赤外光成分に基づいて赤外域の画像を生成する第２の撮像素子と、
前記第１の撮像素子により得られた第１の画像に対するホワイトバランス調整を行う調整手段と、
前記第１の撮像素子に入射する赤外光の受光強度に基づいて、前記調整手段におけるホワイトバランス調整を制御する制御手段と、
前記調整手段におけるホワイトバランス調整が適用された第１の画像と前記第２の撮像素子により得られた第２の画像とを合成し合成画像を生成する合成手段と、
を有し、
前記第１の画像は赤画素、緑画素、青画素から構成されており、
前記制御手段は、前記受光強度が大きいほど前記第１の画像における緑画素に対する色ゲインを赤画素及び青画素に対する色ゲインよりも大きく設定し、前記ホワイトバランス調整を行うよう制御する。

本発明によれば、可視光画像あるいは当該可視光画像と赤外光画像とを合成した合成画像における色再現性の低下を抑制することができる。

第１実施形態に係る撮像装置の構成を例示的に示す図である。 波長選択プリズムの透過率／反射率特性を例示的に示す図である。 赤外照明がゼロの場合におけるＷＢ調整を説明する図である。 赤外照明が強い場合におけるＷＢ調整への影響を説明する図である。 赤外照明が強い場合におけるＷＢ調整を説明する図である。 赤外照明強度を変化させた場合の可視光の信号レベルの変化を例示的に示す図である。 撮像装置を含む監視システムの全体構成を示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、可視光画像と赤外光画像とを合成した合成画像を生成可能に構成された撮像装置を例に挙げて以下に説明する。

＜装置構成＞
図１は、第１実施形態に係る撮像装置の構成を例示的に示す図である。撮像装置１００は、結像光学系１０１、光分離部１０２、撮像素子（可視光）１０３、撮像素子（赤外光）１０４、合成処理部１０５、制御部１０６、赤外照明部１１０、ホワイトバランス調整部１１１を有する。

光分離部１０２は、結像光学系１０１を通って入射した入射光の内、可視光成分を撮像素子１０３に導き、赤外光成分を撮像素子１０４に導いている。具体的には、光分離部１０２は波長選択プリズムから構成されており、特定の閾値の波長よりも短い波長の光（可視光成分）は波長選択プリズムを透過し、特定の閾値の波長よりも長い波長の光（赤外光成分）は波長選択プリズムで反射される。なお、ここで透過する／反射するとは大部分（例えば８０％以上）の光が透過する／反射することを意味する。また、特定の閾値は、例えば、６００ｎｍ以上７５０ｎｍ以下の値が設定される。即ち、ここでは、可視光と赤外光の境目を６００ｎｍ以上７５０ｎｍ以下としている。また、赤外光とは２５００ｎｍ以下の波長の光を意味する。上述の構成により、可視光は撮像素子１０３に入射し、赤外光は撮像素子１０４に入射することになる。

図２は、波長選択プリズムの透過率／反射率特性（分光透過スペクトル／分光反射スペクトル）を例示的に示す図である。実線が透過率、点線が反射率を示している。図２から理解されるように、波長選択プリズムを通った赤外光の大部分は反射されるものの、一部は透過することになる。詳細は後述するが、この透過成分が、従来の撮像装置における色再現性の低下の原因となる。

撮像素子１０３は少なくとも可視光に感度を有し、撮像素子１０４は少なくとも赤外光に感度を有している。例えば、撮像素子１０３及び１０４は、波長３８０ｎｍ以上波長１１００ｎｍ以下の光に感度を有する撮像素子を使用するとよい。そのため、Ｓｉを光電変換部の材料として使用した固体撮像素子を使用することが出来る。

そして、可視光を撮像する撮像素子１０３のそれぞれの画素には例えば赤（Ｒ）緑（Ｇ）青（Ｂ）の何れかのカラーフィルタが設置されている、例えば、撮像素子１０３は、ＲＧＢベイヤー配列のオンチップカラーフィルタを備えている。この構成により、撮像素子１０３の各画素は、ＲＧＢの何れかに対応する波長領域の可視光を検出する画素として構成されている。以下では、Ｒ、Ｇ、Ｂに対応する画素をそれぞれ赤画素、緑画素、青画素と呼ぶ。

上述の構成により、撮像素子１０３で取得した可視光画像１０７からは、輝度情報のほかに色情報（すなわちＲＧＢの何れか）を取得することができる。一方、撮像素子１０４で取得した赤外光画像１０８からは、輝度情報のみを取得することができる。各々の固体撮像素子１０３、１０４の駆動および画像の読み出しは、制御部１０６が制御している。

赤外照明部１１０は、被写体を含む撮影範囲に向けて赤外光を照射する光源であり、例えばＡｌＧａＡｓなどの化合物半導体から構成される発光ダイオード（ＬＥＤ）である。赤外照明部１１０からの射出光の強度（射出強度）は変化可能に構成されており、強度が大きいほど、被写体における赤外反射光が増大し、撮像素子１０４に入射する赤外光の量が増大する。そのため、適切に赤外光を照射することにより赤外光画像１０８のＳＮ比を向上させることができる。

例えば、赤外照明部１１０からの射出光の強度は、撮影環境の照度などによって決定すればよく、制御部１０５によって制御される。具体的には、撮影環境の照度が低いほど、赤外照明部１１０からの射出光の強度が大きくなるように制御すればよい。可視光用の撮像素子１０３で取得した可視光画像の各画素の信号レベルが低いほど、あるいは、不図示の可視光照度センサにおける信号レベルが低いほど、撮影環境の照度が低いと判断することができる。

ホワイトバランス（ＷＢ）調整部１１１は、撮像素子１０３で取得した可視光画像１０７の色を調整する部分である。詳細は後述するが、第１実施形態に係る撮像装置１００は、ＷＢ調整部１１１におけるＷＢ調整前に、赤画素、青画素の信号レベルに対する色ゲインに比較し緑画素の信号レベルに対する色ゲインを相対的に上げるよう構成される。これにより、色再現性の低下を抑制する。なお、以下の説明においては、色ゲインの調整を、ＷＢ調整前に分離して行う構成について説明するが、ＷＢ調整時に合わせて行ってもよい。

合成処理部１０５は、ＷＢ調整後の可視光画像１０７と赤外光画像１０８を合成して、合成画像１０９を生成する。まず、ベイヤー配列のＲＧＢ形式で読み出された可視光画像１０７をデモザイク処理及び現像処理してＹＵＶ形式の画像に変換する。得られたＹＵＶ形式の可視光画像１０７のＹＵＶ信号を各々、Ｙ１、Ｕ１、Ｖ１とする。同様に、赤外光画像１０８を現像してＹＵＶ形式に変換する。この際の赤外光画像１０８のＹ信号をＹ２とする。なお、上述のように赤外光画像１０８は色情報を有さないため、ＵとＶの値はゼロである。

次に、Ｙ１信号とＹ２信号を合成して、合成画像１０９を生成する。具体的には、合成画像１０９のＹＵＶ信号を各々、Ｙ３、Ｕ３、Ｖ３とした時、以下のような式を用いて合成画像１０９を生成する。

Ｙ３ ＝ α×Ｙ１＋（１－α）×Ｙ２ ・・・（１）
Ｕ３ ＝ Ｕ１ ・・・（２）
Ｖ３ ＝ Ｖ１ ・・・（３）
ここで、αは０以上１以下の実数である。式（１）から理解できるように、αの値が大きいほど、合成画像１０９は可視光画像１０７に近い画像となり、αの値が小さいほど、合成画像１０９は赤外光画像１０８に近い画像となる。

前述したように、撮像装置１００では、夜間などの低照度時には赤外照明部１１０により被写体を照射することにより、赤外光画像１０８のＳＮ比を向上させている。従って、合成処理部１０５によって合成処理を行うことで、可視光画像１０７よりもＳＮ比に優れた輝度情報を有しかつ色情報を有する合成画像１０９を生成することができる。

＜画像処理の詳細＞
以下では、従来技術における課題である色再現性の低下についてより詳細に説明するとともに、その解決策としての第１実施形態における画像処理について説明する。

まず、従来の撮像装置において、赤外照明部からの射出光の強度が強い場合に、可視光用の固体撮像素子によって取得される可視光画像および／または合成画像における色再現性が低下する原因について説明を行う。なお、従来の撮像装置の構成は第１実施形態に係る撮像装置の構成とほぼ同様であるが、制御部１０６による制御内容やＷＢ調整部１１１における調整の詳細が異なる。

図３は、赤外照明部１１０からの射出光の強度がゼロの場合におけるＷＢ調整を説明する図である。一方、図４は、赤外照明部１１０からの射出光の強度が強い場合の、ＷＢ調整への影響を説明する図である。特に、図３（ａ）及び図４（ａ）は、撮像素子１０３における（＝ＷＢ調整部１１１によるＷＢ調整前）、赤、青、緑の各々の信号レベルを例示的に示している。そして、図３（ｂ）及び図４（ｂ）は、ＷＢ調整後の、赤、青、緑の各々の信号レベルを例示的に示している。更に、図３（ｃ）及び図４（ｃ）は、ＷＢ調整後、ＹＵＶ現像した後のＵＶ平面における白色点の位置を例示的に示している。

まず、図３（ａ）を参照して、赤外照明部１１０からの射出光の強度がゼロの場合について説明する。図３（ａ）では、緑画素の信号レベルが赤画素及び青画素の信号レベルより高い例を示している。一般的に、可視光取得用の固体撮像素子の感度は、人間の比視感度に合わせて設計されている。具体的には、可視光の波長帯域において、緑画素の感度が赤画素や青画素の感度よりも高くなるように設計される。従って、ＷＢ調整前には、図３（ａ）のように、緑画素の信号レベルが、赤画素や青画素の信号レベルよりも高くなっている。

また、赤、緑、青の各々の画素に入射する光の量は、環境光の色温度によって変化する。そこで、環境光の色温度による色バランスの変化を調整するために、画像に含まれる白色（グレーを含む）の被写体を探す。そして、図３（ｂ）のように、各色の画素の信号レベルにゲインを掛けて、白色の被写体の、赤画素、緑画素、青画素の信号レベルを一致させる。この際、各色の画素の信号レベルに対するゲインをＷＢゲインと呼ぶ。

ＷＢ調整を行い各々の画素の信号レベルを一致させることにより、ＹＵＶ変換を行ったとき、図３（ｃ）に示すように、ＷＢ調整後の画像におけるＵ信号とＶ信号の値はゼロとなる。即ち、環境光の色温度によらず、白色の被写体を白色の画像として表現できることになる。

一方、赤外照明部１１０からの射出光が強い場合には、光分離部１０２（波長選択プリズム）を透過した一部の赤外光は、撮像素子１０３の各画素に入射することになる。すなわち、図２を参照して説明したように、赤外光の一部は透過し、撮像素子１０３に入射することになる。

ここで、可視光取得用の撮像素子１０３の各色の画素に対し、可視光に対する感度に関する要請はあるものの、赤外光に対する感度に関する要請は無い。そのため、可視光取得用の撮像素子１０３における赤外光の波長域に対する感度は、赤画素、緑画素、青画素で同程度になっている。

その結果、赤外照明部からの射出光の一部が撮像素子１０３中の各画素に混入した場合、図４（ａ）のようになる。図４（ａ）において、ハッチングした部分が、混入した赤外光に起因する成分を例示的に示している。図４（ａ）から理解されるように、各色の信号レベルの比率に関して、相対的に、緑画素の信号レベルが小さく、赤画素や青画素の信号レベルが大きくなる。従って、赤外照明部からの射出光の強度がゼロの場合のＷＢゲインをそのまま使用した場合、図４（ｂ）のように、赤画素、青画素の信号レベルの方が、緑画素の信号レベルよりも高くなる。その結果、図４（ｃ）のように、Ｕ信号とＶ信号がそれぞれプラス側に移動し、可視光画像全体がマゼンタ（赤紫）方向の色ずれを起こしてしまうことになる。

前述したように、赤外光画像１０８は色情報を有さないため、可視光画像１０７がマゼンタ方向に色ずれを起こしてしまうと、合成画像１０９もマゼンタ方向に色ずれを起こしてしまうことになる。即ち、合成処理後の合成画像１０９においても色再現性が低下してしまう。

そこで、第１実施形態に係る撮像装置１００では、ＷＢ調整部１１１において、ＷＢ調整前に、緑画素に対するゲインよりも赤画素、青画素に対するゲインを大きく設定することで、色再現性の低下を抑制する。

図５は、赤外照明部１１０からの射出光の強度が強い場合の、第１実施形態におけるＷＢ調整を説明する図である。図５（ａ）は、撮像素子１０３における（＝ＷＢ調整部１１１によるＷＢ調整前）、赤、青、緑の各々の信号レベルを例示的に示している。図５（ｂ）は、ＷＢ調整後の、赤、青、緑の各々の信号レベルを例示的に示している。更に、図５（ｃ）は、ＷＢ調整後、ＹＵＶ現像した後のＵＶ平面における白色点の位置を例示的に示している。

撮像装置１００においても、従来の撮像装置と同様、赤外照明部からの射出光の一部が、撮像素子１０３中の各画素に混入することになる。即ち、図５（ａ）に示す各色の信号レベルは、図４（ａ）に示す各色の信号レベルと等しく、図３（ａ）に示す各色の信号レベルとは異なっている。

そこで、撮像装置１００では、ＷＢ調整前に、緑の信号レベルに対して、赤や青の信号レベルに対するものよりも相対的に大きい色ゲインを乗じる。図５（ａ’）は、図５（ａ）に示す各色の信号レベルに対して色ゲインを乗じた場合の、赤、青、緑の各々の信号レベルを例示的に示している。その後、図５（ａ’）に示す各色の信号レベルに対して、赤外照明部１１０からの射出光の強度がゼロの場合のＷＢゲインをそのまま使用してＷＢ調整を行う。この構成により、図５（ｂ）においては、図４（ｂ）に比較して、各色の信号レベルの差を抑制することができる。その結果、図５（ｂ）及び図５（ｃ）を参照して理解されるように、従来の撮像装置に比較し、可視光画像におけるマゼンタ方向の色ずれを抑制することができる。即ち、合成処理後の合成画像１０９においても色再現性の低下を抑制することが可能となる。

＜ＷＢ調整前のレベル調整（各色に対する色ゲイン）の詳細＞
ところで、ＷＢ調整後の色再現性を向上させる（図５（ｃ）において白色点を原点に近づける）ためには、図５（ａ）において、混入した赤外光に起因する信号成分（以下、迷光成分と呼ぶ）の受光強度を知る必要がある。以下では、迷光成分の受光強度を推定する手法について２通りを説明する。

１つ目の手法は、赤外照明部１１０からの射出光の強度を時間経過に応じて変えながら異なる複数の時刻で画像を取得し、各色の信号レベルの変化を評価する方法である。

図６は、赤外照明部１１０からの射出光の強度を変化させた場合の可視光の信号レベルの変化を例示的に示す図である。図６（ａ）は、撮像素子１０３における、赤、青、緑の各々の信号レベルを例示的に示しており、図４（ａ）及び図５（ａ）と同じである。図６（ｂ）は、図６（ａ）に対し、赤外照明部１１０からの射出光の強度を２倍に上げた場合の、撮像素子１０３における、赤、青、緑の各々の信号レベルを例示的に示している。

図６（ａ）及び図６（ｂ）を参照して理解されるように、図６（ｂ）は、図６（ａ）に対して、迷光成分のみが変化することになる。そのため、図６（ｂ）の信号レベルから、図６（ａ）の信号レベルを引くことで、迷光成分を推定することができる。従って、図６（ａ）に示す信号レベルから求めた迷光成分を引くことで、図６（ｃ）に示される迷光成分を含まない各色の信号レベルを求めることができる。すなわち、理想的には、図３（ａ）と同様の各色の信号レベルを求めることができる。迷光成分を含まない各色の信号レベルが分かると、図６（ｃ）と同じ、赤画素、緑画素、青画素の比が再現できるように、ＷＢ調整前に、色ゲインを掛ければよい。

なお、上述の例では、説明を簡単にするために、射出光の強度を２倍にするとしたが、強度が互いに異なる任意の２種類の射出光に対する信号レベルを取得すれば足りる。すなわち、第２の射出光の強度における信号レベル（図６（ｂ））から、第１の射出光の強度における信号レベル（図６（ａ））を引くことで求まる、迷光成分のみの信号レベルを用いて、任意の照射光の強度における信号レベルを求めれば良い。

また、図６（ａ）と図６（ｂ）を比較して理解されるように、赤外照明部１１０からの射出光の強度が大きいほど、緑画素の信号レベルに対する色ゲインを、赤画素、青画素の信号レベルに対する色ゲインよりも大きくするとよい。

２つ目の手法は、赤外照明部１１０からの射出光の強度の空間分布を利用する方法である。一般に、ＬＥＤからの射出光分布は、ＬＥＤの光軸に沿った方向が最も強く、光軸から離れるにつれて射出光の強度が低下する。そのため、赤外照明部１１０の光軸が撮像装置１００の撮影方向の中心（結像光学系１０１の光軸）と一致している場合、撮像素子１０３における像高が大きいほど迷光成分が小さくなる。

そのため、画像内の像高の異なる複数の画像領域（画素位置）の信号レベルを求めることで、迷光成分のみが異なる複数の信号レベルを取得することができる。従って、図６を参照して説明した１つ目の手法と同様に、迷光成分のみが異なる複数の信号レベル間で差分演算を行うことで、迷光成分を含まない各色の信号レベルを求めることができる。

なお、迷光成分の推定は、赤外照明部１１０からの射出光の強度が変わるたびに毎回行っても良いし、撮像装置１００の設置時に行いそのときのデータを参照しても良い。前者の方が迷光成分の推定精度が高いが、迷光推定のための画像取得を必要とするため、色再現性の低下を抑制した画像を取得するまでの時間が長くなる。一方、後者の方は、迷光成分の推定精度が低下する可能性があるが、色再現性の低下を抑制した画像を取得するまでの時間を短くすることができる。

一般に、信号レベルは、環境光を含む照明光のスペクトル分布、被写体の分光反射率、画素の分光感度の三つの要因で決定される。ここで、定点を撮影している撮像装置を想定すると、動体ではない白色被写体の位置は時間的に変動しない。そのため、照明光のスペクトル分布のみが時間的に変動する要因となる。更に、赤外光の波長域においては、環境光よりも赤外照明部１１０からの射出光が支配的である。従って、迷光成分の受光強度は、赤外照明部１１０からの射出光の強度の変化が無ければほとんど変動しない。

そのため、監視用途などの、定点を撮影する場合においては、後者の構成（撮像装置１００の設置時に迷光成分の推定を予め行っておく構成）においても、短時間で精度良く色再現性の低下を抑制することができる。

以上説明したとおり第１実施形態によれば、ＷＢ調整前に各色の色ゲインを調整する。特に、緑画素に対する色ゲインを、赤画素、青画素に対する色ゲインよりも大きく設定する。この構成により、可視光画像におけるマゼンタ方向の色ずれを抑制することができる。即ち、合成処理後の合成画像においても色再現性の低下を抑制することが可能となる。 なお、上述の説明では、撮像装置１００が、常に合成画像１０９を生成するよう説明を行ったが、可視光画像１０７や赤外光画像１０８を出力する動作モードがあっても良い。例えば、可視域において十分な照度が得られている場合には可視光画像１０７を出力し、照度が低下した場合に合成画像１０９あるいは赤外域のみの赤外光画像１０８を出力するよう構成してもよい。なお、照度が低下するに従って、順次、可視光画像１０７から合成画像１０９、合成画像１０９から赤外光画像１０８と切り替えて出力するよう構成してもよい。

（変形例）
前述したように、迷光成分の受光強度は、波長選択プリズムの特性（具体的には、赤外光の波長帯域の透過率）に依存する。従って、波長選択プリズムの赤外光の波長帯域の透過率が所定の率（例えば１％や１０％など）以上の場合に、上述の色ゲインの調整を行うよう構成するとよい。なお、波長選択プリズムを用いて可視光と赤外光を分離する構成について説明したが、可視光と赤外光とをそれぞれ別個の光学系で撮像する構成であってもよい。

なお、赤外照明部１１０からの射出光の強度が変わった後に、自動で白色の被写体を探索しＷＢを調整する（所謂、オートホワイトバランス（ＡＷＢ））こともできる。ただし、赤外照明部１１０からの射出光の強度が変わるのと同時に、色ゲインの調整を行った方が良い。

すなわち、赤外照明部１１０からの射出光の強度が変わった後にＷＢを調整するよう構成した場合、ＷＢ調整のための画像取得が新たに必要になる。その結果、色再現性の低下を抑制した画像を取得するまでに、時間がかかってしまうことになる。一方、赤外照明部１１０からの射出光の強度が変わるのと同時に色ゲインの調整を行うことにより、赤外照明部１１０からの射出光の強度の変化にほぼリアルタイムに追随して正確なＷＢ調整を行うことが出来る。

また、赤外照明部１１０からの射出光の強度が強すぎる場合、白色の被写体の探索が困難となり、結果としてＷＢ調整が不十分になってしまう傾向にある。これは、赤外照明部１１０からの射出光強度が強いほど、白色の被写体においてマゼンタ方向の色ずれが強く発生することに起因する。この場合、撮像装置１００は、白色の被写体をマゼンタの被写体と判断してしまい、その結果、ＷＢ調整の量が不十分になってしまう。

なお、赤外照明部１１０からの射出光強度の変化と同時に色ゲインによる第１の色調整を行い、かつ、照明光強度が変わった後（すなわち、第１の色調整が適用された後）に第２の色調整（ＡＷＢ調整）を行うよう構成してもよい。このような構成とした場合、色ゲイン調整時に粗くＷＢを調整し、照明光強度が実際に変わった後で、更に細かくＷＢを調整する、といった二段階での調整が可能となる。

この二段階での調整は、色ゲインの調整時に迷光成分を正確に取得しておかなくても、色再現性の低下を抑制することができるという点で、色ゲイン調整のみの構成に比較して好適である。また、赤外照明部１１０からの射出光の強度が強い場合に、白色の被写体を正しく白色の被写体として認識させることができるという点で、ＡＷＢ調整のみの構成に比較して好適である。

もちろん、迷光成分の推定による色ゲイン調整及びＡＷＢ調整のそれぞれを使用するか否かを、ユーザが選択できるよう構成してもよい。

（第２実施形態）
第２実施形態では、監視装置とクライアント装置とを含む監視システムとして実施する形態について説明する。

図７は、撮像装置２０３を含む監視システムの全体構成を示す図である。ここで、撮像装置２０３は、第１実施形態に係る撮像装置１００と同様のハードウェア構成（図１）を有する装置である。ただし、制御部１０６における制御の一部を、ユーザが操作するクライアント装置２０１が行うよう構成されている。撮像装置２０３とクライアント装置２０１とは、ネットワーク２０２を介して相互に通信可能に接続されている。なお、図７においては、撮像装置２０３及びクライアント装置２０１を１台ずつ示しているがそれぞれ複数台として構成してもよい。

クライアント装置２０１は、撮像装置２０３を制御する各種コマンドを送信する。撮像装置２０３は、クライアント装置２０１から受信したコマンドに基づいて、当該コマンドに対するレスポンスや撮像した画像データをクライアント装置２０１に送信する。撮像装置２０３が撮影に利用するパラメータは、クライアント装置２０１を介してユーザが選択できるようになっている。

クライアント装置２０１は例えばＰＣなどの機器であり、ネットワーク２０２は、 有線ＬＡＮ、無線ＬＡＮ等により構成されている。また、撮像装置２０３の電源をネットワーク２０２を介して供給する構成としても良い。

以上説明したとおり第２実施形態によれば、ユーザが操作するクライアント装置２０１を撮像装置２０３とは別体として構成する。この構成により、ユーザは、遠隔地にある撮像装置２０３を制御することが可能となる。また、複数の撮像装置２０３をまとめて管理することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００ 撮像装置； １０１ 結像光学系； １０２ 光分離部； １０３ 撮像素子（可視光）； １０４ 撮像素子（赤外光）； １０５ 合成処理部； １０６ 制御部； １１０ 赤外照明部； １１１ ホワイトバランス調整部

Claims (10)

1. 結像光学系からの入射光に基づいて可視域の画像を生成する第１の撮像素子により得られた第１の画像を取得する取得手段と、
   前記第１の撮像素子に入射する赤外光の受光強度を推定する推定手段と、
   前記推定手段により推定された受光強度に基づいて、前記第１の画像に対するホワイトバランス調整を制御する制御手段と、
   を有し、
   前記第１の画像は赤画素、緑画素、青画素から構成されており、
   前記制御手段は、前記受光強度が大きいほど前記第１の画像における緑画素に対する色ゲインを赤画素及び青画素に対する色ゲインよりも大きく設定し、前記ホワイトバランス調整を行うよう制御する
   ことを特徴とする画像処理装置。
2. 前記第１の画像に含まれる被写体を含む撮影範囲に対して赤外光を射出する照明手段を更に有し、
   前記推定手段は、前記照明手段から射出される赤外光の射出強度に基づいて、前記受光強度を推定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記照明手段は、時間経過に応じて赤外光の射出強度を変化可能に構成されており、
   前記制御手段は、前記照明手段による射出強度が異なる複数の時刻において前記第１の撮像素子により得られた複数の第１の画像における信号レベルを比較することにより、緑画素、赤画素、青画素それぞれに対する色ゲインを決定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記照明手段は、前記撮影範囲に対して所定の空間分布を有する射出強度で赤外光を射出するよう構成されており、
   前記制御手段は、前記第１の画像内の複数の画素位置における信号レベルを比較することにより、緑画素、赤画素、青画素それぞれに対する色ゲインを決定する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記ホワイトバランス調整は、前記色ゲインに基づく調整を行う第１の色調整と、該第１の色調整による調整後の画像に対して白色の被写体を探索しホワイトバランスを調整する第２の色調整と、を含む
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記第１の撮像素子は、前記結像光学系からの入射光を可視光成分と赤外光成分とに分離する光分離手段により分離された前記可視光成分に基づいて可視域の画像を生成するよう構成されており、
   前記取得手段は、更に、前記光分離手段により分離された前記赤外光成分に基づいて赤外域の画像を生成する第２の撮像素子により得られた第２の画像を取得するよう構成されており、
   前記画像処理装置は、
   前記ホワイトバランス調整が適用された第１の画像と前記第２の画像とを合成し合成画像を生成する合成手段を更に有する
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 画像処理装置の制御方法であって、
   結像光学系からの入射光に基づいて可視域の画像を生成する第１の撮像素子により得られた第１の画像を取得する取得工程と、
   前記第１の撮像素子に入射する赤外光の受光強度を推定する推定工程と、
   前記推定工程により推定された受光強度に基づいて、前記第１の画像に対するホワイトバランス調整を制御する制御工程と、
   を含み、
   前記第１の画像は赤画素、緑画素、青画素から構成されており、
   前記制御工程では、前記受光強度が大きいほど前記第１の画像における緑画素に対する色ゲインを赤画素及び青画素に対する色ゲインよりも大きく設定し、前記ホワイトバランス調整を行うよう制御する
   ことを特徴とする制御方法。
8. 結像光学系と、
   前記結像光学系からの入射光を可視光成分と赤外光成分とに分離する光分離手段と、
   前記可視光成分に基づいて可視域の画像を生成する第１の撮像素子と、
   前記赤外光成分に基づいて赤外域の画像を生成する第２の撮像素子と、
   前記第１の撮像素子により得られた第１の画像に対するホワイトバランス調整を行う調整手段と、
   前記第１の撮像素子に入射する赤外光の受光強度に基づいて、前記調整手段におけるホワイトバランス調整を制御する制御手段と、
   前記調整手段におけるホワイトバランス調整が適用された第１の画像と前記第２の撮像素子により得られた第２の画像とを合成し合成画像を生成する合成手段と、
   を有し、
   前記第１の画像は赤画素、緑画素、青画素から構成されており、
   前記制御手段は、前記受光強度が大きいほど前記第１の画像における緑画素に対する色ゲインを赤画素及び青画素に対する色ゲインよりも大きく設定し、前記ホワイトバランス調整を行うよう制御する
   ことを特徴とする撮像装置。
9. 請求項８に記載の撮像装置と、
   前記撮像装置とネットワークを介して接続され、前記撮像装置により得られた画像を受信するクライアント装置と、
   を含む監視システム。
10. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images