本発明は、赤外カットフィルタを挿抜可能なビデオカメラ等の撮像装置に関する。
ビデオカメラ等の撮像装置は、入射した光により被写体像を形成する撮像光学系と、該被写体像を光電変換する撮像素子と、該撮像素子からの出力信号に対して各種信号処理を施すことにより画像を生成する画像生成回路とを有する。撮像素子としては、CCDセンサやCMOSセンサ等が用いられ、該撮像素子を1枚だけ用いる単板式の撮像装置においては、撮像素子の画素ごとに互いに異なる色に対応する色フィルタが配置される。
赤(R),緑(G)及び青(B)の色信号を得るには、色フィルタとしてRGBの原色フィルタを用いる場合と、マジェンタ(Mg),シアン(Cy),イエロー(Ye)及びGの補色フィルタを用いる場合とがある。これらの色フィルタはいずれも、染料又は顔料を用いてR,G,B,Mg,Cy又はイエローの光のみを透過させるように分光透過特性が設計されているが、近赤外領域の光に対してはある程度の透過率を有する。また、撮像素子の光電変換部は、主にシリコン(Si)等の半導体で構成されているため、光電変換部の分光感度特性は波長の長い近赤外光まで感度を有する。このため、色フィルタを備えた撮像素子から得られた信号は、近赤外領域の光の光電変換成分も含んでいる。
一方、人間の色に対する感度特性である色覚特性と明るさに対する感度特性である比視感度特性は、可視域である380nmから780nmまでの感度特性であり、700nmより長波長域ではほとんど感度を有さない。そこで、一般的な撮像においては、色再現性を人間の色覚特性に合わせるために、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外カットフィルタ(以下、IRCFという)を設ける必要がある。これに対し、監視カメラ等のように色再現性よりも感度を重視する場合は、近赤外領域の光を利用するため、IRCFを設けずに撮像素子に近赤外光を受光させる方がよい。
このため、色再現性を重視する場合はIRCFを撮像素子の前に配置(挿入)してカラー映像を出力し、感度を優先する場合はIRCFを撮像素子の前から除去する(抜出する)撮像装置が提案されている。通常、IRCFを撮像素子の前から除去した場合は、画像のカラーバランスが崩れるため、白黒映像を出力する。
特許文献1には、IRCFを設けずに、RGBの各色にマトリクス演算を行ってカラー画像出力を行う撮像装置が開示されている。
特開2005−295419号公報
しかしながら、特許文献1にて開示された撮像装置のように、RGBの各色に対するマトリクス演算をソフトウェアにより行うには処理負担が大きく、またハードウェアによりマトリクス演算を行うためには、そのようなハードウェアを追加する必要が生ずる。さらに、IRCFの挿抜の前後で各色の比較を行っていないために、同じ被写体でもIRCFの挿抜によって色が大きく変化してしまうおそれがある。
本発明は、IRCFの抜出後においてもカラー画像の出力が可能である場合に、ソフトウェアによる処理負荷が少なく、かつ余計なハードウェアを追加する必要もなく該カラー画像の出力を行えるようにした撮像装置を提供する。
本発明の一側面としての撮像装置は、撮像光学系により形成された被写体像を光電変換する撮像素子と、該撮像素子からの出力信号を用いて画像を生成する画像生成手段と、該生成された画像に関する情報を取得する情報取得手段と、撮像光学系内から撮像素子までの光路に対して挿抜される赤外カットフィルタと、撮像モードをカラーモードと白黒モードとで切り替える制御手段とを有する。そして、制御手段は、赤外カットフィルタの挿抜による画像に関する情報の変化量に応じて、赤外カットフィルタが抜出された後の撮像モードを切り替えることを特徴とする。
また、本発明の他の一側面としての撮像装置は、撮像光学系により形成された被写体像を光電変換する撮像素子と、該撮像素子からの出力信号を用いて画像を生成する画像生成手段と、生成された画像中の被写体を照らす光源に関する情報を生成する光源情報生成手段と、撮像光学系内から撮像素子までの光路に対して挿抜される赤外カットフィルタと、撮像モードをカラーモードと白黒モードとで切り替える制御手段とを有する。そして、制御手段は、光源に関する情報に応じて、赤外カットフィルタが抜出された後の撮像モードを切り替えることを特徴とする。
本発明によれば、赤外カットフィルタの抜出後においてもカラー画像の出力が可能である場合に、ソフトウェアによる処理負荷が少なく、かつ余計なハードウェアを追加する必要もなくカラー画像を出力することができる。しかも、赤外カットフィルタの挿抜による画像に関する情報の変化量又は光源に関する情報に応じて、赤外カットフィルタの抜出後にカラー画像を出力するか否かを決定するので、該フィルタの抜出によるカラー画像での同じ被写体の色の変化を抑えることができる。
以下、本発明の好ましい実施例について図面を参照しながら説明する。
図1には、本発明の実施例1である撮像装置としてのビデオカメラの構成を示す。1は撮像レンズ(撮像光学系)、2はIRCF(赤外カットフィルタ)、3はCCDセンサ又はCMOSセンサにより構成される撮像素子(以下、CCDという)である。撮像レンズ1に入射した光は、該撮像レンズ1の結像作用によってCCD3の受光面上に被写体像を形成する。
4はAD変換部であり、CCD3からのアナログ信号をデジタル信号に変換する。5は映像信号処理部であり、CCD3に設けられた色フィルタが補色フィルタである場合は、CCD3からのCy,Mg,Ye及びG成分を示す信号(出力信号)に基づいて所定の演算を行い、R,G及びBの撮像信号、すなわち原画像を生成する。なお、CCD3が原色フィルタを有する場合には、映像信号処理部5は、CCD3からのR,G及びB成分を示す出力信号に基づいてR,G及びBの撮像信号を生成する。
6はWB処理部(ホワイトバランス処理手段)であり、原画像におけるR,G及びBの撮像信号を増幅する。具体的には、後述するRGBゲイン算出部9で算出されたRゲイン,Gゲイン及びBゲイン(以下、これらを色ゲインともいう)を受けて、R,G及びB原信号のそれぞれに乗じるゲインを変えることでホワイトバランス処理(以下、WBという)を行う。映像信号処理部5及びWB処理部6により画像生成手段が構成される。ホワイトバランス処理後の画像を、以下の説明ではWB画像という。
7は情報取得手段しての輝度/色情報算出部であり、WB画像から、AE(自動露出制御)用及びIRCFの挿抜判断用の評価値である輝度情報(被写体の輝度に応じた輝度信号)Yを取得する。また、輝度/色情報算出部7は、IRCFの挿抜によるWB用の色ゲイン又は色情報の変化を見るための評価値であるR,G,Bの色信号を取得する。色ゲインや色情報は、画像に関する情報に相当する。
8はγ処理部であり、WB画像に対してγ処理を行って出力画像を生成する。WBゲイン算出部9は、輝度/色情報算出部7にて取得されたR,G,Bの色信号から被写体の白色の領域(特定領域)を検出し、該白色領域でのR,G,Bの色信号の値が互いに等しくなるように、Rゲイン,Gゲイン及びBゲインを算出する。算出されたRゲイン,Gゲイン及びBゲインは、WB処理部6に送信される。
10は色情報記憶部であり、11は色情報比較部である。色情報記憶部10は、所定時間ごとにR,G,Bの色信号(つまりは色情報)を記憶し、該色情報を色情報比較部11に送信する。
色情報比較部11は、色情報記憶部10から送信されてきた現在から所定時間前の色情報と、輝度/色情報算出部7から送信された現在の色情報との差、すなわち色情報の変化量を算出する。
12はIRCF挿抜判定部であり、輝度/色情報算出部7にて取得された輝度情報Yに基づいてIRCF2の挿抜の判定を行う。IRCF挿抜判定部12は、輝度情報Yが大きい場合にはIRCF2を撮像レンズ1内(撮像光学系内)から撮像素子3までの光路に挿入するよう判定する。これにより、IRCF2によってカットされる近赤外領域の光(近赤外光)を用いずに撮像が行われ、後述する映像信号出力部15からはカラー画像が出力される。
一方、輝度情報Yが小さい場合には、IRCF挿抜判定部12は、IRCF2を上記光路から抜出するよう判定する。IRCF2を上記光路から抜出することで、撮像素子3は近赤外の光も光電変換し、撮像素子3の感度が向上する。このとき、近赤外光の影響を受けてカラーバランスが崩れるため、後述する映像信号出力部15から白黒画像を出力させるのが一般的である。
13はIRCF制御回路であり、IRCF挿抜判定部12での判定結果を受けてIRCF2の挿抜制御を行う。具体的には、本実施例のビデオカメラは、IRCF2を保持する部材をアクチュエータの駆動力によってIRCF2が上記光路に対して挿抜されるように動作する挿抜機構を有し、IRCF制御回路13は該アクチュエータの駆動を制御する。
14は制御手段としての映像選択部である。映像選択部14は、IRCF挿抜判定部12からの判定結果を受けて、IRCF2の挿抜による色情報比較部11からの色情報の変化量に応じてカラー画像出力と白黒画像出力のうちいずれかを選択(設定)する。以下の説明において、カラー画像を出力する撮像モードをカラーモードともいい、白黒画像を出力する撮像モードを白黒モードともいう。
映像信号出力部15は、映像選択部14からの選択情報を受けて、カラー画像出力又は白黒画像出力を行う。ここにいう出力は、不図示のディスプレイに画像を表示したり、不図示の記録媒体(半導体メモリ、磁気テープ、光ディスク等)に記録したりすることに相当する。
次に、本実施例におけるIRCF2の抜出後におけるカラー画像出力と白黒画像出力の選択について説明する。
監視カメラのように昼夜問わず使用されるカメラにおいては、日中において明度が十分な場合には、IRCF2を光路内に挿入してカラー画像を出力する。夜間になって明度が不十分になると、ゲインによるノイズの影響から、色再現性よりも感度を重視する。その場合には、近赤外光を利用するため、IRCF2を光路内に挿入せず、CCD3に近赤外光を光電変換させる。
図2及び図3には、CCDの分光透過率特性を示している。原色フィルタを有するCCD(以下、原色CCDという)では、図2に示すようなR,G及びB光に対する透過率(つまりは撮像信号)が得られる。また、補色フィルタを有するCCD(以下、補色CCDという)では、図3に示すようなMg,Gr,Cy及びY光に対する透過率(撮像信号)が得られる。図中の「IRCF」は、Rよりも長波長側の光(近赤外光及び赤外光)を除去するIRCF2の分光透過率特性である。
IRCF2が光路から抜出されることにより、IRCF2で除去されていた約650nmより長波長側の光に対してもCCD3が感度を有するようになるため、CCD3の感度を上げることが可能となる。ただし、近赤外光の影響により、R光、又はMg及びYe光に対する感度が著しく上がるため、カラーバランスが崩れる。カラーバランスが崩れると、正しく色再現ができないため、通常は白黒画像を出力する。
ここで、図4、図5、図6及び図7には、各種光源の分光特性を示す。図4及び図5にそれぞれ示すような蛍光灯や水銀灯では、650nm以上の波長成分がなく、IRCF2の挿抜による色情報の変化量が多くない。したがって、色再現性をほぼ維持したカラー画像の出力が可能となる。色情報は、被写体の持つ主たる情報であるため、カラー画像を出力する方が望ましい。
図6には、赤外照明の分光特性を示している。一般に、赤外照明にはLEDが使用されることが多く、800〜1000nmの短波長光が発せられる。800nmより長波長側になると、原色CCD及び補色CCDとも、各色フィルタの透過率がほぼ同じとなり、CCDの感度は上がるが、カラーバランスは大きくは崩れない。このため、カラー画像の出力を行うことができる。これに対し、図7に示す白熱灯では、650nm以上の波長成分を多く含んでいるため、画像が赤みを帯びてカラーバランスが大きく崩れる。このため、IRCF2を光路外に抜出して、白黒画像の出力に切り替える方がよい。
本実施例では、このような理論に基づいて、IRCF2の挿抜による画像に関する情報(色情報)の変化量に応じて撮像モードを切り替える。
次に、図8のフローチャートを用いて、IRCF2の挿抜に応じたカラー画像出力と白黒画像出力との切り替え制御について説明する。この制御は、主としてWBゲイン算出部9、輝度/色情報算出部7、IRCF挿抜判定部12、IRCF制御回路13及び映像選択部14がコンピュータプログラムに従って動作することで実行される。
輝度情報Yが閾値Ythよりも小さい場合、IRCF挿抜判定部12は、IRCF2を抜出すべきと判定し、IRCF2の抜出指示をIRCF制御回路13に送る。これにより、IRCF制御回路13は、IRCF2を光路外に抜出する。この際、IRCF挿抜判定部12は、IRCF2が抜出されたことを示す情報を映像選択部14に送る(S801)。
輝度/色情報算出部7は、WB画像を複数の領域に分割し、該領域ごとにRとBの色情報を所定時間ごとに色情報記憶部10に記憶させている。色情報比較部11は、輝度/色情報算出部7からのIRCF2の抜出後の(抜出状態での)色情報と、色情報記憶部10からのIRCF2の抜出前の(挿入状態での)色情報とを比較し、色情報の変化量ΔR,ΔBを算出する(S802)。
ここで、WB画像において白色の領域(特定領域)は、波長領域400〜650nmの全波長成分を反射する領域である。色情報を比較する領域として、WBゲイン算出部9にて算出される白色領域を用いることにより、色情報の変化量ΔR,ΔBをともに偏りなく算出することができる。
なお、WB画像において注目する領域が決まっている場合には、該領域を予め指定(設定)しておき、その領域のIRCF2抜出前後での色情報の変化量を求めてもよい。また、WB画像において注目する被写体が決まっている場合には、その被写体の動きを動体検出処理により検出し、その検出結果に基づいて該被写体の少なくとも1部を含む領域のIRCF2抜出前後での色情報の変化量を求めてもよい。このような色情報(画像に関する情報)の変化量を求める領域を選択する選択手段を設けることにより、注目領域や注目被写体を含む領域以外の領域での色情報の変化に起因する誤動作を減少させることができる。注目領域の選択をユーザが不図示の操作スイッチを介して行えるようにしてもよい。これらのことは、後述する他の実施例でも同様である。
また、被写体の動きが多いシーンにおいては、長時間にわたって色の変化の少ない領域での色情報の変化量、又はWB画像全体での平均値としての色情報の変化量を求めるようにするとよい。これにより、IRCF2の挿抜前後での被写体の動きによる色情報の変化量ΔR,ΔBの誤算出を回避することができる。
次に、映像選択部14は、S802で算出された色情報の変化量ΔR,ΔBをそれぞれ、所定値としての閾値Rth,Bthと比較する(S803)。閾値Rth,Bthは、カラーバランスの変化(崩れ)が許容される色情報の変化量の最大値であり、画像の画素数やノイズ感等に依存するパラメータである。ビデオカメラの使用環境やユーザの画像の好み等に応じて、閾値Rth,Bthを任意に設定できるようにしてもよい。
ここで、色情報の変化量が閾値より大きいと判定する条件として、
ΔR>Rth or ΔB>Bth …(1)
を設定することにより、色情報の変化に対して敏感に反応することが可能となる。
また、色情報の変化量が閾値より大きいと判定する条件として、
ΔR>Rth and ΔB>Bth …(2)
を設定すれば、式(1)に比べて、色情報の変化が確実にあった場合にのみに色情報の変化量が大きいと判断することができる。
上記のように、閾値Rth,Bthと論理(or,and)との組み合わせにより、色情報の変化に対する誤判定を防止し、意図した色の変化に対してのみ色の変化があると判定することが可能となる。
また、色情報の変化量の大小判定を行う場合に、IRCF2の抜出前と抜出後における色情報を時間的に平均しておくとよい。このように時間的に平均化された色情報を用いることにより、ゲイン等によるノイズの影響を大きく受けることなく、色情報の変化量を正確に算出することができる。
映像選択部14は、IRCF2の挿抜前後での色情報の変化量が上記閾値より大きいと判定した場合、つまりカラーバランスに許容できない崩れが生じた場合は、色再現性が確保されていないとして、白黒画像出力を選択する(S804)。すなわち、IRCF2の抜出後の撮像モードとして白黒モードを選択(設定)する。
一方、IRCF2が抜出されたが、色情報の変化量が上記閾値より小さいと判定した場合、つまりカラーバランスが大きくは崩れておらず、ほぼ色再現性が確保されている場合は、映像選択部14は、カラー画像出力を選択する(S805)。すなわち、IRCF2の抜出後の撮像モードとしてカラーモードを選択する。
このように、本実施例では、IRCF2の挿抜による色情報の変化量が小さい場合に限ってIRCF2の抜出後にカラー画像を出力するので、IRCF2の抜出によるカラー画像での同じ被写体の色の変化を抑えることができる。また、IRCF2の抜出後にカラー画像を出力する際のソフトウェアよる処理負荷が少なく、かつ余計なハードウェアを追加する必要もない。
次に、図9のフローチャートを用いて、IRCF2の抜出後におけるカラー画像出力の継続判定処理について説明する。この処理は、映像選択部14により行われる。
映像選択部14は、IRCF2の抜出後(カラー画像出力状態)における所定時間Tごとに色情報の変化量を算出する(S901,S902)。ここでの所定時間Tは、RとBの色情報の安定度に応じて決定される。ゲイン等の影響によるノイズ成分の発生により色情報が大きく変動することがある。このため、所定時間Tとしては、該所定時間Tでの色情報の平均化によってノイズ成分を十分吸収できる時間が設定される。
色情報の変化量を算出するためには、IRCF2の抜出前の色情報とIRCF2の抜出後に所定時間Tごとに算出される色情報とを比較する。これは、IRCF2の抜出後に、IRCF2の抜出前とは異なる光源からの照明光が被写体に照射されたような場合に、被写体の色情報が変化して正しい色再現が行われていない状態を判定するためである。
そして、映像選択部14は、S803と同様に、色情報の変化量の大小判定を行う(S903)。色情報の変化量が大きい場合には白黒画像出力に切り替え(S904)、変化量が小さい場合には引き続きカラー画像出力を継続する(S905)。
このように、IRCF2の抜出後にも色情報の変化を監視することにより、IRCF2の抜出後の光源の変化にも対応でき、高い色再現性を持ったカラー画像の出力を継続することができる。
図10には、本発明の実施例2であるビデオカメラの構成を示している。本実施例において、図1に示した構成要素と同じ構成要素には、図1と同符号を付して説明に代える。本実施例では、図1に示した色情報記憶部10の代わりに輝度情報記憶部16が設けられているとともに、図1に示した色情報比較部11の代わりに輝度情報比較部17が設けられている。
輝度情報記憶部16は、所定時間ごとに画像に関する情報としての輝度情報Yを記憶し、該輝度情報Yを輝度情報比較部17に送信する。輝度情報比較部17は、輝度情報記憶部16から送信された所定時間前の輝度情報と輝度/色情報算出部7にて算出されて送信された現在の輝度情報とから、輝度情報の変化量を算出する。
実施例1でも説明したように、IRCF挿抜判定部12は、輝度情報Yが大きい場合には、IRCF2を光路内に挿入するよう判定する。一方、輝度情報Yが小さい場合には、IRCF2を光路から抜出するよう判定する。
本実施例における映像選択部14は、IRCF挿抜判定部12からの判定結果と輝度情報比較部17からの輝度情報とに基づいて、IRCF2を抜出した状態でカラー画像出力と白黒画像出力のうちどちらを行うかを選択する。
次に、図11のフローチャートを用いて、IRCF2の挿抜に応じたカラー画像出力と白黒画像出力との切り替え制御について説明する。この制御は、主としてWBゲイン算出部9、輝度/色情報算出部7、IRCF挿抜判定部12、IRCF制御回路13及び映像選択部14がコンピュータプログラムに従って動作することで実行される。
輝度情報Yが閾値Ythよりも小さい場合、IRCF挿抜判定部12は、IRCF2を抜出すべきと判定し、IRCF2の抜出指示をIRCF制御回路13に送る。これにより、IRCF制御回路13は、IRCF2を光路外に抜出する。この際、IRCF挿抜判定部12は、IRCF2が抜出されたことを示す情報を映像選択部14に送る(S1101)。
輝度/色情報算出部7は、WB画像を複数の領域に分割し、該領域ごとに輝度情報Yを所定時間ごとに輝度情報記憶部16に記憶させている。輝度情報比較部17は、輝度/色情報算出部7からのIRCF2の抜出後の輝度情報と、輝度情報記憶部16からのIRCF2抜出前の輝度情報とを比較し、輝度情報Yの変化量ΔYを算出する(S1102)。
被写体の動きが多いシーンにおいては、長時間にわたって輝度の変化の少ない領域での輝度情報の変化量、又はWB画像全体での平均値としての輝度情報の変化量を求めるようにするとよい。これにより、IRCF2の挿抜前後での被写体の動きによる輝度情報の変化量ΔYの誤算出を回避することができる。
次に、映像選択部14は、S1102で算出された輝度情報Yの変化量ΔYを、所定値としての閾値Ythと比較する(S1103)。閾値Ythは、カラーバランスの変化(崩れ)が許容される色情報の変化量の最大値であり、画像の画素数やノイズ感等に依存するパラメータである。ビデオカメラの使用環境やユーザの画像の好み等に応じて、閾値Ythを任意に設定できるようにしてもよい。
また、輝度情報の変化量の大小判定を行う場合に、IRCF2の抜出前と抜出後における輝度情報を時間的に平均しておくとよい。このように時間的に平均化された輝度情報を用いることにより、ゲイン等によるノイズの影響を大きく受けることなく、輝度情報の変化量を正確に算出することができる。
映像選択部14は、IRCF2の挿抜前後での輝度情報Yの変化量ΔYが閾値Ythより大きいと判定した場合、つまりカラーバランスに許容できない崩れが生じた場合は、色再現性が確保されていないとして、白黒画像出力を選択する(S1104)。すなわち、IRCF2の抜出後の撮像モードとして白黒モードを選択する。
一方、IRCF2が抜出されたが、輝度情報Yの変化量ΔYが閾値Ythより小さいと判定された場合、つまりカラーバランスが大きくは崩れておらず、ほぼ色再現性が確保されている場合は、映像選択部14は、カラー画像出力を選択する(S1105)。すなわち、IRCF2の抜出後の撮像モードとしてカラーモードを選択する。
このように、本実施例では、IRCF2の挿抜による輝度情報の変化量が小さい場合に限ってIRCF2の抜出後にカラー画像を出力するので、IRCF2の抜出後におけるカラー画像での同じ被写体の色の変化を抑えることができる。また、カラー画像を出力する際のソフトウェアよる処理負荷が少なく、かつ余計なハードウェアを追加する必要もない。
次に、図12のフローチャートを用いて、IRCF2の抜出後におけるカラー画像出力の継続判定処理について説明する。この処理は、映像選択部14により行われる。
映像選択部14は、IRCF2の抜出後(カラー画像出力状態)における所定時間Tごとに輝度情報Yの変化量ΔYを算出する(S1201,S1202)。ここでの所定時間Tは、輝度情報の安定度に応じて決定される。ゲイン等の影響によるノイズ成分の発生により輝度情報が大きく変動することがある。このため、所定時間Tとしては、該所定時間Tでの輝度情報の平均化によってノイズ成分を十分吸収できる時間が設定される。
輝度情報Yの変化量ΔYを算出するためには、IRCF2の抜出前の輝度情報とIRCF2の抜出後に所定時間Tごとに算出される輝度情報とを比較する。これは、IRCF2の抜出後に、IRCF2の抜出前とは異なる光源からの照明光が被写体に照射されたような場合に、被写体の色情報が変化する程の輝度変化が生じ、正しい色再現が行われていない状態を判定するためである。
そして、映像選択部14は、S1103と同様に、輝度情報の変化量の大小判定を行う(S1203)。輝度情報の変化量が所定値より大きい場合には白黒画像出力に切り替え(S1204)、変化量が所定値より小さい場合には引き続きカラー画像出力を継続する(S1205)。
このように、IRCF2の抜出後にも輝度情報の変化を監視することにより、IRCF2の抜出後の光源の変化にも対応でき、高い色再現性を持ったカラー画像の出力を継続することができる。
図13には、本発明の実施例3であるビデオカメラの構成を示している。本実施例において、図1に示した構成要素と同じ構成要素には、図1と同符号を付して説明に代える。本実施例では、図1に示した構成要素に加えて、光源算出部18と光源設定部19とが設けられている。
光源情報生成手段の1つとしての光源算出部18は、WBゲイン算出部9で算出されたRゲイン,Gゲイン及びBゲインから光源データを算出する。光源データは、WB画像中の被写体を照らす光源に関する情報である。
他の光源情報生成手段としての光源設定部19は、ビデオカメラが設置された環境の光源データをユーザがマニュアルで設定する場合に用いられる。設定された光源データは、WBゲイン算出部9に送られ、WBゲイン算出部9は、該光源データに基づいてRゲイン,Gゲイン及びBゲインを算出する。また、光源算出部18及び光源設定部19からの光源データは映像選択部14にも送信され、光源に応じてカラー画像出力と白黒画像出力のいずれかを選択する場合に使用される。
次に、本実施例におけるIRCF2の抜出後におけるカラー画像出力と白黒画像出力の選択について説明する。
図14には、WBを行ったときの各種光源によるRゲインとBゲインの分布を示している。横軸はRゲインを、縦軸はBゲインを示している。図中の楕円は各光源下でRゲインとBゲインの存在する範囲を示している。WBを行った場合のRゲインとBゲインの存在範囲は光源の種類によって異なり、Rゲイン及びBゲインの存在範囲から光源の種類をおおむね推定することができる。光源の種類が推定できれば、400nm以上の波長成分に対する650nm以上の近赤外成分が占める割合も推定することができ、この結果、IRCF2の挿抜による色情報の変化量も推定することができる。したがって、IRCF2の抜出前のRゲイン及びBゲインから光源の種類を推定することにより、IRCF2の抜出後にカラー画像出力と白黒画像出力のうちどちらを選択すべきかを判定することができる。このように、本実施例では、光源データに応じて撮像モードを切り替える。
本実施例では、IRCF2の挿抜による色情報の変化量を直接求めるわけではないが、光源データと色情報の変化量とが対応しているので、結果的にIRCF2の挿抜による色情報の変化量に応じて撮像モードを切り替えることに相当する。
また、本実施例では、特定の光源下でビデオカメラが使用されることを想定して、ユーザによって光源を設定させる光源設定部19を有する。光源設定部19で光源の種類が設定された場合には、光源算出部18で推定された光源ではなく、光源設定部19で設定された光源のデータに基づいてカラー画像出力と白黒画像出力のうちどちらを選択すべきかを判定してもよい。
さらに、特定の時間に光源からの照明が被写体に照射される場合等、撮像環境や被写体がスケジューリングされている場合も考えられる。このような場合には、スケジューリングと組み合わせてカラー画像出力と白黒画像出力のうちどちらを選択すべきかを判定することにより、光源が定期的に変化する場合でも適切な撮像モードの選択を行うことができる。
次に、図15のフローチャートを用いて、IRCF2の挿抜に応じたカラー画像出力と白黒画像出力との切り替え制御について説明する。この制御は、主としてWBゲイン算出部9、光源算出部18、IRCF挿抜判定部12、IRCF制御回路13及び映像選択部14がコンピュータプログラムに従って動作することで実行される。
輝度情報Yが閾値Ythよりも小さい場合、IRCF挿抜判定部12は、IRCF2を抜出すべきと判定し、IRCF2の抜出指示をIRCF制御回路13に送る。これにより、IRCF制御回路13は、IRCF2を光路外に抜出する。この際、IRCF挿抜判定部12は、IRCF2が抜出されたことを示す情報を映像選択部14に送る(S1501)。
次に、光源算出部18は光源データを算出する(S1502)。ここでは、上述したようにRゲイン及びBゲインの分布範囲から光源データが生成される。光源データは映像選択部14に送信される。なお、これらの処理に代えて、光源設定部19において設定された光源データを映像選択部14に送信してもよい。
映像選択部14は、光源データに基づいて、その光源がIRCF2の抜出によってカラーバランスが大きく崩れる光源か否かを判定する。具体的には、光源の近赤外成分が所定値より多い場合(例えば400nm以上の波長成分に対する近赤外成分が占める割合が所定割合より多い場合)には、カラーバランスが大きく崩れる(実施例1で説明した色情報の変化量が閾値より大きくなる)光源と判定する。一方、近赤外成分が所定値より少ない場合(例えば、上述した近赤外成分が占める割合が所定割合より少ない場合)にはカラーバランスが大きくは崩れない(色情報の変化量が閾値より小さい)光源と判定する。
映像選択部14は、カラーバランスが大きく崩れる光源である場合は白黒画像出力を選択する。すなわち、IRCF2の抜出後の撮像モードとして白黒モードを選択する。そうでない光源である場合はカラー画像出力を選択する。すなわち、IRCF2の抜出後の撮像モードとしてカラーモードを選択する(S1503,S1504,S1505)。
このように、本実施例では、光源がIRCF2の挿抜による色情報の変化量が小さい光源である場合にIRCF2の抜出後にカラー画像を出力するので、該カラー画像における同じ被写体の色の変化を抑えることができる。また、カラー画像を出力する際のソフトウェアよる処理負荷が少なく、かつ余計なハードウェアを追加する必要もない。
なお、被写体を照らす光源が近赤外光をほとんど含まない光源である場合は、IRCF2の挿入状態でのWBにおいて、図21の斜線範囲A内に存在するRゲイン及びBゲインによって被写体の色を白色に補正することができる。このため、斜線範囲(以下、白補正可能ゲイン範囲という)A内に存在するRゲイン及びBゲインによって被写体の色を白色に補正することができない場合には、光源が近赤外光を含む光源であると推定できる。つまり、IRCF2の抜出後に、近赤外光がCCD3に入射すると考えられ、カラーバランスが崩れると推定できる。
このように、光源の種類ごとの色ゲインの存在範囲ではなく、白補正可能ゲイン範囲Aに実際のRゲイン及びBゲインが存在するか否かを上記光源データに代えて光源に関する情報として取得して用いてもよい。そして、実際のRゲイン及びBゲインが白補正可能ゲイン範囲Aに存在する場合に限り、IRCF2の抜出後にカラー画像出力を行うことも可能である。
次に、図16のフローチャートを用いて、IRCF2の抜出後におけるカラー画像出力の継続判定処理について説明する。この処理は、光源算出部18及び映像選択部14により行われる。
光源算出部18は、IRCF2の抜出後(カラー画像出力状態)における所定時間Tごとに、S1502と同様に光源データを算出する(S1601,S1602)。ここでの所定時間Tは、RとBの色情報の安定度に応じて決定される。ゲイン等の影響によるノイズ成分の発生により色情報が大きく変動することがある。このため、所定時間Tとしては、該所定時間Tでの色情報の平均化によってノイズ成分を十分吸収できる時間が設定される。所定時間Tごとに算出された光源データは、映像選択部14に送信される。
映像選択部14は、所定時間Tごとに送信されてくる光源データに基づいて、光源がカラー画像出力可能な光源か否かを判定する。カラー画像出力が可能な光源である場合はカラー画像出力を維持し、そうでない光源である場合には白黒画像出力に切り替える(S1603,S1604,S1605)。
このように、IRCF2の抜出後にも光源データの変化を監視することにより、IRCF2の抜出後の光源の変化にも対応でき、高い色再現性を持ったカラー画像の出力を継続することができる。
図17には、本発明の実施例4であるビデオカメラの構成を示している。本実施例において、図1に示した構成要素と同じ構成要素には、図1と同符号を付して説明に代える。本実施例では、図1に示した構成要素に加えて、IRCF抜出時映像設定部20が設けられている。
IRCF抜出時映像設定部20は、IRCF2の抜出時にカラー画像出力及び白黒画像出力のうちどちらを選択するかをユーザに設定させるために設けられている。
次に、本実施例におけるIRCF2の抜出後におけるカラー画像出力と白黒画像出力の選択について説明する。
IRCF2の抜出状態での撮像モード、すなわちカラー画像出力と白黒画像出力のうちどちらを選択するかは、ビデオカメラの設置環境やユーザの好みに依存する。ある視野に設定された画角や設定される光源や被写体が決まっている場合には、IRCF2の抜出時の撮像モードをユーザに設定させることにより、ユーザの意図に反した誤動作を防止することができる。
また、定期的に画角や被写体が変更される場合や、特定時間に被写体に対して照明光が照射される場合等、撮像環境や被写体がスケジューリングされている場合には、該スケジューリングに合わせて撮像モードの設定を行うようにしてもよい。
図18には、本発明の実施例5であるビデオカメラの構成を示している。本実施例において、図1に示した構成要素と同じ構成要素には、図1と同符号を付して説明に代える。本実施例では、図1に示した構成要素に加えて、WBゲイン記憶部21とWBゲイン比較部22とが設けられている。
WBゲイン記憶部21は、所定時間ごとにWBゲイン算出部9で算出されたRゲイン,Gゲイン及びBゲインを記憶する。WBゲイン比較部22は、WBゲイン記憶部21から送られてきた所定時間前のRゲイン,Gゲイン及びBゲインと、WBゲイン算出部9で算出された現在のRゲイン,Gゲイン及びBゲインと比較し、画像に関する情報としての各色ゲインの変化量を算出する。
映像選択部14は、IRCF挿抜判定部12での判定結果とWBゲイン比較部22で算出された各色ゲインの変化量に基づいて、IRCF2の抜出後にカラー画像出力と白黒画像出力のうちどちらを選択するかを判定する。
本実施例におけるIRCF2の抜出後におけるカラー画像出力と白黒画像出力の選択は、実施例1と同様である。
次に、図19のフローチャートを用いて、IRCF挿抜によりカラー映像の出力を行うか白黒映像に切り換えるかの動作を説明する。IRCF2の挿抜に応じたカラー画像出力と白黒画像出力との切り替え制御について説明する。この制御は、主としてWBゲイン算出部9、IRCF挿抜判定部12、WBゲイン比較部22、IRCF制御回路13及び映像選択部14がコンピュータプログラムに従って動作することで実行される。
輝度情報Yが閾値Ythよりも小さい場合、IRCF挿抜判定部12は、IRCF2を抜出すべきと判定し、IRCF2の抜出指示をIRCF制御回路13に送る。これにより、IRCF制御回路13は、IRCF2を光路外に抜出する。この際、IRCF挿抜判定部12は、IRCF2が抜出されたことを示す情報を映像選択部14に送る(S1901)。
WBゲイン比較部22は、WBゲイン算出部9において算出されたIRCF2の抜出後のRゲイン,Gゲイン及びBゲインと、WBゲイン記憶部21からのIRCF2の抜出前のRゲイン,Gゲイン及びBゲインとをそれぞれ比較する。これにより、IRCF2の抜出によるRゲイン,Gゲイン及びBゲインの変化量ΔRgain,ΔGgain,ΔBgainを算出する(S1902)。
次に、映像選択部14は、S1902で算出された変化量ΔRgain,ΔGgain及びΔBgainをそれぞれ、所定値としての閾値Rgainth、Ggainth及びBgainthと比較する(S1903)。閾値Rgainth,Ggainth及びBgainthは、カラーバランスの変化(崩れ)が許容される色ゲイン(つまりは色情報)の変化量の最大値であり、画像の画素数やノイズ感等に依存するパラメータである。ビデオカメラの使用環境やユーザの画像の好み等に応じて、閾値Rgainth,Ggainth及びBgainthを任意に設定できるようにしてもよい。
色ゲインの変化量が閾値より大きいと判断する条件として、
ΔRgain>Rgainth or ΔGgain>Ggainth or ΔBgain>Bgainth …(3)
を設定することにより、色ゲインの変化に対して敏感に反応することが可能となる。
また、色ゲインの変化量が閾値より大きいと判断する条件として、
ΔRgain>Rgainth and ΔGgain>Ggainth and ΔBgain>Bgainth …(4)
を設定すれば、式(3)に比べて、色ゲインの変化が確実にあった場合にのみに色ゲインの変化量が大きいと判断することができる。
上記のように、閾値Rgainth,Ggainth及びBgainthと論理(or,and)との組み合わせにより、色ゲインの変化に対する誤判定を防止し、意図した色ゲインの変化に対してのみ色の変化があると判定することが可能となる。
さらに、色ゲインの変化量の大小判定を行う場合に、IRCF2の抜出前と抜出後における色ゲインを時間的に平均しておくとよい。このように時間的に平均化された色ゲインを用いることにより、AGC(オートゲインコントロール)等によるノイズの影響を大きく受けることなく、色ゲインの変化量を正確に算出することができる。
映像選択部14は、IRCF2の挿抜前後での色ゲインの変化量が閾値より大きいと判定した場合、つまりIRCF2の抜出によりカラーバランスに許容できない崩れが生じた場合は、色再現性が確保されていないとして、白黒画像出力を選択する(S1904)。すなわち、撮像モードとして白黒モードを選択する。
一方、IRCF2が抜出されたが、色ゲインの変化量が閾値より小さいと判定した場合、つまりIRCF2の抜出によりカラーバランスが大きくは崩れておらず、ほぼ色再現性が確保されている場合は、映像選択部14は、カラー画像出力を選択する(S1905)。すなわち、撮像モードとしてカラーモードを選択する。
このように、本実施例では、IRCF2の挿抜による色ゲインの変化量が小さい場合に限ってIRCF2の抜出後にカラー画像を出力するので、IRCF2の抜出によるカラー画像での同じ被写体の色の変化を抑えることができる。また、IRCF2の抜出後にカラー画像を出力する際のソフトウェアよる処理負荷が少なく、かつ余計なハードウェアを追加する必要もない。
次に、図20のフローチャートを用いて、IRCF2の抜出後におけるカラー画像出力の継続判定処理について説明する。この処理は、WBゲイン比較部22及び映像選択部14により行われる。
WBゲイン比較部22は、IRCF2の抜出後(カラー画像出力状態)における所定時間Tごとに、Rゲイン,Gゲイン及びBゲインの変化量を算出する(S2001,S2002)。ここでの所定時間Tは、各色ゲインの安定度に応じて決定される。WBが安定するまで色ゲインが大きく変動することがある。このため、所定時間Tとしては、WBが十分安定する時間が設定される。
また、Rゲイン,Gゲイン及びBゲインの変化量を算出する場合には、IRCF2の抜出前の各色ゲインとIRCF2の抜出後に所定時間Tごとに算出される各色ゲインとを比較する。これは、IRCF2の抜出後に、IRCF2の抜出前とは異なる光源からの照明光が被写体に照射されたような場合に、被写体の色情報が変化して正しい色再現が行われていない状態を判定するためである。
そして、映像選択部14は、S1903と同様に、色ゲインの変化量の大小判定を行う(S2003)。色ゲインの変化量が閾値より大きい場合には白黒画像出力に切り替え(S2004)、変化量が閾値より小さい場合には引き続きカラー画像出力を継続する(S905)。
このように、IRCF2の抜出後にも色ゲインの変化を監視することにより、IRCF2の抜出後の光源の変化にも対応でき、高い色再現性を持ったカラー画像の出力を継続することができる。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
例えば、上記各実施例では、撮像光学系を一体に有した撮像装置について説明したが、本発明は、撮像光学系の交換が可能な撮像装置にも適用することができる。
本発明の実施例1であるビデオカメラの構成を示すブロック図。
原色CCDの分光透過率特性を示す図。
補色CCDの分光透過率特性を示す図。
蛍光灯の分光特性を示す図。
水銀灯の分光特性を示す図。
赤外照明の分光特性を示す図。
白熱灯の分光特性を示す図。
実施例1におけるIRCFの挿抜に応じたカラー画像出力と白黒画像出力との切り替え制御を示すフローチャート。
実施例1におけるIRCFの抜出後におけるカラー画像出力の継続判定処理を示すフローチャート。
本発明の実施例2であるビデオカメラの構成を示すブロック図。
実施例2におけるIRCFの挿抜に応じたカラー画像出力と白黒画像出力との切り替え制御を示すフローチャート。
実施例2におけるIRCFの抜出後におけるカラー画像出力の継続判定処理を示すフローチャート。
本発明の実施例3であるビデオカメラの構成を示すブロック図。
各光源下でのRゲイン及びBゲインの存在範囲を示す図。
実施例3におけるIRCFの挿抜に応じたカラー画像出力と白黒画像出力との切り替え制御を示すフローチャート。
実施例3におけるIRCFの抜出後におけるカラー画像出力の継続判定処理を示すフローチャート。
本発明の実施例3であるビデオカメラの構成を示すブロック図。
本発明の実施例4であるビデオカメラの構成を示すブロック図。
実施例4におけるIRCFの挿抜に応じたカラー画像出力と白黒画像出力との切り替え制御を示すフローチャート。
実施例4におけるIRCFの抜出後におけるカラー画像出力の継続判定処理を示すフローチャート。
白補正可能ゲイン範囲を示す図。
符号の説明
1 撮像レンズ
2 赤外カットフィルタ(IRCF)
3 撮像素子
5 映像信号処理部
6 WB処理部
7 輝度/色情報算出部
9 WBゲイン算出部
11 色情報比較部
12 IRCF挿抜判定部
14 映像選択部
17 輝度情報比較部
18 光源算出部
22 WBゲイン比較部