JP2006262083A - ホワイトバランス制御装置 - Google Patents

Abstract

【課題】撮像している映像のホワイトバランスを、違和感無く再現するホワイトバランス制御装置を提供すること。
【解決手段】Ｒ信号、Ｇ信号及びＢ信号の大小関係に基づいてホワイトバランスが適正かどうかの判定を行い、ホワイトバランスがずれていると判定したときには現在の色温度を変更すると共に記憶手段に保持したホワイトバランスゲインカーブからホワイトバランスゲインを取得してホワイトバランスを調整する構成とした。
【選択図】図１

Description

本発明は、撮像装置から入力される映像信号に対してホワイトバランスを制御するホワイトバランス制御装置に関する。

従来、ビデオカメラ等の撮像装置におけるホワイトバランス制御は、ユーザーがマニュアル操作で選択した設定に基づき、ホワイトバランスゲインを切り換える方式を採用していた。（特許文献１参照）
また、他の撮像装置では、自動追従型のホワイトバランス制御装置も用いられていた。このような従来のホワイトバランス制御装置は、撮像している映像信号からホワイトバランスを判断し、ホワイトバランス調整手段に対してホワイトバランスゲイン調整を自動で行っていた。すなわち、撮影中の映像信号のうちの着目する画素または領域におけるＲ、Ｇ、Ｂの信号が同一レベルであるかまたは、Ｇ信号を基準としてＲ信号とＧ信号、Ｂ信号とＧ信号のそれぞれの和及び差が規定範囲内にあるかどうかの判定、すなわち色温度追従判定を行うことで、ホワイトバランス制御を行うべきかどうかの判定を行っていた。そして、この判定結果により必要に応じてホワイトバランス制御を行っていた。例えば、Ｇ信号に対してＲ信号レベルが高めとなる赤っぽい映像（色温度の低い映像）の場合にはＲ信号レベルを下げ、逆にＧ信号に対してＲ信号レベルが低めとなる青っぽい映像（色温度の高い映像）の場合にはＲ信号レベルを上げるように調整を行っていた。

以下、従来のホワイトバランス制御についてより詳細に説明する。ＣＣＤ等の撮像手段で撮像されたフレーム（または、フィールド。以下フレームで説明する。）単位の映像信号が、ホワイトバランス制御装置に入力される。ホワイトバランス制御装置は、反射率の高い被写体が白色であるという仮定に基づき、映像のＧ信号がピークとなる画素または領域を特定する。そして、この画素または領域において、Ｇ信号に対してＲ信号、Ｂ信号のレベルがそれぞれ近づくようにＲ信号、Ｂ信号のホワイトバランスゲインを一定範囲内でそれぞれ変更する。そして、フレーム全体に対してこれらのゲインを適用し、フレーム全体としてのレベルを調整する。以上の処理を、入力されるフレーム毎に繰り返す。この処理によって、映像信号のＲ、Ｇ、Ｂの信号バランスがいかなる状態であれ、Ｒ、Ｇ、Ｂの信号レベルが略等しくなるまで、Ｇ信号を固定してＲ信号、Ｂ信号のホワイトバランスゲインの調整を行っていた。
特開２００４−２３３４３号公報

しかしながら、従来のホワイトバランス制御装置では、映像のＧ信号がピークとなる画素または領域に対してホワイトバランスが合うように、ホワイトバランスゲイン制御を行っていた。その為、例えば白色以外の色に対してＧ信号がピークとなるような映像において、その領域を白色と認定してしまった場合に、その色を基準に間違ったホワイトバランス制御が行われ、違和感のある不自然な映像になってしまうという課題があった。

また、ホワイトバランス制御の方法は、被写体からの映像信号に対応するＲ、Ｇ、Ｂの各信号レベルがＧに対してＲ、Ｂとのレベル差が一定範囲に収まっていなければ、ホワイトバランスが適正な状態ではないと判断し、そのレベル差の原因がいかなるものであれＲ、Ｇ、Ｂの各信号レベルの差が一定範囲内になるまでゲインを制御することでおこなっていた。その結果、全体的に極端に青っぽい映像や赤っぽい映像、マゼンタっぽい映像といった違和感のある映像になってしまうことがあるという課題があった。

このような課題に鑑みて本発明のホワイトバランス制御装置は、バランスのとれた違和感の少ない自然なホワイトバランスの映像を再現することを目的とする。

前記従来の課題を解決するため、本発明のホワイトバランス制御装置は、入力される映像信号を構成する入力Ｒ信号、入力Ｇ信号及び入力Ｂ信号の各々に対して、入力されるホワイトバランスゲインに基づいてゲインを調整することでホワイトバランスを調整するホワイトバランス調整手段と、各色温度における映像信号のホワイトバランスゲインをホワイトバランスゲインカーブとして記憶する記憶手段と、現在の色温度を保持しており、ホワイトバランス調整手段から出力されるＲ信号、Ｇ信号及びＢ信号の大小関係に基づいてホワイトバランスが適正かどうかの判定を行い、ホワイトバランスがずれていると判定したときには現在の色温度を変更すると共にホワイトバランスゲインカーブからホワイトバランスゲインを取得してホワイトバランス調整手段に出力する制御部とを備えた構成とした。

本発明のホワイトバランス制御装置によれば、光源（色温度）の変化によってずれたＲ、Ｇ、Ｂの映像信号の信号バランスを、あらかじめ定義されたゲインカーブに沿って制御することで、従来に比べてよりバランスの取れた違和感の少ない自然なホワイトバランスの映像を再現することができる。

まず、本発明のホワイトバランス制御装置の概要について説明する。本発明のホワイトバランス制御装置は、撮影中の映像のＲ、Ｇ、Ｂの各映像信号から、ホワイトバランスが適正であるかどうかの判定を行う。ホワイトバランスがずれていると判定された場合には、あわせて映像信号のＲ、Ｇ、Ｂの信号バランスからホワイトバランスのずれの原因が光源（色温度）の変化によるものかの判定を行う。そしてこの判定を満たした場合にホワイトバランスゲインの制御を行う。光源（色温度）の変化によるずれとは、次の２種類の状態が挙げられる。一つ目は、映像信号の信号バランスの関係がＲ＞Ｇ＞Ｂとなり、色温度が低く変化し赤っぽい映像になった状態である。二つ目は、映像信号の信号バランスの関係がＲ＜Ｇ＜Ｂとなり、色温度が高く変化し青っぽい映像になった状態である。

ホワイトバランスゲインの制御は、これら光源（色温度）の変化によって発生したホワイトバランスのずれを、あらかじめ定義されたホワイトバランスゲインカーブから参照し、ハードウエアに対して最適なホワイトバランスゲインを出力することにより行う。

なお、ここで定義されているホワイトバランスゲインカーブは、ある任意の色温度に対する映像のホワイトバランスは、決まったホワイトバランスゲインでホワイトバランスを合わすことができるという決まりに基づいて作成し、まとめられたカーブの事である。

以上の手段を用いて、違和感のある不自然な映像になってしまう事があったホワイトバランス制御を防止する。

以下、図面を参照しながら本発明の実施の形態について説明する。図１は、本発明のホワイトバランス制御装置を適用したビデオカメラの基本的な構成例を示すブロック図である。ホワイトバランス制御装置１９は、ホワイトバランス調整手段１３、Ａ／Ｄ変換回路１４、デジタル信号処理回路１５、データライン１６、制御部１７及び記憶手段１８を備えている。

図１に示されるように、被写体からの光は、ＣＣＤやＣＭＯＳ等の撮像手段１１に入射され、電気信号に変換されてアナログ映像信号となる。アナログ映像信号は、色信号であるＲ信号、Ｇ信号及びＢ信号を含む。撮像手段１１が出力するアナログ映像信号は、アナログ信号処理回路１２に供給される。

アナログ信号処理回路１２は、入力されたアナログ映像信号に対してノイズ成分を除去した後、ブラックレベル制御、信号の増幅といったアナログ信号処理を行い、ホワイトバランス調整手段１３に出力する。

ホワイトバランス調整手段１３は、映像信号を構成している入力Ｒ信号、入力Ｇ信号及び入力Ｂ信号としてのＲ信号、Ｇ信号及びＢ信号のうち、Ｒ信号のゲインを調整する為のＲ信号乗算器と、Ｂ信号のゲインを調整するためのＢ信号乗算器とを備えている。ホワイトバランス調整手段１３は、制御部１７から入力されるＲ信号、Ｂ信号それぞれのホワイトバランスゲインをＲ信号乗算器及び、Ｂ信号乗算器に設定することによって、それぞれＲ信号及び、Ｂ信号のゲインを変化させ、ホワイトバランスを調整する。ホワイトバランス調整後のアナログ映像信号は、Ａ／Ｄ変換回路１４に出力される。

Ａ／Ｄ変換回路１４は、アナログ映像信号をデジタル映像信号に変換し、デジタル信号処理回路１５へ出力する。

デジタル信号処理回路１５は、Ａ／Ｄ変換回路１４より入力された映像信号に対し、ガンマ補正、ニー補正、色補正などのデジタル信号処理を行い、映像信号として外部に出力する。なお、本実施の形態のビデオカメラは、磁気テープ、光ディスク、磁気ディスク、メモリカード等への記録手段をさらに有し、この映像信号を記録するようにしてもよい。

制御部１７は、デジタル信号処理回路１５からデータライン１６を介して、デジタル映像信号を受け取り、それに基づき、自動追従型ホワイトバランス制御を行う。制御部１７は、自動追従型ホワイトバランス制御処理を不揮発性メモリ等の記憶手段１８に格納されているプログラムを実行することにより実現している。また、制御部１７がホワイトバランス調整手段１３に対して出力するホワイトバランスゲインは、記憶手段１８に格納されているホワイトバランスゲインカーブを参照して生成する。ホワイトバランスゲインカーブとは、図３に示すように色温度と、その色温度における映像信号のホワイトバランスが最適な状態になるようなホワイトバランスゲインとの組からなる曲線である。これは、あらかじめ設定した各色温度環境（２２００Ｋ〜８０００Ｋ）で撮像された映像信号内にある白色の被写体が白になるように、ホワイトバランス調整手段１３に対して出力するＲ、Ｂのホワイトバランスゲインから作成される。実際にはホワイトバランスゲインカーブは、記憶手段１８に図４に示すようなテーブルデータとして格納されている。また、制御部１７は、現在のホワイトバランスゲインを色温度として保持している。ここでは、ビデオカメラへの電源投入時の色温度の初期値として３２００Ｋが保持されているとする。色温度は、現在のホワイトバランスがずれていると判断され、ホワイトバランス制御が行われる毎に更新される。なお、制御部１７は、デジタル信号処理回路１５からデジタル映像信号を入力として制御を行うとしたが、Ａ／Ｄ変換回路１４からのデジタル映像信号、もしくはホワイトバランス調整手段からのアナログ映像信号を入力として使用してもよい。

入力された映像信号が光源の変化で赤っぽい映像になり色温度が低くなったと制御部１７が判断した場合には、制御部１７はホワイトバランスを最適な状態にする為に、現在の色温度をより低い色温度へと更新していく。逆に、青っぽい映像になり色温度が高くなったと制御部１７が判断した場合には、制御部１７はホワイトバランスを最適な状態にする為に、現在の色温度をより高い色温度へと更新していく。

制御部１７は、更新された色温度からホワイトゲインカーブを参照することにより、Ｒ信号、Ｂ信号それぞれのホワイトバランスゲインを得て、これをホワイトバランス調整手段１３に出力する。ホワイトバランス調整手段１３は、入力されたホワイトバランスゲインによってホワイトバランス調整を行う。調整後の映像は再び制御部１７に入力される。以上の処理を繰り返し、ホワイトバランスが最適な状態になった時点での色温度が、現在の色温度となる。

次に、本実施の形態のビデオカメラにおいて行われる自動追従型ホワイトバランス制御の処理について、図２のフローチャートを参照して説明する。なお、制御部１７は、図２に示される処理を、撮像手段１１から入力される映像信号１フレーム（または１フィールド毎等、一定の周期毎に実行し、常に適正なホワイトバランスを維持するように動作する。

最初にステップ１において、制御部１７は、その実行タイミングにおいてデジタル信号処理回路１５に取り込まれている被写体からの映像信号１フレーム（または１フィールド。以下、フレームで記載する）を構成するＲ、Ｇ、Ｂそれぞれの映像信号を取得する。制御部１７は、取り込んだＧの映像信号１フレームの中でピークとなる位置を検出し、検出したピーク位置のＲ、Ｇ、Ｂそれぞれの映像信号をピーク映像信号として取り込む。また、取り込んだＲ、Ｇ、Ｂ全ての映像信号の画素値の平均値を求め平均映像信号として取り込む。そして得られたピーク映像信号と平均映像信号とを所定の割合、例えば、ピーク映像信号を８に対して平均映像信号を２とした比率でミックスしてホワイトバランス調整用映像信号を求める。この求められたホワイトバランス調整用映像信号をステップ２以降で実行されるホワイトバランス調整に使用する。

ステップ２において、制御部１７は、ステップ１の処理で取得されたホワイトバランス調整用映像信号からＲ、Ｇ、Ｂのそれぞれの信号レベルがともに同一レベルなっているか、または、Ｇ信号のレベルとＲ、Ｂの各信号レベルの差が一定範囲内（例えば１２ｂｉｔ精度の映像信号に対して±４以内）に収まっているかを判定することで、現在の映像のホワイトバランスが適正な状態であるか否かを判断する。ホワイトバランスが最適な状態であれば、Ｒ信号及び、Ｂ信号のレベルをＧ信号のレベルと同一にさせるためのホワイトバランスゲインは現在の値を変更せず、ステップ８へ進み処理を終了する。ステップ２において、ホワイトバランスが適正な状態では無いと判定された場合、ステップ３に進む。

ステップ３で制御部１７は、ステップ１の処理で取得されたホワイトバランス調整用映像信号から、現在のホワイトバランスが色温度の高い方向にずれているのか、または色温度の低い方向にずれているのかを判定する。光源が変化した場合、白色の被写体の各映像信号の大小関係は次の２通りのいずれかとなる。すなわち、Ｒ＞Ｇ＞Ｂの信号バランスの関係になっており赤っぽい映像になった状態、そして、Ｒ＜Ｇ＜Ｂの信号バランスの関係になっており青っぽい映像になった状態である。ホワイトバランスがどちらにずれているかの判定処理は、この事実に基づいて、映像信号の信号バランスから、色温度が現在保持している色温度よりも高い方向に変化しているのか低い方向に変化しているのかの判断を行う。すなわち、Ｒ＞Ｇ＞Ｂの信号バランスの関係になっている場合には色温度が現在保持している色温度より低くなっているので、現在保持している色温度を下げ、それに対応したホワイトバランスゲインをホワイトバランス調整手段１３に出力するようにする。また、Ｒ＜Ｇ＜Ｂの信号バランスの関係になっている場合には色温度が現在保持している色温度より高くなっているので、現在保持している色温度を下げ、それに対応したホワイトバランスゲインをホワイトバランス調整手段１３に出力するようにする。

そして、判定結果に基づいて現在の色温度を一定幅で増減させて次の色温度を決定し、ステップ４へと進む。増減させる幅の決定方法としては、例えば記憶手段１８で４種類の増減幅を格納しておき、これらのうち３種類を使用者が選択できるようにする。選択できる増減幅は、±１０Ｋ、±２５Ｋ、±４０Ｋとする。残りの１種類の増減幅は、±５Ｋとする。これは、３種類の中から選択された増減幅に関係なく、色温度のずれがごくわずかである場合に、±５Ｋの増減の幅に切替えられる。また、色温度のずれ量に応じて制御部１７が自動的にこれらの増減幅を選択するようにしても良い。

ステップ４では、決定されたホワイトバランスゲインカーブの色温度が、ビデオカメラが行うことができるホワイトバランスゲイン調整の色温度範囲内であるか否かの判定を行う。ホワイトバランスゲイン調整可能な色温度範囲は、記憶手段１８に現在のビデオカメラの使用状態に応じた調整可能な色温度の最小値と最大値として定義されている。定義されている色温度の最小値と最大値の範囲内にあれば、ホワイトバランス調整を行うことができる色温度であると判定し、ステップ５へ進む。逆に、定義されている色温度の最小値と最大値の範囲外にあれば、ホワイトバランス調整の色温度の範囲外であると判定し、ステップ６に進み、現在の色温度の値は保持させ、ステップ８へ進み処理を終了させる。図４において、記憶部１８に保持されているホワイトバランスゲインカーブの最小値は２２００Ｋ、最大値は８０００Ｋである。一方、ホワイトバランスゲイン調整可能な色温度範囲の最小と最大の色温度は、記憶手段１８にビデオカメラの使用状態に応じて定義してある。例えば、最小値は２７００Ｋ、最大値は５７００Ｋである。したがって、この範囲内で現在の色温度を決定するようにする。

ステップ５では、決定されたホワイトバランスゲインカーブの色温度からＲ信号とＢ信号のレベルをＧ信号のレベルに近づけるためのホワイトバランスゲインを取得し、ホワイトバランス調整手段１３に供給する。ホワイトバランス調整手段１３は、Ｒ信号とＢ信号に対応するホワイトバランスゲインを映像信号に対してそれぞれ乗算することで、映像信号のホワイトバランスの調整を行い、ステップ８へ進み処理を終了する。

上記の処理ステップを一定周期毎に繰り返し実行する事で、上記記載の効果が得られ、安定した映像を再現することができる。

このように本発明においては、ホワイトバランスが適正な状態ではないと判断した場合でも、ホワイトバランスが最適な状態でなくなった原因が、光源（色温度）の変化によるものであると特定できた時のみ、ホワイトバランスゲインの調整を行なうようになっている。具体的な例としては、屋外の色温度の高い太陽光から屋内の蛍光灯下に移動した場合に映像が青っぽくなるが、これは光源の色温度が高い状態から低い方向に変化しているが、ホワイトバランス制御がそれに追従していない為に起きる現象である。本発明では、Ｒ、Ｇ、Ｂの各信号バランスに着目し、その関係がＲ＞Ｇ＞Ｂとなったときに光源の色温度が低い方向に変化したと判断し、Ｒ＞Ｇ＞Ｂとなったときに光源の色温度が高い方向に変化したと判断している。また、ホワイトバランス調整に使用するホワイトバランスゲインを、ホワイトバランスゲインカーブを用いて生成するようにしたことで、光源の色温度に変化が生じた場合に、その色温度に応じた最適なホワイトバランスゲインを出力することが可能となり、従来のような極端に青っぽい映像や赤っぽい映像、マゼンタっぽい映像といった違和感のある映像になってしまうことを避け、自然で違和感のない映像を再現することができるという効果が得られる。

以上においてはビデオカメラに本発明のホワイトバランス制御装置を適用した例で説明したが、本発明は、デジタルスチルカメラや、その他撮像手段を備えた装置にも適用することができる。

また、図１に示した例においては、ホワイトバランス調整手段１３とデジタル信号処理回路１５とを別ブロックとして構成してある。しかしながら、本発明例においては、ホワイトバランス調整手段１３とデジタル信号処理回路１５とを別ブロックと限定されることなく、ホワイトバランス調整手段１３とＡ／Ｄ変換回路１４、デジタル信号処理回路１５を一体化して構成してもよいことは、勿論である。

なお、本発明において、ホワイトバランス制御処理の方法やこれを実行するためのプログラムの各ステップは、上記に記載された順序に沿って時系列的に行われる処理は勿論のこと、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明のホワイトバランス制御装置によれば、撮像している映像のホワイトバランスを、違和感無く再現する自動追従型ホワイトバランス制御機能を行うことができるため、動画を撮影するビデオカメラ、静止画を撮影するデジタルスチルカメラ等にも適用可能である。

本発明の撮像装置の構成例を示すブロック図 図１の撮像装置における自動追従型ホワイトバランス制御処理の手順を説明するフローチャート ホワイトバランスゲインカーブの概略を示した図 ホワイトバランスゲインカーブをテーブルとしてプログラム上に構成した例を示した図

符号の説明

１１ 撮像手段
１２ アナログ信号処理回路
１３ ホワイトバランス調整手段
１４ Ａ／Ｄ変換回路
１５ デジタル信号処理回路
１６ データライン
１７ 制御部
１８ 記憶手段
１９ ホワイトバランス制御装置

Claims (2)

1. 入力される映像信号を構成する入力Ｒ信号、入力Ｇ信号及び入力Ｂ信号の各々に対して、入力されるホワイトバランスゲインに基づいてゲインを調整することでホワイトバランスを調整するホワイトバランス調整手段と、
   各色温度における映像信号の前記ホワイトバランスゲインをホワイトバランスゲインカーブとして記憶する記憶手段と、
   現在の色温度を保持しており、前記ホワイトバランス調整手段から出力されるＲ信号、Ｇ信号及びＢ信号の大小関係に基づいてホワイトバランスが適正かどうかの判定を行い、ホワイトバランスがずれていると判定したときには前記現在の色温度を変更すると共に前記ホワイトバランスゲインカーブから前記ホワイトバランスゲインを取得して前記ホワイトバランス調整手段に出力する制御部とを備えたホワイトバランス制御装置。
2. 前記制御部は、前記Ｒ信号＞前記Ｇ信号＞前記Ｂ信号の関係がなりたつときには前記現在の色温度を下げ、前記Ｒ信号＜前記Ｇ信号＜前記Ｂ信号の関係がなりたつときには前記現在の色温度を上げるように制御する請求項１記載のホワイトバランス制御装置。

Images