JP2008035069A - 映像信号処理装置 - Google Patents

Abstract

【課題】被写体の輝度レベルや面積の影響を低減した高精度なホワイトバランス調整を行うことのできる映像信号処理装置を提供する。
【解決手段】 ２次元座標変換部２は、映像信号から色情報を示す2次元座標系の座標信号への変換を行う。ヒストグラム算出部３は、２次元座標系における座標信号の頻度を算出することにより２次元座標ヒストグラムを求める。代表点座標算出部４は、２次元座標ヒストグラムの頻度に応じて、２次元座標変換部２により得られた座標信号群を代表する代表点座標を求める。ゲイン調整５は代表点座標に基づいてホワイトバランス調整を行う。
【選択図】 図１

Description

本発明は、電子カメラやビデオカメラ等のホワイトバランスを自動調整する映像信号処理装置に関する。

従来、映像信号のホワイトバランスを調整する映像信号処理装置が知られている。従来の映像信号処理装置の一例では、映像信号として色成分信号Ｒ（赤）、Ｇ（緑）、Ｂ（青）が入力される。映像信号中の無彩色の領域が選択されて、選択された領域のＲ、Ｇ、Ｂ信号が積分されて、平均値Ｒａ、Ｇａ、Ｂａが算出される。さらに、平均値の比Ｒａ／Ｇａ、Ｂａ／Ｇａが算出され、これらの比を用いてホワイトバランス調整が行われる。

図６は、従来技術においてホワイトバランス調整に使われる色信号比特性曲線を示している。図６において、横軸はＲ／Ｇであり、縦軸はＢ／Ｇである。色信号比特性曲線Ｌは、ホワイトバランスが調整された状態における、Ｒ／ＧとＢ／Ｇの関係を示す。

ホワイトバランス調整では、色成分信号の平均値Ｒａ、Ｇａ、Ｂａから、図中の点ａ（Ｒａ／Ｇａ，Ｂａ／Ｇａ）が求められる。そして、点ａに近い色信号比特性曲線Ｌ上の点ａ′（Ｒａ′／Ｇａ′，Ｂａ′／Ｇａ′）が求められる。点ａ′は、例えば、点ａからの距離が最短になるように求められる。そして、Ｒａ′／Ｇａ′およびＢａ′／Ｇａ′の逆数が、それぞれ、映像信号の色成分ＲおよびＧに乗算され、これによりホワイトバランス調整が行われる（例えば、特許文献１参照）。
特開平１１―２６２０２１号公報

しかしながら、従来の映像信号処理装置においては以下のような課題がある。

従来技術は、上述のようにＲ、Ｇ、Ｂ信号を積分して平均値Ｒａ、Ｇａ、Ｂａを求め、平均値の比Ｒａ／Ｇａ、Ｂａ／Ｇａを算出し、これらの比を用いてホワイトバランス調整を行っている。この場合、輝度レベルの高い被写体は、ＲＧＢ信号が大きいので積算値に対して大きな寄与度を持っており、したがって、ホワイトバランス調整が輝度の影響を受けやすい。また、面積の大きい被写体も平均値に対して大きな寄与度を持ち、ホワイトバランス調整が面積の大きい被写体の影響を受けやすい。

上記のように、従来のホワイトバランス調整は、ＲＧＢ積算値への寄与度が大きい高輝度の被写体や面積の大きい被写体の影響を受けやすい。その一方、ホワイトバランス調整の際に、一般的に画像中の無彩色の画素だけを積分することは難しいので、ある程度うすい色の画素も積算値に含まれてしまう。そのため、従来技術では、無彩色でない被写体の輝度や面積の影響受けてホワイトバランスがずれてしまうことがあるという問題があった。

本発明は、従来の問題を解決するためになされたもので、その目的は、より高精度なホワイトバランスの調整ができる映像信号処理装置を提供することにある。

本発明の映像信号処理装置は、映像信号から色情報を示す２次元座標系の座標信号への変換を行う２次元座標変換手段と、前記２次元座標系における前記座標信号の頻度を算出することにより２次元座標ヒストグラムを求めるヒストグラム算出手段と、前記２次元座標ヒストグラムの頻度に応じて、前記２次元座標変換手段により得られた座標信号群を代表する代表点座標を求める代表点座標算出手段と、前記代表点座標に基づいてホワイトバランス調整を行うゲイン調整手段とを有する。

この構成により、色情報を示す２次元座標系の座標信号へと映像信号を変換し、座標信号の頻度を算出して２次元座標ヒストグラムを求め、２次元座標系ヒストグラムの代表点座標を求めて、代表点座標を使ってホワイトバランス調整を行う。このように、本発明では、色情報の２次元座標系の座標信号へと映像信号を変換してから、座標信号群の代表点座標を使ってホワイトバランス調整を行うことで、高精度なホワイトバランス調整を行うことができる。

また、本発明の映像信号処理装置において、前記２次元座標系の２つの軸は、青／緑と赤／緑、または、青／輝度と赤／輝度、または、（青−緑）／輝度と（赤−緑）／輝度、または、（青−輝度）／輝度と（赤−輝度）／輝度である。

この構成により、２次元座標系の座標信号中の輝度成分が小さくなり、このような座標信号からヒストグラムが作成されてホワイトバランス調整が行われる。したがって、輝度レベルの影響を低減した高精度なホワイトバランス調整を行うことができる。

また、本発明の映像信号処理装置において、前記代表点座標算出手段は、前記２次元座標ヒストグラムの頻度を用いた加重平均によって座標信号群の重心位置の座標を求め、前記重心位置の座標を前記代表点座標とするように構成されている。

この構成により、２次元座標ヒストグラムの頻度を用いた加重平均によって座標信号群の重心位置の座標を求めるので、映像から得られた座標信号群を代表する適切な代表点座標を求めることができる。

また、本発明の映像信号処理装置において、前記代表点座標算出手段は、前記２次元座標系の各位置における前記座標信号の頻度に対して前記頻度の大きさに応じた重み付けをした重み付き頻度を求め、前記重み付き頻度を用いた加重平均によって前記座標信号群の重心位置を求めるように構成されている。

この構成により、頻度の大きさに応じた重み付けを行うので、面積の大きい被写体の影響を低減して、高精度なホワイトバランス調整を行うことができる。

また、本発明の映像信号処理装置において、前記代表点座標算出手段は、前記２次元座標系の各位置における前記座標信号の頻度を頻度上限値以下にするように重み付けを行うように構成されている。この構成により、座標信号の頻度を頻度上限値以下に制限するので、面積の大きい被写体の影響を低減して、高精度なホワイトバランス調整を行うことができる。

また、本発明の映像信号処理装置において、前記代表点座標算出手段は、前記２次元座標系の各位置における前記座標信号の頻度が頻度下限値以下の場合に前記頻度を加重平均対象から除外するように重み付けを行うように構成されている。この構成により、頻度が小さい座標信号を加重平均の計算対象から除外でき、ノイズの影響を低減して、高精度なホワイトバランス調整を行うことができる。

また、本発明の映像信号処理装置において、前記代表点座標算出手段は、前記２次元座標ヒストグラムの特徴を表す特徴量に応じて前記重み付き頻度を変化させるように構成され、前記特徴量は、前記頻度の最大値、前記頻度の最小値、前記頻度の平均値および前記頻度の標準偏差の少なくとも一つである。この構成により、２次元座標ヒストグラムの特徴量に応じて重み付き頻度を適切に調整することができ、面積やノイズの影響をより低減した高精度なホワイトバランス調整を行うことができる。

また、本発明の映像信号処理装置において、前記代表点座標算出手段は、前記２次元座標系の各位置における前記座標信号の頻度に対して前記座標信号の座標位置に応じた重み付けをした重み付き頻度を求め、前記重み付き頻度を用いた加重平均によって前記座標信号群の重心位置を求めるように構成されている。この構成により、有彩色の影響を低減した高精度なホワイトバランス調整を行うことができる。

また、本発明の映像信号処理装置において、前記代表点座標算出手段は、前記座標位置に応じた重み付き頻度を算出するとき、前記２次元座標系における無彩色領域およびその近傍に位置する座標の重みを、有彩色領域に位置する座標の重みと比べて高く設定するように構成されている。この構成により、有彩色の影響を低減した高精度なホワイトバランス調整を行うことができる。

また、本発明の映像信号処理方法は、映像信号から色情報を示す２次元座標系の座標信号への変換を行い、前記２次元座標系における前記座標信号の頻度を算出することにより２次元座標ヒストグラムを求め、前記２次元座標ヒストグラムの頻度に応じて、前記映像信号から変換された座標信号群を代表する代表点座標を求め、前記代表点座標に基づいてホワイトバランス調整を行う。この態様によっても上述した本発明の利点が得られる。

また、本発明の映像信号処理プログラムは、映像信号から色情報を示す２次元座標系の座標信号への変換を行い、前記２次元座標系における前記座標信号の頻度を算出することにより２次元座標ヒストグラムを求め、前記２次元座標ヒストグラムの頻度に応じて、前記映像信号から変換された座標信号群を代表する代表点座標を求め、前記代表点座標に基づいてホワイトバランス調整を行う映像信号処理をコンピュータに実行させる。この態様によっても上述した本発明の利点が得られる。

本発明は、色情報を示す２次元座標系の座標信号へと映像信号を変換し、座標信号の頻度から求めた座標信号群の代表点座標を使ってホワイトバランス調整を行うので、被写体の輝度レベル等に影響されにくい高精度なホワイトバランス調整が行えるという効果を有する映像信号処理装置を提供することができる。

以下、本発明の実施の形態に係る映像信号処理装置について、図面を用いて説明する。

本発明の第１の実施の形態に係る映像信号処理装置を図１に示す。

図１の映像信号処理装置１は、例えば、デジタルカメラ等の撮像装置に備えられる。この場合、ＣＣＤ等の撮像装置で生成された映像信号が、映像信号処理装置１に入力される。そして、映像信号処理装置１は、ホワイトバランス調整を行い、調整後の映像信号を出力する。ホワイトバランス調整後の映像信号は、その他の処理を受け、例えばメモリおよび記録媒体に記録され、また例えばディスプレイに表示され、また例えばネットワーク等を介して外部に出力される。

図１において、本実施の形態の映像信号処理装置１は、映像信号から色情報を示す２次元座標系の座標信号への変換を行う２次元座標変換部２と、２次元座標変換部２の出力する座標の出現頻度を算出して２次元座標ヒストグラムを作成するヒストグラム算出部３と、２次元座標ヒストグラムの頻度に応じて座標信号群を代表する代表点座標を求める代表点座標算出部４と、代表点座標に基づいてホワイトバランスのゲイン調整を行うゲイン調整部５とを有する。

映像信号処理装置１は、上記の各種の機能を実現する回路によって構成されてよい。また、同様の機能を実現するプログラムが撮像装置等に記憶され、同プログラムを演算装置にて実行することによって映像信号処理装置１が実現されてもよい。

以上のように構成された映像信号処理装置１について、その動作を説明する。

本実施の形態では、入力される映像信号がＲＧＢ信号である場合について説明する。被写体を撮像して得られたＲＧＢ信号においては、光源の分光特性により、ＲＧＢの成分バランスが異なっており、このバランスを調整する必要がある。この調整処理が以下のようにして行われる。

まず、２次元座標変換部２により、ＲＧＢ信号が、色情報を示す２次元座標系の座標信号(x,y)に変換される。その際、２次元座標の条件としては、色が識別できること、輝度レベル（明暗）の影響が少ないことが必要である。この条件を満たす２次元座標系としては、（B/G , R/G）、または（B/G , R/G）、または（B/Y , R/Y）、または（(B−G)/Y , (R−G)/Y）、または（(B−Y)/Y , (R−Y)/Y）などが考えられる。

ここで、Ｙは輝度である。また、Ｇ（緑）は輝度に近いので、映像処理では輝度レベルを表すパラメータとして使うことができる。したがって、本実施の形態では、２次元座標の座標信号が、Ｇ信号またはＹ信号等の輝度パラメータで割った色の比率信号である。色信号をＧ信号またはＹ信号で除算して比率にすることで、輝度レベルの影響を低減することができる。

なお、これらのパラメータ以外にも、独立した２軸を設定することも可能である。以後、本実施の形態では、２次元座標系が（B/G , R/G）である例を説明するが、その他の座標系も本発明に適用可能である。

次に、２次元座標に変換された座標信号（B/G , R/G）に対して、ヒストグラム算出部３により、頻度計算が行われて、図２に示す２次元座標ヒストグラムが作成される。２次元座標ヒストグラムは、２次元座標系における各座標信号の出現頻度のヒストグラムである。

図２に示すように、２次元座標系は、予め決められた多数の領域に分割される。１画面分の座標信号の頻度が領域毎に算出されて、２次元座標ヒストグラムが算出される。図２は簡略化されているが、実際にはより多くの領域が設けられてよい。例えば、x軸のB/Gが0から4までの範囲が100分割され、y軸のR/Gも0から4までの範囲が100分割され、格子状に10000個の領域が設定される。

なお、B/GまたはR/Gが極端に大きい座標や小さい座標は、濃い有彩色に相当するため、そのような部分は頻度の算出から省くことも可能であり、これにより回路を削減することが可能となる。

また、頻度を求める際に、明るすぎて飽和している信号は、ＲＧＢのバランスがずれているため除外した方が好ましい。また、除数のＧやＹが小さい場合には除算結果の誤差が大きくなるため、そのような除数の小さい信号を除外することにより、精度をさらに向上させることもできる。

次に、このようにして得られた頻度を用いて、代表点座標算出部４において、代表点座標が求められる。代表点座標は、１画面から得られる座標信号群を代表する代表点の座標である。本実施の形態では、代表点座標は、２次元座標ヒストグラムの頻度を用いて座標信号を荷重平均した重心位置の座標である。さらに、本実施の形態では、荷重平均の際に、座標信号の頻度に重み付けが行われる。ここでは、まず、単純な加重平均について説明し、それから重み付けを行った加重平均について説明する。

ヒストグラム算出部３によって得られた各領域の頻度をH(x,y)とすると、座標(x,y)と頻度H(x,y)との加重平均により、座標信号群の重心位置が算出できる。重心位置（Wx0, Wy0）は、下式で表される。
Wx0 = Σ[x・H(x,y)]／ΣH(x,y)
Wy0 = Σ[y・H(x,y)]／ΣH(x,y)

ただし、Σは、(x,y)２次元座標全体における総和を示す（図２の例では、２次元座標ヒストグラムに設定された全部の領域の総和を示す）。

この重心位置は、２次元座標系の座標信号から求められている。そして、本実施の形態の座標信号は、前述のように、輝度の影響が少ないパラメータである。したがって、上述の処理により、輝度レベルの影響を低減した代表点座標が得られる。

ただし、上述の単純な重心位置は、頻度の大きさをそのまま反映している。そして、２次元座標ヒストグラムでは、面積が大きい部分の色に対応する２次元座標の頻度が大きい。したがって、単純な重心位置を使ったのでは、面積の大きい部分の影響力が強くなるという課題が残る。そこで、本実施の形態では、以下のようにして、頻度に対して、その大きさに応じて重み付けを行う。そして、重み付き頻度（重みが付けられた頻度）を用いて重心位置が計算される。

図３および図４は、本実施の形態における頻度の重み付け処理を示している。図３は、重み付き頻度の関数を示しており、重み付き頻度の関数は、元の頻度（重み付け前の頻度）と、重み付き頻度の関係を表す。図４は、重み付けによる２次元座標ヒストグラムの変化を示している。

図３および図４に示すように、本実施の形態では、元の頻度が第１しきい値Ｔｈ１未満の場合、重み付き頻度が０となり、その座標の頻度が重心位置の計算対象から除外される。これにより、ノイズの影響を受けにくくすることができる。また、元の頻度が、第１しきい値Ｔｈ１以上で第２しきい値以下の場合、重み付き頻度は、元の頻度から第１しきい値Ｔｈ１を引いた値になる。さらに、元の頻度が第２しきい値Ｔｈ２より大きい場合、重み付き頻度が一律にＴｈ２−Ｔｈ１になる。このように頻度の上限値を設け、頻度を上限値以下に抑えることで、大面積部分の影響度合いを低下させることができる。

重み付けを行った頻度を用いて加重平均を行う場合の代表点の座標を(Wx1,Wy1)とする。代表点(Wx1,Wy1)は、下式で表される。
Wx1 = Σ[ x・W(H(x,y)) ]／Σ[W(H(x,y)) ]
Wy1 = Σ[ y・W(H(x,y)) ]／Σ[W(H(x,y)) ]
ただし、W(h) = 0 ( h＜Th1 )
= h−Th1 ( Th1≦h≦Th2 )
= Th2−Th1 ( h＞Th2 )

ここで、W(h)は、図３の重み付き頻度の関数である。このようにして重み付き頻度を用いることで、大面積の影響を受けにくく、ノイズの影響も受けにくい代表点座標を求めることができる。

なお、重み付き頻度の関数W(h)としては、さらに区分を細かくした関数を用いることもできるし、高次の関数やルックアッテーブル等を用いてもよい。

また、しきい値Th1、Th2は、あらかじめ定められた固定の値でもよい。しきい値Th1、Th2は、２次元座標ヒストグラムの頻度H(x,y)の特徴量から適応的に決定することもできる。特徴量としては、頻度の最大値、最小値、平均値、標準偏差などの頻度分布に関するパラメータが挙げられる。特徴量に応じてしきい値Th1、Th2を決定することで、重み付き頻度も特徴量に応じて変化させることができる。

例えば、特徴量として平均値および標準偏差を用いる場合、しきい値Th1、Th2を以下の式で求めることができる。
Th1 = 平均値−a×標準偏差
Th2 = 平均値＋b×標準偏差

ここで、a、bはあらかじめ定めた定数である。この処理により、頻度分布の特徴に応じてしきい値Th1、Th2を変えることができる。この例では、平均値が大きいほど、しきい値Th1、Th2が大きくなる。また、標準偏差が大きいほど、しきい値Th1、Th2が平均値から離れる。これにより、頻度分布のうちで頻度が大きい方の適当な範囲の頻度に対して上限制限が行われ、そして、頻度が小さい方の適当な範囲の頻度が０になるように、しきい値Th1、Th2が制御される。

また例えば、特徴量として最大値および最小値を用いる場合、しきい値Th1、Th2を以下の式で求めることができる。
Th1 = c×最小値
Th2 = d×最大値

ここで、c、dはあらかじめ定めた定数である。この場合、頻度分布のうちで最小頻度より大きく定数ｃで規定される適当な値にしきい値Th1を設定できる。また、頻度分布のうちで最大頻度より小さく定数dで規定される適当な値にしきい値Th2を設定できる。したがって、頻度が大きい方の適当な範囲の頻度に対して上限制限が行われ、頻度が小さい方の適当な範囲の頻度が０になるように、しきい値Th1、Th2が制御される。

また例えば、特徴量として平均値を用いる場合、しきい値Th1、Th2を以下の式で求めることができる。
Th1 = e×平均値
Th2 = f×平均値

ここで、e、fはあらかじめ定めた定数である。この場合は、平均値を基準にして、平均値より小さく定数eで規定される適当な値にしきい値Th1を設定できる。また、平均値より大きく定数fで規定される適当な値にしきい値Th2を設定できる。したがって、頻度が大きい方の適当な範囲の頻度に対して上限制限が行われ、そして、頻度が小さい方の適当な範囲の頻度が０になるように、しきい値Th1、Th2が制御される。

このようにして、本実施の形態では、２次元座標ヒストグラムの頻度の分布に適応してしきい値Th1、Th2を制御して重み付き頻度を変化させることができる。その際、上記例のように、頻度の特徴量の関数（しきい値Th2を求める関数）により最大頻度を含む頻度範囲が規定されて、この範囲にて頻度の上限が制限される。また、特徴量の関数（しきい値Th１を求める関数）により最小頻度を含む範囲が規定されて、その範囲の頻度が０にされる。こうして、頻度が大きい方の適当な範囲の頻度に対して上限制限を行い、頻度が小さい方の適当な範囲の頻度を加重平均対象から除外するように重み付けを可変にでき、これにより大面積部分やノイズの影響を好適に低減して、より高精度なホワイトバランス調整ができる。

なお、本実施の形態の変形例として、上述にて例示された複数の関数を組み合わせることも可能である。

以上に、代表点座標を求める処理を説明した。こうして得られた代表点座標Wx1,Wy1はゲイン調整部５に供給され、ゲイン調整部５にてホワイトバランス調整が行われる。代表点座標Wx1,Wy1はB/G軸、R/G軸の値であるので、これらの逆数がホワイトバランス調整のゲイン量となる。そこで、ゲイン調整部５が、B信号、R信号にWx1,Wy1の逆数を乗じ、G信号はそのままとする処理を行い、これによりホワイトバランスを調整することができる。すなわち、Gのゲインを1倍とすると、BのゲインはG/B=1/Wx1とされ、RのゲインはG/R=1/Wy1とされる。そして、ホワイトバランス調整後の映像信号Ｒ′、Ｇ′、Ｂ′が映像信号処理装置１から出力される。

以上に映像信号処理装置１の動作について説明した。次に、映像信号処理装置１の変形例について説明する。

本実施の形態では、映像信号がＲＧＢ信号であった。しかし、本発明はこれに限定されず、ＲＧＢ以外の信号が用いられてよい。例えば、映像信号Y、R-Y、B-Y等についても同様に本発明を適用可能である。

また、本実施の形態では、代表点座標が座標信号群の重心位置の座標であった。しかし、本発明はこれに限定されない。例えば、代表点座標は、座標信号群の中央値の座標でもよい。中央値はメディアンでよい。例えば、ｘ座標、ｙ座標の各々で、中央値（順位が真中の座標）が求められ、それらの組み合わせが代表点座標とされる。

また、上記の説明では１画面分の頻度が求められていた。しかし、画面中の無彩色領域が画像処理により検出され、無彩色領域の信号を基にホワイトバランス調整が行われてよい。この場合、無彩色領域のＲＧＢ信号が２次元座標系の信号に変換され、そして、上述の処理により２次元座標ヒストグラムが作成され、代表点座標が求められ、代表点座標からゲインが決定され、このゲインが画面全体の映像信号に付与される。

また、上記の説明では１画面分の頻度を求めていたが、画面を複数に分割し、領域ごとに頻度を求めて、領域ごとにさらに重み付き頻度を変えてもよい。

以上に本発明の第１の実施の形態に係る映像信号処理装置１について説明した。本実施の形態によれば、色情報を示す２次元座標系の座標信号へと映像信号が変換され、座標信号の頻度を算出して２次元座標ヒストグラムが求められ、２次元座標系ヒストグラムの代表点座標が求められ、代表点座標を使ってホワイトバランス調整が行われる。このように、色情報の２次元座標系の座標信号へと映像信号を変換してから、座標信号群の代表点座標を使ってホワイトバランス調整を行うことで、高精度なホワイトバランス調整を行うことができる。

この点に関し、従来技術では、先にＲＧＢ信号が積算されて平均値が求められ、そして、平均値の比からホワイトバランスのゲインが決定される。このような従来技術と異なり、本実施の形態は、平均値の比は算出されない。本実施の形態では、まず、Ｒ／Ｇ、Ｂ／Ｇといった比の値が算出され、そして比の頻度から比の代表値（代表点座標）が求められ、比の代表値からゲインが決定される。このような相違により、本実施の形態によればホワイトバランス調整の精度を向上できる。

また、本実施の形態によれば、２次元座標系の２つの軸は、青／緑と赤／緑、または、青／輝度と赤／輝度、または、（青−緑）／輝度と（赤−緑）／輝度、または、（青−輝度）／輝度と（赤−輝度）／輝度である（上述の主な例では、２つの軸は、青／緑と赤／緑である）。これにより、２次元座標系の座標信号中の輝度成分が小さくなり、このような座標信号からヒストグラムが作成されてホワイトバランス調整が行われる。したがって、輝度レベルの影響を低減した高精度なホワイトバランス調整を行うことができる。

また、本実施の形態によれば、２次元座標ヒストグラムの頻度を用いた加重平均によって座標信号群の重心位置の座標が求められ、重心位置の座標が代表点座標とされる。これにより、映像から得られた座標信号群を代表する適切な代表点座標を求めることができる。

また、本実施の形態によれば、図３および図４を用いて説明したように、２次元座標系の各位置における座標信号の頻度に対して頻度の大きさに応じた重み付けをした重み付き頻度が求められる。そして、重み付き頻度を用いた加重平均によって座標信号群の重心位置が求められる。頻度の大きさに応じた重み付けを行うので、面積の大きい被写体の影響を低減して、高精度なホワイトバランス調整を行うことができる。

また、本実施の形態によれば、図３および図４を用いて説明したように、２次元座標系の各位置における座標信号の頻度を頻度上限値以下にするように重み付けが行われる。これにより、座標信号の頻度を頻度上限値以下に制限するので、面積の大きい被写体の影響を低減して、高精度なホワイトバランス調整を行うことができる。

また、本実施の形態によれば、図３および図４を用いて説明したように、２次元座標系の各位置における座標信号の頻度が頻度下限値以下の場合に頻度を加重平均対象から除外するように重み付けが行われる。上記の例では頻度が０にされる。これにより、頻度が小さい座標信号を加重平均の計算対象から除外でき、ノイズの影響を低減して、高精度なホワイトバランス調整を行うことができる。

また、本実施の形態によれば、２次元座標ヒストグラムの特徴を表す特徴量に応じて重み付き頻度が変化する。特徴量は、頻度の最大値、頻度の最小値、頻度の平均値および頻度の標準偏差の少なくとも一つである。上記の説明では、特徴量に応じて重み付き頻度の関数のしきい値が可変設定され、これにより重み付き頻度が変化した。このような処理により、２次元座標ヒストグラムの特徴量に応じて重み付き頻度を適切に調整することができ、面積やノイズの影響をより低減した高精度なホワイトバランス調整を行うことができる。

次に、本発明の第２の実施の形態の映像信号処理装置を図５に示す。

図５に示す第２の実施の形態の映像信号処理装置１０は、図１に示す第１の実施の形態の映像信号処理装置１に対して座標位置重み付け部６を追加した構成を有している。座標位置重み付け部６は、代表点座標算出部４の一部として機能し、座標信号の頻度に対して座標位置に応じた重み付けを行うための構成である。以下、第１の実施の形態と同様の事項の説明は省略し、第１の実施の形態との相違点を中心にして第２の実施の形態について説明する。

座標位置重み付け部６は、座標の位置に応じた座標重み係数Z(x,y)を出力する。本実施の形態では、各座標の座標重み係数Z(x,y)が予め記憶されており、この座標重み係数Z(x,y)が読み出されて出力される。座標重み係数Z(x,y)はテーブルのかたちで記憶されていてよい。

代表点座標算出部４は、座標重み係数Z(x,y)を用いて重み付けを行った頻度を用いて代表点座標を求める。より詳細には、代表点座標算出部４は、まず、第１の実施の形態で説明されたように、ヒストグラム算出部３から出力された頻度H(x,y)の大きさに応じて重み付けされた重み付き頻度W(H(x,y))を求める。さらに、代表点座標算出部４は、重み付き頻度W(H(x,y))に、座標重み係数Z(x,y)を乗算し、これにより、座標位置に応じた重み付けが追加された重み付き頻度を求める。そして、この重み付き頻度を用いた加重平均により、代表点座標が求められる。本実施の形態の代表点座標を(Wx2,Wy2)とする。代表点座標(Wx2,Wy2)は、下式により表される。
Wx2 = Σ[ x・W(H(x,y))・Z(x,y) ]／Σ[W(H(x,y))・Z(x,y) ]
Wy2 = Σ[ y・W(H(x,y))・Z(x,y) ]／Σ[W(H(x,y))・Z(x,y) ]

次に、座標重み係数Z(x,y)の決め方を説明する。あらかじめ無彩色や有彩色の多種多様な被写体を様々な光源において撮像したときの、２次元座標（x,y）を測定する。その測定結果に基づいて、無彩色の被写体から得られた座標とその近傍において座標重み係数Z(x,y)に大きな値を設定する。また、有彩色を撮像して測定した座標とその近傍においては、座標重み係数Z(x,y)小さな値を設定する。このように座標重み係数Z(x,y)を設定することで、無彩色部分の比重を高めることができるので、被写体に占める有彩色の影響の少ない代表点座標が得られる。

一例としては、２次元座標系が、無彩色領域と有彩色領域の２種類の領域に分けられる。無彩色領域は無彩色およびその近傍であり、有彩色領域は有彩色およびその近傍でる。無彩色領域には座標重み係数Z１が設定され、有彩色領域には座標重み係数Z2が設定される。無彩色領域の座標(x1,y1)では、頻度W(H(x1,y1)) にZ１が乗算される。また、有彩色領域の座標(x2,y2)では、頻度W(H(x2,y2)) にZ2が乗算される。このような処理が行われ、そして、代表点座標が求められる。なお、座標重み係数は上記に限定されない。座標重み係数がより細かく複数の段階に設定されてもよい。

以上に本発明の第２の実施の形態に係る映像信号処理装置１０について説明した。本実施の形態によれば、２次元座標系の各位置における座標信号の頻度に対して座標信号の座標位置に応じた重み付けをした重み付き頻度が求められる。そして、重み付き頻度を用いた加重平均によって座標信号群の重心位置が求められる。これにより、有彩色の影響を低減しつつ、面積の影響と輝度レベルの影響を低減した高精度なホワイトバランス調整を行うことができる。

また、本実施の形態によれば、座標位置に応じた重み付き頻度を算出するとき、前記２次元座標系における無彩色領域およびその近傍に位置する座標の重みが、有彩色領域に位置する座標の重みと比べて高く設定される。これにより、有彩色の影響を低減しつつ、面積の影響と輝度レベルの影響を低減した高精度なホワイトバランス調整を行うことができる。

以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。

以上のように、本発明にかかる映像信号処理装置は、被写体の面積や輝度レベルに影響されにくい高精度なホワイトバランス調整が行えるという効果を有し、電子カメラやビデオカメラ等のホワイトバランスを自動調整する映像信号処理装置等として有用である。

本発明の第１の実施の形態における映像信号処理装置のブロック図 ヒストグラム算出処理で算出される２次元座標ヒストグラムを示す図 代表点座標算出に用いられる重み付き頻度の関数の例を示す図 重み付けによる２次元座標ヒストグラムの変化を示す図 本発明の第２の実施の形態における映像信号処理装置のブロック図 従来の映像信号処理装置におけるホワイトバランス調整処理で用いられる色信号比特性曲線を示す図

符号の説明

１、１０ 映像信号処理装置
２ ２次元座標変換部
３ ヒストグラム算出部
４ 代表点座標算出部
５ ゲイン調整部
６ 座標位置重み付け部

Claims (11)

1. 映像信号から色情報を示す２次元座標系の座標信号への変換を行う２次元座標変換手段と、
   前記２次元座標系における前記座標信号の頻度を算出することにより２次元座標ヒストグラムを求めるヒストグラム算出手段と、
   前記２次元座標ヒストグラムの頻度に応じて、前記２次元座標変換手段により得られた座標信号群を代表する代表点座標を求める代表点座標算出手段と、
   前記代表点座標に基づいてホワイトバランス調整を行うゲイン調整手段と、
   を有する映像信号処理装置。
2. 前記２次元座標系の２つの軸は、青／緑と赤／緑、または、青／輝度と赤／輝度、または、（青−緑）／輝度と（赤−緑）／輝度、または、（青−輝度）／輝度と（赤−輝度）／輝度であることを特徴とする請求項１記載の映像信号処理装置。
3. 前記代表点座標算出手段は、前記２次元座標ヒストグラムの頻度を用いた加重平均によって座標信号群の重心位置の座標を求め、前記重心位置の座標を前記代表点座標とすることを特徴とする請求項１または２に記載の映像信号処理装置。
4. 前記代表点座標算出手段は、前記２次元座標系の各位置における前記座標信号の頻度に対して前記頻度の大きさに応じた重み付けをした重み付き頻度を求め、前記重み付き頻度を用いた加重平均によって前記座標信号群の重心位置を求めることを特徴とする請求項３に記載の映像信号処理装置。
5. 前記代表点座標算出手段は、前記２次元座標系の各位置における前記座標信号の頻度を頻度上限値以下にするように重み付けを行うことを特徴とする請求項４に記載の映像信号処理装置。
6. 前記代表点座標算出手段は、前記２次元座標系の各位置における前記座標信号の頻度が頻度下限値以下の場合に前記頻度を加重平均対象から除外するように重み付けを行うことを特徴とする請求項４または５に記載の映像信号処理装置。
7. 前記代表点座標算出手段は、前記２次元座標ヒストグラムの特徴を表す特徴量に応じて前記重み付き頻度を変化させるように構成され、前記特徴量は、前記頻度の最大値、前記頻度の最小値、前記頻度の平均値および前記頻度の標準偏差の少なくとも一つであることを特徴とする請求項４ないし６のいずれかに記載の映像信号処理装置。
8. 前記代表点座標算出手段は、前記２次元座標系の各位置における前記座標信号の頻度に対して前記座標信号の座標位置に応じた重み付けをした重み付き頻度を求め、前記重み付き頻度を用いた加重平均によって前記座標信号群の重心位置を求めることを特徴とする請求項３ないし７のいずれかに記載の映像信号処理装置。
9. 前記代表点座標算出手段は、前記座標位置に応じた重み付き頻度を算出するとき、前記２次元座標系における無彩色領域およびその近傍に位置する座標の重みを、有彩色領域に位置する座標の重みと比べて高く設定することを特徴とする請求項８記載の映像信号処理装置。
10. 映像信号から色情報を示す２次元座標系の座標信号への変換を行い、
    前記２次元座標系における前記座標信号の頻度を算出することにより２次元座標ヒストグラムを求め、
    前記２次元座標ヒストグラムの頻度に応じて、前記映像信号から変換された座標信号群を代表する代表点座標を求め、
    前記代表点座標に基づいてホワイトバランス調整を行うことを特徴とする映像信号処理方法。
11. 映像信号から色情報を示す２次元座標系の座標信号への変換を行い、
    前記２次元座標系における前記座標信号の頻度を算出することにより２次元座標ヒストグラムを求め、
    前記２次元座標ヒストグラムの頻度に応じて、前記映像信号から変換された座標信号群を代表する代表点座標を求め、
    前記代表点座標に基づいてホワイトバランス調整を行う映像信号処理をコンピュータに実行させることを特徴とする映像信号処理プログラム。

Images