JP4081213B2 - オートホワイトバランス装置及び方法 - Google Patents
オートホワイトバランス装置及び方法 Download PDFInfo
- Publication number
- JP4081213B2 JP4081213B2 JP28299099A JP28299099A JP4081213B2 JP 4081213 B2 JP4081213 B2 JP 4081213B2 JP 28299099 A JP28299099 A JP 28299099A JP 28299099 A JP28299099 A JP 28299099A JP 4081213 B2 JP4081213 B2 JP 4081213B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- light source
- reliability
- color
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の属する技術分野】
本発明は、電子スチルカメラやビデオカメラなどに用いられるオートホワイトバランス装置に関する。
【0002】
【従来の技術】
ビデオカメラやデジタルスチルカメラでは、白い被写体を白く再現するために、オートホワイトバランス調整が行われている。従来のオートホワイトバランス方式としては、画像全体の平均が無彩色となるように各画素の信号のRGB成分(赤、緑、青の三原色成分)のバランスを調整する方式がよく知られている。しかしながらこの方式では、有彩色が画像の大部分の領域を占めている場合、誤ったホワイトバランス調整を行うことになりやすいという欠点があった。
【0003】
このような誤ったホワイトバランス調整はカラーフェイリアと呼ばれる。このカラーフェイリアを軽減するオートホワイトバランス調整方式として、特開平5−292533号公報に示される技術が知られている。この技術では、画像を複数のブロックに分割し、各ブロックのRGBの平均値を計算し、その平均値が予め定めた範囲に属しているブロックのみを抽出する。そして、抽出したブロック群のRGBの平均値が無彩色になるように、RGB各成分の調整を行う。
【0004】
ところが、これらの方式は、被写体を照明する光源が限定されている場合には効果が得られたが、想定外の光源で照明される場合や複数種類の光源により同時照明される場合などには十分なホワイトバランス調整を行うことができなかった。
【0005】
そこで、本出願人は、特開平8−289314号公報に開示した改良されたオートホワイトバランス調整装置を提案した。この装置では、画像を複数のブロックに分割し、蛍光灯下で白い対象物を撮影したと判定されるブロック群、太陽光又はタングステン光下で白い対象物を撮影したと判定されるブロック群、画像中で最も明るいブロックに近い色を持つブロック群、をそれぞれ抽出する。そして、それら各ブロック群ごとにRGB各成分の平均値を求め、それらを予め定めた規則に従って混合した値をホワイトバランス調整信号として用いる。この装置では、画像中で最も明るいブロックに近似した色のブロック群のRGBの平均値をホワイトバランス信号に反映させることにより、想定外の光源下や複数種類の光源下でも、適切なホワイトバランス調整を行うことができる。
【0006】
【発明が解決しようとする課題】
上記従来方式は、各光源に対して固定的に定められた領域(光源領域)に対して各ブロックの色差の平均値が含まれるか否かという二値的な弁別の結果を用いているため、撮影シーンの変化によってホワイトバランスの挙動が不安定になりやすいと言う問題があった。例えば、ある光源領域に属していたあるブロックが、撮影シーンが少し変化しただけで、その光源領域に属さないものとなる可能性があり、このような二値的な急激な変化がホワイトバランスの不安定さを惹起するおそれがあった。
【0007】
本発明は、この問題を解決するためになされたものであり、安定したホワイトバランス調整を行うことができるオートホワイトバランス装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明に係るオートホワイトバランス装置は、ホワイトバランス処理対象の画像を複数のブロックに分割するブロック分割手段と、分割された各ブロックごとに、当該ブロック内の画素値に基づき当該ブロックの代表色を求める代表色算出手段と、前記各ブロックごとかつ想定する各光源ごとに、当該光源下での白色物体の色の色差成分と当該ブロックの代表色の色差成分との距離を求め、これら各距離に基づき前記各光源が前記各ブロックのシーンを照明している信頼度を推定するブロック信頼度推定手段と、前記各光源ごとについて、各ブロックの代表色を当該ブロックについての当該光源の信頼度に従って加重平均することにより、当該光源の画像全体に対する寄与成分を推定する光源寄与成分推定手段と、前記各光源ごとに、当該光源の各ブロックについての信頼度を前記画像中の全ブロックにわたって総和することにより、前記画像全体についての当該光源の信頼度を推定する全体信頼度推定手段と、前記光源寄与成分推定手段で推定された前記各光源の画像全体に対する寄与成分を、前記全体信頼度推定手段で推定された前記各光源の画像全体についての信頼度に従って加重平均することにより、前記画像全体のシーンを照明する照明色を推定する照明色推定手段と、推定した前記照明色を打ち消すよう、前記画像の各画素に対してホワイトバランス処理を行うホワイトバランス手段と、を有する。
【0009】
この装置は、各光領域に対して各ブロックの色差平均値が含まれるか否かという二値的な弁別の結果を用いる代わりに、ブロック代表色の色差と各光源の典型色差との距離から求めた信頼度を用いてホワイトバランス調整を行う。両色差値間の距離は連続な値をとる。したがって、本発明によるホワイトバランス調整処理は、ホワイトバランスの挙動を撮影シーンの変化に対して連続的に追従させることが可能になり、二値的な弁別結果に基づく調整をしていた従来技術よりも滑らかなホワイトバランス調整が行える。
【0010】
本発明の好適な態様に係る装置は、ブロック信頼度推定手段で推定された各ブロックについての前記信頼度を、前記ブロックの代表色の輝度成分に応じて修正する手段を備える。
【0011】
シーンの明るさによりそのシーンの色が照明の色を反映している度合いは異なる。この態様によれば、そのようなシーンの明るさ、すなわち輝度に応じて各光源がシーンを照明している信頼度を修正できるので、照明色の推定の精度が向上し、この結果ホワイトバランス調整の精度も向上する。
【0012】
この態様において、信頼度の修正を、各光源ごとに個別に用意した関数を用いて行うようにすれば、各光源の明るさに関する知識を用いて各光源がシーンを照明している信頼度を修正することができる。また、修正に用いる関数を、輝度に対して値が連続的に変化する連続関数とすることにより、滑らかなホワイトバランス調整が可能となる。
【0013】
また、本発明の別の好適な態様では、光源として、昼間の直射日光と昼間の日陰の光とを区別して取り扱うことにより、画像に日光が当たっている部分と日陰の部分の両方が含まれる場合でも、柔軟にホワイトバランスを制御することができる。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態(以下実施形態という)について、図面に基づいて説明する。
【0015】
図1は、本実施形態のオートホワイトバランス装置10の構成を示す機能ブロック図である。このオートホワイトバランス装置10は、典型的には、電子スチルカメラやビデオカメラなどのカメラ装置に組み込まれる。このオートホワイトバランス装置10は、カメラ装置の撮像装置20から入力された画像信号からホワイトバランス調整信号を生成し、この信号を用いて園が増進号に対してホワイトバランス調整を施して出力する。本実施形態では、画像のシーン(場景)を照明する光源の色(照明色と呼ぶ)を推定し、この推定結果に基づきホワイトバランス調整を行う。
【0016】
図2は、このオートホワイトバランス装置が行う処理の手順を示すフローチャートである。
【0017】
以下、図1及び図2を参照して、オートホワイトバランス装置10の詳細な構成及びその処理内容を詳しく説明する。
【0018】
撮像装置20から出力される画像信号は、ブロック分割回路102によってブロック単位に分割される(S10)。図3は、画像のブロック分割の一例を示す。この例では、1フレームの画像200は、それぞれm×m個の画素からなる16(=4×4)個の等しいブロック210に分割される。図3に示したブロック分割はあくまで一例であり、これ以外の分割法を用いてももちろんよい。この回路102で分割された各ブロックの画像データは、代表色計算回路104、分散係数計算回路106、飽和係数計算回路108、光源寄与計算回路114にそれぞれ入力される。
【0019】
代表色計算回路104は、各ブロックごとの画像データに基づき、各ブロックの平均的な色である代表色を求める(S12)。この回路104の詳細な処理内容は以下の通りである。すなわち、代表色計算回路104は、まず1ブロックの全画素の画素値の平均値を求める。撮像装置20の画像信号がRGB(赤、緑、青)で表されている場合、代表色計算回路104は各画素のRGB値を、RGBの各成分ごとに、当該ブロックの全画素にわたって平均する。この平均(R,G,B)が当該ブロックの代表色である。次に、代表色計算回路104は、その平均値(R,G,B)を、輝度(L)及び2つの色差成分(u,v)の組(L,u,v)に線形変換する。この変換は次式で表される。
【0020】
【数1】
なお、変換に用いる変換行列は、撮像装置20の入力色特性に依存するものであり、式(1)に示したものはあくまでその一例にすぎない。また、画像信号がRGB以外の表色系で表されている場合は、その表色系に応じた変換行列を用いて輝度及び色差成分を求めればよい。また、以上の処理では、ブロックの代表色を求めるに当たり、ブロックの全画素についての平均を行ったが、この代わりに、ブロックの画素の中から予め定めたサンプリング規則に従って抽出した画素の平均を用いるようにしてもよい。
【0021】
このような処理が、1画像を構成する各ブロックごとに対して行われる。求められた各ブロックの代表色の輝度・色差表現(L,u,v)はブロック信頼度計算回路110に入力される。以下、ブロックの識別番号をi(i=1,2,…,n:nは画像の総ブロック数)とし、i番目のブロック(ブロックiと記す)の代表色を(Li,ui,vi)と表現する。
【0022】
以上の代表色計算回路104の処理と並行して、分散係数計算回路106及び飽和係数計算回路108が各々の処理を実行する。
【0023】
分散係数計算回路106は、各ブロックの画像データを受け取り、各ブロックごとにその分散係数Cvを求める。分散係数Cvは、後述するブロック信頼度の補正のための係数であり、当該ブロックの画素値の分散に応じて決まる。ブロックiの分散係数をCviと表す。分散係数計算回路106は、まずブロックの画素群の中から予め定めた方法で画素をサンプリングし、それらサンプリングした画素群の画素値の分散を求める。この場合、回路106は、例えば、R,G,Bの各成分ごとにサンプリングした画素群における分散を求め、これら各成分ごとの分散を例えば平均するなどして全体的な分散値を求める。そして、分散係数計算回路106は、このようにして求めた分散値に基づき分散係数を求める。分散係数Cvは、予め用意した関数を用いて求める。図4は、この関数の一例のグラフである。図4に示すように、回路106では、分散値が大きくなるほど、それに対応する分散係数が小さくなるような関数を用いる。この関数は、例えば回路106内にあらかじめ登録されている。
【0024】
飽和係数計算回路108は、各ブロックの画像データを受け取り、各ブロックごとに、その飽和係数Csを求める。飽和係数Csは、後述するブロック信頼度の補正のための係数であり、当該ブロックにおける飽和画素の数に応じて決まる。飽和画素とは、画素値の1以上の成分(例えばR、G、またはB)が、その成分の上限値(例えば8ビット表現ならば255)に達している画素をいう。ブロックiの飽和係数をCsiと表す。飽和係数計算回路108は、まずブロックの中の飽和画素の数をカウントし、このカウント結果から飽和係数を求める。飽和係数Csは、予め用意した関数を用いて求める。図5は、この関数の一例のグラフである。図5に示すように、回路108では、飽和画素数が大きくなるほど、それに対応する飽和係数が小さくなるような関数を用いる。ここで用いる関数は、例えば回路108内にあらかじめ登録されている。
【0025】
分散係数計算回路106及び飽和係数計算回路108で求められた分散係数及び飽和係数は、信頼度修正回路112に入力される。
【0026】
代表色計算回路104にてブロックの代表色の輝度・色差表現(L,u,v)が求められると、次にブロック信頼度計算回路110が、予め想定した各光源ごとに、その光源がそのブロックを照明している信頼度(ブロック信頼度と呼ぶ)を求める(S14)。あるブロックについてのブロック信頼度は、想定した光源ごとに求められる。以下、このS14の処理を詳しく説明する。
【0027】
本実施形態では、光源として、太陽光、タングステン光(例えば白熱灯など)、蛍光灯光を想定する。これらは、一般ユーザの写真撮影やビデオ撮影における照明光源として一般的なものである。前述した特開平8−289314号公報開示の従来技術では、太陽光とタングステン光とを一括して扱っていたが、本実施形態ではこれらを別々に取り扱う。これにより、太陽光とタングステン光のスペクトルの差をよりよく反映したホワイト処理が可能になる。
【0028】
更に、本実施形態では、太陽光を昼光(昼間の日なたの光)と日陰光(昼間の日陰の光)とに分けて取り扱う。日なたと日陰では、同じ太陽光の影響下であるといっても、前者は色温度が比較的低く(赤っぽい)、後者は色温度が比較的高い(青っぽい)という違いがある。したがって、両者を一括して取り扱ったのでは、日なた、日陰とも中途半端なホワイトバランスになるおそれがあり、更に、日なたの部分と日陰の部分が混在するシーンで柔軟なホワイトバランスのコントロールが困難になる。そこで本実施形態では、昼光と日陰光とを別の光源として区別して取り扱うことにより、そのような問題を解決している。結局、本実施形態では、昼光、日陰光、タングステン光、蛍光灯光の4種類の光源を想定することになる。
【0029】
ブロック信頼度計算回路110は、これら想定した各光源ごとに、その光源下での白色物体の色の色差成分(以下、その光源の典型色差と呼ぶ)と、ブロックの代表色の色差成分(u,v)との距離Dを求める。ここで、光源の識別番号をj(j=1,2,…,m:mは想定光源の個数。本実施形態ではm=4)とし、識別番号jの光源を光源jと表現する。ここでは、便宜上光源1を昼光、光源2を日陰光、光源3をタングステン光、光源4を蛍光灯光とする。ブロックiの代表色の色差成分(ui,vi)と光源jの典型色差(Uj,Vj)との距離Dijは、例えば次式に従って求める。
【0030】
【数2】
ここで、d11、d12、d22はそれぞれ所定の定数である。各光源ごとに、その特性に合わせてこれら定数d11、d12、d22の組を選択することにより、光源特性にあった適切な距離を定義できる。この場合、それら定数の値は、各光源ごとに、実験などで予め求め、ブロック信頼度計算回路110又はカメラに設けられた記憶装置(ROMなど。図示省略)に記憶しておく。また、距離の定義には、上記式(2)以外のものを用いることも可能である。この場合、光源ごとに、その特性に応じた異なる距離の定義式を用いることも可能である。
【0031】
以上の距離Dの計算が、1つのブロックiに対し、全想定光源jについて行われる。
【0032】
次にブロック信頼度計算回路110は、求めた距離Dijから、ブロックiが光源jにより照明されている信頼度Rdijを求める。この信頼度Rdijは、色差の観点から見た信頼度である。信頼度Rdijは、予め定めた関数fを用いて距離Dijから求める。光源の種類ごとに、距離Dと信頼度Rdとの関係が異なるので、この関数fは光源jごとに個別に用意することが好適である。光源jについての信頼度関数をfjと表すと、ブロックiが光源jにより照明されている信頼度Rdijは次式により求められる。
【0033】
【数3】
Rdij=fj(Dij) …(3)
図6に信頼度関数fjの一例を示す。図6に示すように、関数fjは、距離Dijが大きくなるに従って値が減少する関数である。この関数を距離に関して連続的に変化する関数とすることにより、二値的な弁別結果をベースにしたことによる従来技術の問題を回避できる。各光源ごとの信頼度関数fjは、予め実験等により求め、装置内に記憶しておく。
【0034】
また、ブロック信頼度計算回路110は、このようにして求めた色差の観点からの信頼度Rdに対し、輝度の観点からの修正を加える。これは、蛍光灯下での白い物体の明るさの分布、直射日光(昼光)下での白い物体の明るさの分布、日陰での白い物体の明るさの分布、などがそれぞれ異なるためである。したがって、ブロックiの輝度(明るさ)Liに応じて、ブロックiが光源jにより照明されている可能性を求めることができる。ここでは、この可能性を係数として、前に求めた色差に基づく信頼度Rdを修正する。
【0035】
このため、ブロック信頼度計算回路110は、各ブロックiごとに、輝度の観点から見てそのブロックiが光源jで照明されている可能性を示す輝度係数Clijを求める。輝度係数Clijは、光源jごとに予め定められた関数gjに、ブロックiの輝度Liを適用することにより求められる。すなわち、
【数4】
Clij=gj(Li) …(4)
図7に関数gjの一例を示す。関数gjは、輝度Liの関数であり、この例は輝度が大きくなるほど係数Clは大きくなるものを示している。これは明るい物ほど光源の影響を受けている可能性が高いことを考慮したものである。この関数を輝度に関して連続的に変化する関数とすることにより、ホワイトバランスに対するブロック輝度Liの影響を滑らかなものとすることができる。これは、ホワイトバランスの挙動の安定化に役立つ。なお、この輝度係数の特性は、光源jごとに異なる。各光源ごとの輝度係数関数gjは、予め実験等により求め、装置内に記憶しておく。
【0036】
そして、ブロック信頼度計算回路110は、色差に基づく信頼度Rdに輝度係数Clを乗じることにより、信頼度Rijを求める。信頼度Rijは、色差及び輝度の両方の観点から見て、ブロックiが光源jで照明されている可能性を示す値である。すなわち、信頼度Rijは、
【数5】
Rij=Clij*Rdij …(3)
により求められる。
【0037】
ブロック信頼度計算回路110は、以上の処理を画像中の全てのブロックiに対して、各光源jごとに実行する。求められた信頼度Rijの情報は、信頼度修正回路112に入力される。
【0038】
信頼度Rijが推定されると、次に信頼度修正回路112が、その信頼度に対して修正を加える(S16)。この回路112では、ブロックiに対する光源jの信頼度Rijを、当該ブロックiについての前述の分散係数Cvi及び飽和係数Csiと、当該ブロックiの画像全体の中での位置によって決まる位置係数Cpiとにより信頼度Rijを補正する。具体的には、これら係数を信頼度Rijにかけることにより、信頼度を修正する。修正された信頼度(修正信頼度と呼ぶ)Rmijとすると、
【数6】
Rmij=Cvi*Cli*Cpi*Rij …(6)
である。
【0039】
ここで、位置係数Cpiは、ブロックiが画像の中央に近いほど大きい値になるように予め定めておく。これは、一般に、画像の中央に近いブロックほど画像の中での重要度が高いと考えられるからである。位置的に見て重要度の高いブロックに対し高い位置係数を与えることにより、重要度の高いブロックの色がホワイトバランス制御により強く反映されることになる。図8は、位置係数の設定例を示す図である。この例では、画像中央部のブロック210−1には位置係数として1.0、画像周縁部のブロック210−2には位置係数として0.5が与えられている。これら位置係数は、装置内に予め記憶されている。
【0040】
また、この修正処理では、分散係数Cvi、飽和係数Csiも考慮している。これには次のような意義がある。
【0041】
まず、分散係数Cviは、前述のように、ブロックi内での画素値の分散が大きくなるほどその値が小さくなるように定められている。したがって、ブロックiの分散が大きいほど分散係数Cviは小さくなり、この結果修正信頼度Rmijの値も小さくなる。このような修正を行うのは、ブロックiの画素値の分散が大きいほど、そのブロックの代表色(Li,ui,vi)から求めた信頼度Rij自体の信頼性が低いと考えられるためである。分散が大きいほどそのブロックの各画素値のばらつきが大きいので、その画素値から求めた代表色がそのブロックの色の傾向(すなわち照明の傾向)を表している可能性が低いと考えられる。したがって、そのような信頼性の低い代表色から求めた信頼度Rijは、信頼性が低いと考えられるので、その信頼度Rijのホワイトバランスへの影響を小さくするために、分散係数Cviの値を小さくする。
【0042】
また、飽和係数Csiは、前述のように、ブロックi内での飽和画素の数が大きくなるほどその値が小さくなる。したがって、ブロックi内の飽和画素数が多いほど飽和係数Csiは小さくなり、この結果信頼度Rijは小さい値に修正されることになる。このような修正を行うのは、ブロックiの飽和画素数が大きいほど、そのブロックの代表色(Li,ui,vi)から求めた信頼度Rij自体の信頼性が低いと考えられるためである。飽和画素は、RGB各成分の上限値を超える部分がカットされている可能性があるので、対象物の正しい色を表していないおそれがある。したがって、飽和画素が多いほど、ブロックの代表色がそのブロックの色の傾向(したがって照明の傾向)を表している可能性が低くなると考えられる。そのような信頼性の低い代表色から求めた信頼度Rijは、それ自体信頼性が低いと考えられるので、ここでは、その信頼度Rijのホワイトバランスへの影響を小さくするために、飽和係数Csiの値を小さくするのである。
【0043】
S16では、以上の信頼度修正処理が、各ブロックiごとに、及び各光源jごとに実行される。求められた修正信頼度Rmijは光源寄与計算回路114及び全体信頼度計算回路116に入力される。
【0044】
全ブロックについて修正信頼度Rmijが求められると、次に、画像のシーン全体についての各光源jの信頼度、及び各光源jの画像全体への寄与成分の推定が行われる(S18)。
【0045】
光源jの画像全体への信頼度(全体信頼度と呼ぶ)Rtjは、全体信頼度計算回路116により計算される。回路116は、各ブロックiの修正信頼度Rmijを画像中の全ブロックについて総和することにより、全体信頼度Rtijを求める。すなわち、
【数7】
Rtj=ΣRmij(ただしΣはi=1〜nについての総和) …(7)
である。
【0046】
光源寄与成分は、光源寄与計算回路116により求められる。光源jの光源寄与成分は、画像全体の色合いに対して各光源jが与えている影響のことであり、言い換えれば、その光源jがその画像のシーンを照明することで、その画像に現れると推定される色の傾向である。光源寄与成分は、輝度及び色差の組で表される。ここでは、画像全体に対する光源jの寄与成分を(Lcj,ucj,vcj)と表す。
【0047】
光源寄与計算回路116は、各ブロックごと各光源ごとの修正信頼度Rmij、各ブロックの代表色(Li,ui,vi)、及び各光源の全体信頼度Rtjに基づき、次式に従って光源寄与成分を推定する。
【0048】
【数8】
Lcj=(ΣRmij・Li)/Rtj
ucj=(ΣRmij・ui)/Rtj
vcj=(ΣRmij・vi)/Rtj …(8)
式(8)において、Σはi=1〜n(nは総ブロック数)についての総和を示す。この計算は、各ブロックiの輝度及び色差を、それぞれ各ブロックiの修正信頼度Rmijによって、全ブロックにわたって加重平均する処理と等価である。
【0049】
このようにして当該画像のシーン全体に対する各光源jの寄与成分が推定されると、次にこの推定値に対して光源寄与修正回路118が修正を加える(S20)。この修正は大きく分けて2段階からなる。
【0050】
第一段階では、各光源jの寄与成分を、各光源jごとに予め定められた標準色と加重平均する。光源jの標準色は、光源jの照明下でのシーンの標準的な色(すなわち輝度及び色差の組)であり、これは予めその光源jで各種のシーンを撮影し、それら撮影画像の輝度、色差を集計することで求めておく。各光源jの標準色(Lsj,usj,vsj)は、装置内に予め記憶しておく。この第一段階の修正処理は、次式で表される。
【0051】
【数9】
Lmj=wsj・Lcj+(1−wsj)・Lsj
umj=wsj・ucj+(1−wsj)・usj
vmj=wsj・vcj+(1−wsj)・vsj …(9)
ここで(Lmj,umj,vmj)は寄与成分の修正結果であり、wsj(ただし0≦ws≦1)は予め定めた重みである。この重みwsjは、各光源jごとに予め実験等により求めておき、装置内に記憶しておく。
【0052】
第一段階の修正は、光源寄与成分(Lcj,ucj,vcj)に含まれる物体色の影響を低減するための修正である。画像に現れる色は、光源からの照明光の色(照明色)と物体それ自体の色(物体色)の両方から影響を受ける。ホワイトバランスは照明光の色温度に合わせて白い物が白く見えるように色補正することである。したがって照明光の色が精度よく推定できれば、精度のよいホワイトバランス調整が行える。しかしながら、実際の画像は、白色以外の物体が数多く含まれたシーンを撮影したものがほとんどであり、画像の色には物体色の影響が多分に含まれている。光源寄与成分と当該光源jの標準色とを加重平均することで、光源寄与成分に含まれる物体色の影響を相対的に低減することができ、光源寄与成分をより照明の色に近い値に修正できる。
【0053】
第二段階では、この第一段階の修正結果(Lmj,umj,vmj)に対し、被写体輝度を考慮した修正を加える。被写体輝度Loは、カメラ装置に設けられた被写体輝度検出装置30にて検出される。この第二段階の修正では、修正回路118は、まず各光源jごとの修正係数Cojを求める。修正係数Cojは、光源jごとに用意された関数hjに、被写体輝度Loを適用することにより求める。すなわち、
【数10】
Coj=hj(Lo) …(10)
である。
【0054】
図9に被写体輝度に基づく修正関数hjの一例を示す。この例では、被写体輝度Loが大きくなるにつれて修正係数Coが小さくなっており、被写体輝度がある値を超えると修正係数が0になっている。これは光源が蛍光灯である場合の関数hjの一例である。撮影シーンが蛍光灯照明下である場合、シーンが昼間の屋外である場合に比べて被写体が暗い。被写体輝度が非常に大きい場合、画像は屋外のシーンを撮影したものである可能性が高く、蛍光灯照明である可能性は低い。そこで、蛍光灯光源の場合、被写体輝度が高くなるにつれて修正係数Coが小さい値になるようにしている。タングステン光や日陰光のシーンの場合も、昼光シーンに比べて被写体輝度が低いと考えられるので、被写体輝度がある程度以上高くなると修正係数Coが小さくなるような関数hjを用いる。これら修正関数hjは、実験等により予め求めておき、装置内に記憶しておく。
【0055】
そして、光源寄与修正回路118は、このようにして求めた修正係数Coを第一段階の修正結果(Lmj,umj,vmj)に乗じることにより、最終的な修正結果(Lzj,uzj,vzj)を求める。すなわち、
【数11】
Lzj=Coj・Lmj
uzj=Coj・umj
vzj=Coj・vmj …(11)
である。この修正結果(Lzj,uzj,vzj)は、被写体輝度などのパラメータを考慮して修正された光源寄与成分となっている。この修正結果は、照明色推定回路120に入力される。
【0056】
照明色推定回路120は、光源寄与修正回路118から入力された各光源jの光源寄与成分の修正結果(Lzj,uzj,vzj)と、全体信頼度計算回路116で求められたシーン全体に対する各光源jの全体信頼度Rtjとに基づき、当該画像の撮影シーンを照明する照明の色(照明色)を推定する(S22)。この推定は、光源寄与成分の修正結果(Lzj,uzj,vzj)を、各光源jの全体信頼度Rtjを重みとして、想定する全光源について加重平均することにより行う。すなわち、照明色を(IL,Iu,Iv)とすると、
【数12】
Wj=Rtj/(ΣRtj)
IL=Σ(Wj*Lzj)
Iu=Σ(Wj*uzj)
Iv=Σ(Wj*vzj) …(12)
式(12)において、Σは全想定光源jについての総和である。
【0057】
すなわち、このS22では、シーンがそれら想定光源jで複合的に照明されているとの仮定の下で、加重平均によりその複合照明の照明色を推定している。この照明色は、その複合照明下での白色物体の色に対応する。求められた照明色(IL,Iu,Iv)は、ホワイトバランスゲイン計算回路122に入力される。
【0058】
ホワイトバランスゲイン計算回路122は、受け取った照明色(IL,Iu,Iv)の情報に基づき、ホワイトバランス調整のためのゲイン(Rgain,Ggain,Bgain)を計算する(S24)。この計算は、以下の式に基づき行われる。
【0059】
【数13】
【数14】
IMax=max(IR,IG,IB) …(14)
【数15】
Rgain=IMax/IR
Ggain=IMax/IG
Bgain=IMax/IB …(15)
(IR,IG,IB)は、照明色のRGB表現である。求められるホワイトバランスゲイン(Rgain,Ggain,Bgain)は、この色の照明が白色物体で反射されたときの色(すなわち(IR,IG,IB)そのもの)をグレイ(すなわちR=G=B)に補正する値となる。求められたホワイトバランスゲインは、ホワイトバランス調整回路124に入力される。
【0060】
ホワイトバランス調整回路124は、撮像装置20から入力された画像の各画素値R,G,Bに対し、ホワイトバランスゲイン計算回路122で求めたゲインRgain,Ggain,Bgainをそれぞれ乗じることにより、その画像のホワイトバランスを調整する(S26)。したがって、オートホワイトバランス装置10の出力端子126からは、次式、
【数16】
Rout=Rgain*R
Gout=Ggain*G
Bout=Bgain*B …(16)
によって求められた出力(Rout,Gout,Bout)が出力される。
【0061】
以上、本発明の好適な実施の形態を説明した。以上説明したように、本実施形態では、各ブロックの代表色と各光源の典型色差との距離に基づいて、各ブロックが各光源で照明されている信頼度を推定し、その信頼度に基づきホワイトバランス調整を行う。信頼度は、距離に対する連続的な関数から求められるので、各ブロックが各光源に対応する範囲に含まれるか否かという二値的な弁別結果に基づきホワイトバランス調整を行っていた従来技術に比べ、ホワイトバランス制御の挙動が安定するという効果が得られる。
【0062】
また、本実施形態では、色差に基づく信頼度を、ブロックの代表色の輝度に応じて修正することで、想定する各光源がシーンの輝度に与える影響に関する知識を折り込んだホワイトバランス制御が可能になる。この輝度に応じた修正は、輝度に関する連続的な関数に従って行うので、ホワイトバランス制御が滑らかに行われると言う利点もある。
【0063】
また、本実施形態では、ブロック内の画素値の分散が大きくなるほど信頼度が小さくなるように補正する機構を設けたので、画素値のばらつきが大きい(すなわち照明光の色を表している可能性の低い)ブロックがホワイトバランス制御に与える影響を低減することができる。
【0064】
また、本実施形態では、ブロック内の飽和画素数が大きくなるほど信頼度が小さくなるように補正する機構を設けたので、飽和画素数が大きい(すなわち画素値が正しい色を表していない可能性がある)ブロックがホワイトバランス制御に与える影響を低減することができる。
【0065】
また、本実施形態では、光源と被写体輝度との関係に関する知識を用い、被写体輝度に応じてホワイトバランスを調整する機構を設けたので、より適切なホワイトバランス制御を行うことができる。
【0066】
なお、以上の実施形態では、ブロックの代表色の色差から求めた信頼度を、代表色の輝度や、ブロック内の画素値の分散、ブロック内の飽和画素数、ブロックの画像内での位置、などに応じて修正したが、このような修正をまったく施さない信頼度を用いてホワイトバランス制御を行っても、従来技術に対してある程度の改善効果が得られる。この色差に基づく信頼度に対して、上記各項目についての修正を行うことにより、改善度合いが向上する。そして、より多くの項目に関して修正を行うほど、ホワイトバランス制御の精度が高くなる。
【図面の簡単な説明】
【図1】 実施形態のオートホワイトバランス装置の構成を示す図である。
【図2】 実施形態のオートホワイトバランス装置の処理手順を示す図である。
【図3】 ブロック分割の一例を示す図である。
【図4】 分散係数を求めるための関数の一例を示す図である。
【図5】 飽和係数を求めるための関数の一例を示す図である。
【図6】 ブロック信頼度を求めるための関数の一例を示す図である。
【図7】 輝度係数を求めるための関数の一例を示す図である。
【図8】 位置係数の設定例を示す図である。
【図9】 被写体輝度に基づく修正係数を求めるための関数の一例を示す図である。
【符号の説明】
10 オートホワイトバランス装置、20 撮像装置、30 被写体輝度検出装置、102 ブロック分割回路、104 代表色計算回路、106 分散係数計算回路、108 飽和係数計算回路、110 ブロック信頼度計算回路、112 信頼度修正回路、114 光源寄与計算回路、116 全体信頼度計算回路、118 光源寄与修正回路、120 照明色推定回路、122 ホワイトバランスゲイン計算回路、124 ホワイトバランス調整回路。
Claims (15)
- ホワイトバランス処理対象の画像を複数のブロックに分割するブロック分割手段と、
分割された各ブロックごとに、当該ブロック内の画素値に基づき当該ブロックの代表色を求める代表色算出手段と、
前記各ブロックごとかつ想定する各光源ごとに、当該光源下での白色物体の色の色差成分と当該ブロックの代表色の色差成分との距離を求め、これら各距離に基づき前記各光源が前記各ブロックのシーンを照明している信頼度を推定するブロック信頼度推定手段と、
前記各光源ごとについて、各ブロックの代表色を当該ブロックについての当該光源の信頼度に従って加重平均することにより、当該光源の画像全体に対する寄与成分を推定する光源寄与成分推定手段と、
前記各光源ごとに、当該光源の各ブロックについての信頼度を前記画像中の全ブロックにわたって総和することにより、前記画像全体についての当該光源の信頼度を推定する全体信頼度推定手段と、
前記光源寄与成分推定手段で推定された前記各光源の画像全体に対する寄与成分を、前記全体信頼度推定手段で推定された前記各光源の画像全体についての信頼度に従って加重平均することにより、前記画像全体のシーンを照明する照明色を推定する照明色推定手段と、
推定した前記照明色を打ち消すよう、前記画像の各画素に対してホワイトバランス処理を行うホワイトバランス手段と、
を有するオートホワイトバランス装置。 - 請求項1記載の装置であって、
前記ブロック信頼度推定手段は、前記距離が大きくなるにつれて単調に減少する連続関数を用いて前記信頼度を推定することを特徴とする装置。 - 請求項2記載の装置であって、
前記信頼度を求めるために用いる前記連続関数は、前記各光源ごとに個別に用意されることを特徴とする装置。 - 請求項1記載の装置であって、さらに、
前記各ブロックごとに、そのブロックの前記画像内での位置に応じて定められる係数により、前記ブロック信頼度推定手段で推定された前記信頼度を修正する手段を有することを特徴とする装置。 - 請求項1記載の装置であって、
前記各光源ごとについて、前記ブロック信頼度推定手段で推定された各ブロックについての前記信頼度を、前記ブロックの代表色の輝度成分に応じて修正する手段を有することを特徴とする装置。 - 請求項5記載の装置であって、
前記各ブロックについての前記信頼度を修正する手段は、前記各光源ごとに個別に用意した連続関数を用いて修正を行うことを特徴とする装置。 - 請求項1記載の装置であって、さらに、
前記ブロックからサンプリングした画素の画素値の分散を求める手段と、
前記ブロック信頼度推定手段で推定された信頼度を、前記画素値の分散が大きいほど値が小さくなる所定の関数に従って修正する手段と、
を有する装置。 - 請求項1記載の装置であって、さらに、
前記ブロックに含まれる飽和画素の数をカウントする手段と、
前記ブロック信頼度推定手段で推定された信頼度を、前記飽和画素の数が大きいほど値が小さくなる所定の関数に従って修正する手段と、
を有する装置。 - 請求項1記載の装置であって、
被写体の輝度を検出する被写体輝度検出手段と、
検出した被写体の輝度に応じて、前記光源寄与成分推定手段で推定された前記各光源ごとの寄与成分を修正する修正手段と、
を更に含み、
前記照明色推定手段は、前記修正手段による前記寄与成分の修正結果に基づき、前記照明色を推定することを特徴とする装置。 - 請求項1記載の装置であって、
前記各光源ごとに、前記光源寄与成分推定手段で推定された前記各光源ごとの寄与成分を、当該光源について予め用意されている標準色により修正する第二の修正手段を更に含み、
前記照明色推定手段は、前記第二の修正手段による前記寄与成分の修正結果に基づき前記照明色を推定することを特徴とする装置。 - 請求項1記載の装置であって、
前記想定する各光源には、昼間の日光と昼間の日陰とが含まれることを特徴とする装置。 - 撮影された画像に対してオートホワイトバランス調整を行う方法であって、
(a)ホワイトバランス処理対象の画像を複数のブロックに分割し、
(b)分割された各ブロックごとに、当該ブロック内の画素値に基づき当該ブロックの代表色を算出し、
(c)前記各ブロックごとかつ想定する各光源ごとに、当該光源下での白色物体の色の色差成分と当該ブロックの代表色の色差成分との距離を求め、これら各距離に基づき前記各光源が前記各ブロックのシーンを照明している信頼度を推定し、
(d)前記各光源ごとについて、各ブロックの代表色を当該ブロックについての当該光源の信頼度に従って加重平均することにより、当該光源の画像全体に対する寄与成分を推定し、
(e)前記各光源ごとに、当該光源の各ブロックについての信頼度を前記画像中の全ブロックにわたって総和することにより、前記画像全体についての当該光源の信頼度を推定し、
(f)推定された前記各光源の画像全体に対する寄与成分を、推定された前記各光源の画像全体についての信頼度に従って加重平均することにより、前記画像全体のシーンを照明する照明色を推定し、
(g)推定した前記照明色を打ち消すよう、前記画像の各画素に対してホワイトバランス処理を行う、
ことを特徴とする方法。 - 請求項12記載の方法であって、
(c1)前記各光源ごとについて、前記ステップ(c)で推定された前記各ブロックについての前記信頼度を、当該ブロックの代表色の輝度成分に応じて修正し、
ステップ(d)以降の各ステップでは、前記ステップ(c1)で修正された前記信頼度に基づき処理を行うことを特徴とする方法。 - 請求項13記載の方法であって、
前記ステップ(c1)では、前記各光源ごとに個別に用意した連続関数を用いて修正を行うことを特徴とする方法。 - 請求項13記載の方法であって、
前記想定する各光源には、昼間の日光と昼間の日陰とが含まれることを特徴とする方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28299099A JP4081213B2 (ja) | 1999-10-04 | 1999-10-04 | オートホワイトバランス装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28299099A JP4081213B2 (ja) | 1999-10-04 | 1999-10-04 | オートホワイトバランス装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001112019A JP2001112019A (ja) | 2001-04-20 |
JP4081213B2 true JP4081213B2 (ja) | 2008-04-23 |
Family
ID=17659790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28299099A Expired - Lifetime JP4081213B2 (ja) | 1999-10-04 | 1999-10-04 | オートホワイトバランス装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4081213B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030009624A (ko) * | 2001-07-23 | 2003-02-05 | 주식회사 하이닉스반도체 | 칼만필터를 이용한 화상장치의 화이트 밸런스 보정 방법 |
JP3607654B2 (ja) | 2001-09-14 | 2005-01-05 | 株式会社東芝 | 白バランスを得るための照明光の色推定方法および撮像装置 |
JP3903094B2 (ja) * | 2002-01-29 | 2007-04-11 | 富士フイルム株式会社 | ホワイトバランス制御方法及びデジタルカメラ |
JP3903095B2 (ja) * | 2002-01-29 | 2007-04-11 | 富士フイルム株式会社 | ホワイトバランス制御方法及びデジタルカメラ |
JP3801177B2 (ja) * | 2002-04-04 | 2006-07-26 | 株式会社ニコン | 画像処理装置、画像処理プログラム、および画像処理方法 |
JP4718113B2 (ja) * | 2003-11-07 | 2011-07-06 | 富士フイルム株式会社 | ホワイトバランス調整方法および画像処理装置 |
JP4740602B2 (ja) * | 2005-01-19 | 2011-08-03 | イーストマン コダック カンパニー | オートホワイトバランス装置及びホワイトバランス調整方法 |
JP4707450B2 (ja) * | 2005-05-18 | 2011-06-22 | イーストマン コダック カンパニー | 画像処理装置及びホワイトバランス調整装置 |
JP4955235B2 (ja) * | 2005-07-29 | 2012-06-20 | イーストマン コダック カンパニー | デジタルカメラおよびゲイン算出方法 |
US8064110B2 (en) * | 2005-12-08 | 2011-11-22 | Qualcomm Incorporated | Adaptive auto white balance |
JP5049490B2 (ja) | 2005-12-19 | 2012-10-17 | イーストマン コダック カンパニー | デジタルカメラ、ゲイン算出装置 |
JP5162905B2 (ja) * | 2007-01-10 | 2013-03-13 | 株式会社ニコン | 撮像装置 |
KR101381350B1 (ko) * | 2007-07-20 | 2014-04-14 | 삼성디스플레이 주식회사 | 백라이트 유닛 어셈블리와 이를 포함하는 액정 표시 장치및 이의 디밍 방법 |
JP5308792B2 (ja) * | 2008-11-28 | 2013-10-09 | オリンパス株式会社 | ホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム、および、撮像装置 |
JP6786850B2 (ja) * | 2016-04-07 | 2020-11-18 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
-
1999
- 1999-10-04 JP JP28299099A patent/JP4081213B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001112019A (ja) | 2001-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4740602B2 (ja) | オートホワイトバランス装置及びホワイトバランス調整方法 | |
JP4754227B2 (ja) | オートホワイトバランス装置及びホワイトバランス調整方法 | |
US6791606B1 (en) | Auto white balancing apparatus and method | |
JP4081213B2 (ja) | オートホワイトバランス装置及び方法 | |
JP4063418B2 (ja) | オートホワイトバランス装置 | |
US6160579A (en) | Image processing apparatus and method | |
US7081920B2 (en) | Illumination light color estimating method of obtaining white balance and image sensing apparatus | |
JP5377691B2 (ja) | オートホワイトバランスを備える画像処理装置 | |
EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
US20070085911A1 (en) | Apparatus for color correction of subject-image data, and method of controlling same | |
EP2227025B1 (en) | Apparatus and method for adjusting white balance of digital image | |
US8614751B2 (en) | Image processing apparatus and image processing method | |
JP2009518982A (ja) | 適応性自動ホワイト・バランス | |
JP2003299117A (ja) | デジタル画像の自動ホワイトバランス補正方法 | |
JP3848274B2 (ja) | ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体 | |
US20040057615A1 (en) | Automatic white balance technique | |
JP3193456B2 (ja) | ホワイトバランス制御装置 | |
US6741285B2 (en) | Apparatus which adjusts exposure on luminance value of photoelectrically converted image pickup screen | |
KR101131109B1 (ko) | 센서 특성을 고려한 화이트 검출에 의한 자동 화이트밸런스 설정방법 | |
JPH07143513A (ja) | カラー撮像装置 | |
JP2004274367A (ja) | デジタルカメラ | |
US20100177210A1 (en) | Method for adjusting white balance | |
JP2002335540A (ja) | 白バランスの光源色推定方法およびその推定方法を用いた撮像装置 | |
JPH0983860A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050906 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20051111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080208 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4081213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130215 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140215 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |