JP2010021651A - 環境光推定装置、デジタルカメラ及び環境光推定プログラム - Google Patents

Abstract

【課題】 画像を取得したときの環境光を正確に推定する。
【解決手段】 画像中における特徴量が類似する領域を類似特徴領域として抽出する領域抽出部と、類似特徴領域における輝度及び色度を取得する色情報取得部と、輝度と色度との関連性を求めた上で、画像における環境光情報を取得する環境光情報取得部と、を備えたことを特徴とする。色度は、複数の色成分のいずれかの色成分における第１色度と、第１色度とは異なる色成分における第２色度とからなり、環境光情報取得部は、輝度と第１色度との関係式、及び輝度と第２色度との関係式をそれぞれ求め、求められた関係式から第１色度と第２色度との関係式を求めることが好ましい。
【選択図】 図６

Description

本発明は、画像が取得されたときの環境光を推定する装置や環境光を推定するプログラム、また、これらにより推定された環境光に基づいて、取得された画像に対してホワイトバランス（ＷＢ）処理を施すデジタルカメラに関する。

撮影により取得された画像に対して、ホワイトバランス処理（以下、ＷＢ処理と称す）を施すデジタルカメラが一般に提供されている。このＷＢ処理としては、例えばＲ、Ｇ，Ｂの色成分毎に設定されたＷＢ調整値（ゲイン）を用いた画像データの変換処理により実行される。ＷＢ処理としては、例えばユーザにより入力、或いは選択された環境光の情報に基づいて設定されるＷＢ調整値を用いたＷＢ処理、予めグレイなど無彩色の被写体を撮影して得られた画像に基づいて設定されるＷＢ調整値を用いたＷＢ処理、或いは、デジタルカメラの内部で自動的に設定されるＷＢ調整値を用いたＷＢ処理（以下、オートＷＢ処理）などが挙げられる。これらＷＢ処理のうち、オートＷＢ処理においてはユーザが撮影前の操作を行う必要がないことから便利である。

上述したオートＷＢ処理（以下、ＡＷＢ処理と称す）は、画像内の色、つまり被写体の色を全て加算すると、概ね無彩色となるという仮定に基づいて実行される。しかしながら、例えば青い空や赤い花など、特定の色が占める割合が大きい被写体からなる画像においては、上述した仮定を満足することができないことから、このような画像に対しては、正確なＷＢ処理を施すことができないという欠点がある。

上述したＡＷＢ処理を正確に行う方法として、物体表面の反射の性質を利用して環境光の推定を行う方法が考案されている（特許文献１など）。この特許文献１においては、画像中の同色領域（被写体の中で概ね同一の色の物体表面となる領域）を複数抽出し、これら抽出された同色領域毎に求められる色度成分の近似直線を求め、求められた近似直線の交点を環境光の色度として算出している。
Ｈｓｉｅｎ−Ｃｈｅ Ｌｅｅ Ｕ．Ｓ．Ｐａｔｅｎｔ ４，６８５，０７１ １９８７

特許文献１においては、色度分布が直線的になれば正確に環境光の推定、つまり、近似直線上のいずれかに環境光の色度が存在することになる。しかしながら、例えば衣服の模様などは、概して１つの色となるが、細かくみると、複数の色から構成されていることもあり、必ずしも同色領域として抽出される領域は、全反射成分、拡散成分及び混合成分のみではなく、様々な反射特性を含んでいることになる。その結果、その領域の色度分布は、理想的な直線とはならず、例えば円弧や放物線などの２次元的に広がりをもつ分布となり、このような色度分布からは近似直線を求めることができない。このような色度分布の場合には、仮に近似直線を求めることができたとしても、その直線上に環境光の色度があるとは限らないことから、環境光の推定に基づいたＷＢ処理が適切に行われず、ＡＷＢ処理後の画像においては不自然な色かぶりが生じてしまう。

本発明は、上述した課題を解決する為に発明されたものであり、環境光を正確に推定することができる環境光推定装置、及び環境光推定プログラムを提供することを目的とする。また、本発明は、環境光推定装置による環境光の推定結果を反映することで、得られた画像に対して正確なホワイトバランス処理を施すことができるようにしたデジタルカメラを提供することを目的とする。

第１の発明の環境光推定装置は、画像中における特徴量が類似する領域を類似特徴領域として抽出する領域抽出部と、前記類似特徴領域における輝度及び色度を取得する色情報取得部と、前記輝度と前記色度との関連性を求めた上で、前記画像における環境光情報を取得する環境光情報取得部と、を備えたことを特徴とする。

また、第２の発明は、第１の発明において、前記色度は、複数の色成分のいずれかの色成分における第１色度と、該第１色度とは異なる色成分における第２色度とからなり、前記環境光情報取得部は、前記輝度と前記第１色度との関係式、及び前記輝度と前記第２色度との関係式をそれぞれ求め、求められた関係式から前記第１色度と前記第２色度との関係式を求めることを特徴とする。

また、第３の発明は、第２の発明において、前記環境光情報取得部は、前記領域抽出部により前記特徴量が異なる類似特徴領域が少なくとも２つ以上抽出された場合に、前記類似特徴領域毎に求められる前記第１色度と前記第２色度との関係式から、前記環境光の色度を求めることを特徴とする。

また、第４の発明は、第３の発明において、前記環境光情報取得部は、前記少なくとも２つ以上の類似特徴領域が抽出された場合に、前記類似特徴領域毎に求められる前記第１色度と前記第２色度との関係式から、２つの前記第１色度及び前記第２色度の関係式を選択し、選択された２つの前記第１色度及び前記第２色度の関係式の交点となる色度を、前記画像における環境光の色度とすることを特徴とする。

また、第５の発明は、第２の発明において、前記環境光情報取得部は、前記領域抽出部により前記類似特徴領域が１つのみ抽出された場合に、該類似特徴領域における前記第１色度と前記第２色度との関係式と、前記環境光の特性を示す環境光特性情報とから、前記画像取得時における前記環境光の色度を求めることを特徴とする。

また、第６の発明は、第５の発明において、前記環境光特性情報を記憶する記憶部を備えたことを特徴とする。

また、第７の発明は、第１〜第６の発明のいずれかにおいて、前記環境光情報取得部は、前記類似特徴領域から得られる輝度及び色度から輝度分布及び色度分布を算出し、色度分布における分布範囲が所定範囲未満となる場合に、前記色度分布から前記画像における環境光の色度を求めることを特徴とする。

また、第９の発明のデジタルカメラは、画像を取得する画像取得部と、第１〜第７の発明のいずれかの環境光推定装置と、前記環境光推定装置により推定された環境光の色度から、前記画像に対する画像処理時のパラメータを決定するパラメータ決定部と、前記パラメータ決定部により決定された前記画像に対する画像処理時のパラメータを用いて、前記画像に対する画像処理を施す画像処理部と、を備えたことを特徴とする。

第９の発明の環境光推定プログラムは、画像中における特徴量が類似する領域を類似特徴領域として抽出する領域抽出工程と、前記類似特徴領域における輝度及び色度を取得する色情報取得工程と、前記輝度と前記色度との関連性を求めた上で、画像における環境光情報を取得する環境光情報取得工程と、をコンピュータにて実行させることを特徴とする。

本発明によれば、画像から類似特徴領域を抽出し、抽出された類似特徴領域の輝度分布及び色度分布との関連性を求めることで、環境光の推定を正確に実行することが可能となる。また、環境光を正確に推定することにより、得られる画像に対して正確なＷＢ処理を施すことが可能となり、不自然な色かぶりの発生を抑止することができる。

以下、本発明の環境光推定装置を用いたデジタルカメラを例に挙げて説明する。

図１は、デジタルカメラの構成を示す概略図である。デジタルカメラ１０は、周知のように、撮像光学系１５を透過した被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号から画像データを取得する。なお、図中において、撮影光学系１５を単一のレンズとしているが、実際には、撮影レンズ、ズームレンズ及びフォーカスレンズを含む複数のレンズから構成されている。

撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などが用いられる。撮像素子１６は、撮像光学系１５によって取り込まれる被写体光を受光し、受光した光量を信号電荷に変換（光電変換）して、変換した信号電荷を蓄積する。その後、撮像素子１６にて蓄積された信号電荷は、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路２１に出力される。この撮像素子１６による信号電荷の蓄積、及び蓄積された信号電荷の出力は、ドライバ１７によって駆動制御される。撮像素子１６によって蓄積された信号電荷を、以下では、アナログ画像信号と称して説明する。

このＡＦＥ回路２１は、図示しないＡＧＣ回路やＣＤＳ回路を含んで構成される。ＡＦＥ回路２１は、入力されたアナログ画像信号に対してゲインコントロール、雑音除去などのアナログ処理を施す。このアナログ処理が施されたアナログ画像信号は、ＤＦＥ回路２２に出力される。

ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）回路２２は、ＡＦＥ回路２１によってアナログ処理が施されたアナログ画像信号をデジタル画像信号に変換する。変換されたデジタル画像信号は１コマ毎にまとめられ、デジタル画像データ（以下、画像データ）としてバッファメモリ２５に記録される。符号２３は、タイミングジェネレータ（ＴＧ）であり、このＴＧ２３により、ドライバ１７、ＡＦＥ回路２１及びＤＦＥ回路２２の駆動タイミングが制御される。また、符号２６はバスであり、このバス２６を介してデジタルカメラ１０の各部が電気的に接続される。

画像処理部３１は、バッファメモリ２５に記憶された画像データに対して、ホワイトバランス処理（以下、ＷＢ処理）、輪郭補償処理、ガンマ処理などの画像処理を施す。これら処理のうち、ＷＢ処理は、環境光の色温度が異なる場合であっても、被写体が無彩色であれば、画像中の被写体が無彩色となるように補正するものである。

このＷＢ処理としては、ユーザが操作部７２を操作することにより撮影時の環境光の情報を入力又は選択することで決定されるＷＢ調整値（ゲイン値）を用いたＷＢ処理（マニュアルＷＢ処理）や、予め撮影前にグレイなど無彩色の被写体を撮影して得られた画像に基づいて決定されるＷＢ調整値を用いたＷＢ処理（プリセットＷＢ処理）や、ユーザがデジタルカメラ１０を操作しなくとも、デジタルカメラ１０が自動的に決定するＷＢ調整値を用いたＷＢ処理（オートＷＢ処理）が挙げられる。以下では、オートＷＢ処理（以下、ＡＷＢ処理と称す）の場合について説明する。なお、このＡＷＢ処理で用いられるＷＢ調整値は、ＣＰＵ６５によって決定されるが、これらＷＢ調整値は、後述する環境光推定装置４５によって求められる環境光情報に基づいて決定される。

画像処理部３１は、画像データに対する画像処理を施した後、例えばＪＰＥＧ方式などの記憶方式で圧縮するためのフォーマット処理（画像後処理）が施される。このフォーマット処理の後、画像処理部３１は、サムネイル画像データや、予め設定された圧縮率を用いて圧縮されたＪＰＥＧ方式の圧縮画像データを生成する。これら画像データは、デジタルカメラ１０の機種情報や、撮影時の撮影情報などを付帯情報とした画像ファイルとして記憶媒体３５に書き込まれる。なお、符号３６はメディアコントローラである。

ＬＣＤ４１は、非撮影時に撮像素子から出力される画像信号を間引き処理することで得られる画像（スルー画像）や、撮影により取得された画像を表示する他に、デジタルカメラ１０の各種設定を行う際のメニュー等を表示する。なお、表示制御部４２は、ＬＣＤ４１における表示制御を実行する。

環境光推定装置４５は、撮影時の環境光を撮影により得られた画像を用いて推定し、該推定により得られた環境光情報をＣＰＵ６５に出力する。この環境光推定装置４５は、領域抽出部５１、色情報取得部５２、環境光情報取得部５３を備えている。

領域抽出部５１は、バッファメモリ２５に記憶される画像データを用いて、類似する特徴量となる領域（以下、類似特徴領域と称す）を抽出する。なお、類似する特徴量とは、例えばＲ，Ｇ，Ｂの各階調値が近似する、つまり、同一色及び近似色であることが挙げられる。この類似特徴領域を抽出する方法としては、例えば周知の分割統合法が挙げられる。分割統合法は、周知であることから、ここではその詳細を省略するが、例えば画像全体を一つの部分領域とみなし、対象とする部分領域が一様ではない（複数の部分領域に分けられる）と判断した場合は、縦横に例えば２等分する（つまり４等分）。これら４等分された各部分領域において、再度対象とする部分領域が一様であるか否かを判定し、一様でないと判定された部分領域を再度４等分する。この処理を各部分領域の画像の性質が一様になるまで繰り返した後、隣り合う部分領域の性質が近似する部分領域をそれぞれ統合する。これにより、類似する特徴量となる領域が全て統合され、類似特徴領域が抽出される。例えば画像ＰＩに対して分割統合法を用いた場合には、領域６１、領域６２、領域６３のそれぞれが類似特徴領域として抽出される（図２参照）。

色情報取得部５２は、抽出された類似特徴領域に含まれる画素のそれぞれにおける色情報を取得する。色情報としては、例えば輝度情報及び色度情報が挙げられる。バッファメモリ２５に記憶される画像データは、Ｒ，Ｇ，Ｂ色成分の画像データとなることから、抽出された類似特徴領域に含まれる画素のそれぞれのＲ，Ｇ，Ｂ各色成分を輝度Ｙ成分及び色度（ｒ，ｇ）成分に変換することで、輝度情報及び色度情報が取得される。色度情報である色度（ｒ，ｇ）は、対象となる類似特徴領域内のＲ，Ｇ，Ｂの各色成分を下記に示す（１）式、（２）式に代入することで算出される。なお、色度ｒは、全色成分に対するＲ色成分の割合（比率）であり、色度ｇは、全色成分に対するＧ色成分の割合（比率）である。

ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）・・・（１）
ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）・・・（２）
また、輝度情報である輝度（Ｙ）成分は、対象となる類似特徴領域内のＲ，Ｇ，Ｂの各色成分を下記に示す（３）式に代入することで算出される。

Ｙ＝ｓＲ＋ｔＧ＋ｕＢ・・・（３）
なお、ｓ，ｔ，ｕはそれぞれ係数であり、これら係数ｓ，ｔ，ｕは、予め実験、統計等により求められる値である。

環境光情報取得部５３は、色情報取得部５２において取得される類似特徴領域の輝度Ｙ及び色度（ｒ，ｇ）を用いて、撮影時の環境光情報を取得する。この環境光情報としては、例えば環境光の色度（ｒ_０，ｇ_０）が挙げられる。なお、環境光情報取得部５３にて取得される環境光情報は、ＣＰＵ６５に出力される。

この環境光情報取得部５３は、色情報判定部５４と、式算出部５５とを有している。色情報判定部５４は、色情報取得部５２により取得された類似特徴領域における輝度Ｙを用いた輝度分布と、色度（ｒ，ｇ）を用いた色度分布を求め、これら輝度分布及び色度分布から、類似特徴領域が有彩色であるか否かを判定する。類似特徴領域の各画素における輝度分布及び色度分布を求めていることから、色度分布における分布範囲は、輝度分布の分布範囲に比べて小さくなる（図３、図４参照）。

図３に示すように、例えば類似特徴領域の各画素が有彩色からなる場合には、色度分布は、ある程度分散されたものとなる。一方、図４に示すように、類似特徴領域の各画素が無彩色からなる場合には、色度ｇはある値に集中し、有彩色の場合に比べて色度分布の分布範囲が小さくなる。つまり、輝度分布が分散されている場合に有彩色であるか無彩色であるかを判別するためには、色度分布の分布範囲に対する閾値としての基準範囲Ｄを設け、色度分布の分布範囲が基準範囲Ｄ内となる場合に無彩色であると判定し、色度分布の分布範囲が基準範囲Ｄを超える場合に有彩色であると判定すればよい。なお、上述した閾値となる基準範囲Ｄは、予め実験等を行うことで得られる値を用いればよい。また、図３及び図４については、輝度分布と色度ｇの色度分布とをまとめた図であるが、輝度分布と色度ｒの輝度分布とをまとめた場合も同様であり、色度ｒの色度分布を求めることで有彩色であるか、無彩色であるかを判断することができる。

例えば色情報判定部５４によって類似特徴領域が有彩色であると判定された場合には、式算出部５５によって、下記に示す（４）、（５）、（６）式が算出される。一方、色情報判定部５４によって類似特徴領域が無彩色であると判定された場合には、環境光情報取得部５３は、色度分布から環境光の色度（ｒ_０、ｇ_０）を求める。この場合、色度分布の最頻値、加重平均値など、適宜の方法で環境光の色度（ｒ_０、ｇ_０）を求めることができる。この場合、環境光の輝度Ｙ_０は、環境光の色度（ｒ_０、ｇ_０）を用いて求めればよい。

式算出部５５は、色情報判定部５４による判定で類似特徴領域が有彩色であると判定した場合に機能する。この式算出部５５は、まず、色情報取得部５２によって取得された類似特徴領域における画素毎の輝度Ｙ及び色度（ｒ，ｇ）を用いて、輝度Ｙと色度ｒとの関係式、及び輝度Ｙと色度ｇとの関係式をそれぞれ求める。輝度Ｙと色度ｒとの関係式や、輝度Ｙと色度ｇとの関係式は、周知の最小二乗法を用いることによりそれぞれ求められる。この最小二乗法を用いることで、輝度Ｙと色度ｒとの関係式が（４）式として、輝度Ｙ及び色度ｇの関係式が（５）式として、それぞれ求められる。

ｒ＝ｐ_１Ｙ＋ｑ_１・・・（４）
ｇ＝ｐ_２Ｙ＋ｑ_２・・・（５）
なお、ｐ_１、ｑ_１、ｐ_２、ｑ_２は、それぞれ係数である。

これら輝度Ｙと色度ｒとの関係式、輝度Ｙと色度ｇとの関係式を求めた後、式算出部５５は、（４）式、（５）式から色度ｒと色度ｇとの関係式を求める。この色度ｒと色度ｇとの関係式は、（６）式として求められる。

ｇ＝ｍｒ＋ｎ・・・（６）
なお、ｍ＝ｐ_１／ｐ_２、ｎ＝（ｐ_２ｑ_１−ｐ_１ｑ_２）／ｐ_２である。

環境光情報取得部５３は、上述した式算出部５５によって算出された色度ｒと色度ｇとの関係式を用いて環境光の色度（ｒ_０，ｇ_０）を求める。

例えば領域抽出部５１によって抽出された類似特徴領域が１つの場合には、上述した色度ｒ及び色度ｇの関係式は１つである。この場合、環境光情報取得部５３は、例えばｒ・ｇ色度図上における黒体放射軌跡、つまり、環境光の色度変化を示す環境光特性データ５５と色度ｒと色度ｇとの関係式とから、交点（ｒ_ｉ、ｇ_ｉ）を算出し、この交点（ｒ_ｉ、ｇ_ｉ）を環境光の色度（ｒ_０、ｇ_０）とする。なお、環境光特性データ５７は、黒体放射の分光分布と撮像素子の分光感度から算出することが可能である。また、環境光特性データ５７は、予め内蔵メモリ５８に記憶される。

また、領域抽出部５１によって２つの類似特徴領域が抽出されている場合には、色度ｒ及び色度ｇの関係式は２つ求められる。この場合、環境光情報取得部５３は、それぞれの類似特徴領域に対して求められる色度ｒと色度ｇとの関係式を用いて、これら関係式の交点（ｒ_ｉ、ｇ_ｉ）を算出する。そして、算出された交点（ｒ_ｉ、ｇ_ｉ）を環境光の色度（ｒ_０、ｇ_０）とする。

また、類似特徴領域が３つ以上となる場合、色度ｒ及び色度ｇの関係式は３つ以上求められる。この場合、環境光の色度（ｒ_０、ｇ_０）を求める方法としては、下記に示すａ）、ｂ）の方法が考えられる。
が考えられる。
ａ）類似特徴領域毎に求められた色度ｒと色度ｇとの関係式から、２つの関係式を選択し、選択された２つの関係式から交点（ｒ_ｉ、ｇ_ｉ）を算出する。そして、算出された交点（ｒ_ｉ、ｇ_ｉ）を環境光の色度（ｒ_０、ｇ_０）とする。

この場合、例えば輝度分布の分布範囲が広範囲となる２つの類似特徴領域に対応する関係式を選択する。つまり、例えば輝度分布における分布範囲が広範囲となる場合には、被写体光に含まれる光成分に環境光成分が含まれる割合が高いことから、このような類似特徴領域に対して求められる関係式を用いて環境光の色度（ｒ_０、ｇ_０）を算出することで、算出結果を信頼度が高いものとすることができる。
ｂ）類似特徴領域のそれぞれで求められた色度ｒと色度ｇとの関係式から、２つの関係式を選択する際に考えられる全ての組み合わせで交点（ｒ_ｉ、ｇ_ｉ）を算出する。そして算出される交点を用いて、それら交点の中心や加重平均値を求め、求めた値を環境光の色度（ｒ_０、ｇ_０）とする。以下では、図２に示すように、画像ＰＩから類似特徴領域として、領域６１、領域６２、領域６３が抽出された場合を例に挙げて説明する。また、領域６１に対して求められる色度ｒと色度ｇとの関係式をＡ、領域６２に対して求められる色度ｒと色度ｇとの関係式をＢ、領域６３に対して求められる色度ｒと色度ｇとの関係式をＣを付してある。図５に示すように、このような場合には、例えば上述した色度ｒと色度ｇとの関係式が３つ（図５中Ａ、Ｂ、Ｃ）求められることになり、２つの関係式を選択する際の組み合わせは、複数（この場合は３通り）考えられる。これら組み合わせにより算出される交点は、同一点となるとは限らないことから、複数の交点の中心や加重平均を求めることで、上述した関係式のそれぞれにおける近似値を環境光の色度（ｒ_０、ｇ_０）とすることができる。

ＣＰＵ６５は、不図示の制御プログラムを実行することで、デジタルカメラ１０の各部を制御する。このＣＰＵ６５には、レリーズボタン７１や操作部７２からの操作信号が入力されることから、これら操作信号に基づいて、各部が制御される。例えばレリーズボタン７１が操作されると、ＡＥ処理部６６、ＡＦ処理部６７としての機能の他に、ＷＢ調整値決定部６８の機能を有している。なお、ＡＥ処理部６６やＡＦ処理部６７における処理は周知であることから、ここでは省略する。

ＷＢ調整値決定部６８は、環境光推定装置４５から出力される環境光情報を用いて、画像処理部３１におけるＷＢ処理に用いるＷＢ調整値を決定する。上述したように、環境光情報とは環境光の色度（ｒ_ｉ、ｇ_ｉ）であることから、これら値を用いてＷＢ調整値を算出する。色度値とゲイン値との関係は下記の（７）式、（８）式となる。

ｒ_ｉ＝Ｇｒ^−１／（Ｇｒ^−１＋１＋Ｇｂ^−１）・・・（７）
ｇ_ｉ＝１／（Ｇｒ^−１＋１＋Ｇｂ^−１）・・・（８）
なお、ゲイン値ＧｒはＧ成分に対するＲ成分の比であり、ＷＢ調整値Ｇｂは、Ｇ成分に対するＢ成分の比である。これら（７）式、（８）式を用いることで、ＷＢ調整値Ｇｒ、Ｇｂが算出される。なお、これら値Ｇｒ、Ｇｂが算出されると、ＣＰＵ６５は、これら値Ｇｒ、Ｇｂを画像処理部３１に出力する。上述したように、画像処理部３１は、ＷＢ調整値決定部６８により算出されたＷＢ調整値Ｇｒ、Ｇｂを用いて、これら値Ｇｒ、Ｇｂが算出された基となる画像データに対するＷＢ処理を実行する。

次に、環境光を推定する際の処理の流れについて、図６のフローチャートに基づいて説明する。

ステップＳ１０１は、取得された画像データを用いて類似特徴領域を抽出する処理である。環境光推定装置４５は、バッファメモリ２５に記憶された画像データを読み出した後、領域抽出部５１に画像データを入力する。領域抽出部５１は、例えば分割統合法を用いて、画像内において特徴量が類似する類似特徴領域を抽出する。なお、バッファメモリ２５に記憶される画像データは、本実施形態のデジタルカメラ１０で撮像することで得られる画像データである。領域抽出部５１において上述した分割等合法を用いることにより、例えば画像ＰＩから類似特徴領域６１，６２，６３が抽出される（図２参照）。

ステップＳ１０２は、後述するステップＳ１０３〜ステップＳ１０８の処理を実行する類似特徴領域を選択する処理である。ステップＳ１０１の処理で、類似特徴領域が１つ抽出された場合には、抽出された類似特徴領域が、そのまま選択される。一方、類似特徴領域が複数抽出された場合には、抽出された複数の類似特徴領域のうち、例えば最も領域の広い類似特徴領域が選択される。このステップＳ１０２の処理が実行された後、選択された類似特徴領域の色情報がステップＳ１０３及びステップＳ１０４の処理を実行することで取得される。

ステップＳ１０３は、色度情報を取得する処理である。ステップＳ１０２の処理によって類似特徴領域が選択されると、色情報取得部５２は、類似特徴領域に含まれる全ての画素に対する色度情報を取得する。なお、画像データは、Ｒ，Ｇ，Ｂの色成分で示されるデータであることから、選択された類似特徴領域内の画素のＲ，Ｇ．Ｂの色成分を上述した（１）式、（２）式に代入することで変換し、色度情報である色度（ｒ，ｇ）を全ての画素について取得する。

ステップＳ１０４は、輝度情報を取得する処理である。このステップＳ１０４の処理も色情報取得部５２において実行される。色情報取得部５２は、類似特徴領域に含まれる全ての画素に対する輝度情報を取得する。なお、このステップＳ１０４の処理においては、上述した（３）式に、Ｒ，Ｇ，Ｂの色成分を代入することで変換し、輝度情報である輝度Ｙを全ての画素について取得する。

ステップＳ１０５は、類似特徴領域が有彩色であるか否かを判定するステップである。色情報判定部５４は、ステップＳ１０３で取得された輝度Ｙ及び色度（ｒ，ｇ）を用いて輝度分布と色度分布とを求める。この色度分布と輝度分布とを参照することで、色情報判定部５４は、類似特徴領域が有彩色であるか否かを判定する。図３に示すように、例えば色度の分布範囲が基準範囲Ｄを超えているのであれば、有彩色であると判定される。一方、図４に示すように、色度の分布範囲が基準範囲Ｄ内であれば、無彩色であると判定される。

ステップＳ１０６は、ステップＳ１０５に行われた類似特徴領域が有彩色であるか否かの判定結果に応じて、以降に行われる処理を変更するための判定を行う処理である。例えば、ステップＳ１０５の処理で類似特徴領域が有彩色であると判定されている場合には、ステップＳ１０６の処理はＹｅｓとなり、ステップＳ１０７に進む。一方、ステップＳ１０５の処理で類似特徴領域が無彩色であると判定されている場合には、ステップＳ１０６の処理はＮｏとなり、ステップＳ１２０に進む。

以下では、先ずステップＳ１０６の処理でＹｅｓとなる場合について説明する。上述したようにステップＳ１０６の処理でＹｅｓとなる、つまり類似特徴領域が有彩色である場合、ステップＳ１０７に進む。

ステップＳ１０７は、輝度と色度との関係式を算出する処理である。ステップＳ１０３及びステップＳ１０４において、類似特徴領域に含まれる全ての画素における色度情報及び輝度情報が取得されていることから、式算出部５５は、これら情報を用いて、輝度Ｙと色度ｇとの関係を示す近似直線、及び輝度Ｙと色度ｒとの関係を示す近似直線をそれぞれ求める。なお、これら近似直線は、最小二乗法を用いることで、上述した（４）式、（５）式で示される一次関数が求められる。なお、図３に示す直線は、輝度Ｙが０．０４〜０１２の間に分布し、且つ色度ｇが０．２０〜０．３５の間に分散している場合に算出される輝度Ｙと色度ｇとの関係式を示す。なお、図３においては、輝度Ｙと色度ｇとの関係のみを示しているが、同様にして、輝度Ｙと色度ｒとの関係も同様にして求められる。

ステップＳ１０８は、ステップＳ１０７によって算出された輝度Ｙと色度ｇとの関係式、及び輝度Ｙと色度ｒとの関係式から、色度ｒと色度ｇとの関係式を算出する処理である。なお、このステップＳ１０８の処理も式算出部５５にて実行される。上述したように、輝度Ｙと色度ｇとの関係式は上述した（４）式で示され、輝度Ｙと色度ｒとの関係式は、上述した（５）で示されることから、これら関係式から、上述した（６）式に示される色度ｇ、ｒの関係式が算出される。

ステップＳ１０９は、抽出された全ての類似特徴領域に対してステップＳ１０３〜ステップＳ１０８の処理を実行したか否かを判定するステップである。図２に示すように、画像ＰＩから、類似特徴領域として、領域６１、領域６２、領域６３が抽出され、これら領域の全てに対してステップＳ１０３〜ステップＳ１０８の処理が実行された場合には、ステップＳ１０９の判定はＹｅｓとなり、ステップＳ１１０に進む。一方、領域６１、領域６２、領域６３のいずれかの領域に対してのみステップＳ１０３〜ステップＳ１０８の処理が実行された場合には、ステップＳ１０９の判定はＮｏとなり、ステップＳ１０２に戻る。つまり、類似特徴領域の全ての領域に対して、色度ｒと色度ｇとの関係式が算出されるまで、ステップＳ１０２〜ステップＳ１０８の処理が実行される。

ステップＳ１１０は、類似特徴領域に対して求められる色度ｒと色度ｇとの関係式を用いて交点を算出するステップである。このステップＳ１１０の処理は環境光情報取得部５３にて実行される。例えば抽出された類似特徴領域が１つの場合には、色度ｒと色度ｇとの関係式は1つしか求めることができないので、この場合には、環境光情報取得部５３は、内蔵メモリ５８に記憶された環境光特性データ５７を読み出す。環境光特性データ５７は黒体放射軌跡を示すものであることから、環境光情報取得部５３は、環境光特性データ５５と、色度ｒと色度ｇとの関係式とを用いて交点（ｒ_ｉ、ｇ_ｉ）を求める。そして、求めた交点（ｒ_ｉ、ｇ_ｉ）を環境光の色度（ｒ_０，ｇ_０）とする。

また、抽出された類似特徴領域が２つの場合には、色度ｒと色度ｇとの関係式は２つ求められることから、環境光情報取得部５３は、これら関係式から交点（ｒ_ｉ、ｇ_ｉ）を求め、求めた交点（ｒ_ｉ、ｇ_ｉ）を環境光の色度（ｒ_０，ｇ_０）とする。

例えば、図２に示すように、画像ＰＩから３つの類似特徴領域６１、６２、６３が抽出された場合には、上述した色度ｇと色度ｒとの関係式は３つ求められる。このような場合においては、上述したａ）又はｂ）の方法を用いて環境光の色度（ｒ_０，ｇ_０）を求める。

例えば、上述したａ）の手順を用いる場合には、類似特徴領域のそれぞれで求められた色度ｒと色度ｇとの関係式から、２つの関係式（例えばＡとＢ）を選択し、選択された２つの関係式から交点（ｒ_ｉ、ｇ_ｉ）を求める。この場合、例えば色度分布と輝度分布との分布範囲が広い２つの類似特徴領域に対応する関係式を選択する。

また、上述したｂ）の手順を用いる場合には、類似特徴領域のそれぞれで求められた色度ｒと色度ｇとの関係式から、２つの関係式を選択する際に考えられる全ての組み合わせで交点（ｒ_ｉ、ｇ_ｉ）を求め、求められた交点の中心や加重平均値を求める。つまり、３つの類似特徴領域６１，６２，６３が抽出された場合には、これら類似特徴領域に対応する関係式としてＡ、Ｂ、Ｃが求められることから、選択される２つの関係式の組み合わせとしては、ＡとＢ、ＡとＣ、ＢとＣの３通りの組み合わせがある。これら選択される組み合わせで交点をそれぞれ求め、算出された交点の平均や加重平均を求める。そして、求めた値を環境光の色度（ｒ_０，ｇ_０）とする。これにより環境光を推定することが可能となる。環境光推定装置４５により推定される環境光の色度（ｒ_０，ｇ_０）は、環境光情報としてＣＰＵ６５に出力される。ＣＰＵ６５は、入力される環境光の色度（ｒ_０，ｇ_０）を（７）式、（８）式に代入することで、ＷＢ調整値Ｇｒ，Ｇｂを算出する。この算出されたＷＢ調整値Ｇｒ，Ｇｂは、画像処理部３１に出力され、環境光の推定を行った画像データに対するＷＢ処理を行う際に用いられる。

このように、本発明においては、類似特徴領域から得られる輝度情報と色度情報とを用いて、輝度Ｙと色度ｇとの関係式と、輝度Ｙと色度ｒとの関係式とを算出することで、色度成分に対する輝度成分の勾配を考慮することになる。つまり、環境光が全反射成分と拡散反射成分とを比較すると、全反射成分の方が輝度が高く、拡散成分が強まるに従い、輝度が低くなる性質を利用して、精度の高い環境光の推定を行うことができる。また、仮に色度のみから近似直線を求めた場合には、該近似直線が理想的な直線とならないこともあり、環境光情報の誤検出を生じてしまうことになるが、予め輝度成分を考慮することで、該近似直線が理想的な直線として求めることができるので、より正確に環境光情報を推定することができる。なお、ＣＰＵ６５に出力された環境光情報は、画像データに対するＷＢ調整を行う際に用いられるＷＢ調整値を算出する際に使用される。

一方、ステップＳ１０６の処理で、類似特徴領域が有彩色でない場合（無彩色となる場合）には、ステップＳ１２０に進む。ステップＳ１２０は、色度分布から環境光の色度（ｒ_０，ｇ_０）を算出する処理である。上述したように、ステップＳ１０６で得られる色度分布は、基準範囲Ｄ内に収束されていることから、環境光情報取得部５３は、これら色度分布から色度の平均や最頻値、或いは加重平均などを算出することで、環境光の色度（ｒ_０，ｇ_０）を算出する。なお、このステップＳ１２０の処理が実行されることで、環境光の色度（ｒ_０，ｇ_０）が求められることから、全ての類似特徴領域に対する色度ｒと色度ｇとの関係式を算出する処理が実行されていなくとも、環境光の推定処理が終了される。この場合も、上述したように、環境光の色度（ｒ_０，ｇ_０）はＣＰＵ６５に出力される。

本実施形態では、環境光推定装置をＣＰＵや画像処理部とは別個に設けた場合について説明しているが、これに限定される必要はなく、ＣＰＵや画像処理部に環境光推定装置の機能を備えることも可能である。

本実施形態では、環境光推定装置４５をデジタルカメラ１０に搭載し、環境光推定装置４５により推定された環境光情報から、直接、画像データに対するＷＢ処理時に用いるＷＢ調整値を求めているが、これに限定される必要はなく、推定される環境光情報からＣＩＥ表色系で示される色度を一旦求めることもできる。

この場合、先ず（９）式を用いて三刺激値（Ｘｉ、Ｙｉ、Ｚｉ）を求める。

なお、パラメータｃ１〜ｃ９は、基準色の撮影実験などから予め求められる値である。

その後、算出された三刺激値（Ｘｉ、Ｙｉ、Ｚｉ）を（１０）式用いることで、ＣＩＥ表色系で示される色度（ｘ，ｙ）を求める。

上述した（１０）式により求められる色度から、例えば画像データの色温度を求めることができるので、例えば環境光推定装置に設けられた表示装置や、該環境光推定装置に接続される表示装置で設定された色温度となるように画像データに対する色変換を行うなどの処理を実行することができる。なお、環境光推定装置に接続される装置が、ＣＩＥ表色系のｘｙ色度を出力する装置の場合には、その分光感度がＣＩＥ表色系の等色関数となっていることが好ましい。

本実施形態では、環境光推定装置を組み込んだデジタルカメラの例を取り上げて説明したが、これに限定される必要はなく、例えば色温度計などに組み込む、又は本発明の環境光推定装置単体を色温度計として用いることも可能である。

本実施形態では、環境光推定装置を備えたデジタルカメラの例を取り上げているが、環境光推定装置を備えた装置としては、デジタルカメラの他に、スキャナやコピー機などの画像読取装置であってもよい。

また、この他に、図１に示す環境光推定装置の機能、及び図６のフローチャートに示す処理の流れをＰＣにて実行させるためのプログラム（以下、環境光推定プログラムと称す）であっても良い。この場合、デジタルカメラにて取得されたＲＡＷ画像データをＰＣにて画像処理する場合に、環境光推定プログラムを実行し、ＲＡＷ画像データの取得時における環境光の推定処理を行い、この推定処理によって得られる環境光情報からＷＢ調整値を求め、ＷＢ処理を行う。また、この場合には、ＰＣに設けられたディスプレイに画像処理後の画像を表示できる。なお、この環境光推定プログラムは、画像処理を実行する画像処理プログラムを実行したときの１つの機能として実行できるように、画像処理プログラムに組み込まれている形態であっても、画像処理プログラムを実行したときに連動する別個のプログラムであってもよい。上述した環境光推定プログラムは、メモリーカードや光ディスク、或いは磁気ディスクなどの、ＰＣによって読み取りが可能な記憶媒体に記憶されることが好ましい。

本実施形態では、類似特徴領域毎に、輝度情報と色度情報とを色情報として取得し、取得された輝度情報と色度情報とから、輝度値Ｙと色度値ｇとの関係式及び輝度値Ｙと色度値ｒとの関係式をそれぞれ求めているが、これら関係式（上述した（４）式、（５）式）が成立する条件としては、画像が有彩色で、全反射成分、拡散成分が広く分布している場合である。一方、無彩色となる画像の場合には、輝度成分の分布は広がりがあるが、色度成分の分布は、所定の値に集中してしまう。これは、無彩色の反射光は、そのまま環境光の色度を反映するためである。つまり、輝度成分の分布が広がりを有しているが、色度成分の分布が所定の値に集中している場合には、無彩色の画像と判断し、上述した所定値を環境光の色度値とすることができる。

デジタルカメラの構成を示す機能ブロック図である。 画像から抽出される類似特徴領域の一例を示す図である。 有彩色となる場合の輝度Ｙと色度ｇとの関係を示す図である。 無彩色となる場合の輝度Ｙと色度ｇとの関係を示す図である。 色度ｒと色度ｇとの関係を示す図である。 環境光の推定を行う場合の処理の流れを示すフローチャートである。

符号の説明

１０…デジタルカメラ、４５…環境光推定装置、５１…領域抽出部、５２…色情報取得部、５３…環境光情報取得部、５４…色情報判定部、５５…式算出部、６５…ＣＰＵ、６８…ＷＢ調整値決定部

Claims (9)

1. 画像中における特徴量が類似する領域を類似特徴領域として抽出する領域抽出部と、
   前記類似特徴領域における輝度及び色度を取得する色情報取得部と、
   前記輝度と前記色度との関連性を求めた上で、前記画像における環境光情報を取得する環境光情報取得部と、
   を備えたことを特徴とする環境光推定装置。
2. 請求項１に記載の環境光推定装置において、
   前記色度は、複数の色成分のいずれかの色成分における第１色度と、該第１色度とは異なる色成分における第２色度とからなり、
   前記環境光情報取得部は、前記輝度と前記第１色度との関係式、及び前記輝度と前記第２色度との関係式をそれぞれ求め、求められた関係式から前記第１色度と前記第２色度との関係式を求めることを特徴とする環境光推定装置。
3. 請求項２に記載の環境光推定装置において、
   前記環境光情報取得部は、前記領域抽出部により前記特徴量が異なる類似特徴領域が少なくとも２つ以上抽出された場合に、前記類似特徴領域毎に求められる前記第１色度と前記第２色度との関係式から、前記環境光の色度を求めることを特徴とする環境光推定装置。
4. 請求項３に記載の環境光推定装置において、
   前記環境光情報取得部は、前記少なくとも２つ以上の類似特徴領域が抽出された場合に、前記類似特徴領域毎に求められる前記第１色度と前記第２色度との関係式から、２つの前記第１色度及び前記第２色度の関係式を選択し、選択された２つの前記第１色度及び前記第２色度の関係式の交点となる色度を、前記画像における環境光の色度とすることを特徴とする環境光推定装置。
5. 請求項２に記載の環境光推定装置において、
   前記環境光情報取得部は、前記領域抽出部により前記類似特徴領域が１つのみ抽出された場合に、該類似特徴領域における前記第１色度と前記第２色度との関係式と、前記環境光の特性を示す環境光特性情報とから、前記画像取得時における前記環境光の色度を求めることを特徴とする環境光推定装置。
6. 請求項５に記載の環境光推定装置において、
   前記環境光特性情報を記憶する記憶部を備えたことを特徴とする環境光推定装置。
7. 請求項１〜６のいずれか１項に記載の環境光推定装置において、
   前記環境光情報取得部は、前記類似特徴領域から得られる輝度及び色度から輝度分布及び色度分布を算出し、色度分布における分布範囲が所定範囲未満となる場合に、前記色度分布から前記画像における環境光の色度を求めることを特徴とする環境光推定装置。
8. 画像を取得する画像取得部と、
   請求項１〜７のいずれか１項に記載の環境光推定装置と、
   前記環境光推定装置により推定された環境光の色度から、前記画像に対する画像処理時のパラメータを決定するパラメータ決定部と、
   前記パラメータ決定部により決定された前記画像に対する画像処理時のパラメータを用いて、前記画像に対する画像処理を施す画像処理部と、
   を備えたことを特徴とするデジタルカメラ。
9. 画像中における特徴量が類似する領域を類似特徴領域として抽出する領域抽出工程と、
   前記類似特徴領域における輝度及び色度を取得する色情報取得工程と、
   前記輝度と前記色度との関連性を求めた上で、画像における環境光情報を取得する環境光情報取得工程と、
   をコンピュータにて実行させることを特徴とする環境光推定プログラム。

Images