JP4677226B2

JP4677226B2 - 画像処理装置及び方法

Info

Publication number: JP4677226B2
Application number: JP2004366468A
Authority: JP
Inventors: 光太郎北島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-12-17
Filing date: 2004-12-17
Publication date: 2011-04-27
Anticipated expiration: 2024-12-17
Also published as: US7589765B2; US20060132870A1; JP2006174281A

Description

本発明は、光源を推定し、それに応じて適切なホワイトバランス制御を行う画像処理装置及び方法に関する。

近年のビデオカメラ等で利用されるオートホワイトバランス制御では、外部センサを使用せず、撮像素子の出力を用いて行うものが主流となっている。このようなホワイトバランス制御として、輝度信号（Ｙ）、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号から色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を得るとともに、画像データを細かなブロックに分割し、各分割ブロック内で信号を平均し、それらの値から白に近い色信号成分を抽出し、抽出された白に近い色信号の平均値が目標値とする白色と等しくなるように制御するものがある（例えば、特許文献１参照）。

この種のホワイトバランス制御において、被写体の照度情報に基づいて光源を推定するようにしたものが知られている。一般に、屋外の太陽光下では被写体の照度が比較的高い数値を示し、逆に屋内の人工照明下では被写体の照度が比較的低い数値を示す傾向がある。このことから、被写体の照度によって、光源が屋外の太陽光であるのか、屋内の蛍光灯等の人口照明であるのかをある程度推定することが可能である。すなわち、被写体の照度が所定の閾値よりも大きい場合には屋外、小さい場合には屋内であると推定し、その光源情報（屋内／屋内）に応じてホワイトバランスゲインが決定される。

図１７は、光源の種類に対応した白抽出範囲を示す図である。同図において、１７００は色差平面における白抽出範囲を示している。輝度信号が所定の閾値よりも大きい信号であり、白抽出範囲内に入っている信号を抽出する。白抽出範囲は、光源情報が屋外である場合には、図１７（ａ）に示すように青系の色を無彩色と判断し、光源情報が屋内である場合には、図１７（ｂ）に示すようにハロゲン灯に対応する赤及び人口灯に対応する緑系の色を無彩色と判断するように範囲を補正する。このようにして光源の種類に対応させた白抽出範囲を利用して、白データが抽出されると、抽出白データが目標の白になるように赤（Ｒ）及び青（Ｂ）信号のホワイトバランスゲインが決定され、ホワイトバランス制御が行われる。

特開平５−６４２１９号公報

ところで、上述したように照度情報に基づいて屋外、屋内を推定する場合、例えば屋外の日陰等の暗い場所で撮影した際に、屋内であるとシーンを誤判断してしまうことがある。これは、照度だけを基準として閾値処理すると、屋外光と屋内光の分布が重なる部分があるため、１次元の特徴の閾値では光源を分けることができないことが原因である。

この結果、屋外の日陰で緑の草木や芝を撮影する際には、白抽出範囲に緑領域が含まれているため、緑を白（無彩色）にする作用が働いてしまう。この状態で撮影を行うと、本来は白である被写体はマゼンタになり、草木や芝の緑はグレーになる等、適切なホワイトバランス制御が行えなくなる。

本発明は上記のような点に鑑みてなされたものであり、光源の推定精度を高め、適切なホワイトバランス制御を行うことができるようにすることを目的とする。

本発明による画像処理装置は、少なくとも画像信号に関する照度情報、画像信号に関する色温度の状態の指標となる色温度情報、及び画像信号に関する緑量情報を座標軸とする多次元空間における、少なくとも前記色温度情報と前記照度情報の二次元分布及び前記色温度情報と前記緑量情報の二次元分布で決まる屋内と屋外の識別境界を規定し、撮像された画像信号に関する照度情報の値、撮像された画像信号に関する色温度の状態の指標となる色温度情報の値、及び撮像された画像信号に関する緑量情報の値が前記識別境界を基準に屋内側か屋外側かを判定する判定手段と、
前記判定手段により屋外側と判定された場合は屋外光源に対応したホワイトバランス制御を行い、屋内側と判定された場合は屋内光源に対応したホワイトバランス制御を行う制御手段と、を有することを特徴とする。
本発明による別の画像処理装置は、少なくとも画像信号に関する照度情報、画像信号に関する色温度の状態の指標となる色温度情報、画像信号に関する緑量情報、及び画像信号に関する分割ブロックに含まれる緑色ブロックの平均輝度情報を座標軸とする多次元空間における、少なくとも前記色温度情報と前記照度情報の二次元分布及び前記色温度情報と前記緑量情報の二次元分布で決まる屋内と屋外の識別境界を規定し、撮像された画像信号に関する照度情報の値、撮像された画像信号に関する色温度の状態の指標となる色温度情報の値、撮像された画像信号に関する緑量情報の値、及び撮像された画像信号に関する分割ブロックに含まれる緑色ブロックの平均輝度情報の値が前記識別境界を基準に屋内側か屋外側かを判定する判定手段と、前記判定手段により屋外側と判定された場合は屋外光源に対応したホワイトバランス制御を行い、屋内側と判定された場合は屋内光源に対応したホワイトバランス制御を行う制御手段と、を有することを特徴とする。
本発明による画像処理方法は、少なくとも画像信号に関する照度情報、画像信号に関する色温度の状態の指標となる色温度情報、及び画像信号に関する緑量情報を座標軸とする多次元空間における、少なくとも前記色温度情報と前記照度情報の二次元分布及び前記色温度情報と前記緑量情報の二次元分布で決まる屋内と屋外の識別境界を規定し、撮像された画像信号に関する照度情報の値、撮像された画像信号に関する色温度の状態の指標となる色温度情報の値、及び撮像された画像信号に関する緑量情報の値が前記識別境界を基準に屋内側か屋外側かを判定する判定ステップと、前記判定ステップにより屋外側と判定された場合は屋外光源に対応したホワイトバランス制御を行い、屋内側と判定された場合は屋内光源に対応したホワイトバランス制御を行う制御ステップと、を有することを特徴とする。
本発明による別の画像処理方法は、少なくとも画像信号に関する照度情報、画像信号に関する色温度の状態の指標となる色温度情報、画像信号に関する緑量情報、及び画像信号に関する分割ブロックに含まれる緑色ブロックの平均輝度情報を座標軸とする多次元空間における、少なくとも前記色温度情報と前記照度情報の二次元分布及び前記色温度情報と前記緑量情報の二次元分布で決まる屋内と屋外の識別境界を規定し、撮像された画像信号に関する照度情報の値、撮像された画像信号に関する色温度の状態の指標となる色温度情報の値、撮像された画像信号に関する緑量情報の値、及び撮像された画像信号に関する分割ブロックに含まれる緑色ブロックの平均輝度情報の値が前記識別境界を基準に屋内側か屋外側かを判定する判定ステップと、前記判定ステップにより屋外側と判定された場合は屋外光源に対応したホワイトバランス制御を行い、屋内側と判定された場合は屋内光源に対応したホワイトバランス制御を行う制御ステップと、を有することを特徴とする。

本発明によれば、入力画像の照度情報を含む複数の特徴情報に基づいて光源を推定するようにしたので、光源の推定精度を高めることができ、適切なホワイトバランス制御を行うことができる。特に、照度情報を含む複数の特徴情報を座標軸とする多次元座標系における各光源の特徴分布と、照度情報を含む複数の特徴情報との関係に基づいて光源を推定する場合には、光源の推定処理が簡略化される。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態のオートホワイトバランス機能を備えた画像処理装置の構成例を示す図である。同図において、１０１は被写体の光束を結像するレンズ、１０２はアイリス、１０３は入射した光を光電変換する撮像素子、１０４は撮像素子１０３からの信号を適正レベルに増幅するＡＧＣアンプである。

１０５は撮像素子１０３で生成された信号を輝度（Ｙ）及び色信号（Ｒ、Ｇ、Ｂ）に変換する輝度・色信号変換部、１０６は輝度・色信号生成部１０５から出力される色信号（Ｒ、Ｇ、Ｂ）に対して利得を制御しホワイトバランスを制御するホワイトバランス制御部、１０７は色差信号（Ｒ-Ｙ、Ｂ-Ｙ）を生成する色差信号生成部、１０８は標準テレビ信号等に変換するエンコーダ部である。

１０９は輝度信号（Ｙ）、色差信号（Ｒ-Ｙ、Ｂ-Ｙ）を所定の領域ごとに分割する信号分割部である。

１１３は画像信号から緑の色相領域に属する信号の量を検出する緑量検出部、１１２は被写体の照度を検出する明るさ検出部、１１１は光源を推定する光源推定部、１１０は信号分割部１０９から得られた信号及び光源推定部１１１からの光源情報に基づいてホワイトバランスゲインを決定するホワイトバランスゲイン決定部である。

次に、本実施形態の画像処理装置での処理動作について説明する。撮像素子１０３に入射した光が光電変換され、ＡＧＣアンプ１０４で適正レベルに増幅された後、輝度・色信号生成部１０５へ出力される。輝度・色信号生成部１０５では、輝度信号（Ｙ）及び色信号（Ｒ、Ｇ、Ｂ）を生成し、このうち色信号（Ｒ、Ｇ、Ｂ）をホワイトバランス制御部１０６へ出力する。

ホワイトバランス制御部１０６では、後述するようにホワイトバランスゲイン決定部１１０から出力されるホワイトバランスゲイン情報に基づいて色信号（Ｒ、Ｇ、Ｂ）のゲインを調節し、ゲイン調節した色信号（Ｒ、Ｇ、Ｂ）を色差信号生成部１０７へ出力する。色差信号生成部１０７では、色信号（Ｒ、Ｇ、Ｂ）から色差信号（Ｒ-Ｙ、Ｂ-Ｙ）を生成し、色差信号（Ｒ-Ｙ、Ｂ-Ｙ）をエンコーダ１０８及び信号分割部１０９へ出力する。

エンコーダ１０８では、輝度信号（Ｙ）、色差信号（Ｒ-Ｙ、Ｂ-Ｙ）からＮＴＳＣ等の標準テレビジョン信号を生成し、出力する。

信号分割部１０９では、画像信号を図１６に示すようにブロック（例えば８×８領域）に分割し、各ブロックにおける輝度信号（Ｙ）、色差信号（Ｒ-Ｙ、Ｂ-Ｙ）の平均値を算出して、輝度信号（Ｙ）及び色差信号（Ｒ-Ｙ、Ｂ-Ｙ）をホワイトバランスゲイン決定部１１０へ、色差信号（Ｒ-Ｙ、Ｂ-Ｙ）を緑量検出部１０３へ、輝度信号（Ｙ）を明るさ検出部１１２へそれぞれ出力する。

明るさ検出部１１２には、信号分割部１０９からの各ブロックの平均輝度信号（Ｙ）以外にも、アイリス１０２の解放状態を示す信号、撮像素子１０３の電子シャッタの制御状態を示す信号、ＡＧＣアンプ１０４のゲイン状態を示す信号がそれぞれ入力される。明るさ検出部１１２では、これら輝度、アイリスの解放状態、ＡＧＣアンプ１０４のゲイン状態、撮像素子１０３の電子シャッタの状態から被写体の明るさ（照度）を検出し、検出した照度情報を光源推定部１１１へ出力する。

緑量検出部１１３には、信号分割部１０９から各ブロックの平均色差信号（Ｒ-Ｙ、Ｂ-Ｙ）が入力される。図２は色差（Ｒ−Ｙ、Ｂ−Ｙ）平面を示す図であり、２０１は緑領域（黄〜緑の色相にあたる領域）を示している。緑量検出部１１３では、入力される各ブロックの平均色差信号が色差平面上の緑領域２０１に含まれるかどうかチェックし、緑領域２０１に含まれるブロックの数をカウントし（以下、この緑と判断されたブロックの数を「緑量」と称する）、得られた緑量を光源推定部１１１へ出力する。

ホワイトバランスゲイン決定部１１０では、信号分割部１０９からの各ブロックの平均輝度信号（Ｙ）及び平均色差信号（Ｒ-Ｙ、Ｂ-Ｙ）から白色に近い信号を抽出し、抽出した白に近い信号を目標の白に近づけるように赤（Ｒ）及び青（Ｂ）信号のホワイトバランスゲインを決定する。図３はホワイトバランスゲインの制御範囲を示す図である。同図において、３０１は黒体放射軸を示し、ホワイトバランスゲインは基本的に黒体放射軸３０１に従って決定される。３０２は色温度が３０００Ｋのときのゲイン状態を示し、この例の場合は赤のゲイン（Ｒ-Ｇａｉｎ）がＲ３０００、青のゲイン（Ｂ-Ｇａｉｎ）がＢ３０００に制御される。また、３０３は色温度が８０００Ｋのときのゲイン状態を示し、赤のゲインがＲ８０００、青のゲインがＢ８０００に制御される。すなわち、光源の色温度に応じて、色温度が高ければゲイン状態３０３の方向へ、色温度が低ければゲイン状態３０２の方向へ黒体放射軸３０１に沿って制御される。ホワイトバランスゲイン決定部１１０は、ホワイトバランスゲイン情報をホワイトバランス制御部１０６へ出力するとともに、光源推定部１１１にも出力する。

光源推定部１１１では、明るさ検出部１１２からの被写体の照度情報、緑量検出部１１３からの緑量、ホワイトバランス決定部１１０からのホワイトバランスゲイン情報を入力とし、光源を推定する。ここでホワイトバランスゲイン情報としては赤のゲイン（Ｒ-Ｇａｉｎ）を入力とする。図４は赤、青のホワイトバランスゲイン座標系における２種類の光源（屋内の蛍光灯、屋外の日向／日陰）の分布を示す図である。同図において、４０１は黒体放射軸、４０２は屋内の蛍光灯下におけるホワイトバランスゲインが分布する領域、４０３は屋外の日向／日陰におけるホワイトバランスゲインが分布する領域である。赤のゲイン（Ｒ-Ｇａｉｎ）に関してみると、屋外の日向／日陰の分布領域が高色温度側に広くなっている。すなわち、色温度が高い状態にあるときは、屋外である可能性が高くなる。ここでは、色温度の状態の指標をとるために赤のゲイン（Ｒ-Ｇａｉｎ）を光源推定部１１１への入力の一つとした。

ここで、照度、緑量、Ｒ-Ｇａｉｎの３つの特徴情報に基づいた光源推定について説明する。図５は、照度、緑量、Ｒ-Ｇａｉｎを座標軸とする３次元座標系における屋外光、屋内光の分布を示す図である。同図において、５０１は屋外の日向／日陰での分布、５０２は屋内の蛍光灯での分布を示している。

また、図６、図７は、図５における３次元座標系の２つの座標軸について表した分布図である。図６はＲ-Ｇａｉｎと照度の関係を示す図であり、同図において、６０１は屋外の日向／日陰での分布を示しており、６０２は屋内の蛍光灯での分布を示している。また、図７はＲ-Ｇａｉｎと緑量の関係を示す図であり、同図において、７０１は屋外の日向／日陰での分布を示しており、７０２は屋内の蛍光灯での分布を示している。

図８は、光源推定部１１１での光源推定処理を説明するためのフローチャートである。まず、入力情報として照度、緑量、Ｒ-Ｇａｉｎを取得する（ステップＳ８０１）。次に、ステップ８０１で取得した入力情報を識別関数に入力する（ステップＳ８０２）。ここで、図９を参照して識別関数について説明する。図９は、図５と同様に照度、緑量、Ｒ-Ｇａｉｎを座標軸とする３次元座標系を示している。同図において、９０１は屋外の日向／日陰での分布を示しており、９０２は屋内の蛍光灯での分布を示している。また、９０３は識別境界であり、屋外の分布９０１と屋内の分布９０２を統計的に２つに分割するような曲面境界になっている。

この識別境界９０３を数式で表現したものが識別関数である。本実施形態では、照度、緑量、Ｒ-Ｇａｉｎを座標軸とする３次元座標系上での屋外、屋内の各データの分布について判別分析を行い、マハラノビス汎距離に基づいた２次の識別関数を求めている。識別関数ｆ(ｘ₁，ｘ₂，ｘ₃)は、入力される照度（ｘ₁）、Ｒ-Ｇａｉｎ（ｘ₂）、緑量（ｘ₃）を変数とする下式（１）で表現される。ｆ(ｘ₁，ｘ₂，ｘ₃)＝０で表わされる曲面が識別境界９０３に対応している。

この識別関数ｆ(ｘ₁，ｘ₂，ｘ₃)に照度（ｘ₁）、Ｒ-Ｇａｉｎ（ｘ₂）、緑量（ｘ₃）を入力し、識別関数ｆ(ｘ₁，ｘ₂，ｘ₃)＞０であれば光源は屋内の蛍光灯であると判定し（ステップＳ８０４）、識別関数ｆ(ｘ₁，ｘ₂，ｘ₃)＜０であれば光源は屋外の日向／日陰であると判定する（ステップＳ８０５）。このことは、図９において３次元座標系上に入力された特徴点をプロットし、該プロットした点が識別境界９０３よりも空間的に屋外側にあるか屋内側にあるのかを判定することと等価である。

その後、光源情報をホワイトバランスゲイン決定部１１０へ出力する（ステップＳ８０６）。以上が光源推定部１１１での光源推定処理である。

ホワイトバランスゲイン決定部１１０では、既述したように、光源情報に応じて白抽出範囲を適応的に補正する等してホワイトバランスゲインを決定する。決定したホワイトバランスゲインはホワイトバランスゲイン情報としてホワイトバランス制御部１０６へ出力するとともに、次の画像の制御に利用されるように光源推定部１１１へ出力する。本実施形態のホワイトバランス装置では、フィードバック制御を行っているので、ここで設定されたホワイトバランスゲインは次に入力される画像信号に対して適応される。

以上述べたように屋外、屋内２つの光源分布を照度、緑量、Ｒ-Ｇａｉｎの３次元での分布を分割する非線形境界で識別することにより、従来のように照度を閾値処理して屋外、屋内を識別する方法と比較して、高い精度で光源を推定することが可能となる。

なお、本実施形態では、識別関数として判別分析によって求められるマハラノビス汎距離境界を識別境界とするものとして説明したが、識別境界はこれに限るものではなく、３次元座標系を非線形に分離する境界（多面境界による近似でもよい）を表現するものであればどのようなものであってもかまわない。

また、識別関数の結果が正か負かで光源を判別していたが、識別境界からの距離に応じて段階的に制御を変えてもよい。例えば図１０において横軸１００１は識別関数を示す軸であり、上記実施形態では０を識別境界にして正なら屋内、負なら屋外と判定し、ホワイトバランスゲインの補正（例えば白抽出範囲の制御）が行われる。この場合に、識別境界０付近において、誤判別のおそれをなくすために、適宜定められた範囲１００２に入ったときは、光源の種類によって行う白抽出範囲の補正を弱くする等の制御を加えてもよい。また、識別境界０からの差によって制御方法を変える等の方法をとってもよい。

（第２の実施形態）
第２の実施形態は、上記第１の実施形態において光源推定に用いられた３種類の特徴情報を４種類に拡張した例である。図１１は、第２の実施形態の画像処理装置の構成例を示す図である。同図において、レンズ１１０１から信号分割部１１０９までは、第１の実施形態における図１のレンズ１０１から信号分割部１０９と同様の構成要素であり、その詳細な説明は省略する。

１１１３は各ブロックの信号が緑の色相領域に属するものであるかチェックする緑ブロック検出部、１１１４は緑ブロック検出部１１１３で緑と判断されたブロックの個数をカウントする緑量検出部、１１１５は緑ブロック検出部１１１３で緑と判断されたブロックの平均輝度を算出する緑輝度検出部、１１１２は被写体の照度を検出する明るさ検出部、１１１１は光源を推定する光源推定部、１１１０は信号分割部１１０９から得られた信号及び光源推定部１１１１からの光源情報に基づいてホワイトバランスゲインを決定するホワイトバランスゲイン決定部である。

次に、本実施形態の画像処理装置での処理動作について説明する。撮像素子１１０３で生成される画像信号が領域毎に輝度信号（Ｙ）、色差信号（Ｒ-Ｙ、Ｂ-Ｙ）の平均値として信号分割部１１０９からブロック信号として出力されるまでの処理、及び、明るさ検出部１１１２において被写体の照度が検出されるまでの処理は第１の実施形態で説明したとおりであり、その説明は省略する。

緑ブロック検出部１１１３には、信号分割部１１０９から各ブロックの平均色差信号（Ｒ-Ｙ、Ｂ-Ｙ）が入力される。緑ブロック検出部１１１３では、入力された平均色差信号（Ｒ-Ｙ、Ｂ-Ｙ）に対して、図２に示した緑領域（黄〜緑の色相にあたる領域）２０１に入るかチェックし、緑領域２０１に入ったブロック情報を緑量検出部１１１４及び緑輝度検出部１１１５へ出力する。

緑量検出部１１１４では、緑領域２０１に入ったブロックの個数をカウントし、緑量として光源推定部１１１１へ出力する。

緑輝度検出部１１１５では、緑領域２０１に入ったブロックの輝度値（Ｙ）を取得し、緑領域２０１に入った全ブロックの輝度の平均値を算出して、緑ブロック平均輝度として光源推定部１１１１へ出力する。

光源推定部１１１１では、上記第１の実施形態で述べた照度、緑量、Ｒ-Ｇａｉｎに加え、緑輝度検出部１１１５からの緑ブロック平均輝度の４種類の特徴情報から光源を推定する。屋外の緑は草木や芝生の緑であり比較的彩度が高く、輝度が低くなる傾向がある。それに対して、屋内の緑は比較的輝度が高く、白に近い被写体に蛍光灯の光が反射して緑になったものであるため、彩度が低く、輝度が高くなる傾向がある。そこで、緑ブロックの平均輝度を光源推定の特徴情報として加えることで、光源の推定精度を向上させることが可能となる。

図１２は、照度と緑ブロック平均輝度の関係を示す図であり、同図において、１２０１は屋外の日向／日陰での分布を示しており、１２０２は屋内の蛍光灯での分布を示している。

光源推定部１１１１での光源推定処理は、第１の実施形態と同様に識別関数を用いた識別を行う。第１の実施形態と異なる点は、照度、Ｒ-Ｇａｉｎ、緑量、緑ブロック平均輝度の４つの特徴情報を座標軸とする図示しない４次元座標系における識別関数を用いる点である。すなわち、４次元座標系において、屋内と屋外の光源の識別境界を表す識別関数を準備しておき、その識別関数に特徴情報を入力した結果によって光源を推定する。識別関数は４次元座標上での屋外、屋内の各データの分布について第１の実施形態と同様に判別分析を行い、マハラノビス汎距離に基づいた２次の識別関数を求めている。識別関数ｆ(ｘ₁，ｘ₂，ｘ₃，ｘ₄)は、入力される照度（ｘ₁）、Ｒ-Ｇａｉｎ（ｘ₂）、緑量（ｘ₃）、緑ブロック平均輝度（ｘ₄）を変数とする下式（２）で表現される。ｆ(ｘ₁，ｘ₂，ｘ₃，ｘ₄)＝０で表わされる曲面が識別境界に対応している点も第１の実施形態と同様である。

この識別関数ｆ(ｘ₁，ｘ₂，ｘ₃，ｘ₄)に照度（ｘ₁）、Ｒ-Ｇａｉｎ（ｘ₂）、緑量（ｘ₃）、緑ブロック平均輝度（ｘ₄）を入力し、識別関数ｆ(ｘ₁，ｘ₂，ｘ₃，ｘ₄)の結果の正負に応じて光源を判定する。その判定結果である光源情報に基づいてホワイトバランスゲイン決定部１１１０で白抽出範囲等の制御が行われる点についても第１の実施形態と同様である。

なお、第１、２実施形態では３次元或いは４次元座標系での識別を行ったが、その次元数は３、４次元に限定されるものではなく、例えば他の特徴情報として緑ブロックの平均彩度、高輝度部分の色相等を加えた多次元座標系（多次元特徴空間）を用いてもよい。屋外の草木の緑は、屋内の蛍光灯の緑よりも彩度が高くなる傾向があり、また、画像信号中の高輝度の部分は光源の影響を受けやすく、屋内では緑の色相になりやすいという傾向があるからである。このような情報を特徴情報として利用することにより、光源の推定精度をさらに高めることが可能となる。

また、屋外光、屋内光の識別だけでなく３種類以上の光源種類を推定する構成にしてもよい。

（第３の実施形態）
第３の実施形態は、上記第１の実施形態における識別境界（識別関数）を動的に変更できるようにした例である。図１３は、第３の実施形態の画像処理装置の構成例を示す図である。同図において、レンズ１３０１から緑量検出部１３１３までは、第１の実施形態における図１のレンズ１０１から緑量検出部１１３と同様の構成要素であり、その詳細な説明は省略する。

１３１４は識別関数を設定する識別関数設定部であり、明るさ検出部１３１２からの被写体の照度情報、緑量検出部１３１３からの緑量、ホワイトバランス決定部１３１０からのホワイトバランスゲイン情報が入力される。

本実施形態における画像処理装置では、撮影シーンに応じた露出を制御するための撮影モードとして、オートモード、風景モード、スポーツモード、屋内モードを有しており、図示しないモードダイヤルやメニュー操作によって撮影モードを設定できるようになっている。

次に、本実施形態の画像処理装置での処理動作について説明する。撮影モードがオートモードの場合は、第１の実施形態と同様の手法でホワイトバランスゲインを制御する。すなわち、撮像された画像データに基づいて、光源推定部１３１１で光源を推定するとともに、ホワイトバランスゲイン決定部１３１０で光源に応じたホワイトバランスゲインを決定する。

一方、撮影モードがオートモード以外の場合は、撮影モードに応じて光源を推定する。すなわち、撮影モードが風景モード、スポーツモードのように撮影環境が屋外に限定されるモードの場合は光源推定部１３１１が出力する光源情報は必ず屋外となり、撮影モードが屋内モードのときは光源推定部１３１１が出力する光源は必ず屋内となるので、そうなるように識別関数を再設定する。

次に、図１４のフローチャートを参照して、識別関数設定部１３１４での処理動作について説明する。まず、撮影モードを取得し（ステップＳ１４０１）、撮影モードがオートモードであるか否かをチェックする（ステップＳ１４０２）。オートモードの場合は、何も処理せずに終了する。一方、スポーツモード、風景モード、屋内モード等の光源の種類（屋外、屋内）が特定できる撮影モードの場合は、照度、緑量、Ｒ-Ｇａｉｎの３つの特徴情報を取得する（ステップＳ１４０３）。

次に、これら新たに取得した特徴情報から識別関数を変更（再設定）する（ステップＳ１４０４）。図１５は、識別関数を変更する前後の様子を示している。同図において、１５０１、１５０５は変更前後の屋外の日向／日陰での分布、１５０２、１５０６は変更前後の屋内の蛍光灯での分布、１５０３、１５０７は変更前後の識別境界、１５０４、１５０８は撮影時に得られる特徴点を示している。

例えば、ステップ１４０２において撮影モードがスポーツモードであると判断された場合、ステップ１４０３で各特徴情報（照度、緑量、Ｒ-Ｇａｉｎ）を取得する。スポーツモードは屋外において利用されるモードなので、屋外光に分類される特徴点が得られることになる。この特徴点は３次元座標系では１５０４の位置にあたる。このとき、屋外光に含まれる新たな特徴点１５０４によって屋外光の分布が１５０５のようになる。

ステップ１４０４では新たな特徴点１５０４によって変更された屋外光の分布１５０５と屋内光の分布１５０６を識別する判別分析を行い、識別境界を示す識別関数を再計算する。再計算された識別関数は第１の実施形態で述べた式（１）のａ₀〜ａ₉にあたる定数パラメータ部分が変更される。この識別境界を示したものが図１５（ｂ）の１５０７である。

更新された識別関数は光源推定部１３１１に送られる（ステップＳ１４０５）。光源推定部１３１１は、更新された識別関数を受け取り、撮影モードがオートモードになったときに更新された識別関数を利用できるようにする。

このように確実に光源を特定できる情報があった場合、その状態の特徴情報の分布に基づいて識別境界（識別関数）を変更することで、オートモードにおける光源推定部１３１１での誤識別を少なくすることが可能となる。

なお、識別関数の再設定処理は、特定の環境化での特徴分布が偏りすぎないように、所定の時間間隔もしくはモードが切り替わった時等のタイミングで行う。

また、撮影モードは本実施形態で説明したものに限定されるものではない。また、図１４のステップ１４０２の処理において撮影モードをオートモードかそれ以外かで分類したが、屋外、屋内が特定できる撮影モード（スポーツモード、屋内モード）と特定できないモード（オート撮影モード、ポートレート）で分けてもよい。

また、本実施形態では、光源を特定する要素として撮影モードを例に説明したが、利用者が意図的に光源を指定する等他の方式であってもよい。また、この更新された識別関数は、利用者の操作によって初期状態に戻すことができるようにしてもよい。

上記の第１〜３の実施形態においては、緑色の色相領域を用いたが、照度情報に基づいて光源を推定した際の光源を誤判断により、無彩色と判断される他の色相領域を用いるようにしても良い。

なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

第１の実施形態の画像処理装置の構成を示すブロック図である。色差平面における緑領域を示す図である。ホワイトバランスゲインの制御範囲を示す特性図である。赤、青のホワイトバランスゲイン座標系における２種類の光源（屋内蛍光灯、屋外日向／日陰）の分布を示す図である。照度、緑量、Ｒ-Ｇａｉｎを座標軸とする３次元座標系における屋外光、屋内光の分布を示す図である。Ｒ-Ｇａｉｎと照度を座標軸とする座標系での屋外光、屋内光の分布を示す図である。Ｒ-Ｇａｉｎと緑量を座標軸とする座標系での屋外光、屋内光の分布を示す図である。光源推定処理を説明するためのフローチャートである。照度、緑量、Ｒ-Ｇａｉｎを座標軸とする３次元座標系における屋外光、屋内光の分布を示す図である。識別関数の結果に基づく制御例を説明するための図である。第２の実施形態の画像処理装置の構成を示すブロック図である。緑ブロック平均輝度と照度を座標軸とする座標系での屋外光、屋内光の分布を示す図である。第３の実施形態の画像処理装置の構成を示すブロック図である。識別関数設定部での処理動作について説明するためのフローチャートである。照度、緑量、Ｒ-Ｇａｉｎを座標軸とする３次元座標系における屋外光、屋内光の分布を示す図である。画像信号の分割枠を示す図である。光源の種類に対応した白抽出範囲を示す図である。

符号の説明

１０１、１１０１、１３０１レンズ
１０２、１１０２、１３０２アイリス
１０３、１１０３、１３０３撮像素子
１０４、１１０４、１３０４ＡＧＣ
１０５、１１０５、１３０５輝度・色信号生成部
１０６、１１０６、１３０６ホワイトバランス制御部
１０７、１１０７、１３０７色差信号生成部
１０８、１１０８、１３０８エンコーダ
１０９、１１０９、１３０９信号分割部
１１０、１１１０、１３１０ホワイトバランスゲイン決定部
１１１、１１１１、１３１１光源推定部
１１２、１１１２、１３１２明るさ検出部
１１３、１１１４、１３１３緑量検出部
１１１３緑ブロック検出部
１１１５緑輝度検出部
１３１４識別関数設定部

Claims

少なくとも画像信号に関する照度情報、画像信号に関する色温度の状態の指標となる色温度情報、及び画像信号に関する緑量情報を座標軸とする多次元空間における、少なくとも前記色温度情報と前記照度情報の二次元分布及び前記色温度情報と前記緑量情報の二次元分布で決まる屋内と屋外の識別境界を規定し、撮像された画像信号に関する照度情報の値、撮像された画像信号に関する色温度の状態の指標となる色温度情報の値、及び撮像された画像信号に関する緑量情報の値が前記識別境界を基準に屋内側か屋外側かを判定する判定手段と、
前記判定手段により屋外側と判定された場合は屋外光源に対応したホワイトバランス制御を行い、屋内側と判定された場合は屋内光源に対応したホワイトバランス制御を行う制御手段と、を有することを特徴とする画像処理装置。
前記判定手段は、前記識別境界を、少なくとも前記照度情報と前記色温度情報との積、前記照度情報と前記緑量情報との積、及び前記色温度情報と前記緑量情報との積の項を含む関数として規定し、前記関数に前記撮像された画像信号に関する照度情報の値、前記撮像された画像信号に関する色温度の状態の指標となる色温度情報の値、及び前記撮像された画像信号に関する緑量情報の値を入力した場合の関数値に応じて、前記判定を行うことを特徴とする請求項１に記載の画像処理装置。
少なくとも画像信号に関する照度情報、画像信号に関する色温度の状態の指標となる色温度情報、画像信号に関する緑量情報、及び画像信号に関する分割ブロックに含まれる緑色ブロックの平均輝度情報を座標軸とする多次元空間における、少なくとも前記色温度情報と前記照度情報の二次元分布及び前記色温度情報と前記緑量情報の二次元分布で決まる屋内と屋外の識別境界を規定し、撮像された画像信号に関する照度情報の値、撮像された画像信号に関する色温度の状態の指標となる色温度情報の値、撮像された画像信号に関する緑量情報の値、及び撮像された画像信号に関する分割ブロックに含まれる緑色ブロックの平均輝度情報の値が前記識別境界を基準に屋内側か屋外側かを判定する判定手段と、
前記判定手段により屋外側と判定された場合は屋外光源に対応したホワイトバランス制御を行い、屋内側と判定された場合は屋内光源に対応したホワイトバランス制御を行う制御手段と、を有することを特徴とする画像処理装置。
前記判定手段は、前記識別境界を、少なくとも前記照度情報と前記色温度情報との積、前記照度情報と前記緑量情報との積、前記照度情報と前記平均輝度情報との積、前記色温度情報と前記緑量情報との積、前記前記色温度情報と前記平均輝度情報との積、前記前記緑量情報と平均輝度情報との積の項を含む関数として規定し、前記関数に前記撮像された画像信号に関する照度情報の値、前記撮像された画像信号に関する色温度の状態の指標となる色温度情報の値、前記撮像された画像信号に関する緑量情報の値、及び前記撮像された画像信号に関する分割ブロックに含まれる緑色ブロックの平均輝度情報の値を入力した場合の関数値に応じて、前記判定を行うことを特徴とする請求項３に記載の画像処理装置。
少なくとも画像信号に関する照度情報、画像信号に関する色温度の状態の指標となる色温度情報、及び画像信号に関する緑量情報を座標軸とする多次元空間における、少なくとも前記色温度情報と前記照度情報の二次元分布及び前記色温度情報と前記緑量情報の二次元分布で決まる屋内と屋外の識別境界を規定し、撮像された画像信号に関する照度情報の値、撮像された画像信号に関する色温度の状態の指標となる色温度情報の値、及び撮像された画像信号に関する緑量情報の値が前記識別境界を基準に屋内側か屋外側かを判定する判定ステップと、
前記判定ステップにより屋外側と判定された場合は屋外光源に対応したホワイトバランス制御を行い、屋内側と判定された場合は屋内光源に対応したホワイトバランス制御を行う制御ステップと、を有することを特徴とする画像処理方法。
少なくとも画像信号に関する照度情報、画像信号に関する色温度の状態の指標となる色温度情報、画像信号に関する緑量情報、及び画像信号に関する分割ブロックに含まれる緑色ブロックの平均輝度情報を座標軸とする多次元空間における、少なくとも前記色温度情報と前記照度情報の二次元分布及び前記色温度情報と前記緑量情報の二次元分布で決まる屋内と屋外の識別境界を規定し、撮像された画像信号に関する照度情報の値、撮像された画像信号に関する色温度の状態の指標となる色温度情報の値、撮像された画像信号に関する緑量情報の値、及び撮像された画像信号に関する分割ブロックに含まれる緑色ブロックの平均輝度情報の値が前記識別境界を基準に屋内側か屋外側かを判定する判定ステップと、
前記判定ステップにより屋外側と判定された場合は屋外光源に対応したホワイトバランス制御を行い、屋内側と判定された場合は屋内光源に対応したホワイトバランス制御を行う制御ステップと、を有することを特徴とする画像処理方法。