JP6049343B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像データに対するホワイトバランス制御技術に関するものである。

デジタルカメラやデジタルビデオカメラ等の、撮像素子を用いる撮像装置においては、撮影によって得られた画像データの色調を調整するホワイトバランス制御機能を備えている。ホワイトバランス制御には、マニュアルホワイトバランス制御とオートホワイトバランス制御とがある。マニュアルホワイトバランス制御は、予め白色被写体を撮像してホワイトバランス係数を算出しておき、算出したホワイトバランス係数を画面全体に適用する制御である。オートホワイトバランス制御は、撮影した画像データから白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を算出し、算出したホワイトバランス係数を画面全体に適用する制御である。

従来のオートホワイトバランス制御においては、ストロボ発光シーンにおいて画像データ内にストロボ光とは異なる光源が存在する場合であっても、上記のように算出されたホワイトバランス係数を画面全体に適用してホワイトバランス制御が行われる。そのため、各光源をともに適正な色味とするホワイトバランス制御を行うことが困難であった。例えば、ストロボ発光シーンで環境光に電球色光源のような低色温度光源が存在する場合、ストロボ光が高色温度光源であるため、ストロボ光にホワイトバランスを合わせると低色温度光源にホワイトバランスが合わなくなってしまう。一方、低色温度光源にホワイトバランスを合わせた場合には、ストロボ光にホワイトバランスが合わなくなってしまう。また、両方の光源の中間にホワイトバランスを合わせてホワイトバランス制御を行ったとしても、両方の光源にホワイトバランスが合わず、ストロボ光で照射されている領域は青みを帯び、低色温度光源で照射されている領域は赤味を帯びるような色味となってしまう。

これに対し、特許文献１には次のような技術が開示されている。即ち、特許文献１に開示される技術は、ストロボ発光時に撮影された画像データとストロボ非発光時に撮影された画像データとを、任意の被写体領域毎に比較してデータの比を求め、その比の値によりストロボ光の寄与度を判定する。そして、判定した寄与度に応じて被写体領域毎にホワイトバランス制御値を選択して、ホワイトバランス制御を行う。

特許第３５４０４８５号公報

しかしながら、特許文献１に開示された技術では、ホワイトバランス制御値を各領域で可変させた後に現像処理を行うため、色再現等のその他の制御がホワイトバランス制御値に対して適正にならなくなってしまう場合があった。

さらに、特許文献１に開示された技術を用いた場合、ストロボ発光時に撮影された画像データとストロボ非発光時に撮影された画像データとの取得タイミングには時間差がある。そのため、被写体が動いている場合や撮像装置が動いている場合において、ストロボ光の照射範囲及び照射量を誤検出してしまうために、物体の境界部分で色味ずれが生じてしまうという問題もあった。特に、高倍率ズーム時であると、撮像装置の少しの動きであっても、ストロボ光の照射範囲及び照射量が誤検出されてしまっていた。

そこで、本発明の目的は、物体の境界部分の色味ずれを軽減し、ユーザにとって好ましい画像を提供することにある。

本発明の画像処理装置は、ストロボ発光時に撮影された画像データに基づいて第１のホワイトバランス補正値を算出するとともに、ストロボ非発光時に撮影された画像データに基づいて第２のホワイトバランス補正値を算出する補正値算出手段と、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値との色温度の差分を算出する色温度差分算出手段と、被写体又は撮像装置の動き量を算出する動き量算出手段と、前記色温度の差分及び前記動き量に基づいて、前記第１のホワイトバランス補正値及び前記第２のホワイトバランス補正値のうちの少なくとも何れか一方を補正する補正値補正手段と、前記補正値補正手段により出力される前記第１のホワイトバランス補正値に基づいて、前記ストロボ発光時に撮影された画像データから第１の画像データを生成するとともに、前記補正値補正手段により出力される前記第２のホワイトバランス補正値に基づいて、前記ストロボ非発光時に撮影された画像データから第２の画像データを生成する生成手段と、前記ストロボ非発光時に撮影された画像データの輝度値と前記ストロボ発光時に撮影された画像データの輝度値とに基づいて、外光の輝度成分とストロボ光の輝度成分とを算出する成分算出手段と、前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率を算出する合成比率算出手段と、前記合成比率算出手段により算出された合成比率に基づいて、前記第１の画像データと前記第２の画像データとを合成する合成手段とを有することを特徴とする。

本発明によれば、物体の境界部分の色味ずれを軽減することができ、ユーザにとって好ましい画像を提供することが可能となる。

本発明の実施形態に係る撮像装置の構成を示す図である。 ＷＢ補正値の算出処理を示すフローチャートである。 白検出領域を示す図である。 撮影制御を時系列に並べて示した図である。 静止画撮影駆動モードにおけるＷＢ補正値とＥＶＦ撮影駆動モードにおけるＷＢ補正値とを示す図である。 シーンの雰囲気を考慮して色味を残すように第２のＷＢ補正値を算出する方法を説明するための図である。 第１の実施形態における画像データの合成処理を示すフローチャートである。 焦点距離と合成緩和率との関係を示す図である。 色温度差分と動き量とに対応する合成緩和率を示す図である。 照射比率を算出するための被写体領域の切り出しについて説明するための図である。 第２の実施形態における画像データの合成処理を示すフローチャートである。 彩度とコントラストとに対応する合成緩和率を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る撮像装置の構成を示す図である。なお、本実施形態に係る撮像装置は、画像処理装置の適用例となる構成である。図１において、１０１は、ＣＣＤやＣＭＯＳ等で構成される固体撮像素子であり、その表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。

ＣＰＵ１１４は、画像データ全体が明るくなるようなシャッタ速度及び絞り値を計算するとともに、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算する。ＣＰＵ１１４によって計算された露出値（シャッタ速度、絞り値）及びフォーカスレンズの駆動量は制御回路１１３に出力され、各値に基づいてそれぞれ制御される。１０３はホワイトバランス（以下、ＷＢ）制御回路であり、メモリ１０２に記憶された画像データに基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像データに対してＷＢ補正を行う。なお、このＷＢ制御回路１０３によるＷＢ補正値の算出方法の詳細については後述する。

１０４は、ＷＢ制御回路１０３によりＷＢ補正された画像データが最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色変換マトリックス回路である。１０５は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路である。１０６は、ＬＰＦ回路１０５で帯域制限された画像データのうち、飽和部分の偽色信号を抑圧するＣＳＵＰ（Chroma Supress）回路である。一方、ＷＢ制御回路１０３によりＷＢ補正された画像データは、輝度信号（Ｙ）生成回路１１１にも出力されて輝度信号Ｙが生成され、エッジ強調回路１１２は、生成された輝度信号Ｙに対してエッジ強調処理を施す。

ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号Ｙとは、ＲＧＢ変換回路１０７にてＲＧＢ信号に変換され、ガンマ（γ）補正回路１０８にて階調補正が施される。階調補正が施されたＲＧＢ信号は、色輝度変換回路１０９においてＹＵＶ信号に変換され、さらにＪＰＥＧ圧縮回路１１０にて圧縮されて、外部記録媒体又は内部記録媒体に画像データとして記録される。

次に、ＷＢ制御回路１０３におけるＷＢ補正値の算出方法について詳細に説明する。先ず、図２のフローチャートを参照しながら、本露光時（ストロボ発光時）のＷＢ補正値である第１のＷＢ補正値（第１のホワイトバランス補正値）の算出処理について説明する。なお、第１のＷＢ補正値は、ストロボ発光時に撮影された画像データ（以下、ストロボ発光時画像データ）に基づいて算出される補正値である。また、図２に示す処理は、補正値算出手段の処理例である。

ステップＳ２０１において、ＷＢ制御回路１０３は、メモリ１０２に記憶されたストロボ発光時画像データを読み出し、当該ストロボ発光時画像データを任意のｍ個のブロックに分割する。ステップＳ２０２において、ＷＢ制御回路１０３は、ブロック（１〜ｍ）毎に、画素値を色毎に加算平均して色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を算出し、次の式を用いて色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４
但し、Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）／４

ＷＢ制御回路１０３は、図３に示すような座標軸を持つグラフを用いて白検出を行う。ｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の色を撮影したときの色評価値を表す。また、ｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれてＧｒｅｅｎ成分が大きくなり、つまり蛍光灯であることを示している。

ステップＳ２０３において、ＷＢ制御回路１０３は、ステップＳ２０２で算出したｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が、図３に示す予め設定される白検出範囲３０１に含まれるか否かを判定する。白検出範囲３０１は、ストロボ光が既知の光源であるために検出範囲が限定されている。ｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が予め設定される白検出範囲３０１に含まれる場合、処理はステップＳ２０４に移行する。一方、ｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が予め設定される白検出範囲３０１に含まれない場合、処理はステップＳ２０４をスキップして、ステップＳ２０５に移行する。

ステップＳ２０４において、ＷＢ制御回路１０３は、ｉ番目のブロックが白色であると判定して、当該ブロックの色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分する。なお、ステップＳ２０３及びＳ２０４の処理は、次の式によって表すことができる。

ここで、上記式において、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれる場合にはＳｗ［ｉ］を１とし、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれない場合にはＳｗ［ｉ］を０とする。これにより、ステップＳ２０３、Ｓ２０４において、色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分するか、積分しないかを実質的に行っている。

ステップＳ２０５において、ＷＢ制御回路１０３は、全てのブロックについて上記処理を行ったか否かを判定する。未処理のブロックが存在する場合、処理はステップＳ２０２に戻って上記式を繰り返す。一方、全てのブロックについて処理を行った場合、処理はステップＳ２０６に移行する。

ステップＳ２０６において、ＷＢ制御回路１０３は、得られた色平均値の積分値（ＳｕｍＲ１、ＳｕｍＧ１、ＳｕｍＢ１）から、次の式を用いて、第１のＷＢ補正値（ＷＢＣｏｌ＿Ｒ１、ＷＢＣｏｌ＿Ｇ１、ＷＢＣｏｌ＿Ｂ１）を算出する。
ＷＢＣｏｌ＿Ｒ１＝ＳｕｍＹ１×１０２４／ＳｕｍＲ１
ＷＢＣｏｌ＿Ｇ１＝ＳｕｍＹ１×１０２４／ＳｕｍＧ１
ＷＢＣｏｌ＿Ｂ１＝ＳｕｍＹ１×１０２４／ＳｕｍＢ１
但し、ＳｕｍＹ１＝（ＳｕｍＲ１＋２×ＳｕｍＧ１＋ＳｕｍＢ１）／４
なお、第１のＷＢ補正値としてストロボ光のＷＢ補正値を既知のものとして予め設定してもよい。

次に、ストロボ非発光時のＷＢ補正値である第２のＷＢ補正値（第２のホワイトバランス補正値）の算出処理について説明する。なお、第２のＷＢ補正値は、ストロボ非発光時に撮影された画像データ（以下、ストロボ非発光時画像データ）に基づいて算出される補正値である。図４は、撮影制御を時系列に並べて示した図である。図４に示すように、ＳＷ１の押下前には、ライブビュー画像データが定期的に撮影され、ＳＷ１の押下時には、ＡＦロックとＡＥロックとが行われる。ＳＷ２の押下後には、テスト発光と本露光とが行われるが、テスト発光前の「外光」と表記されている時間に露光され、撮影された画像データを、ここではストロボ非発光時画像データとする。なお、ストロボ非発光時画像データの他の例として、本露光後に露光され、撮影された撮影画像データを用いてもよい。

第２のＷＢ補正値の算出処理は、上述した第１のＷＢ補正値の算出処理と同様の方法によって行われる。但し、第１のＷＢ補正値の算出処理とは、図３の３０２に示すような外光用の白検出範囲で処理する点で異なる。これはストロボ光が既知の光源であるのに対し、外光は既知の光源ではないため、ストロボ発光時の白検出範囲３０１のように限定できないからである。外光用の白検出範囲３０２は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。この白検出範囲３０２は撮影駆動モードによって別設定できるものとする。第２のＷＢ補正値は、撮像駆動モードが異なる場合にも適応でき、例えば、過去に算出されたＥＶＦ（Electronic View Finder）撮影駆動モードのＷＢ補正値を使用することができる。但し、撮影駆動モードにより分光差分が生じる場合、ＷＢ制御回路１０３はＷＢ補正値を補正する。図５は、静止画撮影駆動モードにおけるＷＢ補正値とＥＶＦ撮影駆動モードにおけるＷＢ補正値とを示す図である。過去に撮影されたＥＶＦ撮影駆動モードのＷＢ補正値を用いて、静止画撮影駆動モードのＷＢ補正値を算出する場合、図５に示すように、ＷＢ制御回路１０３は、ＥＶＦ撮影駆動モードのＷＢ補正値（ＥｖｆＣｘ，ＥｖｆＣｙ）５０１をΔＣｘ、ΔＣｙだけ補正する。これにより、静止画撮影駆動モードのＷＢ補正値（ＣａｐＣｘ，ＣａｐＣｙ）５０２が算出される。

ここでは、背景が電球色光源のような低色温度光源の場合に、シーンの雰囲気を考慮して色味を残すように第２のＷＢ補正値を算出してもよい。例えば、図６に示すように、第２のＷＢ補正値の色温度が低い場合（例えば、入力のＴ１）、色味を残すように制御することにより（例えば、出力のＴ´１）、電球色光源の赤味を残すような画像データを生成することができる。

次に、図７を参照しながら、画像データの合成処理について説明する。ステップＳ７０１において、ＷＢ制御回路１０３は、撮影条件を取得する。撮影条件とは、例えば、ストロボ発光時画像データの撮影時における、撮影レンズの焦点距離、被写体距離、ストロボのガイドナンバ及びＩＳＯ感度等である。撮影条件は、これらのうちの何れか一つでもよいし、複数を組み合わせてもよい。なお、ステップＳ７０１は、取得手段の処理例である。

ステップＳ７０２において、ＷＢ制御回路１０３は、ステップＳ７０１で取得した撮影条件に基づいて、第１のＷＢ補正値及び第２のＷＢ補正値を補正する。なお、ステップＳ７０２は、補正値補正手段の処理例である。ここでは、撮影条件が焦点距離だけである場合、図８に示す焦点距離と合成緩和率との関係を示すグラフから、当該焦点距離に対応する合成緩和率が算出される。撮影条件が被写体距離、ストロボのガイドナンバ又はＩＳＯ感度である場合も同様の手法で、当該撮影条件に対応する合成緩和率が算出される。なお、図８に示すような撮影条件と合成緩和率との関係を示すデータは、不図示の記録媒体に格納されており、必要に応じてＷＢ制御回路１０３によって当該記録媒体から読み出される。

このように、焦点距離、被写体距離、ストロボのガイドナンバ又はＩＳＯ感度等の撮影条件に応じて、合成緩和率を算出することによって、実際にストロボが届いているかどうかを考慮してＷＢ補正値を決定することができる。特に、撮影条件として焦点距離を用いた場合、高倍率ズーム時では手ブレしやすい等の手ブレについて考慮することができる。従って、手ブレ量が小さくて検出しにくい場合でも、ストロボ光の照射範囲及び照射量を誤検出し、物体の境界部分で色味ずれが生じてしまうことを防ぐことができる。

ステップＳ７０２では、ＷＢ制御回路１０３は、合成緩和率を用いて、第１のＷＢ補正値（WBCol_R1、WBCol_G1、WBCol_B1）と第２のＷＢ補正値（WBCol_R2、WBCol_G2、WBCol_B2）とを次のように補正する。
WBCol_R1＝WBCol_R1＋(WBCol_R2−WBCol_R1)×0.5×合成緩和率
WBCol_G1＝WBCol_G1＋(WBCol_G2−WBCol_G1)×0.5×合成緩和率
WBCol_B1＝WBCol_B1＋(WBCol_B2−WBCol_B1)×0.5×合成緩和率
WBCol_R2＝WBCol_R2＋(WBCol_R1−WBCol_R2)×0.5×合成緩和率
WBCol_G2＝WBCol_G2＋(WBCol_G1−WBCol_G2)×0.5×合成緩和率
WBCol_B2＝WBCol_B2＋(WBCol_B1−WBCol_B2)×0.5×合成緩和率
上記のように、合成緩和率が高くなるに従って、第１のＷＢ補正値と第２のＷＢ補正値とがともに近付く方向に補正が行われる。ここでは、第１のＷＢ補正値と第２のＷＢ補正値との双方を補正する例を挙げているが、他の実施形態として、第１のＷＢ補正値と第２のＷＢ補正値とのうちの何れか一方だけを補正してもよい。この場合、一方のＷＢ補正値を固定して、他方のＷＢ補正値をそれに近付けるように補正することになる。

また、ＷＢ制御回路１０３は、ストロボ発光時のＷＢ補正値である第１のＷＢ補正値とストロボ非発光時のＷＢ補正値である第２のＷＢ補正値との色温度の差分と、被写体又は撮像装置の動き量とを算出する。そして、ＷＢ制御回路１０３は、これら色温度差分及び動き量に基づいて第１の合成緩和率を算出し、第１の合成緩和率を最終的な合成緩和率を算出する際に用いるようにしてもよい。なお、上記色温度の差分を算出する処理は、色温度差分算出手段の処理例である。また、上記被写体又は撮像装置の動き量を算出する処理は、動き量算出手段の処理例である。

上記動き量の算出例として、ストロボ発光時画像データとストロボ非発光時画像データとの差分に基づく方法がある。即ち、各ストロボ発光時画像データに対して信号処理を行って輝度エッジ信号を抽出し、輝度エッジ信号の差分をとることにより、上記動き量を算出する方法である。

他の動き量の算出例としては、ＷＢ制御回路１０３に搭載されているジャイロセンサから得られる角速度情報を用いる方法がある。角速度情報は、例えば、本露光（ストロボ発光）期間中に所定の周期で取得した角速度情報の平均をとることで算出される。以上の動き量の算出例の何れか一方を採用してもよいし、両方の動き量の算出例の結果に基づいて最終的な動き量を算出してもよい。

第１の合成緩和率は、上記のように求めた色温度差分と動き量とについて、図９に示す２次元テーブルを参照することにより取得することができる。なお、図９に示すような色温度差分と動き量とに対応する合成緩和率を規定したデータは、不図示の記録媒体に格納されており、必要に応じてＷＢ制御回路１０３によって当該記録媒体から読み出される。

ここで、撮影条件から求めた合成緩和率を第２の合成緩和率とすると、次のように、第１の合成緩和率と第２の合成緩和率とに基づいて最終的な合成緩和率を算出することができる。
合成緩和率＝第１の合成緩和率＋(１−第１の合成緩和率)×第２の合成緩和率

ステップＳ７０３において、ＷＢ制御回路１０３は、第１のＷＢ補正値を用いて、ストロボ発光時画像データから画像データＹｕｖ１を生成（現像）する。なお、画像データＹｕｖ１は、第１の画像データの例である。ステップＳ７０４において、ＷＢ制御回路１０３は、第２のＷＢ補正値を用いて、ストロボ非発光時画像データから画像データＹｕｖ２を生成（現像）する。なお、画像データＹｕｖ２は、第２の画像データの例である。ステップＳ７０５において、ＷＢ制御回路１０３は、ストロボ発光時画像データ、ストロボ非発光時画像データ、画像データＹｕｖ１、画像データＹｕｖ２をそれぞれｎ個のブロックに分割する。なお、ステップＳ７０３及びＳ７０４は、生成手段の処理例である。

ステップＳ７０６において、ＷＢ制御回路１０３は、ストロボ非発光時画像データのブロック（１〜ｎ）毎に、画素値を色毎に加算平均して色平均値（Ｒ２［ｉ］，Ｇ２［ｉ］，Ｂ２［ｉ］）を算出し、各ブロックの輝度値ａ［ｉ］を算出する。各ブロックの輝度値ａ［ｉ］の算出式は次の式に示す通りである。ここで、算出された各ブロックの輝度値ａ［ｉ］を、各ブロックの外光の輝度成分（以下、外光成分）とする。

ステップＳ７０７において、ＷＢ制御回路１０３は、ストロボ非発光時画像データから各ブロックの輝度値ａ［ｉ］を算出する処理と同様に、ストロボ発光時画像データのブロック（１〜ｎ）毎に、画素値を色毎に加算平均して色平均値（Ｒ１［ｉ］，Ｇ１［ｉ］，Ｂ１［ｉ］）を算出し、各ブロックの輝度値ｂ［ｉ］を算出する。ＷＢ制御回路１０３は、次の式に示すように、算出した各ブロックの輝度値ｂ［ｉ］から、対応するストロボ非発光時画像データの各ブロックの輝度値ａ［ｉ］を引くことにより、ブロック毎のストロボ成分の輝度成分（以下、ストロボ成分）ｃ［ｉ］を算出する。
ｃ［ｉ］＝ｂ［ｉ］−ａ［ｉ］
なお、ステップＳ７０６及びＳ７０７は、成分算出手段の処理例である。

ステップＳ７０８において、ＷＢ制御回路１０３は、次の式により、それぞれ対応するブロック毎のストロボ成分ｃ［ｉ］と外光成分ａ［ｉ］との比率を基に、画像データＹｕｖ１と画像データＹｕｖ２とを合成する際のブロック毎のＭｉｘ率α［ｉ］を算出する。
α［ｉ］＝ｃ［ｉ］／（ａ［ｉ］＋ｃ［ｉ］）
なお、ステップＳ７０８は、合成比率算出手段の処理例である。

ステップＳ７０９において、ＷＢ制御回路１０３は、ブロック毎のＭｉｘ率α［ｉ］を用いて、画像データＹｕｖ１と画像データＹｕｖ２とを合成し、合成画像データＹｕｖ３を生成する。合成画像データＹｕｖ３における色評価値（Ｙ３［ｉ］,ｕ３［ｉ］,ｖ３［ｉ］）は、画像データＹｕｖ１における色評価値（Ｙ１［ｉ］,ｕ１［ｉ］,ｖ１［ｉ］）と、画像データＹｕｖ２における色評価値（Ｙ２［ｉ］,ｕ２［ｉ］,ｖ２［ｉ］）とを用いて、次の式のように算出される。なお、ステップＳ７０９は、合成手段の処理例である。

ここで、ブロック境界部分の色味ずれを緩和するため、ステップＳ７０８で画素補間処理を行うことによりブロック毎のＭｉｘ率α［ｉ］から画素毎のＭｉｘ率α´［ｊ］を算出してもよい。例えば、画素補間処理としてバイリニア補間を用い、ブロック毎のＭｉｘ率α［ｉ］から画素毎のＭｉｘ率α´［ｊ］を算出する。このとき、ステップＳ７０９において、ＷＢ制御回路１０３は、画素毎のＭｉｘ率α´［ｊ］を用いて、画像データＹｕｖ１と画像データＹｕｖ２とを合成し、合成画像データＹｕｖ３を生成する。このときの合成画像データＹｕｖ３における色評価値（Ｙ３［ｊ］,ｕ３［ｊ］,ｖ３［ｊ］）は、画像データＹｕｖ１における色評価値（Ｙ１［ｊ］,ｕ１［ｊ］,ｖ１［ｊ］）と、画像データＹｕｖ２における色評価値（Ｙ２［ｊ］,ｕ２［ｊ］,ｖ２［ｊ］）とを用いて、次の式のように算出される。

また、ステップＳ７０９においては、ストロボ発光時画像データにおける各ブロックの輝度に応じて、ブロック毎に画像データの合成処理を行うか行わないかを判定することにより、処理を可変にしてもよい。即ち、当該ブロックの輝度が低い場合や高い場合、当該ブロックに対して合成処理を行わず、後述する通常のホワイトバランス制御によって算出されるＷＢ補正値を用いて画像データの生成（現像）処理が行われる。当該ブロックの輝度がそれ以外の場合、上述した画像データの合成処理と同様の処理が行われる。

続いて、通常のホワイトバランス制御方法について詳細に説明する。先ず、ＷＢ制御回路１０３は、上述したＷＢ補正値の算出処理と同様に、第１、第２のＷＢ補正値を算出する。次に、ＷＢ制御回路１０３は、第１、第２のＷＢ補正値のＭｉｘ（加重加算）処理を行う。Ｍｉｘ（加重加算）処理では、被写体に照射されている外光とストロボ光との照射比率によって加重加算が行われる。

ここで、図１０を参照しながら、照射比率を算出するための被写体領域の切り出しについて説明する。ＷＢ制御回路１０３は、テスト発光する前に撮影された画像データ８０１を取得し、このテスト発光前に撮影された画像データ８０１からｍ×ｎのマトリックスで構成される輝度ブロックａ８０２を算出する。次に、テスト発光する前と同じ条件でストロボのテスト発光が行われることにより、ＷＢ制御回路１０３は、テスト発光時に撮影された画像データ８０３を取得し、同様にｍ×ｎのマトリックスで構成される輝度ブロックｂ８０４を取得する。これら、輝度ブロックａ８０２及び輝度ブロックｂ８０４は、撮像装置に備えるＲＡＭ等に一時的に格納される。なお、テスト発光前に撮影された画像データ８０１の背景画像とテスト発光時に撮影された画像データ８０３の背景画像とは略変化がないものとする。従って、この２つの輝度ブロックａ８０２と輝度ブロックｂ８０４との差分データは、ストロボのテスト発光時における被写体領域の反射光となり、当該差分データより被写***置情報ｃ８０５を取得することができる。

ＷＢ制御回路１０３は、このように算出された被写***置情報ｃ８０５から値が１の被写***置ブロックを取得し、取得した被写***置ブロックにおけるストロボ発光時の輝度値Ｙ１とストロボ非発光時の輝度値Ｙ２とを算出する。ここでストロボ発光時とストロボ非発光時との露光条件が異なる場合、ＷＢ制御回路１０３は、露光条件を揃えてＹ１、Ｙ２を算出する。ＷＢ制御回路１０３は、このように算出したＹ１、Ｙ２の比を被写体に照射された光量比として、第１のＷＢ補正値、第２のＷＢ補正値を用いて光量比によるＭｉｘ処理（加重加算）を行う。そして、ＷＢ制御回路１０３は、Ｍｉｘ処理によって得られたＷＢ補正値をＷＢ処理に使用するＷＢ補正値として決定し、画像データを生成（現像）し、最終画像データとする。

本実施形態によれば、ストロボ光を発光したシーンにおいて、被写体と背景とをともに適正な色味とする場合において、予め誤補正しやすい撮影条件を考慮することにより、被写体又は撮像装置が動いた場合における境界部分の色味ずれを軽減することができる。従って、ユーザにとって好ましい画像を提供することが可能となる。一方で、被写体又は撮像装置が移動する場合に備えて、被写体及び背景に夫々適用するＷＢ補正値の差を所定の範囲内に収めるような制約を設ける必要がない。そのため、本実施形態によれば、被写体及び撮像装置が静止している場合には、被写体及び背景を最も適正な色味とすることも可能となる。

次に、本発明の第２の実施形態について説明する。なお、第２の実施形態に係る撮像装置は、図１に示した第１の実施形態に係る撮像装置と同様の構成であるため、以下の説明においても、図１に示した符号を用いるものとする。また、以下では、第１の実施形態との相違点に主眼を置いて説明を行う。

以下、図１１を参照しながら、第２の実施形態における画像データの合成処理について説明する。なお、図１１のステップＳ１１０３〜Ｓ１１０９は夫々、図７のステップＳ７０３〜Ｓ７０９と同様の処理であるため、ここでは説明を省略する。

ステップＳ１１０１において、ＷＢ制御回路１０３は、撮影された画像データの色情報からシーン情報を取得する。ここで、シーン情報とは、ストロボ発光時画像データの彩度やコントラストであり、本実施形態では、これらのうちの少なくとも何れか一つを使用する。

ステップＳ１１０２において、ＷＢ制御回路１０３は、取得したシーン情報に対応する合成緩和率を用いて、第１のＷＢ補正値及び第２のＷＢ補正値を補正する。上記合成緩和率は、シーン情報である彩度とコントラストとについて、図１２に示す２次元テーブルを参照することにより取得することができる。なお、図１２に示すようなシーン情報に対応する合成緩和率を規定したデータは、不図示の記録媒体に格納されており、必要に応じてＷＢ制御回路１０３によって当該記録媒体から読み出される。合成緩和率を用いた第１のＷＢ補正値及び第２のＷＢ補正値の補正方法は、第１の実施形態で説明した方法と同様である。

第２の実施形態においても、ストロボ非発光時画像データとストロボ発光時画像データとから、それぞれ対応するブロック毎のストロボ成分と外光成分との比率を求め、ブロック毎のＭｉｘ率α［ｉ］が算出される。そのため、ストロボ光の照射範囲及び照射量を誤検出すると、物体の境界部分での色味ずれにつながってしまう。ストロボ光の届かない距離であっても、例えば、白い背景に黒い被写体のシーンを撮影するときに手ブレをした場合、ストロボ非発光時画像データでは黒かった部分がストロボ発光時画像データでは白くなるため、ストロボ光があたっていると誤検出してしまう。これに対し、第２の実施形態では、彩度やコントラストに応じてＷＢ補正値を補正している。従って、彩度が低かったり、コントラストが高かったりする場合でも、ストロボ光の照射範囲及び照射量を誤検出し、物体の境界部分で色味ずれが生じてしまうことを防ぐことができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：固体撮像素子、１０２：メモリ、１０３：ＷＢ制御回路、１０４：色変換マトリックス回路、１０５：ＬＰＦ回路、１０６：ＣＳＵＰ回路、１０７：ＲＧＢ回路、１０８：γ補正回路、１０９：色輝度変換回路、１１０：ＪＰＥＧ圧縮回路、１１１：Ｙ生成回路、１１２：エッジ強調回路、１１３：制御回路、１１４：ＣＰＵ

Claims (9)

1. ストロボ発光時に撮影された画像データに基づいて第１のホワイトバランス補正値を算出するとともに、ストロボ非発光時に撮影された画像データに基づいて第２のホワイトバランス補正値を算出する補正値算出手段と、
   前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値との色温度の差分を算出する色温度差分算出手段と、
   被写体又は撮像装置の動き量を算出する動き量算出手段と、
   前記色温度の差分及び前記動き量に基づいて、前記第１のホワイトバランス補正値及び前記第２のホワイトバランス補正値のうちの少なくとも何れか一方を補正する補正値補正手段と、
   前記補正値補正手段により出力される前記第１のホワイトバランス補正値に基づいて、前記ストロボ発光時に撮影された画像データから第１の画像データを生成するとともに、前記補正値補正手段により出力される前記第２のホワイトバランス補正値に基づいて、前記ストロボ非発光時に撮影された画像データから第２の画像データを生成する生成手段と、
   前記ストロボ非発光時に撮影された画像データの輝度値と前記ストロボ発光時に撮影された画像データの輝度値とに基づいて、外光の輝度成分とストロボ光の輝度成分とを算出する成分算出手段と、
   前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率を算出する合成比率算出手段と、
   前記合成比率算出手段により算出された合成比率に基づいて、前記第１の画像データと前記第２の画像データとを合成する合成手段とを有することを特徴とする画像処理装置。
2. 前記補正値補正手段は、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値とが近付く方向に補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成比率算出手段は、ブロック毎の前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率をブロック毎に算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記合成比率算出手段は、画素補間処理により、ブロック毎の合成比率から画素毎の合成比率を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記合成手段は、各ブロックの輝度値に応じて、該当するブロックの合成処理を実行するか否かを制御することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記補正値算出手段は、光源に対して任意の色味を残すように前記第２のホワイトバランス補正値を算出することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 画像処理装置によって実行される画像処理方法であって、
   ストロボ発光時に撮影された画像データに基づいて第１のホワイトバランス補正値を算出するとともに、ストロボ非発光時に撮影された画像データに基づいて第２のホワイトバランス補正値を算出する補正値算出ステップと、
   前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値との色温度の差分を算出する色温度差分算出ステップと、
   被写体又は撮像装置の動き量を算出する動き量算出ステップと、
   前記色温度の差分及び前記動き量に基づいて、前記第１のホワイトバランス補正値及び前記第２のホワイトバランス補正値のうちの少なくとも何れか一方を補正する補正値補正ステップと、
   前記補正値補正ステップにより出力される前記第１のホワイトバランス補正値に基づいて、前記ストロボ発光時に撮影された画像データから第１の画像データを生成するとともに、前記補正値補正ステップにより出力される前記第２のホワイトバランス補正値に基づいて、前記ストロボ非発光時に撮影された画像データから第２の画像データを生成する生成ステップと、
   前記ストロボ非発光時に撮影された画像データの輝度値と前記ストロボ発光時に撮影された画像データの輝度値とに基づいて、外光の輝度成分とストロボ光の輝度成分とを算出する成分算出ステップと、
   前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率を算出する合成比率算出ステップと、
   前記合成比率算出ステップにより算出された合成比率に基づいて、前記第１の画像データと前記第２の画像データとを合成する合成ステップとを有することを特徴とする画像処理方法。
8. ストロボ発光時に撮影された画像データに基づいて第１のホワイトバランス補正値を算出するとともに、ストロボ非発光時に撮影された画像データに基づいて第２のホワイトバランス補正値を算出する補正値算出ステップと、
   前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値との色温度の差分を算出する色温度差分算出ステップと、
   被写体又は撮像装置の動き量を算出する動き量算出ステップと、
   前記色温度の差分及び前記動き量に基づいて、前記第１のホワイトバランス補正値及び前記第２のホワイトバランス補正値のうちの少なくとも何れか一方を補正する補正値補正ステップと、
   前記補正値補正ステップにより出力される前記第１のホワイトバランス補正値に基づいて、前記ストロボ発光時に撮影された画像データから第１の画像データを生成するとともに、前記補正値補正ステップにより出力される前記第２のホワイトバランス補正値に基づいて、前記ストロボ非発光時に撮影された画像データから第２の画像データを生成する生成ステップと、
   前記ストロボ非発光時に撮影された画像データの輝度値と前記ストロボ発光時に撮影された画像データの輝度値とに基づいて、外光の輝度成分とストロボ光の輝度成分とを算出する成分算出ステップと、
   前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率を算出する合成比率算出ステップと、
   前記合成比率算出ステップにより算出された合成比率に基づいて、前記第１の画像データと前記第２の画像データとを合成する合成ステップとをコンピュータに実行させるためのプログラム。
9. ストロボ発光時に撮影された画像データに対応する第１のホワイトバランス補正値を設定するとともに、ストロボ非発光時に撮影された画像データに対応する第２のホワイトバランス補正値を設定する設定手段と、
   前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値との色温度の差分を算出する色温度差分算出手段と、
   被写体又は撮像装置の動き量を算出する動き量算出手段と、
   前記色温度の差分及び前記動き量に基づいて、前記第１のホワイトバランス補正値及び前記第２のホワイトバランス補正値のうちの少なくとも何れか一方について、第１のホワイトバランス補正値と第２のホワイトバランス補正値の差が小さくなるように補正する補正手段と、
   前記補正手段により出力される前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値を用いて、第１の画像データと第２の画像データとを生成する生成手段と、
   前記ストロボ非発光時に撮影された画像データの輝度値と前記ストロボ発光時に撮影された画像データの輝度値とに基づいて、外光の輝度成分とストロボ光の輝度成分とを算出する成分算出手段と、
   前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率を算出する合成比率算出手段と、
   前記合成比率算出手段により算出された合成比率に基づいて、前記第１の画像データと前記第２の画像データとを合成する合成手段とを有することを特徴とする画像処理装置。

Images