JP2008079143A - ホワイトバランス補正方法及び撮像装置 - Google Patents

Abstract

【課題】本発光時に主被写体に到達するフラッシュ到達量を正確に予測し、主被写体に対するホワイトバランス補正を適切に行う。
【解決手段】フラッシュ撮影に先立って所定の発光量のプリ発光を行わせ、該プリ発光時に撮像したプリ発光画像と、非発光時に撮像した非発光画像とを取り込む（ステップＳ１０）。前記プリ発光画像と非発光画像とに基づいて主被写体を目標輝度値で撮影するために必要な本発光時の発光量を算出するとともに、プリ発光時の発光量が主被写体に与える輝度値を算出する（ステップＳ１２、Ｓ１４）。前記プリ発光時の発光量、前記フラッシュ到達量、及び本発光時の発光量に基づいて目標輝度値に対して本発光時の発光量が主被写体に与える輝度値の割合を示す予測到達量を算出し（ステップＳ１６）、この予測到達量に基づいてフラッシュ撮影時に取得した本発光画像のホワイトバランス補正を行う。
【選択図】 図３

Description

本発明はホワイトバランス補正方法及び撮像装置に係り、特にフラッシュ撮影時に最適なホワイトバランス補正を行う技術に関する。

フラッシュ撮影された画像（以下、「本発光画像」という）は、主被写体と背景で照明光源が異なるため（主被写体＝周囲光＋フラッシュ光、背景＝周囲光）、適切なホワイトバランス補正を行うのが難しいという問題がある。

特に、近年ではデジタルカメラの高感度化に伴い、フラッシュ撮影時に主被写体を照明する環境光の影響が大きくなり、フラッシュの光源色に対応して予め設定されているＲ、Ｇ、Ｂの各色ごとのホワイトバランスゲイン（以下、「フラッシュゲイン」という）でホワイトバランス補正を行うと、主被写体の色味が悪化するという問題がある。

このような問題を解決するために、特許文献１に記載の画像処理装置は、フラッシュ光と外光との光量比を求め、この光量比に基づいてフラッシュ撮影された画像のホワイトバランスを制御するようにしている。

また、特許文献２に記載のデジタルカメラは、本撮影前にフラッシュを予備発光（プリ発光）させ、プリ発光時に取得したプリ発光画像の被写体輝度値と、非発光時に取得した非発光画像の被写体輝度値とを比較し、プリ発光による被写体輝度値の変化量と、プリ発光が被写体輝度値に及ぼす影響度とを求め、両者の値に基づいてフラッシュゲインと、環境光（定常光）用のホワイトバランスゲインとを重み付け加算して、最終的なホワイトバランスゲインを求めるようにしている。
特開２００３−２８３９１８号公報 特開２００３−３０９８５４号公報

しかしながら、特許文献１に記載の画像処理装置は、フラッシュ光の発光量が同じであっても主被写体に照射されるフラッシュ光の割合は、距離によって変化するため（距離が近いとフラッシュ光の割合が高く、遠いとフラッシュ光の割合が低くなる）、良好なホワイトバランス補正を行うことができないという問題がある。

また、特許文献２に記載のデジタルカメラの場合、プリ発光画像と非発光画像の両者の被写体輝度値に基づいてフラッシュゲインと定常光用のホワイトバランスゲインとを重み付け加算する際の重み付け係数を決定しているが、本発光時の発光量は、プリ発光時の発光量とは異なるため、「プリ発光到達量：外光＝本発光到達量：外光」の関係が成り立たず、特許文献２に記載のデジタルカメラによって算出される最終的なホワイトバランスゲインは精度の悪く、その結果、最適なホワイトバランス補正を行うことができないという問題がある。

本発明はこのような事情に鑑みてなされたもので、本発光時に主被写体に到達するフラッシュ到達量を正確に予測することができ、この予測到達量に応じてホワイトバランス補正を行うようにしたため、主被写体にフラッシュ光と環境光とのミックス光が照射されている場合であっても主被写体に対するホワイトバランス補正を適切に行うことができるホワイトバランス補正方法及び撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係るホワイトバランス方法は、フラッシュ撮影に先立ってフラッシュ発光手段から所定の発光量のプリ発光を行わせ、該プリ発光時に撮像したプリ発光画像を取り込むステップと、フラッシュ撮影に先立って非発光時に撮像した非発光画像を取り込むステップと、前記プリ発光画像と非発光画像とを比較してプリ発光時の発光量が主被写体に与える輝度値を算出するステップと、前記算出したプリ発光時の発光量が主被写体に与える輝度値に基づいて目標輝度値に対してプリ発光時の発光量が主被写体に与える輝度値の割合を示すフラッシュ到達量を算出するステップと、前記取り込んだプリ発光画像と非発光画像とに基づいて前記主被写体を目標輝度値で撮影するために必要な本発光時の発光量を算出するステップと、フラッシュ撮影時に前記フラッシュ発光手段から前記算出された発光量の本発光を行わせ、本発光画像を取り込むステップと、前記算出されたプリ発光時のフラッシュ到達量、及び前記算出された本発光時の発光量と前記プリ発光時の発光量との比に基づいて目標輝度値に対して前記本発光時の発光量が主被写体に与える輝度値の割合を示す予測到達量を算出するステップと、前記算出された予測到達量に基づいてフラッシュ撮影時に取得した本発光画像のホワイトバランス補正を行うステップと、を含むことを特徴としている。

即ち、フラッシュ撮影前に取り込んだプリ発光画像と非発光画像とに基づいてプリ発光時の発光量が主被写体に与える輝度値を算出する。この輝度値は、両画像の被写体輝度値の差分から求めることができる。このプリ発光時の発光量が主被写体に与える輝度値に基づいてプリ発光時のフラッシュ到達量を算出する。このフラッシュ到達量は、前記算出した輝度値と目標輝度値との比をとることによって求めることができる。

一方、前記取り込んだプリ発光画像と非発光画像とに基づいて前記主被写体を目標輝度値で撮影するために必要な本発光時の発光量を算出する。この本発光時の発光量の算出方法としては、目標輝度値から非発光画像の輝度値を減算することにより、本発光で補うべき輝度値を求めることができる。そして、この輝度値を、前記算出したプリ発光時の発光量が主被写体に与える輝度値で除算することにより、プリ発光時の発光量に対する倍率が求めることができ、プリ発光時の発光量に前記求めた倍率を乗算することによって本発光量を求めることができる。このようにして求めた本発光時の発光量によってフラッシュ撮影を行って本発光画像を取り込む。

また、「プリ発光時の発光量：フラッシュ到達量＝本発光時の発光量：予測到達量」の関係から正確に予測到達量を算出することができる。

このようして算出された目標輝度値に対して本発光時の発光量が主被写体に与える輝度値の割合を示す予測到達量によってホワイトバランス補正を行うことにより適切なホワイトバランス補正を行うことができる。

請求項２に示すように請求項１に記載のホワイトバランス補正方法において、前記ホワイトバランス補正を行うステップは、フラッシュ撮影時に取得した本発光画像又は被写体の環境光に基づいてＲ、Ｇ、Ｂの各色ごとに決定した第２のホワイトバランスゲインと、予めフラッシュの光源色に対応してＲ、Ｇ、Ｂの各色ごとに設定された第１のホワイトバランスゲインとを前記算出された予測到達量に応じて重み付け加算してなるホワイトバランスゲインを算出するステップと、前記算出されたホワイトバランスゲインに基づいて前記フラッシュ撮影時に取得した本発光画像を示すＲ、Ｇ、Ｂ信号のゲイン補正を行うステップと、を有することを特徴としている。即ち、予測到達量の割合が大きくなるにしたがって主被写体に対する照明光はフラッシュ光が支配的になるため、ホワイトバランスゲインを第２のホワイトバランスゲインに近づけ、逆に予測到達量の割合が小さくなるにしたがって主被写体に対する照明光は環境光が支配的になるため、ホワイトバランスゲインを第１のホワイトバランスゲインに近づけるようにしている。

請求項３に示すように請求項１に記載のホワイトバランス補正方法において、前記非発光画像及びプリ発光画像からそれぞれ顔を検出するステップを有し、前記プリ発光時の発光量が主被写体に与える輝度値を求めるステップは、前記非発光画像又はプリ発光画像から顔が検出されると、前記検出された顔を含む顔エリア内の非発光画像とプリ発光画像とを比較して前記輝度値を求めることを特徴としている。

即ち、主被写体を顔とし、顔エリア内の非発光画像とプリ発光画像とを用いてプリ発光時の発光量が主被写体に与える輝度値を求めるようにしたため、特に顔に対するホワイトバランス補正を適切に行うことができる。

請求項４に示すように請求項２に記載のホワイトバランス補正方法において、フラッシュ撮影時に取得した本発光画像の輝度値を検出するステップを有し、前記ホワイトバランスゲインを算出するステップは、前記検出された本発光画像の輝度値が目標輝度値よりも大きい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも大きくして前記ホワイトバランスゲインを算出し、前記検出された本発光画像の輝度値が目標輝度値よりも小さい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも小さくして前記ホワイトバランスゲインを算出することを特徴としている。

即ち、本発光時の発光量にバラツキがあると、本発光画像の輝度値が目標輝度値から外れるが、この場合であっても適切なホワイトバランスゲインを求めるようにしている。本発光画像の輝度値が目標輝度値よりも大きい場合には、前記算出された予測到達量よりも実際の到達量は大きくなっているため、第２のホワイトバランスゲインの重みをより大きくし、逆に本発光画像の輝度値が目標輝度値よりも小さい場合には、前記算出された予測到達量よりも実際の到達量は小さくなっているため、第２のホワイトバランスゲインの重みをより小さくして最終的なホワイトバランスゲインを求めるようにしている。

請求項５に示すように請求項２に記載のホワイトバランス補正方法において、フラッシュ撮影時に取得した本発光画像の輝度値を検出するステップと、被写体の環境光の光源種を検出するステップと、を有し、前記ホワイトバランスゲインを算出するステップは、前記検出された光源種が蛍光灯であり、かつ前記検出された本発光画像の輝度値が目標輝度値よりも大きい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも小さくして前記ホワイトバランスゲインを算出し、前記検出された本発光画像の輝度値が目標輝度値よりも小さい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも大きくして前記ホワイトバランスゲインを算出することを特徴としている。

即ち、フラッシュ調光時に蛍光灯のフリッカの影響を受ける場合がある。従って、環境光の光源種が蛍光灯と判別され、かつ本発光画像の輝度値が目標輝度値よりも大きい場合には（環境光の光量を小さく評価しているため、本発光量が大きめになっている）、本発光画像は、調光時よりも環境光（蛍光灯）の影響が大きくなっている。従って、この場合には、第２のホワイトバランスゲインの重みをより小さくし、逆に、本発光画像の輝度値が目標輝度値よりも小さい場合には（環境光の光量を大きく評価しているため、本発光量が小さめになっている）、第２のホワイトバランスゲインの重みをより大きくするようにしている。

請求項６に示すように請求項１に記載のホワイトバランス補正方法において、前記本発光画像を取り込むステップは、前記算出された発光量が前記フラッシュ発光手段の最大発光量を超える場合には、フラッシュ撮影時に前記最大発光量となるようにフラッシュの発光量を制限して本発光画像を取り込み、前記予測到達量を算出するステップは、前記算出された本発光時の発光量が、前記フラッシュ発光手段の最大発光量を超える場合には、前記目標輝度値の代わりに、前記算出された本発光時の発光量が前記最大発光量を超える発光超過量から予測される予測輝度値、又は前記本発光画像から算出した実測輝度値を使用して、前記予測輝度値又は前記実測輝度値に対して前記最大発光量が主被写体に与える輝度値の割合を示す予測到達量を算出することを特徴としている。

即ち、フラッシュ発光手段の最大発光量の影響により、本発光画像の輝度値が目標輝度値に達しない場合がある。この場合には、本発光時の発光量を最大発光量にクリップするとともに、目標輝度値の代わりに本発光画像の予測輝度値、又は本発光画像から算出した実測輝度値を求め、この予測輝度値又は実測輝度値に対するプリ発光時のフラッシュ到達量、及び最大発光量とプリ発光時の発光量との比から予想到達量を算出するようにしている。

請求項７に係る撮像装置は、フラッシュ発光手段と、非発光時、プリ発光時、及び本発光時にそれぞれ被写体を撮像する撮像手段と、フラッシュ撮影に先立って前記フラッシュ発光手段から所定の発光量のプリ発光を行わせ、該プリ発光時に撮像したプリ発光画像を取り込むとともに、非発光時に撮像した非発光画像を取り込む画像取込手段と、前記取り込まれたプリ発光画像と非発光画像とを比較してプリ発光時の発光量が主被写体に与える輝度値を算出する輝度値算出手段と、前記算出したプリ発光時の発光量が主被写体に与える輝度値に基づいて目標輝度値に対してプリ発光時の発光量が主被写体に与える輝度値の割合を示すフラッシュ到達量を算出するフラッシュ到達量算出手段と、前記取り込んだプリ発光画像と非発光画像とに基づいて前記主被写体を目標輝度値で撮影するために必要な本発光時の発光量を算出する発光量算出手段と、フラッシュ撮影時に前記算出された本発光時の発光量となるように前記フラッシュ手段の発光量を調整するフラッシュ調光手段と、前記算出されたプリ発光時のフラッシュ到達量、及び前記算出された本発光時の発光量と前記プリ発光時の発光量との比に基づいて目標輝度値に対して前記本発光時の発光量が主被写体に与える輝度値の割合を示す予測到達量を算出する予測到達量算出手段と、前記算出された予測到達量に基づいてフラッシュ撮影時に取得した本発光画像のホワイトバランス補正を行うホワイトバランス補正手段と、を備えたことを特徴としている。

請求項８に示すように請求項７に記載の撮像装置において、前記ホワイトバランス補正手段は、フラッシュ撮影時に取得した本発光画像又は被写体の環境光に基づいてＲ、Ｇ、Ｂの各色ごとに決定した第２のホワイトバランスゲインと、予めフラッシュの光源色に対応してＲ、Ｇ、Ｂの各色ごとに設定された第１のホワイトバランスゲインとを前記算出された予測到達量に応じて重み付け加算してなるホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、前記ホワイトバランスゲイン算出手段によって算出された前記ホワイトバランスゲインに基づいて前記フラッシュ撮影時に取得した本発光画像を示すＲ、Ｇ、Ｂ信号のゲイン補正を行うゲイン補正手段と、を有することを特徴としている。

請求項９に示すように請求項７に記載の撮像装置において、前記非発光画像又はプリ発光画像から顔を検出する顔検出手段を有し、前記輝度値算出手段は、前記顔検出手段によって顔が検出されると、前記検出された顔を含む顔エリア内のプリ発光画像と非発光画像とを比較して前記プリ発光時の発光量が主被写体に与える輝度値を算出することを特徴としている。

請求項１０に示すように請求項８に記載の撮像装置において、フラッシュ撮影時に取得した本発光画像の輝度値を検出する輝度値検出手段を備え、前記ホワイトバランスゲイン算出手段は、前記検出された本発光画像の輝度値が目標輝度値よりも大きい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも大きくして前記ホワイトバランスゲインを算出し、前記検出された本発光画像の輝度値が目標輝度値よりも小さい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも小さくして前記ホワイトバランスゲインを算出することを特徴としている。

請求項１１に示すように請求項８に記載の撮像装置において、フラッシュ撮影時に取得した本発光画像の輝度値を検出する輝度値検出手段と、被写体の環境光の光源種を検出する光源種検出手段と、を備え、前記ホワイトバランスゲイン算出手段は、前記検出された光源種が蛍光灯であり、かつ前記検出された本発光画像の輝度値が目標輝度値よりも大きい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも小さくして前記ホワイトバランスゲインを算出し、前記検出された本発光画像の輝度値が目標輝度値よりも小さい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも大きくして前記ホワイトバランスゲインを算出することを特徴としている。

請求項１２に示すように請求項７に記載の撮像装置において、前記フラッシュ調光手段は、前記発光量算出手段によって算出された発光量が、前記フラッシュ発光手段の最大発光量を超える場合には、本発光時に前記最大発光量となるようにフラッシュの発光量を調整し、前記予測到達量算出手段は、前記発光量算出手段によって算出された発光量が、前記フラッシュ発光手段の最大発光量を超える場合には、前記目標輝度値の代わりに、前記算出された本発光時の発光量が前記最大発光量を超える発光超過量から予測される予測輝度値、又は前記本発光画像から算出した実測輝度値を使用して、前記予測輝度値又は前記実測輝度値に対して前記最大発光量が主被写体に与える輝度値の割合を示す予測到達量を算出することを特徴としている。

本発明によれば、本発光時に主被写体に到達するフラッシュ到達量を正確に予測することができ、この予測到達量に応じてホワイトバランス補正を行うようにしたため、主被写体にフラッシュ光と環境光とのミックス光が照射されている場合であっても主被写体に対するホワイトバランス補正を適切に行うことができる。

以下、添付図面に従って本発明に係るホワイトバランス補正方法及び撮像装置の好ましい実施の形態について説明する。

［撮像装置の構成］
図１は本発明に係る撮像装置（デジタルカメラ）１０の内部構成の実施の形態を示すブロック図である。

同図に示すように、本実施の形態のデジタルカメラ１０は、撮影光学系１２、ＣＣＤ等の固体撮像素子からなるメージセンサ１４（以下「ＣＣＤ」という）、タイミングジェネレータ（ＴＧ）１６、アナログ信号処理部１８、Ａ／Ｄ変換器２０、画像入力コントローラ２２、デジタル信号処理部２４、エンコーダ２８、画像表示部３０、圧縮・伸張処理部３２、メディアコントローラ３４、記憶メディア３６、オートエクスポージャ（ＡＥ）検出部３８、オートフォーカス（ＡＦ）検出部４０、中央処理装置（ＣＰＵ）４２、ＲＯＭ４４、ＲＡＭ４６、フラッシュＲＯＭ４８、顔検出部４９、操作部５０、及びフラッシュ装置５２等から構成されている。

尚、操作部５０は、シャッタボタン、電源スイッチ、撮影／再生モード選択スイッチ、バックスイッチ、メニュー／ＯＫスイッチ、及びマルチファンクションの十字キー等を含んで構成されており、シャッタボタンは、２段ストロークのボタンで、半押し時にＯＮしてＡＦ、ＡＥ等の撮影準備を行わせるスイッチＳ１と、全押し時にＯＮして画像の取り込みを行わせるスイッチＳ２とを有している。

デジタルカメラ１０の全体の動作は、ＣＰＵ４２によって統括制御されており、ＣＰＵ４２は操作部５０からの入力に基づき所定のプログラムに従ってデジタルカメラ１０の各部を制御する。

ＲＯＭ４４には、このＣＰＵ４２が実行するプログラムの他、プログラム線図等の各種制御に必要なデータが格納されている。ＣＰＵ４２は、このＲＯＭ４４に格納されたプログラムをＲＡＭ４６に展開し、ＲＡＭ４６を作業メモリとして使用しながら各種処理を実行する。また、フラッシュＲＯＭ４８には、ユーザ設定情報等のデジタルカメラ１０の動作に関する各種設定情報等が格納されている。

撮影光学系１２は、ズームレンズ１２ｚ、フォーカスレンズ１２ｆ、絞り（例えば、虹彩絞り）１２ｉを含み、それぞれズームモータ６０ｚ、フォーカスモータ６０ｆ、アイリスモータ６０ｉに駆動されて作動する。即ち、ズームレンズ１２ｚは、ズームモータ６０ｚに駆動されて撮影光軸上を前後移動し、これにより、焦点距離を変化させる。また、フォーカスレンズ１２ｆは、フォーカスモータ６０ｆに駆動されて撮影光軸上を前後移動し、これにより結像位置を変化させる。また、絞り１２ｉは、アイリスモータ６０ｉに駆動されて開口量が連続的、又は段階的に変化し、これにより絞り値を変化させる。ＣＰＵ４２は、ズームモータドライバ６２ｚ、フォーカスモータドライバ６２ｆ、アイリスモータドライバ６２ｉを介してズームモータ６０ｚ、フォーカスモータ６０ｆ、アイリスモータ６０ｉの駆動を制御し、ズームレンズ１２ｚ、フォーカスレンズ１２ｆ、絞り１２ｉの動作を制御する。

ＣＣＤ１４は、所定のカラーフィルタ配列（例えば、ハニカム配列）のカラーＣＣＤで構成されている。撮影光学系１２を介してＣＣＤ１４の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１６から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）としてＣＣＤ１４から順次出力される。

尚、このＣＣＤ１４は、シャッタゲートとシャッタドレインを備えており、シャッタゲートにシャッタゲートパルスを印加することで各フォトダイオードに蓄積された信号電荷をシャッタドレインに掃き出すことができるようにされている。ＣＰＵ４２は、ＴＧ１６を介してシャッタゲートへのシャッタゲートパルスの印加を制御することにより、各フォトダイオードに蓄積される信号電荷の電荷蓄積時間（いわゆる電子シャッタによるシャッタ速度）を制御する。

アナログ信号処理部１８は、ＣＤＳ回路及びアナログアンプを含み、ＣＤＳ回路は、ＴＧ１６から加えられるＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、アナログアンプは、ＣＰＵ４２から加えられる撮影感度に応じて設定されたゲインによってＣＤＳ回路から出力される画像信号を増幅する。Ａ／Ｄ変換器２０は、このアナログ信号処理部１８から出力されたアナログの画像信号をデジタルの画像信号に変換する。

画像入力コントローラ２２は、所定容量のバッファメモリを内蔵しており、Ａ／Ｄ変換器２０から出力された画像信号を１コマ分蓄積して、ＲＡＭ４６に格納する。

図２はデジタル信号処理部２４の構成を示すブロック図である。

このデジタル信号処理部２４は、オフセット補正回路２４Ａ、ゲイン補正回路２４Ｂ、ガンマ補正回路２４Ｃ、同時化回路２４Ｄ、ＲＧＢ／ＹＣ変換回路２４Ｅ、ノイズフィルタ回路２４Ｆ、輪郭補正回路２４Ｇ、及び色差マトリクス回路２４Ｈ、ホワイトバランス（ＷＢ）ゲイン補正回路Ｉ、及び調光部２５から構成されており、ＣＰＵ４２からの指令に従ってＲＡＭ４６に格納された画像信号（Ｒ、Ｇ、ＢのＲＡＷデータ）を処理し、輝度信号と色差信号とからなるＹＣ信号を生成する。

即ち、Ｒ、Ｇ、ＢのＲＡＷデータ（Ｒ、Ｇ、Ｂ信号）が、ＣＣＤ１４のカラーフィルタ配列に応じて、例えばＲＧＢＧＲＧＢＧの点順次で順次取り込まれる。このＲ、Ｇ、Ｂ信号は、オフセット補正回路２４Ａに加えられ、ここでＲ、Ｇ、Ｂ信号の黒レベルを揃えるオフセット処理がなされるのち、ゲイン補正回路２４Ｂに加えられる。

ゲイン補正回路２４Ｂの他の入力には、ＷＢゲイン算出回路２４Ｉによって決定された、Ｒ、Ｇ、Ｂ信号別のＷＢゲインＲg,Ｇg,Ｂgが加えられており、ゲイン補正回路２４Ｂは、入力するＲ、Ｇ、Ｂ信号に対応するＷＢゲインＲg,Ｇg,Ｂgにより、Ｒ、Ｇ、Ｂ信号のゲイン補正を行い、これによりＷＢ補正が行われる。尚、ＷＢゲイン算出回路２４Ｉ及び調光部２５の詳細については、後述する。

ＷＢ補正されたＲ、Ｇ、Ｂ信号は、ガンマ補正回路２４Ｃに加えられる。ガンマ補正回路２４Ｃは、入力するＲ、Ｇ、Ｂ信号の階調変換（ガンマ補正）を行い、ガンマ補正したＲ、Ｇ、Ｂ信号を同時化処理回路２４Ｄに加えられる。同時化処理回路２４Ｄは、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂ信号の空間的なズレを補間してＲ，Ｇ，Ｂ信号を同時式に変換する処理を行い、同時化したＲ，Ｇ，Ｂ信号をＲＧＢ／ＹＣ変換回路２４Ｅに出力する。

ＲＧＢ／ＹＣ変換回路２４Ｅは、Ｒ，Ｇ，Ｂ信号を輝度信号Ｙ，色差信号Ｃr,Ｃｂに変換し、輝度信号Ｙをノイズフィルタ回路２４Ｆを介して輪郭補正回路１７０に出力するとともに、色差信号Ｃr,Ｃｂをノイズフィルタ回路２４Ｆを介して色差マトリクス回路２４Ｈに出力する。輪郭補正回路２４Ｇは、輝度信号Ｙの輪郭部（輝度変化の大きい部分）を強調する処理を行い、色差マトリクス回路２４Ｈは、色差信号Ｃr,Ｃｂに対して所要のマトリクス変換を行って良好な色再現性を実現させる。

画像表示部３０にスルー画像（ライブ画像）を表示させる場合は、ＣＣＤ１４で画像を連続的に撮像し、得られた画像信号を連続的に処理してＹＣ信号を生成する。生成されたＹＣ信号は、ＲＡＭ４６を介してエンコーダ２８に加えられ、表示用の信号形式に変換されて画像表示部３０に出力される。これにより、画像表示部３０にスルー画像が表示される。

画像を記録する場合は、シャッタボタンからの撮影指令に応じてＣＣＤ１４で画像を撮像し、得られた画像信号を処理してＹＣ信号を生成する。生成されたＹＣ信号は、圧縮・伸張処理部３２に加えられ、所定の圧縮画像データ（例えば、ＪＰＥＧ）とされたのち、メディアコントローラ３４を介して記憶メディア３６に格納される。

記憶メディア３６に格納された圧縮画像データは、再生指令に応じて記憶メディア３６から読み出され、圧縮・伸張処理部３２で非圧縮のＹＣ信号とされたのち、エンコーダ２８を介して画像表示部３０に出力される。これにより、記憶メディア３６に記録された画像が画像表示部３０に再生表示される。

ＡＥ検出部３８は、ＣＰＵ４２からの指令に従い、入力された画像信号からＡＥ制御に必要な物理量を算出する。例えば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（例えば、８×８）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ４２は、このＡＥ検出部３８から得た積算値、及び画像信号取得時の絞り値、シャッタ速度に基づいて被写体の明るさを検出してＥＶ値を求め、求めたＥＶ値に基づいてプログラム線図等に基づいて露出を設定する。

ＡＦ検出部４０は、ＣＰＵ４２からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。本実施の形態のデジタルカメラ１０では、画像のコントラストによりＡＦ制御を行うものとし、ＡＦ検出部４０は、入力された画像信号から画像の鮮鋭度を示すＡＦ評価値を算出する。ＣＰＵ４２は、このＡＦ検出部４０で算出されるＡＦ評価値が極大となるように、フォーカスモータドライバ６２ｆを介してフォーカスモータ６０ｆを駆動し、フォーカスレンズ１２ｆの移動を制御する。

顔検出部４９は、画像照合回路及び顔画像テンプレートを含み、撮影画像中に含まれる被写体（人物）の顔を検出し、その顔の位置や大きさの情報をＣＰＵ４２に出力する。

即ち、顔検出部４９の画像照合回路は、予め設定した顔エリアを検出するための最も大きな対象エリアを、画面内で少しずつ移動させながら顔画像テンプレートとの相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象エリアを顔エリアとして認定する。続いて、対象エリアを少し小さくし、再度、顔画像テンプレートとの相関を調べる。これを検出したい最小の検出エリアまで繰り返し、顔エリアを求める。このようにして求めた顔エリアの情報（顔エリアの大きさ及び位置を示す情報）をＣＰＵ４２に出力する。

このようにして検出された顔エリアの情報は、ＡＦ、ＡＥ制御等に利用される。尚、顔検出方法は、上記の例に限らず、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。

フラッシュ装置５２は、キセノン管を含むフラッシュ発光部５４と、ＣＰＵ４２からの発光指令及び発光停止指令によってフラッシュ発光部５４から発光させるフラッシュの発光量（発光時間）の制御や、図示しないメインコンデンサの充電制御を行うフラッシュ制御部５６とを有している。

このフラッシュ装置５２は、低輝度時に自動的に発光させるオートフラッシュ、強制発光フラッシュ、赤目軽減フラッシュ、フラッシュ発光禁止等のフラッシュモードのうちの選択されたフラッシュモードに応じて動作する。

以下、本発明に係るホワイトバランス補正方法、特にフラッシュ撮影時におけるホワイトバランス補正方法について説明する。

＜第１の実施の形態＞
図３は本発明に係るデジタルカメラ１０の第１の実施の形態を示すフローチャートであり、特にフラッシュ撮影時におけるＷＢゲインの算出処理に関して示している。

同図において、シャッタボタンが全押しされると、本撮影前にフラッシュ調光用の非発光画像とプリ発光画像の撮影を実施する（スイッチＳ１０）。即ち、本撮影前にフラッシュ装置５２を発光させずに撮影を行って非発光画像を取り込み、続いてフラッシュ装置５２から所定の発光量のプリ発光を行わせて撮影を行い、このプリ発光時に撮影したプリ発光画像を取り込む。尚、非発光画像とプリ発光画像の撮影順序は、上記と逆でもよい。

次に、図２に示した調光部２５内の発光量算出回路２５Ａは、上記非発光画像とプリ発光画像とに基づいて人物等の主被写体を目標輝度値で撮影するために必要な本発光時の発光量を算出する（スイッチＳ１２）。

即ち、図４に示すように非発光画像とプリ発光画像とのそれぞれの輝度値の差分をとり、プリ発光時の発光量が主被写体に与える輝度値を算出する。ここで、目標輝度値Ｅaと、非発光画像の輝度値Ｅ_１と、本発光時の発光量が主被写体に与える輝度値Ｅmとは、次式の関係にある。

［数１］
Ｅa＝Ｅ_１＋Ｅm
上記［数１］において、目標輝度値Ｅaは固定値であり、非発光画像の輝度値Ｅ_１は、非発光画像から算出することができるため、本発光時の発光量が主被写体に与える輝度値Ｅmを求めることができる。

一方、非発光画像とプリ発光画像との比較により求めたプリ発光時の発光量が主被写体に与える輝度値をＰＥとすると、本発光の発光量と、プリ発光の発光量と、輝度値ＰＥと、輝度値Ｅmとは、次式の関係にある。

［数２］
本発光の発光量：プリ発光の発光量＝Ｅm：ＰＥ
本発光の発光量＝プリ発光の発光量×（Ｅm／ＰＥ）
従って、上記［数２］により、主被写体を目標輝度値で撮影するために必要な本発光時の発光量を算出することができる。

次に、フラッシュ到達量算出回路２５Ｂ（図２参照）は、プリ発光時の発光量が主被写体に与える輝度値ＰＥに基づいてプリ発光時のフラッシュ到達量を算出する（ステップ１４）。

ここで、プリ発光時のフラッシュ到達量は、前記輝度値ＰＥの目標輝度値に対する比を示し、フラッシュ到達量をＰＥｖとすると、次式で表すことができる。

［数３］
ＰＥｖ＝ＰＥ／目標輝度値
即ち、プリ発光時のフラッシュ到達量ＰＥｖは、プリ発光時の発光量が目標輝度値に寄与する割合を示す。

続いて、予測到達量算出回路２５Ｃ（図２参照）は、目標輝度値に対して、ステップＳ１２で算出した本発光時の発光量が主被写体に与える輝度値の割合を示す予測到達量を算出する（ステップＳ１６）。

この予測到達量は、プリ発光時の発光量（固定値）、発光量算出回路２５Ａにより算出された本発光時の発光量、及びフラッシュ到達量算出回路２５Ｂにより算出されたフラッシュ到達量ＰＥｖに基づいて、次式により算出することができる。

［数４］
予測到達量＝ＰＥｖ×ΔＥｖ
但し、ΔＥｖ＝本発光時の発光量／プリ発光時の発光量
次に、フラッシュ撮影（本撮影）が行われ、本発光画像が取り込まれる（ステップＳ１８）。尚、このときフラッシュ装置５２から発光されるフラッシュ光は、ステップ１２で算出した本発光時の発光量となるように調光される。

図２に示したＷＢゲイン算出回路２４Ｉは、上記のようにした撮影した本発光画像のＲ、Ｇ、Ｂ信号と、予測到達量算出回路２５Ｃから入力される予測到達量とに基づいて、本発光画像のＷＢ補正を行うためのＷＢゲインＲg,Ｇg,Ｂgを算出する（ステップＳ１８）。

以下、ＷＢゲイン算出回路２４ＩによるＷＢゲインＲg,Ｇg,Ｂgの算出方法について詳述する。

まず、環境光及びフラッシュ光のミックス光の下で撮影された本発光画像に対するＷＢゲインＲg1,Ｇg1,Ｂg1を算出する。即ち、本発光画像のＲ，Ｇ，Ｂ信号を用いて、１画面が８×８に分割された６４個の分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、各分割エリアごとにＲ，Ｇ，Ｂの平均積算値の比（即ち、Ｒ／Ｇ及びＢ／Ｇの比）を算出する。

このようにして算出された６４個の分割エリアごとの色情報は、前記Ｒ／Ｇ、Ｂ／Ｇの値に基づいてＲ／Ｇ、Ｂ／Ｇの色空間上で分布する６４個の点として表すことができる。

そして、Ｒ／Ｇ、Ｂ／Ｇの色空間上で、上記の点が密集するグループの代表点の位置（重心位置又は平均位置）を、環境光とフラッシュ光のミックス光の色情報とする。この代表点の色情報を、ニュートラル・グレー（Ｎグレー）にするためのＲ信号に対するＷＢゲインＲg1、及びＢ信号に対するＷＢゲインＧg1を求める。

尚、この実施の形態では、Ｇ信号に対するＷＢゲインＧg1は、固定値としている。また、ＷＢゲインの算出方法は、上記の例に限らず、特許文献１、２、特開平１１−２５５２３号公報、又は特開２００６−２２２６７２号公報に記載の方法等を適用することができる。

一方、ＷＢゲイン算出回路２４Ｉには、フラッシュ光の光源色（通常、昼光色）に対応して、予め適切なＷＢ補正を行うことができるゲインＷＢゲインＲg2,Ｇg2,Ｂg2が設定されており、ＷＢゲイン算出回路２４Ｉは、本発光画像に対して算出したＷＢゲインＲg1,Ｇg1,Ｂg1と、フラッシュ光に対して設定されたＷＢゲインＲg2,Ｇg2,Ｂg2とを、予測到達量算出回路２５Ｃから入力される予測到達量に応じて重み付け加算し、本発光画像のＷＢ補正を行うための最終的なＷＢゲインＲg,Ｇg,Ｂgを算出する。

図５は、Ｒ信号に対するＷＢゲインＲgの算出方法の一例を示しており、図５のグラフの横軸は予測到達量を示し、縦軸はＷＢゲインＲgを示している。

同グラフに示すように、予測到達量が０％の場合には、ＷＢゲインＲgは、本発光画像を解析して算出したＷＢゲインＲg1となり、予測到達量が増加するにしたがってＷＢゲインＲgは、ＷＢゲインＲg1からＷＢゲインＲg2に近づいていく。そして、予測到達量が１００％の場合には、フラッシュ光に対して設定されたＷＢゲインＲg2となる。

また、ＷＢゲインＲgは、予測到達量に応じて直線ａに沿って変化するように算出してもよいし、破線で示す上に凸の曲線ｂに沿って変化するように算出するようにしてもよい。

Ｂ信号に対するＷＢゲインＢgも同様にして算出することがでるが、ＷＢゲインＲgを、破線で示す上に凸の曲線ｂに沿って変化するように算出する場合には、ＷＢゲインＢgは、下に凸の曲線（ＷＢゲインＢg1からＷＢゲインＢg2への変化曲線）に沿って変化するように算出する。

次に、上記のように予測到達量に応じてＷＢゲインＲg,Ｂgを曲線に沿って変化させる理由について説明する。

図６は、Ｒ／Ｇ、Ｂ／Ｇ色空間上での黒体軌跡Ｌを示すグラフである。黒体軌跡Ｌは、光源の色温度を変化させた際の黒体の色変化の軌跡であり、Ｒ／Ｇ、Ｂ／Ｇ色空間における基準点Ｄ５０（１，１）を通っている。

いま、本発光画像に基づいて算出されたＲ／Ｇ、Ｂ／Ｇ色空間上の本発光画像の代表点を黒体軌跡Ｌ上の点Ｐ１とする。また、フラッシュ光の色温度は、黒体軌跡Ｌ上の点Ｐ２（＝基準点Ｄ５０）に対応する。尚、本発光画像の色情報を示す代表点が、黒体軌跡Ｌから外れている場合には、例えば最も近い黒体軌跡Ｌに移動させる。このように黒体軌跡Ｌに移動させることにより、本発光画像中の色情報における物体色の影響を抑えて、この物体色の影響を抑えた色情報に基づいて光源色を求めることができる。

そして、予測到達量に応じて、点Ｐ１と点Ｐ２との間の黒体軌跡Ｌ上を移動するように最終的なＷＢゲインＲg,Ｇg,Ｂg算出用の点Ｐを決定する。図６に示すように、黒体軌跡Ｌは、Ｒ／Ｇ、Ｂ／Ｇ色空間上で曲線を描いており、黒体軌跡Ｌに沿った点に基づいてＷＢゲインＲg,Ｇg,Ｂgを決定する場合には、図５に示すようにＷＢゲインＲg,Ｂgの変化も曲線を描くように変化させる。

図２に示すゲイン補正回路２４Ｂは、上記のようにして算出されたＲ、Ｇ、Ｂ信号別のＷＢゲインＲg,Ｇg,ＢgをＷＢゲイン算出回路２４Ｉから入力し、オフセット補正回路２Ａから点順次で入力するＲ、Ｇ、Ｂ信号を、Ｒ、Ｇ、Ｂ信号別のＷＢゲインＲg,Ｇg,Ｂgによってゲイン補正を行い、これによりホワイトバランス補正を行う。

このように主被写体に到達するフラッシュ到達量を予測し、この予測到達量に応じてホワイトバランス補正を行うようにしたため、主被写体にフラッシュ光と環境光とのミックス光が照射されている場合であっても主被写体に対するホワイトバランス補正を適切に行うことができる。

尚、この実施の形態では、フラッシュ光と環境光とのミックス光が主被写体に照射されている本発光画像からＷＢゲインＲg1,Ｇg1,Ｂg1を求めるようにしているが、これに限らず、環境光のみが主被写体に照射されている非発光画像からＷＢゲインＲg1,Ｇg1,Ｂg1を求めるようにしてもよい。

＜第２の実施の形態＞
図７は本発明に係るデジタルカメラ１０の第２の実施の形態を示すフローチャートである。尚、図３に示した第１の実施の形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

第２の実施の形態は、人物の顔が検出された場合には、顔を主被写体として処理するものであり、図７に示すように第２の実施の形態は、第１の実施の形態に対してステップＳ３０、Ｓ３２、及びＳ３４の処理が追加されている。

ステップＳ３０は、ステップＳ１０で撮影した非発光画像、プリ発光画像の画角内に顔があるか否かを判別し、顔がない場合にはステップＳ１２に遷移させ、第１の実施の形態と同様な処理を行わせ、顔がある場合にはステップＳ３２に遷移させる。

ステップＳ３２では、ステップＳ１２と同様に非発光画像とプリ発光画像とに基づいて主被写体を目標輝度値で撮影するために必要な本発光時の発光量を算出するが、主被写体を顔エリアに限定して本発光時の発光量を算出する。

即ち、デジタルカメラ１０の顔検出部４９は、非発光画像、及びプリ発光画像のうちの一方の画像（好ましくはプリ発光画像）から顔エリアを検出する。ステップＳ３２では、顔検出部４９によって検出された顔エリアの情報に基づいて、図８に示すように非発光画像及びプリ発光画像からそれぞれ顔エリアの画像を抽出し、顔エリアの画像のそれぞれの輝度値の差分をとり、プリ発光時の発光量が主被写体（顔）に与える輝度値を算出する。

この算出されたプリ発光時の発光量が主被写体（顔）に与える輝度値に基づいて、前述の［数１］式、及び［数２］により、主被写体（顔）を目標輝度値で撮影するために必要な本発光時の発光量を算出する。

続いて、プリ発光時の発光量が主被写体（顔）に与える輝度値に基づいて、前述の［数３］により、プリ発光時のフラッシュ到達量を算出する（ステップ３４）。

次に、目標輝度値に対して、ステップＳ３２で算出した本発光時の発光量が主被写体（顔）に与える輝度値の割合を示す予測到達量を算出する（ステップＳ３６）。この予測到達量は、プリ発光時の発光量（固定値）、ステップＳ３２により算出された本発光時の発光量、及びステップＳ３４により算出されたフラッシュ到達量に基づいて、前述した［数４］により算出することができる。

このように画角内に顔がある場合には、顔に対する予測到達量が算出され、その予測到達量に基づいて、本発光画像のＷＢ補正を行うためのＷＢゲインＲg,Ｇg,Ｂgが算出される。これにより、本発光画像の顔エリアに対するホワイトバランス補正を適切に行うことができる。

図９は第２の実施の形態に対応するデジタル信号処理部２４−１の詳細を示すブロック図である。尚、図９において、図２に示した第１の実施の形態のデジタル信号処理部２４と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第２の実施の形態では、デジタル信号処理部２４−１内の調光部２５−１に顔エリア抽出回路２５Ｄが追加されている。この顔エリア抽出回路２５Ｄは、顔検出部４９（図１）によって顔が検出されると、顔検出部４９からの顔エリアの情報に基づいて非発光画像、プリ発光画像のうちの顔エリアに対応する画像のみをそれぞれ後段の発光量算出回路２５Ａ、及びフラッシュ到達量算出回路２５Ｂに出力し、顔が検出されない場合には、非発光画像、プリ発光画像の全体画像をそれぞれ発光量算出回路２５Ａ、及びフラッシュ到達量算出回路２５Ｂに出力する。

＜第３の実施の形態＞
図１０は本発明に係るデジタルカメラ１０の第３の実施の形態を示すフローチャートである。尚、図３に示した第１の実施の形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

第３の実施の形態は、本発光時の発光量のバラツキがＷＢゲインの算出（ホワイトバランス補正）に影響しないようにするものであり、図１０に示すように第３の実施の形態は、第１の実施の形態に対してステップＳ４０、Ｓ４２、Ｓ４４、及びＳ４６の処理が追加されている。

ステップＳ４０は、フラッシュ撮影（本撮影）によって取得した本発光画像から輝度値を算出し、その輝度値が適切（目標輝度値）か否かを判別し、目標輝度値を一致している場合には、第１の実施の形態と同様にステップＳ２０に遷移させ、一致していない場合には、本発光時の発光量にバラツキがあると見なし、ステップＳ４２に遷移させる。

ステップＳ４２では、本発光画像の輝度値が目標輝度値よりも高いか否かを判別し、高い場合にはステップＳ４４に遷移させ、低い場合にはステップＳ４６に遷移させる。

本発光画像の輝度値が目標輝度値よりも高い場合には、本発光時の発光量のバラツキのために本発光時の発光量が大きすぎたと見なし、フラッシュ光に対して設定されたＷＢゲイン（フラッシュゲイン）の重みが大きくなるようにＷＢゲインを設定する（ステップＳ４４）。即ち、ステップＳ２０では、予測到達量に基づいてＷＢゲインを算出するが、この予測到達量を、ステップＳ１６で算出した値よりも大きくなるようにする。

一方、本発光画像の輝度値が目標輝度値よりも低い場合には、本発光時の発光量のバラツキのために本発光時の発光量が小さすぎたと見なし、フラッシュ光に対して設定されたＷＢゲイン（フラッシュゲイン）の重みが小さくなるようにＷＢゲインを設定する（ステップＳ４６）。

図１１は第３の実施の形態に対応するデジタル信号処理部２４−２の詳細を示すブロック図である。尚、図１１において、図２に示した第１の実施の形態のデジタル信号処理部２４と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第３の実施の形態では、デジタル信号処理部２４−２に輝度値算出回路２４Ｊ，及びフラッシュゲイン重み算出回路２４Ｋが追加されるとともに、ＷＢゲイン算出回路２４Ｉ’が変更されている。

即ち、輝度値算出回路２４Ｊは、本発光画像の輝度値を算出し、その輝度値をフラッシュゲイン重み算出回路２４Ｋに出力する。フラッシュゲイン重み算出回路２４Ｋは、前記算出された輝度値と目標輝度値とを比較し、その比較結果に応じてフラッシュゲイン重み係数を求め、ＷＢゲイン算出回路２４Ｉ’に出力する。

ＷＢゲイン算出回路２４Ｉ’は、調光部２５の予測到達量算出回路２５Ｃから入力される予測到達量をフラッシュゲイン重み係数によって修正し、その修正した予測到達量に基づいてＷＢゲインＲg,Ｇg,Ｂgを算出する。

＜第４の実施の形態＞
図１２は本発明に係るデジタルカメラ１０の第４の実施の形態を示すフローチャートである。尚、図３に示した第１の実施の形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

第４の実施の形態は、蛍光灯のフリッカがＷＢゲインの算出（ホワイトバランス補正）に影響しないようにするものであり、図１０に示すように第３の実施の形態は、第１の実施の形態に対してステップＳ５０、Ｓ５２、Ｓ５４、Ｓ５６、及びＳ５８の処理が追加されている。

ステップＳ５０は、フラッシュ撮影（本撮影）によって取得した本発光画像から輝度値を算出し、その輝度値が適切（目標輝度値）か否かを判別し、目標輝度値を一致している場合には、第１の実施の形態と同様にステップＳ２０に遷移させ、一致していない場合には、蛍光灯のフリッカの影響により、本発光の本発光量が適切でないと見なし、ステップＳ５２に遷移させる。即ち、蛍光灯は、５０Ｈｚ又は６０Ｈｚのフリッカが発生しており、非発光画像を蛍光灯が明るい時に撮影したか、暗いときに撮影したかによって本発光の発光量が異なる。

ステップＳ５２では、非発光画像（環境光）の光源種が蛍光灯であるか否かを判別し、環境光の光源種が蛍光灯でないと判別されると、ステップＳ２０に遷移させ、蛍光灯であると判別されると、ステップＳ５４に遷移させる。

ここで、光源種の判別は、非発光画像の画面を８×８の６４個の分割エリアに分割し、各分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、Ｒ，Ｇ，Ｂの平均積算値の比（即ち、Ｒ／Ｇ及びＢ／Ｇの比）を算出する。このようにして算出された６４個の分割エリアごとの色情報は、前記Ｒ／Ｇ、Ｂ／Ｇの値に基づいてＲ／Ｇ、Ｂ／Ｇの色空間上で分布する６４個の点として表すことができる。そして、Ｒ／Ｇ、Ｂ／Ｇの色空間上で、上記の点が密集するグループの代表点の位置（重心位置又は平均位置）を環境光の色情報し、この色情報に基づいて環境光の光源種を判別する。

ステップＳ５４では、本発光画像の輝度値が目標輝度値よりも高いか否かを判別し、高い場合にはステップＳ５６に遷移させ、低い場合にはステップＳ５８に遷移させる。

本発光画像の輝度値が目標輝度値よりも高い場合には、蛍光灯のフリッカの影響により非発光画像が本来の明るさよりも暗いと判断しているため、フラッシュ光に対して設定されたＷＢゲイン（フラッシュゲイン）の重みが小さくなるようにＷＢゲインを設定する（ステップＳ５６）。即ち、ステップＳ２０では、予測到達量に基づいてＷＢゲインを算出するが、この予測到達量を、ステップＳ１６で算出した値よりも小さくなるようにする。

一方、本発光画像の輝度値が目標輝度値よりも低い場合には、蛍光灯のフリッカの影響により非発光画像が本来の明るさよりも明るいと判断しているため、フラッシュ光に対して設定されたＷＢゲイン（フラッシュゲイン）の重みが大きくなるようにＷＢゲインを設定する（ステップＳ５８）。

このように蛍光灯のプリ発光時の発光量にバラツキがあっても、適切なホワイトバランスゲインを求めることができる。

図１３は第４の実施の形態に対応するデジタル信号処理部２４−３の詳細を示すブロック図である。尚、図１３において、図１１に示した第３の実施の形態のデジタル信号処理部２４−２と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第４の実施の形態では、デジタル信号処理部２４−３に光源種検出回路２４Ｌが追加されるとともに、フラッシュゲイン重み算出回路２４Ｋ’が変更されている。

即ち、光源種検出２４Ｋは、前述したように非発光画像に基づいて非発光画像の光源種を検出し、この検出した光源種が蛍光灯の場合には、その検出結果をフラッシュゲイン重み算出回路２４Ｋ’に出力する。

フラッシュゲイン重み算出回路２４Ｋ’は、輝度値算回路２４Ｊで算出された本発光画像の輝度値と目標輝度値とを比較し、その比較結果と光源種の検出結果に応じてフラッシュゲイン重み係数を求め、ＷＢゲイン算出回路２４Ｉ’に出力する。即ち、光源種が蛍光灯であり、かつ本発光画像が輝度値が目標輝度値よりも高い場合には、フラッシュゲインの重みを弱くするフラッシュゲイン重み係数を求め、一方、本発光画像が輝度値が目標輝度値よりも低い場合には、フラッシュゲインの重みを強くするフラッシュゲイン重み係数を求める。

ＷＢゲイン算出回路２４Ｉ’は、調光部２５の予測到達量算出回路２５Ｃから入力される予測到達量をフラッシュゲイン重み係数によって修正し、その修正した予測到達量に基づいてＷＢゲインＲg,Ｇg,Ｂgを算出する。

＜第５の実施の形態＞
図１４は本発明に係るデジタルカメラ１０の第５の実施の形態を示すフローチャートである。尚、図３に示した第１の実施の形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

第５の実施の形態は、フラッシュ装置５２の最大発光量の影響で本発光画像の輝度値が目標輝度値に届かない場合でも適切なホワイトバランス補正を行うもので、図１４に示すように第５の実施の形態は、第１の実施の形態に対してステップＳ６００、Ｓ６２、Ｓ６４、Ｓ６６、及びＳ６８の処理が追加されている。

ステップＳ６０は、ステップＳ１２で算出された本発光の発光量が、フラッシュ装置５２の最大発光量以下か否かを判別し、本発光の発光量が最大発光量以下の場合には、第１の実施の形態と同様にステップＳ１６に遷移させ、本発光の発光量が最大発光量を超える場合には、ステップＳ６２に遷移させる。

ステップＳ６２では、本発光の発光量から最大発光量を減算することにより、発光超過量を算出する。

続いて、フラッシュ撮影（本撮影）時における本発光画像の予測輝度値を、発光超過量等に基づいて、次式により算出する（ステップＳ６４）。

［数５］
予測輝度値＝目標輝度値−ＰＥｖ×（ΔＥｖ−ΔＥｖ_max）
但し、ＰＥｖ：プリ発光時のフラッシュ到達量（［数３］式参照）
ΔＥｖ＝本発光時の発光量／プリ発光時の発光量
ΔＥｖ_max＝最大発光量／プリ発光時の発光量
次に、ステップＳ６４で算出した本発光時の本発光量（最大発光量）が主被写体に与える輝度値の割合を示す予測到達量を、次式により算出する（ステップＳ６６）。

［数６］
予測到達量＝ＰＥｖ’×ΔＥｖ_max
但し、ＰＥｖ’＝ＰＥｖ／予測輝度値（ＰＥｖ：プリ発光時のフラッシュ到達量）
ステップ６８では、フラッシュ装置５２の発光量をステップ１２で算出した発光量の代わりに最大発光量にクリップする。

ステップ２０は、予測到達量に基づいてＷＢゲインを算出するが、本発光の発光量が最大発光量以下の場合には、ステップＳ１６で算出した予測到達量を使用し、本発光の発光量が最大発光量を越える場合には、ステップＳ６６で算出した予測到達量を使用する。

これにより、本発光の発光量が最大発光量を越え、本発光時の輝度値が目標輝度値に届かない場合でも正確に予測到達量を算出し、その予測到達量に基づいてＷＢゲインを算出するようにしたため、適正なホワイトバランス補正を行うことができる。

尚、第５の実施の形態では、［数５］式により予測輝度値を算出するようにしたが、本発光画像から輝度値を算出し、この輝度値（実測輝度値）を予測輝度値の代わりに使用するようにしてもよい。

図１は本発明に係る撮像装置（デジタルカメラ）の内部構成の実施の形態を示すブロック図である。 図２は図１に示したデジタル信号処理部の第１の実施の形態を示すブロック図である。 図３は本発明に係る撮像装置の第１の実施の形態を示すフローチャートである。 図４は撮像素子による調光の概念図である。 図５はＷＢゲインの算出方法を説明するために用いたグラフである。 図６はＲ／Ｇ、Ｂ／Ｇ色空間上での黒体軌跡を示すグラフである。 図７は本発明に係る撮像装置の第２の実施の形態を示すフローチャートである。 図８はプリ発光が主被写体（顔）に与える影響（輝度値）の算出方法を説明するために用いた図である。 図９は図１に示したデジタル信号処理部の第２の実施の形態を示すブロック図である。 図１０は本発明に係る撮像装置の第３の実施の形態を示すフローチャートである。 図１１は図１に示したデジタル信号処理部の第３の実施の形態を示すブロック図である。 図１２は本発明に係る撮像装置の第４の実施の形態を示すフローチャートである。 図１３は図１に示したデジタル信号処理部の第４の実施の形態を示すブロック図である。 図１４は本発明に係る撮像装置の第５の実施の形態を示すフローチャートである。

符号の説明

１０…撮像装置（デジタルカメラ）、１２…撮影光学系、１４…ＣＣＤ、２４、２４−１、２４−２、２４−３…デジタル信号処理部、２４Ｂ…ゲイン補正回路、２４Ｉ、２４Ｉ’…ＷＢゲイン算出回路、２４Ｊ…輝度値算出回路、２４Ｋ、２４Ｋ’…フラッシュゲイン重み算出回路、２４Ｌ…光源種検出回路、２５…調光部、２５Ａ…発光量算出回路、２５Ｂ…フラッシュ到達量算出回路、２５Ｃ…予測到達量算出回路、２５Ｄ…顔エリア抽出回路、４２…中央処理装置（ＣＰＵ）、４９…顔検出部、５２…フラッシュ装置

Claims (12)

1. フラッシュ撮影に先立ってフラッシュ発光手段から所定の発光量のプリ発光を行わせ、該プリ発光時に撮像したプリ発光画像を取り込むステップと、
   フラッシュ撮影に先立って非発光時に撮像した非発光画像を取り込むステップと、
   前記プリ発光画像と非発光画像とを比較してプリ発光時の発光量が主被写体に与える輝度値を算出するステップと、
   前記算出したプリ発光時の発光量が主被写体に与える輝度値に基づいて目標輝度値に対してプリ発光時の発光量が主被写体に与える輝度値の割合を示すフラッシュ到達量を算出するステップと、
   前記取り込んだプリ発光画像と非発光画像とに基づいて前記主被写体を目標輝度値で撮影するために必要な本発光時の発光量を算出するステップと、
   フラッシュ撮影時に前記フラッシュ発光手段から前記算出された発光量の本発光を行わせ、本発光画像を取り込むステップと、
   前記算出されたプリ発光時のフラッシュ到達量、及び前記算出された本発光時の発光量と前記プリ発光時の発光量との比に基づいて目標輝度値に対して前記本発時の発光量が主被写体に与える輝度値の割合を示す予測到達量を算出するステップと、
   前記算出された予測到達量に基づいてフラッシュ撮影時に取得した本発光画像のホワイトバランス補正を行うステップと、
   を含むことを特徴とするホワイトバランス補正方法。
2. 前記ホワイトバランス補正を行うステップは、
   フラッシュ撮影時に取得した本発光画像又は被写体の環境光に基づいてＲ、Ｇ、Ｂの各色ごとに決定した第１のホワイトバランスゲインと、予めフラッシュの光源色に対応してＲ、Ｇ、Ｂの各色ごとに設定された第２のホワイトバランスゲインとを前記算出された予測到達量に応じて重み付け加算してなるホワイトバランスゲインを算出するステップと、
   前記算出されたホワイトバランスゲインに基づいて前記フラッシュ撮影時に取得した本発光画像を示すＲ、Ｇ、Ｂ信号のゲイン補正を行うステップと、
   を有することを特徴とするホワイトバランス補正方法。
3. 前記非発光画像又はプリ発光画像から顔を検出するステップを有し、
   前記プリ発光時の発光量が主被写体に与える輝度値を求めるステップは、前記非発光画像又はプリ発光画像から顔が検出されると、前記検出された顔を含む顔エリア内の非発光画像とプリ発光画像とを比較して前記輝度値を求めることを特徴とする請求項１に記載のホワイトバランス補正方法。
4. フラッシュ撮影時に取得した本発光画像の輝度値を検出するステップを有し、
   前記ホワイトバランスゲインを算出するステップは、前記検出された本発光画像の輝度値が目標輝度値よりも大きい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも大きくして前記ホワイトバランスゲインを算出し、前記検出された本発光画像の輝度値が目標輝度値よりも小さい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも小さくして前記ホワイトバランスゲインを算出することを特徴とする請求項２に記載のホワイトバランス補正方法。
5. フラッシュ撮影時に取得した本発光画像の輝度値を検出するステップと、
   被写体の環境光の光源種を検出するステップと、を有し、
   前記ホワイトバランスゲインを算出するステップは、前記検出された光源種が蛍光灯であり、かつ前記検出された本発光画像の輝度値が目標輝度値よりも大きい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも小さくして前記ホワイトバランスゲインを算出し、前記検出された本発光画像の輝度値が目標輝度値よりも小さい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも大きくして前記ホワイトバランスゲインを算出することを特徴とする請求項２に記載のホワイトバランス補正方法。
6. 前記本発光画像を取り込むステップは、前記算出された発光量が前記フラッシュ発光手段の最大発光量を超える場合には、フラッシュ撮影時に前記最大発光量となるようにフラッシュの発光量を制限して本発光画像を取り込み、
   前記予測到達量を算出するステップは、前記算出された本発光時の発光量が、前記フラッシュ発光手段の最大発光量を超える場合には、前記目標輝度値の代わりに、前記算出された本発光時の発光量が前記最大発光量を超える発光超過量から予測される予測輝度値、又は前記本発光画像から算出した実測輝度値を使用して、前記予測輝度値又は前記実測輝度値に対して前記最大発光量が主被写体に与える輝度値の割合を示す予測到達量を算出することを特徴とする請求項１に記載のホワイトバランス補正方法。
7. フラッシュ発光手段と、
   非発光時、プリ発光時、及び本発光時にそれぞれ被写体を撮像する撮像手段と、
   フラッシュ撮影に先立って前記フラッシュ発光手段から所定の発光量のプリ発光を行わせ、該プリ発光時に撮像したプリ発光画像を取り込むとともに、非発光時に撮像した非発光画像を取り込む画像取込手段と、
   前記取り込まれたプリ発光画像と非発光画像とを比較してプリ発光時の発光量が主被写体に与える輝度値を算出する輝度値算出手段と、
   前記算出したプリ発光時の発光量が主被写体に与える輝度値に基づいて目標輝度値に対してプリ発光時の発光量が主被写体に与える輝度値の割合を示すフラッシュ到達量を算出するフラッシュ到達量算出手段と、
   前記取り込んだプリ発光画像と非発光画像とに基づいて前記主被写体を目標輝度値で撮影するために必要な本発光時の発光量を算出する発光量算出手段と、
   フラッシュ撮影時に前記算出された本発光時の発光量となるように前記フラッシュ手段の発光量を調整するフラッシュ調光手段と、
   前記算出されたプリ発光時のフラッシュ到達量、及び前記算出された本発光時の発光量と前記プリ発光時の発光量との比に基づいて目標輝度値に対して前記本発時の発光量が主被写体に与える輝度値の割合を示す予測到達量を算出する予測到達量算出手段と、
   前記算出された予測到達量に基づいてフラッシュ撮影時に取得した本発光画像のホワイトバランス補正を行うホワイトバランス補正手段と、
   を備えたことを特徴とする撮像装置。
8. 前記ホワイトバランス補正手段は、フラッシュ撮影時に取得した本発光画像又は被写体の環境光に基づいてＲ、Ｇ、Ｂの各色ごとに決定した第１のホワイトバランスゲインと、予めフラッシュの光源色に対応してＲ、Ｇ、Ｂの各色ごとに設定された第２のホワイトバランスゲインとを前記算出された予測到達量に応じて重み付け加算してなるホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
   前記ホワイトバランスゲイン算出手段によって算出された前記ホワイトバランスゲインに基づいて前記フラッシュ撮影時に取得した本発光画像を示すＲ、Ｇ、Ｂ信号のゲイン補正を行うゲイン補正手段と、
   を有することを特徴とする請求項７に記載の撮像装置。
9. 前記非発光画像又はプリ発光画像から顔を検出する顔検出手段を有し、
   前記輝度値算出手段は、前記顔検出手段によって顔が検出されると、前記検出された顔を含む顔エリア内のプリ発光画像と非発光画像とを比較して前記プリ発光時の発光量が主被写体に与える輝度値を算出することを特徴とする請求項７に記載の撮像装置。
10. フラッシュ撮影時に取得した本発光画像の輝度値を検出する輝度値検出手段を備え、
    前記ホワイトバランスゲイン算出手段は、前記検出された本発光画像の輝度値が目標輝度値よりも大きい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも大きくして前記ホワイトバランスゲインを算出し、前記検出された本発光画像の輝度値が目標輝度値よりも小さい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも小さくして前記ホワイトバランスゲインを算出することを特徴とする請求項８に記載の撮像装置。
11. フラッシュ撮影時に取得した本発光画像の輝度値を検出する輝度値検出手段と、
    被写体の環境光の光源種を検出する光源種検出手段と、を備え、
    前記ホワイトバランスゲイン算出手段は、前記検出された光源種が蛍光灯であり、かつ前記検出された本発光画像の輝度値が目標輝度値よりも大きい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも小さくして前記ホワイトバランスゲインを算出し、前記検出された本発光画像の輝度値が目標輝度値よりも小さい場合には、前記第２のホワイトバランスゲインの重みを前記算出された予測到達量に応じて決定される重みよりも大きくして前記ホワイトバランスゲインを算出することを特徴とする請求項８に記載の撮像装置。
12. 前記フラッシュ調光手段は、前記発光量算出手段によって算出された発光量が、前記フラッシュ発光手段の最大発光量を超える場合には、本発光時に前記最大発光量となるようにフラッシュの発光量を調整し、
    前記予測到達量算出手段は、前記発光量算出手段によって算出された発光量が、前記フラッシュ発光手段の最大発光量を超える場合には、前記目標輝度値の代わりに、前記算出された本発光時の発光量が前記最大発光量を超える発光超過量から予測される予測輝度値、又は前記本発光画像から算出した実測輝度値を使用して、前記予測輝度値又は前記実測輝度値に対して前記最大発光量が主被写体に与える輝度値の割合を示す予測到達量を算出することを特徴とする請求項７に記載の撮像装置。

Images