JP4217698B2

JP4217698B2 - 撮像装置及び画像処理方法

Info

Publication number: JP4217698B2
Application number: JP2005179645A
Authority: JP
Inventors: 栄一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-06-20
Filing date: 2005-06-20
Publication date: 2009-02-04
Anticipated expiration: 2025-06-20
Also published as: JP2006352795A; EP1737247B1; EP1737247A2; CN1885952A; US8013906B2; KR100861386B1; EP2107814B1; US20110205391A1; KR20060133487A; EP2897361A1; EP2107814A1; EP1737247A3; US8514297B2; US20060284991A1; CN100515095C

Description

デジタルカメラ及びデジタルビデオカメラなどの撮像装置及び、撮像して得られた画像信号を処理する画像処理方法に関し、特に顔検出を行う撮像装置におけるホワイトバランス補正及び画像処理方法に関する。

以下に、デジタルカメラ等に用いられている従来のホワイトバランスゲイン算出回路の動作を説明する。まず図２２に示すように、予め画面を任意の複数のブロック（ｍ個）に分割し、各ブロック（１〜ｍ）毎に、画素値を各色毎に加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、例えば以下の式（１）を用いて色評価値（Cx[i]、Cy[i]）を算出する。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i])/ Y[i] × 1024 …（１）
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号

そして、予め様々な光源下で白色被写体を撮影し、色評価値を算出することで設定された図２３に示すような白検出範囲３０１に、各ブロック毎に算出された色評価値が含まれる場合、そのブロックは白であると判定し、同様にして白と判定されたブロックの画素値を積分する。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたもので、図２３におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧ成分が大きくなり、つまり光源が蛍光灯であることを示している。

そして、積分された画素値（sumR、sumG、sumB）より、以下の式（２）を用いてホワイトバランス係数（WBCo_R、WBCo_G、WBCo_B）を算出する。
WBCo_R = sumY × 1024 / sumR
WBCo_G = sumY × 1024 / sumG …（２）
WBCo_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4

しかしながら、従来のホワイトバランスゲイン算出方法では、図２４のように被写体として人顔が大きく写っている場合、太陽光下で撮影した人肌領域の色評価値（図２３の９−１）と、タングステン光下で撮影した白色被写体の色評価値（図２３の９−２）がほぼ同じ値となるため、人肌をタングステン光下の白と誤判別し、肌色を白く補正してしまう場合があった。
そこで、特許文献１では、顔検出回路にて検出された顔領域を、白検出の対象から外す（図２５を参照）という提案がされている。

特開２００３−１８９３２５号公報

しかしながら、上述した従来のホワイトバランスゲイン算出方法においては、顔検出回路において人顔を誤認識した場合や検出できなかった場合の対策が考慮されていない。そのため顔検出回路において人顔でない領域を人顔と誤検出した場合に、白検出対象領域が少なくなるため、結果として出力される色温度情報の精度が低くなるという欠点があった。また、人顔であるにも関わらず人顔と認識されない場合には、顔領域で白検出を実施してしまうため、結果としてホワイトバランス補正精度が低くなるという欠点があった。

また、図２４のような人顔がアップで撮影された場合、顔領域を白検出対象から除外すると、白検出を実施する被写体領域がほとんどなくなってしまい、結果としてホワイトバランス補正精度が低くなるという欠点があった。

本発明は上記問題点を鑑みてなされたものであり、顔検出の結果に応じて、より安定したホワイトバランス補正を行えるようにすることを目的とする。

上記目的を達成するために、被写体を撮影し、得られた画像信号を処理する本発明の撮像装置は、画像信号から顔領域を検出し、該検出した顔領域の属性情報を取得する顔検出手段と、画像信号の内、白色と判定された画像信号を用いて第１のホワイトバランス補正値を算出する第１の算出手段と、画像信号の内、前記顔検出手段により検出された前記顔領域の画像信号を用いて第２のホワイトバランス補正値を算出する第２の算出手段と、前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とを、前記顔検出手段により取得した前記属性情報に基づいて重み付け合成を行って、第３のホワイトバランス補正値を算出する第３の算出手段と、前記第３のホワイトバランス補正値を用いて、前記画像信号に対してホワイトバランス補正を行うホワイトバランス補正手段とを有し、前記第２の算出手段は、前記顔検出手段により検出された各顔領域毎に、予め設定された複数の固定ホワイトバランス補正値を用いて各顔領域に含まれる画像信号を補正して複数の補正画像信号を算出し、該複数の補正画像信号の内、信号値が所定範囲内にある補正画像信号を算出する時に用いた固定ホワイトバランス補正値を平均して各顔領域のホワイトバランス補正値を算出し、前記顔検出手段により検出された顔領域が１つの場合には、当該ホワイトバランス補正値を第２のホワイトバランス補正値とする。

また、被写体を撮影して得られた画像信号を処理する本発明の画像処理方法は、画像信号から顔領域を検出し、該検出した顔領域の属性情報を取得する顔検出ステップと、画像信号の内、白色と判定された画像信号を用いて第１のホワイトバランス補正値を算出する第１の算出ステップと、画像信号の内、前記顔検出ステップで検出された前記顔領域の画像信号を用いて第２のホワイトバランス補正値を算出する第２の算出ステップと、前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とを、前記顔検出ステップで取得した前記属性情報に基づいて重み付け合成を行って、第３のホワイトバランス補正値を算出する第３の算出ステップと、前記第３のホワイトバランス補正値を用いて、画像信号に対してホワイトバランス補正を行うホワイトバランス補正ステップとを有し、前記第２の算出ステップでは、前記顔検出ステップで検出された各顔領域毎に、予め設定された複数の固定ホワイトバランス補正値を用いて各顔領域に含まれる画像信号を補正して複数の補正画像信号を算出し、該複数の補正画像信号の内、信号値が所定範囲内にある補正画像信号を算出する時に用いた固定ホワイトバランス補正値を平均して各顔領域のホワイトバランス補正値を算出し、前記顔検出ステップで検出された顔領域が１つの場合には、当該ホワイトバランス補正値を第２のホワイトバランス補正値とする。

別の構成によれば、被写体を撮影し、得られた画像信号を処理する本発明の撮像装置は、画像信号から顔領域を検出し、該検出した顔領域の属性情報を取得する顔検出手段と、画像信号の内、白色と判定された画像信号を用いて第１のホワイトバランス補正値を算出する第１の算出手段と、画像信号の内、前記顔検出手段により検出された前記顔領域の画像信号を用いて第２のホワイトバランス補正値を算出する第２の算出手段と、前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とを、前記顔検出手段により取得した前記属性情報に基づいて重み付け合成を行って、第３のホワイトバランス補正値を算出する第３の算出手段と、前記第３のホワイトバランス補正値を用いて、画像信号に対してホワイトバランス補正を行うホワイトバランス補正手段とを有し、前記第２の算出手段は、前記顔検出手段により検出された各顔領域毎に、各顔領域に含まれる画像信号から色評価値を算出し、該算出した色評価値を対応する白色の色評価値に変換し、当該変換した色評価値からホワイトバランス補正値を算出し、前記顔検出手段により検出された顔領域が１つの場合には、当該ホワイトバランス補正値を前記第２のホワイトバランス補正値とする。

また、被写体を撮影して得られた画像信号を処理する本発明の画像処理方法は、画像信号から顔領域を検出し、該検出した顔領域の属性情報を取得する顔検出ステップと、画像信号の内、白色と判定された画像信号を用いて第１のホワイトバランス補正値を算出する第１の算出ステップと、画像信号の内、前記顔検出ステップで検出された前記顔領域の画像信号を用いて第２のホワイトバランス補正値を算出する第２の算出ステップと、前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とを、前記顔検出ステップで取得した前記属性情報に基づいて重み付け合成を行って、第３のホワイトバランス補正値を算出する第３の算出ステップと、前記第３のホワイトバランス補正値を用いて、画像信号に対してホワイトバランス補正を行うホワイトバランス補正ステップとを有し、前記第２の算出ステップでは、前記顔検出ステップで検出された各顔領域毎に、各顔領域に含まれる画像信号から色評価値を算出し、該算出した色評価値を対応する白色の色評価値に変換し、当該変換した色評価値からホワイトバランス補正値を算出し、前記顔検出ステップで検出された顔領域が１つの場合には、当該ホワイトバランス補正値を前記第２のホワイトバランス補正値とする。

本発明によれば、顔検出の結果に応じて、より安定したホワイトバランス補正を行うことができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態における、顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。

図１において、１０１はＣＣＤやＣＭＯＳ等から成る固体撮像素子であり、その表面は、例えばベイヤー配列のＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。１０２はＯＢ（Optical Black）回路１０２で、撮像素子１０１に設けられた遮光部から得られる暗電流分の信号を、撮像素子１０１の露光領域から得られる画像信号から差し引く黒引き処理を行う。ＯＢ回路１０２により黒引き処理された画像信号は、メモリ１０３に一旦記憶される。

１１５はメモリ１０３に記憶された画像信号を用いて人顔の検出を行う顔検出部である。顔検出部１１５は、公知の方法で図２（ａ）に示すように人顔（Face1、Face2）を検出すると、図２（ｂ）に示すように、顔部分の領域及び中心を表す座標値、左右の目の座標値、及び信頼度（顔以外のものを顔であると誤検出していないことの信頼性を示す度合）等から成る顔情報をメモリに記憶する。なお、ここで使用するメモリとしては、メモリ１０３を用いても、その他の内部メモリを用いてもよい。

ここで、信頼度を求める方法について説明する。

まず、顔部分を、画像信号から抽出する。具体的には、例えば以下のような方法で抽出する。まず、顔部分の抽出は、画面に、水平及び垂直方向のバンドパスフィルタをかけ、エッジを検出する。その後、エッジを2値化し、テキスチャー検出をする。検出されたテキスチャーを、顔部分のパーツである、顔の輪郭や目、鼻、口などのパターン認識回路にかけ、顔パーツ候補を絞り込む。

次に、上記で抽出された顔パ−ツ候補を非顔フィルタで、パーツを絞り込む。具体的には、例えば、検出された顔パーツを、複数の非顔フィルタを通し、点数をつけ、予め設定した点数以上のパーツを顔パーツとする。

例えば、1）検出された目の候補のパーツは、1組あるか否か、2）一組の目のパーツにおいて、目の大きさと、目の距離に不自然さはないか、3）目と目の中心から下に、鼻や口のパーツがあるか、4）目のまわりの色が肌色であるか、のようなフィルタがあり、各フィルタ毎に予め設定した閾値で点数をつける。そして、上記顔パーツである点数以上のものを顔として出力する。

ここで、上記点数を信頼度に反映させ、例えば点数が何点以上ならば信頼度を１、点数が何点以上ならば、0.5のようにする（信頼度最大1〜信頼度最低０）。

また、顔検出部１１５は、検出した顔部分に対応する画像信号（つまり、顔部分の座標値により定義される領域内にある画像信号）をＣＰＵ１１６に送る。なお、人顔を検出できなかった場合には、検出できなかったことを示す情報をメモリに記録すると共に、メモリ１０３に記憶されている画像信号をそのままＣＰＵ１１６に送る。

ＣＰＵ１１６では、顔検出部１１５から送られた画像信号に基づいて、人顔が検出されていれば、人顔が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算し、また人顔に合焦するようにフォーカスレンズ駆動量を計算する。一方、人顔が検出されていなければ、ＣＰＵ１１６は画像全体が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算すると共に、予め設定された合焦領域内にある被写体に合焦するようなフォーカスレンズ駆動量を計算する。ＣＰＵ１１６で計算された露出値（Ｔｖ、Ａｖ）及びフォーカスレンズ駆動量はシャッター・絞り・フォーカスレンズ制御回路１１４に送られ、各値に基づいて不図示のレンズや絞り、シャッター、撮像素子１０１がそれぞれ制御される。

１０４はホワイトバランス（ＷＢ）制御部であり、メモリ１０３に記憶された画像信号及び顔検出部１１５から得られる顔情報に基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０３に記憶された画像信号に対してＷＢ補正を行う。なお、このＷＢ制御部１０４の詳細構成及びＷＢ補正値の算出方法については、詳細に後述する。

１０５は、ＷＢ制御部１０４によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色変換ＭＴＸ回路、１０６は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路、１０７はＬＰＦ回路１０６で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するＣＳＵＰ（Chroma Supress）回路である。

一方、ＷＢ制御部１０４によりＷＢ補正された画像信号は輝度信号（Ｙ）生成回路１１２にも出力されて輝度信号Ｙが生成され、生成された輝度信号Ｙに対してエッジ強調回路１１３にてエッジ強調処理が施される。

ＣＳＵＰ回路１０７から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１３から出力される輝度信号Ｙは、ＲＧＢ変換回路１０８にてＲＧＢ信号に変換され、ガンマ補正回路１０９にて階調補正が施される。その後、色輝度変換回路１１０にてＹＵＶ信号に変換され、更に圧縮回路１１１にて圧縮されて、コンパクトフラッシュ（登録商標）等の外部記録媒体または内部記録媒体に画像信号として記録される。

次に、上記構成を有する撮像装置における撮像処理について、図３〜図６を参照して説明する。なお、この処理は、不図示のモードダイヤルなどにより撮像モードに設定されている場合に行われる。

まず、ステップＳ１１において、不図示のシャッタースイッチの状態をチェックし、ユーザによりシャッタースイッチが半押し（ＳＷ１がＯＮ）されると、ステップＳ１２に進み、測距・測光・測色処理を行う。この測距・測光・測色処理の詳細は図４を用いて後述する。測距・測光・測色処理（ステップＳ１２）を終えると、ステップＳ１３に進む。

不図示のシャッタースイッチが全押し（ＳＷ２がＯＮ）されずに（ステップＳ１３でＯＦＦ）、さらにシャッタースイッチの半押し（ＳＷ１がＯＮ）も解除されたならば（ステップＳ１４でＯＦＦ）、ステップＳ１１に戻り、上記処理を繰り返す。シャッタースイッチが全押し（ＳＷ２がＯＮ）されずに（ステップＳ１３でＯＦＦ）、シャッタースイッチが半押し（ＳＷ１がＯＮ）のままである場合には（ステップＳ１４でＯＮ）、ステップＳ１３に戻る。シャッタースイッチ全押し（ＳＷ２がＯＮ）されると（ステップＳ１３でＯＮ）、ステップＳ１５に進む。

ステップＳ１５では、撮影処理を実行する。このステップＳ１５で行われる撮影処理の詳細は、図５を参照して詳細に後述する。ステップＳ１５の撮影処理終了後、ステップＳ１６に進み記録処理を実行する。このステップＳ１６における記録処理の詳細は図６を用いて後述する。

ステップＳ１６の記録処理が終了すると、ステップＳ１７でシャッタースイッチが全押し（ＳＷ２がＯＮ）であるかどうかを調べ、ＯＮであれば、ステップＳ１８に進んで連写モードが設定されているかどうかを確認する。連写モードが設定されていなければステップＳ１７に戻ってシャッタースイッチの全押し（ＳＷ２がＯＮ）が解除されるのを待ってステップＳ１９に進み、設定されていれば、ステップＳ１５に戻って、次の撮影を行う。一方、シャッタースイッチの全押し（ＳＷ２がＯＮ）が解除されていれば（ステップＳ１７でＯＦＦ）、ステップＳ１９でシャッタースイッチの半押し（ＳＷ１がＯＮ）が解除されるのを待って、解除されるとステップＳ１１に戻る。

図４は、図３のステップＳ１２で行われる測距・測光・測色処理の詳細なフローチャートを示す。

まずステップＳ２１において、撮像素子１０１から電荷信号を読み出し、ＯＢ回路１０２で黒引き処理を行って得た画像信号を、メモリ１０３に逐次書き込む。そしてＣＰＵ１１６はメモリ１０３に書き込まれた画像信号から露出が適切であるかどうかを判断し（ステップＳ２２）、適切でないと判断した場合にはＣＰＵ１１６は上述したようにしてシャッタースピードＴｖ及び絞り値Ａｖを算出してステップＳ２１に戻り、シャッター・絞り・フォーカスレンズ制御回路１１４はこれら各値に基づいて不図示の絞り、シャッター、撮像素子１０１をそれぞれ制御し、再度電荷信号の読み出しを行う。なお、上述したように、顔検出部１１５により人顔の検出がされている場合には、ＣＰＵ１１６は撮影した全画素の画像信号の内、検出した人顔の領域内にある画像信号を演算に用いるので、人顔に適した露出制御を行うことができる。

ステップＳ２２で露出が適切であると判断すると、算出したシャッタースピードＴｖ及び絞り値ＡｖをＣＰＵ１１６の内部メモリに記憶する。

次に、ホワイトバランスが適正と判断されるまで（ステップＳ２６でＮＯの間）、ＷＢ制御部１０４を用いてＡＷＢ制御（ステップＳ２７）を行う。このＡＷＢ制御については、図７及び図８〜図１０を参照して詳しく後述する。

ホワイトバランスが適正と判断したならば（ステップＳ２６でＹＥＳ）、ＷＢ補正値（ホワイトバランスゲイン）をＷＢ制御部１０４の後述する第１のＷＢ補正値保持部２０５に記憶して、ステップＳ２８に進む。

ステップＳ２８では、ＣＰＵ１１６は測距処理により合焦していると判断されるまで（ステップＳ２８でＮＯの間）、不図示のフォーカスレンズを制御するＡＦ制御を行う（ステップＳ２９）。このＡＦ制御では、フォーカスレンズ駆動量を算出し、シャッター・絞り・フォーカスレンズ制御回路１１４において算出したフォーカスレンズ駆動量に基づいて、不図示のフォーカスレンズを制御する。なお、上述したように、顔検出部１１５により人顔の検出がされている場合には、ＣＰＵ１１６は撮影した全画素の画像信号の内、検出した顔の座標値内にある画像信号を演算に用いるので、人顔に焦点を合わせることが可能となる。

測距処理により合焦していると判断したならば（ステップＳ２８でＹＥＳ）、測定データをＣＰＵ１１６の内部メモリに記憶し、測距・測光・測色処理ルーチンＳ１２を終了する。

なお、上記処理例では、露出制御、ＷＢ制御、合焦制御の順に処理を行う場合について説明したが、本発明はこれに限られるものではなく、異なる処理順としたり、処理を平行して行うことも勿論可能である。

図５は、図３のステップＳ１５における撮影処理の詳細なフローチャートを示す。

不図示のシャッターボタンが全押しされると（ＳＷ２がＯＮ）、図４で説明したようにして得たシャッタースピードＴｖ及び絞り値Ａｖに従い、シャッター・絞り・フォーカスレンズ制御回路１１４を制御して、絞り機能を有する不図示のシャッターを絞り値に応じて開放して（ステップＳ３１）、撮像素子１０１の露光を開始する（ステップＳ３２）。

シャッター・絞り・フォーカスレンズ制御回路１１４は、シャッタースピードＴｖに従って撮像素子１０１の露光終了を待ち（ステップＳ３３）、露光時間が終了すると、ステップＳ３４に進んでシャッターを閉じて、撮像素子１０１から電荷信号を読み出し、ＯＢ回路１０２により黒引き処理を行った画像信号をメモリ１０３に画像信号を書き込む（ステップＳ３５）。

ステップＳ３６において、ＷＢ制御部１０４から色輝度変換回路１１０の各回路により、ＷＢ補正を含む上述した色処理を順次行った後、撮影処理ルーチン（ステップＳ１５）を終了する。

図６は、図３のステップＳ１６における記録処理の詳細なフローチャートを示す。

ステップＳ４１において、色処理が施された画像データに対して圧縮回路１１１で圧縮処理を行った後、メモリカードやコンパクトフラッシュ（登録商標）カード等の不図示の外部記録媒体や内部記録媒体へ圧縮した画像データの書き込みを行う（ステップＳ４２）。記録媒体への書き込みが終わったならば、記録処理ルーチン（ステップＳ１６）を終了する。

次に、図４の測距・測光・測色処理のステップＳ２７で行われる本第１の実施形態におけるＡＷＢ制御について、図７及び図８〜図１０を参照して詳しく説明する。

図７はＷＢ制御部１０４の詳細機能構成を示すブロック図、図８〜図１０はＷＢ制御部１０４で行われるＷＢ補正値の算出方法を説明するフローチャートである。

本第１の実施形態におけるＷＢ制御部１０４は、顔検出部１１５により検出された顔情報を用いずに従来手法を用いて第１のＷＢ補正値を算出する第１ＷＢ補正値算出部２０２と、顔検出部１１５により検出された顔領域の肌色を最適な色再現にする第２のＷＢ補正値を算出する第２ＷＢ補正値算出部２０３と、第１のＷＢ補正値と第２のＷＢ補正値とを、顔情報から算出した加重加算係数を用いて加重加算することで第３のＷＢ補正値を算出する第３ＷＢ補正値算出部２０４とを有することを特徴とする。また、不図示のシャッタースイッチの半押し（ＳＷ１がＯＮ）の場合に端子１に接続し、それ以外の場合に端子０に接続するスイッチ２０１と、第３ＷＢ補正値算出部２０４により算出された第３のＷＢ補正値を記憶する第１ＷＢ補正値保持部２０５と、予め設定されたＷＢ補正値を保持する第２ＷＢ補正値保持部２０６と、不図示のシャッタースイッチが半押し（ＳＷ１がＯＮ）または全押し（ＳＷ２がＯＮ）の場合に端子１に接続し、それ以外の場合に端子０に接続するスイッチ２０７と、第１または第２ＷＢ補正値保持部２０５または２０６に記憶されたＷＢ補正値を用いて、メモリ１０３に記憶された画像信号のＷＢ補正を行うＷＢ補正部２０８とを有する。この構成では、シャッタースイッチの操作がされていない場合には（ＳＷ１もＳＷ２もＯＦＦ）スイッチ２０１、２０７は共に端子０に接続し、メモリ１０３に記憶された画像信号はＷＢ補正部２０８に入力し、ＷＢ補正部２０８は第２ＷＢ補正値保持部２０６に記憶された所定のＷＢ補正値によりＷＢ補正を行う。なお、図７では第１及び第２ＷＢ補正値保持部２０５、２０６はＷＢ制御部１０４内部にあるものとして記載したが、ＷＢ制御部１０４の外部にあり、ＷＢ制御部１０４から書き込み及び読み出し可能なメモリを用いてもよいことは言うまでもない。

図４の測距・測光・測色処理におけるステップＳ２７では、シャッタースイッチが半押し（ＳＷ１がＯＮ）の状態であるので、スイッチ２０１、２０７共には端子１側に接続し、第１のＷＢ補正値、第２のＷＢ補正値、第３のＷＢ補正値の算出処理が行われる。以下、第１のＷＢ補正値、第２のＷＢ補正値、第３のＷＢ補正値の算出方法の詳細な説明を行う。

まず最初に、第１ＷＢ補正値算出部２０２で行われる第１のＷＢ補正値の算出方法について図８を参照して説明する。まず、メモリ１０３に記憶された画像信号を読み出し、その画面を図２２のような任意のm個のブロックに分割する（ステップＳ１０１）。そして、各ブロック（１〜ｍ）毎に、画素値を各色毎に加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、式（１）を用いて色評価値（Cx[i]、Cy[i]）を算出する（ステップＳ１０２）。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i]/ Y[i] × 1024 …（１）
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号

次に、ステップＳ１０２で算出したｉ番目のブロックの色評価値（Cx[i]、Cy[i]）が、図２３に示す予め設定した白検出範囲３０１に含まれるかどうかを判断する（ステップＳ１０３）。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。図２３におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧ成分が大きくなり、つまり光源が蛍光灯であることを示している。

算出した色評価値（Cx[i]、Cy[i]）がこの白検出範囲３０１に含まれる場合には（ステップＳ１０３でＹＥＳ）そのブロックが白色であると判断して、そのブロックの色平均値（R[i]、G[i]、B[i]）を積算していき（ステップＳ１０４）、含まれない場合には加算せずにステップＳ１０５に進む。このステップＳ１０３及びステップＳ１０４の処理は、式（３）により表すことができる。

ここで、式（３）において、色評価値（Cx[i]、Cy[i]）が白検出範囲３０１に含まれる場合はSw[i]を１に、含まれない場合にはSw[i]を０とすることにより、ステップＳ１０３の判断により色平均値（R[i]、G[i]、B[i]）加算を行うか、行わないかの処理を実質的に行っている。
ステップＳ１０５では、全てのブロックについて上記処理を行ったかどうかを判断し、未処理のブロックがあればステップＳ１０２に戻って上記処理を繰り返し、全てのブロックの処理が終了していればステップＳ１０６に進む。

ステップＳ１０６では、得られた色評価値の積分値（sumR、sumG、sumB）から、以下の式（４）を用いて、第１のＷＢ補正値（WBCo1_R、WBCo1_Ｇ、WBCo1_Ｂ）を算出する。
WBCo1_R = sumY × 1024 / sumR
WBCo1_G = sumY × 1024 / sumG …（４）
WBCo1_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4

次に、第２ＷＢ補正値算出部２０３で行われる第２のＷＢ補正値の算出方法について図９を参照して説明する。本第１の実施形態における第２のＷＢ補正値算出方法は、予め複数個設定されたＷＢ補正値群の中から、検出された顔領域の色相（色再現）が最適になるＷＢ補正値を選択することを特徴としている。また、説明を判りやすくするために、まず、顔が一つだけ検出された場合について説明を行う。

まず、顔検出部１１５により検出された顔領域内の画素値をＲＧＢの各色毎に加算平均して、人顔領域の色平均値（aveFaceR、aveFaceG、aveFaceB）を算出する（ステップＳ１１１）。

次に、式（５）により予め各色温度毎に用意した後述するｎ個のＷＢ補正値（ＷＢCo_R[j]、ＷＢCo_G[j]、ＷＢCo_B[j]、ｊ＝１〜ｎ）とステップＳ１１１で算出された人顔領域の色平均値をそれぞれ掛け合わせ、各色毎に各ＷＢ補正値で補正した人顔領域の補正色平均値（R[j]、G[j]、B[j]）を算出する（ステップＳ１１２）。
R[j] = aveFaceR × ＷＢCo_R[j]
G[j] = aveFaceG × ＷＢCo_G[j] …（５）
B[j] = aveFaceB × ＷＢCo_B[j]

ここで、ｎ個のＷＢ補正値について説明する。

図１１の３０１は、図２３に示すものと同じ白検出範囲である。この白検出範囲３０１内の各色評価値はＷＢ補正値に１：１に対応しており、色評価値が求まればＷＢ補正値は以下のような計算式で算出できる。

上記式（１）において、Y[m]=1024とすると、
Cx[m] = R[m] - B[m]
Cy[m] = R[m] + B[m] -2G[m] …（６）
1024 = R[m] +2G[m] + B[m]

となり、式（６）の連立方程式を解くと、ＲＧＢの画素値はそれぞれ
R[m] = 2Cx[m] + Cy[m] + 1024 / 4
G[m] = 1024 - Cy[m] / 2 …（７）
B[m] = -2Cx[m] + Cy[m] + 1024 / 4
となり、これよりＷＢ補正値が算出できる。本第１の実施形態における第２のＷＢ補正値の算出方法では、図１１の○点のように、予め任意の色温度幅（Ｃｘ）、任意の蛍光灯度幅（Ｃｙ）毎に、色評価値と、その色評価値から算出されるＷＢ補正値をｎ個分、色評価値に対応させて記憶しておき（WBCo_R[j]、WBCo_G[j]、WBCo_B[j]、ｊ＝１〜ｎ）、その中から以下のプロセスで最適なＷＢ補正値を選択し、第２のＷＢ補正値を算出する。
次に、上述したようにして算出された補正色平均値から、式（８）により顔領域色差値（R-Y[j]、B-Y[j]）を算出する（ステップＳ１１３）。
R-Y[j] = R[j] - Y[j]
B-Y[j] = B[j] - Y[j] …（８）
ただし、Y[j] = 0.3×R[j] + 0.59×G[j] + 0.11×B[j]、ｊ＝１〜ｎ

次に、式（８）により算出した顔領域色差値（R-Y[j]、B-Y[j]）から、式（９）により色相角値（Hue[j]）を算出する（ステップＳ１１４）。

そして、算出した色相角値が、図１２に示す予め設定した好ましい肌色色相範囲内に入るかどうかを判断し（ステップＳ１１５）、入る場合にはその色相角値を算出する時に用いたＷＢ補正値（WBCo_R[j]、WBCo_G[j]、WBCo_B[j]）を積算していく（ステップＳ１１６）。そして、予め用意したｎ個分のＷＢ補正値（WBCo_R[j]、WBCo_G[j]、WBCo_B[j]）に対し、ステップＳ１１２からＳ１１６を実施する（ステップＳ１１７）。

ｎ個全てＷＢ補正値に対して処理を終えると、算出されたＷＢ補正値の和の平均をとり、第２のＷＢ補正値を算出する（ステップＳ１１８）。即ち、ステップＳ１１２〜ステップＳ１１８を総括すると、第２のＷＢ補正値は、以下の式（１０）により与えられることになる。

式（１０）において、ステップＳ１１４で算出されたｎ個の色相角値のうち、図１２に示す肌色色相領域に含まれる場合はSw[i]を１に、含まれない場合はSw[i]を０とすることにより、ステップＳ１１５の判断によりＷＢ補正値の加算を行うか、行わないかの処理を実質的に行っている。また、Numは、ｎ個の色相角値のうち、Sw[i]が１であるものの個数を表している。
次に、第３ＷＢ補正値算出部２０４で行われる第３のＷＢ補正値の算出方法について図１０を参照して説明する。

本第１の実施形態における第３のＷＢ補正値の算出方法は、顔検出部１１５により検出された顔の信頼度（図２（ｂ）を参照）に応じて、第１のＷＢ補正値と第２のＷＢ補正値を選択もしくは加重加算し、第３のＷＢ補正値として出力するものである。顔検出部１１５により検出される信頼度は１〜０までの値を取り、１が顔検出の信頼度が100％であることを示し、値が小さくなるにつれて信頼度が下がる。

まず、ステップＳ１２１において、第１及び第２ＷＢ補正値算出部２０２及び２０３で算出された第１及び第２のＷＢ補正値を入力する。次に、顔検出部１１５から出力される顔情報の中から、信頼度（ｒ）を抽出し（ステップＳ１２２）、抽出した信頼度（ｒ）を用いて、以下の式（１１）により第３の補正値（WBCo3_R、WBCo3_G、WBCo3_B）を算出する（ステップＳ１２３）。
WBCo3_R = (1-r) × WBco1_R + r× WBco2_R
WBCo3_G = (1-r) × WBco1_G +r× WBco2_G …（１１）
WBCo3_B = (1-r) × WBco1_B +r× WBco2_B

このように、本第１の実施形態では、顔検出部１１５において顔検出を行ったときの信頼度が高い時（ｒ＝１）には、第２のＷＢ補正値を100%使用し、信頼度が低い時（ｒ＝０）には第１のＷＢ補正値を100%使用し、その中間は信頼度によって第１のＷＢ補正値と第２のＷＢ補正値とを加重加算することを特徴としている。顔検出部１１５では、人の顔に近いテキスチャーを顔として誤検出する場合があるが、式（１１）を用いて第３のＷＢ補正値を算出することで、誤って検出された非顔領域を用いて算出された第２のＷＢ補正値を使用してしまう不具合を回避することができる。

また、顔の領域が画像の大部分を占めている場合であっても、第２のＷＢ補正値を用いて第３のＷＢ補正値を算出することが可能になる。

上述したようにして算出された第３のＷＢ補正値は、第１ＷＢ補正値保持部２０５に記憶される。そして、不図示のシャッタースイッチが全押しされて（ＳＷ２がＯＮ）、撮影処理が行われた場合に、図５のステップＳ３６における色処理において、ＷＢ補正部２０８は、スイッチ２０１の端子０を介してメモリ１０３から読み込まれた画像信号に対して、スイッチ２０７の端子１を介して入力する第３のＷＢ補正値を用いてＷＢ補正を行う。

上記説明では、第２のＷＢ補正値を算出する際に検出された顔が１つである場合について説明したが、検出された顔が複数ある場合の第２のＷＢ補正値の算出方法について、図１３のフローチャートを参照して説明する。ここでは、図２に示すように顔が２つ検出されているものとする。

まず、ステップＳ１３１において、顔検出部１１５から得られる顔情報に基づいて、検出された顔領域の数（Face1、Face2）を取得する。

そして、各顔領域について、図９のステップＳ１１１〜Ｓ１１８を参照して上述した処理を行い、各顔領域の第２のＷＢ補正値を算出する（ステップＳ１３２）。ステップＳ１３３で全ての顔領域について処理が終了するまで、ステップＳ１３２を繰り返す。

ここでは、図２に示すように顔領域の数は２であるので、Face1の第２のＷＢ補正値（WBCo2_R_Face[1]、WBCo2_G_Face[1]、WBCo2_B_Face[1]）と、Face2の第２のＷＢ補正値（WBCo2_R_Face[2]、WBCo2_G_Face[2]、WBCo2_B_Face[2]）の２組が算出される。

次に、顔情報に含まれる信頼度の値（r[1]=F1(rel)、r[2]=F2(rel)）から、式（１２）を用いて加重加算係数MixRatio[i]を算出する（ステップＳ１３４）。
MixRatio[1] = r[1] / (r[1] + r[2])
MixRatio[2] = r[2] / (r[1] + r[2]) …（１２）

これは、検出された顔のうち、顔である信頼性の高い領域から算出したＷＢ補正値が多く使われるように考慮したものである。次に、ステップＳ１３４で算出した加重加算係数MixRatio[i]により、ステップＳ１３２で算出した２組の第２のＷＢ補正値を式（１３）により加重加算する（ステップＳ１３５）。
WBCo2_R = (MixRatio[1] × WBCo2_R_Face[1] + MixRatio [2]×WBCo2_R_Face[2])
WBCo2_G = (MixRatio [1] × WBCo2_G_Face[1] + MixRatio [2]×WBCo2_G_Face[2])
WBCo2_B = (MixRatio [1] × WBCo2_B_Face[1] + MixRatio [2]×WBCo2_B_Face[2])
…（１３）
このようにして加重加算したものを、第２のＷＢ補正値とする。

なお、第３のＷＢ補正値は、上述した図１０の手順により算出することが可能であるが、複数の顔領域が検出された場合にはステップＳ１２２において抽出した信頼度の平均値を算出し、ステップＳ１２３で用いる。例えば、２つの顔領域が検出され、各顔領域の信頼度がr[1]=F1(rel)、r[2]=F2(rel)の場合、第３のＷＢ補正値の算出時に用いる信頼度r = (r[1] + r[2])/2とする。

なお、上述した図１３のステップＳ１３４で行われる加重加算係数MixRatio[i]の算出には、顔情報のうち顔である確からしさを数値化した信頼度値r[i]を用いたが、以下に記述する手法を用いても良い。

例１）
顔領域の面積によって算出される０から１までの値を使用する。これは顔が大きく写っている被写体に優先的にＷＢ補正値を最適化するものである。顔検出部１１５により検出された顔情報を用いて式（１４）により各顔領域の面積S[i]を算出し、図１４に示すような、入力として顔の面積S[i]（iは顔領域のインデックス番号）、出力として加重加算係数k[i]を出力するグラフを用いて得られた値をr[i]として、式（１２）を用いてMixRatio[i]を算出する。例えば、図２に示すように顔が２つ算出された場合、面積S[i]は、
S[1] = (x1[1] - x0[1]) × (y1[1] - y0[1])
S[2] = (x1[2] - x0[2]) × (y1[2] - y0[2]) …（１４）

例２）
顔の座標値によって算出される０から１までの値を使用する。これは画面中央に写っている被写体に優先的にＷＢを最適化するものである。顔検出部１１５により検出された顔情報の中心座標（x_Center[i]、y_Center[i]、[i]は顔領域のインデックス番号）と、撮影画面の中心座標値（CenterX、CenterY）、画面中心から対角方向の画面隅までの距離より、式（１５）を用いて各顔領域の像高（FaceDis[i]）を算出し、図１５に示すような、入力として像高、出力として加重加算係数k[i]を出力するグラフを用いて得られた値をr[i]として、式（１２）を用いてMixRatio[i]を算出する。

なお、上記ステップＳ１３４で説明した方法、及び上記例１、例２で説明した方法の任意の組み合わせによって求まる値を使用することも可能である。例えば顔検出の信頼度より算出した加重加算係数と、顔の面積から算出した加重加算係数を乗算することで新たな加重加算係数を算出することができる。これは、顔である確からしさが高い顔に、更に面積による重みをかけた係数となる。

また、第３のＷＢ補正値を算出する際に用いる信頼度（r）として、複数の顔領域が検出された場合には各顔領域の信頼度（r[i]）の平均値を用いることを上述したが、他の方法を用いて信頼度（r）を算出してもよい。例えば、カメラに予め登録した人物の人顔を最適な色再現にするモードを備えた場合、予め登録した人物のみに対して最適なＷＢ補正値を算出するもので、
r = 特定の人物の信頼度（1〜0）

とする。これにより、予め登録された人物に最適なＷＢ補正値を得ることができる。
また、デジタルカメラが肌色優先モードを備え、肌色優先モードが選択された場合、第２のＷＢ補正値を第３のＷＢ補正値として出力することで、人顔が最適な肌色になるようにしてもよい。

上記では、顔検出部１１５により検出された顔の信頼度に応じて、第１のＷＢ補正値と第２のＷＢ補正値との重み付け合成を行っているが、以下のような構成であっても良い。

撮影者によって、第２のＷＢ補正値を用いる割合を設定することができる操作部材を撮像装置に設ける。操作部材は、例えば、０.１刻みで０〜１の間で設定することができるようになっている。例えば、０が設定された際は、第1のＷＢ補正値のみを用いるようにＣＰＵ１１６が制御する。また、例えば、０.４が設定された際は、第1のＷＢ補正値を６割、第２のＷＢ補正値を４割用いて第３のＷＢ補正値を算出するようにＣＰＵ１１６が制御する。また、1が設定された際は、第２のＷＢ補正値のみを用いるようにＣＰＵ１１６が制御する。

また、上記では、第１のＷＢ補正値と第２のＷＢ補正値とを重み付け合成を行う際の割合を変更できるようになっているが、第３のＷＢ補正値を算出する際に、第１のＷＢ補正値と第２のＷＢ補正値とを常に半分ずつ用いるようにしても良い。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

本第２の実施形態においては、第２のＷＢ補正値の算出方法が第１の実施形態のものとは異なる。その他の構成及び処理は第１の実施形態と同様であるのでここでは説明を省略し、本第２の実施形態における第２のＷＢ補正値の算出方法について、図１６を参照して説明する。

本第２の実施形態における第２のＷＢ補正値の算出方法では、顔検出部１１５により検出された顔領域より色評価値（本第２の実施形態では「肌色評価値」と呼ぶ。）を算出し、予め設定された肌色評価値−白色評価値直線に基づき白色の色評価値（本第２の実施形態では「白評価値」と呼ぶ。）を算出し、白評価値より第２のＷＢ係数を算出する。

まず、顔検出部１１５により検出された顔領域内の画素値をＲＧＢの各色毎に加算平均して、人顔領域の色平均値（aveFaceR[i]、aveFaceG[i]、aveFaceB[i]）を算出する（ステップＳ２１１）。なお、iは検出された顔領域のインデックス番号である。

ステップＳ２１１で算出した色平均値より、式（１６）により各顔領域毎に肌色評価値（CxSkin[i]、CySkin[i]）を算出する（ステップＳ２１２）。
CxSkin[i] = (aveFaceR[i] - aveFaceB[i]) / Y[i] × 1024
CySkin[i] = (aveFaceR[i] + aveFaceB[i]) - 2aveFaceG[i]/ Y[i] × 1024
ただし、Y[i] = aveFaceR[i]] + 2aveFaceG[i] + aveFaceB[i]、[i]は各顔領域のインデックス番号
…（１６）

次に、図１７のような予め設定した肌色評価値（CxSkin, CySkin)−白評価値(CxWhite, CyWhite)対応直線を用い、各顔領域毎に白評価値（Cx[i]、Cy[i]）に変換する（ステップＳ２１３）。各顔領域毎に算出された白評価値より、式（７）を用いて各色値（R[i]、G[i]、B[i]）を算出し、算出した各色値を用いて式（１７）により、まず各領域毎に第２のＷＢ補正値を算出する（ステップＳ２１４）。
WBco2_R[i] = Y[i] × 1024 / R[i]
WBco2_G[i] = Y[i] × 1024 / G[i] …（１７）
WBco2_B[i] = Y[i] × 1024 / B[i]
ただし、Y[i] = (R[i] + 2 ×G[i] + B[i]) / 4

顔検出部１１５により検出された顔領域の数が１である場合には、式（１７）により第２のＷＢ補正値が決定するが、２つ以上ある場合には上記第１の実施形態で説明したように、式（１２）を用いて各顔領域の信頼度の加重加算係数MixRatio[i]を算出し、加重加算係数MixRatio[i]を用いて、式（１３）により算出した第２のＷＢ補正値を加重加算し、得られた値を第２のＷＢ補正値とする。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

本第３の実施形態では、ＷＢ補正値の算出方法が第１及び第２の実施形態と異なり、第１の実施形態で説明した図４のステップＳ２７において、上記第１の実施形態で説明した第１〜第３ＷＢ補正値の算出処理の代わりに実行される。なお、撮像装置の構成は図１に示すものと同様であり、また、図３〜図６を参照して説明した撮像処理も同様であるため、ここでは説明を省略する。

図１８は、本第３の実施形態におけるＷＢ制御部１０４の機能構成を示すブロック図である。図１８において、４０１は重み付け決定部、４０２はＷＢ補正値算出部、４０３はＷＢ補正部である。

以下、図４のステップＳ２７で図１８に示す構成を有するＷＢ制御部１０４により行われる、本第３の実施形態におけるＷＢ補正値の算出方法について図１９を参照して説明する。

まず、メモリ１０３に記憶された画像信号を読み出し、その画面を例えば図２２のような任意のｍ個のブロックに分割する（ステップＳ３１１）。そして、ｍ個の各ブロック毎に、ブロック内の画素値を各色毎に加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、上述した式（１）を用いて色評価値（Cx[i]、Cy[i]）を算出する（ステップＳ３１２）。

次に、ステップＳ３１２で算出した色評価値（Cx[i]、Cy[i]）が図２３に示す予め設定した白検出範囲３０１に含まれるか否かを判断する（ステップＳ３１３）。含まれない場合には、ステップＳ３１２に戻って次のブロックの処理を行い、含まれる場合にはステップＳ３１４に進んで、顔検出部１１５が検出した顔領域に含まれるかどうかを判断する。

顔領域に含まれない場合には、そのブロックの色平均値を積分し（ステップＳ３１５）、含まれる場合には、顔情報から算出された重み値（FaceWeight[i]）を色平均値にかけてから、積分する（ステップＳ３１６）。なお、ステップＳ３１３〜Ｓ３１６の処理は、以下の式（１８）により実現される。

但し、ｒは顔領域iにおける信頼度値、Sw[i]は、色評価値が白検出範囲に含まれる場合は１、含まれない場合は０である。
ここで、顔情報を用いて重みFaceWeightを算出する方法について説明する。本第３の実施形態におけるＷＢ補正値の算出では、白色と判断されたブロックの内、顔と検出された領域を画素積分対象から除外する事が目的であるため、信頼度ｒを用いてFaceWeightを算出する。例えば、信頼度が１００％の顔領域では重みを０にして積分対象には加えず、信頼度が０％の顔領域は重みを１にして積分対象にする。ここでは、以下の式（１９）によりFaceWeightを算出する。
FaceWeight[i] = -r[i] + 1

ただし、ｒは顔領域ｉにおける信頼度である。
上記処理を全ブロックについて終了したかどうかを判断し（ステップＳ３１７）、全ブロック終了すると、積分した色平均値（SumR、SumG、SumB）を用いて以下の式（２０）によりＷＢ補正値を算出する（ステップＳ３１８）。
WBCo_R = sumY × 1024 /sumR
WBCo_G = sumY × 1024 /sumG …（２０）
WBCo_B = sumY × 1024 /sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4

上記のようにＷＢ補正値を算出することで、白と判断されたブロックが顔領域に含まれる場合には、顔情報の信頼度により重みをつけて色平均値を積分することができるため、顔領域の検出精度に応じたＷＢ補正値を算出することが可能になる。

＜変形例１＞
上記第１乃至第３の実施形態では、図３の不図示のシャッタースイッチの半押し（ＳＷ１がＯＮ）されたときにステップＳ１２で行われる測距・測光・測色処理で顔検出及びＷＢ補正値の算出を行ったが、変形例１では、このタイミングで算出を行わず、シャッタースイッチの全押し（ＳＷ２がＯＮ）によりステップＳ１５の撮影処理を行うときに、撮影して得られた画像信号を用いて、図５のステップＳ３６で画像信号を色処理するタイミングで、顔検出及び第１〜第３のＷＢ補正値の算出及びＷＢ補正を共に行う。

＜変形例２＞
図３の不図示のシャッタースイッチの半押し（ＳＷ１がＯＮ）されたときに顔検出及び第２のＷＢ補正値の算出のみを行い、シャッタースイッチの全押し（ＳＷ２がＯＮ）に応じてステップＳ１５の撮影処理を行うときに、撮影して得られた画像信号を用いて、図５のステップＳ３６の画像信号を色処理するタイミングで、第１及び第３のＷＢ補正値の算出及びＷＢ補正を行う。

＜変形例３＞
次に、変形例３について説明する。

変形例３では、シーン変化に応じて顔検出及びＷＢ補正値の算出のタイミングを変更する。以下、図２０及び図２１を参照して説明する。

図２０は変形例３における撮像装置の撮像処理を示すフローチャートである。まずステップＳ４１において、撮像素子１０１から電荷信号を読み出し、ＯＢ回路１０２で黒引き処理を行って得た画像信号を、メモリ１０３に逐次書き込む。次にステップＳ４２において、メモリ１０３に書き込まれた画像信号を用いて、第１〜第３の実施形態で上述したいずれかの方法を用いて、顔検出及びＷＢ補正値の算出を行う。なお、第１及び第２の実施形態の方法では、ここで言うＷＢ補正値は、第１〜第３のＷＢ補正値のことである。

次に、ステップＳ４３において、メモリ１０３に書き込まれた画像信号を用いて、不図示の表示装置に公知のスルー表示処理を行う。ステップＳ４４では不図示のシャッタースイッチの半押し（ＳＷ１がＯＮ）が行われたかどうかを判断し、行われていなければステップＳ４１に進み、行われていればステップＳ４５に進んで、変形例３に係る測距・測光・測色処理を行う。これ以降の処理は上記第１の実施形態で図３を参照して説明したステップＳ１３以降の処理と同様であるため、ここでは説明を省略する。

次に、ステップＳ４５で行われる測距・測光・測色処理について図２１を参照して説明するが、図４と同じ処理には同じ参照番号を付して説明を省略する。変形例３における測距・測光・測色処理では、ホワイトバランスの状態を確認する前に、ステップＳ２１で読み込んだ画像と、図２０でシャッタースイッチの半押し（ＳＷ１がＯＮ）の前にスルー表示のために読み込んだ画像とを比較し、シーン変化があったかどうかを判断する（ステップＳ５１）。この判断は、例えば、ステップＳ２１で読み込んだ画像とスルー画像との差分の和を算出し、それが所定値を超えた場合にシーン変化があったと判断する。

判断の結果、シーン変化があった場合にはステップＳ２６に進んでホワイトバランスの状態及びＷＢ補正値の算出を再び行い、シーン変化が無い場合には、図２０のステップＳ４２で算出したＷＢ補正値を用いるようにして、ステップＳ２６及びＳ２７の処理をスキップする。

このようにすることで、シーンに変化が無い場合には測距・測光・測色処理にかかる時間を短縮することができるので、レリーズタイムラグを短くすることが可能になる。

＜変形例４＞
スルー表示中に顔検出及び第２のＷＢ補正値を算出しておき、シャッタースイッチの半押し（ＳＷ１がＯＮ）後の測距・測光・測色処理で第１及び第３のＷＢ補正値を算出する。

＜変形例５＞
スルー表示中に顔検出しておき、シャッタースイッチの半押し（ＳＷ１がＯＮ）後の測距・測光・測色処理でＷＢ補正値を算出する。

＜変形例６＞
スルー表示中に顔検出しておき、シャッタースイッチの半押し（ＳＷ１がＯＮ）後の測距・測光・測色処理で第２のＷＢ補正値を算出し、更に、シャッタースイッチの全押し（ＳＷ２がＯＮ）後の色処理で第１及び第３のＷＢ補正値を算出する。

＜変形例７＞
シャッタースイッチの半押し（ＳＷ１がＯＮ）後の測距・測光・測色処理で顔検出を行い、シャッタースイッチの全押し（ＳＷ２がＯＮ）後の色処理でＷＢ補正値を算出する。

このように、顔検出及びＷＢ補正値の算出のタイミングは、適宜変更することが可能である。

＜他の実施形態＞
なお、本発明は、撮影した画像信号そのままの信号（ＲＡＷ画像データ）またはＲＡＷ画像データを可逆圧縮してされた画像データを入力し、処理する画像処理装置においても実行することが可能である。

その場合、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の第１の実施形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。本発明の第１の実施形態における顔情報を説明するための図である。本発明の第１の実施形態における撮像処理を説明するためのフローチャートである。本発明の第１の実施形態における測距・測光・測色処理を説明するためのフローチャートである。本発明の第１の実施形態における撮影処理を説明するためのフローチャートである。本発明の第１の実施形態における記録処理を説明するためのフローチャートである。本発明の第１の実施形態におけるＷＢ制御部の詳細機能構成を示すブロック図である。本発明の第１の実施形態における第１のＷＢ補正値の算出処理を示すフローチャートである。本発明の第１の実施形態における第２のＷＢ補正値の算出処理を示すフローチャートである。本発明の第１の実施形態における第３のＷＢ補正値の算出処理を示すフローチャートである。本発明の第１の実施形態における白検出範囲及び予め用意したＷＢ補正値に対応する色評価値の例を示した図である。本発明の第１の実施形態における肌色色相範囲を示した図である。本発明の第１の実施形態における複数の顔領域が検出された場合の第２のＷＢ補正値の算出処理を示すフローチャートである。本発明の第１の実施形態における加重加算係数を算出するための特性を示す図である。本発明の第１の実施形態における加重加算係数を算出するための特性を示す図である。本発明の第２の実施形態における第２のＷＢ補正値の算出処理を示すフローチャートである。本発明の第２の実施形態における肌色評価値−白評価値対応直線を示した図である。本発明の第３の実施形態におけるＷＢ制御部の機能構成を示すブロック図である。本発明の第３の実施形態におけるＷＢ補正値の算出処理を示すフローチャートである。本発明の変形例３における撮像処理を説明するためのフローチャートである。本発明の変形例３における測距・測光・測色処理を説明するためのフローチャートである。画面を任意の複数ブロックに分割した例を示す図である。白検出範囲を示す図である。被写体として顔のアップを撮影した例を示す図である。従来の顔領域を白検出の対象から外す例を説明する図である。

符号の説明

１０１ＣＣＤ撮像素子
１０２ＯＢ回路
１０３メモリ
１０４ＷＢ回路
１０５色変換ＭＴＸ回路
１０６ＬＰＦ回路
１０７ＣＳＵＰ回路
１０８ＲＧＢ変換回路
１０９ガンマ補正回路
１１０色輝度変換回路
１１１圧縮回路
１１２Ｙ生成回路
１１３エッジ強調回路
１１４シャッター・絞り・フォーカスレンズ制御回路
１１５顔検出部
１１６ＣＰＵ
２０１、２０７スイッチ
２０２第１ＷＢ補正値算出部
２０３第２ＷＢ補正値算出部
２０４第３ＷＢ補正値算出部
２０５第１ＷＢ補正値保持部
２０６第２ＷＢ補正値保持部
２０８ＷＢ補正部
４０１重み付け決定部
４０２ＷＢ補正値算出部
４０３ＷＢ補正部

Claims

被写体を撮影し、得られた画像信号を処理する撮像装置であって、
画像信号から顔領域を検出し、該検出した顔領域の属性情報を取得する顔検出手段と、
画像信号の内、白色と判定された画像信号を用いて第１のホワイトバランス補正値を算出する第１の算出手段と、
画像信号の内、前記顔検出手段により検出された前記顔領域の画像信号を用いて第２のホワイトバランス補正値を算出する第２の算出手段と、
前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とを、前記顔検出手段により取得した前記属性情報に基づいて重み付け合成を行って、第３のホワイトバランス補正値を算出する第３の算出手段と、
前記第３のホワイトバランス補正値を用いて、画像信号に対してホワイトバランス補正を行うホワイトバランス補正手段とを有し、
前記第２の算出手段は、前記顔検出手段により検出された各顔領域毎に、予め設定された複数の固定ホワイトバランス補正値を用いて各顔領域に含まれる画像信号を補正して複数の補正画像信号を算出し、該複数の補正画像信号の内、信号値が所定範囲内にある補正画像信号を算出する時に用いた固定ホワイトバランス補正値を平均して各顔領域のホワイトバランス補正値を算出し、前記顔検出手段により検出された顔領域が１つの場合には、当該ホワイトバランス補正値を第２のホワイトバランス補正値とすることを特徴とする撮像装置。
前記顔検出手段は、前記属性情報として、検出した各顔領域毎に信頼度、領域の大きさ、及び領域の中心位置のいずれかを少なくとも取得し、
前記顔検出手段が複数の顔領域を検出した場合に、前記第２の算出手段は、各顔領域の信頼度、中心位置、及び大きさの少なくともいずれか１つに応じて、各顔領域毎に算出したホワイトバランス補正値を加重平均して前記第２のホワイトバランス補正値を算出することを特徴とする請求項１に記載の撮像装置。
前記第２の算出手段は、前記信頼度がより高い顔領域、前記重心の位置が画像の中心により近い位置にある顔領域、領域の大きさがより大きい顔領域に対して、より大きい重み付け値を設定して、加重平均することを特徴とする請求項２に記載の撮像装置。
予め特定の被写体を登録し、記憶する登録手段を更に有し、
前記登録された被写体の色再現を優先するモードが設定され、前記顔検出手段が複数の顔領域を検出した場合に、前記第２の算出手段は、前記登録された被写体の顔領域に対してより大きい重み付け値を設定して、加重平均することを特徴とする請求項２に記載の撮像装置。
前記顔検出手段は、前記属性情報として、検出した各顔領域毎の信頼度を少なくとも取得し、
前記第３の算出手段は、前記顔検出手段が複数の顔領域を検出した場合に、前記複数の顔領域それぞれの信頼度の平均に基づいて重み付け合成を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記第３の算出手段は、前記信頼度または信頼度の平均がより高い場合に、前記第２のホワイトバランス補正値の重み付けをより大きくすることを特徴とする請求項５に記載の撮像装置。
被写体を撮影し、得られた画像信号を処理する撮像装置であって、
画像信号から顔領域を検出し、該検出した顔領域の属性情報を取得する顔検出手段と、
画像信号の内、白色と判定された画像信号を用いて第１のホワイトバランス補正値を算出する第１の算出手段と、
画像信号の内、前記顔検出手段により検出された前記顔領域の画像信号を用いて第２のホワイトバランス補正値を算出する第２の算出手段と、
前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とを、前記顔検出手段により取得した前記属性情報に基づいて重み付け合成を行って、第３のホワイトバランス補正値を算出する第３の算出手段と、
前記第３のホワイトバランス補正値を用いて、画像信号に対してホワイトバランス補正を行うホワイトバランス補正手段とを有し、
前記第２の算出手段は、前記顔検出手段により検出された各顔領域毎に、各顔領域に含まれる画像信号から色評価値を算出し、該算出した色評価値を対応する白色の色評価値に変換し、当該変換した色評価値からホワイトバランス補正値を算出し、前記顔検出手段により検出された顔領域が１つの場合には、当該ホワイトバランス補正値を前記第２のホワイトバランス補正値とすることを特徴とする撮像装置。
前記顔検出手段は、前記属性情報として、検出した各顔領域毎に信頼度、領域の大きさ、及び領域の中心位置のいずれかを少なくとも取得し、
前記顔検出手段が複数の顔領域を検出した場合に、前記第２の算出手段は、各顔領域の信頼度、中心位置、及び大きさの少なくともいずれか１つに応じて、各顔領域毎に算出したホワイトバランス補正値を加重平均して前記第２のホワイトバランス補正値を算出することを特徴とする請求項７に記載の撮像装置。
前記第２の算出手段は、前記信頼度がより高い顔領域、前記重心の位置が画像の中心により近い位置にある顔領域、領域の大きさがより大きい顔領域に対して、より大きい重み付け値を設定して、加重平均することを特徴とする請求項８に記載の撮像装置。
予め特定の被写体を登録し、記憶する登録手段を更に有し、
前記登録された被写体の色再現を優先するモードが設定され、前記顔検出手段が複数の顔領域を検出した場合に、前記第２の算出手段は、前記登録された被写体の顔領域に対してより大きい重み付け値を設定して、加重平均することを特徴とする請求項８に記載の撮像装置。
前記顔検出手段は、前記属性情報として、検出した各顔領域毎の信頼度を少なくとも取得し、
前記第３の算出手段は、前記顔検出手段が複数の顔領域を検出した場合に、前記複数の顔領域それぞれの信頼度の平均に基づいて重み付け合成を行うことを特徴とする請求項７乃至１０のいずれか１項に記載の撮像装置。
前記第３の算出手段は、前記信頼度または信頼度の平均がより高い場合に、前記第２のホワイトバランス補正値の重み付けをより大きくすることを特徴とする請求項１１に記載の撮像装置。
被写体を撮影して得られた画像信号を処理する画像処理方法であって、
画像信号から顔領域を検出し、該検出した顔領域の属性情報を取得する顔検出ステップと、
画像信号の内、白色と判定された画像信号を用いて第１のホワイトバランス補正値を算出する第１の算出ステップと、
画像信号の内、前記顔検出ステップで検出された前記顔領域の画像信号を用いて第２のホワイトバランス補正値を算出する第２の算出ステップと、
前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とを、前記顔検出ステップで取得した前記属性情報に基づいて重み付け合成を行って、第３のホワイトバランス補正値を算出する第３の算出ステップと、
前記第３のホワイトバランス補正値を用いて、画像信号に対してホワイトバランス補正を行うホワイトバランス補正ステップとを有し、
前記第２の算出ステップでは、前記顔検出ステップで検出された各顔領域毎に、予め設定された複数の固定ホワイトバランス補正値を用いて各顔領域に含まれる画像信号を補正して複数の補正画像信号を算出し、該複数の補正画像信号の内、信号値が所定範囲内にある補正画像信号を算出する時に用いた固定ホワイトバランス補正値を平均して各顔領域のホワイトバランス補正値を算出し、前記顔検出ステップで検出された顔領域が１つの場合には、当該ホワイトバランス補正値を第２のホワイトバランス補正値とすることを特徴とする画像処理方法。
被写体を撮影して得られた画像信号を処理する画像処理方法であって、
画像信号から顔領域を検出し、該検出した顔領域の属性情報を取得する顔検出ステップと、
画像信号の内、白色と判定された画像信号を用いて第１のホワイトバランス補正値を算出する第１の算出ステップと、
画像信号の内、前記顔検出ステップで検出された前記顔領域の画像信号を用いて第２のホワイトバランス補正値を算出する第２の算出ステップと、
前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とを、前記顔検出ステップで取得した前記属性情報に基づいて重み付け合成を行って、第３のホワイトバランス補正値を算出する第３の算出ステップと、
前記第３のホワイトバランス補正値を用いて、画像信号に対してホワイトバランス補正を行うホワイトバランス補正ステップとを有し、
前記第２の算出ステップでは、前記顔検出ステップで検出された各顔領域毎に、各顔領域に含まれる画像信号から色評価値を算出し、該算出した色評価値を対応する白色の色評価値に変換し、当該変換した色評価値からホワイトバランス補正値を算出し、前記顔検出ステップで検出された顔領域が１つの場合には、当該ホワイトバランス補正値を前記第２のホワイトバランス補正値とすることを特徴とすることを特徴とする画像処理方法。
情報処理装置に請求項１３または１４に記載の画像処理方法の各ステップを実行させるためのプログラム。
請求項１５に記載のプログラムを格納したことを特徴とする情報処理装置が読み取り可能な記憶媒体。