JP4782649B2 - デジタルカメラおよびその制御方法 - Google Patents

Description

本発明は、被写体に含まれる顔の情報を利用してフラッシュの発光量を制御する機能を備えたデジタルカメラと、その発光量の制御方法に関する。

デジタルカメラは、通常、シャッタレリーズボタンが押される以前から画像の撮影を行っており、その段階で撮影された画像は、露出調整や焦点調節のほか、フラッシュの適正発光量を求める調光にも利用されている。フラッシュの発光量の求め方としては、撮影された画像全体の明るさに基づいて適正発光量を求める方法が一般的であったが、近年、撮影された画像から人物の顔を検出し、顔の有無や顔が占める割合によってフラッシュの発光量を異ならせる方法が提案されている。

例えば特許文献１には、人物の顔が検出され、画像中の顔が占める割合が所定値以上のときに、発光量を弱めにする方法が示されている。また、特許文献２には、顔に相当する領域のデータのみを利用して発光量を求める形態や、顔に相当する領域の重み付けを他の領域よりも高く設定した画像データを利用して発光量を求める方法が示されている。
特開２００３−１０７５６７号公報 特開２００６−０７４１６４号公報

しかし、特許文献１、２は、撮影範囲に含まれる顔が１つの場合の発光量の制御方法を例示しているに過ぎず、複数の顔が検出された場合の発光量の制御方法については具体的な記載がない。例えば、顔と判定された複数の領域の面積の合計が所定の割合を超えているときに発光量を弱めるなど、複数の領域をまとめて１つの領域として取り扱うことは可能であるが、そのような方法では、各顔からの反射光量がそれほど強くなくても顔の合計面積が所定割合を超えれば発光量が弱めに設定されてしまうなどの不都合がある。また、中央に最も近い位置にある顔など、複数の顔の中からいずれか１つの顔を選択し、その顔に対し特許文献１や２の方法を適用する方法も考えられるが、そのような方法でも、中央の顔が小さく両脇の顔が大きかった場合、あるいは中央の人物が色黒で両脇の人物が色白だった場合に、両脇の顔が白とびしてしまうなどの不都合がある。このように、顔が１つしかない場合と同じ方法を、顔が複数ある場合に単純に適用しただけでは、すべての顔について白とびを防ぐことはできない。

本発明は、この問題に鑑みて、検出された顔の数によらず、常に適正な発光量でフラッシュ撮影を行うことができるデジタルカメラを提供することを課題とする。

本発明のデジタルカメラは、被写体を表す画像データを生成する撮像手段と、フラッシュを発光する発光手段と、前記撮像手段により生成された画像データを対象として顔検出処理を実行する顔検出手段とを備えたデジタルカメラであり、顔検出手段が出力する検出結果を利用してフラッシュの発光量を制御するための演算手段および発光量決定手段を備えることを特徴とするものである。

演算手段は、顔領域抽出手段が検出したＮ（Ｎは整数）個の顔について、それぞれ、その顔のみを前記画像データに含まれる顔とみなして顔を考慮した演算を行うことにより前記発光量の仮適正値Ｃｆｉ（１≦ｉ≦Ｎ）を求める。ここで、顔を考慮した演算とは、調光のための演算に顔の検出結果を何らの形で利用する処理を意味する。例えば、演算手段は、画像データのうちｉ番目に検出された顔に相当する領域内のデータのみを利用して仮適正値Ｃｆｉを求める。あるいは、ｉ番目に検出された顔に相当する領域内のデータに対し他の領域のデータよりも高い重み付けを与えた上で、画像データ全体を利用して発光量を求める。これにより、検出された顔と同数の、すなわちＮ個の仮適正値Ｃｆ１〜ＣｆＮが求められる。

発光量決定手段は、演算手段から供給されるＮ個の仮適正値Ｃｆ１〜ＣｆＮを基準値とする調整を行うことにより、フラッシュの適正発光量Ｃｈを決定する。仮適正値Ｃｆ１〜ＣｆＮを基準値とする調整を行うとは、その基準値から推定して不都合がないと思われる範囲内の値に、発光量を設定するということである。各顔にとって不都合がない発光量の範囲は、その顔について求められた仮適正値から推定することができる。よって、いずれの基準値からみても不都合がない範囲の値に、発光量を設定すれば、すべての顔について白とびを防止することができる。

本発明の一実施形態では、演算手段から供給される仮適正値Ｃｆｉ（１≦ｉ≦Ｎ）の中から値が最小の仮適正値Ｃｆｍｉｎを選択し、その最小の仮適正値Ｃｆｍｉｎを基準値として調整を行うことにより適正発光量Ｃｈを決定する。求められた仮適正値が最小の値となる顔は、検出された複数の顔の中で最も白とびしやすい顔であるので、仮適正値Ｃｆｍｉｎを大きく外れないようにフラッシュ発光量を決定すれば、確実に白とびを防止することができる。

本発明の方法は、上記構成のデジタルカメラによりフラッシュの発光量を制御する方法であって、顔検出手段が検出したＮ（Ｎは整数）個の顔について、それぞれ、その顔のみを前記画像データに含まれる顔とみなして顔を考慮した演算を行うことにより発光量の仮適正値Ｃｆｉ（１≦ｉ≦Ｎ）を求める演算ステップと、その演算ステップにおいて求められたＮ個の仮適正値Ｃｆ１〜ＣｆＮを基準値とする調整を行うことにより、フラッシュの適正発光量Ｃｈを決定する発光量決定ステップとを有することを特徴とするものである。

以下、本発明の実施形態として、フラッシュ撮影機能を備えた一眼レフのデジタルカメラと、そのデジタルカメラのフラッシュの発光量の制御方法を示す。

［ 実施形態１ ］
図１Ａ、図１Ｂおよび図１Ｃは、本発明の一実施形態におけるデジタルカメラ１の外観を示す図である。図１Ａに示すように、このデジタルカメラ１の上部には、シャッタレリーズボタン２、撮影モードの設定に利用されるモードダイヤル３、内蔵フラッシュ４および付属品の取付口であるホットシュー５が備えられている。

シャッタレリーズボタン２は、２段階の押下により２種類の動作を指示できる構造となっている。例えば、自動露出調整機能（ＡＥ：Auto Exposure）、自動焦点調節機能（ＡＦ：Auto Focus）を利用した撮影では、デジタルカメラ１は、シャッタレリーズボタン２が軽く押下（半押しともいう）されたときに、露出調整、焦点合わせなどの撮影準備を行う。その状態で、シャッタレリーズボタン２が強く押下（全押しともいう）されると、デジタルカメラ１は露光を開始し、露光により得られた１画面分の画像データをメモリカードに記録する。

内蔵フラッシュ４は、脇にあるフラッシュポップアップボタン６を押すことにより、図１Ｂに示すようにカメラ上部方向に開く（以下、ポップアップと称する）。また、一部の撮影モードでは、自動的にポップアップすることもある。ポップアップ状態の内蔵フラッシュ４は、シャッタレリーズボタン２の２段階目の押下操作と連動して２回発光する。１回目の発光は被写体からの反射光量を測定するための予備発光であり、通常の発光に比べれば発光量は微小である。予備発光には反射光量の測定のほか、赤目を予防する目的もある。２回目の発光は十分な露光量を得るための本発光であり、本発光の発光量が適正であれば、適当な明るさの画像を得ることができる。

内蔵フラッシュ４の動作は、シャッタレリーズボタン２の操作のみならず、モードダイヤル３により設定された撮影モードにも依存する。撮影モードとしては、撮影に係る全設定をカメラが自動で行う「ＡＵＴＯ」、撮影に係る全設定をユーザが手動で行う「マニュアル」のほか、「プログラムオート」、「シャッタ優先オート」、「絞り優先オート」、「ブレ軽減」、「ナチュラルフォト」、「人物」、「風景」、「夜景」など、撮影シーンごとのモードが用意されている。「ＡＵＴＯ」モードに設定されたデジタルカメラ１は、フラッシュ撮影が必要と判断すれば、自動的に内蔵フラッシュ４をポップアップし、シャッタレリーズボタン２の操作と連動してフラッシュを発光させる。一方、「ナチュラルフォト」はフラッシュレス撮影を行うモードであるため、このモードに設定されたデジタルカメラ１では、シャッタレリーズボタン２を操作しても内蔵フラッシュ４は動作しない。他のモードについても、それぞれ、そのモードの目的に適う内蔵フラッシュ４の動作が定められている。

なお、このデジタルカメラ１は、図１Ｃに示すようにホットシュー５に外付フラッシュ６を取り付けて使用することもできる。外付フラッシュ７は、ホットシュー５に取付けられることで機械的・電気的にデジタルカメラ１に接続され、これにより、内蔵フラッシュ４と同様、モードダイヤル３によるモード設定に応じて、シャッタレリーズボタン２の２段階目の押下操作と連動した発光動作を行うようになる。以下、図１Ａおよび図１Ｂに例示した形態を中心に説明するが、本発明はフラッシュが内蔵か外付けかによらず適用可能な発明である。

続いて、図２を参照して、デジタルカメラ１の内部構成について、概要を説明する。図２に示すように、デジタルカメラ１は、レンズ１２、レンズ駆動部１６、絞り１３、絞り駆動部１７、ＣＣＤ１４およびタイミングジェネレータ（ＴＧ）１８からなる撮像系を備える。レンズ１２は、被写体にピントを合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズなど複数の機能別レンズにより構成される。レンズ駆動部１６はステッピングモータなど小型のモータで、ＣＣＤ１４から各機能別レンズのまでの距離が目的に適った距離となるように各機能別レンズの位置を調整する。絞り１３は複数の絞り羽根からなる。絞り駆動部１７は、ステッピングモータなど小型のモータで、絞りの開口サイズが目的に適ったサイズになるように絞り羽根の位置を調整する。ＣＣＤ１４は原色カラーフィルタを伴う５００〜１２００万画素のＣＣＤで、タイミングジェネレータ１８からの指示信号に応じて蓄積された電荷を放出する。タイミングジェネレータ１８は、ＣＣＤ１４に所望の時間のみ電荷が蓄積されるようにＣＣＤ１４に対して信号を送り、これによりシャッタ速度を調整する。

また、デジタルカメラ１は、ＣＣＤ１４の出力信号をデジタル信号に変換するＡ／Ｄ変換部１５と、Ａ／Ｄ変換部１５が出力した画像データをシステムバス３４を介して他の処理部に転送する画像入力制御部２３と、画像入力制御部２３から転送された画像データを一時記憶するＳＤＲＡＭ２２を備える。ＳＤＲＡＭ２２に記憶される画像データはＲＡＷデータである。

また、デジタルカメラ１は、フラッシュ１１と、フラッシュ１１の発光タイミングや発光量を制御するフラッシュ制御部１９と、レンズ駆動部１６にレンズの移動を指示して焦点合わせを行う焦点調節部２０と、絞り値とシャッタ速度を決定し、絞り駆動部１７とタイミングジェネレータ１８に指示信号を送出する露出調整部２１と、ＳＤＲＡＭ２２に記憶されている画像データを対象として顔の検出処理を実行し、顔の有無を示す値、さらに顔が有る場合には検出された顔に相当する領域を示す情報（以下、領域情報）を出力する顔領域抽出部（顔検出部）２４を備える。フラッシュ制御部１９、焦点調節部２０および露出調整部２１は、ＳＤＲＡＭ２２に記憶されている画像データのほか、顔領域抽出部２４が実行した検出処理の結果を参照して処理を行うこともある。顔の検出結果を参照して露出調整を行う方法としては、例えば特開２００１−２１５４０４号公報、特開２００３−１０７５５５号公報などに開示されている方法を用いることができる。また、顔の検出結果を参照して焦点調節を行う方法としては、例えば特開２００６−１４５６２９号公報に開示されている方法を用いることができる。フラッシュ制御部１９、焦点調節部２０および露出調整部２１が、顔領域抽出部２４から出力される検出結果を参照するか否かは、撮影モードその他の設定値によって決まる。

デジタルカメラ１は、この他、ＳＤＲＡＭ２２に記憶されている画像データに対して画像処理を施す画像処理部２５を備える。画像処理部２５は、画像を自然な色合い、明るさにするための色階調補正や明るさ補正、また画像データが赤目を含むものであるときに赤目を黒目に修正する処理など、画像の見栄えを良くするための各種仕上げ処理を行った後、処理済画像データを再度ＳＤＲＡＭ２２に格納する。

また、デジタルカメラ１は、ＳＤＲＡＭ２２に記憶されている画像データの液晶モニタ（ＬＣＤ：Liquid Crystal Display）２７への出力を制御する表示制御部２６を備える。表示制御部２６は、ＳＤＲＡＭ２２に記憶されている画像データの画素数を、表示に適した大きさとなるように間引きしてから液晶モニタ２７に出力する。

また、デジタルカメラ１は、ＳＤＲＡＭ２２に記憶されている画像データのメモリカード２９への書込み、およびメモリカード２９に記録されている画像データのＳＤＲＡＭ２２へのロードを制御する記録読出制御部２８を備える。記録読出制御部２８は、ユーザの設定に応じてＲＡＷデータをそのまま、もしくは圧縮符号化によりＪＰＥＧデータに変換してからメモリカード２９に記録する。ＪＰＥＧデータをロードするときは、その逆の変換を行ってからデータをＳＤＲＡＭ２２にロードする。

また、デジタルカメラ１は、ジャイロセンサなどにより構成される手ブレ検出部３５を備える。手ぶれ検出部３５は撮影時の手ブレを検出すると、フラッシュ制御部１９、露出調整部２１、画像処理部２５に検出されたブレ量の情報を供給する。露出調整部２１は、手ブレが検出されたときには手ブレが検出されないときよりもシャッタ速度を短く設定し、取得画像に対する手ブレの影響を軽減する。また、画像処理部２５は、手ブレが検出されたとき、取得後の画像データに対しブレを補正する画像処理を施す。

デジタルカメラ１は、この他、ＣＰＵ（Central Processor Unit）３１、操作／制御プログラムが格納されたＲＡＭ（Random Access Memory）３２、各種設定値が記憶されているＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）３３からなる全体制御部３０を備える。全体制御部３０は、モードダイヤルによる撮影モードの設定をはじめユーザが行う各種設定操作を検出し、設定された内容をＥＥＰＲＯＭ３３に記憶せしめる。そして、その設定操作が行われたとき、もしくは撮影操作が行われたときに、ＥＥＰＲＯＭに記憶された設定値にしたがって、前述したフラッシュ制御部１９、焦点調節部２０、露出調整部２１、画像入力制御部２３、顔領域抽出部２４、画像処理部２５、表示制御部２６、記録読出制御部２９に対し、システムバス３４を介して、実行すべき処理や、その処理の実行タイミングを指示する信号を送出する。

図３に、フラッシュ制御部１９の構成とフラッシュ制御部１９の入出力データを示す。フラッシュ制御部１９は、図に示すように、第１演算手段４１、第２演算手段４２、パラメータ記憶手段４３および発光量決定手段４４を備える。第１演算手段４１、第２演算手段４２および発光量決定手段４４は、後述する演算を実行する演算回路であり、パラメータ記憶手段４３はＥＥＰＲＯＭである。但し、パラメータ記憶手段４３は、必ずしもフラッシュ制御部１９の構成要素でなくてもよい。例えば、全体制御部３０が備えるＥＥＰＲＯＭ３３をパラメータ記憶手段４３として利用してもよい。

第１演算手段４１は、全体制御部３０の制御の下、画像入力制御部２３から、非発光時画像データと予備発光時画像データの供給を受ける。予備発光時画像データは、撮像部が、全体制御部３０の制御の下で、フラッシュ１１による予備発光と同期して撮影した画像データである。非発光時画像データは、その予備発光の直前または直後に、撮像部により撮影された画像データである。第１演算手段は、これら２種類の画像を用いて、後述する演算処理を実行することにより、顔を考慮しない場合のフラッシュ発光量の仮適正値Ｃｎを求め、出力する。

第２演算手段４２は、第１演算手段と同様、全体制御部３０の制御の下、画像入力制御部２３から、非発光時画像データと予備発光時画像データの供給を受ける。第２演算手段４２は、この他、顔領域抽出部２４から、顔に相当する領域を示す領域情報の供給を受ける。顔領域抽出部２４により複数の顔が検出されていた場合には、検出された顔の数と同数の領域情報の供給を受ける。そして、２種類の画像と領域情報とを用いて、顔ごとに、後述する演算処理を実行することにより、顔を考慮した場合のフラッシュ発光量の仮適正値Ｃｆ１〜ＣｆＮを求め、出力する。

パラメータ記憶手段４３が記憶するパラメータαは設定により可変なパラメータであり、顔領域抽出部２４や手ブレ検出部３５によって設定される。あるいは全体制御部３０が、顔領域抽出部２４や手ブレ検出部３５の出力を受けて、パラメータαを設定する。顔領域抽出部２４がパラメータを設定するときは、抽出した領域ごとに１つの値を設定する。手ブレ検出部３５や焦点調節部２０は、顔領域抽出部２４が抽出した領域の数に関係なく、１つの値を設定する。

発光量決定手段４４は、第１演算手段４１から出力された仮適正値Ｃｎと、第２演算手段から出力された仮適正値Ｃｆ１〜ＣｆＮと、パラメータ記憶手段４３から読み出したパラメータαとを利用して本発光の発光量を決定し、その決定に基づいてフラッシュ１１の発光量を制御する。

以下、第１演算手段４１、第２演算手段４２および発光量決定手段４４が行う処理について、さらに説明する。第１演算手段４１と第２演算手段４２は、入力された非発光時画像データおよび予備発光時画像データを、複数の領域ブロックに分割する。図４は、領域ブロックへの分割の一例を示す図であり、画像データ４５（非発光時画像データまたは予備発光時画像データ）を、ｎ×ｍ個の領域ブロックに分割したところを示している。以下の説明では、図に例示している（１，１）、（ｎ，ｍ）といった符号により、位置が異なる領域ブロックを区別するものとする。

図５は、第１演算手段の処理を示すフローチャートである。第１演算手段４１は、非発光時画像データの領域ブロックごとの輝度情報Ｙａ（１，１）〜Ｙａ（ｎ，ｍ）を取得する（Ｓ１０１）。例えば、非発光時画像データをＲＧＢ−ＹＣＣ変換し、各画素の輝度値を求め、その画素輝度値の領域ごとの平均値を求め、輝度情報Ｙａとする。予備発光時画像データについても、同様の手順により、各領域ブロックの輝度情報Ｙｂ（１，１）〜Ｙｂ（ｎ，ｍ）を取得する（Ｓ１０２）。

続いて第１演算手段４１は、領域ブロック（ｘ、ｙ）ごとに、ステップＳ１０２で取得した輝度情報Ｙｂ（ｘ、ｙ）とステップＳ１０１で取得した輝度情報Ｙａ（ｘ、ｙ）との差分Ｙｄを計算する（Ｓ１０３）。そして、全領域ブロックの差分Ｙｄ（１，１）〜Ｙｄ（ｎ，ｍ）に基づいて、顔を考慮しない場合のフラッシュ発光量の適正値（仮適正値Ｃｎ）を決定し、出力する（Ｓ１０４）。例えば、差分Ｙｄ（１，１）〜Ｙｄ（ｎ，ｍ）の単純平均あるいは加重平均などから被写体からの単位発光量あたりの反射光量を推定し、そこから最適な露出が得られる反射光量となる発光量を求め、これを仮適正値Ｃｎとする。差分Ｙｄ（１，１）〜Ｙｄ（ｎ，ｍ）の加重平均を求めるときは、例えば画像の中央に近い領域ブロックの重み付けを大きくするなど、顔に依存しない重み付けを行う。

図６は、第２演算手段の処理を示すフローチャートである。以下、図４に例示したように、顔領域抽出部２４により３つの領域４６ａ、４６ｂおよび４６ｃが抽出された場合を例示しながら説明する。第２演算手段は、まずカウンタｉの値を１に初期化する（Ｓ２０１）。そして、顔領域抽出部２４から供給されたｉ番目（ここでは１番目）の領域情報が示す領域４６ａに対応する領域ブロック群４７ａを選択する（Ｓ２０２）。例えば、各領域ブロックについて領域４６ａと重なる範囲の面積を計算し、面積の半分以上が領域４６ａと重なっているブロック群４７ａを選択する。

続いて、第２演算手段は、非発光時画像データについて、選択された領域ブロックの輝度情報Ｙａ（ｐ、ｑ）を取得する（Ｓ２０３）。さらに、予備発光時画像データについても、選択された領域ブロックの輝度情報Ｙｂ（ｐ、ｑ）を取得する（Ｓ２０４）。図４の例であれば、領域４６ａについて選択されたブロック群４７ａは１２個の領域ブロックを含んでいるので、ブロック１２個分の輝度情報Ｙａ（ｐ１、ｑ１）〜Ｙａ（ｐ１２、ｑ１２）とＹｂ（ｐ１、ｑ１）〜Ｙｂ（ｐ１２、ｑ１２）を取得する。

続いて、選択された領域ブロックごとに、ステップＳ２０４で取得した輝度情報Ｙｂ（ｐ，ｑ）とステップＳ２０３で取得した輝度情報Ｙａ（ｐ，ｑ）との差分Ｙｄ（ｐ，ｑ）を計算し（Ｓ２０５）、選択された領域ブロックについて求められた差分Ｙｄ（ｐ，ｑ）に基づいて、顔を考慮する場合のフラッシュ発光量の適正値（仮適正値Ｃｆ１）を決定する（Ｓ２０６）。図４の例であれば、ブロック１２個分の差分Ｙｄ（ｐ１，ｑ１）〜Ｙｄ（ｐ１２、ｑ１２）を求め、これらの差分に基づいて仮適正値Ｃｆ１を決定する。例えば、差分Ｙｄ（ｐ１，ｑ１）〜Ｙｄ（ｐ１２、ｑ１２）の単純平均から被写体からの単位発光量あたりの反射光量を推定し、最適な露出が得られる反射光量となる発光量を求め、これを仮適正値Ｃｆ１とする。

第２演算手段４２は、上記ステップＳ２０２〜Ｓ２０６までの処理を、カウンタ値ｉが検出された顔の数Ｎと一致するまで繰り返す（Ｓ２０７）。図４の例では、検出された顔は３つあるので、カウンタをカウントアップし（Ｓ２０８）、領域４６ｂとブロック群４７ｂ、領域４６ｃとブロック群４７ｃについて、それぞれ、ステップＳ２０２〜Ｓ２０６までの処理を実行する。Ｎ個の領域について上記処理が完了すると（Ｓ２０７）、第２演算手段４２は、ステップＳ２０６において求められた仮適正値Ｃｆ１〜ＣｆＮを出力する（Ｓ２０９）。図４の例では、３個の仮適正値Ｃｆ１、Ｃｆ２およびＣｆ３が出力される。

発光量決定手段４４は、第１演算手段４１が出力した仮適正値Ｃｎと、第２演算手段４２が出力した仮適正値Ｃｆ１〜ＣｆＮを基準値とする調整を行うことにより、フラッシュ１１の適正発光量Ｃｈを決定する。本実施形態ではパラメータ記憶手段４３に記憶されているパラメータαに基づいて発光量の調整を行う。具体的には、発光量決定手段４４は、次式（１）、（２）に基づく演算を行うことにより、適正発光量Ｃｈを決定する。

Ｃｆ ＝ ｍｉｎｉｍｕｍ（Ｃｆ１，Ｃｆ２・・・ＣｆＮ） … （１）
適正発光量Ｃｈ＝Ｃｎ×（１−α）＋Ｃｆ×α …（２）
つまり、複数の顔について、それぞれ求められた仮適正値の中から、値が最小のものを選択し（（１）式）、その値Ｃｆ（Ｃｆｍｉｎ）と、仮適正値Ｃｎとを基準とした調整を行うことにより、適正発光量Ｃｈを求める（（２）式）。値が最小の仮適正値を調整の基準とするのは、適正発光量が最小となる顔は、最も反射が強く白とびしやすい顔であるので、この顔について白とびが発生しないように発光量を調整しておけば、すべての顔について白とびを防止することができるからである。例えば図４の例であれば、最も大きな顔について求められた発光量の仮適正値Ｃｆ１が最小値となるので、Ｃｆ＝Ｃｆ１となる。

パラメータαは前述したとおり、顔領域抽出部２４、手ブレ検出部３５あるいは焦点調節部２０により設定され、顔領域抽出部２４により設定される場合には、顔ごとの値が設定される。パラメータの値が顔ごとに記憶されている場合、（２）式において用いる値αとしては、（１）式において選択された仮適正値に対応する顔について設定された値が選択される。図４の例では、３つのパラメータα１、α２およびα３がパラメータ記憶手段４３に記憶されているが、（２）式において用いられる値αはα１となる。

以下、顔領域抽出部２４によるパラメータαの設定処理について説明する。顔を考慮した調光は、顔の検出に用いられる画像データと調光に用いられる画像データが同じであることを前提としている。しかし実際の撮影では、顔の検出から非発光時画像データの取得までの間、あるいは非発光時画像データの取得から予備発光時画像データの取得までの間に、数十ミリ秒以上のタイムラグがあるため、この間に被写体が動いたり、手ブレが生じたりすると、各処理に用いられる画像データが互いに異なるものとなってしまうことがある。

図７Ａ、図７Ｂ、図８Ａおよび図８Ｂは、画像データと領域情報が示す領域と図６のステップＳ２０２において選択される領域ブロックの関係を示す図である。画像データ４８は顔領域抽出部２４が顔の検出処理に用いた画像データで、画像データ４５はフラッシュ制御部１９が調光に用いた画像データ（非発光時画像データあるいは予備発光時画像データ）である。図７Ｂおよび図８Ｂの楕円４９は、調光時の顔の位置を示している。

図７Ａおよび図７Ｂに示すように、画像に占める顔の割合が比較的大きい場合には、顔の位置が顔検出時と多少ずれていても、選択されたブロック群４７ｄの大半は、ずれた後の顔（楕円４９）に対応している。よって、ずれが生じてしまったとしても、選択されたブロック群４７ｄの輝度情報は、調光を行う上で参照に値する。しかし、図８Ａおよび図８Ｂに示すように、画像に占める顔の割合が小さく、顔領域４６ｅに対応するブロックが１つしか無いような場合には、顔の位置がずれてしまったことにより、ブロック４７ｅは顔領域４６ｅと対応しなくなる。この場合、ブロック４７ｅの輝度情報は、顔を考慮した調光処理では、もはや参照に値しない。これは、第２演算手段により求められる仮適正値Ｃｆｉの信頼度が、画像に占める顔の割合が大きいほど高く、顔の割合が小さいほど低いことを意味する。

そこで、本実施形態では、顔領域抽出部２４は、顔の抽出処理が完了した後、検出された顔ごとに、その顔に相当する領域として抽出された領域の、画像の横幅に対する割合を計算する。そして、顔の割合とパラメータαとの対応付けを定義したルックアップテーブル（ＬＵＴ）を参照することにより、検出された顔ごとにパラメータαの値を決定する。顔領域抽出部２４は、Ｎ個の顔が検出された場合には、Ｎ個のパラメータ値α１〜αＮを決定し、フラッシュ制御部１９のパラメータ記憶手段４３に、それらの値を記憶せしめる。図４の例では、前述のとおり３つのパラメータα１、α２およびα３がパラメータ記憶手段４３に記憶される。ここで、ＬＵＴの参照に代えて、ＬＵＴと同等の変換を行う回路あるいはプログラムを採用してもよいことは言うまでもない。

図９に、ＬＵＴの一例を示す。このＬＵＴによれば、顔の割合が所定の閾値Ｔｈ１を下回るときには、パラメータαは、ゼロではない所定の下限値αＬに設定される。また、顔の割合が所定の閾値Ｔｈ２を上回るときには、パラメータαは、１ではない所定の上限値αＵに設定される。そして、顔の割合が閾値Ｔｈ１以上閾値Ｔｈ２以下であるときは、パラメータαは、下限値αＬから上限値αＵまでの範囲で、顔の割合が小さいほど小さく、大きいほど大きな値に設定される。このＬＵＴを使って設定された値を用いて（２）の演算処理を行えば、画像に占める顔の割合が小さいときには発光量調整における仮適正値Ｃｆの影響力が弱まり、被写体が動いたり手ブレが生じたりしても、演算により求まる発光量が適正範囲を大きく外れることはなくなる。

なお、上記処理では、画像の横幅に対する顔の横幅の割合を計算しているが、画像に占める顔の割合の指標となる値であれば、計算する値はどのような値であってもよい。例えば、抽出された領域の面積や画素数、画像全体の面積に対する顔の面積比などを計算してもよい。あるいは、顔の横幅と２つの目の間隔とは相関関係があるので、目を検出して目と目の間隔を求め、これを画像に占める顔の割合を示す指標値として演算に利用してもよい。すなわち、ＬＵＴの横軸として設定されるパラメータは、上記処理の目的に適うものであれば特に限定されない。また、上記ＬＵＴでは、閾値Ｔｈ１以上閾値Ｔｈ２以下の範囲においてパラメータの値が線形的に増加するが、非線形に増加する（ＬＵＴが非線形カーブを描く）ようにしてもよい。また、閾値Ｔｈ１、Ｔｈ２も、設計方針に応じて任意に定めることができるので、上記例のように閾値で区切られた一部の範囲においてのみαの値が単調増加するＬＵＴのほか、閾値を設けずαの値が全範囲にわたって単調増加するようなＬＵＴも採用し得る。

パラメータαの決定方針とパラメータの決定に使用するＬＵＴとしては、他にも種々考えられる。例えば、人物の顔が画像の端で検出された場合には、その人物は撮影対象ではない可能性がある。よって、図１０に例示するＬＵＴは、抽出された領域の位置が、画像の左端からの距離にしてＴｈ３以上、Ｔｈ４以下であれば、パラメータαの値を上限値αＵとし、抽出された領域の位置がそれ以外、すなわち画像の端に近い位置にあるときはパラメータαの値を下限値αＬとするものである。このＬＵＴを使って設定された値を用いて（２）の演算処理を行えば、検出された顔が中央付近に位置するときには発光量調整における仮適正値Ｃｆの影響力が強まり、反対に端に位置するときには発光量調整における仮適正値Ｃｆの影響力が弱まる。

また、検出された顔の傾き（首の傾げ具合）や顔の向き（正面顔、横顔）によって、パラメータαの値を決める方法も考えられる。顔領域抽出部２４が行う顔検出処理では、学習のしかたにもよるが、首を傾げた顔や横向きの顔は、垂直な正面顔に比べれば誤検出が発生する確率が高い。すなわち、顔領域の情報を利用して求められた仮適正値Ｃｆの信頼度は、検出された顔の傾きが垂直であるほど高く、また正面に近い向きであるほど高い。そこで、図１１に示すように、横軸を顔の傾きとし、顔が垂直もしくは垂直に順ずる傾きのときには、パラメータαの値が上限値αＵに設定され、顔の傾きが所定の閾値Ｔｈ６あるいはＴｈ７を超えたときは傾きが大きいほどパラメータαの値が小さく設定され、傾きが次の閾値Ｔｈ５およびＴｈ８を超えて水平もしくは水平に近くなったときには、パラメータαの値が下限値αＬに設定されるようにＬＵＴを定義する。もしくは、横軸を顔の向きとした同様のＬＵＴを定義する。これらのＬＵＴを使って設定された値を用いて（２）の演算処理を行えば、仮適正値Ｃｆの信頼度が高いときには発光量調整における仮適正値Ｃｆの影響力が強まり、反対に、仮適正値Ｃｆの信頼度が低いときには発光量調整における仮適正値Ｃｆの影響力が弱まることとなる。

なお、前述したとおりパラメータαは手ブレのブレ量や、焦点距離に応じた値を設定してもよい。例えば、検出された手ブレのブレ量が所定の閾値を越えているときに、パラメータαの値を下限値αＬに設定する。あるいは、焦点距離が長いときには手ブレの影響が強く出やすいので、焦点距離が所定の閾値以上となったときに、パラメータαの値を下限値αＬに設定する。ブレ量や焦点距離は、検出された顔とは無関係であるため、ブレ量や焦点距離に基づいてパラメータαが設定された場合には、仮適正値Ｃｆとして顔別適正値Ｃｆ１〜ＣｆＮのいずれが選択されたかに拘わらず、パラメータ記憶手段４３に記憶されている値が演算に用いられることとなる。

なお、パラメータαの設定をどの処理部が行うか、あるいはどのようなＬＵＴを利用するかは、撮影モードなどの設定に応じて切り替えてもよいが、単にパラメータを記憶するだけのパラメータ記憶手段４３に代えて、複数の処理部からの設定入力を受け付けて、入力された複数の値を使って、新たに最適なパラメータ値を求める手段を設けてもよい。

また、上記構成によれば、顔の検出結果を利用して調光を行うことに問題があることを察知もしくは予測できたときに、発光量調整における仮適正値Ｃｆの影響力を抑えることができるが、実際の撮影では、デジタルカメラが事前に察知もしくは予測できないような問題（例えば、顔の誤検出）も起こり得る。よって、上記構成に対しさらに、上記問題が発生した場合でも、発光量決定手段４４により決定された発光量が、適正値を大きく外れないようにする機能を備えてもよい。

例えば、発光量決定手段４４により、顔を考慮せずに調光を行った場合に求められる適正値、すなわち第１演算手段４１が出力する仮適正値Ｃｎを基準とし、その仮適正値Ｃｎの値から判断して妥当と思われる範囲に、適正発光量Ｃｈを制限する。つまり、適正発光量Ｃｈを、固定された範囲に制限するのではなく、仮適正値Ｃｎに基づいて定められた範囲に制限する。

具体的には、発光量決定手段４４に、上記（２）式に代えて、次式（３）および（４）に基づく処理を実行させる。

Ｃｋ＝Ｃｎ×（１−α）＋Ｃｆ×α … （３）

ここで、Ｃｋは仮の適正発光量である。また、ＵＬは、正常な顔検出が行われた場合であって適正値Ｃｆが適正値Ｃｎよりも大きくなる場合に、適正値Ｃｆと適正値Ｃｎの差分が取り得る値の最大値である。またＬＬは、正常な顔検出が行われた場合であって適正値Ｃｆが適正値Ｃｎよりも小さくなる場合に、適正値Ｃｆと適正値Ｃｎの差分が取り得る値の最大値である。ＵＬおよびＬＬの値は、顔を含む被写体の調光を繰り返すことにより経験的に取得された値とする。

上記（３）式により求められる仮の適正発光量は、予期せぬ状況が発生した場合には、極端に大きな値あるいは極端に小さな値となる場合もある。しかし、そのような極端な値となったときでも、上記（４）式に基づく演算により、適正発光量Ｃｈは、Ｃｎ―ＬＬからＣｎ＋ＵＬまでの範囲に制限される。このＣｎ―ＬＬという下限値およびＣｎ＋ＵＬという上限値は、適正値Ｃｎを基準として決定される値であるため、発光量がこの範囲である限り、フラッシュ撮影により取得される画像が極端な失敗画像となることはない。すなわち、予期せぬ状況が発生した場合でも撮影が全く無駄になることはない。

なお、以上に説明した例は、適正発光量Ｃｈについて上限値と下限値を定めた例であるが、上限値のみ、あるいは下限値のみを定め、極端に大きな値となってしまった場合のみ、あるいは極端に小さな値となってしまった場合のみ、値を制限するようにしてもよい。

以上に説明したように、本実施形態のデジタルカメラでは、発光量決定手段４４が、第２演算手段４２から供給されるＮ個の仮適正値Ｃｆ１〜ＣｆＮを基準値として、その基準値から推定して不都合がないと思われる範囲内の値に、発光量を設定するので、いずれの顔にとっても不都合がない値に、発光量が決定される。これにより、複数の顔が検出され、しかも顔の大きさや明るさ（肌色）が顔ごとに異なっているような場合でも、適切な発光量でフラッシュ撮影が行われ、白とびのない画像を得ることができる。

また、本実施形態では、（２）式や（３）式に示したように、顔を考慮しない調光により求められた仮適正値Ｃｎと、顔を考慮した調光により求められた仮適正値Ｃｆとの加重平均を計算することにより、適正発光量Ｃｈ（もしくは仮の適正発光量Ｃｋ）を求めているので、発光量調整における仮適正値Ｃｆの影響力を、パラメータαの設定ひとつで簡単に、強めたり弱めたりすることができる。第１演算手段４１と第２演算手段４２は、常時同じ演算式に基づく演算を行っていればよいので、複数の演算式を調光方針に応じて使い分けるものに比べ、第１演算手段４１と第２演算手段４２の回路構造あるいはプログラムを、シンプルなものとすることができる。

なお、発光量の調整方法、すなわち発光量決定手段４４の処理は、上記（１）〜（４）式に基づく処理に限らず、他の演算式を採用してもよい。例えば、(２)式や（３）式は、加重平均ではなく、二乗平均、対数平均などを求めてもよい。また、例えば、２つの基準値の中間の値よりも何％Ｃｆ寄りにする、というように基準値からの調整分を固定的に決めておいてもよい。さらには、加重平均などを求めた後に決まった調整値を加算あるいは減算するなどしてもよい。

［ 実施形態２ ］
次に説明するデジタルカメラは、外観、内部構成は実施形態１のデジタルカメラと同じであるが、フラッシュ制御部１９が行う処理が実施形態１と異なる。図１２に、本実施形態におけるフラッシュ制御部１９の構成と入出力データを示す。フラッシュ制御部１９は、図に示すように、演算手段５０と、発光量決定手段５１と、重み付けパラメータ設定手段５２とを備える。

演算手段５０は、全体制御部３０の制御の下、画像入力制御部２３から、非発光時画像データと予備発光時画像データの供給を受け、実施形態１の説明において仮適正値Ｃｎを求めるための処理として説明した図５の処理と同様の処理を行う。但し、演算手段５０は、実施形態１の第１演算手段４１と異なり、ステップＳ１０４において検出された複数の顔のうち１つの顔に対応する領域ブロックに重み付けをおいた演算を行って仮適正値Ｃｆ１〜ＣｆＮを求める。各領域ブロックの重み付けは、重み付けパラメータ設定手段５２により設定される。

重み付けパラメータ設定手段５２は、全体制御部３０の制御の下、顔領域抽出部２４から領域情報の供給を受ける。そして、各領域に対応する領域ブロックに対し、顔がない領域に対応する領域ブロックよりも高い重み付けを設定する。この際、重み付けパラメータ設定手段５１は、顔が抽出された領域に対応する領域ブロックの重み付けを一律に高く設定するのではなく、顔が大きいときほど重み付けを高く設定する。例えば、顔がない領域の重み付けを１とした場合、顔に対応するブロック数が３個未満であれば重み付けを３に、３個〜６個であれば重み付けを４に、７個〜１０個であれば重み付けを５に、１１個以上であれば重み付けを６に設定する。

例えば、図４に示した例では、演算手段５０は、まず領域４６ａに対応するブロック群４７ａの重み付けを高くし、領域４６ｂと領域４６ｃに対応するブロック群は顔がない領域と同等の重み付けにして図５に示した演算処理を実行し、仮適正値Ｃｆ１を求める。領域４６ａに対応するブロック群４７ａは１２個の領域ブロックを含むので、このときのブロックの重み付けは図１３Ａ示すようなものとなる。次に、演算手段５０は、領域４６ｂに対応するブロック群４７ｂの重み付けを高くし、領域４６ａと領域４６ｃに対応するブロック群は顔がない領域と同等の重み付けにして図５に示した演算処理を実行し、仮適正値Ｃｆ２を求める。領域４６ｂに対応するブロック群４７ｂは２個の領域ブロックを含むので、このときのブロックの重み付けは図１３Ｂ示すようなものとなる。続いて、演算手段５０は、領域４６ｃに対応するブロック群４７ｃの重み付けを高くし、領域４６ａと領域４６ｂに対応するブロック群は顔がない領域と同等の重み付けにして図５に示した演算処理を実行し、仮適正値Ｃｆ３を求める。領域４６ｃに対応するブロック群４７ｃは２個の領域ブロックを含むので、このときのブロックの重み付けは図１３Ｃに示すようなものとなる。

発光量決定手段５１は、演算手段が求めた仮適正値Ｃｆ１〜ＣｆＮの中から、値が最小のものを選択し、フラッシュの適正発光量Ｃｈをその最小の仮適正値に決定する。もしくはフラッシュの適正発光量Ｃｈを、最小の仮適正値に所定値を加算もしくは減算した値に決定する。これにより、複数の顔が検出され、顔の大きさや明るさ（肌色）が顔ごとに異なっているような場合でも、適切な発光量でフラッシュ撮影が行われ、白とびのない画像を得ることができる。

以上、２つの実施形態を例示しながら説明したが、本発明はこれらの実施形態に限定されるものではない。例えば、仮適正値Ｃｆ１〜ＣｆＮの中の最小値のみを基準値として調整を行うのではなく、最小値と最大値とを基準値として調整を行えば、白とびを防止できるだけでなく、明るさ不足の顔がなくなるように発光量を決めることができる。この他、複数の顔が検出されたときに各顔について個別に適正発光量が求めておき、発光量の調整を、顔ごとの適正発光量を基準値として行う方法およびデジタルカメラは、すべて本発明の技術的範囲に属する。

本発明の一実施形態におけるデジタルカメラの概観図（通常状態） 本発明の一実施形態におけるデジタルカメラの概観図（内蔵フラッシュをポップアップした状態） 本発明の一実施形態におけるデジタルカメラの概観図（外付フラッシュを取り付けた状態） デジタルカメラの内部構成を示す図 フラッシュ制御部の構成と入出力データを示す図 画像データを領域ブロックに分割した例を示す図 第１演算手段の処理を示すフローチャート 第２演算手段の処理を示すフローチャート 画像データと顔領域と領域ブロックの関係を示す図（顔が占める割合が大きい場合：顔検出処理時） 画像データと顔領域と領域ブロックの関係を示す図（顔が占める割合が大きい場合：調光処理時） 画像データと顔領域と領域ブロックの関係を示す図（顔が占める割合が小さい場合：顔検出処理時） 画像データと顔領域と領域ブロックの関係を示す図（顔が占める割合が小さい場合：調光処理時） パラメータαの決定に用いられるＬＵＴの一例を示す図 パラメータαの決定に用いられるＬＵＴの他の例を示す図 パラメータαの決定に用いられるＬＵＴのさらに他の例を示す図 本発明の他の実施形態におけるフラッシュ制御部の構成と入出力データを示す図 重み付けパラメータの設定例を示す図 重み付けパラメータの設定例を示す図 重み付けパラメータの設定例を示す図

符号の説明

１ デジタルカメラ、２ シャッタレリーズボタン、 ３ モードダイヤル、
４ 内蔵フラッシュ、 ５ ホットシュー、 ６フラッシュポップアップボタン、
７ 外付フラッシュ、 ３４ システムバス、
４５ 調光用の画像データ、 ４６ａ〜４６ｅ 領域情報が示す領域、
４７ａ〜４７ｅ 領域情報が示す領域に対応する領域ブロック、
４８ 顔検出用の画像データ、 ４９ 調光時の実際の顔の位置

Claims (4)

1. 被写体を表す画像データを生成する撮像手段と、フラッシュを発光する発光手段と、前記撮像手段により生成された画像データを対象として顔検出処理を実行する顔検出手段とを備え、前記顔検出手段が出力する検出結果を利用して前記フラッシュの発光量を制御するデジタルカメラであって、
   前記顔検出手段が検出したＮ（Ｎは整数）個の顔について、それぞれ、当該顔のみを前記画像データに含まれる顔とみなして該顔を考慮した演算を行うことにより、前記発光量の仮適正値Ｃｆｉ（１≦ｉ≦Ｎ）を求める演算手段と、
   前記演算手段から供給されるＮ個の仮適正値Ｃｆ１〜ＣｆＮを基準値とする調整を行うことにより、前記フラッシュの適正発光量Ｃｈを決定する発光量決定手段とを備えることを特徴とするデジタルカメラ。
2. 前記発光量決定手段が、前記演算手段から供給される前記Ｎ個の仮適正値Ｃｆ１〜ＣｆＮの中から値が最小の仮適正値を選択し、該最小の仮適正値Ｃｆｍｉｎを基準値とする調整を行うことにより、前記フラッシュの適正発光量Ｃｈを決定することを特徴とする請求項１記載のデジタルカメラ。
3. 被写体を表す画像データを生成する撮像手段と、フラッシュを発光する発光手段と、前記撮像手段により生成された画像データを対象として顔検出処理を実行する顔検出手段とを備えたデジタルカメラにおいて、前記顔検出手段が出力する検出結果を利用して前記フラッシュの発光量を制御する方法であって、
   前記顔領域抽出手段が検出したＮ（Ｎは整数）個の顔について、それぞれ、当該顔のみを前記画像データに含まれる顔とみなして該顔を考慮した演算を行うことにより、前記発光量の仮適正値Ｃｆｉ（１≦ｉ≦Ｎ）を求める演算ステップと、
   前記演算ステップにおいて求められたＮ個の仮適正値Ｃｆ１〜ＣｆＮを基準値とする調整を行うことにより、前記フラッシュの適正発光量Ｃｈを決定する発光量決定ステップとを有することを特徴とするデジタルカメラの制御方法。
4. 前記発光量決定ステップにおいて、前記演算ステップにおいて求められた前記Ｎ個の仮適正値Ｃｆ１〜ＣｆＮの中から値が最小の仮適正値を選択し、該最小の仮適正値Ｃｆｍｉｎを基準値とする調整を行うことにより、前記フラッシュの適正発光量Ｃｈを決定することを特徴とする請求項３記載のデジタルカメラの制御方法。

Images