JP4867365B2 - 撮像制御装置、撮像装置および撮像制御方法 - Google Patents

Description

本発明は、撮像装置の撮像動作を制御する撮像制御装置、撮像装置および撮像制御方法に関する。

デジタルスチルカメラやデジタルビデオカメラなど、固体撮像素子を用いた撮像装置においては、撮像時の様々なシーンに合わせて最適な自動露出などの制御を行う「シーン・モード」などと言われる機能を備えたものが多くなっている。例えば、人間の顔を撮像するのに適した「ポートレート・モード」は、露出制御目標を通常のモードより高く設定することで、顔の輝度が高くなるように撮像するモードであり、これにより、人間の肌の色を美しく撮像することが可能となる。

また、上記の関連技術として、撮像した画像信号から顔を検出する技術も、広く知られている。顔検出の手法は種々知られているが、例えば、平均的な顔画像をテンプレートとして利用し、入力画像信号とマッチングする手法が知られている（例えば、特許文献１参照）。また、撮像された顔が傾いていると、顔を正しく検出しにくいため、顔の角度を検出して、その検出値に応じて顔の画像を回転させた後、マッチング処理などを行うなどの手法も知られている。その例としては、顔の中心線を検出し、その中心線らしさを示す度合いを顔の左右対称性に基づいて算出して、その度合いの高い中心線の角度を顔の角度として出力する手法などがあった（例えば、特許文献２参照）。
特開２００３−２７１９３３号公報（段落番号〔００５１〕〜〔００５３〕、図６） 特開平９−１７１５６０号公報（段落番号〔００３２〕〜〔００４４〕、図４）

ところで、上述したポートレート・モードは、ユーザが手動操作によって設定されるものであるので、撮影者に操作の手間がかかるという問題があった。特に、普段は撮像装置に対して特に何の設定もせず、フルオートの状態で撮像しているユーザに対しては、操作の手間がかかることが、ポートレート・モードの利用機会を奪う結果となっていた。

また、ポートレート・モードにおける顔の画質のさらなる向上も、課題となっていた。さらに、ポートレート・モードにおいて、例えば、逆光の状況下で顔を撮像した場合に、顔が暗いままになったり、背景が暗い場合に顔が明るくなり過ぎて、いわゆる白飛びの状態となってしまうなど、顔と背景との明るさのバランスを必ずしも良好にできないことも課題となっていた。

本発明はこのような点に鑑みてなされたものであり、人物の顔を撮像したときに、ユーザが特別な設定操作を行うことなく、その顔の画質が向上されるようにした撮像制御装置、撮像装置および撮像制御方法を提供することを目的とする。

本発明では上記課題を解決するために、固体撮像素子による撮像画像信号を基に露出調整機構を制御する露出制御装置において、前記撮像画像信号に基づいて、撮像画像内の人物の顔を検出する顔検出手段と、前記顔検出手段による検出情報に基づいて前記撮像画像における顔の検波領域を設定し、前記撮像画像信号から、少なくとも前記顔の検波領域における輝度を検波して、そのヒストグラムデータを算出するヒストグラムデータ算出手段と、顔の明るさに適した目標輝度範囲を設定する目標輝度設定手段と、前記顔検出手段により顔が検出された場合に、前記目標輝度範囲と、前記顔の検波領域に対応するヒストグラムデータのピーク位置での輝度、または前記ピーク位置の周辺の輝度領域とを比較し、その比較結果に基づいて前記露出調整機構に対する制御量を算出する露出制御量算出手段とを有することを特徴とする露出制御装置が提供される。

このような露出制御装置において、顔検出手段は、固体撮像素子による撮像画像信号に基づいて、撮像画像内の人物の顔を検出する。ヒストグラムデータ算出手段は、顔検出手段による検出情報に基づいて撮像画像における顔の検波領域を設定し、撮像画像信号から、少なくとも顔の検波領域における輝度を検波して、そのヒストグラムデータを算出する。目標設定手段は、顔の明るさに適した目標輝度範囲を設定する。露出制御量算出手段は、顔検出手段により顔が検出された場合に、上記の目標輝度範囲と、上記の顔の検波領域に対応するヒストグラムデータのピーク位置での輝度、またはそのピーク位置の周辺の輝度領域とを比較し、その比較結果に基づいて露出調整機構に対する制御量を算出する。

本発明の露出制御装置によれば、顔の明るさに適するように設定された目標輝度範囲と、顔の領域に対応するヒストグラムデータのピーク位置での輝度、またはそのピーク位置の周辺の輝度領域とが比較され、その比較結果に基づいて露出調整機構に対する制御量が算出されるので、顔の明るさを高精度に適正化できる。また、撮像画像内の人物の顔が検出された場合に、その画像内の顔の領域から検波された輝度のヒストグラムデータを利用して、上記のような顔の明るさを適正化する露出制御が自動的に行われる。従って、顔を撮像したときに、ユーザが特別な操作を行わなくても、その顔の画質を自動的に向上させることができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置は、光学ブロック１１、ドライバ１１ａ、撮像素子１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログフロントエンド（ＡＦＥ）回路１３、カメラ信号処理回路１４、マイクロコンピュータ１５、グラフィックＩ／Ｆ（インタフェース）回路１６、ディスプレイ１７、入力部１８、およびフラッシュ発光部１９を具備する。

光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、マイクロコンピュータ１５からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。

撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、マイクロコンピュータ１５の制御の下でタイミング信号を出力する。なお、この実施の形態では、撮像素子１２から得られるアナログ画像信号はＲＧＢ各色の原色信号であるが、例えば補色系の色信号などでもよい。

ＡＦＥ回路１３は、例えば１つのＩＣ（Integrated Circuit）として構成され、撮像素子１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。

カメラ信号処理回路１４は、例えば１つのＩＣとして構成され、ＡＦＥ回路１３からの画像信号に対して、各種信号補正、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）などのカメラ信号処理を施したり、またはその処理の一部を実行する。本実施の形態では、このカメラ信号処理回路１４は、画像前処理部２１、画像処理部２２、ヒストグラム検波部２３、色検波部２４、および顔検出部２５を具備している。

画像前処理部２１は、ＡＦＥ回路１３からの出力画像信号に対して、欠陥画素補正、デジタルクランプ、デジタルゲイン制御などの前処理を施す。画像処理部２２は、ホワイトバランス調整、シャープネス・彩度・コントラスト調整などの各種画質補正処理を施す。これらの画像前処理部２１および画像処理部２２の動作は、マイクロコンピュータ１５によって制御される。

ヒストグラム検波部２３は、画像前処理部２１からの出力画像信号を基に輝度情報を検波し、所定範囲ごとのヒストグラムを算出して、マイクロコンピュータ１５に供給する。色検波部２４は、画像前処理部２１からの出力信号を基に、所定範囲ごとに色情報を検波し、マイクロコンピュータ１５に供給する。

顔検出部２５は、画像処理部２２からの出力画像信号を基に、人間の顔を検出し、その個数、各顔のサイズ、位置、傾きなどの情報を、マイクロコンピュータ１５に供給する。なお、顔検出の手法としては、例えば、あらかじめ作成された平均的な顔画像を表すテンプレートと入力画像とをマッチングする手法などを適用できる。

マイクロコンピュータ１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成され、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。また、カメラ信号処理回路１４との間で通信して、上記各種カメラ信号処理のための演算の一部を実行する。本実施の形態では、特に、外光量や、ヒストグラム検波部２３、色検波部２４、顔検出部２５などに基づいて、露出制御量やその制御時の階調補正量の演算、フラッシュ発光の要否の判定などの処理を行う。

グラフィックＩ／Ｆ回路１６は、カメラ信号処理回路１４から出力された画像データを、ディスプレイ１７に表示するための信号に変換し、ディスプレイ１７に供給する。また、マイクロコンピュータ１５からの要求に応じて、メニュー画面や各種設定画面、各種警告情報などを画像上に合成する。ディスプレイ１７は、例えばＬＣＤ（Liquid Crystal Display）などからなり、グラフィックＩ／Ｆ回路１６からの画像信号を基に、画像を表示する。

入力部１８は、例えば、シャッタレリーズボタンや、フラッシュ発光のＯＮ／ＯＦＦなどの各種設定を行うためのキー、ダイヤルなどを具備し、これらへのユーザの操作に応じた制御情報をマイクロコンピュータ１５に供給する。

フラッシュ発光部１９は、マイクロコンピュータ１５からのフラッシュ制御情報に従って、フラッシュを発光する。
この撮像装置では、撮像素子１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。カメラ信号処理回路１４は、ＡＦＥ回路１３から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に変換して出力する。

カメラ信号処理回路１４から出力された画像データは、グラフィックＩ／Ｆ回路１６に供給されて表示用の画像信号に変換され、これによりディスプレイ１７にカメラスルー画像が表示される。また、入力部１８に対するユーザの入力操作などにより、マイクロコンピュータ１５に対して画像の記録が指示されると、カメラ信号処理回路１４からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて、図示しない記録媒体に記録される。静止画像の記録の際には、カメラ信号処理回路１４からは１フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、処理された画像データがエンコーダに連続的に供給される。

次に、この撮像装置における露出制御およびフラッシュ発光制御の手順について説明する。
＜露出制御処理の概要＞
図２は、露出制御およびフラッシュ発光制御の処理全体の流れを示すフローチャートである。この図２を用いて、顔の検出結果を用いた露出制御およびフラッシュ発光制御の処理の概要について説明する。

〔ステップＳ１０１〕マイクロコンピュータ１５は、カメラ信号処理回路１４からの画像信号の検波値に基づいて、通常のＡＥ制御方法で、露出制御量およびフラッシュ制御情報を計算する。

ここで、通常のＡＥ制御方法とは、以下のステップＳ１０２〜Ｓ１１０に示すような顔の検出結果を用いずに、従来からの一般的な処理によって露出制御量およびフラッシュ制御情報を演算する処理のことであり、基本的には、画面全体の撮像画像信号から検波した輝度情報などに基づいて露出制御量およびフラッシュ制御情報を演算する。また、露出制御量は、例えば、光学ブロック１１内のアイリスの開度、メカニカルシャッタおよび撮像素子１２での電子シャッタ（あるいはそれらの一方）によるシャッタスピード、ＡＦＥ回路１３内のＡＧＣのゲイン量などを制御するための値であり、フラッシュ制御情報は、フラッシュ発光部１９の発行動作を制御するための情報である。

〔ステップＳ１０２〕カメラ信号処理回路１４の顔検出部２５は、画像処理部２２からの出力画像から人間の顔を検出する。
〔ステップＳ１０３〕マイクロコンピュータ１５は、顔検出部２５により顔が検出されたか否かを判定する。検出された場合にはステップＳ１０４に進み、検出されなかった場合には、ステップＳ１０１で計算した露出制御量およびフラッシュ制御情報を最終的な値として確定し、処理を終了する。

〔ステップＳ１０４〕マイクロコンピュータ１５は、顔検出部２５から顔の検出情報を取得し、その検出情報に基づいて各顔の重要度を計算する。
〔ステップＳ１０５〕マイクロコンピュータ１５は、計算された重要度が一定値より高い顔があるか否かを判定し、ある場合にはステップＳ１０６に進み、ない場合には、ステップＳ１０１で計算した露出制御量およびフラッシュ制御情報を最終的な値として確定して、処理を終了する。

〔ステップＳ１０６〕マイクロコンピュータ１５は、ステップＳ１０５で重要度が高いと判定された各顔に対応する、輝度検波および色検波のための検波枠を、ヒストグラム検波部２３および色検波部２４に対してそれぞれ設定する。

〔ステップＳ１０７〕マイクロコンピュータ１５は、ステップＳ１０６で設定された検波枠を用いて、各顔に対応する輝度のヒストグラムデータおよび色検波値を、それぞれヒストグラム検波部２３および色検波部２４から取得する。また、ステップＳ１０５で重要度が高いと判定された顔が複数である場合には、各顔の輝度のヒストグラムデータを、各顔の重要度に応じて顔領域全体に対して正規化する。

〔ステップＳ１０８〕マイクロコンピュータ１５は、顔のヒストグラムデータのピークを判定する。そして、そのピークでの頻度値および輝度に基づいて、後述するピーク領域を定義する限界輝度値Ｙｆ＿ｌおよびＹｆ＿ｈを検索する。

〔ステップＳ１０９〕マイクロコンピュータ１５は、顔の重要度および色、外光情報に基づいて、顔の目標輝度範囲を設定する。
〔ステップＳ１１０〕マイクロコンピュータ１５は、顔のヒストグラムデータ（分割検波方式の場合は、ステップＳ１０７で正規化されたヒストグラムデータ）と、ステップＳ１０９で設定した目標輝度範囲と、ステップＳ１０１で算出した露出制御量およびフラッシュ制御情報とに基づいて、最終的な露出制御量およびフラッシュ制御情報を再計算する。

以上の処理により、撮像された顔、特に、撮影者にとって重要と考えられる顔が、適切な明るさで撮像され、かつ、その顔と背景との明るさのバランスが良好に保たれるように、露出の制御を実行できるようになる。そして、このような顔と背景との明るさのバランスを考慮した露出制御が、通常のオート撮像モードにおいて、特に撮影者が設定操作を行うことなく、顔を検出した場合にのみ自動的に実行されるようになる。

すなわち、撮像画像から顔が検出され（ステップＳ１０３）、それらの顔のうち、重要度がある程度高い顔が存在した場合のみ（ステップＳ１０５）、それらの顔と背景との明るさのバランスを考慮した露出制御（ステップＳ１０６〜Ｓ１１０）が実行され、それ以外の場合には、従来のオート撮像モードでの露出制御が実行される。

次に、上記の処理について、より詳しく説明する。
＜通常のＡＥ制御方法による制御値演算＞
まず、上記のステップＳ１０１では、通常のＡＥ制御方法で、露出制御量およびフラッシュ制御情報が計算される。上述したように、このＡＥ制御方法は、従来から一般的なオート撮像モードでの制御方法に対応するものであり、例えば、以下の式（１）に従って実行される。
Ｅｖ＝ｌｏｇ_２（Ｆｎｏ^２）＋ｌｏｇ_２（１／Ｔ）＋ｌｏｇ_２（１００／ＩＳＯ）
……（１）
この式（１）において、Ｅｖは露出制御量の合計値、Ｆｎｏはアイリスの絞り量を示す制御量、Ｔはメカニカルシャッタおよび電子シャッタの少なくとも一方を用いた露出時間、ＩＳＯは露光感度値を示す。この式（１）によれば、シャッタスピードが高速になるほど、Ｅｖ値が大きくなり、露出量が少なくなる。なお、このとき、被写体からの反射量が変わらなければ、撮像画像の輝度が低くなる。また、露光感度値が低くなると、Ｅｖ値が大きくなり、露出量が少なくなる。また、アイリスの絞り量が大きくなると、Ｅｖ値が大きくなり、露出量が少なくなる。また、外光量（被写体の輝度）が同じ場合には、Ｅｖ値が大きいほど露出量が少なくなり、撮像画像が暗くなる。逆に、Ｅｖ値が小さいほど露出量が多くなり、撮像画像が明るくなる。

＜顔の重要度判定＞
次に、顔検出部２５により、撮像画像信号から顔の検出が行われ（図２のステップＳ１０２）、その検出結果に基づいて、マイクロコンピュータ１５は、検出された顔の重要度を、以下の図３に示す手順により計算する（図２のステップＳ１０４）。図３は、ステップＳ１０４に対応する顔の重要度計算の処理手順を示すフローチャートである。

〔ステップＳ２０１〕マイクロコンピュータ１５は、顔検出部２５から、検出された各顔の検出情報として、顔のサイズ、位置、および傾きの情報を取得する。
〔ステップＳ２０２〕マイクロコンピュータ１５は、各顔のサイズと画面全体のサイズとの比（顔の割合）を計算し、図示しないＲＡＭなどに一旦記憶する。

〔ステップＳ２０３〕マイクロコンピュータ１５は、ステップＳ２０２での計算結果に基づき、画面全体に対する顔のサイズ比から想定される重要度を示す顔のサイズ重要度因子Ｗｓｉｚｅを、１つの顔について計算する。顔のサイズ重要度因子Ｗｓｉｚｅは、顔の割合ｒ＿ｓｉｚｅの大きさに応じて、以下の式（２）〜（４）により計算される。なお、Ｒｆｂ１，Ｒｆｂ２はそれぞれしきい値であり、Ｒｆｂ１＜Ｒｆｂ２である。
［ｒ＿ｓｉｚｅ＞Ｒｆｂ２のとき］
Ｗｓｉｚｅ＝１００［％］ ……（２）
［Ｒｆｂ１≦ｒ＿ｓｉｚｅ≦Ｒｆｂ２のとき］
Ｗｓｉｚｅ＝（ｒ＿ｓｉｚｅ−Ｒｆｂ１）／（Ｒｆｂ２−Ｒｆｂ１） ……（３）
［ｒ＿ｓｉｚｅ＜Ｒｆｂ１のとき］
Ｗｓｉｚｅ＝０ ……（４）
ここで、図４は、顔の割合ｒ＿ｓｉｚｅと顔のサイズ重要度因子Ｗｓｉｚｅとの対応を示すグラフである。

上記の式（２）〜（４）および図４によれば、画面に対する顔の割合ｒ＿ｓｉｚｅが一定のしきい値Ｒｆｂ２を超えている場合には、撮影者がその顔を意図的に撮像対象としたものと判断して、顔のサイズ重要度因子Ｗｓｉｚｅを最大値の１００％としている。逆に、顔の割合ｒ＿ｓｉｚｅが一定のしきい値Ｒｆｂ１未満の場合には、その顔が撮像対象ではなく、他の顔や背景などが撮像対象になっていると判断して、顔のサイズ重要度因子Ｗｓｉｚｅを０としている。また、顔の割合ｒ＿ｓｉｚｅがある範囲（Ｒｆｂ１〜Ｒｆｂ２）の場合には、その顔が撮像対象であるか否かについて明確な判断ができないため、その割合に応じてサイズ重要度因子Ｗｓｉｚｅを連続的に変化させている。すなわち、顔の割合ｒ＿ｓｉｚｅが大きいほど、撮像対象である確率が高く、重要度が高いと判断する。

以下、図３に戻って説明する。
〔ステップＳ２０４〕マイクロコンピュータ１５は、顔のサイズ重要度因子Ｗｓｉｚｅが０であるか否かを判定し、０でない場合はステップＳ２０５の処理を、０である場合はステップＳ２１０の処理を実行する。

〔ステップＳ２０５〕マイクロコンピュータ１５は、あらかじめ設定された画面中心領域と顔との距離Ｌを計算する。
〔ステップＳ２０６〕マイクロコンピュータ１５は、画面内における顔の位置から想定される重要度を示す顔の位置重要度因子ＰｏｓＷを計算する。ここでは、ステップＳ２０５で算出した距離Ｌに応じて、顔の位置重要度因子の最大値ＰｏｓＷｈと最小値ＰｏｓＷｌを計算する。

〔ステップＳ２０７〕マイクロコンピュータ１５は、顔の位置と傾きの情報に基づいて、顔から足への予測重心射線ＬｉｎｅＡと、顔から画面中心への射線ＬｉｎｅＢとがなす夾角ａｎｇを計算する。

〔ステップＳ２０８〕マイクロコンピュータ１５は、ステップＳ２０６およびＳ２０７の計算結果に基づき、顔の位置姿勢重要度因子Ｗｐｏｓを計算する。この顔の位置姿勢重要度因子Ｗｐｏｓは、画面内の顔の位置と傾きとから想定される重要度を示すものである。後述するように、顔の位置姿勢重要度因子Ｗｐｏｓの採る範囲は、ステップＳ２０５での計算結果に基づき、画面中心領域と顔との距離Ｌの値に応じて制限される。

〔ステップＳ２０９〕マイクロコンピュータ１５は、以下の式（５）を用いて、最終的な顔の重要度Ｗｆを計算する。
Ｗｆ＝Ｗｓｉｚｅ×Ｗｐｏｓ ……（５）
この式（５）を用いることにより、顔の重要度Ｗｆは、画面上の顔の大きさ、位置、および傾きの３つのパラメータに基づいて判定される。これにより、検出された顔が、ユーザが意図的に撮像対象としたものか否かを、適切に判定できるようになっている。

〔ステップＳ２１０〕マイクロコンピュータ１５は、ステップＳ２０４において、顔のサイズ重要度因子Ｗｓｉｚｅが０であった場合には、最終的な顔の重要度Ｗｆを０とする。

〔ステップＳ２１１〕ステップＳ２０９またはＳ２１０の処理の実行後、マイクロコンピュータ１５は、顔検出部２５で検出されたすべての顔について、重要度Ｗｆの計算が終了したか否かを判定する。終了していなかった場合は、ステップＳ２０３に戻って、他の顔について重要度Ｗｆの計算を実行し、すべての顔についての計算が済んだ場合には、このサブルーチンを終了する。

ここで、上記のステップＳ２０５〜Ｓ２０８の処理について、より詳しく説明する。まず、図５は、上記のステップＳ２０５に対応する、画面中心領域と顔との距離Ｌの計算方法を説明するための図である。

この図５に示すように、本実施の形態では、画面の中心付近に一定の広さを持つ領域１０１を設定しておき、この領域１０１の境界部と、画面内の顔１０２の位置（通常は中心位置）との距離Ｌを計算する。後述するように、この距離Ｌが小さいほど、顔１０２が中心部に近いために重要度（位置重要度因子ＰｏｓＷ）が高いと判定されるが、この例では、画面の中心付近の領域１０１内に存在する顔については、撮像対象である可能性が同等に高いと判定している。なお、画面の中心と顔との間を、上記の距離Ｌとしてもよい。また、領域１０１の大きさを、ユーザの設定により可変としておいてもよい。

次に、図６は、上記のステップＳ２０７に対応する夾角ａｎｇの計算方法を説明するための図である。なお、図６では、わかりやすいように、顔の画像をその中心点からずらして示しているが、実際には、当然、中心点は顔の中心部（例えば、鼻の付近）に位置するものである。

顔の傾きを、その顔における垂直方向の中心線に対する角度で表したとき、その顔から足への予測重心射線ＬｉｎｅＡは、顔の中心（顔の位置情報に対応する位置）を起点として、その中心線に沿って顔の下方向への射線となる。この予測重心射線ＬｉｎｅＡと、顔の中心から画面中心Ｃ０への射線ＬｉｎｅＢとがなす角を、夾角ａｎｇとする（ただし、０≦ａｎｇ≦１８０とする）。例えば、図６において、画面中心Ｃ０に対して左上の位置に、顔１１１が検出され、その中心をＣ１とする。この顔１１１の傾きを０°とすると、その予測重心射線ＬｉｎｅＡは、画面の下方向への射線となり、画面中心Ｃ０への射線ＬｉｎｅＢは、画面右下方向への射線となって、これらの射線のなす角が夾角ａｎｇとなる。

本実施の形態では、後述するように、夾角ａｎｇが小さいほど、重要度（位置姿勢重要度因子Ｗｐｏｓ）が高いと判定する。例えば、画面中心Ｃ０の左上、左下にそれぞれ顔１１１および１１２が存在し、それぞれの傾きが同じ０°とすると、顔１１１より顔１１２の方が夾角ａｎｇが大きくなるので、重要度は低くなる。この判定は、顔１１１の方が、その中心Ｃ１から、予測重心射線ＬｉｎｅＡの方向の画面端部までの距離が大きく、その顔に対応する人の全身が画面内に写っている可能性が高いことから、その人が撮像対象である可能性が高いという判定ルールに基づいている。

同様の判定ルールにより、それぞれ画面中心Ｃ０の上方および下方に位置し、傾きが同じ０°の顔１１３および１１４では、それぞれ夾角ａｎｇが０°，１８０°となるので、顔１１３の方が重要度は高くなる。また、顔１１５および１１６は、ともに傾きが０°より大きいものの、ともに予測重心射線ＬｉｎｅＡと画面中心Ｃ０への射線ＬｉｎｅＢの方向が同じで、夾角ａｎｇが０°となる。このため、顔１１５および１１６の重要度は、ともに高い値となる。顔１１５および１１６の例は、例えば、撮像装置をレンズ光軸を中心に傾けて撮像した場合にも、同じ判定ルールで重要度を判定できることを示している。すなわち、顔の傾きに関係なく、画面上における顔の下方向（足の方向）のスペースが広いほど、その顔に対応する人の全身が写っている可能性が高く、その人が撮像対象である可能性が高いと判定する。

なお、上記の判定ルールはあくまで一例であり、顔の位置と傾きとを用い、上記と異なる判定ルール（あるいは、上記に他の条件を付加した判定ルール）に基づいて重要度を計算してもよい。また、複数の判定ルールを用意しておき、ユーザが設定操作により切り換え可能にしておいてもよい。

次に、顔の位置重要度因子ＰｏｓＷおよび位置姿勢重要度因子Ｗｐｏｓの計算方法について、詳しく説明する。
まず、図３のステップＳ２０６では、顔の位置重要度因子ＰｏｓＷが、以下の式（６）〜（８）によって計算される。ただし、Ｌ１は所定のしきい値であり、Ｌ２は、顔と画面中心領域との距離Ｌの最大値であり、ＰｏｓＷ１，ＰｏｓＷ２，ＰｏｓＷ３は、それぞれ所定のしきい値（ただし、０≦ＰｏｓＷ３≦ＰｏｓＷ２≦ＰｏｓＷ１）である。
ＰｏｓＷｈ＝｛（ＰｏｓＷ２−ＰｏｓＷ１）／Ｌ２｝×Ｌ＋ＰｏｓＷ１ ……（６）
［０≦Ｌ≦Ｌ１のとき］
ＰｏｓＷｌ＝｛（ＰｏｓＷ３−ＰｏｓＷ１）／Ｌ１｝×Ｌ＋ＰｏｓＷ１ ……（７）
［Ｌ１＜Ｌ≦Ｌ２のとき］
ＰｏｓＷｌ＝ＰｏｓＷ３ ……（８）
また、図３のステップＳ２０８では、顔の位置姿勢重要度因子Ｗｐｏｓが、以下の式（９）および（１０）によって計算される。ただし、Ａｎｇ１は所定のしきい値であり、０≦Ａｎｇ１≦１８０である。
［０≦ａｎｇ≦Ａｎｇ１のとき］
Ｗｐｏｓ＝ＰｏｓＷｈ ……（９）
［Ａｎｇ１＜ａｎｇ≦１８０のとき］
Ｗｐｏｓ＝−｛（ＰｏｓＷｈ−ＰｏｓＷｌ）／（１８０−Ａｎｇ１）｝×（ａｎｇ−Ａｎｇ１）＋ＰｏｓＷｈ ……（１０）
ここで、図７は、顔の位置重要度因子ＰｏｓＷおよび位置姿勢重要度因子Ｗｐｏｓの計算方法を説明するためのグラフである。

上記の式（６）〜（８）により、顔と画面中心領域との距離Ｌと、顔の位置重要度因子ＰｏｓＷｈ，ＰｏｓＷｌとの関係は、図７（Ａ）のようになる。この図７（Ａ）からわかるように、顔の位置重要度因子ＰｏｓＷｈ，ＰｏｓＷｌは、基本的には、顔と画面中心領域との距離Ｌが大きいほど、小さい値となる。

また、上記の式（９）および（１０）により、夾角ａｎｇと、顔の位置姿勢重要度因子Ｗｐｏｓとの関係は、図７（Ｂ）のようになる。この図７（Ｂ）からわかるように、顔の位置姿勢重要度因子Ｗｐｏｓは、基本的には、夾角ａｎｇが大きいほど、小さい値となる。また、図７（Ａ）および（Ｂ）からわかるように、顔の位置重要度因子ＰｏｓＷｈ，ＰｏｓＷｌは、それぞれ、顔の位置姿勢重要度因子Ｗｐｏｓの上限および下限を決定している。

以上の図７、および式（２）〜（５）により、検出された顔が大きいほど、また、顔の位置が画面の中心領域に近いほど、さらに、画面上における顔の下方向のスペースが大きいほど、その顔の重要度は高くなる。従って、検出された顔が、ユーザに意図的に撮像対象としたものであるか否かの度合いを、高精度に判定することが可能となる。

なお、図７（Ｂ）では、夾角ａｎｇがＡｎｇ１以下のときは、顔の位置姿勢重要度因子Ｗｐｏｓを上限値で一定とすることで、顔から足への射線に対して顔にある程度の傾きがある場合でも、重要度を高いと判定できるようにしている。

また、図７（Ａ）において、顔の位置重要度因子ＰｏｓＷｈを０より大きく設定することで、顔の位置姿勢重要度因子Ｗｐｏｓの下限が０より大きくなり、最終的な顔の重要度Ｗｆが０にならなくなる。これにより、例えば、顔が画面の端に配置されるように、ユーザが意図的に撮像した場合などでも、その顔の明るさを適正化する処理を施すことができる可能性を残している。

＜輝度のヒストグラムデータおよび色の検波＞
次に、図２のステップＳ１０６およびＳ１０７に対応する処理について、詳しく説明する。輝度のヒストグラムデータおよび色情報の検波処理は、画面上における顔の検波枠の設定方法によって異なる。ここでは、検出された顔の位置およびサイズに応じて柔軟に検波枠を設定する「通常枠方式」と、あらかじめ画面を複数に分割して設定した検波枠を用いる「分割検波方式」とを例に挙げる。

図８は、上記のステップＳ１０６に対応する、顔の検出結果に基づく検波枠の設定方法を説明するための図である。図８（Ａ）は通常枠方式の例、（Ｂ）は分割検波方式の例をそれぞれ示す。

図８（Ａ）に示すように、通常枠方式の場合、マイクロコンピュータ１５は、顔検出部２５から取得した顔の位置およびサイズの情報に基づき、その顔の輪郭に接するように、顔の検波枠１２１を、ヒストグラム検波部２３および色検波部２４に対して設定する。これにより、検出された顔の輝度情報および色情報は、検波枠１２１の内側の画像信号から検波され、その顔を含まない背景は、検波枠１２１の外側の画像信号から検波される。

一方、分割検波方式では、輝度情報および色情報が、常に、画面内に設定された複数の分割枠単位で検波される。図８（Ｂ）の例では、画面を水平、垂直方向にそれぞれ９分割、８分割した検波枠が設定されている。そして、ステップＳ１０６において、マイクロコンピュータ１５は、顔検出部２５から取得した顔の位置およびサイズの情報に基づき、その顔が多くの部分を占める検波枠を選択して、顔の検波枠としてヒストグラム検波部２３および色検波部２４に対して設定する。図８（Ｂ）の例では、「Ｘ６Ｙ５」「Ｘ７Ｙ５」「Ｘ６Ｙ６」「Ｘ７Ｙ６」の４つの検波枠からの輝度情報および色情報を、顔の検波値とし、それ以外の検波枠からの輝度情報および色情報を、背景の検波値とする。

なお、通常枠方式、分割検波方式のいずれでも、顔が複数検出された場合には、すべての顔の検波枠に含まれない領域を、背景の検波領域とする。
以上のようにヒストグラム検波部２３および色検波部２４に対して顔の検波枠を設定した後、マイクロコンピュータ１５は、この検波枠に基づき、検出された各顔に対応する輝度のヒストグラムデータおよび色情報を、ヒストグラム検波部２３および色検波部２４から取得する（ステップＳ１０７）。なお、このステップＳ１０７では、必要に応じて、顔以外の背景領域での輝度のヒストグラムデータおよび色情報や、画面全体での輝度のヒストグラムデータおよび色情報も取得する。

ここで、複数の顔が検出されていた場合には、ステップＳ１０４で算出された各顔の重要度に応じて係数（重み付け）を設定し、各顔領域の輝度のヒストグラムデータに係数を乗算して加算することで、輝度のヒストグラムデータを全顔領域で正規化する。そして、正規化したヒストグラムデータを、図示しないＲＡＭなどに格納しておき、ステップＳ１０７以後の処理で、顔の輝度のヒストグラムデータとして利用する。また、色情報については、各顔領域から検波された色情報のうち、重要度の最も高い顔に対応する色情報をＲＡＭなどに格納しておき、ステップＳ１０７以後の処理で、顔の色情報として利用する。

＜ヒストグラムデータのピーク判定＞
次に、図２のステップＳ１０８における、ヒストグラムデータのピーク判定処理について、詳しく説明する。図９は、このピーク判定処理の流れを示すフローチャートである。

〔ステップＳ３０１〕マイクロコンピュータ１５は、図２のステップＳ１０７で算出した、顔の輝度のヒストグラムデータを、例えば格納していたＲＡＭなどから読み出す。なお、各ヒストグラムデータは、Ｎ個の輝度値（またはＮ段階の輝度範囲）に対応する頻度情報の配列として得られる。

〔ステップＳ３０２〕マイクロコンピュータ１５は、読み出した顔の輝度のヒストグラムデータから、最大頻度およびそれに対応する輝度情報を抽出する。
〔ステップＳ３０３〕マイクロコンピュータ１５は、抽出された顔の最大頻度の位置（頻度のピーク位置）における、頻度の下限および上限を示すしきい値を計算する。

〔ステップＳ３０４〕マイクロコンピュータ１５は、後の処理において露出制御量を調整するための、頻度のピーク値およびピーク位置に基づく限界輝度値を検出する。
ここで、図１０〜図１２は、顔および背景の輝度のヒストグラムデータの検出例を示す図である。なお、図１０は、相対的に顔より背景の方が明るい例、図１１は、逆に、背景より顔の方が明るい例、図１２は、背景と比較して顔が極端に明るい例を示している。以下、これらの図１０〜図１２を用いて、上記処理を具体的に説明する。

図１０〜図１２の例では、上記のステップＳ３０２において抽出された、顔のヒストグラムデータのピーク位置の輝度をＹｆとし、そのときの頻度のピーク値をＦｆとしている。ステップＳ３０３では、顔のピーク位置での頻度の上限しきい値Ｆｆ＿ｍａｘと、下限しきい値Ｆｆ＿ｌｍｔを計算する。上限しきい値Ｆｆ＿ｍａｘは、頻度のピーク値とし、下限しきい値Ｆｆ＿ｌｍｔは、以下の式（１１）により求める。
Ｆｆ＿ｌｍｔ＝Ｆｆ＿ｍａｘ×Ｒｆ＿ｌｍｔ ……（１１）
ここで、Ｒｆ＿ｌｍｔは係数（ただし、０≦Ｒｆ＿ｌｍｔ≦１）であり、図１０〜図１２では、例としてこの係数を１／２としている。

次に、ステップＳ３０４では、ステップＳ３０３で抽出した下限しきい値Ｆｆ＿ｌｍｔに基づき、後の処理で制御目標範囲を決定するための限界輝度値を検索する。この限界輝度値は、ピーク位置を含む輝度の領域（ピーク領域）を決定するものであり、顔のヒストグラムデータを、輝度Ｙｆのピーク位置から低輝度方向、高輝度方向にそれぞれ走査していき、それぞれ頻度が下限しきい値Ｆｆ＿ｌｍｔ（ここではＦｆ／２）になったときの輝度を、それぞれ下限および上限の限界輝度値Ｙｆ＿ｌ，Ｙｆ＿ｈとする。検出した限界輝度値Ｙｆ＿ｌ，Ｙｆ＿ｈは、例えばＲＡＭなどに格納しておく。

＜顔の目標輝度範囲の設定＞
次に、図２のステップＳ１０９における、目標輝度範囲の設定処理について、詳しく説明する。図１３は、目標輝度範囲の設定処理の流れを示すフローチャートである。

〔ステップＳ４０１〕マイクロコンピュータ１５は、顔の明るさを適正化するための目標輝度範囲（下限値：Ｙａ＿ｌ，上限値：Ｙａ＿ｈ）を仮設定する。このステップでは、顔が適切な明るさとなるようにあらかじめ決めておいた一定の目標輝度範囲を示す初期値を仮設定する。例えば、輝度の最大値が２５５（輝度値が８ビットデータ）の場合に、Ｙａ＿ｌ＝１４０，Ｙａ＿ｈ＝２００に設定する。なお、図１０〜図１２には、参考のために、目標輝度範囲の設定例についても示している。

次に、マイクロコンピュータ１５は、ステップＳ４０２〜Ｓ４０６の処理により、外光量や輝度のヒストグラムデータ、重要度などの様々なパラメータに基づいて、顔と背景との明るさのバランスが適切になるように、上記ステップで仮設定された顔の目標輝度範囲を微調整する。

〔ステップＳ４０２〕マイクロコンピュータ１５は、顔領域から検波された色情報（図２のステップＳ１０７でＲＡＭなどに格納した、重要度の最も高い顔に対応する色情報）に基づいて、目標輝度範囲をシフトする。

例えば、顔の彩度が高い場合には、目標輝度範囲を低輝度側にシフトする。また、顔の彩度が低い場合には、顔の反射率を判断し、反射率が高い顔の場合には、目標輝度範囲を高輝度方向にシフトし、反射率が低い顔の場合には、目標輝度範囲を低輝度方向にシフトする。これにより、顔の肌の違いに応じて制御目標値を変化させることが可能となる。

〔ステップＳ４０３〕マイクロコンピュータ１５は、以下の式（１２）に従って、外光量Ｌｖを計算する。ただし、Ｙ＿Ｎは、あらかじめ決められた、画面全体に対しての輝度の制御目標値を示し、Ｙａｖｅは、検出した輝度の平均値をそれぞれ示す。
Ｌｖ＝ｌｏｇ_２（Ｆｎｏ^２）＋ｌｏｇ_２（１／Ｔ）＋ｌｏｇ_２（１００／ＩＳＯ）＋ｌｏｇ_２（Ｙａｖｅ／Ｙ＿Ｎ） ……（１２）
〔ステップＳ４０４〕マイクロコンピュータ１５は、算出した外光量Ｌｖに基づいて、顔の目標輝度範囲をさらにシフトする。

目標輝度範囲のシフト量Ｙｓｈｉｆｔは、以下の式（１３）〜（１７）によって求められ、そのシフト量Ｙｓｈｉｆｔが、この時点での目標輝度範囲の下限値Ｙａ＿ｌおよび上限値Ｙａ＿ｈにそれぞれ加算される。なお、以下の式で、ＬＶ１，ＬＶ２，ＬＶ３，ＬＶ４は、それぞれ外光量のしきい値であり、０≦ＬＶ１＜ＬＶ２＜ＬＶ３＜ＬＶ４である。また、ＳＨＩＦＴ１，ＳＨＩＦＴ２は、それぞれシフト量Ｙｓｈｉｆｔの上限および下限を示す定数であり、ＳＨＩＦＴ２＜０＜ＳＨＩＦＴ１である。
［Ｌｖ＜ＬＶ１のとき］
Ｙｓｈｉｆｔ＝ＳＨＩＦＴ２ ……（１３）
［ＬＶ１≦Ｌｖ＜ＬＶ２のとき］
Ｙｓｈｉｆｔ＝｛ＳＨＩＦＴ２＊（ＬＶ２−Ｌｖ）｝／（ＬＶ２−ＬＶ１）……（１４）
［ＬＶ２≦Ｌｖ＜ＬＶ３のとき］
Ｙｓｈｉｆｔ＝０ ……（１５）
［ＬＶ３≦Ｌｖ＜ＬＶ４のとき］
Ｙｓｈｉｆｔ＝｛ＳＨＩＦＴ１＊（Ｌｖ−ＬＶ３）｝／（ＬＶ４−ＬＶ３）……（１６）
［ＬＶ４≦Ｌｖのとき］
Ｙｓｈｉｆｔ＝ＳＨＩＦＴ１ ……（１７）
ここで、図１４は、上記の式（１３）〜（１７）に基づく、外光量Ｌｖと、目標輝度範囲のシフト量Ｙｓｈｉｆｔとの関係を示すグラフである。

上記の式（１３）〜（１７）および図１４に示すように、基本的に、外光量が少ないほど、目標輝度範囲を低輝度側にシフトし、外光量が多いほど、目標輝度範囲を高輝度側にシフトすることで、撮影環境の雰囲気が残って、顔と背景とがより自然なバランスで見えるように、明るさを制御することができる。ただし、シフト量Ｙｓｈｉｆｔの範囲を、ＳＨＩＦＴ１とＳＨＩＦＴ２との間に制限することで、撮影環境に対して顔の明るさを極端に合わせ、不自然な画像にならないようにしている。

以下、図１３に戻って説明する。
〔ステップＳ４０５〕マイクロコンピュータ１５は、全画面のヒストグラムデータから、白飛び量および黒つぶれ量を計算し、それらの量に応じて、目標輝度範囲をさらにシフトする。

ここで、白飛び量は、白飛びの発生度合いを示すものであり、例えば、所定の高輝度領域における頻度が、しきい値よりどれだけ高いかにより計算することができる。また、黒つぶれ量は、黒つぶれの発生度合いを示すものであり、例えば、所定の低輝度領域における頻度が、しきい値よりどれだけ高いかにより計算することができる。そして、白飛び量が大きいほど、目標輝度範囲を低輝度側に大きくシフトし、黒つぶれ量が大きいほど、目標輝度範囲を高輝度側に大きくシフトする。これにより、画面全体において白飛びや黒つぶれが発生しにくくなる。

なお、全画面のヒストグラムデータは、例えば、図２のステップＳ１０７の時点で、ヒストグラム検波部２３からあらかじめ取得しておけばよい。また、全画面の代わりに、顔以外の背景のヒストグラムデータを基に、黒つぶれ量および白飛び量を計算してもよい。

〔ステップＳ４０６〕マイクロコンピュータ１５は、図２のステップＳ１０４で算出した顔の重要度Ｗｆ（複数の顔が存在する場合は、例えばそれらの最大値）に応じて、目標輝度範囲の幅を調整する。ここでは、目標輝度範囲の幅の調整比率ｓｃａｌｅを求め、この値に応じて目標輝度範囲の幅を変化させて、目標輝度範囲の下限値Ｙａ＿ｌおよび上限値Ｙａ＿ｈを計算する。目標輝度範囲の幅の調整比率ｓｃａｌｅは、以下の式（１８）〜（２０）により求められる。ただし、ＷＬ，ＷＨは、それぞれ顔の重要度Ｗｆに対するしきい値であり、０≦ＷＬ＜ＷＨである。また、ＳＣＡＬＥ＿ＭＡＸは、調整比率ｓｃａｌｅの上限しきい値であり、ＳＣＡＬＥ＿ＭＡＸ＞１である。
［Ｗｆ≦ＷＬのとき］
ｓｃａｌｅ＝ＳＣＡＬＥ＿ＭＡＸ ……（１８）
［ＷＬ＜Ｗｆ≦ＷＨのとき］
ｓｃａｌｅ＝｛（ＳＣＡＬＥ＿ＭＡＸ−１）×（ＷＨ−Ｗｆ）｝／（ＷＨ−ＷＬ）＋１
……（１９）
［ＷＨ＜Ｗｆのとき］
ｓｃａｌｅ＝１ ……（２０）
ここで、図１５は、上記の式（１８）〜（２０）に基づく、顔の重要度Ｗｆと目標輝度範囲の幅の調整比率ｓｃａｌｅとの関係を示すグラフである。

上記の式（１８）〜（２０）および図１５に示すように、基本的に、顔の重要度Ｗｆが低いほど、目標輝度範囲を広くするようにされる。このような制御により、顔の重要度Ｗｆが高い場合には、その顔の露出ができるだけ適正になるように優先的に制御されるが、重要度Ｗｆが低ければ、目標輝度範囲を広げて、顔の検波量に基づく露出制御調整の効きを小さくして、顔と背景との双方の露出をバランスよく適正化するような制御が行われる。

なお、例えば、ステップＳ４０１において、目標輝度範囲を狭めに設定しておき、ステップＳ４０６では、顔の重要度Ｗｆが大きい場合には、調整比率ｓｃａｌｅが１以上になるようにして、目標輝度範囲を拡大できるようにしてもよい。

以上の図１３の処理により、顔の明るさだけでなく、顔と背景との明るさのバランスが良好になるように、目標輝度範囲が調整される。
＜露出制御量・フラッシュ制御情報の再計算＞
次に、図２のステップＳ１１０における、露出制御量およびフラッシュ制御情報の再計算処理について、詳しく説明する。この処理では、ステップＳ１０１で通常のＡＥ制御方法で求めた露出制御量およびフラッシュ制御情報と、ステップＳ１０８で判定したヒストグラムデータのピークなどの情報と、ステップＳ１０９で求めた目標輝度範囲とに基づいて、最終的な露出制御量およびフラッシュ制御情報を再計算する。これにより、顔の明るさが良好になり、かつ、背景などに黒つぶれや白飛びが生じず、顔と背景との明るさのバランスが良好になるように、露出制御が実行されるようになる。

図１６および図１７は、露出制御量およびフラッシュ制御情報の再計算処理の流れを示すフローチャートである。
〔ステップＳ５０１〕マイクロコンピュータ１５は、図９のステップＳ３０４の処理で求めた、ピーク位置に基づく限界輝度値Ｙｆ＿ｌ，Ｙｆ＿ｈと、図１３の処理で求めた目標輝度範囲の下限値Ｙａ＿ｌおよび上限値Ｙａ＿ｈとに基づいて、顔のヒストグラムデータのピーク領域の幅（Ｙｆ＿ｈ−Ｙｆ＿ｌ）と、目標輝度範囲の幅（Ｙａ＿ｈ−Ｙａ＿ｌ）とを比較する。ピーク領域の幅が目標輝度範囲より広い場合には、ステップＳ５０２の処理を実行し、ピーク領域の幅が目標輝度範囲の幅以下である場合には、ステップＳ５０６の処理を実行する。

この比較処理の実行後、マイクロコンピュータ１５は、ピーク位置あるいはピーク領域が目標輝度範囲に収まるように、露出制御量を調整する処理を行う。本実施の形態では、ピーク領域の幅が目標輝度範囲より広い場合には、ピーク位置が目標輝度範囲内に収まるように調整し、逆に、ピーク領域の幅が目標輝度範囲より狭い場合には、ピーク領域自体が目標輝度範囲内に収まるように調整する。

〔ステップＳ５０２〕マイクロコンピュータ１５は、顔のヒストグラムデータのピーク位置の輝度Ｙｆと、目標輝度範囲の上限値Ｙａ＿ｈとを比較し、ピーク位置の輝度Ｙｆの方が大きい場合には、ステップＳ５０３の処理を実行し、ピーク位置の輝度Ｙｆが上限値Ｙａ＿ｈ以下であれば、ステップＳ５０４の処理を実行する。

〔ステップＳ５０３〕顔のヒストグラムデータのピーク位置の輝度Ｙｆが、目標輝度範囲の上限値Ｙａ＿ｈよりも高輝度側にあるので、マイクロコンピュータ１５は、ピーク位置が低輝度側にシフトされるように、すなわち、入射光量を少なくするように、以下の式（２１）により、露出制御量の調整量ΔＥｖを計算する。これにより、ピーク位置が目標輝度範囲内に収まるような調整量ΔＥｖが求められる。
ΔＥｖ＝−ｌｏｇ_２（Ｙｆ／Ｙａ＿ｈ） ……（２１）
〔ステップＳ５０４〕マイクロコンピュータ１５は、顔のヒストグラムデータのピーク位置の輝度Ｙｆと、目標輝度範囲の下限値Ｙａ＿ｌとを比較する。

ここで、ピーク位置の輝度Ｙｆが下限値Ｙａ＿ｌ以上である場合には、ピーク位置が目標輝度範囲内にあり、顔と背景とのバランスが適正化されるような露出制御状態にあると考えられるので、処理を終了し、図２のステップＳ１０１で計算された露出制御量およびフラッシュ制御情報で、露出機構およびフラッシュ発光動作を制御する。また、ピーク位置の輝度Ｙｆが下限値Ｙａ＿ｌより小さい場合には、ステップＳ５０５の処理を実行する。

〔ステップＳ５０５〕顔のヒストグラムデータのピーク位置の輝度Ｙｆが、目標輝度範囲の下限値Ｙａ＿ｌより低輝度側にあるので、マイクロコンピュータ１５は、ピーク位置が高輝度側にシフトされるように、すなわち、入射光量を多くするように、以下の式（２２）により、露出制御量の調整量ΔＥｖを計算する。これにより、ピーク位置が目標輝度範囲内に収まるような調整量ΔＥｖが求められる。
ΔＥｖ＝−ｌｏｇ_２（Ｙｆ／Ｙａ＿ｌ） ……（２２）
〔ステップＳ５０６〕マイクロコンピュータ１５は、顔のヒストグラムデータのピーク位置に基づく限界輝度値Ｙｆ＿ｌと、目標輝度範囲の下限値Ｙａ＿ｌとを比較する。限界輝度値Ｙｆ＿ｌの方が小さい場合には、ステップＳ５０７の処理を実行し、限界輝度値Ｙｆ＿ｌが下限値Ｙａ＿ｌ以上である場合には、ステップＳ５０８の処理を実行する。

〔ステップＳ５０７〕顔のヒストグラムデータのピーク領域の少なくとも低輝度側領域が、目標輝度範囲から外れており、例えば図１０のように、露出アンダーの状態と判断できるので、マイクロコンピュータ１５は、ピーク位置が高輝度側にシフトされるように、すなわち、入射光量を多くするように、以下の式（２３）により、露出制御量の調整量ΔＥｖを計算する。これにより、ピーク領域が目標輝度範囲内に収まるような調整量ΔＥｖが求められる。
ΔＥｖ＝−ｌｏｇ_２（Ｙｆ＿ｌ／Ｙａ＿ｌ） ……（２３）
〔ステップＳ５０８〕マイクロコンピュータ１５は、ピーク位置に基づく限界輝度値Ｙｆ＿ｈと、目標輝度範囲の上限値Ｙａ＿ｈとを比較する。

ここで、限界輝度値Ｙｆ＿ｈが上限値Ｙａ＿ｈ以下である場合には、例えば図１１の状態のように、ピーク領域全体が目標輝度範囲内にあるので、処理を終了し、図２のステップＳ１０１で計算された露出制御量およびフラッシュ制御情報で、露出機構およびフラッシュ発光動作を制御する。また、限界輝度値Ｙｆ＿ｈが上限値Ｙａ＿ｈより大きい場合には、ステップＳ５０９の処理を実行する。

〔ステップＳ５０９〕顔のヒストグラムデータのピーク領域の少なくとも高輝度側領域が、目標輝度範囲から外れており、例えば図１２のように、露出オーバーの状態と判断できるので、マイクロコンピュータ１５は、ピーク位置が低輝度側にシフトされるように、すなわち、入射光量を少なくするように、以下の式（２４）により、露出制御量の調整量ΔＥｖを計算する。これにより、ピーク領域が目標輝度範囲内に収まるような調整量ΔＥｖが求められる。
ΔＥｖ＝−ｌｏｇ_２（Ｙｆ＿ｈ／Ｙａ＿ｈ） ……（２４）
〔ステップＳ５１０〕マイクロコンピュータ１５は、ステップＳ５０３，Ｓ５０５，Ｓ５０７，Ｓ５０９のいずれかで算出した調整量ΔＥｖが、０より大きいか否かを判定する。

ここで、調整量ΔＥｖが０より小さい場合には、図２のステップＳ１０１で計算された露出制御量Ｅｖが、理想的な量より低いため、仮に現状の露出制御量Ｅｖで制御した場合には、露出オーバーになることがわかる。このため、仮にこの露出制御量Ｅｖに対して調整量ΔＥｖを適用した場合（ここでは、露出制御量Ｅｖから調整量ΔＥｖを減算する）には、露光量が少なくなって、黒つぶれが生じる可能性がある。そこで、調整量ΔＥｖが０より小さい場合（ここでは、ΔＥｖ＝０の場合も含む）には、ステップＳ５１１〜Ｓ５１３の処理を実行して、黒つぶれが生じないように輝度の階調を補正する。

また、調整量ΔＥｖが０より大きい場合には、図２のステップＳ１０１で計算された露出制御量Ｅｖが、理想的な量より高いため、仮に現状の露出制御量Ｅｖで制御した場合には、露出アンダーになることがわかる。このため、仮にこの露出制御量Ｅｖに対して調整量ΔＥｖを適用した場合には、露光量が多くなって、白飛びが生じる可能性がある。そこで、調整量ΔＥｖが０より大きい場合には、ステップＳ５１５〜Ｓ５２１の処理を実行して、白飛びが生じないように、輝度の階調補正や調整量ΔＥｖの補正、フラッシュ発光の可否判断などを行うようにする。

〔ステップＳ５１１〕マイクロコンピュータ１５は、調整量ΔＥｖを適用した場合に露出量が不十分になり、黒つぶれが生じる可能性のある画面領域の割合を示す予測黒つぶれ率Ｒｉを、画面全体の輝度のヒストグラムデータを基に計算する。具体的には、例えば図１２のグラフに示すように、輝度レベルが所定のしきい値より低い低輝度領域ＶＬ１を設定し、この低輝度領域ＶＬ１に含まれる画素数を全画面のヒストグラムデータから求め、全画面の画素数に対する、低輝度領域ＶＬ１内の画素数の比率を、予測黒つぶれ率Ｒｉとする。

〔ステップＳ５１２〕マイクロコンピュータ１５は、算出した予測黒つぶれ率Ｒｉを、しきい値Ｒｉ＿ｔｈｒと比較する。予測黒つぶれ率Ｒｉがしきい値Ｒｉ＿ｔｈｒより大きいときは、ステップＳ５１３の処理を実行し、予測黒つぶれ率Ｒｉがしきい値Ｒｉ＿ｔｈｒ以下である場合は、ステップＳ５１４の処理を実行する。

〔ステップＳ５１３〕低輝度領域ＶＬ１に対応する被写体に黒つぶれが生じる可能性が高いと判断されるので、マイクロコンピュータ１５は、入力画像信号の輝度を、ガンマ曲線などを用いて変換して、低輝度側の階調を上げるように、カメラ信号処理回路１４を制御する。これにより、調整量ΔＥｖを適用した後の撮像画像信号に対して階調補正が施され、低輝度領域の画質が改善される。この後、ステップＳ５１４の処理を実行する。

なお、このステップＳ５１３で利用する階調補正機能は、カメラ信号処理回路１４の画像前処理部２１または画像処理部２２が備えている。ただし、ヒストグラム検波部２３は、輝度情報を階調補正前の画像信号から検波する必要がある。

〔ステップＳ５１４〕マイクロコンピュータ１５は、この時点での調整量ΔＥｖを、露出制御量Ｅｖに適用して、露出制御量Ｅｖを更新する。ここでは、露出制御量Ｅｖから調整量ΔＥｖを減算する。そして、更新後の露出制御量Ｅｖを用いて、露出機構を制御する。

ここで、上記のステップＳ５１２〜Ｓ５１４の処理について、例を挙げてさらに説明する。まず、図１８は、ステップＳ５１１の時点で、図１２の状態から調整量ΔＥｖを適用した場合のヒストグラムデータを示す図である。

図１２の状態では、顔の露出量が高過ぎるため、調整量ΔＥｖを適用すると、図１８に示すように、全体的に輝度が低くなった撮像画像が得られる。このとき、露出補正前の図１２に示す低輝度領域ＶＬ１に含まれる画素は、図１８に示す低輝度領域ＶＬ２に含まれるようになる。低輝度領域ＶＬ２の上限は、露出補正前の低輝度領域ＶＬ１の上限より低輝度側に移動するため、低輝度領域ＶＬ２に含まれる画素は、調整量ΔＥｖの適用により露出量が不十分となり、黒つぶれが生じる可能性が高くなる。

そこで、図１７のステップＳ５１２では、露出補正前の低輝度領域ＶＬ１に含まれる画面領域の割合が高いときには、この領域に黒つぶれが発生する可能性が高いと判断して、ステップＳ５１３の処理により、低輝度側の輝度の階調を上げるようにする。

図１９は、図１７のステップＳ５１３で利用される補正曲線の一例である。
図１９に示すように、ステップＳ５１３の階調補正では、例えば、入力輝度信号の低輝度成分を高くするようなガンマ曲線を利用することができる。このような補正曲線は、予測黒つぶれ率Ｒｉや顔のヒストグラムデータのピーク位置など変化させたテスト結果に基づいて、あらかじめ設定される。

図２０は、図１２の状態から、階調補正後に調整量ΔＥｖを適用した場合のヒストグラムデータを示す図である。
例として、図１２に対応する画像を基に、階調補正を行った後、調整量ΔＥｖを適用して露出調整することで、図２０に示すようなヒストグラムを持つ撮像画像が得られる。ただし、この画像はカメラ信号処理回路１４からの出力画像信号に基づく画像である。

図１２の低輝度領域ＶＬ１に含まれる画素は、図２０に示す低輝度領域ＶＬ３に含まれるようになるが、低輝度領域ＶＬ３の上限は低輝度領域ＶＬ１とほとんど変わらなくなる。従って、露出調整後においても、低輝度成分に階調を持たせることができるようになり、黒つぶれを発生しにくくすることが可能になる。

以下、図１７に戻って説明する。
〔ステップＳ５１５〕マイクロコンピュータ１５は、調整量ΔＥｖを適用した場合に露出量が過多になり、白飛びが生じる可能性のある画面領域の割合を示す予測白飛び率Ｒｏを、画面全体の輝度のヒストグラムデータを基に計算する。具体的には、例えば図１０のグラフに示すように、輝度レベルが所定のしきい値より高い高輝度領域ＶＨ１を設定し、この高輝度領域ＶＨ１に含まれる画素数を全画面のヒストグラムデータから求め、全画面の画素数に対する、高輝度領域ＶＨ１内の画素数の比率を、予測白飛び率Ｒｏとする。

〔ステップＳ５１６〕マイクロコンピュータ１５は、算出した予測白飛び率Ｒｏを、しきい値Ｒｏ＿ｔｈｒと比較する。
ここで、予測白飛び率Ｒｏがしきい値Ｒｏ＿ｔｈｒ以下の場合には、白飛びが発生する確率が低いと判断して、ステップＳ５１４に進み、このときの調整量ΔＥｖを適用して露出制御を実行する。一方、予測白飛び率Ｒｏがしきい値Ｒｏ＿ｔｈｒより大きい場合は、ステップＳ５１７の処理を実行する。

〔ステップＳ５１７〕マイクロコンピュータ１５は、被写体に対してフラッシュの光が届くか否かを判断し、届くと判断した場合はステップＳ５１８の処理を、届かないと判断した場合はステップＳ５２０の処理を実行する。なお、例えば、マイクロコンピュータ１５は、フォーカスを合わせるためのレンズ位置の制御量に基づき、被写体までの距離を推測することができ、この距離の推定値があらかじめ設定されたしきい値以下であれば、フラッシュの光が届くと判断できる。

〔ステップＳ５１８〕マイクロコンピュータ１５は、ユーザの設定操作により、現在、フラッシュの発光が禁止されているか否かを判断し、禁止されている場合はステップＳ５１９の処理を、禁止されていない場合にはステップＳ５２１の処理を実行する。

〔ステップＳ５１９〕マイクロコンピュータ１５は、ユーザに対して、フラッシュを発光させるように警告するための制御を実行する。例えば、ディスプレイ１７上に警告情報を表示するように、グラフィックＩ／Ｆ回路１６に対して制御情報を出力する。

〔ステップＳ５２０〕マイクロコンピュータ１５は、入力画像信号の輝度を、γ曲線などを用いて変換して、顔の輝度成分付近の階調を上げるように、カメラ信号処理回路１４を制御するとともに、調整量ΔＥｖを更新して、その値を小さくする。これにより、更新後の調整量ΔＥｖを適用したときの撮像画像信号に対して階調補正が施されて、顔の明るさが補正される。この後、ステップＳ５１４に進み、更新後の調整量ΔＥｖを適用して露出制御を実行する。

〔ステップＳ５２１〕マイクロコンピュータ１５は、フラッシュ発光部１９に対してフラッシュを発光するように要求する制御情報を出力する。この後、通常のＡＥ制御方法により算出された露出制御量Ｅｖをそのまま用いて、露出制御を実行する。すなわち、このときにシャッタレリーズボタンが押下された場合には、通常のＡＥ制御方法による露出制御量Ｅｖを適用した露出制御が行われるとともに、フラッシュが発光されるようになる。

ここで、上記のステップＳ５１５〜Ｓ５２１の処理について、例を挙げてさらに説明する。まず、図２１は、図１０の状態から調整量ΔＥｖを適用した場合のヒストグラムデータを示す図である。

図１０の状態では、顔の露出量が低過ぎるため、調整量ΔＥｖを適用すると、図２１に示すように、全体的に輝度が高くなった撮像画像が得られる。このとき、露出補正前の図１０に示す高輝度領域ＶＨ１に含まれる画素は、図２１に示す高輝度領域ＶＨ２に含まれるようになる。高輝度領域ＶＨ２の下限は、露出補正前の高輝度領域ＶＨ１の下限より高輝度側に移動するため、高輝度領域ＶＨ２に含まれる画素は、調整量ΔＥｖの適用により露出量が過多となり、白飛びが生じる可能性が高くなる。

しかし、このとき、被写体すなわち顔に対してフラッシュの光が届くならば、調整量ΔＥｖを適用しなくても、顔をより明るく撮像し、かつ背景などの白飛びを防止することができる。従って、フラッシュの光が届く距離内に顔が存在し（ステップＳ５１７）、フラッシュの発光が可能である場合（ステップＳ５１８）には、通常のＡＥ制御により算出された露出制御量Ｅｖをそのまま適用して露出補正を実行し、かつ、フラッシュを発光させる（ステップＳ５２１）ことで、白飛びを防止しつつ、顔と背景との明るさのバランスを良好にして撮像することができる。

一方、顔に対してフラッシュの光が届かない場合や、フラッシュの発光が禁止されている場合には、ステップＳ５２０の処理により、以下で説明するように、調整量ΔＥｖの補正と輝度の階調補正とにより、白飛びを防止しつつ、顔の明るさを良好にする。

図２２は、図１０の状態から、調整量ΔＥｖより低い値（調整量ΔＥｖ’）を適用した場合のヒストグラムデータを示す図である。
図１０のような撮像画像に、算出された調整量ΔＥｖより低い調整量ΔＥｖ’を適用すると、露出補正前の図１０に示す高輝度領域ＶＨ１に含まれる画素は、図２２に示す高輝度領域ＶＨ３に含まれるようになる。ここで、高輝度領域ＶＨ３の下限が、露出補正前の高輝度領域ＶＨ１の下限からほとんど変化しないように、調整量ΔＥｖ’を設定すれば、高輝度領域の階調を残し、白飛びの発生を防止できる。

しかし、このとき、顔の露出量は理想より少なくなる。すなわち、図２２の場合における顔のヒストグラムデータのピーク位置の輝度をＹｆ’，そのピーク位置に基づく限界輝度値をＹｆ＿ｌ’とすると、Ｙａ＿ｌ−Ｙｆ＿ｌ’だけの制御目標値のずれが生じる。そこで、ステップＳ５２０では、調整量ΔＥｖ’により白飛びを防止し、顔の制御目標値のずれについては、顔の輝度成分付近の階調を補正することで解消する。

まず、調整量ΔＥｖ’は、以下の式（２５）により算出される。
ΔＥｖ’＝ΔＥｖ＋ｌｏｇ_２（Ｙｆ＿ｌ’／Ｙａ＿ｌ） ……（２５）
また、図２３は、図１７のステップＳ５２０で利用される補正曲線の一例である。

図２３に示すように、ステップＳ５２０の階調補正では、例えば、顔の輝度成分付近において、輝度の出力を高くするようなガンマ曲線を利用することができる。より具体的には、図２３のように、目標輝度領域の下限値Ｙａ＿ｌと限界輝度値Ｙｆ＿ｌ’との間の領域において、ガンマ曲線の傾きを大きくする。このような画像信号の補正により、顔をより明るくすることができる。

ステップＳ５２０では、上記の式（２５）と補正曲線とに基づいて調整量ΔＥｖ’を計算し、算出した調整量ΔＥｖ’で、それまでの調整量ΔＥｖを更新するとともに、補正曲線に基づく階調補正をカメラ信号処理回路１４に対して要求する。具体的には、例えば、傾きの異なる補正曲線（ガンマ曲線）をあらかじめ複数用意しておき、それらの各補正曲線に調整量ΔＥｖを適用して、Ｙｆ＿ｌ’それぞれを算出する。そして、Ｙｆ＿ｌ’が最適となる補正曲線を選択してカメラ信号処理回路１４に適用するとともに、そのＹｆ＿ｌ’を式（２５）に適用して、調整量ΔＥｖ’を算出し、調整量ΔＥｖを更新する。

図２４は、図１０の状態から、調整量ΔＥｖ’を適用し、かつ階調補正を行った場合のヒストグラムデータを示す図である。
上記のように、ΔＥｖ’を計算してその値に基づいて露出補正を行うとともに、階調補正を行うことにより、図２４に示すように、露出補正前の高輝度領域ＶＨ１に対応する高輝度領域ＶＨ４をできるだけ小さくせずに、顔のヒストグラムデータのピーク位置を目標輝度範囲内に収めることが可能となる。従って、背景などの白飛びを防止しつつ、顔を適切な明るさにすることができ、顔と背景との明るさのバランスを良好にすることが可能となる。

なお、以上のステップＳ５１５〜Ｓ５２１に関する説明は、図１６のフローチャートにおいて、ステップＳ５０７の処理により調整量ΔＥｖが算出された場合について述べたものである。しかし、ステップＳ５０５の処理により調整量ΔＥｖが算出された場合には、ステップＳ５２０では、以下の式（２６）により調整量ΔＥｖ’を計算する。なお、Ｙｆ’は、調整量ΔＥｖ’を適用した場合の、顔のヒストグラムデータのピーク位置の輝度である。このＹｆ’は、上記の式（２５）におけるＹｆ＿ｌ’の場合と同様に求めることができる。
ΔＥｖ’＝ΔＥｖ＋ｌｏｇ_２（Ｙｆ’／Ｙａ＿ｌ） ……（２６）
また、ステップＳ５２０での階調補正では、例えば、上記の図２３中の限界輝度値Ｙｆ＿ｌ’の代わりに、ピーク位置の輝度Ｙｆ’を適用すればよい。すなわち、目標輝度領域の下限値Ｙａ＿ｌとピーク位置との間の領域において、ガンマ曲線の傾きを大きくして、輝度の出力を高めるようにすればよい。

なお、カメラ信号処理回路１４は、通常、画像信号をガンマ曲線などにより階調補正する機能を備えているが、ヒストグラム検波部２３は、階調補正前の画像信号を基に輝度を検波することで、上記の処理により適切な露出制御を行うことが可能となる。しかし、ヒストグラム検波部２３が、階調補正後の画像信号を基に輝度を検波する構成の場合には、顔に対する目標輝度範囲の下限値Ｙａ＿ｌおよび上限値Ｙａ＿ｈを、階調補正の特性を考慮して設定する必要がある。

＜実施の形態における主な効果＞
以上説明したように、本実施の形態の撮像装置によれば、ポートレート・モードなど、顔の明るさを良好にするための動作モードに設定せずに、オート撮像モードのままで、撮像画像内に顔を検出すると、自動的に、その顔の明るさを良好にするような露出制御が実行される。従って、設定操作を理解していない初心者などでも、顔の画質が改善された画像を手軽に撮像できるようになる。

また、検出された顔の重要度に応じて、顔を適正化する露出制御を行うか否かの判断を行ったり、目標輝度範囲のシフト量を変化させることにより、ユーザの撮像目的を推定して、顔の明るさを重視した露出制御、背景の明るさを重視した露出制御、顔と背景の明るさのバランスを重視した露出制御などを、自動的に切り換えて実行できるようになる。従って、多様な状況下で、明るさが適正化された画像を撮像できる。

また、顔のヒストグラムデータのピーク位置やピーク領域に基づいて、露出の適正化を図ることにより、顔の明るさを高精度に適正化できるようになる。例えば、従来、顔の領域を代表する輝度値として、顔の領域の平均輝度値を用いて露出制御を行うことが行われていたが、顔の検出エラーが発生した場合には、顔の平均輝度値は比較的大きく変化してしまうので、誤った露出制御が行われる可能性が高い。これに対して、顔のヒストグラムデータのピーク位置やピーク領域は、顔の検出エラー（特に、重要度の低い顔の検出エラー）が発生した場合でも、大きく変化することはないため、露出制御の精度が向上する。

また、顔のヒストグラムデータのピーク位置だけでなく、必要に応じてピーク領域に基づいて露出を制御し、さらに、目標輝度範囲を設定することで、輝度の制御目標に幅を持たせたことにより、顔の明るさだけを重視した極端な露出制御を行わずに、顔と背景との明るさのバランスを考慮した、自然な撮像画像を得ることが可能となる。また、輝度の検波値に基づいて、黒つぶれや白飛びの発生する可能性を予測して、露出制御に利用することにより、顔と背景との明るさのバランスをより良好にすることができる。

＜目標輝度範囲のシフト時の他の処理例＞
上記の図１３のステップＳ４０２では、顔領域から検波された色情報に基づいて、目標輝度範囲をシフトしている。この処理の例として、上述したように、顔の彩度に応じて顔の反射率を判断し、目標輝度範囲をシフトする処理が考えられる。しかし、この処理では、特に、顔の彩度が低い場合に、反射率を正確に判断できなくなる。これに対して、目の領域の輝度を検出し、その輝度を基準にして顔の平均輝度と比較し、その比較結果を用いることで、顔の反射率をより正確に判断することができるようになる。

図２５は、目の検波領域の設定例を示す図である。なお、ここでは例として、通常枠方式により色の検波枠を設定した場合について説明する。
マイクロコンピュータ１５は、顔検出部２５からの顔の検出結果に基づき、例えば、あらかじめ用意された顔の形状パターンなどに従って、顔の領域の検波枠１３１と、目の検波枠１３２および１３３とを、色検波部２４に対して設定する。そして、これらの検波枠１３１〜１３３からの色の検出情報を取得し、目の領域の平均輝度を計算した後、その値と、顔の平均輝度との比率を計算する。計算された比率が小さい場合には、顔の反射率が高いと判断して、目標輝度範囲を高輝度側にシフトする。また、目の領域の平均輝度と比較して、顔の平均輝度の方が顕著に小さい場合には、顔の反射率が低いと判断して、目標輝度範囲を低輝度側にシフトする。このような処理により、被写体の肌の色に関係なく、顔の明るさをより正確に適正化することができる。

＜その他の変形例＞
上述したように、上記の実施の形態では、目標輝度範囲を設定することで、輝度の制御目標に幅を持たせたことにより、顔と背景との明るさのバランスを考慮した露出制御を行うことが可能となっている。ここで、目標輝度範囲を狭めることにより、顔の明るさをより重視した露出制御を行うことも可能となる。このため、ユーザの設定により、目標輝度範囲を可変にしてもよい。例えば、ポートレート・モードに設定された場合には、目標輝度を一点にして制御し、風景の撮像に適した撮像モードに設定された場合には、目標輝度範囲を広くするといった制御を適用できる。

また、ポートレート・モードに設定したときに、顔の重要度をより高く設定するようにしてもよい。これにより、顔の明るさがより重視されるように、目標輝度範囲がシフトされるようになる。

また、上記の黒つぶれおよび白飛びの判定処理では、全画面における輝度あるいはそのヒストグラムデータの検波値を利用したが、例えば、顔を除く背景からの検波値を用いて処理してもよい。また、顔と背景の双方の検波値から、個別に黒つぶれや白飛びの発生を判定してもよい。なお、ヒストグラム検波部２３に対して、顔の検波枠を設定する構成の場合には、背景の検波値は、顔の検波値と全画面の検波値とから、マイクロコンピュータ１５により演算により求める必要がある。その反面、背景の検波値に基づいて判定した場合には、特に顔の面積が大きい場合に、背景の黒つぶれおよび白飛びを正確に判定できるというメリットがある。

また、図３において説明した顔の重要度判定の処理は、上記の実施の形態のような露出制御以外に、以下のような用途にも利用することも可能である。例えば、重要度の高い顔に対してフォーカスが合うように、フォーカスレンズを制御する。また、重要度の高い顔が存在する場合には、人物の色を適正化するような専用のガンマ曲線を用いて、色の階調補正を行ったり、アパーチャコントローラに対して、人物の撮像に適したパラメータを適用する。また、重要度の高い顔とその周囲の部分を切り出し、写真枠などを合成する。さらに、このような処理を、撮像素子から得られた画像信号からでなく、記録媒体に記録された画像信号や、ネットワークを通じて受信した画像信号を基に実行することも可能である。

また、本発明は、デジタルビデオカメラ、デジタルスチルカメラなどの固体撮像素子を用いた種々の撮像装置、および、このような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用することができる。さらに、ＰＣ（パーソナルコンピュータ）などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラに対する制御装置にも、本発明を適用することができる。

また、画像信号の入力を受けて画質補正を行う画像処理装置にも、本発明を適用可能である。この場合、上述した処理により目標輝度範囲を設定した後、ヒストグラムデータのピーク位置やピーク領域などの情報と、目標輝度範囲とに基づいて、露出機構を制御する代わりに、入力画像信号の輝度を調整することで、顔や背景の明るさを補正する。

また、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（上記の露出制御機能、入力画像信号の輝度調整機能、顔の重要度判定機能など）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。 露出制御およびフラッシュ発光制御の処理全体の流れを示すフローチャートである。 顔の重要度計算の処理手順を示すフローチャートである。 顔の割合と顔のサイズ重要度因子との対応を示すグラフである。 画面中心領域と顔との距離の計算方法を説明するための図である。 夾角の計算方法を説明するための図である。 顔の位置重要度因子および位置姿勢重要度因子の計算方法を説明するためのグラフである。 顔の検出結果に基づく検波枠の設定方法を説明するための図である。 ヒストグラムデータのピーク判定処理の流れを示すフローチャートである。 顔および背景の輝度のヒストグラムデータの検出例を示す図（その１）である。 顔および背景の輝度のヒストグラムデータの検出例を示す図（その２）である。 顔および背景の輝度のヒストグラムデータの検出例を示す図（その３）である。 目標輝度範囲の設定処理の流れを示すフローチャートである。 外光量と目標輝度範囲のシフト量との関係を示すグラフである。 顔の重要度と目標輝度範囲の幅の調整比率との関係を示すグラフである。 露出制御量およびフラッシュ制御情報の再計算処理の流れを示すフローチャート（その１）である。 露出制御量およびフラッシュ制御情報の再計算処理の流れを示すフローチャート（その２）である。 ステップＳ５１１の時点で、図１２の状態から調整量を適用した場合のヒストグラムデータを示す図である。 図１７のステップＳ５１３で利用される補正曲線の一例である。 図１２の状態から、階調補正後に調整量を適用した場合のヒストグラムデータを示す図である。 図１０の状態から調整量を適用した場合のヒストグラムデータを示す図である。 図１０の状態から、算出された値より低い調整量を適用した場合のヒストグラムデータを示す図である。 図１７のステップＳ５２０で利用される補正曲線の一例である。 図１０の状態から、補正された調整量を適用し、かつ階調補正を行った場合のヒストグラムデータを示す図である。 目の検波領域の設定例を示す図である。

符号の説明

１１……光学ブロック、１１ａ……ドライバ、１２……撮像素子、１２ａ……タイミングジェネレータ（ＴＧ）１３……ＡＦＥ回路、１４……カメラ信号処理回路、１５……マイクロコンピュータ、１６……グラフィックＩ／Ｆ回路、１７……ディスプレイ、１８……入力部、１９……フラッシュ発光部、２１……画像前処理部、２２……画像処理部、２３……ヒストグラム検波部、２４……色検波部、２５……顔検出部

Claims (18)

1. 固体撮像素子と、前記固体撮像素子での受光量または前記固体撮像素子からの出力信号に対するゲインの少なくとも一方を調整することで露出を調整する露出調整機構と、フラッシュ発光部とを備える撮像装置の撮像動作を制御する撮像制御装置において、
   前記露出調整機構に対する制御量を所定の制御量とすることで前記固体撮像素子から得られた撮像画像信号に基づいて、撮像画像内の人物の顔を検出する顔検出手段と、
   前記顔検出手段による検出情報に基づいて前記撮像画像における顔の検波領域を設定し、前記撮像画像信号から、少なくとも前記顔の検波領域における輝度を検波して、そのヒストグラムデータを算出するヒストグラムデータ算出手段と、
   顔の明るさに適した目標輝度範囲を設定する目標輝度設定手段と、
   前記顔検出手段により顔が検出された場合に、前記目標輝度範囲と、前記顔の検波領域に対応するヒストグラムデータのピーク位置での輝度、または前記ピーク位置の周辺の輝度領域とを比較し、その比較結果に基づいて前記露出調整機構に対する制御量を補正する露出補正手段と、
   前記露出補正手段による補正後の制御量を用いて前記露出調整機構を制御したときの、前記撮像画像における白飛びの発生度合いを予測する白飛び予測手段と、
   を有し、
   前記白飛び予測手段により予測された白飛びの発生度合いが所定のしきい値を超えているとき、前記露出補正手段は、検出された顔との距離を判定し、検出された顔が前記フラッシュ発光部からの光が届く範囲にない場合には、補正後の制御量を用いて前記露出調整機構を制御し、検出された顔が前記フラッシュ発光部からの光が届く範囲にある場合には、前記露出調整機構に対する制御量を補正せずに、前記フラッシュ発光部に発光を要求することを特徴とする撮像制御装置。
2. 撮像者に対してフラッシュを発光させるようにディスプレイに警告情報を表示させるための表示情報を生成する表示制御手段をさらに有し、
   前記白飛び予測手段により予測された白飛びの発生度合いが所定のしきい値を超えており、かつ、検出された顔が前記フラッシュ発光部からの光が届く範囲にあるとき、前記フラッシュ発光部での発光が禁止された状態でない場合には、前記露出補正手段が、前記露出調整機構に対する制御量を補正せずに、前記フラッシュ発光部に発光を要求し、前記フラッシュ発光部での発光が禁止された状態である場合には、前記露出補正手段が、補正後の制御量を用いて前記露出調整機構を制御するとともに、前記表示制御手段が、前記表示情報を生成して前記警告情報を前記ディスプレイに表示させる、
   ことを特徴とする請求項１記載の撮像制御装置。
3. 前記撮像画像信号に対して輝度の階調補正を施す階調補正手段をさらに有し、
   前記白飛び予測手段により予測された白飛びの発生度合いが所定のしきい値を超えており、かつ、検出された顔が前記フラッシュ発光部からの光が届く範囲にあり、かつ、前記フラッシュ発光部での発光が禁止された状態である場合には、前記露出補正手段が、前記露出調整機構に対する制御量の補正量を、露光量が少なくなるようにさらに補正するとともに、前記階調補正手段が、前記目標輝度範囲の下限と、前記ピーク位置または前記ピーク位置の周辺の輝度領域の下限との間を含む輝度領域の輝度および階調を高めるように補正する、
   ことを特徴とする請求項１または２記載の撮像制御装置。
4. 前記撮像装置が備えるレンズの位置を制御することでフォーカスを合わせるフォーカス制御手段をさらに有し、
   前記露出補正手段は、前記フォーカス制御手段によるレンズの位置の制御量に基づいて、検出された顔との距離を判定する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の撮像制御装置。
5. 前記露出補正手段は、前記顔の検波領域に対応するヒストグラムデータのピーク位置での輝度、または前記ピーク位置の周辺の輝度領域が、前記目標輝度範囲に収まるように、前記露出調整機構に対する制御量を補正することを特徴とする請求項１〜４のいずれか１項に記載の撮像制御装置。
6. 前記ピーク位置の周辺の輝度領域は、前記顔の検波領域に対応するヒストグラムデータの頻度ピーク値に応じて設定されるしきい値以上の頻度を持つ輝度領域であることを特徴とする請求項１〜５のいずれか１項に記載の撮像制御装置。
7. 固体撮像素子を用いて画像を撮像する撮像装置において、
   前記固体撮像素子での受光量または前記固体撮像素子からの出力信号に対するゲインの少なくとも一方を調整することで露出を調整する露出調整機構と、
   フラッシュを発光するフラッシュ発光部と、
   前記露出調整機構に対する制御量を所定の制御量とすることで前記固体撮像素子から得られた撮像画像信号に基づいて、撮像画像内の人物の顔を検出する顔検出手段と、
   前記顔検出手段による検出情報に基づいて前記撮像画像における顔の検波領域を設定し、前記撮像画像信号から、少なくとも前記顔の検波領域における輝度を検波して、そのヒストグラムデータを算出するヒストグラムデータ算出手段と、
   顔の明るさに適した目標輝度範囲を設定する目標輝度設定手段と、
   前記顔検出手段により顔が検出された場合に、前記目標輝度範囲と、前記顔の検波領域に対応するヒストグラムデータのピーク位置での輝度、または前記ピーク位置の周辺の輝度領域とを比較し、その比較結果に基づいて露出調整機構に対する制御量を補正する露出補正手段と、
   前記露出補正手段による補正後の制御量を用いて前記露出調整機構を制御したときの、前記撮像画像における白飛びの発生度合いを予測する白飛び予測手段と、
   を有し、
   前記白飛び予測手段により予測された白飛びの発生度合いが所定のしきい値を超えているとき、前記露出補正手段は、検出された顔との距離を判定し、検出された顔が前記フラッシュ発光部からの光が届く範囲にない場合には、補正後の制御量を用いて前記露出調整機構を制御し、検出された顔が前記フラッシュ発光部からの光が届く範囲にある場合には、前記露出調整機構に対する制御量を補正せずに、前記フラッシュ発光部に発光を要求することを特徴とする撮像装置。
8. ディスプレイと、
   撮像者に対してフラッシュを発光させるように前記ディスプレイに警告情報を表示させるための表示情報を生成する表示制御手段をさらに有し、
   前記白飛び予測手段により予測された白飛びの発生度合いが所定のしきい値を超えており、かつ、検出された顔が前記フラッシュ発光部からの光が届く範囲にあるとき、前記フラッシュ発光部での発光が禁止された状態でない場合には、前記露出補正手段が、前記露出調整機構に対する制御量を補正せずに、前記フラッシュ発光部に発光を要求し、前記フラッシュ発光部での発光が禁止された状態である場合には、前記露出補正手段が、補正後の制御量を用いて前記露出調整機構を制御するとともに、前記表示制御手段が、前記表示情報を生成して前記警告情報を前記ディスプレイに表示させる、
   ことを特徴とする請求項７記載の撮像装置。
9. 前記撮像画像信号に対して輝度の階調補正を施す階調補正手段をさらに有し、
   前記白飛び予測手段により予測された白飛びの発生度合いが所定のしきい値を超えており、かつ、検出された顔が前記フラッシュ発光部からの光が届く範囲にあり、かつ、前記フラッシュ発光部での発光が禁止された状態である場合には、前記露出補正手段が、前記露出調整機構に対する制御量の補正量を、露光量が少なくなるようにさらに補正するとともに、前記階調補正手段が、前記目標輝度範囲の下限と、前記ピーク位置または前記ピーク位置の周辺の輝度領域の下限との間を含む輝度領域の輝度および階調を高めるように補正する、
   ことを特徴とする請求項７または８記載の撮像装置。
10. レンズの位置を制御することでフォーカスを合わせるフォーカス制御手段をさらに有し、
    前記露出補正手段は、前記フォーカス制御手段によるレンズの位置の制御量に基づいて、検出された顔との距離を判定する、
    ことを特徴とする請求項７〜９のいずれか１項に記載の撮像装置。
11. 前記露出補正手段は、前記顔の検波領域に対応するヒストグラムデータのピーク位置での輝度、または前記ピーク位置の周辺の輝度領域が、前記目標輝度範囲に収まるように、前記露出調整機構に対する制御量を補正することを特徴とする請求項７〜１０のいずれか１項に記載の撮像装置。
12. 前記ピーク位置の周辺の輝度領域は、前記顔の検波領域に対応するヒストグラムデータの頻度ピーク値に応じて設定されるしきい値以上の頻度を持つ輝度領域であることを特徴とする請求項７〜１１のいずれか１項に記載の撮像装置。
13. 固体撮像素子と、前記固体撮像素子での受光量または前記固体撮像素子からの出力信号に対するゲインの少なくとも一方を調整することで露出を調整する露出調整機構と、フラッシュ発光部とを備える撮像装置の撮像動作を制御する撮像制御方法において、
    顔検出手段が、前記露出調整機構に対する制御量を所定の制御量とすることで前記固体撮像素子から得られた撮像画像信号に基づいて、撮像画像内の人物の顔を検出するステップと、
    ヒストグラムデータ算出手段が、前記顔検出手段による検出情報に基づいて前記撮像画像における顔の検波領域を設定し、前記撮像画像信号から、少なくとも前記顔の検波領域における輝度を検波して、そのヒストグラムデータを算出するステップと、
    目標輝度設定手段が、顔の明るさに適した目標輝度範囲を設定するステップと、
    露出補正手段が、前記顔検出手段により顔が検出された場合に、前記目標輝度範囲と、前記顔の検波領域に対応するヒストグラムデータのピーク位置での輝度、または前記ピーク位置の周辺の輝度領域とを比較し、その比較結果に基づいて前記露出調整機構に対する制御量の補正値を算出するステップと、
    白飛び予測手段が、前記補正値が適用された制御量を用いて前記露出調整機構を制御したときの、前記撮像画像における白飛びの発生度合いを予測するステップと、
    前記白飛び予測手段により予測された白飛びの発生度合いが所定のしきい値を超えているとき、前記露出補正手段が、検出された顔との距離を判定し、検出された顔が前記フラッシュ発光部からの光が届く範囲にない場合には、補正後の制御量を用いて前記露出調整機構を制御し、検出された顔が前記フラッシュ発光部からの光が届く範囲にある場合には、前記露出調整機構に対する制御量を補正せずに、前記フラッシュ発光部に発光を要求するステップと、
    を含むことを特徴とする撮像制御方法。
14. 前記白飛び予測手段により予測された白飛びの発生度合いが所定のしきい値を超えており、かつ、検出された顔が前記フラッシュ発光部からの光が届く範囲にあるとき、前記フラッシュ発光部での発光が禁止された状態でない場合には、前記露出補正手段が、前記露出調整機構に対する制御量を補正せずに、前記フラッシュ発光部に発光を要求し、前記フラッシュ発光部での発光が禁止された状態である場合には、前記露出制御手段が、補正後の制御量を用いて前記露出調整機構を制御するとともに、表示制御手段が、撮像者に対してフラッシュを発光させるように警告情報を表示させるための表示情報を生成してディスプレイに表示させることを特徴とする請求項１３記載の撮像制御方法。
15. 前記白飛び予測手段により予測された白飛びの発生度合いが所定のしきい値を超えており、かつ、検出された顔が前記フラッシュ発光部からの光が届く範囲にあり、かつ、前記フラッシュ発光部での発光が禁止された状態である場合には、前記露出補正手段が、算出した前記補正量を露光量が少なくなるようにさらに補正するとともに、前記撮像画像信号に対して輝度の階調補正を施す階調補正手段が、前記目標輝度範囲の下限と、前記ピーク位置または前記ピーク位置の周辺の輝度領域の下限との間を含む輝度領域の輝度および階調を高めるように補正する、
    ことを特徴とする請求項１３または１４記載の撮像制御方法。
16. 前記露出補正手段は、前記撮像装置が備えるレンズの位置を制御することでフォーカスを合わせるフォーカス制御手段による、レンズの位置の制御量に基づいて、検出された顔との距離を判定することを特徴とする請求項１３〜１５のいずれか１項に記載の撮像制御方法。
17. 前記露出補正手段は、前記顔の検波領域に対応するヒストグラムデータのピーク位置での輝度、または前記ピーク位置の周辺の輝度領域が、前記目標輝度範囲に収まるように、前記補正量を算出することを特徴とする請求項１３〜１６のいずれか１項に記載の撮像制御方法。
18. 前記ピーク位置の周辺の輝度領域は、前記顔の検波領域に対応するヒストグラムデータの頻度ピーク値に応じて設定されるしきい値以上の頻度を持つ輝度領域であることを特徴とする請求項１３〜１７のいずれか１項に記載の撮像制御方法。

Images