JP7324160B2 - 撮影制御装置、撮像装置、撮影制御方法、及びプログラム - Google Patents

Description

本発明は、撮影制御装置、撮像装置、撮影制御方法、及びプログラムに関する。

従来、被写体を検出して検出箇所で測距演算を行うことにより焦点調節を行う方法が知られている。特許文献１の技術では、検出した被写体の部位に応じて、焦点検出信号の検出方向を決定することで、被写体に応じた最適な測距を行うことができる。

特開２００９－１９２７７４号公報

一般的な被写体検出処理では、検出対象の被写体が存在する領域と存在しない領域とが厳密に区別される訳ではなく、検出対象の被写体が存在しない領域（例えば背景領域）も含んだ領域が被写体領域として検出される。そのため、例えば被写体領域に基づいて焦点調節（フォーカス制御）を行った場合でも、検出対象の被写体が存在しない領域（例えば背景領域）に合焦する可能性がある。この点はフォーカス制御以外の撮影制御（例えば露光制御）を行う場合でも同様であり、被写体領域に基づいて撮影制御を行った場合でも、必ずしも検出対象の被写体に適した制御結果が得られるとは限らない。

本発明はこのような状況に鑑みてなされたものであり、検出対象の被写体を部分的に含んだ被写体検出領域に基づく撮影制御の精度を向上させる技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮像データに基づいて、検出対象の被写体を含んだ被写体領域を検出する検出手段と、前記撮像データのうちの前記被写体領域に対応するデータと、前記被写体領域における前記被写体の存在確率の分布とに基づいて撮影制御を行う制御手段であって、前記撮像データのうちの第１の存在確率を持つ位置に対応するデータの寄与が、前記撮像データのうちの前記第１の存在確率より小さい第２の存在確率を持つ位置に対応するデータの寄与よりも大きくなるように前記撮影制御を行う、制御手段と、を備え、前記被写体の存在確率の分布は、前記被写体の種類および状態の少なくとも１つに応じて異なることを特徴とする撮影制御装置を提供する。

本発明によれば、検出対象の被写体を部分的に含んだ被写体検出領域に基づく撮影制御の精度を向上させることが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

撮像制御装置を備える撮像装置１０の構成を示すブロック図。 撮像素子１２２の撮像画素（及び焦点検出画素）の配列の概略図。 （ａ）図２に示した撮像素子１２２の１つの画素２００Ｇを、撮像素子１２２の受光面側（＋ｚ側）から見た平面図、（ｂ）図３（ａ）のａ－ａ断面を－ｙ側から見た断面図。 図３に示した本実施形態の画素構造と瞳分割との対応関係を示した概略説明図。 撮像素子１２２と瞳分割との対応関係を示した概略図。 第１焦点検出信号と第２焦点検出信号に基づくデフォーカス量と第１焦点検出信号と第２焦点検出信号との間の像ずれ量との概略関係図。 撮影処理のフローチャート。 被写体（検出対象）と検出領域（被写体領域）との概略関係図。 図７のＳ７０３における焦点調節処理の詳細を示すフローチャート。 第１の実施形態に係る、検出属性に応じた尤度の概略関係図。 測距領域内の優先順位設定の概略説明図。 図７のＳ７０５におけるホワイトバランス調整処理の詳細を示すフローチャート。 ホワイトバランス算出領域の設定の概略説明図。 図７のＳ７０６における露光調節処理の詳細を示すフローチャート。 露光量算出に用いる被写体領域内の重みづけの設定の概略説明図。 第２の実施形態に係る、検出属性に応じた尤度の概略図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
（撮像装置１０の構成）
図１は、撮像制御装置を備える撮像装置１０の構成を示すブロック図である。図１の例においては、撮像装置１０は、レンズ交換可能な一眼レフタイプのデジタルカメラである。撮像装置１０は、レンズユニット１００（交換レンズ）とカメラ本体１２０とを有するカメラシステムの形態を持つ。レンズユニット１００は、図１において点線で示されるマウントＭを介して、カメラ本体１２０と着脱可能に取り付けられる。但し、本実施形態は、図１に示す構成に限定されるものではなく、レンズユニット（撮像光学系）とカメラ本体とが一体的に構成された撮像装置（デジタルカメラ）にも適用可能である。また、本実施形態は、デジタルカメラに限定されるものではなく、ビデオカメラなど他の撮像装置にも適用可能である。

レンズユニット１００は、光学系としての第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、及び、駆動／制御系とを有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含み、被写体像を形成する撮影レンズ（撮像光学系）である。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時においては露光秒時調節用シャッタとして機能する。絞り１０２及び第２レンズ群１０３は、一体的に光軸方向ＯＡに移動可能であり、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４は、光軸方向ＯＡに移動可能であり、その位置に応じてレンズユニット１００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節（フォーカス制御）が可能である。

駆動／制御系は、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、及び、レンズメモリ１１８を有する。ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１や第２レンズ群１０３を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の画角を制御する（ズーム操作を行う）。絞り駆動回路１１５は、絞りアクチュエータ１１２を用いて絞り１０２を駆動し、絞り１０２の開口径や開閉動作を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の合焦距離を制御する（フォーカス制御を行う）。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置（レンズ位置）を検出する位置検出部としての機能を有する。

レンズＭＰＵ１１７（プロセッサ）は、レンズユニット１００に係る全ての演算、制御を行い、ズーム駆動回路１１４、絞り駆動回路１１５、及び、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭを通じてカメラＭＰＵ１２５と接続され、コマンドやデータを通信する。例えば、レンズＭＰＵ１１７はフォーカスレンズ１０４の位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置及び直径、及び、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置及び直径などの情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞り駆動回路１１５、及び、フォーカス駆動回路１１６を制御する。レンズメモリ１１８は、自動焦点調節（ＡＦ制御）に必要な光学情報を記憶している。カメラＭＰＵ１２５は、例えば内蔵の不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することにより、レンズユニット１００の動作を制御する。

カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、及び、駆動／制御系を有する。光学的ローパスフィルタ１２１及び撮像素子１２２は、レンズユニット１００を介して形成された被写体像（光学像）を光電変換し、画像データを出力する撮像部（撮像部）として機能する。本実施形態において、撮像素子１２２は、撮影光学系を介して形成された被写体像を光電変換し、画像データとして、撮像信号及び焦点検出信号をそれぞれ出力する。また本実施形態において、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ１０４、及び、光学的ローパスフィルタ１２１は、撮像光学系を構成する。

光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２は、ＣＭＯＳイメージセンサ及びその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素（ｍ、ｎは２以上の整数）が配置されている。本実施形態の撮像素子１２２は焦点検出素子の役割も果たし、瞳分割機能を有し、画像データ（画像信号）を用いた位相差検出方式の焦点検出（位相差ＡＦ）が可能な瞳分割画素を有する。画像処理回路１２４は、撮像素子１２２から出力される画像データに基づいて、位相差ＡＦ用のデータと、表示、記録、及び、被写体検出用の画像データとを生成する。

駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群（操作ＳＷ）１２７、メモリ１２８、位相差ＡＦ部１２９（撮像面位相差焦点検出部、撮影条件演算部）、ＡＥ部１３０（撮影条件演算部）、ホワイトバランス調整部１３１（撮影条件演算部）、及び被写体検出部１３２（検出部）を有する。撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、撮像素子１２２から出力された画像信号（画像データ）をＡ／Ｄ変換し、カメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２から出力された画像信号に対して、γ変換、色補間処理、圧縮符号化処理など、デジタルカメラで行われる一般的な画像処理を行う。また画像処理回路１２４は、位相差ＡＦ用の信号、ＡＥ用の信号、ホワイトバランス調整用の信号、及び、被写体検出用の信号を生成する。本実施形態では、位相差ＡＦ用の信号、ＡＥ用の信号、ホワイトバランス調整用の信号、及び、被写体検出用の信号をそれぞれ生成しているが、例えばＡＥ用の信号、ホワイトバランス調整用の信号、被写体検出用の信号を共通の信号として生成してもよい。また、共通とする信号の組み合わせはこの限りではない。

カメラＭＰＵ１２５（プロセッサ、制御装置）は、カメラ本体１２０に係る全ての演算及び制御を行う。即ちカメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差ＡＦ部１２９、ＡＥ部１３０、ホワイトバランス調整部１３１、及び、被写体検出部１３２を制御する。カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータを通信する。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対して、レンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行し、また、レンズＭＰＵ１１７からレンズユニット１００に固有の光学情報の取得要求などを発行する。

カメラＭＰＵ１２５には、カメラ本体１２０の動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ（カメラメモリ）、及び、各種のパラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。またカメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納されているプログラムに基づいて、焦点検出処理を実行する。焦点検出処理においては、撮像光学系の互いに異なる瞳領域（瞳部分領域）を通過した光束により形成される光学像を光電変換した対の像信号を用いて、公知の相関演算処理が実行される。

表示器１２６はＬＣＤなどから構成され、撮像装置１０の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチなどで構成される。メモリ１２８（記録部）は、着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

位相差ＡＦ部１２９は、撮像素子１２２及び画像処理回路１２４から得られる焦点検出用画像データの像信号（位相差ＡＦ用の信号）に基づいて、位相差検出方式による焦点検出処理を行う。より具体的には、画像処理回路１２４は、撮像光学系の一対の瞳領域を通過する光束で形成される一対の像データを焦点検出用データとして生成し、位相差ＡＦ部１２９は、一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、本実施形態の位相差ＡＦ部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づく位相差ＡＦ（撮像面位相差ＡＦ）を行う。本実施形態において、位相差ＡＦ部１２９は、取得部１２９ａ及び算出部１２９ｂを有する。これらの各部の動作については後述する。

なお、位相差ＡＦ部１２９の少なくとも一部（取得部１２９ａ又は算出部１２９ｂの一部）を、カメラＭＰＵ１２５に設けてもよい。位相差ＡＦ部１２９の動作の詳細については後述する。位相差ＡＦ部１２９は、焦点検出結果を用いてフォーカスレンズ１０４の位置を制御するフォーカス制御部として機能する。

ＡＥ部１３０は、撮像素子１２２及び画像処理回路１２４から得られるＡＥ用の信号に基づいて測光を行うことで、撮影条件を適切にする露光調整処理を行う。具体的には、ＡＥ用の信号に基づいて測光を行い、設定中の絞り値、シャッタスピード、ＩＳＯ感度での露光量を算出する。算出した露光量と、予め定められた適正露光量との差から、撮影時に設定する適切な絞り値、シャッタスピード、ＩＳＯ感度を演算し撮影条件として設定することで露光調整処理を行う。ＡＥ部１３０は、測光結果を用いて撮影時の露光条件を算出し、絞り１０２の絞り値、シャッタスピード、ＩＳＯ感度を制御する露光調整部として機能する。

ホワイトバランス調整部１３１は、撮像素子１２２及び画像処理回路１２４から得られるホワイトバランス調整用の信号に基づいてホワイトバランス調整処理を行う。具体的には、ホワイトバランス調整用の信号のホワイトバランスを算出し、予め定められた適切なホワイトバランスとの差に基づいて、色の重みを調整することで、ホワイトバランス調整処理を行う。

被写体検出部１３２は、画像処理回路１２４により生成される被写体検出用の信号に基づいて、被写体検出処理を行う。被写体検出処理により、被写体の種類や状態（検出属性）、被写体の位置と大きさ（検出領域）が検出される。なお、被写体検出部１３２の動作の詳細については後述する。

このように、本実施形態の撮像装置１０は、位相差ＡＦ、測光（露光調整）、ホワイトバランス調整と、被写体検出を組み合わせて実行可能であり、被写体検出の結果に応じて、位相差ＡＦ、測光、ホワイトバランス調整を行う位置（像高範囲）を選択することができる。

（撮像素子１２２の構成）
図２は、撮像素子１２２の撮像画素（及び焦点検出画素）の配列の概略図である。図２は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子１２２）の画素（撮像画素）配列を４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示したものである。第１の実施形態において、図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。更に、各画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。

図２に示した４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）の取得を可能としている。本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素であるものとする。

図３（ａ）は、図２に示した撮像素子１２２の１つの画素２００Ｇを、撮像素子１２２の受光面側（＋ｚ側）から見た平面図であり、図３（ｂ）は、図３（ａ）のａ－ａ断面を－ｙ側から見た断面図である。

図３に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。

光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードであってもよいし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードであってもよい。各画素には、マイクロレンズ３０５と、光電変換部３０１及び光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、副画素毎にカラーフィルター３０６の分光透過率を変えてもよいし、カラーフィルター３０６を省略してもよい。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１２２の外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図４は、図３に示した本実施形態の画素構造と瞳分割との対応関係を示した概略説明図である。図４には、図３（ａ）に示した本実施形態の画素構造のａ－ａ断面を＋ｙ側から見た断面図と撮像素子１２２の瞳面（瞳距離Ｄｓ）とが示されている。図４では、撮像素子１２２の瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。

図４において、第１焦点検出画素２０１の第１瞳部分領域５０１は、重心が－ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。図４で、第２焦点検出画素２０２の第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２の第２瞳部分領域５０２は、瞳面上で－Ｘ側に重心が偏心している。また、図４で、瞳領域５００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

撮像面位相差ＡＦでは、撮像素子のマイクロレンズを利用して瞳分割するため回折の影響を受ける。図４で、撮像素子の瞳面までの瞳距離が数１０ｍｍであるのに対し、マイクロレンズの直径は数μｍである。そのため、マイクロレンズの絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。よって、光電変換部の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、受光感度特性（受光率の入射角分布）となる。

図５は、撮像素子１２２と瞳分割との対応関係を示した概略図である。撮像面６００に撮像素子１２２が配置される。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子１２２の各画素に、それぞれ、異なる角度で入射し、２×１分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行ってもよい。

本実施形態の撮像素子１２２では、第１焦点検出画素２０１と、第２焦点検出画素２０２とを有する撮像画素が複数配列されている。第１焦点検出画素２０１は、撮影光学系の第１瞳部分領域５０１を通過する光束を受光する。また、第２焦点検出画素２０２は、第１瞳部分領域５０１と異なる撮影光学系の第２瞳部分領域５０２を通過する光束を受光する。また、撮像画素は、撮影光学系の第１瞳部分領域５０１と第２瞳部分領域５０２を合わせた瞳領域を通過する光束を受光する。

本実施形態の撮像素子１２２では、それぞれの撮像画素が第１焦点検出画素２０１と第２焦点検出画素２０２から構成されている。必要に応じて、撮像画素と第１焦点検出画素２０１、第２焦点検出画素２０２を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素２０１と第２焦点検出画素２０２を部分的に配置する構成としてもよい。

本実施形態では、撮像素子１２２の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点信号を生成して焦点検出を行う。また、撮像素子１２２の画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。各信号の生成方法は、前述の方法に限らず、例えば、第２焦点検出信号は、撮像信号と第１焦点信号の差分から生成してもよい。

（デフォーカス量と像ずれ量の関係）
以下、本実施形態の撮像素子１２２により取得される第１焦点検出信号と第２焦点検出信号に基づくデフォーカス量と像ずれ量の関係について説明する。

図６は、第１焦点検出信号と第２焦点検出信号に基づくデフォーカス量と第１焦点検出信号と第２焦点検出信号との間の像ずれ量との概略関係図である。撮像面６００に撮像素子１２２が配置される。図４及び図５と同様に、撮像素子１２２の瞳面が、第１瞳部分領域５０１と第２瞳部分領域５０２とに２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）として定義される。また、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面（合焦位置）にある合焦状態において、ｄ＝０である。図６において、被写体６０１は合焦状態（ｄ＝０）の例を示しており、被写体６０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面６００でボケた像となる。ボケた像は、撮像素子１２２に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面６００上の重心位置Ｇ１（Ｇ２）に、被写体６０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

第１焦点検出信号と第２焦点検出信号、又は、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号との間の像ずれ量の大きさが増加する。従って、本実施形態で位相差ＡＦ部１２９は、撮像信号のデフォーカス量の大きさが増加するのに伴って第１焦点検出信号と第２焦点検出信号との間の像ずれ量の大きさが増加する関係性を利用し、基線長に基づいて算出された変換係数により、像ずれ量を検出デフォーカス量に変換する。

（撮影処理の流れ）
図７は、撮影処理のフローチャートである。この撮影処理は、カメラＭＰＵ１２５によって実行される。また、必要に応じてレンズＭＰＵ１１７が処理の一部を分担する。

Ｓ７０１で、カメラＭＰＵ１２５は、撮像素子１２２により生成された撮像データ（例えば、ライブビュー撮影により得られたデータ）に基づいて、被写体検出部１３２を制御し被写体検出を実行する。以下、本実施形態の被写体検出部１３２により検出される被写体の種類及び状態（属性）、並びに被写体の位置及び大きさ（被写体領域）について説明する。

図８は、被写体（検出対象）と検出領域（被写体領域）との概略関係図である。図８において被写体領域８０１～８０６は、被写体検出部１３２が検出した被写体領域である。図８から理解できるように、被写体領域は、検出対象の被写体（犬や鳥など）を部分的に含んだ領域である。換言すると、被写体領域は、検出対象の被写体を含まない領域（例えば背景領域）も含んでいる。即ち、本実施形態において「被写体検出」又は「被写体を検出する」のように言う場合、厳密に特定の被写体のみを含んだ領域が検出される訳ではなく、検出対象の被写体を部分的に含んだ領域が検出される。

各被写体の属性（種類及び状態）、並びに被写体領域の位置及び大きさは、表１のように表される。被写体検出部１３２は、画像処理回路１２４により生成される被写体検出用の信号に基づいて、被写体の属性及び被写体領域の検出を行う。

図８の例では、１つの被写体検出用の信号から複数の被写体に関する属性及び被写体領域が検出されている。しかしながら、被写体検出部１３２は、主被写体である可能性が最も高い被写体の属性及び被写体領域のみを検出してもよい。また、ここでは、属性が種類及び状態を含むものとしたが、その限りではなく、属性は種類及び状態のいずれか一方のみであってもよいし、別の指標を含んでいてもよい。また、本実施形態では、犬や鳥の全身、車や飛行機の全体を被写体の種類として検出するものしたが、犬や鳥の顔や瞳などの特定部位や、車や飛行機の運転者や運転者の頭部などの特定部分を検出してもよい。

以下の説明において、「検出属性」は、被写体検出部１３２が検出対象とする属性を意味する。例えば、被写体検出部１３２が船を検出対象としない場合、船という被写体の種類は属性ではあるが、検出属性ではない。このように、厳密に言えば「検出属性」と「属性」とは同一ではない。しかしながら、以下の説明においては、原則として検出対象外の属性を考慮する必要はないため、特に断らない限り、「検出属性」と「属性」とを厳密には区別せず、「検出属性」を単に「属性」と呼ぶ場合もある。

図７に戻り、Ｓ７０２で、カメラＭＰＵ１２５は、Ｓ７０１で検出された被写体の中から主被写体を選択する。主被写体は、予め定められた検出属性（種類、状態）及び被写体領域（位置、大きさ）の優先順位に応じて選択（決定）される。例えば、撮影頻度の高い属性ほど優先順位を高く設定することができる。例えば、種類については、人、犬、鳥、車、飛行機の順、状態については、走り、飛行、静止の順に優先順位を高く設定する。また、位置については、中央像高ほど優先順位を高く設定し、大きさについては、大きいものほど優先順位を高く設定する。

Ｓ７０３で、カメラＭＰＵ１２５は、位相差ＡＦ部１２９を制御し焦点調節（フォーカス制御）を実行する。焦点調節の詳細については後述する。

Ｓ７０４で、カメラＭＰＵ１２５は、合焦判定を実施する。合焦と判定された場合、処理はＳ７０５へ進み、合焦でないと判定された場合、処理はＳ７０１へ戻る。

Ｓ７０５で、カメラＭＰＵ１２５は、ホワイトバランス調整部１３１を制御しホワイトバランス調整（ホワイトバランス制御）を実行する。ホワイトバランス調整の詳細については後述する。

Ｓ７０６で、カメラＭＰＵ１２５は、ＡＥ部１３０を制御し露光調節（露光制御）を実行する。露光調節の詳細については後述する。

Ｓ７０７で、カメラＭＰＵ１２５は、本撮影（記録用画像の撮影）を実行する。

（Ｓ７０３の焦点調節処理の詳細）
図９は、図７のＳ７０３における焦点調節処理の詳細を示すフローチャートである。なお、図９の処理は、カメラＭＰＵ１２５により制御される位相差ＡＦ部１２９によって実行される。

Ｓ９０１で、位相差ＡＦ部１２９は、Ｓ７０１～Ｓ７０２で検出した主被写体の被写体検出結果（検出属性及び被写体領域）を取得する。

Ｓ９０２で、位相差ＡＦ部１２９は、Ｓ９０１で取得した被写体領域の中心位置を基準に測距領域を設定する。中心位置を基準に測距領域を設定することで、同時に演算可能な測距点数が限られていた場合においても、主被写体近傍の測距結果を高密度に得ることができる。そして、得られた測距結果の中から最適な測距結果を選択することで、主被写体へ適切に合焦させることが可能となる。

Ｓ９０３で、位相差ＡＦ部１２９は、Ｓ９０２で設定した測距領域内の各測距点のデフォーカス量を算出する。

Ｓ９０４で、位相差ＡＦ部１２９（尤度設定部）は、Ｓ９０１で取得した検出属性に応じた尤度をカメラＭＰＵ１２５（尤度記憶部）より取得する。なお、ここではカメラＭＰＵ１２５に尤度が記憶されているものとしたが、本実施形態はその限りではない。例えば、位相差ＡＦ部１２９は、クラウド等に記憶した尤度を通信により取得してもよい。

ここで図１０を参照して、検出属性に応じた尤度について説明する。図１０は、検出属性に応じた尤度の概略関係図である。図１０の符号１００１～１００６は、図８の被写体領域８０１～８０６に対応する検出属性（種類、状態）毎の尤度を示す。図１０の符号１０１１～１０１６は、図１０の尤度１００１～１００６の一点鎖線における尤度を表している。

図１０における尤度は、Ｓ７０１～Ｓ７０２で検出した主被写体の被写体領域内の各座標において、検出属性の被写体（検出対象）が存在する確率を表している。換言すると、本実施形態における尤度は、被写体領域における被写体の存在確率の分布である。

存在確率の分布の算出方法の具体例を説明する。算出は、ＰＣ（パーソナルコンピュータ）などにより事前に行われる。まず、ＰＣは、検出属性毎に複数シーンに対応する複数の撮像画像を取得する。そして、ＰＣは、各撮像画像の被写体領域について、検出対象の被写体が存在する領域と存在しない領域とを識別する。そして、ＰＣは、被写体領域内の各座標に対して、全シーン数の中で検出対象の被写体が存在したシーン数の割合を算出する。このように、統計的に被写体の存在確率の分布を算出することができる。なお、被写体領域の大きさは必ずしも一定ではない。そのため、存在確率の分布を算出する際には、例えば、各撮像画像における被写体領域の大きさを所定の大きさに正規化してもよい。

このように予め算出した存在確率の分布がカメラＭＰＵ１２５に記憶されており、位相差ＡＦ部１２９は、必要に応じてこれを取得して使用することができる。また、必要に応じて、別途算出した存在確率の分布を、ＰＣやクラウド等から取得して後からカメラＭＰＵ１２５に記憶したり、予め記憶しておいた存在確率の分布を更新（変更）したりしてもよい。また、検出した被写体の属性が変わる度に、クラウドに記憶した確率分布を、クラウドから通信により取得してもよい。また、本実施形態では、被写体領域の形状が矩形であるものとしたが、その限りではなく、円形や台形等であってもよい。

被写体の属性に応じた、確率分布の特徴の例について説明する。図１０の尤度１００１は、被写体領域の中心ほど確率が高く、周辺ほど低くなっている。これは、静止している犬でも様々な体勢があり、中心はほとんどの場合犬であるが、周辺は背景や障害物である場合があるためである。

一方、図１０の尤度１００２は、被写体領域の上側ほど被写体確率が高く、下側ほど低くなっている。これは、静止している犬とは違い、走っている犬では、脚付近が背景となる場合が多く、また、信号取得タイミングによって脚の位置が違っているため、下側は犬でない場合が多くなるためである。

また、図１０の尤度１００３は、尤度１００１よりも、被写体領域の周辺で被写体確率が低くなる度合いが大きくなっている。これは、同じ静止状態でも、犬と鳥とで形状が異なり、鳥の方が周辺に背景を含む場合が多くなるためである。

図１０の尤度１００４は、被写体領域の中心の確率が他の検出属性に比べて低く、更に周辺ほど低くなっている。飛行している鳥は、羽ばたいている場合が多く、羽ばたいている場合には、羽の状態によって検出領域の中心が背景となる場合も少なくない。そのため、被写体領域の中心でも確率が低くなっている。

図１０の尤度１００５は、被写体領域の周辺の確率が他の検出属性に比べて高くなっている。車は、四角に近い形状を持つ場合が多いため、被写体領域内の大部分が車となり背景等を含む場合が少ない。そのため、検出領域の周辺でも被写体確率が高くなっている。

図１０の尤度１００６は、被写体領域の周辺で確率が低くなる度合いが大きくなっている。飛行機は本体に翼等が付いているため、複雑な形状をしている。そのため、被写体領域の周辺に背景等を含みやすくなっており、被写体領域の周辺で確率が低くなる度合いが大きくなっている。

このように、検出属性（種類、状態）によって、被写体領域内の被写体の存在確率の分布状態は異なる。そのため、撮像装置１０は、予め属性毎に決定された複数の存在確率の分布を保持し、実際に検出された被写体の属性に応じた分布に基づいて、被写体領域に含まれる被写体の存在確率の分布を取得することができる。これにより、被写体に適した測距結果の選択を行うことができる。

図９に戻り、Ｓ９０５で、位相差ＡＦ部１２９（領域設定部）は、Ｓ９０４で取得した尤度（存在確率の分布）に応じて、測距領域内の優先順位を設定する。

図１１を参照して、本実施形態における、測距領域内の優先順位の設定について説明する。図１１は、測距領域内の優先順位設定の概略説明図である。図１１の符号１１０１～１１０３は、図８の被写体領域８０１に対して、図９のＳ９０４で取得した確率分布に基づいて設定した、測距領域内の第１領域～第３領域を表している。図１１の符号１１１１～１１１３は、図８の被写体領域８０２に対して、図９のＳ９０４で取得した確率分布に基づいて設定した、測距領域内の第１領域～第３領域を表している。図１１の符号１１００＿ｎ及び１１１０＿ｎは、Ｓ９０２で設定した測距領域内の測距点である。従って、撮像データのうちの第１領域に対応するデータに基づいて、第１領域の複数の位置に対応する複数のデフォーカス量（第１の複数のデフォーカス量）が算出される。同様に、撮像データのうちの第２領域に対応するデータに基づいて、第２領域の複数の位置に対応する複数のデフォーカス量（第２の複数のデフォーカス量）が算出される。更に、撮像データのうちの第３領域に対応するデータに基づいて、第３領域の複数の位置に対応する複数のデフォーカス量（第３の複数のデフォーカス量）が算出される。

位相差ＡＦ部１２９は、存在確率がＸ１％以上（確率閾値以上）となる領域を第１領域、被写体領域内で存在確率がＸ１％未満（確率閾値未満）となる領域を第２領域、被写体領域外の測距領域を第３領域として識別する。そして、位相差ＡＦ部１２９は、第１領域から順に優先順位を高く設定している。

なお、本実施形態では、Ｘ１％を閾値として、被写体領域内に第１領域及び第２領域を設定したが、その限りではない。また本実施形態では、測距領域内に第１領域～第３領域の３段階で優先順位を設定したがその限りではなく、２段階であってもよいし、４段階以上であってもよい。

図９に戻り、Ｓ９０６で、位相差ＡＦ部１２９は、Ｓ９０５で設定した優先順位に応じて、測距点を選択する。測距点の選択のために、位相差ＡＦ部１２９は、まず、最も優先順位の高い第１領域内の測距点の中で、デフォーカス量の信頼度が閾値以上（信頼度閾値以上）の測距点が存在するか否かを判定する。存在する場合、位相差ＡＦ部１２９は、信頼度が閾値以上のデフォーカス量の中で最至近のデフォーカス量を持つ測距点を選択する。換言すると、位相差ＡＦ部１２９は、第１領域の複数の位置に対応する複数のデフォーカス量（第１の複数のデフォーカス量）の中から、信頼度閾値以上の信頼度を持つ第１のデフォーカス量（例えば最至近のデフォーカス量）を選択する。

一方、第１領域内に閾値以上の信頼度を持つデフォーカス量が存在しない場合、位相差ＡＦ部１２９は、２番目に優先順位の高い第２領域の測距点の中で、デフォーカス量の信頼度が閾値以上の測距点が存在するか否かを判定する。存在する場合、位相差ＡＦ部１２９は、信頼度が閾値以上のデフォーカス量の中で最至近のデフォーカス量を持つ測距点を選択する。換言すると、位相差ＡＦ部１２９は、第２領域の複数の位置に対応する複数のデフォーカス量（第２の複数のデフォーカス量）の中から、信頼度閾値以上の信頼度を持つ第２のデフォーカス量（例えば最至近のデフォーカス量）を選択する。

第２領域内にも閾値以上の信頼度を持つデフォーカス量が存在しない場合、位相差ＡＦ部１２９は、第３領域の測距点の中で、閾値以上の信頼度を持つデフォーカス量のうちの最至近のデフォーカス量を持つ測距点を選択する。換言すると、位相差ＡＦ部１２９は、第３領域の複数の位置に対応する複数のデフォーカス量（第３の複数のデフォーカス量）の中から、信頼度閾値以上の信頼度を持つ第３のデフォーカス量（例えば最至近のデフォーカス量）を選択する。

このように、優先順位の高い領域の中から優先して測距点を選択することで、検出対象の被写体が存在する確率の高い領域における測距点を選択することができる。従って、被写体領域内に、検出対象の被写体が存在しない領域が含まれる場合においても、検出対象の被写体に対して適切な測距を行うことが可能となる。

Ｓ９０７で、位相差ＡＦ部１２９は、Ｓ９０６で選択した測距点が持つデフォーカス量に基づいて、フォーカスレンズ駆動量を算出する。

Ｓ９０８で、位相差ＡＦ部１２９は、Ｓ９０７で算出したフォーカスレンズ駆動量に基づいて、フォーカスレンズ１０４を駆動するための制御を行う。

（Ｓ７０５のホワイトバランス調整処理の詳細）
図１２は、図７のＳ７０５におけるホワイトバランス調整処理の詳細を示すフローチャートである。なお、図１２の処理は、カメラＭＰＵ１２５により制御されるホワイトバランス調整部１３１によって実行される。

Ｓ１２０１で、ホワイトバランス調整部１３１は、Ｓ７０１～Ｓ７０２で検出した主被写体の被写体検出結果（検出属性及び被写体領域）を取得する。

Ｓ１２０２で、ホワイトバランス調整部１３１（尤度設定部）は、Ｓ１２０１で取得した検出属性に応じた尤度（存在確率の分布）をカメラＭＰＵ１２５（尤度記憶部）より取得する。なお、ここではカメラＭＰＵ１２５に尤度が記憶されているものとしたが、本実施形態はその限りではない。例えば、ホワイトバランス調整部１３１は、クラウド等に記憶した尤度を通信により取得してもよい。

Ｓ１２０３で、ホワイトバランス調整部１３１（領域設定部）は、Ｓ１２０１で取得した尤度に応じて、以下に説明する第１領域を識別し、第１領域をホワイトバランス算出領域として設定する。

図１３を参照して、本実施形態における、ホワイトバランス算出領域の設定について説明する。図１３は、ホワイトバランス算出領域の設定の概略説明図である。図１３の符号１３０１及び１３０２は、図８の被写体領域８０１に対して、図１２のＳ１２０２で取得した確率分布に基づいて設定した、被写体領域内の第１領域及び第２領域を表している。図１３の符号１３１１及び１３１２は、図８の被写体領域８０２に対して、図１２のＳ１２０２で取得した確率分布に基づいて設定した、被写体領域内の第１領域及び第２領域を表している。

ホワイトバランス調整部１３１は、存在確率がＸ１％以上（確率閾値以上）となる領域を第１領域として識別し、存在確率がＸ１％未満（確率閾値未満）となる領域を第２領域として識別する。

本実施形態では、Ｘ１％を閾値として、被写体領域内に第１領域及び第２領域を設定したが、その限りではない。また本実施形態では、第１領域及び第２領域の２段階で被写体領域を分割したがその限りではなく、３段階以上であってもよい。

また、本実施形態では、第１領域をホワイトバランス算出領域として設定したが、第１領域を優先するように第１領域及び第２領域それぞれに重みをつけて、被写体領域全体をホワイトバランス算出領域として設定してもよい。

図１２に戻り、Ｓ１２０４で、ホワイトバランス調整部１３１は、Ｓ１２０３で設定したホワイトバランス算出領域内のホワイトバランスを算出する。

Ｓ１２０５で、ホワイトバランス調整部１３１は、予め定められた適切なホワイトバランスを取得する。

Ｓ１２０６で、ホワイトバランス調整部１３１は、Ｓ１２０４で算出したホワイトバランスと、Ｓ１２０５で取得したホワイトバランスとの差を演算し、撮像データ（撮像信号）に対するホワイトバランスを調整する。

（Ｓ７０６の露光調節処理の詳細）
図１４は、図７のＳ７０６における露光調節処理の詳細を示すフローチャートである。なお、図１４の動作は、カメラＭＰＵ１２５により制御されるＡＥ部１３０によって実行される。

Ｓ１４０１で、ＡＥ部１３０は、Ｓ７０１～Ｓ７０２で検出した主被写体の被写体検出結果（検出属性及び被写体領域）を取得する。

Ｓ１４０２で、ＡＥ部１３０（尤度設定部）は、Ｓ１４０１で取得した検出属性に応じた尤度（存在確率の分布）をカメラＭＰＵ１２５（尤度記憶部）より取得する。なお、ここではカメラＭＰＵ１２５に尤度が記憶されているものとしたが、本実施形態はその限りではない。例えば、ＡＥ部１３０は、クラウド等に記憶した尤度を通信により取得してもよい。

Ｓ１４０３で、ＡＥ部１３０（領域設定部）は、Ｓ１４０２で取得した尤度に応じて、露光量算出に用いる被写体領域内の重みづけを設定する。

図１５を参照して、本実施形態における、露光量算出に用いる被写体領域内の重みづけの設定について説明する。図１５は、露光量算出に用いる被写体領域内の重みづけの設定の概略説明図である。

図１５に示す通り、露光量算出に用いる被写体領域内の重みづけのために、ＡＥ部１３０は、図１４のＳ１４０２で取得した確率分布をそのまま重み係数として設定する。

図１４に戻り、Ｓ１４０４で、ＡＥ部１３０は、Ｓ１４０３で設定した被写体領域内の重み係数により被写体領域内の測光結果を重みづけして露光量を算出する。従って、ここでの露光調節（露光制御）は、被写体領域の各位置における被写体の存在確率を撮像データのうちの各位置に対応するデータの重み係数として用いる演算を含む。

Ｓ１４０５で、ＡＥ部１３０は、予め定められた適切な露光量を取得する。

Ｓ１４０６で、ＡＥ部１３０は、Ｓ１４０４で算出した露光量と、Ｓ１４０５で取得した露光量との差を演算し、撮影時の露光条件を調整する。

以上説明したように、第１の実施形態によれば、撮像装置１０は、撮像データに基づいて、検出対象の被写体を部分的に含んだ被写体領域を検出する。そして、撮像装置１０は、撮像データのうちの被写体領域に対応するデータと被写体領域における被写体の存在確率の分布とに基づいて撮影制御を行う。その際に、撮像装置１０は、第１の存在確率を持つ位置に対応するデータの寄与が第１の存在確率より小さい第２の存在確率を持つ位置に対応するデータの寄与よりも大きくなるように撮影制御を行う。そのような撮影制御の具体例として、図９に示す焦点調節（フォーカス制御）、図１２に示すホワイトバランス調整（ホワイトバランス制御）、図１４に示す露光調節（露光制御）などがあるが、本実施形態の撮影制御はこれらの具体例に限定されない。

本実施形態は、上述の構成により、検出対象の被写体を部分的に含んだ被写体検出領域に基づく撮影制御の精度を向上させることが可能である。

なお、上では、撮像装置１０が複数の属性（犬、鳥、など）を検出対象とし、実際に検出された被写体の属性に基づいて尤度（被写体の存在確率の分布）を取得する構成について説明した。しかしながら、撮像装置１０は、特定の属性（例えば、静止している犬）のみを検出対象としてもよい。この場合、尤度についても、撮像装置１０は、予め決められている特定の尤度を用いればよい。

［第２の実施形態］
第２の実施形態では、焦点調節処理における検出属性に応じた尤度に関して、第１の実施形態とは異なる構成について説明する。なお、第２の実施形態において、撮像装置１０の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。

第１の実施形態の尤度は、被写体の存在確率の分布であった。一方、第２の実施形態の尤度は、被写体領域の中心から所定距離範囲に検出対象の被写体が含まれる確率（被写体含有確率）である。ここでいう「被写体領域の中心から所定距離範囲に検出対象の被写体が含まれる」とは、被写体領域の中心から所定距離範囲内の領域の少なくとも一部に検出対象の被写体が存在するという意味である。

焦点調節で最も優先される第１領域（第１の実施形態の場合、図１１の符号１１０１など）は、広いほど検出対象の被写体を含む確率が高くなるが、それと同時に、検出対象の被写体以外の被写体も含む確率が高くなる。そのため、第１領域の範囲は、必要最小限に（可能な限り狭く）設定することが望ましい。

本実施形態では、被写体含有確率に基づいて第１領域を設定することで、第１領域の範囲を必要最小限に設定することができ、被写体領域が検出対象の被写体以外の被写体を含む場合であっても、検出対象の被写体に対して適切な測距を行うことが可能となる。

図９を参照して、第２の実施形態に係る焦点調節処理を説明する。なお、図９の処理は、カメラＭＰＵ１２５により制御される位相差ＡＦ部１２９によって実行される。

図９において、Ｓ９０１～Ｓ９０４の処理は、第１の実施形態と同様である。但し、Ｓ９０４において取得される尤度の構成が第１の実施形態と異なる。

図１６は、第２の実施形態に係る、検出属性に応じた尤度の概略図である。図１６の符号１６０３及び１６０４は、図８の被写体領域８０３及び８０４に対応する検出属性（種類、状態）毎の尤度を表している。図１６の符号１６００は、後述する図９のＳ９０５で第１領域（最も優先度の高い領域）を設定する際に用いられる閾値（図９の例ではＸ２％）を表す。

図１６における尤度は、Ｓ７０１～Ｓ７０２で検出した主被写体の被写体領域の中心から所定距離範囲に被写体（検出対象）を含む確率（被写体含有確率）を表している。横軸は、被写体領域の中心からの距離範囲を検出領域の大きさに基づいて正規化した値を示し、縦軸は、被写体領域の中心からの距離範囲に被写体が含まれる確率を表している。図１６から理解できるように、本実施形態の尤度は、被写体領域の中心からの距離範囲と距離範囲内の領域の少なくとも一部に被写体が存在する確率との関係を規定する情報である。

被写体含有確率の算出方法の具体例を説明する。算出は、ＰＣ（パーソナルコンピュータ）などにより事前に行われる。まず、ＰＣは、検出属性毎に複数シーンに対応する複数の撮像画像を取得する。そして、ＰＣは、各撮像画像の被写体領域について、検出対象の被写体が存在する領域と存在しない領域とを識別する。そして、ＰＣは、各撮像画像について、被写体領域の中心から所定距離範囲内に被写体（検出対象）が含まれるか否かを判定し、全シーン数の中で被写体（検出対象）が含まれていたシーン数の割合を算出することで、統計的に被写体含有確率を算出する。なお、被写体領域の大きさは必ずしも一定ではない。そのため、被写体含有確率を算出する際には、例えば、各撮像画像における被写体領域の大きさを所定の大きさに正規化してもよい。

このように予め算出した被写体含有確率がカメラＭＰＵ１２５に記憶されており、位相差ＡＦ部１２９は、必要に応じてこれを取得して使用することができる。また、必要に応じて、別途算出した被写体含有確率を、ＰＣやクラウド等から取得して後からカメラＭＰＵ１２５に記憶したり、予め記憶しておいた被写体含有確率を更新（変更）したりしてもよい。また、検出した被写体の属性が変わる度に、クラウドに記憶した被写体含有確率を、クラウドから通信により取得してもよい。

検出属性に応じた被写体含有確率の特徴の例について説明する。図１６の符号１６０３で示すように、静止している鳥の場合、被写体領域の中心からの距離範囲が０％（被写体領域の中心）でも被写体含有確率が高く、この例ではｐ１％ある。そして、被写体領域の中心からの距離範囲が約ｒ１％の位置において、被写体含有確率が閾値（Ｘ２％）を超える。これは、静止している鳥については、ほとんどの場合に（Ｘ２％）、被写体領域の中心から約ｒ１％までの距離範囲をカバーする領域に被写体（検出対象）が含まれることを表している。

一方、図１６の符号１６０４で示すように、飛行している鳥の場合、被写体領域の中心からの距離範囲が０％（被写体領域の中心）で被写体含有確率が比較的低く、この例ではｐ２％である。そして、被写体領域の中心からの距離範囲が約ｒ２％の位置において、被写体含有確率が閾値（Ｘ２％）を超える。これは、静止している鳥については、高確率で被写体を含むためには、被写体領域の中心から約ｒ２％までの距離範囲をカバーしなければならないことを表している。

このように、検出属性（種類、状態）によって、被写体領域の中心からの距離範囲と被写体含有確率との関係は異なる。そのため、検出属性毎に被写体含有確率（尤度）を保持し、検出属性に応じた被写体含有確率を取得して使用することで、被写体（検出対象）に適した測距結果の選択を行うことができる。

図９に戻り、Ｓ９０５で、位相差ＡＦ部１２９（領域設定部）は、Ｓ９０４で取得した尤度（被写体含有確率）に応じて、測距領域内の優先順位を設定する。

図１１の上側を参照して、本実施形態における、測距領域内の優先順位の設定について説明する。図１１の符号１１０１～１１０３は、図８の被写体領域８０１に対して、図９のＳ９０４で取得した被写体含有確率に基づいて設定した、測距領域内の第１領域～第３領域を表している。即ち、被写体領域のうちの、被写体含有確率が閾値（例えばＸ２％）に到達する中心からの距離範囲をカバーする領域が、最も優先順位の高い第１領域（符号１１０１）として設定される。また、被写体領域のうちの、被写体含有確率が閾値（例えばＸ２％）より大きくなる中心からの距離範囲に対応する領域が、２番目に優先順位の高い第２領域（符号１１０２）として設定される。また、測距領域のうちの被写体領域外の領域が、最も優先順位の低い第３領域（符号１１０３）として設定される。

なお、図１１の上側の例では、第１領域（符号１１０１）は正方形である。即ち、この例では、被写体含有確率に関する距離範囲は、水平方向（横方向）の距離範囲として規定されている。従って、画像の横：縦の比が例えば３：２の場合、図１６に示す距離範囲が０．６７（２／３）であっても、垂直方向（縦方向）については画像の全体が距離範囲内に含まれることになる。もちろん、距離範囲を特定の方向に制限する必要はなく、第１領域が円形になるように構成してもよい。

また、本実施形態では、Ｘ２％を閾値として、被写体領域内に第１領域及び第２領域を設定したが、その限りではない。また本実施形態では、第１領域～第３領域の３段階で優先順位を設定したがその限りではなく、２段階であってもよいし、４段階以上であってもよい。

再び図９を参照すると、Ｓ９０６～Ｓ９０８の処理は、第１の実施形態と同様である。

以上説明したように、第２の実施形態によれば、撮像装置１０は、撮像データに基づいて、検出対象の被写体を部分的に含んだ被写体領域を検出する。また、撮像装置１０は、被写体領域の中心からの距離範囲と距離範囲内の領域の少なくとも一部に被写体が存在する確率との関係を規定する情報に基づいて、被写体が存在する確率が閾値に到達する特定の距離範囲を識別する。そして、撮像装置１０は、撮像データのうちの被写体領域に対応するデータと特定の距離範囲とに基づいて撮影制御を行う。その際に、撮像装置１０は、特定の距離範囲内の位置に対応するデータの寄与が特定の距離範囲外の位置に対応するデータの寄与よりも大きくなるように撮影制御を行う。そのような撮影制御の具体例として、図９に示す焦点調節（フォーカス制御）があるが、本実施形態の撮影制御はこれらの具体例に限定されない。例えば、第１の実施形態と同様、撮影制御はホワイトバランス調整（ホワイトバランス制御）又は露光調節（露光制御）であってもよい。

本実施形態は、上述の構成により、検出対象の被写体を部分的に含んだ被写体検出領域に基づく撮影制御の精度を向上させることが可能である。

なお、上では、撮像装置１０が複数の属性（犬、鳥、など）を検出対象とし、実際に検出された被写体の属性に基づいて尤度（被写体含有確率）を取得する構成について説明した。しかしながら、撮像装置１０は、特定の属性（例えば、静止している犬）のみを検出対象としてもよい。この場合、尤度についても、撮像装置１０は、予め決められている特定の尤度を用いればよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０…撮像装置、１００…レンズユニット、１２０…カメラ本体、１２２…撮像素子、１２５…カメラＭＰＵ、１２９…位相差ＡＦ部、１３０…ＡＥ部、１３１…ホワイトバランス調整部、１３２…被写体検出部

Claims (18)

1. 撮像データに基づいて、検出対象の被写体を含んだ被写体領域を検出する検出手段と、
   前記撮像データのうちの前記被写体領域に対応するデータと、前記被写体領域における前記被写体の存在確率の分布とに基づいて撮影制御を行う制御手段であって、前記撮像データのうちの第１の存在確率を持つ位置に対応するデータの寄与が、前記撮像データのうちの前記第１の存在確率より小さい第２の存在確率を持つ位置に対応するデータの寄与よりも大きくなるように前記撮影制御を行う、制御手段と、
   を備え、
   前記被写体の存在確率の分布は、前記被写体の種類および状態の少なくとも１つに応じて異なることを特徴とする撮影制御装置。
2. 予め被写体の種類及び状態の少なくとも１つ毎に統計により得られた複数の存在確率の分布のうちの、前記検出手段によって検出された被写体の種類及び状態の少なくとも１つに対応する存在確率の分布を取得する取得手段を更に備える
   ことを特徴とする請求項１に記載の撮影制御装置。
3. 前記制御手段は、
   前記被写体領域において確率閾値以上の存在確率を持つ第１領域を識別し、前記確率閾値は前記第１の存在確率より小さく前記第２の存在確率より大きく、
   前記被写体領域に対応する前記データのうちの前記第１領域に対応する第１のデータのみに基づいて前記撮影制御を行う
   ことを特徴とする請求項１又は２に記載の撮影制御装置。
4. 前記撮影制御は、前記被写体領域の各位置における前記被写体の存在確率を前記撮像データのうちの前記各位置に対応するデータの重み係数として用いる演算を含むことで、前記各位置に対応するデータの寄与を制御する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影制御装置。
5. 前記撮影制御は、フォーカス制御、ホワイトバランス制御、又は露光制御である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影制御装置。
6. 前記撮影制御は、フォーカス制御であり、
   前記制御手段は、
   前記被写体領域において確率閾値以上の存在確率を持つ第１領域を識別し、前記確率閾値は前記第１の存在確率より小さく前記第２の存在確率より大きく、
   前記被写体領域に対応する前記データのうちの前記第１領域に対応する第１のデータに基づいて、前記第１領域の複数の位置に対応する第１の複数のデフォーカス量を算出し、
   前記第１の複数のデフォーカス量の中から、信頼度閾値以上の信頼度を持つ第１のデフォーカス量を選択し、
   前記第１のデフォーカス量に基づいて前記フォーカス制御を行う
   ことを特徴とする請求項１又は２に記載の撮影制御装置。
7. 前記第１の複数のデフォーカス量の中に前記信頼度閾値以上の信頼度を持つデフォーカス量が存在しない場合、前記制御手段は、
   前記被写体領域において前記確率閾値未満の存在確率を持つ第２領域を識別し、
   前記被写体領域に対応する前記データのうちの前記第２領域に対応する第２のデータに基づいて、前記第２領域の複数の位置に対応する第２の複数のデフォーカス量を算出し、
   前記第２の複数のデフォーカス量の中から、前記信頼度閾値以上の信頼度を持つ第２のデフォーカス量を選択し、
   前記第２のデフォーカス量に基づいて前記フォーカス制御を行う
   ことを特徴とする請求項６に記載の撮影制御装置。
8. 撮像データに基づいて、検出対象の被写体を含んだ被写体領域を検出する検出手段と、
   前記撮像データのうち前記検出手段で検出された前記被写体領域に対応するデータと、
   予め統計によって得られた前記被写体領域における前記被写体の存在確率の分布とに基づいて、撮影制御を行う制御手段であって、前記撮像データのうちで前記被写体の存在確率が第１の存在確率を持つ位置に対応するデータの方が、前記撮像データのうちで前記被写体の存在確率が前記第１の存在確率より小さい第２の存在確率を持つ位置に対応するデータよりも大きな重みが付くように前記撮影制御を行う、制御手段と、
   を備え、
   前記被写体の存在確率の分布は、前記被写体の種類および状態の少なくとも１つに応じて異なることを特徴とする撮影制御装置。
9. 撮像データに基づいて、検出対象の被写体を含んだ被写体領域を検出する検出手段と、
   前記被写体領域の中心からの距離範囲と前記距離範囲内の領域の少なくとも一部に前記被写体が存在する確率との関係を規定する情報に基づいて、前記被写体が存在する確率が閾値に到達する特定の距離範囲を識別する識別手段と、
   前記撮像データのうちの前記被写体領域に対応するデータと、前記特定の距離範囲とに基づいて撮影制御を行う制御手段であって、前記撮像データのうちの前記特定の距離範囲内の位置に対応するデータの寄与が、前記撮像データのうちの前記特定の距離範囲外の位置に対応するデータの寄与よりも大きくなるように前記撮影制御を行う、制御手段と、
   を備えることを特徴とする撮影制御装置。
10. 撮像手段によって撮像された撮像データに基づいて、検出対象の被写体を含んだ被写体領域を検出する検出手段と、
    前記検出手段により検出される被写体領域に存在する被写体の種類及び状態の少なくとも１つに応じた被写体の存在確率の分布に基づいて、前記撮像手段の撮影制御を行う制御手段と、
    を備え、
    前記撮影制御は、フォーカス制御であり、
    前記制御手段は、
    前記被写体領域において前記存在確率が閾値以上の値を持つ第１領域を識別し、
    前記撮像データのうちの前記第１領域に対応する第１のデータに基づいて、前記第１領域の複数の位置に対応する第１の複数のデフォーカス量を算出し、
    前記第１の複数のデフォーカス量の中から、信頼度閾値以上の信頼度を持つ第１のデフォーカス量を選択し、
    前記第１のデフォーカス量に基づいて前記フォーカス制御を行う
    ことを特徴とする撮影制御装置。
11. 前記第１の複数のデフォーカス量の中に前記信頼度閾値以上の信頼度を持つデフォーカス量が存在しない場合、前記制御手段は、
    前記被写体領域において前記存在確率が閾値未満の値を持つ第２領域を識別し、
    前記撮像データのうちの前記第２領域に対応する第２のデータに基づいて、前記第２領域の複数の位置に対応する第２の複数のデフォーカス量を算出し、
    前記第２の複数のデフォーカス量の中から、前記信頼度閾値以上の信頼度を持つ第２のデフォーカス量を選択し、
    前記第２のデフォーカス量に基づいて前記フォーカス制御を行う
    ことを特徴とする請求項１０に記載の撮影制御装置。
12. 請求項１乃至９のいずれか１項に記載の撮影制御装置と、
    前記撮像データを生成する撮像手段と、
    を備えることを特徴とする撮像装置。
13. 請求項１０又は１１に記載の撮影制御装置と、
    前記撮像手段と、
    を備えることを特徴とする撮像装置。
14. 撮影制御装置が実行する撮影制御方法であって、
    撮像データに基づいて、検出対象の被写体を含んだ被写体領域を検出する検出工程と、
    前記撮像データのうちの前記被写体領域に対応するデータと、前記被写体領域における前記被写体の存在確率の分布とに基づいて撮影制御を行う制御工程であって、前記撮像データのうちの第１の存在確率を持つ位置に対応するデータの寄与が、前記撮像データのうちの前記第１の存在確率より小さい第２の存在確率を持つ位置に対応するデータの寄与よりも大きくなるように前記撮影制御を行う、制御工程と、
    を備え、
    前記被写体の存在確率の分布は、前記被写体の種類および状態の少なくとも１つに応じて異なることを特徴とする撮影制御方法。
15. 撮影制御装置が実行する撮影制御方法であって、
    撮像データに基づいて、検出対象の被写体を含んだ被写体領域を検出する検出工程と、
    前記撮像データのうち前記検出工程で検出された前記被写体領域に対応するデータと、予め統計によって得られた前記被写体領域における前記被写体の存在確率の分布とに基づいて、撮影制御を行う制御工程であって、前記撮像データのうちで前記被写体の存在確率が第１の存在確率を持つ位置に対応するデータの方が、前記撮像データのうちで前記被写体の存在確率が前記第１の存在確率より小さい第２の存在確率を持つ位置に対応するデータよりも大きな重みが付くように前記撮影制御を行う、制御工程と、
    を備え、
    前記被写体の存在確率の分布は、前記被写体の種類および状態の少なくとも１つに応じて異なることを特徴とする撮影制御方法。
16. 撮影制御装置が実行する撮影制御方法であって、
    撮像データに基づいて、検出対象の被写体を含んだ被写体領域を検出する検出工程と、
    前記被写体領域の中心からの距離範囲と前記距離範囲内の領域の少なくとも一部に前記被写体が存在する確率との関係を規定する情報に基づいて、前記被写体が存在する確率が閾値に到達する特定の距離範囲を識別する識別工程と、
    前記撮像データのうちの前記被写体領域に対応するデータと、前記特定の距離範囲とに基づいて撮影制御を行う制御工程であって、前記撮像データのうちの前記特定の距離範囲内の位置に対応するデータの寄与が、前記撮像データのうちの前記特定の距離範囲外の位置に対応するデータの寄与よりも大きくなるように前記撮影制御を行う、制御工程と、
    を備えることを特徴とする撮影制御方法。
17. 撮影制御装置が実行する撮影制御方法であって、
    撮像手段によって撮像された撮像データに基づいて、検出対象の被写体を含んだ被写体領域を検出する検出工程と、
    前記検出工程により検出される被写体領域に存在する被写体の種類及び状態の少なくとも１つに応じた被写体の存在確率の分布に基づいて、前記撮像手段の撮影制御を行う制御工程と、
    を備え、
    前記撮影制御は、フォーカス制御であり、
    前記制御工程では、
    前記被写体領域において前記存在確率が閾値以上の値を持つ第１領域を識別し、
    前記撮像データのうちの前記第１領域に対応する第１のデータに基づいて、前記第１領域の複数の位置に対応する第１の複数のデフォーカス量を算出し、
    前記第１の複数のデフォーカス量の中から、信頼度閾値以上の信頼度を持つ第１のデフォーカス量を選択し、
    前記第１のデフォーカス量に基づいて前記フォーカス制御を行う
    ことを特徴とする撮影制御方法。
18. コンピュータを、請求項１乃至１１のいずれか１項に記載の撮影制御装置の各手段として機能させるためのプログラム。

Images