JP6851885B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、画像における被写体の領域を判定するために用いて好適なものである。

従来から、デフォーカス量を用いることにより、画像から得られる輝度情報や色情報では難しい被写体の追尾を行う手法が提案されている。特許文献１には、撮像レンズの射出瞳のうち、互いに異なる瞳領域を通過した一対の光束により形成される一対の被写体像の相対的なずれ量から、撮像レンズのデフォーカス量を検出する焦点検出装置が開示されている。このようにしてデフォーカス量を求める方式を、瞳分割型位相差検出方式という。

特開２０１６−１５６９３４号公報

しかしながら、撮影状況によっては、撮像装置で撮影する際に、必ずしも被写体に合焦していないことがある。このような場合、特許文献１に記載の瞳分割型位相差検出方式で得られるデフォーカス量は精度が出ない。従って、実際には撮像装置からの距離が同じ被写体を撮像する場合であっても、デフォーカス量がばらつくことがある。よって、画像における被写体の領域を正しく判定することができないことがある。
本発明は、このような問題点に鑑みてなされたものであり、画像における被写体の領域を正しく判定できるようにすることを目的とする。

本発明の情報処理装置は、処理対象の画像よりも過去の画像において被写体の領域として想定される領域である第１の領域を特定する特定手段と、前記第１の領域のデフォーカス量を用いて、被写体に対応するデフォーカス量の範囲を設定する設定手段と、前記処理対象の画像におけるデフォーカス量と、前記被写体に対応するデフォーカス量の範囲とを用いて、前記処理対象の画像における被写体の領域を決定する決定手段と、を有することを特徴とする。

本発明によれば、画像における被写体の領域を正しく判定することができる。

撮像装置の構成を示す図である。 被写体決定処理の全体の流れの第１の例を示すフローチャートである。 デフォーカスマップを示す図である。 デフォーカスマップ判定処理の第１の例を示すフローチャートである。 Ｃ_Dを決定する方法を説明する図である。 特徴マップを示す図である。 被写体領域決定処理を示すフローチャートである。 内外相違度向けの評価領域を選定する方法を説明する図である。 評価領域に対する背景領域を決定する方法を説明する図である。 色相値の階調化を説明する図である。 被写体追尾向けの評価領域を選定する方法を説明する図である。 被写体決定処理の全体の流れの第２の例を示すフローチャートである。 Ｃ_Lを決定する方法を説明する図である。 Ｃ_Tを決定する方法を説明する図である。

以下、図面を参照しながら、実施形態を説明する。
＜第１の実施形態＞
まず、第１の実施形態を説明する。
（撮像システム）
図１を参照して、撮像装置の構成の一例について説明する。図１は、撮像装置１００の構成の一例を示すブロック図である。撮像装置１００は、情報処理装置の一例である。
撮像装置１００は、被写体を撮影して、動画像や静止画像のデータを、各種の記録メディアに記録可能なデジタルスチルカメラやビデオカメラ等である。しかしながら、撮像装置１００は、これらに限定されるものではない。例えば、撮像装置１００は、スマートフォンやタブレット等の各種の携帯機器に含まれるものであってもよい。その他、撮像装置１００は、工業用カメラ、車載用カメラ、または医療用カメラに適用されるものであってもよい。尚、記録メディアとしては、例えば、テープ、固体メモリ、光ディスク、および磁気ディスク等が挙げられる。撮像装置１００内の各ユニットは、バス１６０を介して相互に接続される。また、撮像装置１００内の各ユニットは、ＣＰＵ１５１（中央演算処理装置）により制御される。

レンズユニット１０１は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、およびフォーカスレンズ１３１を有する。絞り制御部１０５は、ＣＰＵ１５１の指令に従い、絞りモータ１０４（ＡＭ）を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御部１１３は、ズームモータ１１２（ＺＭ）を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。フォーカス制御部１３３は、レンズユニット１０１のピント方向のずれ量に基づいてフォーカスモータ１３２（ＦＭ）を駆動する駆動量を決定する。加えてフォーカス制御部１３３は、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカスレンズ１３１は、焦点調節用レンズである。図１では、フォーカスレンズ１３１を単レンズとして簡略的に示す。しかしながら、フォーカスレンズ１３１は、通常、複数のレンズで構成される。

レンズユニット１０１を介して撮像素子１４１上に結像する被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、横方向にｍ画素、縦方向にｎ画素の受光素子を有する。それぞれの受光素子に、一つのマイクロレンズと、二つの光電変換素子（受光領域）とが配置される。光電変換素子は、被写体像（光学像）を電気信号に変換する（即ち、光電変換を行う）。撮像信号処理部１４２は、撮像素子１４１上に結像されて光電変換された画像を処理して画像信号（画像データ）を生成する。撮像信号処理部１４２は、二つの光電変換素子の出力を加算することで、撮像面の画像を取得することができる。また、撮像信号処理部１４２は、二つの光電変換素子の出力を各々扱うことにより視差の異なる２つの画像（視差画像）を取得することができる。以下の説明では、二つの光電変換素子の出力を加算したものを、必要に応じてＡ＋Ｂ像と称し、二つの光電変換素子の出力を各々扱ったものを、必要に応じてＡ像、Ｂ像と称する。

撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４（ランダム・アクセス・メモリ）に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。

画像処理部１５２は、画像データを処理する。例えば、画像処理部１５２は、画像データに対して最適なサイズへの縮小・拡大処理を行う。画像処理部１５２は、最適なサイズに処理された画像データを、適宜モニタディスプレイ１５０に送る。モニタディスプレイ１５０が画像データを表示することでプレビュー画像表示やスルー画像表示を行うことができる。また、画像処理部１５２は、撮像素子１４１から得られたＡ像およびＢ像を基に、デフォーカスマップや信頼度マップを生成することができる。デフォーカスマップは、画素毎にデフォーカス量を備えるマップである。デフォーカス量はＦδの単位で表される。信頼度マップは、画素毎にデフォーカス量を信頼できる度合を表す信頼度を備えるマップである。画像における各座標（各画素の位置）と、デフォーカスマップにおける各座標（各画素の位置）と、信頼度マップにおける各座標（各画素の位置）は、相互に対応する。また、信頼度は、例えば、８諧調で表される。デフォーカスマップおよび信頼度マップを生成する方法としては、例えば、特許文献１に開示されている方法を用いることができる。
操作スイッチ１５６は、タッチパネルやボタン等を含む入力インターフェイスである。ユーザは、モニタディスプレイ１５０に表示される種々の機能アイコンを選択操作すること等により、様々な操作が行える。

ＣＰＵ１５１は、撮像装置１００内の各ユニットを制御する。ＣＰＵ１５１は、撮像素子１４１の蓄積時間や、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値を決定する。この決定は、例えば、操作スイッチ１５６から入力されたユーザの指示、或いは、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさに基づいて行われる。撮像制御部１４３は、ＣＰＵ１５１から、撮像素子１４１の蓄積時間や、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値の指示を受け取り、撮像素子１４１を制御する。

ＲＡＭ１５４には、撮影画像（Ａ＋Ｂ像）や、視差画像（Ａ像、Ｂ像）や、視差画像（Ａ像、Ｂ像）から生成されたデフォーカスマップおよび信頼度マップ等が蓄積される。ＲＡＭ１５４に記憶された情報は、バス１６０を介して撮像装置１００内の各ユニットで利用される。
モニタディスプレイ１５０は、撮像装置１００で追跡している被写体を含む被写体領域を矩形等で表示する他、タッチパネルとして利用される。

フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムを記憶する。ユーザによる操作スイッチ１５６の操作により撮像装置１００が起動すると（撮像装置１００の電源がＯＦＦの状態からＯＮの状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラムがＲＡＭ１５４の一部に読み込まれる（ロードされる）。ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムに従って撮像装置１００の動作を制御する。

画像記録媒体１５７は、各種データを記録するためのメモリカード等の記録媒体であり、半導体メモリ等から構成される。画像記録媒体１５７に記録される各種データには、撮影画像（Ａ＋Ｂ像）や、視差画像（Ａ像、Ｂ像）や、視差画像（Ａ像、Ｂ像）から生成されたデフォーカスマップおよび信頼度マップや、各データにおける座標の対応関係を示す情報等が記録される。
電源管理部１５８は、電池検出回路と、ＤＣ−ＤＣコンバータと、通電するブロックを切り替えるスイッチ回路とを有する。電源管理部１５８は、電池の装着の有無、電池の種類、および電池の残量の検出を行う。また、電源管理部１５８は、その検出の結果と、ＣＰＵ１５１の指示とに基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、撮像装置１００内の各ブロックへ供給する。
バッテリ１５９は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

初期領域推定部１６１は、モニタディスプレイ１５０に対するユーザの操作により指定された画像平面上の座標周辺の画像信号を用いて、大きさと中心位置とが異なる複数の評価領域と、当該評価領域の評価値とを導出する。
被写体追尾部１６２は、モニタディスプレイ１５０に対するユーザの操作により指定された画像の領域をテンプレートとして登録する。被写体追尾部１６２は、テンプレートと、逐次供給される画像の評価領域（部分領域）とのマッチングを行う。そして、被写体追尾部１６２は、各評価領域の評価値を導出する。マッチングの方式は、多種多様に存在するが、例えば、被写体追尾部１６２は、ヒストグラム類似度に基づいてテンプレートと評価領域とのマッチングを行うことができる。

デフォーカスマップ判定部１６３は、デフォーカスマップの特定領域におけるデフォーカス量の代表値に基づいて被写体とみなすデフォーカス量の範囲を決定する。デフォーカスマップ判定部１６３は、逐次供給されるデフォーカスマップに対してデフォーカス量が代表値に近い領域を被写体らしさが高い領域としてマッピングすることにより特徴マップを作成する。
被写体領域決定部１６４は、バス１６０を介して供給される初期領域推定部１６１、被写体追尾部１６２およびデフォーカスマップ判定部１６３それぞれの結果を用いて、最終的な被写体の領域を決定する。

（全体処理）
図２および図３を参照して、本実施形態における被写体決定処理の全体の流れの一例について説明する。図２は、被写体決定処理の全体の流れの一例を説明するフローチャートである。尚、以下の説明において、処理対象のフレームを必要に応じて現フレームと称し、現フレームの１つ前のフレームを必要に応じて前フレームと称する。
まず、Ｓ２００において、ＣＰＵ１５１は、ユーザからの操作スイッチ１５６の操作を受け付け、画像記録媒体１５７に記録されている画像群から、時系列的に連続している複数の画像を、被写体領域を推定する対象の画像として選択する。
次に、Ｓ２０１において、ＣＰＵ１５１は、Ｓ２００で選択した時系列的に連続している複数の画像のうち、このＳ２０１の処理で未選択の画像を１つ、処理対象のフレームとして選択する。本実施形態では、ＣＰＵ１５１は、時系列的に早い画像から順に画像を選択する。ＣＰＵ１５１は、選択した画像と、選択した画像に対応するデフォーカスマップおよび信頼度マップとを、画像記録媒体１５７からバス１６０を介して撮像装置１００内の各ユニットに供給する。

このように図２のフローチャートでは、ＣＰＵ１５１は、既に撮像された画像に対して処理を行う。よって、図２のフローチャートを実行する場合、レンズユニット１０１、ズーム制御部１１３、絞り制御部１０５、フォーカス制御部１３３、撮像素子１４１、撮像信号処理部１４２、および撮像制御部１４３は、必ずしも必要ない。このような構成の場合、ＣＰＵ１５１は、外部装置から、画像を受信し、画像記録媒体１５７に記録する。

次に、Ｓ２０２において、ＣＰＵ１５１は、Ｓ２０１で選択した画像が初期フレームであるか否かを判定する。この判定の結果、Ｓ２０１で選択した画像が初期フレームであればＳ２０３に進み、そうでなければＳ２０５に進む。
Ｓ２０３において、ユーザは、モニタディスプレイ１５０を操作して、画像平面における被写体の位置を指定する。ＣＰＵ１５１は、画像とデフォーカスマップとの対応関係に基づき、画像平面に対してユーザにより指定された位置から、デフォーカスマップにおける当該位置に対応する位置を算出する。

次に、Ｓ２０４において、ＣＰＵ１５１は、Ｓ２０３で初期フレームに対してユーザにより指定された位置を基に特定領域を決定する。特定領域は、例えば、Ｓ２０３で指定された位置の座標を中心とする、所定画素数の長方形または正方形の領域である。所定画素数は、特定領域のサイズが入力画像のサイズに対して十分に小さくなるようにしていれば良い。特定領域は、処理対象の画像において被写体の領域として想定される領域である第１の領域の一例である。また、Ｓ２０４の処理は、ユーザによる指定に基づいて、第１の領域を特定する処理の一例である。

Ｓ２０５において、ＣＰＵ１５１は、前フレームの処理において被写体領域決定部１６４が決定した被写体領域を基に特定領域を決定する。特定領域は、前フレームの処理においてＳ２１０で決定された被写体領域と中心座標が同じ領域であって、当該被写体領域よりも小さい領域とする。図３は、前フレームと現フレームのデフォーカスマップの一例を示す図である。図３（ａ）は、前フレームのデフォーカスマップ３００を示し、図３（ｂ）は、現フレームのデフォーカスマップ３０１を示す。

Ｓ２０５において、ＣＰＵ１５１は、前フレームにおいて、Ｓ２１０で決定された被写体領域３０２を狭めた特定領域３０３を設定する。被写体領域３０２よりも狭めた領域を特定領域３０３として設定することで、被写体領域３０２に含まれる背景領域の影響を抑制することができる。前述したように特定領域は、処理対象の画像において被写体の領域として想定される領域である第１の領域の一例である。また、Ｓ２０５の処理は、処理対象の画像よりも過去の画像に対して決定された被写体の領域に基づいて、第１の領域を特定する処理の一例である。

次に、Ｓ２０６において、ＣＰＵ１５１は、Ｓ２０４またはＳ２０５で決定した特定領域からデフォーカス量の平均値を導出する。被写体が動いてしまうと、Ｓ２０５で決定した特定領域の位置と、現フレームにおける被写体の位置とにズレが生じるため、ここでは、前フレームの特定領域からデフォーカス量の平均値を導出することが望ましい。ただし、Ｓ２０４にて初期フレームから特定領域を決定する場合には、前フレームで決定された特定領域が存在するため、現フレームで決定した特定領域からデフォーカス量の平均値を導出する。
次に、Ｓ２０７において、デフォーカスマップ判定部１６３は、現フレームのデフォーカスマップの判定を行い、当該判定の結果に基づいて特徴マップを作成する。Ｓ２０７のデフォーカスマップ判定処理の詳細については後述する。
次に、Ｓ２０８において、被写体領域決定部１６４は、デフォーカスマップの利用率を導出する。被写体領域決定部１６４は、Ｓ２０６で導出された特定領域のデフォーカス量の平均値の絶対値に基づいて、デフォーカスマップの利用率を導出する。被写体領域決定部１６４は、Ｓ２０６で導出された特定領域のデフォーカス量の平均値の絶対値が小さければ、デフォーカスマップの利用率を高くする。一方、Ｓ２０６で導出された特定領域のデフォーカス量の平均値の絶対値が大きければ、被写体領域決定部１６４は、デフォーカスマップの利用率を低くする。例えば、Ｓ２０６で導出された特定領域のデフォーカス量の平均値の絶対値が１Ｆδ未満である場合、被写体領域決定部１６４は、デフォーカスマップの利用率を１．０とする。また、例えば、Ｓ２０６で導出された特定領域のデフォーカス量の平均値の絶対値が１Ｆδ以上３Ｆδ未満、５Ｆδ以上である場合、被写体領域決定部１６４は、デフォーカスマップの利用率をそれぞれ０．５、０とする。

次に、Ｓ２０９において、被写体領域決定部１６４は、複数の被写体領域の候補から現フレームにおける被写体領域を決定する。被写体領域の決定には、画像およびデフォーカスマップが用いられる。Ｓ２０９の被写体領域決定処理の詳細については後述する。
次に、Ｓ２１０において、モニタディスプレイ１５０は、入力画像を表示すると共に、Ｓ２０９で決定した被写体領域を矩形の領域として入力画像に重畳表示する。
次に、Ｓ２１１において、ＣＰＵ１５１は、Ｓ２００で選択した全ての画像に対する処理を完了したか否かを判定する。この判定の結果、Ｓ２００で選択した全ての画像に対する処理が完了していれば、図２のフローチャートによる処理は終了する。一方、Ｓ２００で選択した全ての画像に対する処理が完了していなければ、処理はＳ２０１に戻る。そして、未処理の画像に対してＳ２０１〜Ｓ２１０の処理が行われる。

（デフォーカスマップ判定処理）
図４、図５および図６を用いて、Ｓ２０７におけるデフォーカスマップ判定処理の一例について説明する。図４は、デフォーカスマップ判定処理の一例を説明するフローチャートである。図４の各ステップにおける処理はデフォーカスマップ判定部１６３により行われる。
まずＳ４００において、デフォーカスマップ判定部１６３は、Ｓ２０６で導出された特定領域のデフォーカス量の平均値を用いて、被写体とみなすデフォーカス量Ｄの範囲を以下の（１）式および（２）式で決定する。
Ｄ_AVE−Ｒ＜Ｄ＜Ｄ_AVE＋Ｒ ・・・（１）
Ｒ＝Ｃ_D｜Ｄ_AVE｜＋Ｒ_base ・・・（２）

Ｄ_AVEは、Ｓ２０６で導出された特定領域のデフォーカス量の平均値である。Ｒ_baseは、被写体に合焦している場合に被写体とみなすデフォーカス量の範囲である。Ｃ_Dは、被写体が合焦面から離れている程度に応じて、デフォーカス量Ｄの範囲を広げる幅を定める係数である。

図５は、デフォーカス量Ｄの範囲（係数Ｃ_D）を決定する方法の一例を説明する図である。図５（ａ）は、Ｒ_baseを定めるためのサンプルデータの一例を示す図である。図５（ａ）は、平面の被写体が画角全体に映っており、Ｄ_AVEが０となる距離で撮影して得られるデフォーカスマップの分散の一例を示す。横軸はデフォーカス量を表し、縦軸は横軸で表されるデフォーカス量を備える画素の数を表す。Ｒ_baseは、図５（ａ）に示すサンプルデータにおいて、（１）式および（２）式を満たす画素の数が所定割合以上になるように決定される。

図５（ｂ）は、Ｃ_Dを定めるためのサンプルデータの一例を示す図である。図５（ｂ）は、平面の被写体が画角全体に映っており、Ｄ_AVEが０Ｆδでない距離で撮影して得られるデフォーカスマップの分散の一例である。横軸はデフォーカス量を表し、縦軸は横軸で表されるデフォーカス量を備える画素の数を表す。また、図５（ｃ）は、Ｄ_AVEの絶対値とＲとの関係の一例を示す図である。図５（ｃ）に示すグラフは、Ｄ_AVEが異なる複数のサンプリングデータを用いて、（１）式および（２）式を満たす画素の数が所定割合以上になるＲを導出することにより得られる。デフォーカスマップ判定部１６３は、図５（ｃ）から得られたデータと、以下の（３）式とに基づいてＣ_Dを定める。
Ｃ_D＝Ｒ／｜Ｄ_AVE｜ ・・・（３）
Ｓ４００の処理は、処理対象の画像における第１の領域のデフォーカス量を用いて、被写体に対応するデフォーカス量の範囲を導出する処理の一例である。

次に、Ｓ４０１において、デフォーカスマップ判定部１６３は、現フレームのデフォーカスマップから着目画素を選択する。着目画素は、デフォーカスマップの全画素からラスタ処理で順次選択される。
次に、Ｓ４０２において、デフォーカスマップ判定部１６３は、Ｓ４０１で選択した着目画素に対応する信頼度マップの信頼度が所定値よりも高いか否かを判定する。この判定の結果、Ｓ４０１で選択した着目画素に対応する信頼度マップの信頼度が所定値よりも高ければＳ４０３に進み、そうでなければＳ４０５に進む。

Ｓ４０３において、デフォーカスマップ判定部１６３は、着目画素のデフォーカス量が、Ｓ４００で決定した範囲内であるか否かを判定する。この判定の結果、着目画素のデフォーカス量が、Ｓ４００で決定した範囲内であればＳ４０４に進み、そうでなければＳ４０５に進む。
Ｓ４０４において、デフォーカスマップ判定部１６３は、特徴マップにおいて着目画素に対応する座標に白画素を記録する。
また、Ｓ４０５において、デフォーカスマップ判定部１６３は、特徴マップにおいて着目画素に対応する座標に黒画素を記録する。
図６は、特徴マップ６００の一例を示す図である。特徴マップ６００の各座標（各画素の位置）は、デフォーカスマップの各座標（各画素の位置）と対応している。

次に、Ｓ４０６において、デフォーカスマップ判定部１６３は、デフォーカスマップの全ての画素が着目画素として選択されたか否かを判定する。この判定の結果、全ての画素が選択されていれば、図４のフローチャートによる処理は終了する。一方、全ての画素が選択されていなければＳ４０１に戻る。そして、未選択の画素についてＳ４０１〜Ｓ４０５の処理が行われる。

（被写体領域決定処理）
図７、図８、図９、図１０および図１１を用いて、Ｓ２０９における被写体領域決定処理の一例について説明する。図７は、被写体領域決定処理の一例を説明するフローチャートである。図７のフローチャートによる処理は、処理対象のフレームにおけるデフォーカス量と、被写体に対応するデフォーカス量の範囲と、処理対象のフレームにおける画像とを用いて、処理対象の画像における被写体の領域を決定する処理の一例である。

まずＳ７００において、ＣＰＵ１５１は、Ｓ２０１で選択した画像が初期フレームであるか否かを判定する。この判定の結果、Ｓ２０１で選択した画像が初期フレームであればＳ７０１に進み、そうでなければＳ７０４に進む。
次に、Ｓ７０１において、初期領域推定部１６１は、内外相違度向けの評価領域を選定する。図８は、内外相違度向けの評価領域を選定する方法の一例を説明する図である。初期領域推定部１６１は、入力画像８００に対して、複数の評価領域８０２ａ〜８０２ｏを選定する。初期領域推定部１６１は、Ｓ２０３で指定された位置８０１を含むように評価領域８０２ａ〜８０２ｏを選定する。図８に示すように、それぞれの評価領域８０２ａ〜８０２ｏは、各々、中心位置およびサイズの少なくとも何れか一方が異なる。

初期領域推定部１６１は、所定値をｎ倍した値を、評価領域８０２ａ〜８０２ｏのサイズとして導出する。初期領域推定部１６１は、例えば、入力画像の水平方向のサイズまたは垂直方向のサイズに対する割合に基づいて所定値を決定する。例えば、入力画像のサイズが６４０×４８０であれば、初期領域推定部１６１は、水平方向のサイズに対する割合である１／４０と、水平方向のサイズである６４０とから所定値を１６とする。そして、初期領域推定部１６１は、所定値を１倍、２倍、３倍した値である１６、３２、６４を評価領域８０２ａ〜８０２ｏのサイズとして決定する。

初期領域推定部１６１は、Ｓ２０３で指定された位置８０１を基準として画像の上下左右に所定値ずらした位置を評価領域８０２ａ〜８０２ｏの中心位置として決定する。初期領域推定部１６１は、Ｓ２０３で指定された位置８０１に対してずらす量を、評価領域８０２ａ〜８０２ｏのサイズに対する割合に基づいて決定する。例えば、初期領域推定部１６１は、Ｓ２０３で指定された位置８０１に対してずらす量を、評価領域８０２ａ〜８０２ｏのサイズの１／４とする。尚、評価領域の中心位置が入力画像からはみ出す場合、初期領域推定部１６１は、当該評価領域を評価領域として決定しない。また、評価領域が入力画像からはみ出す場合、初期領域推定部１６１は、入力画像に収まるようにクリップ処理を行い、評価領域を選定する。

次に、Ｓ７０２において、初期領域推定部１６１は、評価領域に対する背景領域を決定する。図９は、評価領域に対する背景領域を決定する方法の一例を説明する図である。
図９において、入力画像９００に対して、Ｓ２０３で位置９０１が指定され、Ｓ７０１で評価領域９０２が選定されたとする。図９に示すように、背景領域９０３の中心位置は、評価領域９０２の中心位置と同一である。背景領域９０３の外径サイズ（水平方向のサイズおよび垂直方向のサイズ）は、評価領域９０２の外径サイズに所定値を加算した値である。背景領域９０３は、長方形または正方形であり、背景領域９０３の外径サイズの長方形または正方形から、評価領域９０２を除いた領域とする。初期領域推定部１６１は、例えば、入力画像９００の水平方向のサイズまたは垂直方向のサイズに対する割合に基づいて所定値を決定する。例えば、入力画像９００のサイズが６４０×４８０であれば、初期領域推定部１６１は、水平方向のサイズに対する割合である１／４０と、水平方向のサイズである６４０とから所定値を１６とする。背景領域が入力画像９００からはみ出す場合、初期領域推定部１６１は、背景領域が入力画像９００に収まるようにクリップ処理を行う。内外相違度向けの評価領域は、処理対象の画像の一部の領域である第２の領域の一例である。

次に、Ｓ７０３において、初期領域推定部１６１は、内外相違度による画像評価値Ｅ_{I_1}を以下の（４）式〜（７）式で導出する。内外相違度による画像評価値Ｅ_{I_1}は、第２の評価値の一例である。

ｄ_Hは、評価領域９０２および背景領域９０３の色相値から算出される相違度である。ｐ_Hiは、評価領域９０２の色相値が階調ｉに属する画素の数を表す。ｑ_Hiは、背景領域９０３の内、色相値が階調ｉに属する画素の数を表す。ｄ_S、ｐ_Si、ｑ_Siは、彩度値に関する同様の値であり、ｄ_V、ｐ_Vi、ｑ_Viは、輝度値に関する同様の値である。また、ｍは、色相値、彩度値、輝度値における階調の最大値である。
ここで、図１０は、色相値の階調化の一例を説明する図である。図１０（ａ）は、評価領域９０２や背景領域９０３から得られる色相値の分散の一例を示す図である。図１０（ｂ）は、所定の範囲の色相値を１つの階調として階調化した色相値の分散の一例を示す図である。所定の範囲は、例えば、入力画像９００における色相値の値域を８等分した範囲である。ここでは色相値の階調化について説明したが、彩度値および輝度値の階調化も、色相値の階調化と同様にして行われる。

また、Ｓ７０４において、被写体追尾部１６２は、被写体追尾向けの評価領域を選定する。被写体追尾向けの評価領域は、処理対象の画像の一部の領域である第２の領域の一例である。図１１は、被写体追尾向けの評価領域を選定する方法の一例を説明する図である。被写体追尾部１６２は、現フレームの入力画像１１０１に対して、複数の評価領域（サーチウィンドウ領域１１０４）を選定する。テンプレート領域１１０２は、前フレームの入力画像１１００に対して被写体領域決定部１６４が被写体領域と決定した領域である。サーチ領域１１０３の中心位置は、テンプレート領域１１０２の中心位置と同じである。サーチ領域１１０３の面積は、テンプレート領域１１０２の面積を所定倍した面積である。所定倍は１倍よりも大きければよく、例えば４倍とする。サーチ領域が入力画像１１０１からはみ出す場合、被写体追尾部１６２は、サーチ領域が入力画像１１０１に収まるようにクリップ処理を行う。サーチウィンドウ領域１１０４のサイズは、テンプレート領域１１０２のサイズと同じである。被写体追尾部１６２は、サーチ領域１１０３からはみ出さない範囲で、サーチ領域１１０３の左上から右下に、中心位置をずらしながらサーチウィンドウ領域１１０４を複数設定する。サーチウィンドウ領域１１０４のずらし量は、サーチウィンドウ領域１１０４のサイズに対して十分小さければよい。例えば、サーチウィンドウ領域１１０４の一辺の長さの１／４倍の長さを、サーチウィンドウ領域１１０４のずらし量とする。
次に、Ｓ７０５において、被写体追尾部１６２は、ヒストグラム類似度による画像評価値Ｅ_{I_n}を、以下の（８）式〜（１１）式で導出する。ヒストグラム類似度による画像評価値Ｅ_{I_n}は、第２の評価値の一例である。

ｂ_Hは、テンプレート領域１１０２およびサーチウィンドウ領域１１０４の色相値から算出される類似度である。ｔ_Hiは、テンプレート領域１１０２の内、色相値が階調ｉに属する画素の数を表す。ｓ_Hiは、サーチウィンドウ領域１１０４の内、色相値が階調ｉに属する画素数を表す。ｂ_S、ｔ_Si、ｓ_Siは、彩度値に関する同様の値であり、ｂ_V、ｔ_Vi、ｓ_Viは、輝度値に関する同様の値である。また、ｍは、色相値、彩度値、輝度値における階調の最大値である。また、（８）式〜（１１）式における階調化は、（４）式〜（６）式における階調化と同様のため、その詳細な説明を省略する。

次に、Ｓ７０６において、デフォーカスマップ判定部１６３は、Ｓ２０７で作成した特徴マップ６００を用いてデフォーカス評価値Ｅ_dを以下の（１２）式で導出する。デフォーカス評価値Ｅ_dは、第１の評価値の一例である。（１２）式の右辺は、第２の領域における画素のうち、デフォーカス量が、被写体に対応するデフォーカス量の範囲に含まれている画素であって、信頼度が、予め設定された値よりも高い画素の数の、第２の領域における全ての画素の数に対する割合の一例である。
Ｅ_d＝Ｎ_white／Ｎ_All ・・・（１２）
Ｎ_Allは、特徴マップ６００における評価領域の全ての画素の数である。Ｎ_whiteは、特徴マップ６００における評価領域に含まれる白画素の数である。ここでの評価領域は、Ｓ７０１またはＳ７０４で選択した入力画像８００、１１０１上の評価領域に対応する特徴マップ６００上の評価領域である。
次に、Ｓ７０７において、被写体領域決定部１６４は、Ｓ７０１またはＳ７０４で選定した評価領域８０２ａ〜８０２ｏ、１１０４に対し、被写体評価値Ｅ（ｎ）を、以下の（１３）式で導出する。

Ｅ（ｎ）は、ｎフレーム目の画像における被写体評価値である。ｎ＝１は、初期フレームであることを表す。ω_{I_0}、ω_{I_n}はそれぞれ、画像評価値Ｅ_{I_0}、Ｅ_{I_n}を正規化するための係数である。また、ω_dは、デフォーカス評価値Ｅ_dを正規化するための係数である。αは、図２のＳ２０８で導出したデフォーカスマップの利用率である。αは、第１の評価値に乗算する係数の一例である。
次に、Ｓ７０８において、ＣＰＵ１５１は、全ての評価領域の処理が完了したか否かを判定する。この判定の結果、全ての評価領域の処理が完了していればＳ７０９に進み、そうでなければＳ７００に戻る。
次に、Ｓ７０９において、被写体領域決定部１６４は、全ての評価領域から最も被写体評価値Ｅ（ｎ）が大きい領域を被写体領域として決定する。

以上のように本実施形態では、ＣＰＵ１５１は、前フレームにおいて決定された被写体領域等に基づいて特定領域を定め、前フレームのデフォーカスマップの特定領域におけるデフォーカス量の平均値を導出する。デフォーカスマップ判定部１６３は、前フレームのデフォーカスマップの特定領域におけるデフォーカス量の平均値に基づいて、被写体とみなすデフォーカス量Ｄの範囲を決定する。具体的には、前フレームの特定領域におけるデフォーカス量が大きくなるほど、現フレームにおけるデフォーカス量のばらつきが大きくなるため、被写体がいる可能性が高いと判断するためのデフォーカス量Ｄの範囲を広くする。デフォーカスマップ判定部１６３は、現フレームのデフォーカスマップの着目画素の信頼度が高く、且つ、当該着目画素のデフォーカス量が、被写体とみなすデフォーカス量Ｄの範囲である場合、特徴マップの当該着目画素に対応する画素を白画素とする。一方、そうでない場合、デフォーカスマップ判定部１６３は、特徴マップの当該着目画素に対応する画素を黒画素とする。被写体追尾部１６２は、入力画像の評価領域における白画素の割合に基づいて、デフォーカス評価値Ｅ_dを導出する。また、被写体追尾部１６２は、入力画像の評価領域と前フレームにおいて決定された被写体領域との類似度に基づいて画像評価値Ｅ_{I_n}を導出する。被写体追尾部１６２は、デフォーカス評価値Ｅ_dと、画像評価値Ｅ_{I_n}とに基づいて、評価領域の被写体評価値Ｅ（ｎ）を導出する。被写体領域決定部１６４は、被写体評価値Ｅ（ｎ）が最も大きい評価領域を被写体領域として決定する。従って、被写体に合焦していない場合でも、デフォーカス量のばらつきの影響を抑制しながら、被写体領域を推定することができる。よって、被写体領域を正しく判定することができる。

尚、本実施形態では、前フレームのデフォーカスマップの特定領域におけるデフォーカス量の平均値に基づいて、被写体とみなすデフォーカス量Ｄの範囲を決定する場合を例に挙げて説明した。しかしながら、前フレームのデフォーカスマップの特定領域におけるデフォーカス量を用いて、被写体とみなすデフォーカス量Ｄの範囲を決定していれば、必ずしも前フレームのデフォーカスマップの特定領域におけるデフォーカス量の平均値を用いる必要はない。例えば、前フレームのデフォーカスマップの特定領域におけるデフォーカス量の、平均値以外の代表値を用いてもよい。

＜第２の実施形態＞
次に、第２の実施形態を説明する。第１の実施形態では、前フレームのデフォーカスマップの特定領域におけるデフォーカス量を考慮して、被写体とみなすデフォーカス量Ｄの範囲を決定する場合を例に挙げて説明した。本実施形態では、撮影条件をさらに考慮して、被写体とみなすデフォーカス量Ｄの範囲を決定する。このように本実施形態と第１の実施形態とは、被写体とみなすデフォーカス量Ｄの範囲を決定する処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１１に付した符号と同一の符号を付す等して詳細な説明を省略する。

（撮像システム）
本実施形態の撮像システムは、第１の実施形態で説明した撮像装置１００で実現することができるので、その詳細な説明を省略する。
（全体処理）
図１２を参照して、本実施形態における被写体決定処理の全体の流れの一例について説明する。図１２は、被写体決定処理の全体の流れの一例を説明するフローチャートである。尚、図１２のフローチャートを実行する場合、レンズユニット１０１、ズーム制御部１１３、絞り制御部１０５、フォーカス制御部１３３、撮像素子１４１、撮像信号処理部１４２、および撮像制御部１４３が必要になる。

まず、Ｓ１２００において、ＣＰＵ１５１は、ユーザからの操作スイッチ１５６の操作を受け付け、撮像装置１００の動作モードを設定する。動作モードは連続撮影モード（静止画像を連続して撮影するモード）や、動画撮影モード等である。
次に、Ｓ１２０１において、ＣＰＵ１５１は、ユーザからの操作スイッチ１５６の操作を受け付け、撮像装置１００の動作開始指示があるか否かを判定する。この判定の結果、動作開始指示があればＳ１２０２に進み、動作開始指示がなければＳ１２０１に戻る。

次に、Ｓ１２０２において、ＣＰＵ１５１は、初期フレームであるか否かを判定する。この判定の結果、初期フレームであればＳ１２０５へ進み、初期フレームでなければＳ１２０３に進む。
Ｓ１２０３において、フォーカス制御部１３３は、前フレームにおいて生成されたデフォーカスマップおよび信頼度マップを用いて、前フレームにおいて決定された被写体領域に合焦するための目標レンズ駆動量を導出する。目標レンズ駆動量は、ＲＡＭ１５４に記録される。

次に、Ｓ１２０４において、フォーカス制御部１３３は、フォーカスモータ１３２を駆動させ、レンズユニット１０１の合焦制御を行う。ここでの合焦制御は、レンズ駆動量がＳ１２０３で決定した目標レンズ駆動量に達するという条件と、前フレームの撮像開始時刻から所定時間が経過するという条件との何れかの条件が成立するまで行われる。Ｓ１２００で設定された動作モードが連続撮影モードである場合、フォーカス制御部１３３は、連続撮影速度に基づいて、所定時間を決定する。また、Ｓ１２００で設定された動作モードが動画撮影モードである場合、フォーカス制御部１３３は、フレームレートに基づいて、所定時間を決定する。例えば、連続撮影モードの連続撮影速度が１０コマ／秒であれば所定時間は１００ｍｓであり、動画撮影モードのフレームレートが３０ｆｐｓであれば所定時間は３３ｍｓである。また、レンズ駆動量および合焦時刻がＲＡＭ１５４に記録される。

次に、Ｓ１２０５において、撮像信号処理部１４２は、撮像素子１４１から得られた画像信号を処理し、撮影画像（Ａ＋Ｂ像）や視差画像（Ａ像、Ｂ像）を生成する。また、撮像時刻がＲＡＭ１５４に記録される。
次に、Ｓ１２０６において、画像処理部１５２は、Ｓ１２０５で得られた視差画像（Ａ像、Ｂ像）に基づいてデフォーカスマップを生成する。
次に、Ｓ１２０７において、画像処理部１５２は、Ｓ１２０５で得られた視差画像（Ａ像、Ｂ像）に基づいて信頼度マップを生成する。
Ｓ１２０８からＳ１２１２の処理は、第１の実施形態で説明した図２のＳ２０２から２０６の処理と同一であるため、これらの処理の詳細な説明を省略する。

次に、Ｓ１２１３において、デフォーカスマップ判定部１６３は、現フレームのデフォーカスマップの判定を行い、当該判定の結果に基づいて特徴マップを作成する。Ｓ１２１３のデフォーカスマップ判定処理の詳細については後述する。
次に、Ｓ１２１４において、被写体領域決定部１６４は、デフォーカスマップの利用率αを、以下の（１４）式で導出する。αは、第１の評価値に乗算する係数の一例である。
α＝α_AVEα_LENα_CAP ・・・（１４）

α_AVEは、Ｓ１２１２で導出された特定領域のデフォーカス量の平均値の絶対値に基づいて決定される。被写体領域決定部１６４は、Ｓ１２１２で導出された特定領域のデフォーカス量の平均値の絶対値が小さければ、α_AVEを高くする。一方、Ｓ１２１２で導出された特定領域のデフォーカス量の平均値の絶対値が大きければ、被写体領域決定部１６４は、α_AVEを低くする。例えば、Ｓ１２１２で導出された特定領域のデフォーカス量の平均値の絶対値が１Ｆδ未満である場合、被写体領域決定部１６４は、α_AVEを１．０とする。また、例えば、Ｓ１２１２で導出された特定領域のデフォーカス量の平均値の絶対値が１Ｆδ以上３Ｆδ未満、５Ｆδ以上である場合、被写体領域決定部１６４は、α_AVEをそれぞれ０．５、０とする。

α_LENは、Ｓ１２０３で記録された目標レンズ駆動量と、Ｓ１２０４で記録されたレンズ駆動量とに基づいて決定される。被写体領域決定部１６４は、目標レンズ駆動量とレンズ駆動量とが一致するほどα_LENを高くする（目標レンズ駆動量とレンズ駆動量とが一致しないほどα_LENを低くする）。例えば、被写体領域決定部１６４は、レンズ駆動量を目標レンズ駆動量で除算した値をα_LENとする。
α_CAPは、Ｓ１２０４で記録された合焦時刻と、Ｓ１２０５で記録された撮像時刻とに基づいて決定される。被写体領域決定部１６４は、両時刻の差分が小さいほどα_CAPを高くする（両時刻の差分が大きいほどα_CAPを低くする）。例えば、被写体領域決定部１６４は、両時刻の差分が５００ｍｓ未満であればα_CAPを１．０とし、５００ｍｓ以上１０００ｍｓ未満であればα_CAPを０．５とし、１０００ｍｓ以上であればα_CAPを０とする。
Ｓ１２１５およびＳ１２１６における処理は、第１の実施形態におけるＳ２０９およびＳ２１０の処理と同一であるため、これらの処理の詳細な説明を省略する。

次に、Ｓ１２１７において、ＣＰＵ１５１は、ユーザからの操作スイッチ１５６の操作を受け付け、撮影の終了指示が行われたか否かを判定する。この判定の結果、撮影の終了指示が行われていれば、図１２のフローチャートによる処理は終了する。一方、撮影の終了指示が行われていれば、行われていなければＳ１２０２に戻る。そして、次のフレームに対して、Ｓ１２０２〜Ｓ１２１６の処理が行われる。

（デフォーカスマップ判定処理）
図４、図１３および図１４を用いて、Ｓ１２１３におけるデフォーカスマップ判定処理の一例について説明する。図４の各ステップにおける処理はデフォーカスマップ判定部１６３により行われる。
まずＳ４００において、デフォーカスマップ判定部１６３は、Ｓ１２１２で導出された特定領域のデフォーカス量の平均値を用いて、被写体とみなすデフォーカス量Ｄの範囲を以下の（１５）式および（１６）式で決定する。
Ｄ_AVE−Ｒ＜Ｄ＜Ｄ_AVE＋Ｒ ・・・（１５）
Ｒ＝Ｃ_L｜Ｌ_TAR−Ｌ_DON｜＋Ｃ_T｜Ｔ_CAP−Ｔ_LEN｜＋Ｃ_D｜Ｄ_AVE｜＋Ｒ_base ・・・（１６）

Ｄ_AVE、Ｒ_base、Ｃ_Dについては、第１の実施形態で説明した（１）式および（２）式におけるものと同一であるため、これらの詳細な説明を省略する。
Ｌ_TARは、Ｓ１２０３で記録された目標レンズ駆動量である。Ｌ_DONは、Ｓ１２０４で記録されたレンズ駆動量である。Ｔ_LENは、Ｓ１２０４で記録された合焦時刻である。Ｔ_CAPは、Ｓ１２０５で記録された撮像時刻である。Ｃ_Lは、目標レンズ駆動量とレンズ駆動量との差分の大きさに応じて、デフォーカス量Ｄの範囲を広げる幅を定める係数である。Ｃ_Tは、撮像時刻と合焦時刻との差分の大きさに応じて、デフォーカス量Ｄの範囲を広げる幅を定める係数である。

図１３は、デフォーカス量Ｄの範囲（係数Ｃ_L）を決定する方法の一例を説明する図である。図１３（ａ）は、Ｃ_Lを定めるためのサンプルデータの一例を示す図である。図１３（ａ）は、撮像装置１００から等速直線運動で遠ざかっている平面の被写体を撮影して得られるデフォーカスマップにおけるデフォーカス量のうち、被写体領域に属するデフォーカス量の分散の一例を示す。この撮影は、｜Ｌ_TAR−Ｌ_DON｜が０でなく｜Ｔ_CAP−Ｔ_LEN｜が０である条件下で行われる。また、図１３（ｂ）は、｜Ｌ_TAR−Ｌ_DON｜とＲとの関係の一例を示す図である。図１３（ｂ）に示すグラフは、｜Ｌ_TAR−Ｌ_DON｜が異なる複数のサンプリングデータを用いて、（１５）式および（１６）式を満たす画素の数が所定割合以上になるＲを導出することにより得られる。デフォーカスマップ判定部１６３は、図１３（ｂ）から得られたデータと、以下の（１７）式とに基づいてＣ_Lを定める。
Ｃ_L＝Ｒ／｜Ｌ_TAR−Ｌ_DON｜ ・・・（１７）

図１４は、デフォーカス量Ｄの範囲（係数Ｃ_T）を決定する方法の一例を説明する図である。図１４（ａ）は、Ｃ_Tを定めるためのサンプルデータの一例を示す図である。図１４（ａ）に示す。図１４（ａ）は、撮像装置１００から等速直線運動で遠ざかっている平面の被写体を撮影して得られるデフォーカスマップにおけるデフォーカス量のうち、被写体領域に属するデフォーカス量の分散の一例を示す。この撮影は、｜Ｌ_TAR−Ｌ_DON｜が０であり、｜Ｔ_CAP−Ｔ_LEN｜が０でない条件下で行われる。また、図１４（ｂ）は、｜Ｔ_CAP−Ｔ_LEN｜とＲとの関係の一例を示す図である。図１４（ｂ）に示すグラフは、｜Ｔ_CAP−Ｔ_LEN｜が異なる複数のサンプリングデータを用いて、（１５）式および（１６）式を満たす画素の数が所定割合以上になるＲを導出することにより得られる。デフォーカスマップ判定部１６３は、図１４（ｂ）から得られたデータと、以下の（１８）式とに基づいてＣ_Lを定める。
Ｃ_T＝Ｒ／｜Ｔ_CAP−Ｔ_LEN｜ ・・・（１８）

Ｓ４００の処理は、処理対象のフレームにおける第１の領域のデフォーカス量と、処理対象の画像を撮影した際の撮影条件とを用いて、被写体に対応するデフォーカス量の範囲を導出する処理の一例である。｜Ｌ_TAR−Ｌ_DON｜は、処理対象の画像を撮影した際に合焦したタイミングと、処理対象の画像を撮影したタイミングとの差の一例である。｜Ｔ_CAP−Ｔ_LEN｜は、処理対象の画像を撮影した際のレンズの目標駆動量と実際の駆動量との差の一例である。

Ｓ４０１からＳ４０６の処理は、第１の実施形態で説明した通りであるので、これらの処理の詳細な説明を省略する。
以上のように本実施形態では、被写体とみなすデフォーカス量Ｄの範囲は、現フレームのデフォーカスマップの特定領域におけるデフォーカス量の平均値と、目標レンズ駆動量とレンズ駆動量との差分と、合焦時刻と撮像時刻との差分とに基づいて決定される。従って、被写体に合焦していない場合や撮影条件が好適でない場合でも、デフォーカス量のばらつきの影響を抑制しながら、被写体領域を推定することができる。よって、被写体領域を正しく判定することができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１６１：初期領域推定部、１６２：被写体追尾部、１６３：デフォーカスマップ判定部、１６４：被写体領域決定部

Claims (14)

1. 処理対象の画像よりも過去の画像において被写体の領域として想定される領域である第１の領域を特定する特定手段と、
   前記第１の領域のデフォーカス量を用いて、被写体に対応するデフォーカス量の範囲を設定する設定手段と、
   前記処理対象の画像におけるデフォーカス量と、前記被写体に対応するデフォーカス量の範囲とを用いて、前記処理対象の画像における被写体の領域を決定する決定手段と、を有することを特徴とする情報処理装置。
2. 前記決定手段は、前記処理対象の画像の色および輝度の少なくとも１つに関する値をさらに用いて、前記処理対象の画像における被写体の領域を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記設定手段は、前記処理対象の画像よりも過去の画像における前記第１の領域のデフォーカス量を用いて、被写体に対応するデフォーカス量の範囲を設定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記特定手段は、ユーザによる指定に基づいて、前記第１の領域を特定することを特徴とする請求項１または２に記載の情報処理装置。
5. 前記決定手段は、前記処理対象の画像の一部の領域である第２の領域におけるデフォーカス量と、前記被写体に対応するデフォーカス量の範囲とを用いて、当該第２の領域に対する第１の評価値を導出することを、複数の前記第２の領域について行い、前記複数の第２の領域に対する前記第１の評価値を用いて、前記複数の第２の領域の中から、前記処理対象の画像における被写体の領域を決定することを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
6. 前記決定手段は、前記処理対象の画像の一部の領域である第２の領域におけるデフォーカス量と、前記被写体に対応するデフォーカス量の範囲と、前記第２の領域におけるデフォーカス量の信頼度とを用いて、当該第２の領域に対する第１の評価値を導出することを、複数の前記第２の領域について行い、前記複数の第２の領域に対する前記第１の評価値を用いて、前記複数の第２の領域の中から、前記処理対象の画像における被写体の領域を決定することを特徴とする請求項１〜５の何れか１項に記載の情報処理装置。
7. 前記第１の評価値は、前記第２の領域における画素のうち、デフォーカス量が、前記被写体に対応するデフォーカス量の範囲に含まれている画素であって、信頼度が、予め設定された値よりも高い画素の数の、前記第２の領域における全ての画素の数に対する割合に基づいて定められることを特徴とする請求項６に記載の情報処理装置。
8. 前記決定手段は、前記第１の領域におけるデフォーカス量を用いて、前記第２の領域に対する前記第１の評価値に乗算する係数を導出し、前記係数が乗算された前記第１の評価値を用いて、前記複数の第２の領域の中から、前記処理対象の画像における被写体の領域を決定することを特徴とする請求項５〜７の何れか１項に記載の情報処理装置。
9. 前記決定手段は、前記処理対象の画像の一部の領域である第２の領域の画像を用いて、当該第２の領域に対する第２の評価値を導出することを、複数の前記第２の領域について行い、前記複数の第２の領域に対する前記第２の評価値を用いて、前記複数の第２の領域の中から、前記処理対象の画像における被写体の領域を決定することを特徴とする請求項１〜８の何れか１項に記載の情報処理装置。
10. 前記設定手段は、前記処理対象の画像を撮影した際の撮影条件をさらに用いて、被写体に対応するデフォーカス量の範囲を設定することを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。
11. 前記撮影条件は、前記処理対象の画像を撮影した際に合焦したタイミングと、前記処理対象の画像を撮影したタイミングとの差を含むことを特徴とする請求項１０に記載の情報処理装置。
12. 前記撮影条件は、前記処理対象の画像を撮影した際のレンズの目標駆動量と実際の駆動量との差を含むことを特徴とする請求項１０または１１に記載の情報処理装置。
13. 処理対象の画像よりも過去の画像において被写体の領域として想定される領域である第１の領域を特定する特定工程と、
    第１の領域のデフォーカス量を用いて、被写体に対応するデフォーカス量の範囲を導出する導出工程と、
    前記処理対象の画像におけるデフォーカス量と、前記被写体に対応するデフォーカス量の範囲とを用いて、前記処理対象の画像における被写体の領域を決定する決定工程と、を有することを特徴とする情報処理方法。
14. 請求項１〜１２の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images