JP2021132295A - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の被写体が検出された場合において、ユーザーにとって最適な主被写体の決定を行うことが可能な画像処理装置を提供する。【解決手段】画像処理装置は、画像から、被写体の特定領域の情報と、特定領域の情報とは異なる被写体に関する情報である関連情報とを検出する検出部２１１と、画像において複数の被写体が検出部２１１によって検出された場合に特定領域の情報及び関連情報に基づいて被写体ごとの優先度を算出する算出部２１３と、優先度に基づいて画像における主被写体を決定する決定部２１４と、を有する。複数の被写体が検出された場合に、算出部２１３が、被写体の特定領域の情報のみならず被写体に関する関連情報にも基づいて被写体の優先度を算出するため、ユーザーにとって最適な主被写体の決定を行うことができる。【選択図】 図７

Description

本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムに関するものである。

従来、デジタルカメラ等において、画像から被写体を認識し、当該被写体の情報をもとに、自動的にカメラの制御を行う機能を備えたものがある。特許文献１には、被写体の顔を検出して焦点を合わせると共に、最適な露出で撮影する装置が開示されている。

このようなカメラにおいて、複数の被写体が検出された場合には、どの被写体をカメラの制御対象の被写体（以後、主被写体と呼ぶ）として選択するべきかという問題が生じる。ユーザーにとって好ましい主被写体選択を考える上で、よりカメラに近い被写体ほど優先されるという技術思想が知られている。特許文献２においては、被写体の顔を検出し、より検出サイズが大きい顔を持つ被写体が優先的に選択されるようにした撮像装置が開示されている。

特開２００５−３１８５５４号公報 特開２０１０−１４１６１６号公報

特許文献２では、顔という実空間上でのサイズが等しいとみなせる単一種類の領域を検出した結果を用いて主被写体の決定を行っている。そのため、より画像上での検出サイズが大きい検出結果を選択することで、カメラに最も近い被写体を選択することができる。

また、特許文献２は、人間の顔の実空間上でのサイズは等しいとみなせるという仮定に基づいている。一方で、近年では、人間だけでなく、犬や猫などのペットや鳥などの野生動物といった複数の種別の被写体を認識する機能を持ち、より多彩な撮影シーンへ対応したカメラが登場している。

しかしながら、複数の種別の被写体が検出されうる場合において、検出された顔領域の情報に基づいて主被写体を決定しようとする場合がある。この場合には、顔領域の実空間上でのサイズが等しいとみなせるという前提が成立しない。このため、特許文献２の手法を用いたとしても、ユーザーにとって最適な主被写体の決定を行うには不十分である。

そこで、本発明の目的は、複数の被写体が検出された場合において、ユーザーにとって最適な主被写体の決定を行うことである。

本発明の一実施形態の画像処理装置は、画像から、被写体の特定領域の情報と、前記特定領域の情報とは異なる前記被写体に関する情報である関連情報とを検出する検出部と、前記画像において複数の前記被写体が前記検出部によって検出された場合に前記特定領域の情報及び前記関連情報に基づいて前記被写体ごとの優先度を算出する算出部と、前記優先度に基づいて前記画像における主被写体を決定する決定部と、を有することを特徴とする。

本発明の画像処理装置によれば、複数の被写体が検出された場合において、ユーザーにとって最適な主被写体の決定を行うことができる。

第一実施形態に係る撮像装置の概略断面図。 第一実施形態に係る処理を行う制御系を示すブロック図。 第一実施形態に係る処理の１フレームの動作を説明するフローチャート。 第一実施形態に係る処理における主被写体演算処理のフローチャート。 第一実施形態に係る処理における顔領域と全身領域の対応付けの例を示す図。 第一実施形態に係る処理におけるフレーム間での検出結果の対応付けの例を示す図。 第一実施形態に係る処理における代表領域の選択の例を示す図。 第一実施形態に係る処理における優先度算出のフローチャート。 第一実施形態に係る処理における優先度算出に用いるグラフ。 第二実施形態に係る処理における優先度算出のフローチャート。 第三実施形態に係る処理における優先度算出のフローチャート。 第三実施形態に係る処理において検出履歴情報から補正パラメータを算出する処理を説明する図。 第三実施形態に係る処理において体向き情報から補正パラメータを算出する処理を説明する図。 第四実施形態に係る処理の制御系を示すブロック図。 第四実施形態に係る処理のフローチャート。 第四実施形態に係る処理におけるフレーム間での検出結果の対応付けの例を示す図。 第四実施形態に係る処理における優先度算出のフローチャート。 第四実施形態に係る処理において被写体種別情報から補正パラメータを算出する例を示した図。 第五実施形態に係る処理における優先度算出のフローチャート。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。各実施形態で共通する構成については、必要に応じて、前出の符号や図番を用いることで、詳細な説明を省略する。

上述した通り、特許文献２では、顔という単一種類の領域を検出した結果を用いて主被写体の決定を行っている。一方で、被写体から単一の領域のみを検出する場合、もしその領域が何らかの要因で検出できなかった場合には、その被写体を見失ってしまう。そのため、被写体から複数種類の領域（例えば顔と全身など）を検出することで、被写体を見失うリスクを低減させることが考えられる。

しかしながら、同一の被写体から複数種類の領域が検出されうる状況において、検出された領域の情報に基づいて主被写体を決定しようとする場合には、検出された領域の実空間上でのサイズが等しいとみなせるという前提が成立しない。そこで、以下の第一実施形態では、複数種類の特徴的な領域から優先度に従って主被写体を決定するに当たって、検出された特徴に応じて補正されたサイズで領域間を比較する。これにより、検出される特徴の種類によらずユーザーの意図により近い主被写体の決定が可能となることを特徴とする。

［第一実施形態］
第一実施形態について、添付の図面に基づいて詳細に説明する。まず、図１及び図２を用いて、本実施形態の画像処理を用いた撮像装置の一例として、デジタル一眼カメラ（以下、単にカメラとも表記する）の構成例を示す。

図１は、第一実施形態に係る撮像装置１００の概略断面図である。本実施形態の画像処理が行われる撮像装置１００は、図１に示すように、カメラ本体１０１の正面側（被写体側）に、着脱可能な交換式のレンズユニット１２０が装着される。レンズユニット１２０は、フォーカスレンズ１２１および絞り１２２等を有し、カメラ本体１０１に対してマウント接点部１２３を介して電気的に接続される。これにより、カメラ本体１０１に取り込む光量と焦点位置を調節することができる。フォーカスレンズ１２１は、自動的に調整することもできるし、ユーザーが手動で調節することもできる。

撮像センサー１０４（撮像素子）は、ＣＣＤセンサーやＣＭＯＳセンサー等で構成され、赤外カットフィルターやローパスフィルター等を含む。撮像センサー１０４は、撮影された時にレンズユニット１２０の撮影光学系を通過して結像した被写体像を光電変換し、撮影画像を生成するための信号情報を演算装置１０２に送信する。シャッター１０３は、非撮影時に閉じることで、撮像センサー１０４を遮光し、撮影時に開くことで、撮像センサー１０４を露光する。表示部１０５は、例えばＬＣＤ等で構成され、撮影前には撮影対象となる被写体を表示し、撮影後には撮像した画像を表示する。操作部１０６は、レリーズスイッチやモードダイヤルなどを備えている。これにより、操作部１０６をユーザーが操作することによって、演算装置１０２は、ユーザーからの撮影指示やモード変更指示などを受け取ることができる。

図２は、第一実施形態に係る処理を行う制御系を示すブロック図である。図２に示すように、演算装置１０２は、複数のタスクを並列処理できるマルチコアＣＰＵ、ＲＡＭおよびＲＯＭに加え、特定の演算処理を高速に実行するための専用回路などを備えている。演算装置１０２は、制御部２０１、主被写体演算部２０２、追尾演算部２０３、フォーカス演算部２０４、露出演算部２０５等を備える。

主被写体演算部２０２は、検出部２１１、代表領域選択部２１２（選択部）、優先度算出部２１３（算出部）、主被写体判定部２１４（決定部）を有する。この構成により、被写体の顔領域及び全身領域の情報を検出部２１１が検出する。そして、ここで検出された情報に基づいて、代表領域選択部２１２が代表領域を選択する。次に、優先度算出部２１３が被写体ごとの優先度を算出する。その後、優先度に基づいて、主被写体判定部２１４が主被写体を決定する。

制御部２０１は、カメラ本体１０１およびレンズユニット１２０の各部を制御する。追尾演算部２０３は主被写体領域の追尾を行う。フォーカス演算部２０４は、主被写体領域にピントを合わせるためのフォーカスレンズ１２１の制御値の演算を行う。また、露出演算部２０５は、主被写体領域を適正露出にするための絞り１２２および撮像センサー１０４の制御値の演算を行う。

次に、図３を参照して、本実施形態におけるカメラの１フレームにおける動作の手順を説明する。図３は、第一実施形態に係る処理の１フレームの動作を説明するフローチャートである。なお、各動作を説明する場合、必要に応じて、図１または図２に示す各部の機能や動作を詳細に説明する。

まず、演算装置１０２（またはその一部）によって行われる制御動作の手順の概略を説明する。図３に示すように、カメラによって撮像が行われる場合には、まず、撮像センサー１０４の読み出し処理を行う（ステップＳ３０１）。初回フレームか否かを判定し（ステップＳ３０２）、初回フレームでない場合には、主被写体領域の追尾、フォーカス制御、及び露出制御を行う（ステップＳ３０３〜ステップＳ３０５）。その後、またはステップＳ３０２で初回フレームだった場合には、レリーズスイッチが押されているか否かを判定し（ステップＳ３０６）、レリーズスイッチが押されていれば、撮像処理をする（ステップＳ３０７）。その後、またはステップＳ３０６でレリーズスイッチが押されていない場合には、主被写体領域の検出を行い（ステップＳ３０８）、追尾参照情報の生成を行う（ステップＳ３０９）。次に、各ステップの内容を詳細に説明する。

ステップＳ３０１では、制御部２０１は、撮像センサー１０４の読み出し処理を行い、読みだされた信号情報から画像データを生成する。ステップＳ３０２では、初回フレーム時のみステップＳ３０６へ進む。それ以外の場合は、ステップＳ３０３へ進む。

ステップＳ３０３では、追尾演算部２０３は、前フレームで後述するステップＳ３１０において生成された追尾用参照情報を用いて、前フレームで設定された主被写体領域の現フレームにおける位置を算出する追尾処理を行う。追尾処理に用いるアルゴリズムは任意の方法を用いて良い。例えば、前フレームにおいて設定された主被写体領域から所定の特徴抽出手段によって抽出した特徴量を追尾用参照情報として、現フレームにおいて、特徴量同士の距離が近い領域を探索することによって行うことができる。また、アルゴリズムの実装の形態としては、ＣＰＵ上で動くプログラムであっても、専用のハードウェアであっても、それらの組み合わせであっても良い。

ステップＳ３０４では、フォーカス演算部２０４は、ステップＳ３０３で生成された追尾結果と、ステップＳ３０１で生成された信号情報や画像データなどを用いて、追尾結果にピントが合うようにフォーカスレンズ１２１の制御値を算出する。制御値の算出方法はコントラスト方式や位相差検出方式など、公知の任意の方法を用いて良い。制御値の算出が完了したら、フォーカス演算部２０４が制御部２０１に制御値を通知する。すると、制御部２０１は、通知された制御値に基づき、マウント接点部１２３を通じて、フォーカスレンズ１２１の制御を行う。

ステップＳ３０５では、露出演算部２０５は、ステップＳ３０３で生成された追尾結果と、ステップＳ３０１で生成された信号情報や画像データを用いて、追尾結果の露出が適正になるように、撮像センサー１０４および絞り１２２の制御値を算出する。制御値の算出方法は公知の任意の方法を用いて良い。制御値の算出が完了したら、露出演算部２０５が制御部２０１に制御値を通知すると、制御部２０１は通知された制御値に基づき、撮像センサー１０４の制御を行うとともに、マウント接点部１２３を通じて、絞り１２２の制御を行う。

ステップＳ３０６では、制御部２０１は、操作部１０６の状態を読み取り、レリーズスイッチが押されているか否かを判定する。レリーズスイッチが押されている場合には、ステップＳ３０７へ進む。それ以外の場合はステップＳ３０８へ進む。

ステップＳ３０７では、制御部２０１は、静止画の撮像処理を行う。ステップＳ３０５で算出した露出制御の制御値に基づいてシャッター１０３を駆動させ、撮像センサー１０４を露光する。そして、露光された撮像センサー１０４から読みだした信号情報から画像データを生成する。生成された画像データはＳＤカードなどの外部媒体に保存される。

ステップＳ３０８では、主被写体演算部２０２は、ステップＳ３０１で生成した画像データから主被写体領域を決定する処理を行う。本処理については、後に詳述する。

ステップＳ３０９では、追尾演算部２０３は、ステップＳ３０８で生成した主被写体領域の情報と、ステップＳ３０１で生成した画像データに基づいて、次フレームのステップＳ３０２の追尾処理において使用するための追尾用参照情報を生成する。

ステップＳ３０９が終了したら、本実施形態におけるカメラの１フレームの動作は終了である。カメラが動作し続ける限り、再びステップＳ３０１に戻って、ここまで説明した処理を繰り返す。

次に、上述のステップＳ３０８において、主被写体領域を決定する手順を、図４を参照して、さらに詳細に説明する。図４は、第一実施形態に係る処理における主被写体演算処理のフローチャートである。

まず、主被写体領域演算処理の概略を説明する。主被写体領域演算処理は、主被写体演算部２０２（またはその一部）によって行われる。図４に示すように、まず、各フレームから被写体の顔領域と全身領域とを検出し（ステップＳ４０１）、顔領域と全身領域とを対応付ける（ステップＳ４０２）。次に、異なるフレームの被写体の検出結果を、被写体ごとに対応付ける（ステップＳ４０３）。その後、各被写体において代表となる領域を選択し（ステップＳ４０４）、各被写体の優先度を算出する（ステップＳ４０５）。このようにして算出された優先度に基づいて、主被写体を決定する（ステップＳ４０６）。次に、各ステップの内容を詳細に説明する。

ステップＳ４０１では、検出部２１１は、画像から０個以上の顔領域および０個以上の全身領域を検出する処理を行う。検出手法としてはＡｄａＢｏｏｓｔや畳み込みニューラルネットワークなどの公知の任意の方法を用いて良い。また、その実装の形態としては、ＣＰＵ上で動くプログラムであっても、専用のハードウェアであっても、それらの組み合わせであっても良い。

ここで、ステップＳ４０１によって検出された顔領域および全身領域の例を、図を用いて示す。図５は、第一実施形態に係る処理における顔領域と全身領域の対応付けの例を示す図である。図５（Ａ）において、実線で示した５０１、５０２が顔領域として検出された領域であり、破線で示した５０３、５０４が全身領域として検出された領域である。図５に示すように、検出された顔領域は、正方形の領域として表現され、中心位置および辺の長さの情報を持っている。また、検出された全身領域は、それぞれ矩形の領域として表現され、中心位置および縦横の長さの情報を持っている。なお、領域を示す枠の形状は、正方形や矩形に限るものではなく、他の形状としてもよい。

ステップＳ４０２では、検出部２１１は、ステップＳ４０１において検出された顔領域および全身領域において、同一被写体を指す顔領域と全身領域の組が存在するかどうかの判定を行う。そして、同一被写体ごとに顔領域と全身領域とが対応付けられた構造情報に変換する。

ある顔領域とある全身領域が対応付け可能な条件は以下である。
＜顔領域と全身領域の同一被写体判定条件＞
｛（顔領域∩全身領域）の面積｝／｛顔領域の面積｝＞｛所定の閾値｝
上記の判定条件を満たす顔領域と全身領域を対応付け、共通の仮ＩＤを付与する。

図５（Ｂ）は、図５（Ａ）で示した顔領域と全身領域の検出結果から、ステップＳ４０２による対応付けを行った結果の例である。顔領域５０２と全身領域５０４とは、上記の対応付け条件を満たしているため、共通の仮ＩＤで対応付けられている。一方で、顔領域５０１に対応する全身領域は存在しないため、顔領域５０１に対応する全身領域がＮＵＬＬ（空白）となっている。また、全身領域５０３に対応する顔領域は存在しないため、全身領域５０３に対応する顔領域がＮＵＬＬ（空白）となっている。

ステップＳ４０３では、検出部２１１は、前フレームの検出結果との対応付けを行う。前フレームにおける被写体と、今フレームの被写体が対応付けられる条件は以下の通りである。
＜フレーム間の同一被写体判定条件＞
・以下の条件Ａ１もしくは条件Ａ２のいずれかを満たすこと。
（条件Ａ１）共に顔領域が検出されており、２つの顔領域の検出位置の差が所定の閾値以内であり、２つの顔領域の検出サイズの差が所定の閾値以内であること。
（条件Ａ２）共に全身領域が検出されており、２つの全身領域の検出位置の差が所定の閾値以内であり、２つの全身領域の検出サイズの差が所定の閾値以内であること。
なお、顔領域の検出サイズは正方形の辺の長さ、全身領域の検出サイズは矩形の対角線の長さ／√２として定義する。

ここで、ステップＳ４０３におけるフレーム間対応付けの結果の例を図を用いて示す。図６は、第一実施形態に係る処理におけるフレーム間での検出結果の対応付けの例を示す図である。図６（Ａ）が前フレームの検出結果、図６（Ｂ）が現フレームの検出結果、図６（Ｃ）がフレーム間対応付けの結果の例である。

図６の例においては、顔領域５０１と顔領域６０３が上記の条件Ａ１を満たしたため、仮ＩＤ１番は被写体ＩＤ７番と対応付けられている。また、顔領域５０２と顔領域６０２が上記の条件Ａ１を満たしたため、仮ＩＤ３番は被写体ＩＤ６番と対応付けられている。また、全身領域５０３は全身領域６０４と上記の条件Ａ２を満たしたため、仮ＩＤ２番は被写体ＩＤ４番と対応付けられている。なお、初回フレーム時は前フレームの情報が存在しないため、その場合は前フレームとの対応付けは行わない。その場合は、ステップＳ４０２で付与された仮ＩＤがそのまま被写体ＩＤとして扱われる。

本実施形態において、ステップＳ４０１〜Ｓ４０３で説明した手順は、これに限るものではない。例えば、画像から被写体ごとに顔領域と全身領域が対応付けられた構造情報を直接出力するような手法を用いて、ステップＳ４０１〜Ｓ４０３の代わりとしても良い。また、時系列画像を入力としてステップＳ４０３の結果と同等の情報を直接出力するような手法を用いて、ステップＳ４０１〜Ｓ４０３の代わりとしてもよい。

ステップＳ４０４では、代表領域選択部２１２は、被写体ごとに１つの代表領域を選択する。代表領域の選択ルールは以下のとおりである。
＜代表領域選択ルール＞
・顔領域が存在する場合には、全身領域の存在有無に関わらず、顔領域を選択する。
・顔領域が存在せず、全身領域のみが存在する場合には、全身領域を選択する。

ここで、ステップＳ４０４における代表領域の選択結果の例を図を用いて示す。図７は、第一実施形態に係る処理における代表領域の選択の例を示す図である。ステップ４０３までにおいて、図７（Ａ）のように、各被写体について、それぞれに、顔領域と全身領域の検出結果が示される。そして、ステップＳ４０４では、代表領域選択部２１２による選択により、図７（Ｂ）に示すように、代表領域が選択される。図７（Ｂ）の例では、被写体ＩＤ７番からは、顔領域５０１が代表領域として選択されている。同様に、被写体ＩＤ４番からは、全身領域５０３が代表領域として選択されており、被写体ＩＤ６番からは、顔領域５０２が代表領域として選択されている。

ステップＳ４０５では、優先度算出部２１３は、ステップＳ４０４で選択した代表領域の情報に基づいて、各被写体の優先度を算出する。本処理については後に詳説する。すべての被写体に対して優先度の算出が終了したら、ステップＳ４０６へ進む。

ステップＳ４０６では、ステップＳ４０６で算出された被写体ごとの優先度を用いて、最も優先度が大きい被写体を主被写体として選択する。また、主被写体として選択された被写体の代表領域を、主被写体領域として設定する。以上が本実施形態における主被写体演算処理の詳細な手順である。

次に、上述のステップＳ４０５において、優先度算出部２１３が被写体ごとに優先度を算出する手順を、図８を参照して、さらに詳細に説明する。図８は、第一実施形態に係る処理における優先度算出のフローチャートである。

まず、優先度を算出する手順の概略を説明する。図８に示すように、まず、検出位置に基づく優先度重みを算出する（ステップＳ８０１）。次に、代表領域が全身領域か否かを判断し（ステップＳ８０２）、代表領域が全身領域である場合には、検出サイズの補正を行う（ステップＳ８０３）。その後、検出サイズや前回結果に基づいて優先度重みを算出し（ステップＳ８０４、ステップＳ８０５）、各重みから優先度を算出する（ステップＳ８０６）。ステップＳ８０１〜ステップＳ８０６は被写体ごとに実行される。次に、各ステップの内容を詳細に説明する。

ステップＳ８０１では、検出位置に基づく優先度重みを計算する。まず、代表領域の検出位置の画像中心からの距離を計算する。そして、画像中心からの距離を用いて検出位置に基づく優先度重みが算出される。

ここで、ステップＳ８０１において、優先度重みを求める関数の一例を示す。図９は、第一実施形態に係る処理における優先度算出に用いるグラフである。図９（Ａ）は、検出位置に基づく優先度重みを求めるグラフである。ステップＳ８０１では、図９（Ａ）に示すように、画像中心からの距離に基づいた関数を用いて優先度重みを求める。図９（Ａ）の例では、画像中心からの距離が小さいほど優先度重みは大きくなり、画像中心からの距離が大きいほど優先度重みは小さくなる。なお、図９（Ａ）の例のグラフは、距離に対して直線的に優先度が減少する関数となっているが、これに限るものではない。例えば、距離に対して指数関数的、対数関数的など曲線的に優先度が減少する関数を用いてもよい。

ステップＳ８０２では、代表領域が全身領域であるか否かを判定する。代表領域が全身領域でない場合はステップＳ８０３へ進み、ステップＳ８０３で検出サイズの補正を行う。一方、代表領域が顔領域である場合は、ステップＳ８０４へ進み、ステップＳ８０３における検出サイズの補正を行わない。

ステップＳ８０３では、代表領域が全身領域である場合、代表領域の検出サイズに対して、下記の式１によって補正を行う。
補正後の検出サイズ＝検出サイズ×補正パラメータ …式１
式１における補正パラメータは、予め設計した値をＲＯＭ上の領域として用意しておく。ステップＳ８０３が実行された場合には、以後のステップＳ８０４で用いる代表領域の検出サイズは、補正後の検出サイズを用いる。

ステップＳ８０４では、代表領域の検出サイズに基づいて優先度重みを算出する。ステップＳ８０４において、優先度重みを求める関数の一例を示す。図９（Ｂ）は検出サイズに基づく優先度重みを求めるグラフである。ステップＳ８０４では、図９（Ｂ）に示すように、検出サイズに基づいた関数を用いて優先度重みを求める。図９（Ｂ）の例では、代表領域の検出サイズが大きいほど優先度重みは大きくなり、代表領域の検出サイズが小さいほど優先度重みは小さくなる。なお、図９（Ｂ）の例のグラフは、検出サイズに対して直線的に優先度が増加する関数となっているが、これに限るものではない。例えば、検出サイズに対して指数関数的、対数関数的など曲線的に優先度が増加する関数を用いてもよい。

ステップＳ８０５では、前回の結果に基づく優先度重みを計算する。前フレームにおいて主被写体として選択された被写体は、他より大きい値を取るように、優先度重みを算出する。これは、主被写体が頻繁に切り替わることを防止するために機能する。

ステップＳ８０６では、ステップＳ８０１、ステップＳ８０４、ステップＳ８０５で算出された各優先度重みから、優先度を以下の式によって算出する。
優先度＝（検出位置に基づく優先度重み）×（検出サイズに基づく優先度重み）×（前回の結果に基づく優先度重み） …式２

以上のように、本実施形態によれば、顔領域（特定領域）または全身領域（関連情報、全体領域）のいずれかを代表領域に設定し、代表領域の検出サイズに適切な補正を行って優先度を算出する。このため、複数の被写体が検出された場合において、ユーザーにとって最適な主被写体の決定を行うことができる。

［第二実施形態］
第二実施形態について、添付の図面に基づいて詳細に説明する。第一実施形態では、代表領域の検出サイズに補正を行ったのちに優先度の算出を行ったが、本実施形態では、優先度の算出を行った後に、その優先度に対して補正を行う。本実施形態における第一実施形態との差異は、各被写体の優先度を算出する手順（図４におけるステップＳ４０５の手順）が異なるのみであり、その他は第一実施形態と同様である。このため、ステップＳ４０５の詳細に関する説明以外を省略する。

上述のステップＳ４０５において、優先度算出部２１３が被写体ごとに優先度を算出する手順を、図１０を参照して、さらに詳細に説明する。図１０は、第二実施形態に係る処理における優先度算出のフローチャートである。

まず、本実施形態において、優先度を算出する手順の概略を説明する。図１０に示すように、まず、検出位置に基づく優先度重みを算出する（ステップＳ１００１）。次に、検出サイズや前回結果に基づいて優先度重みを算出し（ステップＳ１００２、ステップＳ１００３）、各重みから優先度を算出する（ステップＳ１００４）。その後、代表領域が全身領域か否かを判断し（ステップＳ１００５）、代表領域が全身領域である場合には、優先度の補正を行う（ステップＳ１００６）。ステップＳ１００１〜ステップＳ１００６は被写体ごとに実行される。次に、各ステップの内容を詳細に説明する。

ステップＳ１００１では、検出位置に基づく優先度重みを計算する。本処理は第一実施形態における図８のステップＳ８０１と同一の処理である。また、ステップＳ１００２では、検出サイズに基づく優先度重みを計算する。本処理は第一実施形態における図８のステップＳ８０４と同一の処理である。また、ステップＳ１００３では、前回の結果に基づく優先度重みを計算する。本処理は第一実施形態における図８のステップＳ８０５と同一の処理である。

ステップＳ１００４では、ステップＳ１００１、ステップＳ１００２、ステップＳ１００３で算出された各優先度重みから、優先度を以下の式によって算出する。
優先度＝（検出位置に基づく優先度重み）×（検出サイズに基づく優先度重み）×（前回の結果に基づく優先度重み） …式２（再掲）

ステップＳ１００５では、代表領域が全身領域であるか否かを判定する。代表領域が全身領域でない顔領域などの場合は、そのまま優先度算出処理を終了する。一方、代表領域が全身領域である場合は、ステップＳ１００６へ進む。

ステップＳ１００６では、代表領域が全身領域である場合、優先度に対して、下記の式３によって補正を行う。
補正後の優先度＝優先度×補正パラメータ …式３
式３における補正パラメータは、予め設計した値をＲＯＭ上の領域として用意しておく。

［第三実施形態］
第三実施形態について、添付の図面に基づいて詳細に説明する。本実施形態では、被写体ごとに最適なパラメータを動的に算出して補正を行う。本実施形態の主被写体領域演算処理の概略は、図４と同様である。しかしながら、ステップＳ４０１、ステップＳ４０３、ステップＳ４０５の具体的内容が、第一実施形態とは異なる。このため、以下では第一実施形態との差異がある箇所について説明する。

本実施形態におけるステップＳ４０１では、検出部２１１は、画像から複数（０個以上）の顔領域および複数（０個以上）の全身領域を検出する処理を行う。検出手法としてはＡｄａＢｏｏｓｔや畳み込みニューラルネットワークなどの公知の任意の方法を用いて良い。また、その実装の形態としては、ＣＰＵ上で動くプログラムであっても、専用のハードウェアであっても、それらの組み合わせであっても良い。検出された顔領域は正方形の領域として表現され、中心位置および辺の長さの情報を持っている。また、検出された全身領域は、それぞれ矩形の領域として表現され、中心位置および縦横の長さの情報に加え、体向き情報（後述）および被写体種別情報を持っている。

ステップＳ４０３では、検出部２１１は、前フレームの検出結果との対応付けを行う。さらに、本実施形態では、フレーム間対応付け後の検出情報を被写体ＩＤごとに検出履歴情報として蓄積する処理を追加で行う。

ステップＳ４０５では、優先度算出部２１３は、ステップＳ４０４で選択した代表領域の情報に基づいて、各被写体の優先度を算出する。ここで、優先度算出部２１３が被写体ごとに優先度を算出する手順を、図１１を参照して、さらに詳細に説明する。図１１は、第三実施形態に係る処理における優先度算出のフローチャートである。

まず、優先度を算出する手順の概略を説明する。図１１に示すように、まず、検出位置に基づく優先度重みを算出する（ステップＳ１１０１）。次に、代表領域が全身領域か否かを判断し（ステップＳ１１０２）、代表領域が全身領域である場合には、補正パラメータの算出を行い（ステップＳ１１０３）、検出サイズの補正を行う（ステップＳ１１０４）。その後、検出サイズや前回結果に基づいて優先度重みを算出し（ステップＳ１１０５、ステップＳ１１０６）、各重みから優先度を算出する（ステップＳ１１０７）。

ステップＳ１１０１では、検出位置に基づく優先度重みを計算する。本処理は第一実施形態における図８のステップＳ８０１と同一の処理である。ステップＳ１１０２では、代表領域が全身領域であるか否かを判定し、代表領域が全身領域である場合はステップＳ１１０３へ進み、代表領域が全身領域でない顔領域などの場合はステップＳ１１０５へ進む。

ステップＳ１１０３では、優先度算出部２１３は、ステップＳ８０３で用いる補正パラメータを被写体ごとに算出する。補正パラメータを算出する方法には、以下の３通りの方法がある。

（方法１）検出履歴情報を用いる方法
ステップＳ４０３で生成された検出履歴情報を参照して被写体ごとに適切な補正パラメータを算出することができる。ここでの検出履歴情報とは、被写体の過去の顔領域と全身領域の検出履歴に関する情報である。まず、補正パラメータを算出したい被写体の検出履歴情報から、その被写体の顔領域と全身領域が同時に検出されたフレームを探索する。同時に検出されたフレームが１つ以上存在した場合には、同時に検出されたフレームを用いて補正パラメータを算出する。まず、顔サイズ軸と全身サイズ軸からなる二次元空間上に顔領域の検出サイズと全身領域の検出サイズのペアをプロットする。そして、プロットされたすべての点を近似するような直線を最小二乗法などによって算出する。また、顔領域と全身領域が同時に検出されたフレームが１つも存在しなかった場合には、予め用意された補正パラメータを使用する。

ここで、顔サイズと全身サイズのプロットした例から近似曲線を求める例を図を用いて示す。図１２は、第三実施形態に係る処理において検出履歴情報から補正パラメータを算出する処理を説明する図である。

図１２で示したグラフにおいて、プロットされた黒点がそれぞれ、顔領域と全身領域が同時に検出されたフレームにおける、顔領域のサイズと全身領域のサイズの関係を示している。そして、破線で示された直線が、最小二乗法によって求められた近似直線である。このため、この直線の傾きが補正パラメータとなる。

（方法２）体向き情報を用いる方法
体向き情報に応じて異なるパラメータを用いることもできる。体向き情報とは、正面や横向きなど、カメラに対して全身がどちらの向きを向いているかを示す情報である。

ここで、体向き情報から補正パラメータを算出する例を図を用いて示す。図１３は、第三実施形態に係る処理において体向き情報から補正パラメータを算出する処理を説明する図である。図１３（Ａ）は、あるフレームにおいてステップＳ４０１で検出された顔領域および全身領域の検出結果である。図１３（Ｂ）は、このフレームにおいてステップＳ４０４で選択された各被写体の代表領域のリストである。図１３（Ｃ）は事前に設計されＲＯＭ上に配置された補正パラメータのテーブルである。

図１３の例において、図１３（Ａ）及び（Ｂ）に示す全身領域１３０２は、体向き情報が正面である。このため、図１３（Ｃ）に示す補正パラメータ表から、補正パラメータ１３１１が選択される。また、図１３（Ａ）及び（Ｂ）に示す全身領域１３０３は、体向き情報が横向きである。このため、図１３（Ｃ）に示す補正パラメータ表から補正パラメータ１３１３が選択される。

なお、本実施形態においては、体向き情報を離散的なクラス情報として定義したが、角度などの連続的な数値として定義しても良い。その場合は、補正パラメータは事前に用意されたテーブルではなく、体向き情報を入力とする関数によって算出される。

（方法３）被写体種別情報を用いる方法
被写体種別に応じて異なるパラメータを用いることもできる。被写体種別情報とは、人間・犬・猫・鳥など、その被写体の種別を表す情報である。被写体種別ごとに事前に設計された補正パラメータをＲＯＭ上に配置しておく。補正パラメータの算出においては、その被写体に関する被写体種別情報に応じた補正パラメータを選択する。

また、方法１、方法２、方法３は、個別に用いるのみならず、方法１、方法２、方法３を互いに組み合わせて用いることも可能である。例えば、方法１を行い、顔領域と全身領域が同時に検出されたフレームが１つも存在しなかった場合には、方法２や方法３の方法で補正パラメータを算出するなどを行ってもよい。

ステップＳ１１０４では、代表領域が全身領域である場合、代表領域の検出サイズに対して、下記の式１によって補正を行う。
補正後の検出サイズ＝検出サイズ×補正パラメータ …式１（再掲）
式１における補正パラメータは、ステップＳ１１０３で算出したものを使用する。ステップＳ１１０４が実行された場合には、以後のステップＳ１１０５で用いる代表領域の検出サイズは、補正後の検出サイズを用いる。

ステップＳ１１０５では、検出サイズに基づく優先度重みを計算する。本処理は第一実施形態における図８のステップＳ８０４と同一の処理である。ステップＳ１１０６では、前回の結果に基づく優先度重みを計算する。本処理は第一実施形態における図８のステップＳ８０５と同一の処理である。

ステップＳ１１０７では、ステップＳ１１０１、ステップＳ１１０５、ステップＳ１１０６で算出された各優先度重みから、優先度を以下の式によって算出する。
優先度＝（検出位置に基づく優先度重み）×（検出サイズに基づく優先度重み）×（前回の結果に基づく優先度重み） …式２（再掲）

［第四実施形態］
第四実施形態について、添付の図面に基づいて詳細に説明する。本実施形態における撮像装置１００は、図１と同様であるため、説明を省略する。

図１４は、第四実施形態に係る処理を行う制御系を示すブロック図である。図１４に示すように、演算装置１０２は、複数のタスクを並列処理できるマルチコアＣＰＵ、ＲＡＭおよびＲＯＭに加え、特定の演算処理を高速に実行するための専用回路などを備えている。演算装置１０２は、制御部１４０１、主被写体演算部１４０２、追尾演算部１４０３、フォーカス演算部１４０４、露出演算部１４０５等を備える。

主被写体演算部１４０２は、検出部１４１１、優先度算出部１４１２（算出部）、主被写体判定部１４１３（決定部）を有する。この構成により、被写体の顔領域及び被写体種別情報の情報を検出部１４１１が検出する。そして、ここで検出された情報に基づいて優先度算出部１４１２が被写体ごとの優先度を算出する。その後、優先度に基づいて主被写体判定部１４１３が、主被写体を決定する。

制御部１４０１は、カメラ本体１０１およびレンズユニット１２０の各部を制御する。追尾演算部１４０３は主被写体領域の追尾を行う。フォーカス演算部１４０４は、主被写体領域にピントを合わせるためのフォーカスレンズ１２１の制御値の演算を行う。また、露出演算部１４０５は、主被写体領域を適正露出にするための絞り１２２および撮像センサー１０４の制御値の演算を行う。制御部１４０１は、操作部１０６が備えるレリーズスイッチやモードダイヤルなどを通してユーザーからの撮影指示やモード変更指示などを受け取ることができる。

本実施形態のカメラの１フレームにおける動作の手順の概略は、図３で示す第一実施形態と同様である。しかしながら、ステップＳ３０８の具体的内容が、第一実施形態とは異なる。このため、以下では第一実施形態との差異があるステップＳ３０８の具体的内容について説明する。

次に、上述のステップＳ３０８において、本実施形態における主被写体領域を決定する手順を、図１５を参照して、さらに詳細に説明する。図１５は、第四実施形態に係る処理における主被写体演算処理のフローチャートである。

まず、主被写体領域演算処理の概略を説明する。主被写体領域演算処理は、主被写体演算部１４０２（またはその一部）によって行われる。図１５に示すように、まず、各フレームから被写体の顔領域を検出する（ステップＳ１５０１）。次に、異なるフレームの被写体の検出結果を、被写体ごとに対応付ける（ステップＳ１５０２）。その後、各被写体の優先度を算出する（ステップＳ１５０３）。このようにして算出された優先度に基づいて、主被写体を決定する（ステップＳ１５０４）。次に、各ステップの内容を詳細に説明する。

ステップＳ１５０１では、検出部１４１１は、画像から０個以上の顔領域を検出する処理を行う。検出手法としてはＡｄａＢｏｏｓｔや畳み込みニューラルネットワークなどの公知の任意の方法を用いて良い。また、その実装の形態としては、ＣＰＵ上で動くプログラムであっても、専用のハードウェアであっても、それらの組み合わせであっても良い。検出された顔領域は正方形の領域として表現され、中心位置および辺の長さの情報に加え、被写体種別情報を持っている。被写体種別情報とは、人間・犬・猫・鳥など、検出した顔が属する被写体の種別を表す情報である。また、検出された顔領域のそれぞれには、仮ＩＤとして相違なる値が割り振られる。なお、領域を示す枠の形状は、正方形に限るものではなく、他の形状としてもよい。

ステップＳ１５０２では、検出部１４１１は、前フレームの検出結果との対応付けを行う。前フレームにおける顔領域と、現フレームの顔領域が対応付けられる条件は以下の通りである。
＜フレーム間の同一被写体判定条件＞
・２つの顔領域の検出位置の差が所定の閾値以内であり、２つの顔領域の検出サイズの差が所定の閾値以内であること。

ここで、ステップＳ１５０２においてフレーム間対応付けの結果の例を、図を用いて示す。図１６は、第四実施形態に係る処理におけるフレーム間での検出結果の対応付けの例を示す図である。図１６（Ａ）が前フレームの検出結果、図１６（Ｂ）が現フレームの検出結果、図１６（Ｃ）がフレーム間対応付けの結果の例である。

図１６の例においては、顔領域１６０１と顔領域１６０４が上記の判定条件を満たしたため、仮ＩＤ１番は被写体ＩＤ４番と対応付けられている。また、顔領域１６０２と顔領域１６０５が上記の判定条件を満たしたため、仮ＩＤ２番は被写体ＩＤ６番と対応付けられている。また、顔領域１６０３は顔領域１６０６と上記の判定条件を満たしたため、仮ＩＤ３番は被写体ＩＤ７番と対応付けられている。なお、初回フレーム時は前フレームの情報が存在しないため、その場合は前フレームとの対応付けは行わない。その場合は、ステップＳ１５０１で付与された仮ＩＤがそのまま被写体ＩＤとして扱われる。

本実施形態において、ステップＳ１５０１〜Ｓ１５０２で説明した手順は、これに限るものではない。例えば、時系列画像を入力としてステップＳ１５０２の結果と同等の情報を直接出力するような手法を用いて、ステップＳ１５０１〜Ｓ１５０２の代わりとしてもよい。

ステップＳ１５０３では、優先度算出部１４１２は、被写体ごとの優先度を顔領域の情報に基づいて算出する。本処理については後に詳説する。すべての被写体に対して優先度の算出が終了したら、ステップＳ１５０４へ進む。

ステップＳ１５０４では、ステップＳ１５０３で算出された被写体ごとの優先度を用いて、最も優先度が大きい被写体を主被写体として選択する。また、主被写体として選択された被写体の顔領域を、主被写体領域として設定する。以上が本実施形態における主被写体演算処理の詳細な手順である。

次に、上述のステップＳ１５０４において、優先度算出部１４１２が被写体ごとに優先度を算出する手順を、図１７を参照して、さらに詳細に説明する。図１７は、第四実施形態に係る処理における優先度算出のフローチャートである。

まず、優先度を算出する手順の概略を説明する。図１７に示すように、まず、検出位置に基づく優先度重みを算出し（ステップＳ１７０１）、検出サイズの補正を行う（ステップＳ１７０２）。その後、検出サイズや前回結果に基づいて優先度重みを算出し（ステップＳ１７０３、ステップＳ１７０４）、各重みから優先度を算出する（ステップＳ１７０５）。ステップＳ１７０１〜ステップＳ１７０５は被写体ごとに実行される。次に、各ステップの内容を詳細に説明する。

ステップＳ１７０１では、検出位置に基づく優先度重みを計算する。まず、顔領域の検出位置の画像中心からの距離を計算する。そして、画像中心からの距離を用いて検出位置に基づく優先度重みが算出される。ステップＳ１７０１において、優先度重みを求める関数は、例えば、第一実施形態で示した図９（Ａ）と同一の関数を用いる。図９（Ａ）の例では、画像中心からの距離が小さいほど優先度重みは大きくなり、画像中心からの距離が大きいほど優先度重みは小さくなる。なお、図９（Ａ）の例のグラフは、距離に対して直線的に優先度が減少する関数となっているが、これに限るものではない。例えば、距離に対して指数関数的、対数関数的など曲線的に優先度が減少する関数を用いてもよい。

ステップＳ１７０２では、顔領域の検出サイズに対して、下記の式１によって補正を行う。
補正後の検出サイズ＝検出サイズ×補正パラメータ …式１（再掲）
式１における補正パラメータは、被写体種別情報に応じて異なるパラメータを使用する。被写体種別ごとに事前に設計された補正パラメータをＲＯＭ上に配置しておき、検出された顔領域の被写体種別情報を参照して、補正パラメータを決定する。

ここで、被写体種別情報から補正パラメータを算出する例を図を用いて示す。図１８は、第四実施形態に係る処理において被写体種別情報から補正パラメータを算出する例を示した図である。図１８（Ａ）は、あるフレームにおいてステップＳ１５０１〜Ｓ１５０２で得られた顔領域の検出結果である。図１８（Ｂ）は、このフレームにおける各被写体のリストである。図１８（Ｃ）は、事前に設計されＲＯＭ上に配置された補正パラメータのテーブルである。

図１８の例において、図１８（Ａ）及び（Ｂ）に示す顔領域１８０１及び顔領域１８０２は、被写体種別情報が犬である。このため、図１８（Ｃ）に示す補正パラメータ表から補正パラメータ１８１２が選択される。また、図１８（Ａ）及び（Ｂ）に示す顔領域１８０３は、被写体種別情報が鳥である。このため、図１８（Ｃ）に示す補正パラメータ表から補正パラメータ１３１４が選択される。

ステップＳ１７０３では、ステップＳ１７０２で得られた補正後の検出サイズに基づいて優先度重みを計算する。ステップＳ１７０２において、補正後の検出サイズから検出サイズに基づく優先度重みを求める関数としては、例えば第一実施形態で示した図９（Ｂ）と同一の関数を用いる。図９（Ｂ）の例では、検出サイズが大きいほど優先度重みは大きくなり、検出サイズが小さいほど優先度重みは小さくなる。なお、図９（Ｂ）の例のグラフは、検出サイズに対して直線的に優先度が増加する関数となっているが、これに限るものではない。例えば、検出サイズに対して指数関数的、対数関数的など曲線的に優先度が増加する関数を用いてもよい。

ステップＳ１７０４では、前回の結果に基づく優先度重みを計算する。前フレームにおいて主被写体として選択された被写体は、他より大きい値を取るように、優先度重みを算出する。これは、主被写体が頻繁に切り替わることを防止するために機能する。

ステップＳ１７０５では、ステップＳ１７０１、ステップＳ１７０３、ステップＳ１７０４で算出された各優先度重みから、優先度を以下の式によって算出する。
優先度＝（検出位置に基づく優先度重み）×（検出サイズに基づく優先度重み）×（前回の結果に基づく優先度重み） …式２（再掲）

以上のように、本実施形態によれば、顔領域（特定領域）と種別情報（関連情報）を検出部１４１１が検出し、顔領域と種別情報に基づいて優先度を算出する。そして、優先度に基づいて主被写体を決定する。このため、複数の被写体が検出された場合において、ユーザーにとって最適な主被写体の決定を行うことができる。

［第五実施形態］
第五実施形態について、添付の図面に基づいて詳細に説明する。第四実施形態では、検出サイズに対して補正を行ったのちに優先度の算出を行ったが、本実施形態では、優先度の算出を行った後に、その優先度に対して補正を行う。本実施形態における第四実施形態との差異は、各被写体の優先度を算出する手順（図１５におけるステップＳ１５０３の手順）が異なるのみであり、その他は第四実施形態と同様である。このため、ステップＳ１５０３の詳細に関する説明以外を省略する。

上述のステップＳ１５０３において、優先度算出部１４１２が被写体ごとに優先度を算出する手順を、図１９を参照して、さらに詳細に説明する。図１９は、第五実施形態に係る処理における優先度算出のフローチャートである。

まず、本実施形態において、優先度を算出する手順の概略を説明する。図１９に示すように、まず、検出位置に基づく優先度重みを算出する（ステップＳ１９０１）。次に、検出サイズや前回結果に基づいて優先度重みを算出し（ステップＳ１９０２、ステップＳ１９０３）、各重みから優先度を算出する（ステップＳ１９０４）。その後、優先度の補正を行う（ステップＳ１９０５）。ステップＳ１９０１〜ステップＳ１９０５は被写体ごとに実行される。次に、各ステップの内容を詳細に説明する。

ステップＳ１９０１では、検出位置に基づく優先度重みを計算する。本処理は第四実施形態における図１７のステップＳ１７０１と同一の処理である。また、ステップＳ１９０２では、検出サイズに基づく優先度重みを計算する。本処理は第四実施形態における図１７のステップＳ１７０３と同一の処理である。またステップＳ１９０３では、前回の結果に基づく優先度重みを計算する。本処理は第四実施形態における図１７のステップ１７０４と同一の処理である。

ステップＳ１９０４では、ステップＳ１９０１、ステップＳ１９０２、ステップＳ１９０３で算出された各優先度重みから、優先度を以下の式によって算出する。
優先度＝（検出位置に基づく優先度重み）×（検出サイズに基づく優先度重み）×（前回の結果に基づく優先度重み） …式２（再掲）

ステップＳ１９０５では、ステップＳ１９０４で算出した優先度に対して、下記の式３によって補正を行う。
補正後の優先度＝優先度×補正パラメータ …式３（再掲）
式３における補正パラメータは被写体種別情報に応じて異なるパラメータを使用する。被写体種別ごとに事前に設計された補正パラメータをＲＯＭ上に配置しておき、検出された顔領域の被写体種別情報を参照して、補正パラメータを決定する。

なお、上述の実施形態では、被写体の特定領域として顔領域を例示して説明したが、これに限るものではなく、頭部全体の頭部領域を用いてもよい。また、被写体の全体領域を全身領域としたが、これに限るものではなく、特定の領域より大きい全身の一部の領域としてもよい。

また、上述の実施形態では、優先度の算出をする前に代表領域又は特定領域の検出サイズの補正を行う第一の場合と、優先度の算出をするまでは当該検出サイズの補正を行わない第二の場合とを示した。そして、第二の場合は、優先度の算出をした後に優先度の補正を行っていた。しかしながら、第一の場合と第二の場合とは、いずれか一方のみを行う必要はなく、優先度の算出をする前に代表領域又は特定領域の検出サイズの補正を行い、さらに、優先度を算出した後に優先度の補正を行ってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、本発明は、デジタル一眼レフカメラを例示したが、これに限るものではなく、他のデジタルカメラ、デジタルビデオカメラ、監視カメラ、Ｗｅｂカメラ、携帯電話に付帯されるカメラ等、他の撮像装置にも適用できる。

１００ 撮像装置
１０２ 演算装置
２０１ 制御部
２０２ 主被写体演算部
２１１ 検出部
２１２ 代表領域選択部
２１３ 優先度算出部
２１４ 主被写体判定部
１４０２ 主被写体演算部
１４１１ 検出部
１４１２ 優先度算出部
１４１３ 主被写体判定部

Claims (17)

1. 画像から、被写体の特定領域の情報と、前記特定領域の情報とは異なる前記被写体に関する情報である関連情報とを検出する検出部と、
   前記画像において複数の前記被写体が前記検出部によって検出された場合に前記特定領域の情報及び前記関連情報に基づいて前記被写体ごとの優先度を算出する算出部と、
   前記優先度に基づいて前記画像における主被写体を決定する決定部と、を有する
   ことを特徴とする画像処理装置。
2. 前記関連情報は、前記被写体の全体領域の情報を含み、
   前記特定領域と前記全体領域のいずれか一方を代表領域として選択する選択部を有し、
   前記算出部は、前記選択部が前記代表領域を選択した後、前記代表領域に基づいて前記被写体の前記優先度を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記算出部は、前記代表領域が前記全体領域であった場合、前記優先度の補正を行う
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記検出部は、前記代表領域のサイズを検出し、
   前記算出部は、前記代表領域のサイズの補正を行い、補正後の前記代表領域のサイズに基づいて前記被写体の前記優先度を算出する
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記算出部は、前記代表領域のサイズの補正を行う場合に、前記被写体ごとに算出される補正パラメータを用いる
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記補正パラメータは、前記被写体の過去の前記特定領域と前記全体領域の検出履歴に応じて算出される
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記補正パラメータは、前記被写体の体向き情報に応じて算出される
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記補正パラメータは、前記被写体の種別情報に応じて算出される
   ことを特徴とする請求項５に記載の画像処理装置。
9. 前記特定領域は、顔領域であり、
   前記全体領域は、全身領域である
   ことを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。
10. 前記関連情報は、前記被写体の種別情報を含み、
    前記算出部は、前記特定領域と前記種別情報に基づいて前記被写体の前記優先度を算出する
    ことを特徴とする請求項１に記載の画像処理装置。
11. 前記算出部は、前記特定領域から前記優先度を算出した後、前記優先度の補正を行う
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記検出部は、前記特定領域のサイズを検出し、
    前記算出部は、前記特定領域のサイズの補正を行い、補正後の前記特定領域のサイズに基づいて前記被写体の前記優先度を算出する
    ことを特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記算出部は、前記特定領域のサイズの補正を行う場合に、前記被写体ごとに算出される補正パラメータを用いる
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記特定領域は、前記被写体の顔領域または頭部領域である
    ことを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理装置。
15. 請求項１乃至１４のいずれか１項に記載の画像処理装置と、
    撮影された前記被写体の像を光電変換する撮像素子と、を備える
    ことを特徴とする撮像装置。
16. 被写体の画像を処理する画像処理装置にて実行される画像処理方法であって、
    前記画像から、前記被写体の特定領域の情報と、前記特定領域の情報とは異なる前記被写体に関する情報である関連情報とを検出する検出工程と、
    前記画像において複数の前記被写体が前記検出工程にて検出された場合に前記特定領域の情報及び前記関連情報に基づいて前記被写体ごとに優先度を算出する算出工程と、
    前記優先度に基づいて前記画像における主被写体を決定する決定工程と、を有する
    ことを特徴とする画像処理方法。
17. 請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
    
    

Images