JP2014168126A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】画像内でユーザが注目したいと欲する被写体を見つけやすくする。
【解決手段】動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出する。そして検出した選択候補画像と主画像とを合成して候補提示画像を含む表示データを生成して出力する。この表示上で、候補提示画像により、ユーザは注目したい被写体を選択する。そして表示された候補提示画像に対する選択操作に応じて、主画像内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示が行われるようにする。
【選択図】図２

Description

本技術は、画像内の被写体をユーザが認識しやすくするための処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

特開２０１２−１９８７８１号公報 特許第４７９４５８４号公報

近年のデジタルスチルカメラ、デジタルビデオカメラには顔検出機能が標準的に備わっており、顔位置・領域に合わせてカメラの各種パラメータ（フォーカス・明るさ等）を最適に合わせるといった機能が搭載されている。
さらに近年では個人を識別する機能も備わっており、複数の人がいた場合に、事前に登録された所望の人物か否かを識別し、識別された所望の人物に各種パラメータ(フォーカス・明るさ等)を優先して合わせるといった機能も搭載されている。

この個人識別技術について、セキュリティ分野などを想定した特定の撮影条件（正面顔／ライティング／大きい顔など）における顔画像を対象とした研究は盛んであり、先端研究分野においては非常に高精度な識別能力を持つ技術が多数存在し、これらの技術はセキュリティ系商品への搭載という形で実用化されてきている。

上記特許文献１には、個人識別に関する技術が開示されている。
上記特許文献２には、顔認識を行うとともに、顔画像を拡大表示させる技術が開示されている。

ところで、一般ユーザによる静止画、動画の撮像機会や、撮像した画像を再生する機会などにおいて、特に注目したい被写体がわかりにくい場合がある。例えば小学校での運動会においてビデオ撮影を行う場合、ユーザはファインダやモニタディスプレイで被写体を確認して撮像を行うが、多数の子供の中で自分の子供がどこにいるかわからずに、うまく撮像できなかったり、撮りたい場面を逃してしまうことも多々ある。

このような事情に対し、例えば上述の個人識別技術を応用すれば、画像内で特定の人物を追尾でき、ユーザが被写体内で自分の子供を発見しやすくもできる。ところが実際、個人識別技術は演算装置に高度な処理能力が必要であり、民生用機器への個人識別機能の搭載は難しい。
また、仮に搭載したとしても、民生用のビデオカメラやデジタルカメラなどのユースケース、いわゆる日常の一般的な撮影シーンにおいて撮影される顔画像は上記の特定の撮影条件に比べて技術的に難易度の高い顔画像が多い(小顔・遮蔽・影・非正面顔など）。このため個人識別を的確に行うことは困難である。

そこで本技術では、個人識別技術を用いずに、より簡易な手法で、画像内においてユーザが注目したい被写体を見つけやすくできるようにすることを目的とする。

第１に、本技術に係る画像処理装置は、動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出する選択候補検出部と、少なくとも前記主画像を用いた表示データを生成する表示データ生成部と、前記表示データ生成部に、前記選択候補検出部で検出した選択候補画像と前記主画像とを合成して候補提示画像を含む表示データの生成を実行させるとともに、前記候補提示画像に対する選択操作に応じて、前記主画像内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示を含む表示データの生成を実行させる制御部と、を備えるものである。
主画像内で、例えば顔画像等を選択候補画像として検出し、選択候補画像を主画像と合成して表示データを生成することで、表示上で選択候補画像を認識しやすくできる。その上で、ユーザが選択候補画像に対して選択操作することで、主画像内で、選択された選択候補画像に対応する被写体画像が強調されるなどして顕著に提示される。

第２に、上記した本技術に係る画像処理装置においては、前記表示データ生成部は、選択候補画像が並ぶ前記候補提示画像を含む表示データを生成するとともに、前記制御部は、前記主画像としての動画に含まれる複数のフレームにおいて、同一被写体と判定される選択候補画像に同一の識別子を付与し、前記識別子に基づいて、前記候補提示画像における選択候補画像の表示順序を制御することが望ましい。
これにより、候補提示画像を選択候補画像を並べた画像とする場合、フレームごとに並び順が変わってしまうようなことが生じないようにできる。

第３に、上記した本技術に係る画像処理装置においては、前記制御部は、前記候補提示画像に対する選択操作後も、前記表示データ生成部に前記候補提示画像を含む表示データの生成を実行させることが望ましい。
これにより候補提示画像の機能を継続させることができる。
第４に、上記した本技術に係る画像処理装置においては、前記制御部は、前記候補提示画像に対する選択操作に応じて、前記候補提示画像上で、選択された選択候補画像を顕著化する表示を、前記表示データ生成部に実行させることが望ましい。
これにより候補提示画像上でも、選択した被写体を強調できる。
第５に、上記した本技術に係る画像処理装置においては、前記制御部は、前記候補提示画像に対する選択操作に応じて、前記候補提示画像の表示終了を前記表示データ生成部に指示するようにしてもよい。
これにより、主画像内での顕著化のみで、選択された被写体を明確に提示できる。

第６に、上記した本技術に係る画像処理装置においては、前記制御部は、動画としての前記主画像のフレームの進行過程で、前記選択操作で選択された候補提示画像に対応する被写体画像についての各フレームでの追尾結果に基づいて、当該被写体画像を顕著化させる表示の位置が設定されるように前記表示データ生成部に指示することが望ましい。
主画像内での各被写体の位置は、各フレームで変動する。そこで連続したフレームもしくは間欠フレームとしての各フレームにおいて、選択された被写体画像の追尾結果としての画像内の位置に応じて顕著化される表示を実行するようにする。
第７に、上記した本技術に係る画像処理装置においては、前記表示データ生成部は、選択候補画像が並ぶ前記候補提示画像を含む表示データを生成するとともに、前記制御部は、動画としての前記主画像のフレームの進行過程で、前記選択操作で選択された選択候補画像に対応する被写体画像が追尾不能となった場合、優先検出条件を設定し、その後に前記選択候補検出部で検出した選択候補画像が前記優先検出条件に合致した場合、当該選択候補画像が、前記候補提示画像において優先表示されるように制御することが望ましい。
選択された被写体画像が追尾不能となっても、早い時点で当該被写体画像がフレーム画像内に復帰することが多い。このような場合に、当該被写体画像を候補提示画像内で上位順序などの優先表示すれば、一旦選択された被写体画像であることをにユーザが認識しやすい。
第８に、上記した本技術に係る画像処理装置においては、前記優先検出条件は、前記選択操作で選択された選択候補画像に対応する被写体画像が追尾不能となる直前の、主画像内の位置又はサイズを基準とする条件であることが望ましい。
位置又はサイズを基準とすることで、新たに出現した被写体画像が、追尾が外れた被写体画像であるか否かを比較的的確に判断できる。

第９に、上記した本技術に係る画像処理装置においては、前記制御部は、前記表示データ生成部に、選択候補検出部で検出された選択候補画像のうちで、所定条件を満たした選択候補画像を用いた前記候補提示画像を含む表示データの生成を実行させることが望ましい。
例えば顔画像の場合、正面を向いているなどの所定条件を満たす選択候補画像を用いて候補提示画像を生成する。

本発明に係る画像処理方法は、動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出し、検出した選択候補画像と前記主画像とを合成して候補提示画像を含む表示データを生成して出力し、表示された前記候補提示画像に対する選択操作に応じて、前記主画像内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示を含む表示データを生成して出力する画像処理方法である。
これにより、選択候補画像の認識と、ユーザの選択候補画像に対する選択操作に応じた顕著化した表示を実現できる。
本発明に係るプログラムは、上記画像処理方法の各処理を演算処理装置に実行させるプログラムである。

本技術よれば、画像内でユーザが注目したい被写体を素早く容易に見つけることができるという効果が得られる。

本技術の実施の形態の画像処理装置のブロック図である。 実施の形態の画像処理装置の処理のフローチャートである。 実施の形態の撮像装置のブロック図である。 実施の形態の表示状態の説明図である。 実施の形態の表示状態の説明図である。 第１の実施の形態の表示制御処理のフローチャートである。 第１の実施の形態の選択対応処理のフローチャートである。 実施の形態の候補提示画像生成までの説明図である。 実施の形態の候補提示画像例の説明図である。 第２の実施の形態の表示制御処理のフローチャートである。 第２の実施の形態の選択対応処理のフローチャートである。 第３の実施の形態の表示制御処理のフローチャートである。 第３の実施の形態の追尾処理に応じた表示例の説明図である。 第４の実施の形態の表示制御処理のフローチャートである。 第４の実施の形態の他の表示制御処理例のフローチャートである。 実施の形態の再生装置のブロック図である。 実施の形態のコンピュータ装置のブロック図である。

以下、実施の形態を次の順序で説明する。
＜１．実施の形態の画像処理装置の構成及び処理例＞
＜２．撮像装置の構成＞
＜３．候補提示画像及び選択被写体の顕著化表示の例＞
＜４．撮像装置としての第１の実施の形態の処理例＞
＜５．撮像装置としての第２の実施の形態の処理例＞
＜６．撮像装置としての第３の実施の形態の処理例＞
＜７．撮像装置としての第４の実施の形態の処理例＞
＜８．再生装置への適用＞
＜９．プログラム及びコンピュータ装置への適用＞
＜１０．変形例＞

＜１．実施の形態の画像処理装置の構成及び処理例＞
図１に実施の形態の画像処理装置１の構成例を示す。
画像処理装置１は、選択候補検出部２、表示データ生成部３、制御部４を有する。

選択候補検出部２は、動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出する処理を行う。
この選択候補検出部２には、画像データＤｇとして動画データ又は静止画データが供給される。画像データＤｇは例えば撮像装置で撮像された撮像画像データ、再生装置で記録媒体から再生された再生画像データ、受信装置で受信された受信画像データなどである。なお、静止画データとは１フレーム分のフレーム画像データであり、動画データとは時間的に連続する複数のフレームによるフレーム画像データ群のことである。そして入力されるこれらの画像データＤｇが、表示出力に用いる主画像である。
選択候補検出部２は、画像データＤｇ内で選択候補画像を検出する。実施の形態の説明では、一例として選択候補画像とは「顔画像」であるとする。選択候補検出部２はフレーム画像データ内で顔画像を検出し、選択候補画像Ｄｆとする。

表示データ生成部３は、主画像である画像データＤｇを用いて表示データＤｄｓｐを生成する処理を行う。表示データ生成部３が出力する表示データＤｄｓｐは、図示しない表示装置に供給されて、画像として表示され、ユーザが視認する。

制御部４は、表示データ生成部３に、選択候補検出部２で検出した選択候補画像Ｄｆと主画像である画像データＤｇとを合成して候補提示画像を含む表示データＤｄｓｐの生成を実行させる。これにより図示しない表示装置では、候補提示画像が例えば主画像に重畳されたような表示が実行される。
なお候補提示画像とは、１又は複数の選択候補画像（顔画像）を明確に提示する画像であり、例えば顔画像を並べた顔リストの画像などとされる。例えば後述の図４Ｂでは顔リスト２０１としての例を示している。
また制御部４は、ユーザの選択操作情報Ｓｓｅｌを監視する。候補提示画像（例えば顔リスト）に対してユーザの選択操作が行われたら、制御部４は主画像（画像データＤｇ）内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示を含む表示データの生成を実行させる。即ち、画像データＤｇによる表示画像上で、ユーザが顔リストで選択した顔が主画像上で明確にユーザに提示されるような表示を実行させる。例えば後述の図５Ａでは、顔リスト２０２上で選択された選択候補に対応する主画像２００上の画像（顔）をインジケータ２０３で顕著化している例を示している。

なお、以上の選択候補検出部２、表示データ生成部３、制御部４を有する画像処理装置１は、演算処理装置としてのＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などで実現できる。
また例えばＣＰＵ等で制御部４としての機能を実現し、ＣＰＵと接続された画像処理用ＤＳＰ等、もしくはその連携処理として、選択候補検出部２、表示データ生成部３の機能を実現することも考えられる。

画像処理装置１の処理例を図２で説明する。
図２Ａは画像データＤｇが動画データの場合、つまり動画データとして連続するフレーム画像データＤｇの入力に対応する処理である。フレーム画像データの入力が継続している間は、ステップＦ１からＦ２に進む。
ステップＦ２で選択候補検出部２は１フレームの画像データＤｇを取り込み、ステップＦ３で選択候補画像の検出を行う。例えば顔認識処理により主画像としての１フレーム内に顔画像が存在するか否かを解析し、１又は複数の顔画像があれば、それらの顔画像自体を選択候補画像Ｄｆとする。

ステップＦ４は、選択候補画像に対するユーザによる選択がなされた状態（選択中）であるか否かにより処理を分岐する。選択中ではない期間は、ステップＦ５に進む。
ステップＦ５では候補提示画像を含む表示データの生成及び出力を実行する。即ち制御部４は、表示データ生成部３に、主画像としての１フレームの画像データＤｇと、選択候補画像Ｄｆを合成し、選択候補画像Ｄｆが例えば顔リストとして並べられた候補提示画像となる表示データＤｄｓｐを生成させる。そして表示データ生成部３は、その表示データＤｄｓｐを図示しない表示装置に出力する。

そしてユーザーによる選択操作が行われるまでの期間は、ステップＦ６からＦ１に戻る。従って、順次入力される各フレームの画像データＤｇごとに、ステップＦ２、Ｆ３、Ｆ５が実行される。これによって表示装置上では、動画としての主画像に、候補提示画像（顔リスト）が重畳された画像が表示される。ユーザは顔リストをみて、注目したい被写体を選択することができる。
ステップＦ６では、制御部４がユーザの選択操作を監視している。ユーザが選択操作を行ったことを検出した場合、制御部４は処理をステップＦ６からＦ７に進め、表示データ生成部３に、選択された被写体画像を顕著化させた表示データの生成及び出力を指示する。表示データ生成部２は、その時点のフレームの画像データＤｇ以降、主画像上で、選択された被写体の位置が顕著に提示される画像を生成し、出力する。なお、ステップＦ７による表示データ生成の際には、候補提示画像（顔リスト）の重畳は、引き続き実行してもよいし、顔リストの重畳は行わず、顔リストの表示は行われないようにしてもよい。

選択中の期間はステップＦ４からＦ７に進んで、この処理が繰り返される。
従って、ユーザの選択操作後は、主画像上で、ユーザが注目したい被写体が、インジケータや強調表示などの手法で顕著化された画像が表示され、ユーザは一目で目的の被写体の画像内の位置を知ることができる。
なお選択状態のキャンセル操作があると、次の選択操作があるまでは、ステップＦ７の処理は行われないため顕著化表示は終了され、ステップＦ５の処理により、主画像に顔リストが重畳された表示が行われる状態となる。
またフレーム画像データの入力が終了したら、図２Ａの処理は終了する。

図２Ｂは、画像データＤｇとして静止画が入力された場合の処理例である。静止画データとして１フレームの画像データＤｇの入力に対応する処理である。
ステップＦ１０で選択候補検出部２は１フレームの画像データＤｇを取り込み、ステップＦ１１で選択候補画像の検出を行う。そして例えば顔認識処理により当該画像データＤｇ内に顔画像が存在するか否かを解析し、１又は複数の顔画像があれば、それらの顔画像自体を選択候補画像Ｄｆとする。

ステップＦ１２では候補提示画像を含む表示データの生成及び出力を実行する。即ち制御部４は、表示データ生成部３に、主画像としての１フレームの画像データＤｇと、選択候補画像Ｄｆを合成し、選択候補画像Ｄｆが例えば顔リストとして並べられた候補提示画像となる表示データＤｄｓｐを生成させる。そして表示データ生成部３は、その表示データＤｄｓｐを図示しない表示装置に出力する。これにより表示装置上では静止画像に顔リストが重畳された表示が実行される。

ステップＦ１３では、制御部４がユーザの選択操作を監視している。ユーザが顔リストに対する選択操作を行ったことを検出した場合、制御部４は処理をステップＦ１４に進め、表示データ生成部３に、選択された被写体画像を顕著化させた表示データの生成及び出力を指示する。従って、表示データ生成部２は、静止画としての主画像（画像データＤｇ）上で、選択された被写体の位置が顕著に提示される画像としての表示データ生成を行い、表示装置に出力する。
これにより、表示されている静止画上で、ユーザが注目したい被写体が、インジケータや強調表示などの手法で顕著化された画像が表示される。

以上のように、画像処理装置１では、動画又は静止画としての主画像内で、例えば顔画像等を選択候補画像として検出し、選択候補画像を主画像と合成して表示データを生成することで、表示上で選択候補画像を認識しやすくできる。その上で、ユーザが選択候補画像に対して選択操作することで、主画像内で、選択された選択候補画像に対応する被写体画像が強調されるなどして顕著に提示される。従って画像内でユーザが注目したい被写体を素早く容易に見つけることができるという効果が得られる。
またこれによりユーザストレスの軽減という効果も得られる。
画像処理装置１としての処理例は、後述する各実施の形態と同様に各種の変形例が考えられる。

＜２．撮像装置の構成＞
以下では、上記のような画像処理装置１を内蔵した撮像装置１０を例に挙げ、構成及び動作（候補提示画像表示及び顕著化表示）について詳しく説明する。
実施の形態の撮像装置１０の構成例を図３に示す。
この撮像装置１０はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。この撮像装置１０は、いわゆるスルー画（被写体モニタリング画像）としての動画表示において、候補提示画像表示及び顕著化表示を実行するものとする。
また選択候補画像としては顔画像を検出する例とし、候補提示画像として顔リストを表示する例とする。

図３に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記録部１５、通信部１６、デジタル信号処理部２０、制御部３０、表示部３４、操作部３５を有する。

光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ１２に集光される。
イメージャ１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型などの撮像素子を有する。
このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部２０に出力する。

光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。

デジタル信号処理部２０は、例えばＤＳＰ等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からのデジタル信号（撮像画像データ）に対して、各種の信号処理を施す。
例えばデジタル信号処理部２０は、前処理部２１、同時化部２２、ＹＣ生成部２３、解像度変換部２４、コーデック部２５、選択候補検出部２６、候補情報記憶部２７、表示データ生成部２８を備えている。

前処理部２１は、イメージャ１２からの撮像画像データに対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。
同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換部２４は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック部２５は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。

選択候補検出部２６は、例えばＹＣ生成部２３で得られる撮像画像データ（輝度信号／色信号）を対象として、各フレーム単位（又は間欠的なフレーム毎）での画像解析処理を行い、選択候補画像を抽出する。即ち、時間軸上で連続的に入力される画像データについて顔画像検出を行って、選択候補画像を抽出する。
顔検出は、例えば撮像画像データに対しての画像解析におけるパターンマッチングの手法などで可能である。なお顔画像を選択候補画像とするのは一例に過ぎない。他の例は変形例として後述する。

選択候補検出部２６は、顔画像の検出を行い、その顔画像が存在する画像領域を抽出する。抽出した画像領域、例えば方形の枠状の領域の画像を選択候補画像とする。
また選択候補検出部２６は抽出した選択候補画像について、その画像領域（顔を囲った枠の領域）の位置情報（例えば画面上でのｘ，ｙ座標値、被写体距離の情報等）や、枠のサイズ情報（例えば枠の幅、高さ、ピクセル数等）を生成する。
また選択候補検出部２６は、選択候補画像についての属性検出を行うこともできる。例えば画像解析により選択候補画像とした被写体についての属性を識別し、属性情報を生成する。属性情報は、例えば選択候補画像とした被写体が大人であるか子供であるかの情報であったり、女性であるか男性であるかの情報である。さらにより詳細な年齢層などの情報も判別するようにしてもよい。選択候補検出部２６は、例えば顔画像の特徴点を判別して、性別や年齢層を判定することができる。
なお、選択候補検出部２６は、画像に平滑化処理、アウトライヤ（outlier）除去等の処理を行って、候補画像に関する情報を生成してもよい。
選択候補画像に関する情報は、制御部３０に受け渡される。また選択候補画像及び選択候補画像に関する情報は、候補情報記憶部２７に記憶される。

候補情報記憶部２７は、制御部３０の制御に従って、選択候補検出部２６の検出結果を記憶する。具体的には、選択候補画像としての枠内の画像データ自体と、選択候補画像に関する情報が記憶される。選択候補画像に関する情報としては、制御部３０が選択候補画像のそれぞれに付与した識別子（ＩＤ）や、上記の位置情報、サイズ情報、属性情報などである。

表示データ生成部２８は、制御部３０の制御に従って、表示部３４に出力する例えばスルー画としての表示データを生成する。
このスルー画としての表示データは、基本的には解像度変換部２４で解像度変換された撮像画像データ（主画像）としての各フレームのデータである。候補提示画像表示及び顕著化表示としての動作を実行する機能（以下「顕著化表示機能」という）がオンとされていない期間では、主画像（撮像画像データ）によるスルー画表示のための表示データを生成する。表示データは表示部３４に供給され、スルー画表示が実行される。
顕著化表示機能がオンとされると、制御部３０の指示により表示データ生成部２８は、候補情報記憶部２７に記憶された選択候補画像データを主画像に重畳し、候補提示画像としての顔リストを含む表示データを生成する処理を行う。この表示データが表示部３４に供給されることで、スルー画上に候補提示画像（顔リスト）が重畳された画像が表示される。
また顕著化表示機能がオンの期間に、ユーザ選択に応じた制御部３０の指示により、表示データ生成部２８は、主画像内で選択された被写体を顕著化する表示とした表示データを生成する処理を行う。この表示データが表示部３４に供給されることで、スルー画上において、選択された被写体が明確に認識できるような画像が表示される。

なお選択候補検出部２６、候補情報記憶部２７、表示データ生成部２８のそれぞれは、この図３の例ではデジタル信号処理部２０で実行される機能構成として示しているが、これは一例であり、制御部３０によって選択候補検出部２６、候補情報記憶部２７、表示データ生成部２８としての処理が実行されてもよい。

制御部３０は、ＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１０全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、後述する顕著化表示機能のための処理を実行するためのプログラムも記憶される。

このような制御部３０は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。

また本実施の形態の場合、制御部３０は、追尾処理部３０ａとしての機能を備え、後述する第１〜第５の実施の形態で説明する処理において、顕著化表示機能のための必要な被写体追尾処理も実行する。具体的には動画を構成する各フレーム毎において選択候補画像として抽出された各被写体の追尾を行い、フレーム間での被写体の一致を判定する処理や、選択中の被写体を追尾する処理を行う。
なお、追尾処理部３０ａはデジタル信号処理部２０の機能として実現してもよい。

表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
この表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、表示データ生成部２８からの表示データに応じて、レリーズ（シャッタ操作）待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。本実施の形態の場合、例えばスルー画上で、顕著化表示機能に応じた表示も実行される。

操作部３５は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、表示部３４に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）等が設けられる。
またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。

記録部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記録部１５の実際の形態は多様に考えられる。例えば記録部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
また、本例において顕著化表示機能のための処理を実行するためのプログラムは、記録部１５に記憶されてもよい。

通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。
また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

センサ部１４は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置１０の姿勢や移動（パン移動、チルト移動等）等、撮像装置１０の全体の動きを検出するためのジャイロセンサ（角速度センサ）、加速度センサ等が設けられる。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部１４として、光学系１１におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部１４として、メカアイリス（絞り機構）の開口量を検出するセンサが設けられる場合もある。
センサ部１４の各種センサは、それぞれ検出した情報を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。

このような撮像装置１０において、図１で説明したような画像処理装置１の構成部分は次のようになる。
図１の画像処理装置１における選択候補検出部２、表示データ生成部３、制御部４に相当する各構成は選択候補検出部２６及び候補情報記憶部２７、表示データ生成部２８、制御部３０として実装される。

＜３．候補提示画像及び選択被写体の顕著化表示の例＞
ここで顕著化表示機能としての具体的な表示例を図４，図５を用いて説明する。図４、図５の各図は表示部３４に表示される画像の例である。
図４Ａは、主画像２００としてスルー画を表示している例である。例えばユーザ（撮像者）が、運動会で生徒達に向かって撮像装置１０を構えている場合としている。
顕著化表示機能がオンとされると、まず図４Ｂのように候補提示画像２０１（以下「顔リスト２０１」とも表記する）が、主画像２００としてのスルー画に重畳表示される。
例えば撮像画像データから８人の顔が選択候補画像として検出された場合、顔リスト２０１として８人の顔画像が並んで表示されるわけである。但し、表示領域の制限から、ここでは４人の顔画像が縦に並んで表示される例としている。
顔リスト２０１に対して、ユーザが所定の操作（例えばページ送り操作やスクロール操作）を行うことで、リスト上の表示を進めることができる。例えば図４Ｂの顔リスト２０１には、人物ＨＭ１、ＨＭ２、ＨＭ３、ＨＭ４の顔画像が表示されているが、ユーザがタッチパネル上でのスクロール操作を行うことで、図４Ｃのように人物ＨＭ５、ＨＭ６、ＨＭ７、ＨＭ８の顔画像が表示された状態とすることができる。

なお図４Ｂ、図４Ｃの例では、選択候補画像とされた顔画像部分を示す枠表示２０４（図では点線枠で示している）を表示している。この枠表示２０４で示される領域の顔画像が、顔リスト２０１に並べて表示されるものとなる。
但し、このような主画像２００上での選択候補画像の枠表示２０４は、必ずしも実行しなくてもよい。

顔リスト２０１の顔画像は、主画像２００から抽出した実際の顔画像領域の画像データを所定のサイズに拡大又は縮小するようにリサイズされた状態で表示される。例えば主画像２００では小さく写っている顔画像であっても、ある程度見やすい大きさにリサイズされて、ほぼ均等の大きさで各人の顔画像が表示される。従ってユーザにとって、顔リスト２０１上では、各人物が認識しやすいものとなる。

ユーザは、この顔リスト２０１から、自分が注目したい人物を選択することができる。例えば自分の子供（人物ＨＭ７）を顔リスト２０１から探して、図４Ｃのように人物ＨＭ７を選択するタッチ操作を行ったとする。
この選択操作に応じて、選択された被写体を主画像２００上で顕著化する表示が行われる。

図５Ａ、図５Ｂ、図５Ｃはそれぞれ、選択された顔画像に相当する被写体画像（人物ＨＭ７の画像）を顕著化して表示する例を示している。
図５Ａは、選択操作に応じて、主画像２００上で該当被写体の位置を示すインジケータ２０３を表示させることで、主画像上２００での該当被写体が顕著化されるようにした例である。インジケータ２０３は、ここでは矢印のマークとしているが、インジケータ２０３の形状、色、大きさは多様に考えられることはいうまでもない。またインジケータ２０３を点滅させたり、高輝度表示させたりすることも考えられる。
またこの図５Ａの例は、選択された後も引き続き顔リスト２０１の表示は実行させ、かつ顔リスト２０１上でも選択被写体が顕著化される例としている。具体的には、選択された人物ＨＭ７の顔画像を、顔リスト２０１上の順序として先頭（最上位）の位置に変更している。つまり表示される顔リスト２０１上の顔画像の順序を、図４Ｃの人物ＨＭ５、ＨＭ６、ＨＭ７、ＨＭ８の順番から、人物ＨＭ７、ＨＭ５、ＨＭ６、ＨＭ８の順番に変更している。さらに、顔リスト２０１上で、人物ＨＭ７の顔画像が他よりも目立つ状態とする。図では太線リスト枠２０２とする例としているが、ハイライト表示、背景色やリスト枠の変更、点滅など、多様な表示態様が想定される。

図５Ｂの例は、主画像２００上で各選択候補画像に枠表示２０４を行っている場合に、選択操作に応じて、該当被写体を特別枠表示２０５とする例である。図では特別枠表示２０５を太枠とし、他の枠表示２０４を点線枠としているが、特別枠表示２０５は、他の枠表示２０４と明確に区別できる表示態様であればよい。
なお、選択後は、他の選択候補画像の枠表示２０４を終了させてもよい。また、選択前では枠表示２０４を行わず、選択後に枠表示２０４と特別枠表示２０５を実行するようにしてもよい。
顔リスト２０１における顕著化表示の態様は、図５Ａと同様としている。

図５は、選択操作に応じて、顔リスト２０１の表示を終了させる例である。そして主画像２００上で該当被写体の位置を示すインジケータ２０３を表示させて該当被写体が顕著化されるようにした例である。

選択後に該当被写体を顕著化する例はこのように各種考えられる。大きく分けて、主画像２００上での顕著化と、顔リスト２０１上での顕著化がある。
主画像２００上での顕著化としては、インジケータ２０３や特別枠表示２０５の他にも、該当する顔画像自体を高輝度表示や点滅表示したり、該当する顔画像のみをカラーで他をモノクロ化やシェーディング化したり、該当顔画像のみを他と色合いを変えるなどの手法もある。また該当顔画像を主画像内で適度に拡大してもよい。いずれにしても、主画像２００上で、選択された人物の顔部分が、ユーザにとって明確にわかるような表示とすればよい。これらの顕著化表示により、ユーザは注目したい被写体を撮像装置１０の画面上で瞬時にみつけ、その被写体の撮像を容易に実行できる。

また顔リスト２０１を選択操作後も表示させる場合は、リスト上の順位変更や、リスト画像やリスト枠が他と異なるようにすることで顕著化を行うことが好適である。これにより一旦選択した顔画像をユーザが認識できるとともに、選択間違い等の確認も容易となる。

＜４．撮像装置としての第１の実施の形態の処理例＞
以上のような顕著化表示を実現するための処理例として第１の実施の形態を図６〜図７で説明する。この第１の実施の形態は、図５Ａ、図５Ｂのように選択操作後も顔リスト２０１の表示を継続する例としている。
図６は撮像装置１０でスルー画表示が行われる期間における顕著化表示のための制御部３０の処理のフローチャートである。制御部３０は、例えば撮像画像データとしての各フレームに対応して図６の処理を実行する。

制御部３０はステップＦ１０１で顕著化表示機能がオンとされているか否かを確認する。顕著化表示機能は例えばユーザがオン／オフを設定できるようにすればよいが、制御部３０が撮影モードやその他の条件に応じて自動的にオン／オフ設定するようにしてもよい。
顕著化表示機能がオフであるときは、制御部３０はステップＦ１１２で表示データ生成部２８に対して候補提示画像オフの指示を行い、またステップＦ１１３で選択フラグをオフとする。選択フラグは、ユーザ操作に基づいて或る被写体が選択されている状態（選択中）であるか否かを示す内部フラグである。
そして制御部３０はステップＦ１１４で表示データ生成部２８に現在の設定条件に基づいたフレーム画像表示指示を行う。つまり表示データ生成部２８に、現在の１フレームの撮像画像データに基づいて、スルー画としての１フレームの表示データ生成を現在の設定に応じて実行させると共に、その表示データの表示部３４への出力を実行させる。

顕著化表示機能がオフの期間は、各フレームタイミングで以上の処理が繰り返されることで、表示データ生成部２８は、通常のスルー画としての表示データを表示部３４に供給する。従って図４Ａのようなスルー画としての主画像２００が表示部３４で表示される。

顕著化表示機能がオンとされているときは、制御部３０はステップＦ１０２〜Ｆ１１１の処理を行うこととなる。
ステップＦ１０２で制御部３０は、表示データ生成部２８に候補提示画像オンの指示を行う。これによって表示データ生成部２８は、主画像２００（スルー画としてのフレーム画像データ）に顔リスト２０１を重畳させる合成処理を実行する設定状態とされる。

ステップＦ１０３で制御部３０は、撮像画像データの現在対象のフレームにおいて、選択候補画像（顔画像）が存在したか否かを確認する。即ち選択候補検出部２６での選択候補画像の検出結果を確認する。もし、現在の処理対象のフレームに選択候補画像が存在しなければ、ステップＦ１１３で選択フラグをオフとし、ステップＦ１１４で表示データ生成部２８に現在の設定に基づいたフレーム画像表示指示を行う。この場合、顔リスト２０１の重畳条件の設定（後述のステップＦ１０７）が行われないため、通常のスルー画としての表示データが出力される。

選択候補検出部２６で１又は複数の顔画像が検出された場合、選択候補画像が存在するとして制御部３０の処理はステップＦ１０３からＦ１０４に進む。ステップＦ１０４では、検出された各選択候補画像の情報を取得し、管理する。即ち、各顔画像についてのフレーム内での位置、サイズ、属性等の情報を取得する。また、追尾処理部３０ａの機能で前フレームとの被写体の同一性を確認し、各顔画像にＩＤを付与する。
１つのＩＤは、複数フレーム間で同一被写体と判定される顔画像に対して付与されるようにする。このため時系列順の各フレームにおいて、制御部３０（追尾処理部３０ａ）は各顔画像の追尾処理を行っている。そして現在処理対象のフレームにおいて検出された顔画像については、前フレーム以前に現れた顔画像から追尾が継続されている顔画像であれば、前フレームと同一のＩＤを付与する。全く新規に出現した顔画像や、以前にフレームインした人物と同一人物の顔画像であるが追尾が継続していない顔画像については新規なＩＤを付与する。なお追尾処理については例えば特開２００４−２８３９５９号公報などに開示された公知の技術を用いればよい。

ステップＦ１０５で制御部３０は、各選択候補画像とされた顔画像データ自体を、候補情報記憶部２７に記憶させる。このとき各顔画像に対応づけて、ＩＤや、位置、サイズ、属性等の関連情報も記憶させる。

そしてステップＦ１０６で制御部３０は選択フラグを確認して処理を分岐する。選択フラグがオフ、つまりまだユーザによる選択操作が行われていないときは、ステップＦ１０７で表示データ生成部２８に対して画像重畳条件指示を行う。つまり候補情報記憶部２７に記憶した選択候補画像としての顔画像をリスト化した候補提示画像（顔リスト）２０１を主画像２００に合成する処理の実行指示及びその際の処理条件の指示を行う。
例えば処理の条件として、顔リスト２０１における各顔画像の表示順序を指定する。例えばＩＤが若い番号の順、サイズの大きい順、或いはフレーム内の位置順（左上から右下に向かう順、或いは画面中央に近い順等）、属性順（子供優先、女性優先など）等として、顔画像の配置順序を指定する。
また、顔リスト２０１として１画面に表示できる顔画像がＮ個であれば、上記順で１番目からＮ番目の顔画像の合成を指示する。
また選択候補画像とされた顔画像に対して主画像２００上で枠表示２０４を行う場合は、その枠表示２０４の実行も指示する。
また顔リスト２０１の合成位置、顔リスト２０１上の各顔画像のサイズなども重畳条件として指示する。

このステップＦ１０７の指示（重畳条件設定）により、表示データ生成部２８は、以降各フレームで、指定された順序等の条件に応じて、候補情報記憶部２７に記憶された顔画像を読み出して必要なリサイズを行い、主画像２００（スルー画としてのフレーム画像データ）に合成する処理を行う設定状態となる。
実際には、ステップＦ１０７の重畳条件設定後、制御部３０の処理はステップＦ１０８→Ｆ１０９→Ｆ１１４と進み、制御部３０はステップＦ１１４で表示データ生成部に現在の設定条件に基づいた、１フレームの表示データの生成指示を行う。上記のように顔リスト２０１上の順序の条件が設定されることで、表示データ生成部２８は、指定された順序条件で、各顔画像を主画像２００上に合成し、顔リスト２０１を含む表示データを生成する。そしてこの表示データが表示部３４に供給され、例えば図４Ｂのような表示が実行される。

なお、図４Ｂ、図４Ｃで説明したように、顔リスト２０１に対してユーザのページ送り操作、順送り操作、スクロール操作などが行われることになる。その場合制御部３０はステップＦ１０８の段階で選択候補画像の入換指示があったとして、ステップＦ１０７で条件を再指示する。例えばユーザ操作に応じて、顔リスト２０１上に表示させる顔画像、及び順序を再設定する。

またステップＦ１０９の選択対応処理については図７に詳しく示しているが、ユーザによる選択候補画像の選択、つまり顔リスト２０１上での顔画像の選択が行われていないときは、ステップＦ１５１からＦ１５７に進み、すべての顕著化表示のオフを指示して当該ステップＦ１０９の選択対応処理を終了する（ステップＦ１５７の処理は後述する）。
従って、選択動作が行われるまでの期間は、ステップＦ１０７で設定又は変更された重畳条件に応じて、ステップＦ１１４で、顔リスト２０１を主画像２００に合成した表示データが生成され、図４Ｂ、図４Ｃのように表示が実行される。

ここまでの制御部３０の制御に応じて実行される顔リスト２０１の表示のためのデジタル信号処理部２０の処理を図８で模式的に説明する。
図８の左上には撮像画像データとしてのフレームＦＲ１，ＦＲ２，ＦＲ３・・・を示している。例えばこれらのフレームには３人の人物の画像が含まれているとする。
選択候補検出部２６は、本例の場合は各フレームに対して顔画像検出を行い、選択候補画像として抽出を行う。
右上に、各フレームＦＲ１，ＦＲ２，ＦＲ３・・・において、選択候補検出部２６が検出した顔画像を枠で囲って示している。
上述の図６のステップＦ１０４では、制御部３０が、顔画像に対してＩＤを付与することを述べたが、図８にＩＤ１，ＩＤ２，ＩＤ３として示すように、同一人物と判定される顔画像（追尾されている顔画像）については、各フレームで同一のＩＤが与えられる。

そして図６のステップＦ１０５で、顔画像と関連する情報が候補情報記憶部２７に記憶される。図８の右下に示すように、候補情報記憶部２７において、顔画像として抽出された領域の実際の画像データが、そのまま拡大・縮小等はされずに記憶される。また各顔画像データに対応づけて、ＩＤ（ＩＤ１，ＩＤ２，ＩＤ３）が記憶され、同様に対応づけられてサイズ・位置・属性等の関連データＤＴ（ＤＴ１，ＤＴ２，ＤＴ３）が記憶される。
ここでフレーム毎に顔画像が抽出され、それがステップＦ１０５で候補情報記憶部２７に記憶されていくわけであるが、ＩＤで同一人物を管理して、候補情報記憶部２７では、同一人物の顔が更新されていくようにすることが適切である。

表示データ生成部２８には、撮像画像データの各フレームＦＲ１，ＦＲ２，ＦＲ３・・・が、解像度変換部２４でスルー画用に解像度変換されて供給される。
表示データ生成部は、この解像度変換された撮像画像データ（主画像２００）に対して、候補情報記憶部２７に記憶された顔画像を重畳する処理を行う。その場合に制御部３０から指示された重畳条件に従う。また候補情報記憶部２７に記憶された顔画像は、元のフレーム画像データに含まれるサイズのままである。そこで表示データ生成部２８は、各顔画像を顔リスト２０１としての設定に応じた適切なサイズへリサイズする処理も行う。候補情報記憶部２７に記憶された各顔画像のサイズがばらばらであっても、リスト上では、ほぼ均等で、かつ顔自体を判定しやすい適度な大きさのサイズとして各顔画像が並べられるようにリサイズすることが、顔リスト２０１自体の美観やユーザの視認性向上のために好ましい。

また、もし制御部３０によって、顔リスト２０１には、主画像２００上でのサイズの大きい順に顔画像を配置するという重畳条件が設定された場合、表示データ生成部２８は候補情報記憶部２７に記憶されたサイズの情報を参照して、サイズの大きい顔画像を顔リスト２０１の上から順に表示するように合成処理を行う。
また各選択候補画像には主画像２００上で枠表示２０４を行う設定の場合、枠の画像も合成する。
これにより、図８の左下に示すように、表示データとしてのフレームｄＦＲ１，ｄＦＲ２，ｄＦＲ３・・・が生成されていく。この場合、撮像画像データ上で大きく写っている人物ＨＭ１０の顔画像が最上位に配置され、次いで人物ＨＭ１１，ＨＭ１２の順に顔画像が配置されるような顔リスト２０１が、主画像２００に合成されて表示される。また各選択候補画像に対して枠表示２０４も実行される。

このような顔リスト２０１の表示において、本例の処理では次のような適切な表示動作が実現されている。
まず、フレーム進行に応じて顔画像追尾が行われ、同一人物と判定される顔画像には同一のＩＤを付与している。
これにより、顔リスト２０１上で各人物の順番が頻繁に入れ代わらないようにすることができる。例えば基本的には顔リスト２０１上でＩＤ順に顔画像が配置されるようにする。すると、各フレームに渡って処理が継続されても、ＩＤ順の表示順序が守られ、顔リスト２０１上での順番は、ある程度固定される。顔リスト２０１上で顔画像の順番が頻繁に入れ代わると、ユーザにとっては、各顔画像の確認や、選択操作がしにくいものとなるため、基本は表示順序を基本的にはＩＤに基づいて管理し、同一人物の表示位置がなるべく変動しないようにすることが好適である。

その上で、ユーザの撮像方向やズーム等の操作、或いは被写体人物の移動などにより、撮像画像内での各顔画像の位置やサイズは変動する。
例えば大きく顔が写っている人物や、画面中央に写っている人物などは、ユーザが注目したい人物である可能性も高い。そこで、そのような人物の顔画像を選択しやすくすることも好適である。そこで例えばある時点で図８の例のように、ＩＤ２として追尾されていた人物ＨＭ１０の顔が大きく写っていた場合、これを上位の順番で顔リスト２０１に表示されるようにする。このような処理を行うことで、顔リスト２０１は頻繁に顔画像位置が入れ代わることなく、かつ、ユーザによる選択可能性の高い顔画像をリストの上位に配置することが可能となる。
なお、そのために、サイズ順や、画像内の位置による顔リスト２０１上の順序設定（順序の入換）については、ある程度長いフレーム期間で継続してサイズが大きい、或いは継続して画面中央に位置するなど、時間的な条件も考慮することが適切である。

また顔画像検出や、顔リスト画像の更新は、実際には毎フレームタイミング毎ではなく、３０フレームに１回、６０フレームに１回など、間欠的なフレームを対象として行うようにしてもよい。

図６に戻って、顔リスト２０１の表示を開始した以降の処理を説明する。
ユーザは顔リスト２０１上で注目したい人物を発見したら、その選択操作を行う（図４Ｃ参照）。この選択操作が行われた場合、図６のステップＦ１０９で選択対応処理が行われる。
図７に示すように、制御部３０は顔リスト２０１に対して選択候補画像（顔画像）の選択操作が行われたら、処理をステップＦ１５１からＦ１５２にすすめ、選択フラグをオンとする。つまり選択中であることを示す状態とする。そして顕著化表示のための制御処理をステップＦ１５３〜Ｆ１５４で行う。

ステップＦ１５３で制御部３０は、候補提示画像（顔リスト）２０１における表示順序変更指示を行う。つまり選択された被写体の顔画像が表示順序により顕著化されるようにする。例えば図５Ａ、図５Ｂのように選択された顔画像が顔リスト２０１で最上位となるように順番を入れ換えるべく、表示データ生成部２８に指示する。
ステップＦ１５４で制御部３０は、候補提示画像（顔リスト）２０１における強調表示指示を行う。つまり顔リスト２０１上において選択された顔画像自体が顕著化されるようにする。例えば図５Ａ、図５Ｂのように該当顔画像を顔リスト２０１上で強調表示するべく表示データ生成部２８に指示する。

ステップＦ１５５で制御部３０は、選択された被写体の顔画像が主画像２００上で強調表示させるように表示データ生成部２８に指示する。つまり主画像２００上で、選択された被写体画像自体が顕著化されるようにする。例えば図５Ｂのように特別枠表示２０５の表示を指示したり、或いは選択被写体のみ、それ以外の画像より高輝度表示させるなど、他の画像よりも目立つようにする。
ステップＦ１５６で制御部３０は、選択された被写体の顔画像の位置が主画像２００上で示されるようにインジケータ２０３の表示を表示データ生成部２８に指示する。つまり主画像２００上で、選択された被写体画像の位置が顕著化されるようにする。例えば図５Ａのようなインジケータ２０３の表示を指示する。

このステップＦ１５３〜Ｆ１５４については、すべてが行われなくてもよい。ここでは顔リスト２０１上での顕著化のための表示指示をステップＦ１５３，Ｆ１５４で行っているが、このいずれか一方が行われるようにしてもよい。また顔リスト２０１上での顕著化を行わない、つまりステップＦ１５３，Ｆ１５４の処理は行わない例も考えられる。
またステップＦ１５５，Ｆ１５６は主画像２００上での選択被写体の顕著化の処理であるが、少なくともステップＦ１５５，Ｆ１５６の一方が行われればよい。もちろん両方行われてもよい。

このような選択対応処理によって選択操作に応じた画像重畳条件が表示データ生成部２８に指示される。
そして図６のステップＦ１１４で制御部３０は表示データ生成部２８に現在の設定条件に基づいた表示データの生成指示を行うことで、選択操作に応じて顕著化表示を含む画像が表示部３４において表示される。例えば図５Ａ、図５Ｂのような表示である。これを見ることで、ユーザは、注目したい人物をスルー画内で容易に発見できる。

選択操作後は、選択フラグはオンとされるため、制御部３０の処理はステップＦ１０６からＦ１１０に進む。
ステップＦ１１０で制御部３０は、ユーザの選択キャンセル操作を監視する。選択キャンセル操作が検知されなければそのままステップＦ１１４に進む。特に表示データ生成部２８に対する設定変更は行われず、従って顔リスト２０１の表示及び顕著化表示は継続されている。

なお、制御部３０（追尾処理部３０ａ）は、選択された顔画像も含めて選択候補画像として検出される顔画像は、常時追尾しており、同一被写体と判定される顔画像については、同一ＩＤで管理している（ステップＦ１０４，Ｆ１０５）。
従って、選択された顔画像に対する追尾が維持されている間では、現在のフレームにおける選択顔画像の位置に応じてインジケータ２０３や特別枠表示２０５が表示され、顕著化表示が継続して実行される。
つまりフレームの進行に従って、主画像２００上での選択された被写体の位置は変動していくが、該当顔画像に対する追尾が行われ、継続して同一のＩＤで管理することで、インジケータ２０３や特別枠表示２０５を、そのフレームの該当被写体に合わせて適切な位置に表示できる。

ステップＦ１１０で選択キャンセル操作が検知された場合、制御部３０はステップＦ１１１で選択フラグをオフとする。そしてステップＦ１１４に進む。
この場合、次のフレームに対する処理の際に、ステップＦ１０６→Ｆ１０７→Ｆ１０８→Ｆ１０９と進むが、その場合、選択フラグがオフであって選択中ではないため図７のステップＦ１５１からＦ１５７に進むことになる。ここで制御部３０はすべての顕著化表示のオフを表示データ生成部２８に指示する。そしてステップＦ１１４に進む。これによって表示データ生成部２８は、選択操作に応じて実行してきた顕著化表示（ステップＦ１５３〜Ｆ１５６に応じた表示）を終了させ、例えば図４Ｃのような選択前と同様の表示を実行させるように表示データ生成を行う。従ってユーザは、再び顔リスト２０１上で所望の顔画像を選択できる状態となる。

さらにその後、ユーザが顕著化表示機能をオフとする操作を行った場合は、上述のようにステップＦ１０１→Ｆ１１２と進むため、顔リスト２０１の表示もオフとされることになる。なお、実際には選択中にユーザが顕著化表示機能をオフとする操作を行う場合もあり得る。従って、ステップＦ１１２では、候補提示画像オフの指示とともに、顕著化表示オフの指示も行うようにすることが望ましい。

以上の処理を行う本実施の形態の撮像装置１０では、撮像画像データ内で顔画像を選択候補画像として検出し、選択候補画像を主画像２００と合成して、候補提示画像（顔リスト）２０１を含む表示データを生成し、表示部３４で表示させる。これによりユーザは、撮像されている（フレームインしている）個々の人物の顔を認識しやすくなる。例えば多数の人物が比較的小さい顔画像で写っている場合、主画像（スルー画）では、個々の人物が判別しにくいが、顔リスト２０１によって、大きく、かつ順番に並べられることで、個々の人物がはっきりわかる。
その上でユーザが選択操作を行うことに応じて、主画像２００上で選択された被写体の画像や位置が顕著化される。これによってユーザは、注目したい人物が、撮像画像内のどこにいるかが即座にわかる。従って、その顕著化された人物を主たるターゲットとした撮像（静止画撮像や動画撮像）を容易に実行することができる。これにより撮りたい場面を取り損なうようなことも回避され、満足のいく画像コンテンツが得られやすい。

また上記処理例では、表示データ生成部２８は、選択候補画像（顔画像）が並ぶ候補提示画像（顔リスト）２０１を含む表示データを生成する。そして制御部３０は、主画像としての動画に含まれる複数のフレームにおいて、同一被写体と判定される顔画像に同一のＩＤ（識別子）を付与し、ＩＤに基づいて、顔リスト２０１における顔画像の表示順序を制御する。これにより、顔リスト２０１上で例えばフレームごとなど頻繁に顔画像の並び順が変わってしまうようなことが生じないようにでき、ユーザの顔リスト２０１上の個々の顔画像の見やすさを向上させ、また選択操作を容易にすることができる。

また制御部３０は、選択操作後も、表示データ生成部２８に顔リスト２０１を含む表示データの生成を続行させるようにしている。これにより、ユーザがさらなる選択（選択顔画像の変更）などを欲する場合の操作性を向上させたり、顔リスト２０１による個々の顔の認識容易性を選択後も発揮させることができる。
また制御部３０は、顔リスト２０１に対する選択操作に応じて、顔リスト２０１上でも、選択された顔画像を顕著化する表示を、表示データ生成部２８に実行させている。これによって顔リスト２０１上で選択した被写体をユーザが認識しやすいものとすることができる。ユーザが選択間違いを発見することも容易となり、実使用上、便利となる。

また制御部３０は、動画としての主画像２００のフレームの進行過程で、選択操作で選択された顔画像に対応する被写体の顔画像についての各フレームでの追尾結果に基づいて、その選択された被写体の顔画像を顕著化させる表示の位置が設定されるように前記表示データ生成部に指示するようにしている。
主画像２００内での被写体の位置は、各フレームで変動する。そこで連続したフレームもしくは間欠フレームとしての各フレームにおいて、選択された被写体画像の追尾結果としての画像内の位置に応じてインジケータ２０３や特別枠表示２０５などの顕著化表示を実行する。これによって、動画としての主画像２００上で、常時的確に、選択された被写体を強調して提示できる。

ところで上記例では、候補提示画像２０１として顔画像が縦に並ぶ顔リストの例を挙げたが、候補提示画像２０１としては各種表示態様が考えられる。図９で一例を示しておく。
図９Ａは主画像２００を示している。ここで４人の顔画像が抽出された場合、例えば選択候補画像２０１としては、図９Ｂのように画面上で横方向に並ぶ顔リストとしてもよい。
また図９Ｃは、リスト形式ではない候補提示画像２０１を示している。これは主画像２００上で、各被写体の顔の部分に顔画像を拡大して合成した例である。各拡大顔画像が候補提示画像２０１となる。
また図９Ｄは、画面上の各部に候補提示画像２０１としての顔画像を点在させた例である。
これらのように候補提示画像２０１としては、順番に並ぶリスト形式に限らず、画面上で各顔画像が明確に認識できるような手法が採られればよい。

＜５．撮像装置としての第２の実施の形態の処理例＞
第２の実施の形態としての顕著化表示のための処理例を図１０，図１１で説明する。
上記の第１の実施の形態では、選択操作後も候補提示画像（顔リスト）２０１の表示を継続するものとしたが、第２の実施の形態は、例えば図５Ｃに示したように、選択操作があったら顔リスト２０１の表示を終了させる例である。

図１０は撮像装置１０でスルー画表示が行われる期間における顕著化表示のための制御部３０の処理のフローチャートである。制御部３０は、例えば撮像画像データとしての各フレームに対応して図１０の処理を実行する。
図１０において図６と同様の処理は同じステップ番号を付し、説明を省略する。図６と異なるのは、ステップＦ１２０が追加されたことと、選択対応処理としてのステップＦ１０９Ａの内容である。

まず顔リスト２０１の表示が第１の実施の形態と同様に行われ、これに対してユーザが選択操作を行った場合、ステップＦ１０９Ａとして図１１の処理が行われる。
図１１は、図７の処理のうち、ステップＦ１５３，Ｆ１５４が実行されない例としており、他は図７と同様である。即ち、選択操作後は顔リスト２０１の表示を終了させることから、顔リスト２０１上での顕著化表示は行わないため、図７で述べたステップＦ１５３，Ｆ１５４は実行しないものとなる。

選択操作に応じて、図１０のステップＦ１０９Ａ、つまり図１１のステップＦ１５２で選択フラグがオンとされ、ステップＦ１５５，Ｆ１５６で主画像２００上での顕著化表示が指示される。そしてその設定状態に応じて図１０のステップＦ１１４の指示に応じて表示データ生成部２８による、インジケータ２０３や特別枠表示２０５等を合成した表示データが生成される。
そして、次のフレーム以降は、選択中であるためステップＦ１０６→Ｆ１１０→Ｆ１２０と進み、制御部３０は候補提示画像（顔リスト）２０１の表示オフを表示データ生成部２８に指示する。
従って以降、ステップＦ１１４で表示データ生成部２８が生成する表示データは顔リスト２０１が含まれないデータとなる。
結果として、選択操作後は、図５Ｃのように顔リスト２０１の表示は終了されるが、インジケータ２０３等の顕著化表示を加えた主画像２００が表示部３４で表示される。

なお、ステップＦ１１０で選択キャンセル操作が検知された場合、制御部３０はステップＦ１１１で選択フラグをオフとする。そしてステップＦ１２０→Ｆ１１４に進む。
この場合、次のフレームに対する処理の際に、ステップＦ１０２で制御部３０は候補提示画像２０１の表示をオンとする指示を表示データ生成部２８に与え、またステップＦ１２０に進まないことから、候補提示画像オンの設定がステップＦ１１４に至った時点でも継続している。従って、選択操作前と同様に顔リスト２０１の表示が実行される状態となる。またこの場合、選択フラグがオフであって選択中ではないため図１１のステップＦ１５１からＦ１５７に進み、制御部３０はすべての顕著化表示のオフを表示データ生成部２８に指示する。
結果として、選択キャンセル操作があると、選択前の表示状態に復帰することになり、ユーザは再び顔リスト２０１上で所望の顔画像を選択できる。

このような第２の実施の形態では、制御部３０は、候補提示画像（顔リスト）２０１に対する選択操作に応じて、顔リスト２０１の表示終了を表示データ生成部２８に指示する。これにより、選択中は、主画像２００（スルー画）内での顕著化のみで、選択された被写体を明確に提示でき、ユーザは注目したい被写体を容易に確認できると共に、画面を広く利用して撮像被写体全体を確認できる。特に何度も選択し直さないユースケースでは、選択中に顔リスト２０１の表示を行わないことは、表示画面で撮像対象を見やすくできることになり、ユーザにとって好適となる。

なお、選択中において顔リスト２０１を表示させる第１の実施の形態と、表示させない第２の実施の形態とで、どちらがユーザにとって適切であるかは一概には言えない。ユースケースや、ユーザの好み、被写体選択の事情などに応じて異なる。そこで、ユーザが第１の実施の形態の適用と、第２の実施の形態の適用をユーザの設定操作により切り換えることができるようにするとよい。

＜６．撮像装置としての第３の実施の形態の処理例＞
第３の実施の形態のとしての顕著化表示のための処理例を図１２，図１３で説明する。なお第３の実施の形態の説明は、第１の実施の形態に沿って、選択後も顔リスト２０１の表示を継続する例とする。
この第３の実施の形態は、選択されて顕著化表示された後の追尾処理において、追尾不能となった後の候補提示画像の表示を考慮した処理例である。

図１２は撮像装置１０でスルー画表示が行われる期間における顕著化表示のための制御部３０の処理のフローチャートである。制御部３０は、例えば撮像画像データとしての各フレームに対応して図１２の処理を実行する。
この図１２において図６と同様の処理は同じステップ番号を付し、説明を省略する。図６と異なるのは、ステップＦ１３０〜Ｆ１３２が追加されたことと、ステップＦ１０７Ａとしての内容である。

この図１２の処理例も、基本的には選択候補検出部２６が選択候補画像として例えば顔画像を検出し、これに応じて制御部３０は候補提示画像２０１の表示を実行させる（ステップＦ１０３，Ｆ１０４，Ｆ１０５，Ｆ１０７Ａ，Ｆ１１４）。
ステップＦ１０７Ａでの画像重畳条件の指示については、後述する優先検出サイズ、優先検出領域の判定に応じた条件設定も行うが、これは一旦選択された被写体の追尾が途切れた後の処理となり、最初に選択操作が行われるまでは図６のステップＦ１０７と同様である。
なお、図６の処理例で説明したＩＤ付与のための追尾は、検出した顔画像に対して常時行われる。また、ある顔リスト２０１上である顔画像が選択された後、その顔画像についても同様に後続のフレームにおいて追尾が行われる。

図１２の処理例について、顔リスト２０１の表示に対して選択操作が行われた後の処理を、図１３を参照しながら説明していく。

ある時点でユーザによって顔リスト２０１の表示に対して選択操作が行われると、図１２のステップＦ１０９の選択対応処理（上述の図７の処理）で選択フラグがオンとされ、また顕著化表示設定が行われる。そしてステップＦ１１４の最新設定での表示データ生成指示に応じて表示データが生成される。これによって例えば図１３Ａのように、主画像２００上でのインジケータ２０３や特別枠表示２０５等によって顕著化表示が行われ、また顔リスト２０１においても上位順序化や太線リスト枠２０２などによる顕著化表示が行われる。なお図１３Ａでは人物ＨＭ１０の顔画像が選択されたものとしている。

その後のフレームの処理時点では、選択フラグがオンであるため、制御部３０はステップＦ１０６からＦ１３０に進む。
制御部３０は選択された顔画像も含めて選択候補画像として検出される顔画像を常時追尾しているが、ステップＦ１３０で制御部は、選択された被写体の顔画像の追尾が継続できているかを判断する。
現在のフレームでも追尾が維持されていれば、ステップＦ１３０→Ｆ１１０と進み、選択キャンセル操作の確認を行い、選択キャンセル操作がなければステップＦ１１４に進む。
従って、選択された顔画像に対する追尾が維持されている間では、現在のフレームにおける選択顔画像の位置に応じてインジケータ２０３や特別枠表示２０５が表示され、顕著化表示が継続して実行される。ここまでは第１の実施の形態と同様である。

但し、選択された被写体の顔画像の追尾はあくまで当該顔画像がフレーム画像内に顔画像として認識できる状態で存在していなければならず、被写体が動いたり、撮像方向が変わったり、誰かが該当被写体の前を通り過ぎたりするなどの事情で、追尾が途切れることが生ずる。
例えば図１３Ｂのような状況として、選択されていた人物ＨＭ１０の顔がフレームアウトした場合、追尾が途切れることになる。

このようにある選択されていた被写体の画像の追尾が途切れた場合、制御部３０はステップＦ１３０で、追尾失敗と判断し、ステップＦ１３１に進む。この場合、既に主画像２００上での顕著化表示は実行できないことから、選択状態を解除することとし、ステップＦ１３１で選択フラグをオフとする。
そして制御部３０はステップＦ１３２で、優先検出条件を設定する。例えば優先検出サイズ、優先検出領域を設定する。この優先検出サイズ、優先検出領域とは、その後にフレームインした顔画像が、選択されていた（追尾が途切れた）人物と同一人物であることを推定させる条件である。
具体的には、優先検出サイズは、直前まで追尾していた選択中の顔画像のサイズ情報とする。優先検出領域とは、直前まで追尾していた選択中の顔画像が存在していたフレーム画像内の領域とする。例えば追尾が途切れる直前に、選択中だった顔画像が存在した領域が、図１３Ｂの優先選択領域ＰＡのように設定される。

以上の処理を行った後、次のフレームからの処理では、選択フラグがオフであることからテップＦ１０７Ａ、Ｆ１０８，Ｆ１０９が行われる。まずステップＦ１０９（図７のステップＦ１５７）において制御部３０はすべての顕著化表示のオフを表示データ生成部２８に指示する。これによって、表示上も選択中ではなくなり、主画面２００上の顕著化表示や顔リスト２０１上の顕著化表示はオフとされる。
またこの追尾失敗直後のフレームでは、それまで選択されていた人物ＨＭ１０の顔画像は検出されないため（Ｆ１０４，Ｆ１０５）、例えば図１３Ｂのように顔リスト２０１には、その時点で検出された人物ＨＭ１１，ＨＭ１２の顔画像が並べられ、人物ＨＭの顔画像は顔リスト２０１に残らないことになる。

これによって選択前と同様の状態になるわけであるが、この場合制御部３０は、各フレームにおいて検出される選択候補画像（顔画像）について、ステップＦ１０７Ａで優先検出条件の判断に応じた画像重畳条件指示を行う。即ち、ステップＦ１０４，Ｆ１０５で管理する顔画像について、制御部３０は、ステップＦ１３２で設定した優先検出条件に合致するか否かを判定して、それに応じた画像重畳条件指示を行う。
具体的には、追尾失敗後に新たに出現した顔画像（例えば新たにＩＤを付与する顔画像）が、そのフレーム内の位置が優先検出領域ＰＡ内にあるか否か（又は優先検出領域ＰＡに一部該当するか否か、又は優先検出領域ＰＡに近い位置か否か、などでもよい）を判定する。さらに、新たに出現した顔画像のサイズが、優先検出サイズに一致もしくは近いか否かを判定する。

ここで、新たに出現した顔画像が、例えば優先検出領域と優先検出サイズの両方に該当した場合、制御部３０は、この顔画像が、先に選択状態にあったが、追尾を失敗した被写体の顔画像であると推定する。そしてステップＦ１０７Ａの画像重畳条件指示として、当該顔画像を、顔リスト２０１上で優先表示させるように表示データ生成部２８に指示する。優先表示とは、例えばリスト上で１番目に表示させるなどである。
そしてステップＦ１１４で現在の設定での表示データ生成を指示する。
このような制御に従って表示データ生成部２８が表示データを生成することで、顔リスト２０１上では、先に追尾が失敗したと推定される顔画像が第１番目に表示される状態となる。例えば図１３Ｃのように人物ＨＭ１０の顔画像が１番目に表示される。

その後ユーザが、ある時点で再び顔リスト２０１上で人物ＨＭ１０を選択する選択操作を行った場合、ステップＦ１０９の選択対応処理により、図１３Ｄのように顕著化表示が行われることになる。

以上のように第３の実施の形態では、制御部３０は、動画としての主画像２００のフレームの進行過程で、選択操作で選択された選択候補画像に対応する被写体画像が追尾不能となった場合、優先検出条件を設定する。そして、その後に選択候補検出部２６で検出した選択候補画像（顔画像）が優先検出条件を満たした場合、当該選択候補画像が、候補提示画像（顔リスト）２０１において優先表示されるように制御する。
一般ユーザとして撮像者が撮像を行う場合、撮像方向や揺らいだり、動いている被写体を追いきれない場合などは多々ある。そのため、一旦選択しても、その被写体がフレームアウトすることもある。さらには、撮像装置１０と被写体の間の何らかの物体や人などに遮られて、選択された被写体が写らなくなることもある。
このような場合、該当被写体の顕著化はできないため、顕著化表示を終了させることになるが、その後、同じようなサイズや位置で、その被写体がフレーム内に復帰することは多々ある。このようなときに、ユーザにとっては再選択しやすいことが好適である。そこで、復帰が推定された場合、例えば顔リスト２０１の１番目の順序に表示させるなどして、ユーザの確認容易性、さらにはその後の選択操作の容易性を実現する。
優先表示としては、上位順とする以外に、選択を促すような表示（例えばリスト枠をハイライト表示や点滅表示する）を行うようにしてもよい。

また新たに出現した顔画像が、以前に選択していた人物と同一人物の顔画像であるか否かは、優先検出条件により推定するものとしている。
選択していた人物と同一人物の顔画像であるか否かの判断には、個人識別技術を用いることも考えられるが、前述したように、個人識別処理は処理負担が大きく、民生用機器への適用は困難である。また撮像条件が整っていないと信頼性も得られない。そこで本実施の形態では個人識別処理は行わず、追尾失敗時の状況と似ている顔画像を、選択していた顔画像と推定する。このようにすることで、簡易な処理で、ユーザへの優先提示が可能となり、民生機器としての撮像装置１０に非常に適した処理となる。

特に、優先検出条件は、選択操作で選択された候補提示画像に対応する被写体画像が追尾不能となる直前の、主画像内の位置又はサイズを基準とする条件とすることで、新たに出現した被写体画像が、追尾が外れた被写体画像であるか否かを比較的的確に判断できる。
なお判断手法は多様に考えられる。例えばサイズ条件と位置条件の一方のみの判断でもよいし、条件に「合致」する範囲は、ある程度広くしてもよい。もちろんユーザが設定できるようにしてもよい。
また、属性を条件に加えることも適切である。例えば「男・子供」という属性を優先検出条件に含めることで、出現顔画像が、選択していた顔画像と同一人物か否かの判定確度を高めることができる。

なお、位置条件やサイズ条件等の優先検出条件は、ある程度の時間が経過したらクリアするようにしてもよい。同一人物が、ほぼ同じ位置やサイズでフレームインする可能性が高いのは、追尾失敗からあまり時間が経過していない期間だからである。そこでステップＦ１３２で設定した優先検出条件は、所定時間が経過したらクリアし、通常の条件で顔リスト２０１表示が行われるようにするとよい。

また、第３の実施の形態における追尾失敗後の処理を、第２の実施の形態のように選択中は顔リスト２０１の表示を行わないようにする処理例に適用することもできる。つまり追尾失敗となって顕著化表示を終了させ、顔リスト２０１表示を再開させる際に、優先検出条件の判断を加えることが考えられる。

＜７．撮像装置としての第４の実施の形態の処理例＞
第４の実施の形態のとしての顕著化表示のための処理例を図１４で説明する。なお第４の実施の形態の説明は、第１の実施の形態に沿って、選択後も顔リスト２０１の表示を継続する例とするが、第２の実施の形態のように選択中を顔リスト２０１を表示しない例にも適用できる。
この第３の実施の形態は、選択候補検出部２６で検出された選択候補画像のうちで、所定条件を満たした選択候補画像を用いた候補提示画像（顔リスト）２０１を含む表示データの生成を表示データ生成部２８に実行させる例である。

図１４は撮像装置１０でスルー画表示が行われる期間における顕著化表示のための制御部３０の処理のフローチャートである。制御部３０は、例えば撮像画像データとしての各フレームに対応して図１４の処理を実行する。
この図１４において図６と同様の処理は同じステップ番号を付し、説明を省略する。図６と異なるのは、ステップＦ１０４Ａ、Ｆ１０５Ａの内容である。

この場合、制御部３０はステップＦ１０３で撮像画像データの現在対象のフレームにおいて、選択候補画像（顔画像）が存在することを確認したらステップＦ１０４Ａに進む。
ステップＦ１０４Ａでは、制御部３０は、検出された顔画像のそれぞれが正面を向いている顔画像であるか否か（正面顔判定）を行う。例えば正面顔か否かは選択候補検出部２６が検出時に識別できるため、制御部３０は、各顔画像についての正面顔か否かの情報を選択候補検出部２６から受け取ればよい。
そして各顔画像について、フレーム内での位置、サイズ、属性等の情報を取得し、管理する。また、追尾処理部３０ａの機能で前フレームとの被写体の同一性を確認し、各顔画像にＩＤを付与する。この場合も追尾が有効な顔画像には、過去のフレームと同一のＩＤを付与する。

ステップＦ１０５Ａで制御部３０は、正面顔判定の結果や追尾状況に応じて、各顔画像についての顔画像データ、ＩＤ、位置／サイズ／属性等の関連情報の候補情報記憶部２７への記憶処理を行う。
ステップＦ１０６以降の処理は図６と同様である。

ここでステップＦ１０４Ａでの管理や、ステップＦ１０５Ａでの候補情報記憶部２７への記憶は、次の（ａ）（ｂ）（ｃ）（ｄ）の規則で行う。
（ａ）これまで追尾されていない新規な正面顔の顔画像は、新規ＩＤを付与して、画像データ、関連情報、ＩＤを記憶する。
（ｂ）追尾中の顔画像であって正面顔の顔画像は、前フレームと同一ＩＤで管理して、画像データ、関連情報、ＩＤを記憶する。
（ｃ）追尾中の顔画像であって正面顔でない顔画像は、前フレームと同一ＩＤでの管理を継続する。候補情報記憶部２７での顔画像データとＩＤの更新又は消去は行わない。位置情報、サイズ情報など、変化が生じた関連情報は更新する。
（ｄ）新規な顔画像であるが正面顔ではない顔画像は、ＩＤ付与を行わず、選択候補画像としては扱わない。候補情報記憶部２７への画像データ、関連情報の記憶も行わない。

このような管理・記憶の規則により、結果として候補情報記憶部２７に記憶されて顔リスト２０１の表示に用いられる顔画像データは、すべて上記（ａ）（ｂ）の規則で記憶された正面顔の顔データとなる。
なお、上記（ｃ）の顔画像は、過去のフレームで既にＩＤが付与されて顔画像、関連情報、ＩＤが候補情報記憶部２７に記憶されている顔画像であって、現在のフレームでは正面を向いて場合である。つまり追尾によって過去のフレームと同一人物と推定されるが、被写体がうつむいたり横を向いたりして、現フレームでは正面顔が検出されなかった場合である。しかし、フレーム画像データ内には顔として存在するため、顔リスト２０１には含むようにする。但し、上記（ｃ）のように顔画像データの更新は行われないため、顔リスト２０１には過去のフレームの顔画像データが使用されることになる。

このような処理により、ステップＦ１０７、Ｆ１１４の処理に応じて表示データ生成部２８で生成される表示データの顔リスト２０１は、正面顔のみを並べたリストとすることができる。具体的には、現時点で正面を向いている顔画像は、それが用いられ、正面を向いていない顔画像については、過去の正面を向いている顔画像が用いられて顔リスト２０１が生成される。

以上のように第４の実施の形態では、制御部３０は、表示データ生成部２８に、選択候補検出部２６で検出された選択候補画像のうちで、所定条件（例えば正面顔）を満たした顔画像を用いた顔リスト２０１を含む表示データの生成を実行させる。これによりユーザが各被写体を認識しやすい候補提示画像（顔リスト）２０１を提供できる。またこれにより選択操作もしやすいものとなる。

なお、所定条件とは正面顔以外にも多様に考えられる。
例えば属性条件を用いて、子供の顔画像のみを選択候補画像として扱って、顔リスト２０１に表示させたり、女性の顔画像のみを選択候補画像として扱って、顔リスト２０１に表示させたりすることも可能である。
特にこのようにフレーム進行によっては変化しない属性条件を用いる場合は、例えば図１５のような処理例としてもよい。
即ちステップＦ１０３Ａとして、選択候補画像が存在するか否かの判断に所定条件を加え、例えば「子供の顔画像が存在するか否か」という判断とする。そしてステップＦ１０４Ｂでは、「子供の顔画像」という条件に合致した顔画像のみを選択候補画像として扱って、情報取得、ＩＤ設定・管理処理を行う。他は図６と同様の処理を行えばよい。
このように選択候補画像として扱うか否かの段階で、所定条件の判定を行うようにしてもよい。これにより、例えば子供の顔画像のみを顔リスト２０１に表示させるような動作が実現される。ユーザの撮像目的が自分の子供などの特定の属性の場合、このように該当属性の顔画像のみがリスト化されることで、選択容易性も高めることができる。

またこれらの選択候補画像として採用するための属性条件をユーザが選択設定できるようにすることも好適である。
また図１５の処理例で、上述の正面顔画像であるということをステップＦ１０３Ａの判定の条件としてもよい。この場合、横を向いた顔は、選択候補画像としては扱われない状態となる。
さらに図１４、図１５の処理例において、正面顔や属性以外の条件として、笑顔などの表情判定結果を用いたり、顔画像サイズを用いてもよい。

＜８．再生装置への適用＞
ここまで撮像装置１０としての実施の形態を説明してきたが、本技術の画像処理装置は再生装置にも適用できる。
図１６は画像処理装置１を内蔵した再生装置５０としての構成例を示している。
再生装置５０は、制御部５１、画像再生部５２、操作部５３、デジタル信号処理部６０を有する。なお表示装置９０を別体構成として示しているが、再生装置５０と一体に設けられてもよい。

画像再生部５２は、例えば光ディスク、光磁気ディスク、磁気ディスク、不揮発性メモリによるメモリカード、ＨＤＤ、或いは内蔵メモリチップ（ＲＡＭ、ＲＯＭ、フラッシュメモリ等）などの記録媒体から動画又は静止画としての画像データを再生する部位として示している。画像再生部５２は再生した画像データをデジタル信号処理部６０に転送する。

デジタル信号処理部６０は、解像度変換部６１、選択候補検出部６２、候補情報記憶部６３、表示データ生成部６４を有する。
解像度変換部６１は再生された画像データに対して、表示出力のための必要な解像度変換処理を実行する。
選択候補検出部６２、候補情報記憶部６３は、上述の撮像装置１０における選択候補検出部２６、候補情報記憶部２７と同様に顕著化表示のための選択候補画像の検出や、選択候補画像及び関連データの記憶を行う。
表示データ生成部２８は、顕著化表示機能がオフであるときは、解像度変換部６１からの画像データ（主画像）を用いて表示データを生成し、表示装置９０に供給する。顕著化表示機能がオンであるときは、主画像に、候補提示画像の重畳処理を行って表示データを生成し、またユーザの選択操作があったら、該当する被写体を顕著化する画像（又は画像効果）を加えた表示データを生成して表示装置９０に供給する。

制御部５１は画像再生部５２、デジタル信号処理部６０の動作を制御する。また操作部５３からの操作情報を検知する。
操作部５３は再生装置５０のユーザが各種操作を行うための操作子（キー、ダイヤル）や、リモートコントローラ、或いは表示装置９０のタッチパネル操作部などとする。

このような構成において、制御部５１は、例えば画像再生部５２から動画が再生される場合は、上述の図２Ａの処理、又は図６と図７、又は図１０と図１１、又は図１２、又は図１４、又は図１５の処理を実行することで、表示装置９０で表示される再生動画上に候補提示画像が重畳されたり、ユーザの選択に応じて、再生動画（主画像）上での顕著化表示、さらには候補提示画像上での顕著化表示が行われるようにすることができる。
また制御部５１は、例えば画像再生部５２から静止画が再生される場合は、上述の図２Ｂの処理を実行することで、表示装置９０で表示される再生静止画上に候補提示画像が重畳されたり、ユーザの選択に応じて、再生静止画（主画像）上での顕著化表示、さらには候補提示画像上での顕著化表示が行われるようにすることができる。

このように本技術の顕著化表示機能は、再生装置５０にも適用でき、静止画や動画を見ているユーザが、その画面内の人物（例えば顔）を候補提示画像としての顔リストで確認し、選択できる。そしてそれに応じて、主画像内で、選択した顔の位置を容易に認識できる。例えば運動会で撮像した動画や静止画を、家庭等で再生しているときに、再生画像内で自分の子供を容易に発見できることになり、再生装置５０として非常に有用な機能が発現される。

なお、図３に示した撮像装置１０も記録部１５に記録した撮像画像データを再生して表示部３４に表示させることができるため、図３の撮像装置１０は図１６の再生装置５０を内蔵するものといえる。つまり撮像装置１０が撮像した動画や静止画の画像再生を行う場合でも、本技術の顕著化表示機能を用いることはできる。

また図１６では再生装置５０として示したが画像再生部５２は、テレビジョンチューナやネットワーク通信部とする構成も考えられる。つまり受信した画像データ、ダウンロードした画像データ等を対象として、顕著化表示機能を実行させることもできる。

＜９．プログラム及びコンピュータ装置への適用＞
以上、画像処理装置１、撮像装置１０、再生装置５０の実施の形態を説明してきたが、上述した顕著化表示機能のための処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。
即ち実施の形態のプログラムは、動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出する処理と、検出した選択候補画像と前記主画像とを合成して候補提示画像を含む表示データを生成して出力する処理と、表示された前記候補提示画像に対する選択操作に応じて、前記主画像内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示を含む表示データを生成して出力する処理とを演算処理装置に実行させるプログラムである。

具体的には、実施の形態のプログラムは、図２Ａ、又は図２Ｂ、又は図６と図７、又は図１０と図１１、又は図１２、又は図１４、又は図１５の処理を演算処理装置に実行させるプログラムとすればよい。
このようなプログラムにより、上述した顕著化表示機能を実行する装置を、演算処理装置を用いて実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該携帯型情報処理装置等を、本開示の画像処理装置とすることができる。
例えば、図１７に示されるようなコンピュータ装置において、上述の画像処理装置１、撮像装置１０、再生装置５０における顕著化表示機能のための処理と同様の処理が実行されるようにすることもできる。

図１７において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。

入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
上述した顕著化表示の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば図１７に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ブルーレイディスク、ＣＤ−ＲＯＭ、ＤＶＤを含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８１により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。

このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８０（リムーバブルメディア８１）もしくは記録部７８での再生動作等により、動画データを入力した際に、ＣＰＵ７１がプログラムに基づいて、上述の図２Ａ、又は図２Ｂ、又は図６と図７、又は図１０と図１１、又は図１２、又は図１４、又は図１５のような処理を実行することで、入力された画像データについて顕著化表示を伴った表示動作を実行することができる。

＜１０．変形例＞
上述の各実施の形態は、各種の変形例が考えられる。
画像処理装置１、撮像装置１０、再生装置５０、コンピュータ装置７０において選択候補画像とするのは、顔画像に限られない。例えば人物を対象とする場合に、顔画像ではなく身体画像を対象としてもよい。また、特定の属性の顔画像とする場合も、性別や年齢層だけでなく、画像に現れる特徴、例えばめがねをかけた人の顔画像、帽子をかぶった人の顔画像などを対象として選択候補画像として抽出してもよい。
また人物に限らず、犬、猫等のペット、花、樹木などの植物、建築物などを選択候補画像として抽出してもよい。

なお、顔検出、人体検出等は、画像データに対しての画像解析におけるパターンマッチングの手法などで可能であるが、パターンマッチングに用いる辞書さえ差し替えれば他の検出も原理的には実現可能である。例えば（特定種の）犬検出・猫検出なども可能である。
また例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることも考えられる。選択候補画像の抽出、選定の手法は多様に考えられる。

またすべての実施の形態の例で、動画像を対象とする場合に、選択候補画像の検出は毎フレームではなく、１フレームおき、５フレームおき、６０フレームおき、３００フレームおきなど間欠的なフレームごとに実行するものとしてもよい。これにより顕著化表示機能のための制御部（１，３０，５１等）の処理負担も軽減される。
またすべての実施の形態の例で、動画像を対象とする場合に、選択候補画像の検出を毎フレーム行っても、候補情報記憶部（２７、６３）における顔画像等の選択候補画像データ自体の更新は、より長い期間を空けて実行するようにしてもよい。つまり顔リスト等の候補提示画像２０１を生成するための画像自体は、同一被写体であれば、フレーム毎に更新する必要性は低く、例えば顔リスト２０１上では静止画的に表示された方が見やすいこともあるためである。

図６の処理例（撮像装置としての第１の実施の形態）の説明において、検出した顔画像を追尾して、複数フレームに渡って追尾が継続している顔画像に同一のＩＤを付与することとで、顔リスト２０１上で各顔画像が見やすく、選択しやすくする効果が得られるようにしたが、各実施の形態において追尾を行わない処理例も考えられる。
顔リスト上２０１上で顔画像が頻繁に入れ代わるのは、被写体に動きがある場合である。場合によっては、集合写真などでほとんど動きがない被写体を撮像対象とすることもある。また上記のように選択候補画像は、顔画像に限られず植物なども想定される。
例えば注目したい被写体に動きが少ない、又はほとんどない場合には、追尾を行わずに、フレーム毎に、例えば画像内の位置順で選択候補画像にＩＤを付与して管理しても、リスト上で選択候補画像が頻繁に入れ代わってしまうことはない。つまり例えば各選択候補画像に付与するＩＤは、単に現在のフレーム内で検出された選択候補画像の番号とする位置づけであったとしても、その順番にリスト表示すれば問題ない。このようなユースケースを想定する場合、追尾処理によって同一被写体に同一ＩＤを付与して管理する処理は行わなくてもよい。
さらには、例えば３００フレームおきに１回など、長い間隔で顔画像検出を行い、それに応じて候補提示画像２０１を更新していくような処理とすれば、そもそも候補提示画像２０１としての例えば顔リスト上で顔画像が頻繁に入れ代わることはない。そのような場合に、もちろん追尾によるＩＤ設定に応じてリスト上の順番を制御することは好適であるが、必ずしも追尾を行わなくとも、さほど候補提示画像２０１の見やすさを損ねることにはならない。従って追尾処理を行わない処理例も考えられる。

図１４又は図１５の処理例（撮像装置の第４の実施の形態）においては、顔画像について正面顔、属性などの条件を用いた処理を説明したが、顔画像以外では所定条件はさらに多様に考えられる。例えば特定の色、特定の動物の種類、特定の色の植物、など候補提示画像に採用する画像を選定する所定条件は多様に考えられる。

また各実施の形態において、選択されて顕著化表示されたた被写体を対象として各種制御を行ってもよい。
例えば撮像装置１０において選択被写体に対してフォーカス合わせを行ったり、選択被写体の輝度に応じて露光調整を行宇ことが考えられる。
また撮像（例えば動画撮像）とともにマイクロホンにより音声収音を行う場合、画角空間内での選択中の被写体の方向に応じて、指向性調整を行うことも考えられる。
また選択中の被写体に対応したオートズーム制御する。例えば選択中の被写体が常に所定以上のサイズで撮像画像で映り込むように自動的なズームレンズ駆動を行う。追尾処理と合わせて、選択中の被写体との距離が変化に応じたズームによる画角調整を行うようにしてもよい。
また動画撮像の開始のトリガーとすることも考えられる。例えば或る被写体が選択されたことに応じて、動画撮像記録を開始する。

また、撮像画像信号に対する各種信号処理にも用いることができる。
例えば撮像される各フレームにおいて選択中の被写体の領域にのみ、画質調整、ノイズリダクション、肌色調整などの画像処理を加える。
或いは、選択中の被写体の領域以外に、画像効果、例えばモザイク処理、ぼかし処理、塗りつぶし処理等を加えることも考えられる。

また撮像画像、もしくは記録された画像について、フレーミング、クロッピング等の編集処理を加えることも考えられる。
例えば選択中の被写体を含むフレーム内の一部領域の切り出しや、拡大等の処理を行うことができる。
また、撮像画像データのうちで、選択中の被写体が画像の中心に配置されるように画像周辺部のカット等を行い、構図調整を行うことができる。
以上は一例に過ぎないが、これら以外にも、アプリケーションプログラムや撮像装置１０内の自動調整機能が、被写体の選択結果を利用する処理は各種考えられる。

また本技術は、監視カメラ用途（記録スタート判定）などにも適用できる。例えば監視画像上又はその再生画像上で顔リスト表示や、選択に応じた顕著化表示を行うことで、監視者が不審者発見を行う場合にも有効な技術となる。

なお本技術は以下のような構成も採ることができる。
（１）動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出する選択候補検出部と、
少なくとも前記主画像を用いた表示データを生成する表示データ生成部と、
前記表示データ生成部に、前記選択候補検出部で検出した選択候補画像と前記主画像とを合成して候補提示画像を含む表示データの生成を実行させるとともに、前記候補提示画像に対する選択操作に応じて、前記主画像内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示を含む表示データの生成を実行させる制御部と、を備えた
画像処理装置。
（２）前記表示データ生成部は、選択候補画像が並ぶ前記候補提示画像を含む表示データを生成するとともに、
前記制御部は、前記主画像としての動画に含まれる複数のフレームにおいて、同一被写体と判定される選択候補画像に同一の識別子を付与し、前記識別子に基づいて、前記候補提示画像における選択候補画像の表示順序を制御する
上記（１）に記載の画像処理装置。
（３）前記制御部は、前記候補提示画像に対する選択操作後も、前記表示データ生成部に前記候補提示画像を含む表示データの生成を実行させる
上記（１）又は（２）に記載の画像処理装置。
（４）前記制御部は、前記候補提示画像に対する選択操作に応じて、前記候補提示画像上で、選択された選択候補画像を顕著化する表示を、前記表示データ生成部に実行させる
上記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記制御部は、前記候補提示画像に対する選択操作に応じて、前記候補提示画像の表示終了を前記表示データ生成部に指示する
上記（１）又は（２）に記載の画像処理装置。
（６）前記制御部は、動画としての前記主画像のフレームの進行過程で、前記選択操作で選択された選択候補画像に対応する被写体画像についての各フレームでの追尾結果に基づいて、当該被写体画像を顕著化させる表示の位置が設定されるように前記表示データ生成部に指示する
上記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）前記表示データ生成部は、選択候補画像が並ぶ前記候補提示画像を含む表示データを生成するとともに、
前記制御部は、動画としての前記主画像のフレームの進行過程で、前記選択操作で選択された選択候補画像に対応する被写体画像が追尾不能となった場合、優先検出条件を設定し、その後に前記選択候補検出部で検出した選択候補画像が前記優先検出条件に合致した場合、当該選択候補画像が、前記候補提示画像において優先表示されるように制御する
上記（６）に記載の画像処理装置。
（８）前記優先検出条件は、前記選択操作で選択された選択候補画像に対応する被写体画像が追尾不能となる直前の、主画像内の位置又はサイズを基準とする条件である
上記（７）に記載の画像処理装置。
（９）前記制御部は、前記表示データ生成部に、選択候補検出部で検出された選択候補画像のうちで、所定条件を満たした選択候補画像を用いた前記候補提示画像を含む表示データの生成を実行させる
上記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出し、
検出した選択候補画像と前記主画像とを合成して候補提示画像を含む表示データを生成して出力し、
表示された前記候補提示画像に対する選択操作に応じて、前記主画像内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示を含む表示データを生成して出力する
画像処理方法。
（１１）動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出する処理と、
検出した選択候補画像と前記主画像とを合成して候補提示画像を含む表示データを生成して出力する処理と、
表示された前記候補提示画像に対する選択操作に応じて、前記主画像内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示を含む表示データを生成して出力する処理と、
を演算処理装置に実行させるプログラム。

１…画像処理装置、２，２６，６２…選択候補検出部、３，２８，６４…表示データ生成部、４，３０，５１…制御部、１０…撮像装置、１１…光学系、１２…イメージャ、１３…光学系駆動部、１４…センサ部、１５…記録部、１６…通信部、２０…デジタル信号処理部、２１…前処理部、２２…同時化部、２３…ＹＣ生成部、２４…解像度変換部、２５…コーデック部、２７…候補情報記憶部、３０ａ…追尾処理部、３４…表示部、３５，５３…操作部、５０…再生装置、７０…コンピュータ装置、７１…ＣＰＵ

Claims (11)

1. 動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出する選択候補検出部と、
   少なくとも前記主画像を用いた表示データを生成する表示データ生成部と、
   前記表示データ生成部に、前記選択候補検出部で検出した選択候補画像と前記主画像とを合成して候補提示画像を含む表示データの生成を実行させるとともに、前記候補提示画像に対する選択操作に応じて、前記主画像内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示を含む表示データの生成を実行させる制御部と、を備えた
   画像処理装置。
2. 前記表示データ生成部は、選択候補画像が並ぶ前記候補提示画像を含む表示データを生成するとともに、
   前記制御部は、前記主画像としての動画に含まれる複数のフレームにおいて、同一被写体と判定される選択候補画像に同一の識別子を付与し、前記識別子に基づいて、前記候補提示画像における選択候補画像の表示順序を制御する
   請求項１に記載の画像処理装置。
3. 前記制御部は、前記候補提示画像に対する選択操作後も、前記表示データ生成部に前記候補提示画像を含む表示データの生成を実行させる
   請求項１に記載の画像処理装置。
4. 前記制御部は、前記候補提示画像に対する選択操作に応じて、前記候補提示画像上で、選択された選択候補画像を顕著化する表示を、前記表示データ生成部に実行させる
   請求項１に記載の画像処理装置。
5. 前記制御部は、前記候補提示画像に対する選択操作に応じて、前記候補提示画像の表示終了を前記表示データ生成部に指示する
   請求項１に記載の画像処理装置。
6. 前記制御部は、動画としての前記主画像のフレームの進行過程で、前記選択操作で選択された選択候補画像に対応する被写体画像についての各フレームでの追尾結果に基づいて、当該被写体画像を顕著化させる表示の位置が設定されるように前記表示データ生成部に指示する
   請求項１に記載の画像処理装置。
7. 前記表示データ生成部は、選択候補画像が並ぶ前記候補提示画像を含む表示データを生成するとともに、
   前記制御部は、動画としての前記主画像のフレームの進行過程で、前記選択操作で選択された選択候補画像に対応する被写体画像が追尾不能となった場合、優先検出条件を設定し、その後に前記選択候補検出部で検出した選択候補画像が前記優先検出条件に合致した場合、当該選択候補画像が、前記候補提示画像において優先表示されるように制御する
   請求項６に記載の画像処理装置。
8. 前記優先検出条件は、前記選択操作で選択された選択候補画像に対応する被写体画像が追尾不能となる直前の、主画像内の位置又はサイズを基準とする条件である
   請求項７に記載の画像処理装置。
9. 前記制御部は、前記表示データ生成部に、選択候補検出部で検出された選択候補画像のうちで、所定条件を満たした選択候補画像を用いた前記候補提示画像を含む表示データの生成を実行させる
   請求項１に記載の画像処理装置。
10. 動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出し、
    検出した選択候補画像と前記主画像とを合成して候補提示画像を含む表示データを生成して出力し、
    表示された前記候補提示画像に対する選択操作に応じて、前記主画像内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示を含む表示データを生成して出力する
    画像処理方法。
11. 動画又は静止画としての主画像内に存在する被写体画像として選択候補画像を検出する処理と、
    検出した選択候補画像と前記主画像とを合成して候補提示画像を含む表示データを生成して出力する処理と、
    表示された前記候補提示画像に対する選択操作に応じて、前記主画像内で、選択された候補提示画像に対応する被写体画像を顕著化させる表示を含む表示データを生成して出力する処理と、
    を演算処理装置に実行させるプログラム。

Images