JP2011023898A

JP2011023898A - 表示装置、表示方法および集積回路

Info

Publication number: JP2011023898A
Application number: JP2009166156A
Authority: JP
Inventors: Yoichi Sugino; 陽一杉野
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-07-14
Filing date: 2009-07-14
Publication date: 2011-02-03

Abstract

【課題】被写体の動きの影響を受けることなく候補領域を容易に指定できる表示装置を提供する。
【解決手段】ビデオカメラ１００は、検出部１３０と、生成部１６２０と、合成部１６４０と、操作部１８０と、選択部１６５０と、を備えている。検出部１３０は候補領域を画像データから検出する。生成部１６２０は、検出部１３０により検出された各候補領域を識別するための候補画像データを生成する。合成部１６４０は、候補画像データと画像データとが合成された合成画像データを生成する。表示部１６０は合成画像データを映像として表示する。操作部１８０は映像に表れている候補画像のうち特定の候補画像を指定する指定情報の入力を受け付ける。選択部１６５０は、操作部１８０に入力された指定情報に基づいて、操作部１８０を介して指定された候補画像データに対応する候補領域を基準領域として選択する。
【選択図】図３

Description

本発明は、映像を表示するための表示装置、表示方法および集積回路に関する。

ビデオカメラやデジタルカメラといった撮像装置では、往々にして動いている人物や物体を撮影する場合がある。撮像装置には映像を表示するための表示装置が搭載されており、撮影時には、この表示装置に被写体の映像がリアルタイムに映し出される。ユーザーは、表示装置に映し出された映像を見ながら、静止画または動画の撮影を行う。
一方で、映像に映し出されている人間などの被写体を候補領域として自動的に検出する技術が提案されている。この種の技術としては、例えば顔検出技術が知られている。このような技術が用いられた表示装置では、自動的に検出され候補領域のうちユーザーにとって最も興味のある被写体（以下、主被写体ともいう）に対応している領域（以下、主被写体領域ともいう）を選択できるようになっている。主被写体領域が選択されると、選択された主被写体領域を基準に、自動露出制御（ＡＥ：ＡｕｔｏＥｘｐｏｓｕｒｅ）や自動合焦制御（ＡＦ：ＡｕｔｏＦｏｃｕｓ）が行われる（例えば、特許文献１を参照）。

特開２００６−１０１１８６号公報

しかしながら、従来の表示装置では、自動的に検出された候補領域を直接指定して主被写体領域を決定するため、映像の中で主被写体が動いていると候補領域を指定しにくい。また、撮像装置に設けられた表示装置だけでなく、ある特定の領域を映像から選択する機能を有する装置であれば、このような課題が存在する。
本発明の課題は、被写体の動きの影響を受けることなく候補領域を容易に指定できる表示装置、表示方法および集積回路を提供することにある。

本発明に係る表示装置は、複数の画像データを映像として表示するための装置であって、検出部と、生成部と、合成部と、操作部と、選択部と、を備えている。検出部は、特定の視覚的特徴を有する少なくとも１つの候補領域を画像データから検出する。生成部は、検出部により検出された各候補領域を識別するための少なくとも１つの候補識別情報を生成する。合成部は、候補識別情報と画像データとが合成された合成画像データを生成する。表示部は合成画像データを映像として表示する。操作部は映像に表れている候補識別情報のうち特定の候補識別情報を指定する指定情報の入力を受け付ける。選択部は、操作部に入力された指定情報に基づいて、操作部を介して指定された候補識別情報に対応する候補領域を基準領域として選択する。
この表示装置では、特定の視覚的特徴を有する候補領域が検出部により画像データから検出され、検出された候補領域に対応する候補識別情報が生成部により生成される。候補識別情報が生成されると、生成された候補識別情報と画像データとが合成された合成画像データが合成部により生成され、複数の合成画像データが映像として表示部に表示される。表示部に表示された映像には、画像データだけでなく候補識別情報も表れているため、表示部に表示されている映像を通して、ユーザーは候補識別情報を視認することができる。

さらに、映像に表れている候補識別情報のうち特定の候補識別情報を指定するために、ユーザーが操作部を用いて指定情報を入力すると、入力された指定情報に基づいて、指定された候補識別情報に対応する候補領域が基準領域として選択部により選択される。
このように、この表示装置では、候補領域に対応する候補識別情報を候補領域とは別個に表示し、候補識別情報を利用して間接的に候補領域を選択することができるため、表示部に表示された候補領域が動いている場合であっても、候補領域の選択操作を容易に行うことができる。
本発明に係る表示方法は、複数の画像データを映像として表示するための表示方法であって、検出ステップと、生成ステップと、合成ステップと、表示ステップと、操作ステップと、選択ステップと、を備えている。検出ステップでは、特定の視覚的特徴を有する少なくとも１つの候補領域が画像データから検出される。生成ステップでは、検出ステップで検出された各候補領域を識別するための少なくとも１つの候補識別情報が生成される。合成ステップでは、候補識別情報と画像データとが合成された合成画像データが生成される。表示ステップでは合成画像データが映像として表示される。操作ステップでは、映像に表れている候補識別情報のうち特定の候補識別情報を指定する指定情報の入力を受け付ける。選択ステップでは、操作部に入力された指定情報に基づいて、操作部を介して指定された候補識別情報に対応する候補領域が基準領域として選択される。

この表示方法では、特定の視覚的特徴を有する候補領域が画像データから検出され、検出された候補領域に対応する候補識別情報が生成される。候補識別情報が生成されると、生成された候補識別情報と画像データとが合成された合成画像データが生成され、複数の合成画像データが映像として表示される。示された映像には、画像データだけでなく候補識別情報も表れているため、表示されている映像を通して、ユーザーは候補識別情報を視認することができる。
さらに、映像に表れている候補識別情報のうち特定の候補識別情報を指定するために、ユーザーが操作ステップにおいて指定情報を入力すると、入力された指定情報に基づいて、指定された候補識別情報に対応する候補領域が基準領域として選択される。
このように、この表示方法では、候補領域に対応する候補識別情報を候補領域とは別個に表示し、候補識別情報を利用して間接的に候補領域を選択することができるため、表示部に表示された候補領域が動いている場合であっても、候補領域の選択操作を容易に行うことができる。

本発明に係る集積回路は、複数の画像データを映像として表示するための集積回路であって、検出部と、生成部と、合成部と、操作部と、選択部と、を備えている。検出部は、特定の視覚的特徴を有する少なくとも１つの候補領域を画像データから検出する。生成部は、検出部により検出された各候補領域を識別するための少なくとも１つの候補識別情報を生成する。合成部は、候補識別情報と画像データとが合成された合成画像データを生成する。表示部は合成画像データを映像として表示する。操作部は映像に表れている候補識別情報のうち特定の候補識別情報を指定する指定情報の入力を受け付ける。選択部は、操作部に入力された指定情報に基づいて、操作部を介して指定された候補識別情報に対応する候補領域を基準領域として選択する。
この集積回路では、特定の視覚的特徴を有する候補領域が検出部により画像データから検出され、検出された候補領域に対応する候補識別情報が生成部により生成される。候補識別情報が生成されると、生成された候補識別情報と画像データとが合成された合成画像データが合成部により生成され、複数の合成画像データが映像として表示部に表示される。表示部に表示された映像には、画像データだけでなく候補識別情報も表れているため、表示部に表示されている映像を通して、ユーザーは候補識別情報を視認することができる。

さらに、映像に表れている候補識別情報のうち特定の候補識別情報を指定するために、ユーザーが操作部を用いて指定情報を入力すると、入力された指定情報に基づいて、指定された候補識別情報に対応する候補領域が基準領域として選択部により選択される。
このように、この集積回路では、候補領域に対応する候補識別情報を候補領域とは別個に表示し、候補識別情報を利用して間接的に候補領域を選択することができるため、表示部に表示された候補領域が動いている場合であっても、候補領域の選択操作を容易に行うことができる。
ここで、表示装置としては、複数の画像データを映像として表示し、かつ、映像に表れる特定の領域を検出する機能を有する装置が考えられる。具体的には、表示装置としては、例えば、ビデオカメラ、デジタルカメラおよびカメラ機能を有する携帯電話などの撮像装置に搭載された表示装置が考えられ、さらに、テレビ、カーナビゲーションシステムおよびゲーム機などの電子機器に搭載された表示装置も考えられる。

また、「特定の視覚的特徴を有する候補領域」としては、例えば、人間の体の全部または一部を表す領域（例えば、顔領域）および特定の色を有する領域が考えられる。

以上のように、本発明に係る表示装置、表示方法および集積回路によれば、被写体の動きの影響を受けることなく候補領域を容易に指定できる。

ビデオカメラ１００のブロック図検出部１３０のブロック図システム制御部１５７およびその周辺のブロック図表示部１６０の表示例顔検出処理のフローチャート顔検出処理のフローチャート顔検出処理のフローチャート検出部２３０およびその周辺のブロック図システム制御部２５７およびその周辺のブロック図登録モードのフローチャート（第２実施形態）顔検出処理のフローチャート（第２実施形態）顔検出処理のフローチャート（第２実施形態）表示部１６０の表示例（第２実施形態）文字列を入力する入力画面の例（第３実施形態）登録モードのフローチャート（第３実施形態）表示部１６０の表示例（第３実施形態）表示部１６０の表示例（他の実施形態）

［第１実施形態］
＜ビデオカメラの概要＞
図１〜図３を用いて、ビデオカメラ１００について説明する。
図１はビデオカメラ１００のブロック図である。図１において、破線で囲まれた範囲がビデオカメラ１００（撮像装置の一例）を表す。
図１に示すように、ビデオカメラ１００は、主に、光学系１０５と、映像信号生成ユニット７０と、映像信号解析ユニット７１と、システム制御部１５７と、光学機構制御ユニット７２と、記録処理ユニット７３と、表示部１６０と、操作部１８０と、バッファメモリ１３５と、システムバス１３４と、を有している。例えば、映像信号解析ユニット７１、システム制御部１５７、光学機構制御ユニット７２、記録処理ユニット７３、表示部１６０および操作部１８０により、複数の画像データを映像として表示する表示装置が構成されている。

＜光学系＞
光学系１０５は、被写体の光学像を形成し、光学像を撮像素子１１０に導く。具体的には、光学系１０５は、ズームレンズ群（図示せず）と、フォーカスレンズ（図示せず）と、絞りユニット（図示せず）と、シャッターユニット（図示せず）と、を有している。
ズームレンズ群は、複数のレンズを有しており、複数のレンズ枠により光軸方向に移動可能に支持されている。複数のレンズはズーム駆動ユニット（図示せず）により光軸に沿って駆動される。被写体の光学像を変倍する際に、各レンズはズーム駆動ユニットにより光軸に沿って駆動される。フォーカスレンズは、フォーカシング（合焦状態の調整）を行うためのレンズであり、フォーカスモータ（図示せず）により駆動される。フォーカスモータはレンズ制御部１７０（後述）により制御される。フォーカスレンズを光軸方向に駆動することで、撮像素子１１０上に結像している被写体からビデオカメラ１００までの距離を調整することができ、合焦状態を調整することができる。絞りユニットは、露出制御を行うためのユニットであり、露出制御部１６５（後述）により制御される。

＜映像信号生成ユニット＞
映像信号生成ユニット７０は、被写体の光学像に基づいてデジタル映像信号を生成するユニットであり、撮像素子１１０と、Ａ／Ｄ変換部１１５と、映像信号処理部１２０と、Ｙ／Ｃ変換部１２５と、を有している。
撮像素子１１０は、光学系１０５により結像された被写体の光学像を電気信号（映像信号）に変換する。撮像素子１１０としては、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサおよびＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが用いられる。Ａ／Ｄ変換部１１５は、撮像素子１１０から出力されるアナログ映像信号をＲＧＢ形式のデジタル映像信号に変換する。

映像信号処理部１２０は、Ａ／Ｄ変換部１１５から出力されるデジタル映像信号に、ゲイン調整処理、ノイズ除去処理、ガンマ補正処理、アパーチャ処理およびニー処理等の映像信号処理を施す。映像信号処理部１２０は、映像信号処理を施したデジタル映像信号を、Ｙ／Ｃ変換部１２５、検出部１３０および画像情報抽出部１３２（後述）に出力する。Ｙ／Ｃ変換部１２５は、映像信号処理部１２０により処理されたデジタル映像信号をＲＧＢ形式からＹ／Ｃ形式へ変換する。映像信号処理部１２０およびＹ／Ｃ変換部１２５から出力されるデジタル映像信号は、被写体の映像を表す情報であり、複数フレームの画像データから構成されている。
＜バッファメモリ＞
バッファメモリ１３５は、Ｙ／Ｃ変換部１２５によりＹ／Ｃ形式に変換されたデジタル映像信号を、システムバス１３４を通して取得し、複数フレームの画像データ（以下、基準画像データともいう）として一時的に格納する。システム制御部１５７（後述）は、バッファメモリ１３５に格納されたデジタル映像信号に対して、表示部１６０（後述）で表示するのに適したサイズへ縮小処理を施す。縮小処理が施されたデジタル映像信号は、バッファメモリ１３５上に表示用映像信号として格納される。表示用映像信号は、複数フレームの画像データから構成されている。システム制御部１５７により縮小処理が施された表示用映像信号を構成する画像データを、以下、表示用画像データともいう。

＜記録処理ユニット＞
記録処理ユニット７３は、映像信号生成ユニット７０により生成されたデジタル映像信号を外部の記録媒体に保存するユニットであり、ＣＯＤＥＣ１４０と、記録Ｉ／Ｆ部１４５と、ソケット１５０と、を有している。ＣＯＤＥＣ１４０は、バッファメモリ１３５に格納されているＹ／Ｃ形式のデジタル映像信号に不可逆圧縮処理を施す。記録Ｉ／Ｆ部１４５は、ＣＯＤＥＣ１４０により不可逆圧縮処理が施されたデジタル映像信号を、システムバス１３４を経由して取得し、記録媒体１５５に記録する。ソケット１５０は、記録媒体１５５が装着可能であり、ビデオカメラ１００に記録媒体１５５を電気的に接続する。記録媒体１５５としては、例えばメモリーカードが挙げられる。
＜映像信号解析ユニット＞
映像信号解析ユニット７１は、入力された映像信号から必要な情報を取得するユニットであり、検出部１３０と、画像情報抽出部１３２と、を有している。

（１）検出部
検出部１３０は、映像信号処理部１２０から出力されるデジタル映像信号の入力を受け付け、入力されるデジタル映像信号から特定の視覚的特徴を有する候補領域を検出する。具体的には図２に示すように、検出部１３０は、画像処理部２００と、揮発性メモリ２１０と、顔検出部２２０と、を有している。本実施形態では、候補領域は人間の顔を表す領域である。
画像処理部２００は映像信号処理部１２０から入力されるデジタル映像信号に縮小処理を施す。より詳細には、画像処理部２００はデジタル映像信号を構成する複数フレームの画像データに対して縮小処理を順次施す。画像処理部２００により縮小処理が施された画像データを、以下、検出用画像データともいう。縮小処理時の縮小倍率は、基準画像データに対する表示用画像データの縮小倍率と同じであるため、検出用画像データ上の座標情報を表示用画像データ上の座標情報として利用できる。揮発性メモリ２１０は、画像処理部２００から出力される検出用画像データを順次格納する。

顔検出部２２０は、揮発性メモリ２１０に格納された１フレームの検出用画像データから顔領域（候補領域の一例）を検出する。システム制御部１５７のＲＯＭ（後述）には、人間の顔に関する一般的な特徴を示す基準特徴量（基準情報の一例）が予め格納されている。基準特徴量は画像に表れる顔の特徴を示すデータである。顔検出部２２０は、ＲＯＭから基準特徴量を取得し、順次入力される検出用画像データと基準特徴量とをパターンマッチングなどの手法で比較し、基準特徴量の条件を満たす領域を候補領域として各フレームの検出用画像データから検出する。
さらに、顔検出部２２０は、検出した顔領域の画像内での位置を示す座標情報および顔領域の大きさを示すサイズ情報を生成し、座標情報およびサイズ情報（以下、これらの情報を候補情報ともいう）をシステム制御部１５７に送信する。１フレームの検出用画像データに複数の顔領域が存在する場合、顔検出部２２０は、各顔領域に対応する座標情報およびサイズ情報をシステム制御部１５７に送信する。顔検出部２２０による顔領域の検出は各フレームの検出用画像データに対して行われるため、顔領域の座標情報およびサイズ情報は１フレームごとにシステム制御部１５７に送られる。

（２）画像情報抽出部
画像情報抽出部１３２は、デジタル映像信号に含まれる様々な情報を抽出する。様々な情報とは、例えば、画像上の特定領域における輝度レベル値および高域周波数成分である。画像情報抽出部１３２での画像処理には、自動露出制御および自動合焦制御の精度を考慮して、映像信号処理部１２０から入力されるデジタル映像信号を構成する縮小処理が施されていない画像データが用いられる。本実施形態では、画像上の特定領域としては、操作部１８０を介して選択された主被写体領域（後述）が用いられる。
抽出された輝度レベル値は自動露出制御に用いられる。具体的には、画像情報抽出部１３２は、順次入力される画像データから主被写体領域の輝度レベル値を算出し、輝度レベル値をシステム制御部１５７に出力する。

システム制御部１５７は、画像情報抽出部１３２により算出された輝度レベル値に基づき、最適な絞り値を算出し、算出した絞り値を露出制御部１６５に送信する。システム制御部１５７により算出された絞り値に基づいて、露出制御部１６５は光学系１０５の絞りユニットの開度を調整する。輝度レベル値は各フレームの画像データに対して算出される。
また、高周波数成分は「山登り方式」として知られているコントラスト検出方式の自動合焦制御に用いられる。デジタル映像信号に含まれる高域周波数成分は、合焦の度合いに応じて変化し、フォーカスレンズが合焦位置に配置されている状態で最大値を取る。光学系１０５に含まれるフォーカスレンズを光軸方向に移動させながら特定の領域の高域周波数成分の最大値を求めることで、その領域に焦点を合わせることができるフォーカスレンズの位置を求めることができる。

具体的には、レンズ制御部１７０によりフォーカスレンズが光軸方向に駆動されている間に、画像情報抽出部１３２は、順次入力される画像データから主被写体領域の高域周波数成分を算出し、高域周波数成分をシステム制御部１５７に出力する。システム制御部１５７は、画像情報抽出部１３２により算出された高域周波数成分を画像情報抽出部１３２から取得し、それと同時に、その高域周波数成分が算出された際のフォーカスレンズの位置情報をレンズ制御部１７０から取得する。
順次取得されるこれらの情報に基づいて、システム制御部１５７は、高域周波数成分の最大値およびその最大値に対応するフォーカスレンズの位置（合焦位置）を算出し、フォーカスレンズを合焦位置まで駆動するための制御信号を生成する。この制御信号に基づいて、レンズ制御部１７０はフォーカスレンズを合焦位置まで駆動し、上記の合焦動作が繰り返される。これにより、主被写体の顔領域に対して常時焦点を合わせることができる。

＜光学機構制御ユニット＞
光学機構制御ユニット７２は、フォーカスモータとシャッターユニットと絞りユニットとを制御するユニットであり、露出制御部１６５と、レンズ制御部１７０と、を有している。
露出制御部１６５は、システム制御部１５７で算出された絞り値に基づいて光学系１０５に備えられた絞りユニットを駆動する。レンズ制御部１７０は、システム制御部１５７で算出されたフォーカスレンズの目標位置に基づいてフォーカスモータを制御し、フォーカスモータにより光学系１０５に含まれるフォーカスレンズが目標位置まで駆動される。
＜表示部＞
表示部１６０は、デジタル映像信号を表示するデバイスであり、たとえば小型のＬＣＤパネルである。表示部１６０はバッファメモリ１３５上に格納されている表示用映像信号を映像として表示する。

後述するように、検出部１３０により検出された顔領域が存在する場合、表示用映像信号は、検出された顔領域に基づいて生成された候補画像と合成され、さらに、現在の動作状況を示すアイコン、記録時間および残バッテリー時間といった各種情報を示す画像と合成される。これらの画像が合成された表示用映像信号は、システムバス１３４を通して表示部１６０に送信され、表示部１６０により映像として表示される。
ここで、表示部１６０の表示例について説明する。図４に示すように、例えば、表示部１６０には、２人の人間（被写体）が映し出されており、両被写体の顔がそれぞれ検出部１３０により顔領域として検出されている。右側の被写体の顔４００ａは第１検出枠４３０ａにより囲まれており、左側の被写体の顔４００ｂは第２検出枠４３０ｂにより囲まれている。第１検出枠４３０ａに囲まれている領域が顔４００ａの顔領域であり、第２検出枠４３０ｂに囲まれている領域が顔４００ｂの顔領域である。後述するように、顔検出処理は各フレームの検出用画像データに対して行われ、かつ、被写体が移動しても顔領域が追尾されるようになっているため、第１検出枠４３０ａおよび第２検出枠４３０ｂが被写体の動きに合わせて移動する。

さらに、画面内の下側には横長の候補表示領域４１０が表示されており、この候補表示領域４１０は画面内で静止している。候補表示領域４１０には４つの区画領域４１０ａ〜４１０ｄ、左側操作領域４２０ａおよび右側操作領域４２０ｂが表示されている。
区画領域４１０ａ〜４１０ｄには検出された顔領域の画像が表示される。例えば、区画領域４１０ａには第１検出枠４３０ａ内の顔画像（右側の被写体の顔４００ａの画像）が表示されており、区画領域４１０ｂには第２検出枠４３０ｂ内の顔画像（左側の被写体の顔４００ｂの画像）が表示されている。検出されている顔領域が５つ以上の場合は、４つの区画領域４１０ａ〜４１０ｄでは表示しきれないため、５つのうち４つの顔画像が区画領域４１０ａ〜４１０ｄに表示され、残り１つの顔画像は表示されないが、左側操作領域４２０ａおよび右側操作領域４２０ｂに触れることで、区画領域４１０ａ〜４１０ｄに表示されている顔画像を左右にスクロールさせることができ、表示されていない顔画像を表示させることができる。

また、第１検出枠４３０ａおよび第２検出枠４３０ｂは、異なる視覚的特徴を有している。具体的には、第１検出枠４３０ａは、間隔が狭い破線で描かれており、第２検出枠４３０ｂは第１検出枠４３０ａよりも間隔が広い破線で描かれている。また、第１検出枠４３０ａの顔画像が表示されている区画領域４１０ａには、第１検出枠４３０ａと同じ視覚的特徴を有する第１装飾枠４１１ａが付加されており、第２検出枠４３０ｂの顔画像が表示されている区画領域４１０ｂには、第２検出枠４３０ｂと同じ視覚的特徴を有する第２装飾枠４１１ｂが付加されている。さらに、現在、主被写体として選択されている顔領域が明確になるように、主被写体として選択されている顔領域の検出枠および装飾枠は、例えば他の枠よりも太い線で表示されるようになっている。図４では、第２検出枠４３０ｂの顔領域が主被写体として選択されているため、第２検出枠４３０ｂおよび第２装飾枠４１１ｂが太線で表示されている。

なお、本実施形態では、顔領域（第１検出枠４３０ａおよび第２検出枠４３０ｂ）および区画領域４１０ａ〜４１０ｄは正方形であり、大きさが異なっていても相似形となっている。このため、後述するように、顔領域の画像の大きさを区画領域の大きさに合わせて簡単に調整することができる。
＜操作部＞
操作部１８０は、システム制御部１５７に操作情報を入力するための各種操作部材を有しており、例えば、レリーズボタン（図示せず）などの種々のボタン類、操作ダイヤルおよびタッチパネルユニットを有している。ボタン類、操作ダイヤルおよびタッチパネルユニットは、システム制御部１５７に電気的に接続されている。レリーズボタンは撮影開始信号をシステム制御部１５７に出力する。

操作部１８０のタッチパネルユニットは、表示部１６０の画面に装着されており、表示部１６０の画面上のタッチ位置（被接触位置の一例）を検知する。ユーザーが画面をタッチすると、タッチパネルユニットは、タッチ位置を示す指定情報を生成し、この指定情報をシステム制御部１５７に出力する。映像に表れている顔画像のうち特定の顔画像を指定する際、および表示されている顔画像をスクロールさせる際に、指定情報は用いられる。
＜システム制御部＞
システム制御部１５７は、ビデオカメラ１００の各部を制御する。システム制御部１５７にはＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）が搭載されている。ＲＯＭにはプログラムが格納されており、例えば、電源ＯＮ時にＲＯＭに格納されたプログラムがＲＡＭに展開される。ＲＡＭに展開されたプログラムをＭＰＵが逐次実行することで、システム制御部１５７は様々な機能を実現することができる。

具体的には図３に示すように、システム制御部１５７は、ＲＯＭに記憶された所定のプログラムとＭＰＵとの協働により実現される機能ブロックとして、リスト管理部１６１０と、生成部１６２０と、合成部１６４０と、選択部１６５０と、を有している。
（１）リスト管理部
リスト管理部１６１０は検出部１３０の顔検出部２２０により検出された顔領域の各情報を管理する。リスト管理部１６１０は、顔検出部２２０から送信される座標情報およびサイズ情報に基づいて候補情報リストを作成および更新する。ここで、候補情報リストを作成するとは、座標情報およびサイズ情報を互いに関連付けて所定のアドレスに格納することを意味している。候補情報リストの各情報は、例えばＲＡＭ１６３０上に格納される。

また、リスト管理部１６１０は、ＲＡＭ１６３０上に候補情報リストが存在するかどうかを判断する。ＲＡＭ１６３０上に候補情報リストが存在しない場合、リスト管理部１６１０は候補情報リストを作成する。顔領域の座標情報およびサイズ情報は１フレームごとに顔検出部２２０からリスト管理部１６１０へ送られる。リスト管理部１６１０は候補情報リストとして格納されている座標情報およびサイズ情報を、顔検出部２２０から送られてきた座標情報およびサイズ情報を用いて最新の情報に更新する。
（２）生成部
生成部１６２０は、バッファメモリ１３５に格納されている表示用映像信号に基づいて、検出部１３０により検出された候補領域に関する候補識別情報を生成する。具体的には、生成部１６２０は、検出部１３０により検出された各顔領域の座標情報およびサイズ情報に基づいて、顔検出の対象となっている検出用画像データと取得されたタイミングが同じである表示用画像データから、各顔領域内の画像を候補画像データ（候補識別情報の一例）として抽出し、抽出した候補画像データを顔領域の座標情報およびサイズ情報と関連付けてバッファメモリ１３５上の所定のアドレスに格納する。各顔領域の候補画像データは１フレームごとに順次抽出される。本実施形態では、候補領域は顔領域であるため、候補画像データが表す画像（以下、候補画像という）は人間の顔の画像となっている。

また、顔領域の大きさには通常ばらつきがあるため、抽出される候補画像のサイズは顔領域ごとに異なっている場合が多い。したがって、候補画像データを座標情報およびサイズ情報と関連付ける前に、生成部１６２０は、予め設定されている区画領域４１０ａ〜４１０ｄの大きさと候補画像の大きさとを比較し、比較結果に基づいて候補画像の大きさを調整する。
例えば、生成部１６２０は、候補画像が区画領域よりも小さい場合は区画領域に合わせて候補画像データに拡大処理を施し、拡大処理が施された候補画像データを座標情報およびサイズ情報と関連付けてバッファメモリ１３５上の所定のアドレスに格納する。また、生成部１６２０は、候補画像が区画領域よりも大きい場合は区画領域に合わせて候補画像データに縮小処理を施し、縮小処理が施された候補画像データを座標情報およびサイズ情報と関連付けてバッファメモリ１３５上の所定のアドレスに格納する。なお、生成部１６２０は、候補画像が区画領域と同じ大きさの場合は、候補画像に対して縮小処理および拡大処理は行われない。

（３）合成部
合成部１６４０は、生成部１６２０により生成された候補画像データとバッファメモリ１３５上の表示用画像データとを合成し、両者が合成された合成画像データを生成する。より詳細には、合成部１６４０は、区画領域４１０ａ〜４１０ｄに候補画像を割り当て、表示部１６０の画面上で候補画像が特定の位置に配置されるように候補画像データと表示用画像データとを合成する。
本実施形態では、図４に示すように、表示部１６０の画面上で複数の候補画像が横方向に並んでいる。さらに、表示部１６０に表示される映像における鉛直方向下半分の領域内に候補画像が配置されている。ここで、「鉛直方向」とは、表示部１６０に表示されている画像内での鉛直方向を意味している。合成画像データはバッファメモリ１３５に格納される。このような配置により、被写体の顔が候補画像に隠れてしまうのを防止できる。

また、合成部１６４０は、表示部１６０に映像が表示されている状態で候補画像が画像データをもとに生成される画像上に重畳するように候補画像データと表示用画像データとを合成する。候補画像が表示されていない区画領域４１０ｃおよび４１０ｄは、枠のみが表示されており、バックの画像がそのまま見えるようになっている。
また、図４に示すように、表示部１６０の画面上で、候補画像が表示される候補表示領域４１０（第１表示領域の一例）の面積は、候補表示領域４１０以外の領域４２０（第２表示領域の一例）の面積よりも小さく設定されている。
さらに、候補画像データと表示用画像データとを合成する際、合成部１６４０は顔領域であることを示す装飾枠（装飾情報の一例）を各区画領域に付加する。図４の例では、第１検出枠４３０ａに対応する第１装飾枠４１１ａ（第１装飾情報の一例）が区画領域４１０ａに付加され、第２検出枠４３０ｂに対応する第２装飾枠４１１ｂ（第２装飾情報の一例）が区画領域４１０ｂに付加されている。第１装飾枠４１１ａは第１検出枠４３０ａと同じ視覚的特徴を有しており、第２装飾枠４１１ｂは第２検出枠４３０ｂと同じ視覚的特徴を有している。具体的には、前述のように、第１検出枠４３０ａおよび第１装飾枠４１１ａは間隔が狭い破線で描かれており、第２検出枠４３０ｂおよび第２装飾枠４１１ｂは第１検出枠４３０ａおよび第１装飾枠４１１ａよりも間隔が広い破線で描かれている。

さらに、主被写体として選択されている顔領域（基準領域の一例）に付加されている検出枠および装飾枠は、他の検出枠および装飾枠と異なる視覚的特徴を有している。例えば、顔４００ｂが主被写体として選択されている場合、図４に示すように、第２検出枠４３０ｂおよび第２装飾枠４１１ｂが第１検出枠４３０ａおよび第１装飾枠４１１ａよりも太い線で描かれている。
（４）選択部
選択部１６５０は、操作部１８０を介して指定された候補画像に対応する顔領域を、操作部１８０に入力された指定情報に基づいて、自動露出制御および自動合焦制御の基準となる主被写体領域（基準領域の一例）として選択する。具体的には、選択部１６５０は、操作部１８０を介して入力された指定情報に基づいて、指定情報が示す位置に表示されている候補画像を特定し、特定された候補画像に対応する顔領域を特定し、さらに特定された顔領域を主被写体領域として選択する。選択部１６５０は、指定情報に基づいて特定された候補画像に対応する顔領域の座標情報およびサイズ情報を主被写体領域の情報としてＲＡＭ１６３０に格納する。操作部１８０を介して異なる候補画像が指定されると、ＲＡＭ１６３０に格納された主被写体領域の情報は、新しい指定情報に基づいて特定された顔領域の座標情報およびサイズ情報に置き換えられ、主被写体領域の情報が更新される。この主被写体領域の情報は、画像情報抽出部１３２での輝度レベル値および高域周波数成分の算出時に用いられる。

また、前述のように、システム制御部１５７は、画像情報抽出部１３２と、露出制御部１６５と、レンズ制御部１７０と、を制御することにより、主被写体領域に対する自動露出制御および自動合焦制御を行なう。具体的には、システム制御部１５７は選択部１６５０により主被写体領域として選択された顔領域の座標情報およびサイズ情報を画像情報抽出部１３２に通知する。画像情報抽出部１３２は、座標情報およびサイズ情報に基づいて、主被写体領域の輝度レベル値および高域周波数成分を算出し、算出した輝度レベル値および高域周波数成分をシステム制御部１５７に通知する。システム制御部１５７は、輝度レベル値に基づいて最適な絞り値を計算し、露出制御部１６５に絞り値を通知する。また、システム制御部１５７は、高域周波数成分に基づいて、合焦状態に対応するフォーカスレンズの位置情報を算出し、レンズ制御部１７０にフォーカスレンズの合焦位置を通知する。これらの情報に基づいて、自動露出制御および自動合焦制御が行われる。

＜ビデオカメラの動作＞
以上に述べたビデオカメラ１００の動作を図５〜図７に示すフローチャートを用いて説明する。なお、図５〜図７に示すフローチャートにおいては、すでにビデオカメラ１００の電源はＯＮされており、操作部１８０を用いて、映像の記録が可能な録画モードに動作モードが設定されているものとする。
（１）候補画像データの生成
図５に示すように、まずステップＳ３００では、デジタル映像信号を構成する画像データが順次検出部１３０および画像情報抽出部１３２に入力される。具体的には、光学系１０５を通して結像された被写体像が撮像素子１１０により電気信号に変換され、撮像素子１１０から出力されるアナログ映像信号がＡ／Ｄ変換部１１５によりデジタル映像信号に変換される。Ａ／Ｄ変換部１１５から出力されるデジタル映像信号に対して、映像信号処理部１２０およびＹ／Ｃ変換部１２５により前述の処理が施され、処理が施されたデジタル映像信号は、複数フレームの画像データの集合体であり、各フレームの画像データはバッファメモリ１３５に順次格納される。

加えて、Ｙ／Ｃ変換部１２５から出力されるデジタル映像信号を構成する画像データは、システム制御部１５７により表示部１６０上に表示可能なサイズへと縮小処理が施され、同じくバッファメモリ１３５上に表示用画像データとして順次格納される。また、検出部１３０内の揮発性メモリ２１０にも、画像処理部２００により縮小処理が施された画像データが検出用画像データとして順次格納される。
ステップＳ３１０では、顔検出部２２０により、検出部１３０内の揮発性メモリ２１０に格納された検出用画像データに基づいて顔領域が検出される。具体的には、顔検出部２２０により、人間の顔の特徴を示す基準特徴量と検出用画像データとが比較され、基準特徴量の条件を満たす顔領域が候補領域として検出用画像データから検出される。検出された顔領域の座標情報およびサイズ情報が顔検出部２２０により算出され、座標情報およびサイズ情報が顔検出部２２０からシステム制御部１５７に出力される。

ステップＳ３１１以降の処理はシステム制御部１５７にて実行される。具体的には、ステップＳ３１１では、リスト管理部１６１０によりＲＡＭ１６３０に格納された候補情報リスト上で顔領域が存在するかどうかが判断される。例えば、候補情報リストが存在するとリスト管理部１６１０により判断された場合は、処理がステップＳ３１３へ進む。
一方、例えば録画モードへの切り替え直後は候補情報リストが存在しないため、ステップＳ３１２において、検出部１３０により検出用画像データから顔領域が検出されると、リスト管理部１６１０により候補情報リストが作成され、座標情報およびサイズ情報がＲＡＭ１６３０上の所定のアドレスに記憶され、処理がステップＳ３１３に移行する。
ステップＳ３１３では、検出された顔領域を追尾するために、検出用画像データから検出された顔領域の座標情報がリスト管理部１６１０により候補情報リスト上の各座標情報と照合される。

ここで、検出された顔領域を追尾するための処理について説明する。検出された顔領域の追尾処理は、現在のフレームの検出用画像データから検出された顔領域が、前フレームの検出用画像データから検出された顔領域と合致しているかどうかを判定することで行われる。本判定の最も単純な方法は、顔領域の座標を比較する方法である。一般的に、１秒あたり３０フレームまたは６０フレームの画像データが入力されるため、前フレームの画像データにおいて検出された顔領域が、現在のフレームの画像データにおいて前の顔領域よりも大きく離れた位置で検出されることは考えにくい。したがって、前フレームの検出用画像データから検出された顔領域の座標情報と現在のフレームの検出用画像データから検出された顔領域の座標情報との差分がある定められた範囲内に収まっている場合、それら２つの顔領域は同じ被写体の顔領域であると判定することができる。

このように、時系列で隣り合う２つの検出用画像データから検出された顔領域の座標情報を照合することで、動いている被写体の顔が同じ顔領域であると識別しながら顔検出処理により顔領域を追尾することができる。また、前フレームの検出用画像データから検出された顔領域と合致しない顔領域が現在のフレームの検出用画像データから検出された場合、新しく画面内に登場した（フレームインした）被写体の顔を示す顔領域であると判定することができる。さらに、前フレームの検出用画像データから検出された顔領域が現在のフレームの検出用画像データで検出されない場合、画面内から姿を消した（フレームアウトした）被写体の顔を示す顔領域であると判定することができる。
ステップＳ３１３では、リスト管理部１６１０により時系列で隣り合う２つの検出用画像データから検出された顔領域の照合が行われる。具体的には、ステップＳ３１０で検出された各顔領域の座標情報が候補情報リスト上に存在する各顔領域の座標情報とそれぞれ比較される。比較した結果、座標情報の差分が所定の範囲内に収まっている２つの顔領域は、同じ被写体の顔から検出された領域であると判定できるため、ステップＳ３１０で検出された最新の顔領域の座標情報およびサイズ情報が候補情報リストに登録され、候補情報リストが更新される。

さらに、ステップＳ３２０において、候補情報リストに登録されているがステップＳ３１０で検出されていない顔領域が存在する場合、その顔領域はフレームアウトした被写体の顔領域であるとリスト管理部１６１０により判断される。フレームアウトした顔が存在する場合は、ステップＳ３３０において、フレームアウトした被写体の顔領域に対応する各情報がリスト管理部１６１０により候補情報リストから削除され、処理がステップＳ３４０に進む。また、ステップＳ３２０において、フレームアウトした被写体の顔領域が存在しないとリスト管理部１６１０により判断された場合は、処理がステップＳ３４０に進む。
ステップＳ３４０では、ステップＳ３１０において検出された顔領域に対応する情報が候補情報リスト上に存在しない場合は、その顔領域はフレームインした新しい被写体の顔領域であるとリスト管理部１６１０により判断される。新しい被写体の顔領域が存在する場合は、図６に示すように、ステップＳ３５０において、リスト管理部１６１０により新しい被写体の顔領域の座標情報およびサイズ情報が候補情報リストに追加され、その後、処理がステップＳ３５１に進む。新しい被写体の顔領域が存在しない場合は、処理がステップＳ３５１に進む。

ステップＳ３５１では、更新された候補情報リストから各顔領域の座標情報およびサイズ情報が生成部１６２０により取得される。続くステップＳ３６０では、取得した座標情報およびサイズ情報に基づいて、生成部１６２０により各顔領域に対応する候補画像データが生成される。
具体的には図６に示すように、バッファメモリ１３５に格納された表示用画像データから、座標情報およびサイズ情報により特定される領域内の画像が生成部１６２０により候補画像データとして抽出される。さらに、ステップＳ１５２０では、抽出された候補画像データにより生成される候補画像が区画領域４１０ａ〜４１０ｄのサイズと比較される。候補画像が区画領域４１０ａ〜４１０ｄよりも小さい場合および候補画像が区画領域４１０ａ〜４１０ｄよりも大きい場合は、ステップＳ１５３０において、生成部１６２０によりサイズ変更が必要であると判断される。サイズ変更が必要な場合は、ステップＳ１５４０において、抽出された候補画像のサイズ変更が行われる。具体的には、候補画像が区画領域４１０ａ〜４１０ｄに比べて大きい場合は、候補画像が区画領域４１０ａ〜４１０ｄ内に収まるように、サイズ情報および区画領域４１０ａ〜４１０ｄの大きさに基づいて算出された倍率で、生成部１６２０により候補画像データに対して縮小処理が施される。逆に、抽出された候補画像が区画領域４１０ａ〜４１０ｄに比べて小さい場合は、候補画像が区画領域４１０ａ〜４１０ｄの範囲内で最大限大きく表示されるように、サイズ情報および区画領域４１０ａ〜４１０ｄの大きさに基づいて倍率で、生成部１６２０により候補画像データに対して拡大処理が施される。生成部１６２０により生成された候補画像データは、それと対応する座標情報およびサイズ情報と関連付けられてバッファメモリ１３５上の所定のアドレスに記憶される。候補画像データは１フレームごとに生成され、候補画像データの更新が順次行われる。

（２）合成画像データの生成
図６に示すように、続くステップＳ３７０にて、システム制御部１５７により、候補画像データと、バッファメモリ１３５に格納された表示用画像データと、が合成された合成画像データが生成される。候補画像が画面上の特定の位置に配置されるように、合成部１６４０により候補画像データと画像データとが合成される。本実施形態では、候補画像が画像内の鉛直方向下側に配置されるように、合成部１６４０により候補画像データと画像データとが合成される。
ステップＳ３７０について詳細に説明すると、図６に示すように、ステップＳ１５５０において、合成部１６４０により、４つの区画領域４１０ａ〜４１０ｄに候補画像データが割り当てられる。割り当ての際、候補情報リストに登録されている順に、左の区画領域４１０ａから候補画像データが合成部１６４０により割り当てられる。図４の表示例で説明すると、顔４００ａおよび顔４００ｂの順で顔領域が候補情報リストに登録されている場合、顔４００ａの候補画像が区画領域４１０ａに表示され、顔４００ｂの候補画像が区画領域４１０ｂに表示される。合成部１６４０での割り当ての結果は、合成部１６４０からリスト管理部１６１０に送られる。具体的には、合成部１６４０からリスト管理部１６１０へ各候補画像データの表示位置情報が送られ、リスト管理部１６１０により表示位置情報が、対応する候補画像データと関連づけられた状態で候補情報リストに登録される。

次のステップＳ１５６０において、合成部１６４０により候補画像が表示用画像データに合成される。このとき、ステップＳ１５５０にて割り当てられた位置に候補画像が表示されるように、候補画像データと表示用画像データとが合成部１６４０により合成される。また、生成部１６２０により候補画像のサイズ調整が行われているため、検出された顔領域の大きさに関係なく、表示部１６０の画面上では、区画領域４１０ａ〜４１０ｄと同じサイズで候補画像が表示されている。
また、本実施形態では、ステップＳ１５７０において、表示部１６０の画面上で顔領域と候補画像との対応関係を明確にするために、合成部１６４０により表示用画像データに対して装飾情報が合成される。具体的には図４に示すような第１検出枠４３０ａ、第２検出枠４３０ｂ、第１装飾枠４１１ａおよび第２装飾枠４１１ｂを示す装飾データが表示用画像データに付加される。このとき、図４では省略されているが、ＯＳＤ（ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）機能を実現するために、残記録可能時間およびバッテリー残量などの各アイコンも合成部１６４０により表示用画像データに重畳される。

次のステップＳ３８０では、合成画像データが表示部１６０に表示される。図４に示す表示例のように、表示部１６０には２人の人間が映し出されており、それぞれの顔が顔領域として検出されて、さらに候補画像が候補表示領域４１０に表示されている。
上記のステップＳ３００〜Ｓ３８０までの処理は、各フレームの表示用画像データに対して順次実行されるため、表示部１６０には合成画像データにより構成される合成映像が表示される。顔検出処理は被写体の顔を追尾するように実行されるため、被写体が動いていても同じ被写体の顔を検出し続けることができる。さらに、候補画像が各フレームの表示用画像データから順次抽出されているため、検出された顔領域内の動画が各区画領域４１０ａ〜４１０ｄに表示されることになる。
（３）主被写体領域の指定
次に、ＡＥおよびＡＦを行う際の基準領域として主被写体領域を選択する際の処理を図７に示すフローチャートを用いて説明する。主被写体領域の指定は、操作部１８０から入力された操作情報に基づき選択部１６５０により行われる。

具体的には図７に示すように、ステップＳ６００では、表示部１６０に表示された候補画像がタッチされたかどうかが判定される。表示部１６０の画面がユーザーによりタッチされると、操作部１８０のタッチパネルユニットにより表示部１６０上のタッチ位置の座標情報（指定情報）が生成され、タッチ位置の座標情報が操作部１８０から選択部１６５０に通知される。ステップＳ６０１では、選択部１６５０により、候補情報リストに登録されている表示位置情報とタッチ位置の座標情報とが比較され、タッチ位置が含まれる表示位置情報が特定される。さらに、特定された表示位置情報と関連付けられている候補画像データが選択部１６５０により特定される。
続くステップＳ６０２では、特定された候補画像データに対応する顔領域が候補情報リストに基づいて選択部１６５０により特定される。具体的には、ステップＳ６０１において特定された候補画像データと関連付けられている顔領域が主被写体領域として選択される。続くステップＳ６１０では、例えば、候補情報リストにおいて主被写体領域として選択された顔領域にフラグが設定される。候補情報リストのフラグを参照することで、主被写体領域として選択されている顔領域を特定することができる。

一方、ステップＳ６００において表示部１６０に表示された候補画像がタッチされていない場合、ステップＳ６３０に進む。ステップＳ６３０では、すでに主被写体領域が決まっているかどうかが選択部１６５０により判定される。具体的には、候補情報リストに主被写体領域を示すフラグが設定されていれば、主被写体領域が決定済であると選択部１６５０により判定され、処理がステップＳ６４０へ進む。一方、候補情報リストにフラグが設定されていなければ、主被写体領域が未決定であると選択部１６５０により判定され、処理がステップＳ６５０に進む。
ここで、ステップＳ６３０ですでに決定されている主被写体領域は、少なくとも現在表示されている合成画像データより前の合成画像データで決定されていた主被写体領域である。このような場合、主被写体領域が選択されてから時間が経過しているため、主被写体領域が画像内に存在しないことが懸念される。例えば、主被写体がフレームアウトしたり遮蔽物に隠れて見えなくなってしまったりする場合などが想定される。

しかし、図５に示すステップＳ３１３〜Ｓ３５０において、フレームインおよびフレームアウトした被写体を管理しているため、候補情報リストに設定されているフラグを確認すれば、画面内に主被写体領域が表示されているか否かを判定する必要はない。
ステップＳ６４０では、主被写体領域に対してシステム制御部１５７により自動合焦制御および自動露出制御が行われる。具体的には、主被写体領域の座標情報およびサイズ情報がシステム制御部１５７により画像情報抽出部１３２に送られ、主被写体領域内の画像データに基づいて自動露出制御および自動合焦制御が画像情報抽出部１３２、システム制御部１５７、レンズ制御部１７０および露出制御部１６５により実行される。
一方、ステップＳ６３０で主被写体領域が存在しないと判定されるか、あるいはステップＳ６２０で主被写体領域が画面内に存在しないと判定された場合、例えば、画面の中央の領域などの予め設定されている領域を対象として通常の自動合焦制御および自動露出制御が画像情報抽出部１３２、システム制御部１５７、レンズ制御部１７０および露出制御部１６５により実行される。

なお、ステップＳ６５０において、録画モードの終了指示の有無がシステム制御部１５７により確認され、録画モードの終了指示があれば処理が終了し、終了指示がなければステップＳ３００に戻る。
また、フローでは示していないが、図４に示すように、候補表示領域４１０には、候補表示領域４１０内に表示されている候補画像を切り替えるための左側操作領域４２０ａおよび右側操作領域４２０ｂが設けられている。ユーザーが左側操作領域４２０ａまたは右側操作領域４２０ｂをタッチすることで、操作部１８０を構成するタッチパネルを通して得られたタッチ座標を元に、システム制御部１５７は切り替え指示領域４２０にあたる位置がタッチされたことを検出し、候補表示領域４１０に表示されている候補画像を右または左にスクロールさせることができる。この場合、左側操作領域４２０ａおよび右側操作領域４２０ｂの操作状況に応じて、候補画像データと表示位置情報との対応関係がリスト管理部１６１０により更新される。

＜特徴＞
以上に説明したビデオカメラ１００の特徴を以下にまとめる。
（１）
このビデオカメラ１００では、顔領域（候補領域）が検出部１３０により検出用画像データから検出され、検出された候補領域に対応する候補画像データが生成部１６２０により生成される。候補画像データが生成されると、生成された候補画像データと表示用画像データとが合成された合成画像データが合成部１６４０により生成され、合成画像データが映像として表示部１６０に表示される。表示部１６０に表示された映像には、表示用画像データから生成される映像だけでなく候補画像データから生成される候補画像も映し出されているため、表示部１６０に表示されている映像を通して、ユーザーは各候補領域に対応する候補画像を視認することができる。

さらに、映像に表れている候補画像のうち特定の候補画像を指定するために、ユーザーが操作部１８０を用いて候補画像を指定すると、操作部１８０により指定情報が生成され、入力された指定情報に基づいて、指定された候補画像に対応する顔領域が主被写体領域として選択部１６５０により選択される。
このように、このビデオカメラ１００では、候補領域に対応する候補画像を候補領域とは別個に表示し、表示されている候補画像を利用して間接的に候補領域を選択することができるため、表示部１６０に表示された被写体が動いている場合であっても、候補領域の選択操作を容易に行うことができる。
（２）
合成画像データが映像として表示部１６０に表示されている場合に、表示部１６０の画面上で候補画像が特定の位置に配置されるため、検出された候補領域とは異なり、被写体が動いている場合であっても画面上で候補画像が一定の位置で表示される。したがって、候補領域を直接指定する場合に比べて、被写体の動きの影響を受けることなく、候補画像を介して所望の候補領域を容易に指定することができる。

また、表示部１６０の画面上で複数の候補画像が並ぶように、合成部１６４０が候補画像データと表示用画像データとを合成するため、合成画像データが映像として表示部１６０に表示されている場合に、複数の候補画像が並んで表示されることになる。このため、複数の候補画像を確認しやすくなり、さらに操作性が高まる。
さらに、表示部１６０に表示されている映像内において鉛直方向下半分の領域内に候補画像が配置されているため、候補画像により映像の表示が妨げられにくくなる。
特に、人間の上半身あるいは全身を撮影する場合、人間の顔は画面上で鉛直方向の上半分に集中しやすいため、候補表示領域４１０を下半分の領域内に配置することで、候補画像により候補領域の表示が妨げられにくくなる。
（３）
候補画像が表示用画像データの画像と重なっているため、表示用画像データにより生成される画像を表示部１６０の画面上に大きく表示することができ、表示部１６０の画面を有効利用することができる。

また、表示部１６０の画面上で候補画像が表示される候補表示領域４１０の面積が候補表示領域４１０以外の領域４２０の面積よりも小さいため、表示部１６０に表示されている表示用画像データの映像を確認しやすくなる。
（４）
１つの画像データから検出された各顔領域内の画像データが生成部１６２０により抽出され、抽出された画像データが生成部１６２０により候補画像データとして設定される。このため、表示部１６０に表示される候補画像と顔領域との対応関係が視覚的に明確となり、顔領域の選択を容易に行うことができる。
また、区画領域４１０ａ〜４１０ｄの大きさと候補画像の大きさとが生成部１６２０により比較され、比較結果に基づいて候補画像の大きさが生成部１６２０により調整される。

具体的には、生成部１６２０は、候補画像が区画領域４１０ａ〜４１０ｄよりも小さい場合は区画領域４１０ａ〜４１０ｄに合わせて候補画像に拡大処理を施し、拡大処理が施された候補画像を候補識別情報として設定する。
また、生成部１６２０は、候補画像が区画領域４１０ａ〜４１０ｄよりも大きい場合は区画領域４１０ａ〜４１０ｄに合わせて候補画像に縮小処理を施し、縮小処理が施された候補画像を候補識別情報として設定する。
この場合、例えば、候補画像の大きさにばらつきがあっても、候補画像の大きさを区画領域４１０ａ〜４１０ｄの大きさに合わせることができる。候補画像が区画領域４１０ａ〜４１０ｄに比べて小さくても区画領域４１０ａ〜４１０ｄの大きさまで候補画像が拡大されるため、ユーザーが候補画像を確認しやすくなる。また、候補画像が区画領域４１０ａ〜４１０ｄに比べて大きくても区画領域４１０ａ〜４１０ｄの大きさまで候補画像が縮小されるため、ユーザーが候補画像を確認しやすくなる。

（５）
合成部１６４０が、候補画像と画像データとを合成する際、顔４００ａの候補領域であることを示す第１検出枠４３０ａを顔４００ａの候補領域に付加し、顔４００ａの候補領域に対応する候補画像であることを示す第１装飾枠４１１ａを候補画像が表示されている区画領域に付加する。このため、表示部１６０に表示される候補画像と候補領域との対応関係が視覚的にさらに明確となり、候補領域の選択を容易に行うことができる。
例えば、図４に示すように、第１検出枠４３０ａが第２検出枠４３０ｂとは異なる視覚的特徴を有しており、第１装飾枠４１１ａが第２装飾枠４１１ｂとは異なる視覚的特徴を有している。さらに、第１装飾枠４１１ａが第１検出枠４３０ａと実質的に同一の視覚的特徴を有しており、第２装飾枠４１１ｂが第２検出枠４３０ｂと実質的に同一の視覚的特徴を有している。これらの構成により、複数の候補領域を識別しやすくなり、さらに候補領域と候補画像との対応関係が視覚的に明確となる。したがって、表示されている候補画像を用いて候補領域を容易に選択することができる。

［第２実施形態］
第１実施形態では、検出された顔領域をすべて候補画像としているが、その変形例として、あらかじめ登録しておいた顔と合致する顔のみを顔領域と判定してもよい。なお、以下の説明では、第１実施形態と実質的に同じ機能を有する構成には同じ符号を付し、その詳細な説明は省略する。
＜ビデオカメラの構成＞
第２実施形態に係るビデオカメラ５００では、検出された顔領域を登録しておき、登録された顔領域と同じ視覚的特徴を有する顔領域のみを検出するようになっている。
具体的には図８および図９に示すように、このビデオカメラ５００は、ビデオカメラ１００の構成のうち、検出部１３０の構成およびシステム制御部１５７の構成が第１実施形態と異なっており、検出部２３０と、システム制御部２５７と、を備えている。検出部２３０の顔検出部２２０は、検出用画像データから顔領域を検出する際、検出した顔領域の特徴量を算出する。この特徴量は、検出された顔領域を識別するためのデータとして用いられる。

また図８に示すように、検出部２３０は認識部７００を有している。認識部７００は、顔検出部２２０から顔領域の特徴量を取得し、あらかじめ揮発性メモリ２１０に登録済みの顔の特徴量（登録特徴量）と取得した顔の特徴量（検出特徴量）とを照合し、両者が示す顔が同一のものであるかどうかを判定する機能を有している。さらに、認識部７００は、検出特徴量と一致する登録特徴量を特定し、特定した登録特徴量についての情報をリスト管理部１６１０へ送る。リスト管理部１６１０は、登録特徴量に関連付けられている登録画像データをバッファメモリ１３５から取得する。認識部７００およびリスト管理部１６１０により登録情報取得部が構成されている。
図９は、第２実施形態におけるビデオカメラ５００の、システム制御部２５７の構成を示したものである。図９に示されるように、システム制御部２５７は、図３と同様の機能ブロックに加え、登録部１６６０をさらに有している。登録部１６６０は、登録特徴量を認識部７００を介して揮発性メモリ２１０に登録情報として格納し、登録画像データを登録特徴量と関連付けてバッファメモリ１３５上に格納する。また、登録部１６６０は、登録画像データとそれに対応する登録特徴量とを関連付けて、システムバス１３４および記録Ｉ／Ｆ部１４５を介して記録媒体１５５に登録情報として記録する。これにより、ビデオカメラ５００の電源がＯＦＦになっても登録情報が失われることはない。

＜ビデオカメラの動作＞
（１）顔領域の登録
被写体の登録方法について説明する。操作部１８０をなすモード変更ダイヤル（図示せず）を被写体の登録モードに合わせると、ビデオカメラ５００が被写体の登録モードに移行する。登録モードが開始されると、被写体の映像が表示部１６０にリアルタイムで映し出される。このとき、第１実施形態と同様に、検出された顔領域に対応する候補画像が候補表示領域４１０に表示されている。
図１０に示すように、ステップＳ８００において、操作部１８０は、タッチパネル上のタッチ位置を検出し、区画領域４１０ａ〜４１０ｄのいずれかがタッチされたかどうかを判定する。表示部１６０の画面がタッチされた場合は、操作部１８０によりタッチ位置を示す指定情報が生成され、処理がステップＳ８０１に進む。ステップＳ８０１では、候補情報リストに登録されている各候補画像データの表示位置情報とタッチ位置の座標情報とが選択部１６５０により比較され、タッチされた位置に表示されている候補画像データが特定され、処理がステップＳ８０２に進む。

ステップＳ８０２では、第１実施形態のステップＳ６０２と同様に、特定された候補画像データに対応する顔領域が候補情報リストに基づいて選択部１６５０により特定される。ステップＳ８１０において、ステップＳ８０２で特定された顔領域の座標情報およびサイズ情報に基づいて顔領域内の画像が生成部１６２０により登録画像データとして抽出される。登録画像データの生成時、前述の第１実施形態と同様に、区画領域４１０ａ〜４１０ｄの大きさと登録画像データにより生成される登録画像の大きさとが生成部１６２０により比較され、比較結果に基づいて登録画像の大きさが生成部１６２０により調整される。続くステップＳ８２０では、ステップＳ８０２で特定された顔領域の特徴量が検出部２３０により登録特徴量として取得される。その後、処理はステップＳ８３０に進み、登録部１６６０により、取得された登録特徴量が認識部７００を介して揮発性メモリ２１０に登録情報として格納され、生成部１６２０により生成された登録画像データが登録特徴量と関連付けられてバッファメモリ１３５に格納される。

最後にステップＳ８４０にて、登録部１６６０により、登録画像データとそれに対応する登録特徴量とが関連付けられて、システムバス１３４および記録Ｉ／Ｆ部１４５を介して記録媒体１５５に登録情報として記録される。ステップＳ８５０では、ユーザーからの終了指示の有無がシステム制御部２５７により確認される。具体的には、操作部１８０をなすモード変更ダイヤルによるモード変更の有無がシステム制御部２５７により確認される。モード変更ダイヤルが登録モード以外のモードに設定されていれば、登録モードは終了し、モード変更ダイヤルが登録モードに設定されたままであれば、ステップＳ８００〜Ｓ８４０の処理が繰り返される。
なお、ステップＳ８４０における処理により、ビデオカメラ５００の電源がＯＦＦになっても、登録画像データおよび登録特徴量などの情報が失われることはない。

（２）表示処理
図１１に、主被写体の指定を行うための主被写体候補画像の作成および表示処理の流れをフローチャートで示している。図３に示した第１実施形態と処理内容が同じステップが存在するため、異なるステップの内容を中心に説明を行う。
ビデオカメラ５００の電源がＯＮにされると、ステップＳ１４００において、システム制御部２５７により、システムバス１３４および記録Ｉ／Ｆ部１４５を介して、記録媒体１５５に記録されている登録特徴量および登録画像データの読み込みが開始される。読み込まれた登録特徴量はシステム制御部２５７から認識部７００に送られる。認識部７００により登録特徴量が揮発性メモリ２１０に一時的に格納される。また、読み込まれた登録画像データは、システム制御部２５７によりバッファメモリ１３５に格納され、区画領域４１０ａ〜４１０ｄに表示される候補画像として使用される。

例えば動画撮影モードでは、表示部１６０に被写体の映像がリアルタイムで映し出される。具体的には、第１実施形態と同様に、ステップＳ３００およびＳ３１０において、検出用画像データが検出部２３０に入力され、顔検出部２２０により、揮発性メモリ２１０に格納された検出用画像データに基づいて顔領域が検出される。このとき、第１実施形態と同様に、検出部２３０により検出された顔領域の座標情報およびサイズ情報が検出用画像データから取得される。
ステップＳ３１０での顔領域検出に加えて、本実施形態では、顔認識処理に用いられる特徴量の算出も行われる。具体的には、ステップＳ１４１０において、ステップＳ３１０で検出された顔領域の特徴量が検出用画像データから検出特徴量として取得される。検出特徴量は、基準特徴量と同様に人間の顔の特徴が数値化されたデータであるが、基準特徴量とは異なり、顔領域固有のデータである。したがって、検出部２３０で検出された顔領域の同一性を、検出特徴量を用いて判定することができる。顔検出部２２０により検出された検出特徴量は、揮発性メモリ２１０に一時的に格納される。検出特徴量は、１フレームの検出用画像データで検出された顔領域ごとに算出される。

ステップＳ３１１からＳ３５０では、前述のとおり、候補情報リストの作成および更新が行なわれる。このとき、リスト管理部１６１０により、候補情報リスト上に検出特徴量が座標情報およびサイズ情報と関連付けられて記憶されている。
その後、ステップＳ１４２０において、認識部７００により、揮発性メモリ２１０に格納されている各登録特徴量と候補情報リストの検出特徴量とが比較される。ステップＳ１４３０において、認識部７００により検出特徴量と一致する登録特徴量が存在すると判断された場合、ステップＳ１４４０において、検出特徴量と一致する登録特徴量が認識部７００により特定され、特定された登録特徴量についての情報が認識部７００からリスト管理部１６１０へ送られ、特定された登録特徴量に関連付けられている登録画像データがリスト管理部１６１０によりバッファメモリ１３５から取得される。

ステップＳ１４５０では、リスト管理部１６１０により、登録画像データが検出特徴量と関連付けられる。ステップＳ１３７０において、第１実施形態の候補画像データと同様に、登録画像データが合成部１６４０により表示用画像データと合成され、合成部１６４０により合成画像データが生成される。
具体的には図１２に示すように、ステップＳ１３７１において、合成部１６４０により、４つの区画領域４１０ａ〜４１０ｄに候補画像データが割り当てられる。割り当ての際、候補情報リストに登録されている順に、左の区画領域４１０ａから登録画像データが合成部１６４０により割り当てられる。図１３の表示例で説明すると、顔４００ａおよび顔４００ｂの順で顔領域が候補情報リストに登録されている場合、顔４００ａの登録画像が区画領域４１０ａに表示され、顔４００ｂの登録画像が区画領域４１０ｂに表示される。登録画像データが存在しない顔４００ｃについては、検出枠も登録画像も表示されない。

合成部１６４０での割り当ての結果は、合成部１６４０からリスト管理部１６１０に送られる。具体的には、合成部１６４０からリスト管理部１６１０へ各登録画像データの表示位置情報が送られ、リスト管理部１６１０により表示位置情報が、対応する登録画像データと関連づけられた状態で候補情報リストに登録される。
次のステップＳ１３７２において、合成部１６４０により登録画像が表示用画像データに合成される。このとき、ステップＳ１３７１にて割り当てられた位置に登録画像が候補画像として表示されるように、登録画像データと表示用画像データとが合成部１６４０により合成される。また、登録画像データ生成時に、生成部１６２０により候補画像のサイズ調整が行われているため、検出された顔領域の大きさに関係なく、表示部１６０の画面上では、区画領域４１０ａ〜４１０ｄと同じサイズで候補画像が表示されている。

また、第１実施形態と同様に、ステップＳ１３７３において、表示部１６０の画面上で顔領域と登録画像との対応関係を明確にするために、合成部１６４０により表示用画像データに対して装飾情報が合成される。具体的には図１３に示すような第１検出枠４３０ａ、第２検出枠４３０ｂ、第１装飾枠４１１ａおよび第２装飾枠４１１ｂを示す装飾データが表示用画像データに付加される。
続くステップＳ３８０では、生成された合成画像データは表示部１６０に表示される。こうして、図１３に示すように、検出された顔領域のうち登録されている顔領域（顔４００ａおよび４００ｂ）については、登録画像データを用いて区画領域４１０ａおよび４１０ｂに登録画像が表示され、登録されていない顔領域（顔４００ｃ）については何も表示されない。登録画像は登録時に取得された静止画であるため、現在の顔４００ａおよび４００ｂとは向きや表情が異なっており、被写体の向きが変わっても区画領域４１０ａおよび４１０ｂに表示される登録画像は変化しない。

以降の処理は、図７に示すフローと実質的に同じであるため、詳細な説明は省略する。
この場合、検出部２３０により検出された特徴量が、対応する候補識別情報と関連付けられて登録特徴量として登録部１６６０を介して記録媒体１５５に記録されている。入力された画像データをもとに検出部２３０が検出特徴量を生成すると、生成された検出特徴量が認識部７００により登録特徴量と照合され、検出特徴量と概ね合致する登録特徴量と関連付けられている登録画像データがリスト管理部１６１０により特定される。
さらに、リスト管理部１６１０により特定された登録画像データと表示用画像データとが合成部１６４０により合成され、合成画像データが生成される。つまり、登録特徴量と概ね合致する特徴量を有する顔領域が存在すると、登録特徴量と関連付けられた候補識別情報が表示部１６０に表示されることになる。このため、登録特徴量を候補識別情報と関連付けて登録しておけば、同じ特徴量を有する顔領域に対して同じ登録画像データが表示部１６０に表示され、顔領域とそれに対応する登録画像データとを認識しやすくなる。

［第３実施形態］
本実施形態は第２実施形態の変形例である。この実施形態では、顔領域を識別する文字情報を登録画像データの代わりに登録しておき、登録されている文字情報を表示部１６０の候補表示領域４１０に表示する。文字情報としては、被写体の名前などが考えられる。
前述の登録モードにおいて、登録画像データを生成する際に、操作部１８０を介して登録名を示す文字情報を入力する。文字情報を入力する入力画面の例を図１４に示す。
図１４において、登録画像１０００は、登録対象となる顔の画像である。ソフトキーボード１０１０は、文字情報を入力するための領域であり、文字キー領域に加えて、文字種別の切り替えキー領域や、文字の削除キー領域、決定キー領域を有している。表示部１６０の上に設けられた、操作部１８０をなすタッチパネルがユーザーによりタッチされると、タッチされた座標がソフトキーボード１０１０のどのキー領域を指し示しているかをシステム制御部２５７が判定し、該当するキーに対応する文字が入力されたものとする。入力された文字は、入力領域１０２０に表示される。

本実施形態における、被写体の登録を行う際のフローチャートを図１５に示す。図１０と同様のステップについては同一の符号を付し、その詳細な説明は省略する。
第２実施形態で示した図１０におけるフローチャートとの違いは、ステップＳ１１００であり、ステップＳ１１００では上記で説明したように、主被写体候補を識別する文字列の入力が行われる。このとき、ステップＳ８１０で抽出された登録画像データが登録画像１０００として表示部１６０に表示される。
また、ステップＳ８４０での、記録媒体１５５へ記録される登録情報には、第２実施形態で説明した登録画像データおよび登録特徴量に加えて、ステップＳ１１００にて入力された文字情報も含まれる。このとき、登録部１６６０により、文字情報は登録特徴量と関連付けられて、例えばバッファメモリ１３５に記録される。

図１６に本実施形態の表示例を示す。図１３と同様の構成要素については同一の番号を付し説明を省略する。図１６において、候補表示領域４１０には前述の区画領域４１０ａ〜４１０ｄに対応する区画領域１２００ａ〜１２００ｄが設けられている。顔領域を識別する識別文字列１２０２ａおよび１２０２ｂが表示されており、識別文字列１２０２ａが右側の顔４００ａに対応しており、識別文字列１２０２ｂが左側の顔４００ｂに対応している。
また、識別文字列１２０２ａが顔４００ａに対応しているため、区画領域１２００ａを囲む第１装飾枠１２０１ａは第１検出枠４３０ａと同じ種類の破線で表示されている。識別文字列１２０２ｂが顔４００ｂに対応しているため、区画領域１２００ｂを囲む第２装飾枠１２０１ｂは第２検出枠４３０ｂと同じ種類の破線で表示されている。また、主被写体領域として選択されている顔領域の検出枠および装飾枠は、太線で表示されている。図１６に示す表示例では、第２検出枠４３０ｂで囲まれている領域が主被写体領域として選択されているため、第２検出枠４３０ｂおよび第２装飾枠１２０１ｂが太線で表示されている。

前述の第１および第２実施形態と同様に、識別文字列１２０２ａをタッチすることで、識別文字列１２００ａに対応する顔領域４３０ａが主被写体領域として選択される。
この場合、基本的に第２実施形態の場合と同様の効果が得られるが、それに加えて、文字情報を用いることで顔領域が誰なのかを容易に判別することができる。
［他の実施形態］
本発明は、前述の実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形および修正が可能である。
（１）
前述の実施形態では、ビデオカメラの録画時の動作を例に挙げて表示装置について説明しているが、静止画撮影時のライブビューモードや録画済の動画の再生時にも前述の技術は適用可能である。例えば、再生時に興味のある被写体を拡大したい場合、拡大対象とする被写体を指定する必要がある。そのような場合にでも本発明は適用可能である。

また、デジタルカメラやカメラを備えた携帯電話といった、ビデオカメラ以外の撮像装置、あるいはテレビやカーナビゲーションシステム、ゲーム機などの映像を表示する表示装置を備えた機器であれば本発明は適用可能である。
（２）
前述の実施形態では、１つの主被写体領域を選択することを想定しているが、複数の主被写体領域を選択可能にしてもよい。
（３）
前述の実施形態では、タッチパネルを用いて主被写体領域を選択しているが、他の種類の操作部を用いて主被写体領域を選択するよう構成しても良い。例えば、方向を指示できるカーソルキーを用いて主被写体領域を選択するよう構成しても良い。この場合においても、常に位置関係の変化する主被写体候補を直接選択するのではなく、画面上に並んだ主候補画像を選択するため、確実に所望の主被写体領域を選択することが可能となる。

（４）
前述の実施形態では、表示用画像に候補画像、登録画像および文字情報を重畳して表示するようにしているが、異なる表示方法を用いてもよい。例えば、候補画像を半透明にすることで、候補画像が表示される領域においても表示用画像が透けて見えるよう構成しても良い。あるいは、表示用画像が候補画像と重ならないよう表示用画像を縮小し、表示部１６０に候補画像と表示用画像とを重畳させずに表示するよう構成しても良い。
（５）
前述の実施形態では、候補領域として人間の顔を検出するようにしているが、人体や、ペットなどを検出部１３０にて検出し、候補領域とするようにしてもなんら問題はない。あるいは、特定の物体に限らず、入力される画像の差分を取ることで得られる移動領域や、特定の色成分を含む領域を検出部１３０にて検出し、候補領域とするように構成しても良い。画像の差分を取ることで候補領域を検出する場合、検出部１３０は、異なるタイミングで取得された２つの画像データを比較することで、動いている被写体を認識し、特定の視覚的特徴を有する候補領域を検出する。

（６）
前述の実施形態では、システム制御部１５７と検出部１３０を別の構成としているが、検出部１３０が担う処理をシステム制御部１５７にて行なってもよい。また、プログラムはＲＯＭに格納されているが、このプログラムが外部の記録媒体から読み込まれるよう構成しても良い。
（７）
検出部１３０が検出する領域は人間の顔を表す領域に限定されない。例えば、検出部１３０が人間の体の全部または一部を表す領域を検出してもよいし、特定の色成分を含む領域であってもよい。
（８）
前述の実施形態では、生成部１６２０が候補画像および登録画像に対して区画領域４１０ａ〜４１０ｄの大きさに合わせて拡大処理および縮小処理を行うが、処理前の候補画像および登録画像が区画領域４１０ａ〜４１０ｄの範囲内に収まるのであれば、拡大処理を行わない構成であってもよい。

また、候補表示領域４１０が画面の下側に配置されているが、候補表示領域４１０の配置は前述の実施形態に限定されない。
（９）
前述の第１実施形態では、第１装飾枠４１１ａおよび第２装飾枠４１１ｂが候補画像に付加されているが、図１７に示すように第１装飾枠４１１ａおよび第２装飾枠４１１ｂのような装飾枠を付加しない実施形態も考えられる。主被写体領域として選択されている顔領域が識別しやすいように主被写体領域の検出枠だけ他の検出枠と異なる視覚的特徴を持たしてもよい。
また、第１検出枠４３０ａと第１装飾枠４１１ａとは、同じ視覚的特徴を有しているが、両枠４３０ａおよび４１１ａが対応していることが認識できれば、実質的に同じ視覚的特徴を持たせていてもよい。例えば、図４においては、第１装飾枠４１１ａおよび第２装飾枠４１１ｂでは破線の間隔を異ならせているが、枠の色を変えるようにしてもよい。

（１０）
前述の実施形態では、顔領域の座標情報に基づいて顔領域を追尾する機能を実現しているが、顔領域の移動量を動きベクトルとして記憶しておき、複数の候補画像が存在するような場合の判定精度を高める方法を用いても良い。また、画像データ間において顔の大きさが大きく変わることはないと考えられるため、画像データ間において顔領域の大きさの変化量がある一定範囲に収まっていることを条件に加えても良い。
（１１）
図１６に示した表示例は本実施形態における一例である。例えば、登録画像データを文字情報とともに表示部１６０に表示する構成であってもよい。つまり、第２実施形態と第３実施形態とを組み合わせた実施形態も考えられる。

（１２）
図５で示したフローチャートにおいては、ステップＳ３２０にて顔領域が画面内から消失していると判定された場合、ステップＳ３３０において、候補情報リストから消失したと判定された顔領域に関する情報が直ちに削除されているが、一定時間経過後にこれらの情報を削除するよう構成しても良い。この場合、短時間のオクルージョンやフレームアウトが顔領域に対して発生しても、区画領域４１０ａ〜４１０ｄに表示される候補画像は変わらないため、主被写体領域を選択しようとした瞬間に候補表示領域４１０内の表示内容が変わってしまい、主被写体領域の選択に失敗してしまう状況を回避することができる。また、画面内に存在しない主被写体領域を選択することができるため、主被写体が画面に入ってきた際に迅速に主被写体領域に対して自動合焦制御および自動露出制御が行われるという良好な効果も得られる。

（１３）
また、図７に示したフローチャートにおいては、画面内に主被写体が存在しないと判定した場合、通常の自動合焦制御および自動露出制御を直ちに行うようにしているが、一定時間経過後に通常の自動合焦制御および自動露出制御を行うようにしても良い。一定時間が経過するまでの間に行う自動合焦制御および自動露出制御の制御方法については種々考えられるが、例えば、自動合焦制御および自動露出制御を停止させても良い。主被写体の短時間のオクルージョンやフレームアウトに対して、自動合焦制御および自動露出制御が追従しなくなるため、画面のボケや画面の明るさの急激な切り替わりが発生しにくくなり、良好な撮影画像を得ることが可能になる。
（１４）
前述の実施形態では、候補画像の表示順序を候補情報リストの順としているが、顔領域の位置に合わせて候補画像の表示位置を決定してもよい。例えば、図４に示す表示例では、左側の顔４００ｂの候補画像が区画領域４１０ｂに表示されており、右側の顔４００ａの候補画像が区画領域４１０ｂの左側の区画領域４１０ａに表示されているが、顔４００ａおよび４００ｂの配置に合わせて、区画領域４１０ａに顔４００ｂの候補画像が表示され、かつ、区画領域４１０ｂに顔４００ａの候補画像が表示されるようにしてもよい。この場合、顔領域の位置関係と候補画像の位置関係とが対応するため、候補画像と顔領域との対応関係をユーザーがより把握しやすくなる。

（１５）
前述の第２実施形態では、登録されていない顔が検出されても、候補画像データは候補表示領域４１０に表示されないが、第１実施形態と同様に、登録されていない顔が検出された場合に検出用画像データから候補画像データを生成し、候補表示領域４１０に表示してもよい。つまり、第１実施形態と第２実施形態とを組み合わせる構成もあり得る。
また、登録情報の登録時、認識処理用の登録特徴量が記録媒体１５５に格納されるのではなく、ビデオカメラ５００内に設けられた不揮発性メモリ（図示せず）に格納されるようにしてもよい。この場合、記録媒体１５５を別の記録媒体に交換しても、登録情報を不揮発性メモリから読み込み可能となり、機器の利便性が向上する。不揮発性メモリとしては、フラッシュメモリおよびハードディスクドライブなどが考えられる。

（１６）
各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

（１７）
前述の実施形態の各処理は、ハードウェアにより実現されてもよいし、ソフトウェアにより実現されてもよいし、ソフトウェアおよびハードウェアの混在処理により実現されてもよい。

本発明に係る表示装置によれば、主被写体領域を指定することが容易となるため、本発明は、映像上の特定の領域に対して合焦制御や露出制御を行う装置の分野において有用である。

１００ビデオカメラ
１３０検出部
１５７システム制御部
１６０表示部
１８０操作部
２２０顔検出部
７００認識部
１６２０リスト管理部
１６２０生成部
１６４０合成部
１６５０選択部
１６６０登録部

Claims

複数の画像データを映像として表示するための表示装置であって、
特定の視覚的特徴を有する少なくとも１つの候補領域を前記画像データから検出する検出部と、
前記検出部により検出された各前記候補領域を識別するための少なくとも１つの候補識別情報を生成する生成部と、
前記候補識別情報と前記画像データとが合成された合成画像データを生成する合成部と、
前記合成画像データを前記映像として表示する表示部と、
前記映像に表れている前記候補識別情報のうち特定の前記候補識別情報を指定する指定情報の入力を受け付ける操作部と、
前記操作部に入力された前記指定情報に基づいて、前記操作部を介して指定された前記候補識別情報に対応する前記候補領域を基準領域として選択する選択部と、
を備えた表示装置。
前記合成部は、前記表示部の画面上で前記候補識別情報が特定の位置に配置されるように前記候補識別情報と前記画像データとを合成する、
請求項１に記載の表示装置。
前記合成部は、前記表示部の画面上で複数の前記候補識別情報が並ぶように前記候補識別情報と前記画像データとを合成する、
請求項１または２に記載の表示装置。
前記合成部は、前記表示部に表示される前記映像における鉛直方向下半分の領域内に前記候補識別情報が配置されるように前記候補識別情報と前記画像データとを合成する、
請求項１から３のいずれかに記載の表示装置。
前記合成部は、前記表示部に前記映像が表示されている状態で前記候補識別情報が前記画像データをもとに生成される画像上に重畳するように前記候補識別情報と前記画像データとを合成する、
請求項１から４のいずれかに記載の表示装置。
前記表示部の画面上で前記候補識別情報が表示される第１表示領域の面積は、前記第１表示領域以外の第２表示領域の面積よりも小さい、
請求項１から５のいずれかに記載の表示装置。
前記生成部は、１つの前記画像データから検出された各前記候補領域内の候補画像データを抽出し、抽出された前記候補画像データを前記候補識別情報として設定する、
前記１から６のいずれかに記載の表示装置。
前記生成部は、１つの前記候補画像が前記候補識別情報として表示される区画領域の大きさと前記候補画像の大きさとを比較し、比較結果に基づいて前記候補画像の大きさを調整する、
請求項７に記載の表示装置。
前記生成部は、前記候補画像が前記区画領域よりも小さい場合は前記区画領域に合わせて前記候補画像に拡大処理を施し、前記拡大処理が施された前記候補画像を前記候補識別情報として設定する、
請求項８に記載の表示装置。
前記生成部は、前記候補画像が前記区画領域よりも大きい場合は前記区画領域に合わせて前記候補画像に縮小処理を施し、前記縮小処理が施された前記候補画像を前記候補識別情報として設定する、
請求項８または９に記載の表示装置。
前記合成部は、前記候補識別情報と前記画像データとを合成する際、前記候補領域であることを示す第１装飾情報を各前記候補領域に付加し、前記候補領域に対応する前記候補識別情報であることを示す第２装飾情報を前記候補識別情報が表示されている各領域に付加する、
請求項１から１０のいずれかに記載の表示装置。
前記基準領域に付加されている前記第１装飾情報は、他の前記第１装飾情報とは異なる視覚的特徴を有しており、
前記基準領域に対応する前記候補識別情報に付加されている前記第２装飾情報は他の前記第２装飾情報とは異なる視覚的特徴であって対応する前記第１装飾情報と実質的に同一の視覚的特徴を有している、
請求項１１に記載の表示装置。
前記検出部は、前記特定の視覚的特徴を表す基準情報と前記画像データとを比較し、前記基準情報の条件を満たす領域を前記候補領域として検出する、
請求項１から１２のいずれかに記載の表示装置。
前記特定の視覚的特徴を有する前記候補領域は、人間の体の全部または一部を表す領域である、
請求項１から１３のいずれかに記載の表示装置。
前記特定の視覚的特徴を有する前記候補領域は、人間の顔を表す領域である、
請求項１から１４のいずれかに記載の表示装置。
前記特定の視覚的特徴を有する前記候補領域は、特定の色成分を含む領域である、
請求項１から１３のいずれかに記載の表示装置。
前記検出部は、異なるタイミングで取得された２つの前記画像データを比較することで前記特定の視覚的特徴を有する前記候補領域を検出する、
請求項１から１２のいずれかに記載の表示装置。
前記指定情報は、前記表示部の画面上での位置を示しており、
前記選択部は、前記操作部を介して入力された前記指定情報に基づいて、前記指定情報が示す位置に表示されている前記候補識別情報を特定し、特定された前記候補識別情報に対応する前記候補領域を前記基準領域として選択する、
請求項１から１７のいずれかに記載の表示装置。
前記操作部は、前記表示部の画面上の被接触位置を検知し前記被接触位置を示す前記指定情報を生成するタッチパネルユニットを有している、
請求項１から１８のいずれかに記載の表示装置。
前記検出部は、前記候補領域が有する視覚的特徴を示す検出特徴量を、検出した前記候補領域ごとに生成する、
請求項１から１９のいずれかに記載の表示装置。
前記検出部により生成された前記検出特徴量を、前記検出特徴量を生成するもとになっている前記候補領域に対応する前記候補識別情報と関連付ける登録部と、
前記検出特徴量を前記登録特徴量と照合し、前記検出特徴量と合致する前記登録特徴量と関連付けられている前記候補識別情報を特定する登録情報取得部と、をさらに備え、
前記合成部は、前記登録情報取得部により特定された前記候補識別情報と前記画像データとを合成し、前記合成画像データを生成する、
請求項２０に記載の表示装置。
前記操作部は、文字情報の入力を受け付けるようになっており、
前記登録部は、前記文字情報を前記登録特徴量と関連付ける、
請求項２１に記載の表示装置。
複数の画像データを映像として表示するための表示方法であって、
特定の視覚的特徴を有する少なくとも１つの候補領域を前記画像データから検出する検出ステップと、
前記検出ステップで検出された各前記候補領域を識別するための少なくとも１つの候補識別情報を生成する生成ステップと、
前記候補識別情報と前記画像データとが合成された合成画像データを生成する合成ステップと、
前記合成画像データを前記映像として表示する表示ステップと、
前記映像に表れている前記候補識別情報のうち特定の前記候補識別情報を指定する指定情報の入力を受け付ける操作ステップと、
前記操作部に入力された前記指定情報に基づいて、前記操作部を介して指定された前記候補識別情報に対応する前記候補領域を基準領域として選択する選択ステップと、
を備えた表示方法。
複数の画像データを映像として表示するための集積回路であって、
特定の視覚的特徴を有する少なくとも１つの候補領域を前記画像データから検出する検出部と、
前記検出部により検出された各前記候補領域を識別するための少なくとも１つの候補識別情報を生成する生成部と、
前記候補識別情報と前記画像データとが合成された合成画像データを生成する合成部と、
前記合成画像データを前記映像として表示する表示部と、
前記映像に表れている前記候補識別情報のうち特定の前記候補識別情報を指定する指定情報の入力を受け付ける操作部と、
前記操作部に入力された前記指定情報に基づいて、前記操作部を介して指定された前記候補識別情報に対応する前記候補領域を基準領域として選択する選択部と、
を備えた集積回路。