JP4775306B2 - 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えばビデオカメラなどによって撮像された多数の動画像データから選択された画像をサムネイル画像一覧として表示するとともに、一覧表示されたサムネイル画像の指定に応じて、サムネイル画像位置からの動画再生処理を実行する画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムに関する。

昨今のデジタルカメラ、デジタルビデオカメラなどの撮像装置、あるいはＤＶＤプレーヤなどの画像処理装置は、例えば画像表示部やモニタ画面に記録媒体（記録メディア）に格納された画像データの一覧を表示する機能を備えているものが多い。

例えば、撮像装置やＤＶＤプレーヤなど動画再生可能な装置は、動画のタイトルまたはチャプターをメニュー形式で並べて表示し、これらの表示データからユーザに再生コンテンツを選択させて再生処理を行なうものがある。また、例えば撮像装置において撮影された動画について、１回の撮影処理、すなわち、撮影開始から撮影停止までの動画データをから選択された代表画像の縮小画像（サムネイル画像）を表示する、いわゆるインデックス表示処理を可能としたものがある。ディスプレイに表示した縮小画像をインデックスとして、そのフレームからの再生を可能とするものである。

動画データをインデックス表示する場合、動画データを構成するフレームから選択されたフレームの縮小画像が表示されることになる。従って、内容把握を容易にするためには、動画データ中からできるだけ意味のあるフレームをインデックス用画像として選択することが必要となる。この方法については、例えば特許文献１（特許第３３１２１０５号）に記載されている技術がある。これは、予め見つけたいオブジェクトの画像を学習させて登録したオブジェクト辞書を用いて、動画像データを検索して、登録した画像に類似するものをインデックス用のフレーム画像として選択しようとする構成である。

しかし、この方法は、１回の記録開始から終了までの単位（以降、１コンテンツと呼ぶ）に対し、特定の登録オブジェクトのインデックス画像を選択する方法であり、予めオブジェクト画像の登録処理が必要となり、未登録オブジェクトについてはインデックスとして選択できないという問題がある。例えば、複数の人物が同じ１コンテンツ中の別の時間帯に登場した場合、特定の登録されたオブジォクトに対応する人物の顔が含まれたフレームはインデックスとして選択されるが、その他の人物のみが含まれるフレームについてはインデックスとして表示されないことになる。このような構成では、インデックス画像として残っていて欲しい顔（例えば自分の子供）が、インデックス画像に残らない可能性がある、という問題がある。

また、動画像をインデックス表示する際、「動画像に含まれる顔の画像を表示」するようなビデオカメラ等のアプリケーション（以下、「顔インデックス」と呼ぶことにする）において、１コンテンツ中の全動画フレームに含まれる顔を、全てインデックス表示しようとすると、顔が多く含まれる場面（合唱コンクールや運動会など）を撮影した場合、非常に多くの顔がインデックス表示されてしまう。本来、インデックス表示を行う目的は「１コンテンツの概要を素早く把握する」ことであるが、このように多くの顔が表示されてしまうと、この目的が達成されない。
特許３３１２１０５号公報

本発明は、上述の問題点に鑑みてなされたものであり、動画データ中から、顔画像を抽出してインデックスとして表示する構成において、予めオブジェクトの登録処理などを行なうことなく顔画像をインデックスとして抽出し表示することを可能とし、さらに、動画データ中に多数の顔が含まれる場合であっても効率的に様々な人物の顔を選択してインデックス表示することを可能とした画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行する代表顔抽出部を有し、
前記代表顔抽出部は、
画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記代表顔抽出部は、画像フレームから検出された検出顔各々のフレーム内の位置が中心に近いほど高いスコアとした位置スコアを算出し、位置スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記代表顔抽出部は、画像フレームから検出された検出顔各々のサイズが大きいほど高いスコアとしたサイズスコアを算出し、サイズスコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記代表顔抽出部は、画像フレームから検出された検出顔各々の顔らしさの評価値が高いほど高いスコアとした顔評価値スコアを算出し、顔評価値スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記代表顔抽出部は、画像フレームから検出された検出顔の検出顔数が、先行する顔検出フレームにおける検出顔数より増加しているか否かを判定し、増加していることを条件として、検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記代表顔抽出部は、画像フレームから検出された検出顔各々の個人識別を実行し、先行する顔検出フレームにおける検出顔と異なる人物の顔を優先的にインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記代表顔抽出部は、画像フレームから検出された検出顔各々の笑顔の度合いを判定し、笑顔の度合いの高いほど高いスコア値とした笑顔スコアを算出し、笑顔スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記代表顔抽出部は、画像フレームから検出された検出顔各々の子供顔の度合いを判定し、子供顔の度合いの高いほど高いスコア値とした子供顔スコアを算出し、子供顔スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記代表顔抽出部は、画像フレームから検出された検出顔各々の異なる特徴に基づく複数のスコアを算出し、さらに複数のスコアに基づいて総合スコアを算出して、総合スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記代表顔抽出部は、選択されたインデックス用の顔画像に対応するメタデータを生成し、記録メディアに対する記録処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記メタデータには、インデックス用の顔画像として選択された顔画像に対応するフレーム番号、顔位置情報、顔サイズ情報を含む構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記メタデータには、インデックス用の顔画像として選択された顔画像に対応するスコア情報を含む構成であることを特徴とする。

さらに、本発明の第２の側面は、
撮像部と、
前記撮像部において撮影された動画像データを入力し、入力動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行する代表顔抽出部を有し、
前記代表顔抽出部は、
画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする撮像装置にある。

さらに、本発明の第３の側面は、
画像処理装置において実行する画像処理方法であり、
代表顔抽出部が、動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行する代表顔抽出ステップを有し、
前記代表顔抽出ステップは、
画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行するステップを有することを特徴とする画像処理方法にある。

さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるコンピュータ・プログラムであり、
代表顔抽出部に、動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行させる代表顔抽出ステップを有し、
前記代表顔抽出ステップは、
画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行するステップを有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、動画像データからインデックス画像とする顔画像を選択する構成において、画像フレームから検出された顔に対応するスコア、例えばフレーム内の顔の位置に応じた位置スコア、顔のサイズに応じたサイズスコア、顔らしさの度合いに応じた顔評価値スコア、先行する顔検出フレームとの検出位置の差分に応じた距離スコアなどを算出して、これらのスコアに基づいて算出する総合スコアの高い顔画像を優先的にインデックスに採用する構成としたので、多数の顔が出現する動画像データから、スコアの高い顔のみを効率的に選択してユーザにとって利用しやすい顔インデックス情報を生成することが可能となる。

以下、図面を参照しながら、本発明の画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、図１のブロック図を参照して本発明の画像処理装置の一例である撮像装置１００の構成について説明する。例えばユーザ操作部であるキー入力部１０６からの撮影開始信号がマイクロプロセッサ１１０に入力されると、マイクロプロセッサ１１０はコントロール信号を各構成部に出力して撮影処理が開始する。マイクロプロセッサ１１０からの制御に応じて、レンズ１０１のフォーカス機構、シャッター機構、絞り機構などを制御し被写体の画像を取り込んで、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）１０２に供給する。

ＣＣＤ１０２は、画像を光電変換して被写体の画像（画像情報）を電気信号としてカメラ信号処理部１０３に出力する。カメラ信号処理部１０３は、ＣＣＤ１０２から入力する画像信号に対する信号処理を実行する。例えば、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）処理、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理、さらに、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）などのカメラ信号処理を施す。

カメラ信号処理部１０３は、さらに、代表顔抽出部１１４を有しており、代表顔抽出部１１４は、撮影される画像の各フレームデータに人物の顔領域が含まれるか否かの顔検出処理と、検出した顔画像をインデックス画像として選択するか否かの判定処理としてのインデックス用顔選択処理を実行する。以降、「顔検出処理」と「インデックス用顔選択処理」の二つの処理を合わせて「代表顔抽出処理」と呼ぶ。なお、画像の各フレームデータに人物の顔領域が含まれるか否かの顔検出処理には、既存の顔検出処理アルゴリズムが適用可能である。検出した顔画像をインデックス画像として選択するか否かの判定処理としてのインデックス用顔選択処理の詳細については後段で説明する。

カメラ信号処理部１０３において種々の調整がされた画像データは、代表顔抽出部１１４における顔検出処理およびインデックス用顔選択処理の結果として生成される撮影画像対応のメタデータとともに記録再生部１０４を介して記録メディア１０５に記録される。メタデータには、顔が検出されたフレームの情報、検出された顔領域の位置、サイズ、さらに、後段で説明するスコア情報などが含まれる。

記録再生部１０４は、予め設定された圧縮方式でデータ圧縮を実行し記録メディア１０５に圧縮データを記録する。映像信号の記録方式としては例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４圧縮を用いた高精細（ＨＤ）映像記録、あるいはＭＰＥＧ−２圧縮を用いた標準（ＳＤ）映像記録などが利用される。さらに、圧縮画像情報に対応する管理情報を記録した画像情報管理ファイル（例えばＡＶインデックスファイルと呼ばれる）を生成して記録メディア１０５に記録する。

画像情報管理ファイル（ＡＶインデックスファイル）には、各フレーム対応のメタデータが記録される。前述したようにメタデータには、顔が検出されたフレームの情報、検出された顔領域の位置、サイズ、さらに、後段で説明するスコア情報などが含まれる。

さらに、撮影画像は記録再生部１０４を介して表示部１０９に出力され、表示部１０９には撮影画像がスルー画として表示される。カメラ信号処理部１０３の代表顔抽出部１１４において撮影フレーム中に顔検出がなされた場合には、スルー画に顔が検出されたことを示す顔検出アイコンが表示される。図２は、表示部１０９に表示される撮影画像（スルー画）の例を示している。この撮影画像に、顔領域が含まれるか否かが、カメラ信号処理部１０３の代表顔抽出部１１４において解析され、代表顔抽出部１１４において顔検出がなされた場合には、スルー画に顔が検出されたことを示す顔検出アイコン２０１が表示される。顔検出アイコン２０１の表示態様は、様々な設定が可能であるが、例えば、画面内に顔を検出したら反転点滅させるといった処理が実行される。

図１に戻り撮像装置の構成の説明を続ける。マイクロプロセッサ１１０はキー入力部１０６のキー操作情報、あるいは表示部１０９に表示されるＧＵＩ上の操作キーからユーザの操作情報を入力し、ユーザ指示に従った処理を実行する。表示部１０９は例えばＬＣＤタッチパネルによって構成され、ＧＵＩが表示されてユーザの操作情報が入力可能な構成を持つ。

マイクロプロセッサ１１０は、バッテリ１２０またはＡＣ電源から電源回路１２１を介して電力供給を受けて動作し、撮像装置１００内部の様々な処理の制御を実行する。また、必要に応じて電源コントロール信号を制御して、他回路への電力供給制御を行う。マイクロプロセッサ１１０は、キー入力部１０６のキー、または、表示部１０９に表示されるＧＵＩ上のキーの入力をＡ／Ｄ変換し、変換デジタル値からどのキーが押されているか判断して、判断に応じて様々な処理を実行する。マイクロプロセッサ１１０は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３などを有し、予め記録されたプログラムに従った処理を実行する。

例えば、マイクロプロセッサ１１０は、キー入力部１０６のキー、または、表示部１０９に表示されるＧＵＩ上のキーによって再生指示が入力されると、撮像装置を映像信号再生モードに切り替え、記録メディア１０５に記録されたデータを、記録再生部１０４を介して読み出し、復号処理を実行して重畳処理部１０８を介して表示部１０９に表示する。

オンスクリーディスプレイ（ＯＳＤ）処理部１０７は、マイクロプロセッサ１１０から入力するコマンドを解釈し、ＶＲＡＭ上に作成された表示信号を走査単位で重畳処理部１０８へ送る。例えばＧＵＩ情報、マニュアル情報などの映像信号と異なる映像に重畳させて表示するデータを生成して重畳処理部１０８へ送る。重畳処理部１０８は、記録用映像信号、または再生された映像信号とオンスクリーディスプレイ（ＯＳＤ）処理部１０７からの表示信号を重畳して表示部１０９に出力する。

本発明の撮像装置においては、マイクロプロセッサ１１０は、ユーザの指示に基づいて記録メディア１０５に記録された画像データのサムネイル画像一覧を生成して、表示部１０９に表示する。この際、記録メディア１０５に記録された各コンテンツの各々について、コンテンツ内から人物の顔を含む画像を選択して選択した顔を含む画像のサムネイル画像を生成して、これらを時系列サムネイル画像として表示部１０９に表示する。

なお、図１には、マイクロプロセッサ１１０内に点線枠で代表顔抽出部１１４'を示している。この代表顔抽出部１１４'は、カメラ信号処理部１０３における代表顔抽出部１１４と同様の処理を実行する。すなわち、各画像に人物の顔領域が含まれるか否かを判定する顔検出処理と、検出した顔画像をインデックス画像として選択するか否かの判定処理としてのインデックス用顔選択処理を実行する。顔検出処理とインデックス用顔選択処理は、カメラ信号処理部１０３において実行する構成としてもよいし、マイクロプロセッサ１１０内において実行する構成としてもよい。あるいは独立した専用のプロセッサを設けて、顔検出処理とインデックス用顔選択処理を実行する構成としてもよい。図１に示すマイクロプロセッサ１１０内の点線枠で示す代表顔抽出部１１４'は、カメラ信号処理部１０３ではなくマイクロプロセッサ１１０内に代表顔抽出部を設定してもよいことを示している。

さらに、マイクロプロセッサ１１０は、表示部１０９に表示された時系列サムネイル画像データに対するユーザ選択情報を入力して選択されたサムネイル画像に対応する画像位置からの再生処理を実行する。

本発明の撮像装置においては、マイクロプロセッサ１１０は、記録メディア１０５から例えばユーザ指定コンテンツの画像データを取得し、画像情報管理ファイルのメタデータ解析に基づいて、インデックスとして選択された顔画像の含まれるフレームを抽出し、抽出フレームからインデックスとして選択された顔領域を切り出して、顔サムネイル画像を生成し時系列順に並べた顔インデックス画像を表示部１０９に出力する。１つの動画記録データに対応する時系列顔サムネイル画像一覧リストの表示データを「顔インデックス画面（ビュー）」と呼ぶ。

顔インデックス画面の表示部１０９における表示例について図３を参照して説明する。「顔インデックス画面」は、カメラ信号処理部１０３の代表顔抽出部１１４、または、マイクロプロセッサ１１０の代表顔抽出部１１４'において、撮影画像の各フレームデータに人物の顔領域が含まれるか否かの顔検出処理と、検出した顔画像をインデックスとして選択抽出するかを判定するインデックス用顔選択処理を実行した結果として得られるメタデータに基づいて生成される顔領域のサムネイル画像（縮小画像）の時系列一覧画像データである。

この顔インデックス画面に表示するサムネイル画像は、顔インデックス画面の表示要求があった時点でマイクロプロセッサ１１０が生成し、マイクロプロセッサ１１０内のＲＡＭ１１２に一時的にサムネイル画像を格納するとともに、生成したサムネイル画像を表示部１０９に出力して表示する。顔インデックス画面において利用されるサムネイル画像は、記録メディア１０５には記録されない。従って、記録メディアの記録領域を減少させることはない。マイクロプロセッサ１１０は、記録メディア１０５に記録された圧縮画像（例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４圧縮を用いた高精細（ＨＤ）映像、あるいはＭＰＥＧ−２圧縮を用いた標準（ＳＤ）映像）を取得してフレーム内圧縮符号化画像（Ｉ−Ｐｉｃｔｕｒｅ、Ｉ−ＦｒａｍｅまたはＩ−ＶＯＰとも呼ばれる）を切りだし、縮小処理を実行して顔インデックス一覧領域に順番に並べて表示する。なお、顔インデックス画面に適用するサムネイル画像の生成手法の詳細については後段でさらに説明する。

顔インデックス画面の詳細構成について、図３を参照して説明する。顔インデックス画面には、コンテンツインデックス表示領域３０１と、顔インデックス表示領域３０２が含まれる。

コンテンツインデックス表示領域３０１は、１つの動画記録データ単位である１つのコンテンツから選択された１つの代表画像を表示する領域であり、コンテンツインデックス送り／戻しキー３０３ａ，ｂを操作することで、異なるコンテンツの代表画像を提示することができる。なお、このコンテンツインデックス表示領域３０１に表示される代表画像は、例えばコンテンツの先頭画のサムネイル画像である。

一方、顔インデックス表示領域３０２は、コンテンツインデックス表示領域３０１に表示されたサムネイル画像が属するコンテンツ（動画像データ）から、顔検出処理と、インデックス用顔選択処理の結果得られるメタデータに基づいてインデックスとして選択された顔領域を含むフレームからその顔領域を切り出した顔のサムネイル画像（縮小画像）の一覧画像データが表示される領域である。

この顔インデックス表示領域３０２には、顔インデックス送り／戻しキー３０６ａ，ｂが表示され、この顔インデックス送り／戻しキー３０６ａ，ｂを操作することで、同一コンテンツの異なる時間の顔インデックスとしてのサムネイル画像を表示することができる。なお、１つの静止画に複数の顔画像領域が含まれる場合は、複数の顔画像が顔インデックス表示領域３０２に並べて表示される。

コンテンツインデックス表示領域３０１中のコンテンツインデックス送り／戻しキー３０３ａ，ｂを操作することで、顔インデックス表示領域３０２に表示される顔インデックスも、コンテンツインデックス表示領域３０１に表示されるインデックスに対応して切り替えられることになる。

次に、図４に示すフローチャートを参照して本発明の画像処理装置において実行する処理について概略的に説明する。図４に示すフローチャートは、図１に示す撮像装置において、画像を撮影し撮影画像を記録メディア１０５に記録する際の処理であり、顔検出処理およびインデックス用顔選択処理、さらに、これらの処理に基づいて生成されるメタデータの記録処理のシーケンスを説明している。この図４に示すフローは、図１に示すマイクロプロセッサ１１０の制御の下、主に代表顔抽出部１１４および記録再生部１０４の処理として実行される処理である。

図４に示すフローチャートに示す各ステップの処理について説明する。先ず、ステップＳ１０１において、代表顔抽出部１１４は、撮影される動画像から顔検出を実行するための画像フレームを抽出する。フレーム抽出は例えば撮影画像から所定間隔の周期に基づくフレーム選択処理として実行される。フレームの抽出周期は様々な設定が可能である。例えば、１フレーム毎、すなわち全フレームを抽出してもよいし、数フレーム毎に行ってもよい。

ステップＳ１０１のフレーム抽出処理の詳細について図５を参照して説明する。例えば、記録メディア１０５に対する記録データの動画像圧縮フォーマットとしてＭＰＥＧやＡＶＣを用いる場合、これらの圧縮画像データ４００には、それぞれ異なる態様で圧縮されたフレーム（ピクチャ）が含まれる。具体的には、フレーム内圧縮符号化画像（Ｉピクチャ）、さらに、よりデータ量が少ないＢフレーム（Ｂピクチャ）、Ｐフレーム（Ｐピクチャ）などである。これらの符号化データの中で、１つのデータから復号可能なのはフレーム内圧縮符号化画像である。

顔検出を実行するための画像フレームは、インデックス表示に用いる顔画像を選択するためのフレームであるので、インデックス表示処理が容易にできるフレームを選ぶことが好ましい。フレーム内圧縮符号化画像（Ｉピクチャ）は、他の参照画像を用いることなく復号可能なフレームであり、このフレーム内圧縮符号化画像（Ｉピクチャ）を選択フレーム４０１とすることが好ましい。また、ＧＯＰ周期毎（１５フレーム周期等）に処理を行うことで、再生モード時に素早く所望のフレームにアクセスすることができるため、ＧＯＰ周期毎のフレーム抽出、若しくは２ＧＯＰ周期などの間隔でのフレーム抽出処理を行なう構成とすることが好ましい。なお、システムの性能に応じて、もっと長い周期でフレームを抽出してもよい。

ステップＳ１０１において、動画像から顔検出を実行するための画像フレームの抽出がなされると、次にステップＳ１０２において、抽出したフレーム中に顔領域が含まれるか否かの顔検出処理を実行する。顔検出処理は、既存の技術によって実行可能であり、例えば、「特開２００５−１５７６７９」に記載された技術を用いて実行する。このステップＳ１０２において、フレームから顔が検出された場合は、検出された全ての顔に対する
「フレーム内の座標位置」、
「サイズ」、
「（顔らしさを表す）顔スコア評価値」
を求め、これらの情報をメモリに保存する。

顔に対する「フレーム内の座標位置」、「サイズ」について、図６を参照して説明する。
顔の「フレーム内の座標位置」は、例えば図６に示すように、フレームの左上端を原点、横方向をＸ、縦方向をＹとして、フレームから検出された顔領域４２１左上端までのオフセットの座標（Ｘ，Ｙ）として求められる。
顔の「サイズ」は、フレームから検出された顔領域４２１のＸ方向の幅と、Ｙ方向の高さとして算出される。
なお、「（顔らしさを表す）顔スコア評価値」は、例えば、「特開２００５−１５７６７９」に記載された技術を用いて実行される顔検出において、人物の顔である確からしさを示す評価値であり、人物の顔であると特定できる特徴量が多い場合には、高い評価値となり、少ない場合は低い評価値となる。なお、この評価値算出処理の詳細は、「特開２００５−１５７６７９」に記載されており、本発明においても、この開示技術を適用して「（顔らしさを表す）顔スコア評価値」を算出する。

次にステップＳ１０３において、インデックス用顔選択処理を実行する。ステップＳ１０２では、例えば、フレーム内圧縮符号化画像（Ｉピクチャ）を選択フレームとして顔検出が実行されるが、検出された顔をすべてインデックス画像に設定してしまうと、人物を中心として撮影した動画像では、ほとんどのフレームに顔が検出され、これらを全てインデックス画像として設定してしまうと、膨大な数のインデックス顔画像が設定されることになりインデックスとしての意味がなくなってしまう。

そこで、ステップＳ１０３では、ステップＳ１０２において検出された顔画像から、インデックスとして利用する顔画像を選択する処理を実行する。ステップＳ１０３の処理は、ステップＳ１０１〜Ｓ１０２までの処理において顔が１つでも検出されたフレームについて実行する。すなわち、検出された顔の各々に対してスコアを算出して、スコアの高いものをインデックス顔として選択する。ステップＳ１０３の詳細処理の一例について、図７に示すフローチャートを参照して説明する。

図７に示すフローチャートは、図４に示すステップＳ１０１，Ｓ１０２において顔が検出されたフレーム毎に実行する処理である。すなわち顔検出フレーム毎にステップＳ２０１〜Ｓ２０８の処理が逐次実行される。

まず、ステップＳ２０１において、ステップＳ１０２において検出された顔に対する「顔の位置」に応じた位置スコアを算出する。処理対象となる１つの顔検出フレームに検出された顔の各々について位置スコアを算出する。複数の顔が検出された場合は、各顔についてのスコアを算出する。

この位置スコアは、検出された顔の位置がフレームの中心に近いほどスコア値が高く、中心から離れるに従ってスコア値が低い設定としたスコアである。
具体的な設定としては、例えばフレームの領域を中心領域と外周領域の２つに区分して、
中心領域に顔が検出された場合：位置スコア＝１００
外周領域に顔が検出された場合：位置スコア＝０
とするような領域を複数に区分して区分に応じたスコアを設定するデジタル的なスコア設定や、顔の位置が中心から外周に行くに従ってなだらかにスコア値を低下させるアナログ的なスコア設定などが適用可能である。

次に、ステップＳ２０２において、ステップＳ１０２において検出された顔に対する「顔のサイズ」に応じたサイズスコアを算出する。処理対象となる１つの顔検出フレームに検出された顔の各々についてサイズスコアを算出する。複数の顔が検出された場合は、各顔についてのスコアを算出する。

このサイズスコアは、検出された顔のサイズが大きいほどスコア値が高く、小さいほどスコア値が低い設定としたスコアである。
具体的な設定としては、例えばある閾値サイズを設定して、
閾値サイズ以上の顔：サイズスコア＝１００
閾値サイズ未満の顔：サイズスコア＝０
とするサイズを複数に区分して区分に応じたスコアを設定するデジタル的なスコア設定や、顔のサイズが大から小となるに従ってなだらかにスコア値を低下させるアナログ的なスコア設定などが適用可能である。

次に、ステップＳ２０３において、ステップＳ１０２において検出された顔に対する「（顔らしさを表す）顔スコア評価値」に応じた顔評価値スコアを算出する。処理対象となる１つの顔検出フレームに検出された顔の各々について顔評価値スコアを算出する。複数の顔が検出された場合は、各顔についてのスコアを算出する。

「（顔らしさを表す）顔スコア評価値」は、前述したように、例えば、「特開２００５−１５７６７９」に記載され、人物の顔であると特定できる特徴量が多い場合には、高い評価値となり、少ない場合は低い評価値となる。顔評価値スコアは、この評価値に応じて設定される。この顔評価値スコアは、検出された顔の顔スコア評価値が高いほどスコア値が高く、低いほどスコア値が低い設定としたスコアである。
具体的な設定としては、例えばある閾値を設定して、
閾値以上の顔評価値を持つ顔：顔評価値スコア＝１００
閾値未満の顔評価値を持つ顔：顔評価値スコア＝０
とする評価値を複数に区分して区分に応じたスコアを設定するデジタル的なスコア設定や、高評価値から低評価値となるに従ってなだらかにスコア値を低下させるアナログ的なスコア設定などが適用可能である。

次に、ステップＳ２０４において、ステップＳ１０２において検出された顔に対する「距離スコア」を算出する。処理対象となる１つの顔検出フレームに検出された顔の各々について距離スコアを算出する。複数の顔が検出された場合は、各顔についてのスコアを算出する。

距離スコアについて、図８を参照して説明する。距離スコアを算出するフレームを図８に示す距離スコア算出フレーム４５１とする。この距離スコア算出フレーム４５１は、図４に示すフローのステップＳ１０２において顔検出がなされたフレームである。

図８に示す距離スコア算出フレーム４５１は、時刻（Ｔ）のフレーム画像であり、３つの顔［Ｐ１（ｔ），Ｐ２（ｔ），Ｐ３（ｔ）］が検出されている。距離スコアは、これらの３つの顔の各々について算出する。
距離スコア算出処理フレーム（Ｔ）の検出顔［Ｐ１（ｔ），Ｐ２（ｔ），Ｐ３（ｔ）］各々のスコアは、
前回の処理フレーム、すなわち、図４に示すフローのステップＳ１０２において顔検出がなされたフレームとして時刻（Ｔ）の距離スコア算出フレーム４５１の以前のフレーム（Ｔ−１）の検出顔［Ｐ１（ｔ−１），Ｐ２（ｔ−１）］を参照して実行される。すなわち、図８に示す参照フレーム４６１である。

距離スコア算出処理フレーム（Ｔ）の検出顔［Ｐ１（ｔ），Ｐ２（ｔ），Ｐ３（ｔ）］各々のスコアは、前回の処理フレーム（Ｔ−１）の検出顔［Ｐ１（ｔ−１），Ｐ２（ｔ−１）］各々との距離に基づいて算出される。
例えば、
前回の処理フレーム（Ｔ−１）の検出顔［Ｐ１（ｔ−１），Ｐ２（ｔ−１）］に最も近い位置にある今回の処理フレームの検出顔のスコアは［０］、それ以外の顔のスコアは［１００］を与えるといった処理によって距離スコアを算出する。

例えば、距離スコア算出フレーム４５１の顔［Ｐ１（ｔ）］の距離スコアは、
Ｐ１（ｔ）：距離スコア=（０＋１００）＝１００
となる。（０＋１００）の０は、距離スコア算出フレーム４５１の顔［Ｐ１（ｔ）］は、参照フレーム４６１である前回の処理フレーム（Ｔ−１）の検出顔［Ｐ１（ｔ−１）に最も近い位置にあるという条件に基づいて設定されたスコア［０］であり、（０＋１００）の１００は、距離スコア算出フレーム４５１の顔［Ｐ１（ｔ）］は、参照フレーム４６１である前回の処理フレーム（Ｔ−１）の検出顔［Ｐ２（ｔ−１）に最も近い位置にないという条件に基づいて設定されたスコア［１００］である。距離スコア算出フレーム４５１の顔［Ｐ１（ｔ）］の距離スコアは、これらのスコア［０］と［１００］の加算値として、算出され、
Ｐ１（ｔ）：距離スコア=（０＋１００）＝１００
となる。

また、距離スコア算出フレーム４５１の顔［Ｐ２（ｔ）］の距離スコアは、
Ｐ２（ｔ）：距離スコア=（１００＋０）＝１００
となる。（１００＋０）の１００は、距離スコア算出フレーム４５１の顔［Ｐ２（ｔ）］は、参照フレーム４６１である前回の処理フレーム（Ｔ−１）の検出顔［Ｐ１（ｔ−１）に最も近い位置にないという条件に基づいて設定されたスコア［１００］であり、（１００＋０）の０は、距離スコア算出フレーム４５１の顔［Ｐ２（ｔ）］は、参照フレーム４６１である前回の処理フレーム（Ｔ−１）の検出顔［Ｐ２（ｔ−１）に最も近い位置にあるという条件に基づいて設定されたスコア［０］である。距離スコア算出フレーム４５１の顔［Ｐ２（ｔ）］の距離スコアは、これらのスコア［１００］と［０］の加算値として、算出され、
Ｐ２（ｔ）：距離スコア=（１００＋０）＝１００
となる。

また、距離スコア算出フレーム４５１の顔［Ｐ３（ｔ）］の距離スコアは、
Ｐ３（ｔ）：距離スコア=（１００＋１００）＝２００
となる。（１００＋１００）の先の１００は、距離スコア算出フレーム４５１の顔［Ｐ３（ｔ）］は、参照フレーム４６１である前回の処理フレーム（Ｔ−１）の検出顔［Ｐ１（ｔ−１）に最も近い位置にないという条件に基づいて設定されたスコア［１００］であり、（１００＋１００）の後の１００は、距離スコア算出フレーム４５１の顔［Ｐ３（ｔ）］は、参照フレーム４６１である前回の処理フレーム（Ｔ−１）の検出顔［Ｐ２（ｔ−１）に最も近い位置にないという条件に基づいて設定されたスコア［１００］である。距離スコア算出フレーム４５１の顔［Ｐ３（ｔ）］の距離スコアは、これらのスコア［１００］と［１００］の加算値として、算出され、
Ｐ３（ｔ）：距離スコア=（１００＋１００）＝２００
となる。

このように、距離スコア算出フレーム４５１において検出された顔のスコアは、参照フレームの検出顔との距離に応じて設定される。これは、同じ位置にある顔は同一人物である可能性が高く、同一人物の顔をインデックスとして複数採用することは好ましくなく、できるだけ異なる人物の顔をインデックスとして採用したいという要請に基づいて実行される処理である。

なお、この距離スコアについても、図８を参照して説明したスコア算出処理においては、距離スコア算出フレーム４５１において検出された顔が、参照フレームにおいて検出された顔の位置に最も近い場合は距離スコアを［０］、それ以外の場合は［１００］として設定する例を示したが、このようなデジタル的なスコア設定とするのではなく、距離スコア算出フレーム４５１において検出された顔が、参照フレームにおいて検出された顔の位置に一致する場合は低スコアとして、離れるに従って次第に高スコアとするといったアナログ的なスコア設定としてもよい。

次に、ステップＳ２０５において、ステップＳ２０１〜Ｓ２０４において算出した４種類のスコア、すなわち、
（ａ）位置スコア
（ｂ）サイズスコア
（ｃ）顔評価値スコア
（ｄ）距離スコア
これら４種類のスコアから総合スコアを算出して、総合スコアの高い顔から順に並べるソート処理を実行する。処理対象となる１つの顔検出フレームに検出された顔の各々について総合スコアを算出してソートする。なお、総合スコアの算出には、例えば、各スコアに対する重み設定パラメータを適用した加算を適用する。

具体的には、
（ａ）位置スコア＝Ｓａ
（ｂ）サイズスコア＝Ｓｂ
（ｃ）顔評価値スコア＝Ｓｃ
（ｄ）距離スコア＝Ｓｄ
として、各スコアに対する重み設定パラメータをｐ，ｑ，ｒ，ｓとして設定し、総合スコア［Ｓａｌｌ］を以下の式によって算出する。
総合スコア［Ｓａｌｌ］＝ｐ（Ｓａ）＋ｑ（Ｓｂ）＋ｒ（Ｓｃ）＋ｓ（Ｓｄ）
上記式によって算出する。なお、重みパラメータは、すべて１としてもよいし、例えば距離スコアに対する重みを大きくする設定とするなど、様々な設定が可能である。

このように、ステップＳ２０５では、処理対象となる１つの顔検出フレームに検出された顔の各々について（ａ）位置スコア、（ｂ）サイズスコア、（ｃ）顔評価値スコア、（ｄ）距離スコア、これら４種類のスコアから総合スコアを算出して、総合スコアの高い顔から順に並べるソート処理を実行する。

ステップＳ２０６では、処理対象フレーム、すなわち、各スコアの算出および総合スコアの算出処理を実行したフレームにおいて検出された顔の数と、前回の処理フレーム、すなわち、図４に示すフローチャートのステップＳ１０１において処理フレームとして選択したフレームにおいて検出された顔の数を比較し、今回の処理フレームの検出顔数が、前回処理フレームの検出顔数より増加しているか否かを判定する。増加している場合は、ステップＳ２０７に進む。増加していない場合は、ステップＳ２０８に進む。

ステップＳ２０７では、処理対象フレームにおいて検出され総合スコア順にソートされた顔のうち、総合スコア値が高い顔を複数個、または、最も高いものを一つだけインデックス顔として選択し、それらの顔のメタ情報(フレーム番号、位置、サイズ、顔評価値スコア、総合スコアなど)を、メタ情報記録処理部へ出力する。この処理の後、図４に示すステップＳ１０４の処理、すなわちメタ情報記録処理が実行される。すなわち、ステップＳ２０７において、処理対象フレームから総合スコア順に選択された顔がインデックス顔（代表顔）として決定され、そのインデックス顔に対応するメタ情報が記録メディア１０５（図１参照）に記録されることになる。ステップＳ２０７においてスコアが低く選択されなかった顔はインデックスとしては設定されないことになる。

なお、１フレームからインデックス顔（代表顔）として選択する顔の数は予め設定した情報を用いる。この数はユーザが設定可能としてもよく、この場合は、予めユーザの入力値として選択数を入力し、入力された選択数に応じて総合スコア順に応じた顔数をインデックス顔として選択する。

ステップＳ２０６において、今回の処理フレームの検出顔数が、前回処理フレームの検出顔数より増加していない場合は、ステップＳ２０８に進み、ステップＳ２０７の処理は実行されない。従って、今回の処理フレームの検出顔数が、前回処理フレームの検出顔数より増加していない場合は、今回の処理フレームから検出された顔についてはインデックス顔として選択されない。

ステップＳ２０８では、処理対象の顔検出フレームの検出顔の位置情報をメモリに記録する。これは、ステップＳ２０４における距離スコア算出のための参照フレーム（図８に示す参照フレーム４６１）として利用するための情報である。

このように、図４のフローにおけるステップＳ１０３のインデックス用顔選択処理は、例えば図７に示すフローに従って実行され、ステップＳ１０２において検出された顔画像から、インデックスとして利用する顔画像が選択される。ステップＳ１０４では、ステップＳ１０３のインデックス用顔選択処理において選択された顔に対応するメタ情報、すなわち、インデックスとして選択された顔に対応するフレーム番号、位置、サイズ、顔評価値スコア、総合スコアなどのデータが、インデックス顔に対応するメタ情報として記録メディア１０５（図１参照）に記録される。

このように、本発明の装置では、動画像を構成するフレームから選択されたフレーム（例えばフレーム内圧縮符号化画像（Ｉピクチャ））について顔検出を実行して、顔が検出されたフレームについては、図７に示すインデックス用顔選択処理を実行し、検出した各顔についての
（ａ）位置スコア
（ｂ）サイズスコア
（ｃ）顔評価値スコア
（ｄ）距離スコア
これら４種類のスコアを算出して、さらに総合スコアを算出し、総合スコアの高い顔から順に並べるソート処理を行い、総合スコアの高い顔のみをインデックス用の顔とする設定とした。さらに、処理対象の顔検出フレームと先行する処理フレームとの検出顔数を比較して、先行の処理フレームの検出顔数より、今回の顔検出顔数が増加している場合に、その処理対象フレームの検出顔をインデックス候補として設定する構成としたので、例えば同一人物を連続して撮影している場合など、顔の検出数が各フレームで一定である場合は、顔が現れたフレームや、一旦、人物が途切れて再登場したフレームにおいて検出された顔がインデックスとして登録され、連続するフレームの同一人物をインデックスとして設定することが防止され、適度な数に設定されたインデックスの生成が実現される。

インデックス顔として選択された顔に対するメタ情報は図４に示すフローのステップＳ１０４において記録メディア１０５（図１参照）に記録される。前述のようにこのメタ情報には、インデックスとして選択された顔に対応するフレーム番号、位置、サイズ、顔評価値スコア、総合スコアなどのデータが含まれる。

具体的なメタデータのデータ構成例について図９を参照して説明する。メタデータは、例えば記録メディア１０５（図１参照）に記録される画像データに対応して記録される画像情報管理ファイル（ＡＶインデックスファイル）の構成データとしての顔情報管理ファイルに記録される。顔情報管理ファイルは、図９（ａ）に示すように、インデックス用の顔として選択されたインデックス顔（代表顔）各々のメタデータの集積ファイルであり、各顔のメタデータは、図９（ｂ）に示すデータ構成を持つ。

すなわち、インデックスとして選択された顔（代表顔）に対応するフレーム番号に相当する顔検出フレームの時刻情報（上位４バイトと下位４バイト）、顔のフレーム内の位置情報（４バイト）、顔のサイズ（４バイト）、顔評価値スコア（４バイト）、総合スコア（４バイト）、これらのデータが含まれる。なお、顔のフレーム内の位置情報、顔のサイズ情報は、先に図６を参照して説明したデータに対応する。図９（ｂ）に示すメタデータの構成は一例であり、例えば顔評価値スコア（４バイト）や、総合スコア（４バイト）は省略した設定としてもよい。

実際にインデックス表示を実行する場合は、これらのメタデータを適用してフレーム選択および顔領域の情報が取得され、顔領域の切り取りを実行して、図３に示すような顔インデックス表示が行なわれることになる。このインデックス表示処理に際して、例えば、メタデータ中に、顔評価値スコア（４バイト）や、総合スコア（４バイト）を含む構成とした場合は、総合評価値の高いもののみを選択して表示する処理や、顔評価値スコアの高いもののみとを選択して表示するといった制御を行なうことが可能となる。

図７のフローを参照して説明したインデックス用顔選択処理では、検出された顔についての
（ａ）位置スコア
（ｂ）サイズスコア
（ｃ）顔評価値スコア
（ｄ）距離スコア
これらのスコア情報に基づくインデックス顔（代表顔）選択処理を行っていたが、インデックス顔（代表顔）として選択する基準としては、これらの情報以外の情報を利用する構成としてもよい。以下、
（１）個人識別情報を適用したインデックス顔の選択処理例
（２）笑顔検出情報を適用したインデックス顔の選択処理例
（３）子供顔検出情報を適用したインデックス顔の選択処理例
これらの処理例について、それぞれ図１０、図１１、図１２に示すフローチャートを参照して説明する。なお、図１０、図１１、図１２に示すフローチャートは、先に説明した図７のフローチャートに対応する処理であり、図４に示すフローにおけるステップＳ１０３のインデックス用顔選択処理の変更例であり、顔の検出されたフレームに対する処理として実行される。

（１）個人識別情報を適用したインデックス顔の選択処理例
まず、図１０を参照して個人識別情報を適用したインデックス顔の選択処理例について説明する。この処理例は、検出した顔の個人識別を行なう処理例である。先に説明した実施例、すなわち図７を参照して説明したインデックス顔の選択処理では、検出した顔が同一人物の顔であるか異なる人物であるかといった、いわゆる個人識別を行っていない。本処理例では、この個人識別を実行して、過去フレームにおいてインデックス顔として選択された顔と異なる人物の顔が検出された場合、異なる人物の顔を優先的にインデックスとして選択する処理を行なうものである。

図１０に示すインデックス顔の選択処理フローに従って本処理例について説明する。上述したように図１０に示すフローチャートは、先に説明した図７のフローチャートに対応する処理であり、図４に示すフローにおけるステップＳ１０３のインデックス用顔選択処理であり、顔の検出されたフレームに対する処理として実行される。

まず、ステップＳ３０１において、処理対象フレーム内に検出された全ての顔に対し、前回の処理時に検出された顔との個人識別を行い、明らかに同一であると判定できる顔と、そうでない顔に分ける。すなわち、
（ａ）処理対象フレーム内の検出顔、
（ｂ）先行して処理された顔検出フレームにおける検出顔
これらの顔の個人識別を実行し、処理対象フレーム内の検出顔に、先行して処理された顔検出フレームにおける検出顔と異なる人物の顔が存在するか否かを判定する。なお、検出顔が同一人物であるか否かを識別するいわゆる個人識別処理は、顔検出処理に際して取得される顔画像の特徴量の比較により実行することができる。例えば顔画像認識処理を開示した特開平７−１２８０３１、論文「［ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習］第１０回画像センシングシンポジウム予稿集、pp.547-552, 2004.」などに開示された技術などの適用により実行される。

ステップＳ３０２では、処理対象フレーム内に前回の処理時に検出された顔と異なる顔が含まれているかの判定を行い、明らかに同一であると判定できなかった顔がある場合は、ステップＳ３０３に進み、インデックス顔の選定処理を実行し、ない場合は、インデックス顔の選定処理を実行することなくステップＳ３０８に進む。

ステップＳ３０３〜Ｓ３０５の３つのステップの処理は、図７を参照して説明したステップＳ２０１〜Ｓ２０３の処理に対応する。すなわち、新たな人物の顔であると推定される顔についての
（ａ）位置スコア
（ｂ）サイズスコア
（ｃ）顔評価値スコア
これらの各スコアを算出する。

ステップＳ３０６では、これら３種類のスコアから総合スコアを算出して、総合スコアの高い顔から順に並べるソート処理を実行する。前回の顔検出フレームと異なる顔であると推定された顔の各々について総合スコアを算出してソートする。なお、総合スコアの算出には、前述した処理例と同様、例えば、各スコアに対する重み設定パラメータを適用した加算を適用する。

具体的には、
（ａ）位置スコア＝Ｓａ
（ｂ）サイズスコア＝Ｓｂ
（ｃ）顔評価値スコア＝Ｓｃ
として、各スコアに対する重み設定パラメータをｐ，ｑ，ｒとして設定し、総合スコア［Ｓａｌｌ］を以下の式によって算出する。
総合スコア［Ｓａｌｌ］＝ｐ（Ｓａ）＋ｑ（Ｓｂ）＋ｒ（Ｓｃ）
上記式によって算出する。

ステップＳ３０７では、総合スコア順にソートされた顔のうち、総合スコア値が高い顔を複数個、または、最も高いものを一つだけインデックス顔として選択し、それらの顔のメタ情報(フレーム番号、位置、サイズ、顔評価値スコア、総合スコアなど)を、メタ情報記録処理部へ出力する。この処理の後、図４に示すステップＳ１０４の処理、すなわちメタ情報記録処理が実行される。

ステップＳ３０８では、処理対象の顔検出フレームの顔画像情報をメモリに記録する。これは、次の処理フレームに対するステップＳ３０１の個人識別処理において比較する顔画像として利用するためである。

本処理例では、個人識別処理を実行して、検出した顔が同一人物の顔であるか異なる人物であるかの識別を実行し、過去フレームにおいてインデックス顔として選択された顔と異なる人物の顔が検出された場合、異なる人物の顔を優先的にインデックスとして選択する処理を行なう構成としたので、複数の人物が登場する動画像データにおいて、各人物の登場タイミングに応じたインデックス顔の設定が可能となる。

（２）笑顔検出情報を適用したインデックス顔の選択処理例
次に、図１１を参照して笑顔検出情報を適用したインデックス顔の選択処理例について説明する。この処理例は、検出した顔が笑顔であるか否かを判別して笑顔である場合に優先的にインデックスとして選択する処理を行なうものである。

図１１に示すインデックス顔の選択処理フローに従って本処理例について説明する。上述したように図１１に示すフローチャートは、先に説明した図７のフローチャートに対応する処理であり、図４に示すフローにおけるステップＳ１０３のインデックス用顔選択処理であり、顔の検出されたフレームに対する処理として実行される。

まず、ステップＳ４０１において、処理対象フレーム内に検出された全ての顔に対し、「笑顔の度合い」を求め、ステップＳ４０２において、「笑顔の度合い」に応じたスコア、すなわち笑顔スコアを算出する。「笑顔の度合い」は、顔検出処理に際して取得される顔画像の特徴量に基づいて算出することができる。例えば顔画像認識処理を開示した特開平７−１２８０３１、論文「［ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習］第１０回画像センシングシンポジウム予稿集、pp.547-552, 2004.」などに開示された技術などの適用により実行される。

笑顔スコアは、検出された顔の「笑顔の度合い」が高いほどスコア値が高く、「笑顔の度合い」が低くなるに従ってスコア値が低い設定としたスコアである。
具体的な設定としては、例えば「笑顔の度合い」を示す数値に閾値を設定し、
閾値以上の笑顔の度合いを持つ顔：笑顔スコア＝１００
閾値未満の笑顔の度合いを持つ顔：笑顔スコア＝０
とするようなスコア設定をするデジタル的なスコア設定や、笑顔の度合いを示す数値に応じてなだらかにスコア値を低下させるアナログ的なスコア設定などが適用可能である。

ステップＳ４０３〜Ｓ４０７の処理は、図７を参照して説明したステップＳ２０４〜Ｓ２０８の処理に対応する。すなわち、本処理例では、
（ａ）笑顔スコア（ステップＳ４０２）
（ｂ）距離スコア（ステップＳ４０３）
これらの各スコアを算出して、ステップＳ４０４で、これら２種類のスコアから総合スコアを算出して、総合スコアの高い顔から順に並べるソート処理を実行する。距離スコアの算出処理は、先に図８を参照して説明した処理と同様である。

総合スコアの算出には、前述した処理例と同様、例えば、各スコアに対する重み設定パラメータを適用した加算を適用する。具体的には、
（ａ）笑顔スコア＝Ｓａ
（ｂ）距離スコア＝Ｓｂ
として、各スコアに対する重み設定パラメータをｐ，ｑとして設定し、総合スコア［Ｓａｌｌ］を以下の式によって算出する。
総合スコア［Ｓａｌｌ］＝ｐ（Ｓａ）＋ｑ（Ｓｂ）
上記式によって算出する。

ステップＳ４０５では、処理対象フレーム、すなわち、各スコアの算出および総合スコアの算出処理を実行したフレームにおいて検出された顔の数と、前回の処理フレーム、すなわち、図４に示すフローチャートのステップＳ１０１において処理フレームとして選択したフレームにおいて検出された顔の数を比較し、今回の処理フレームの検出顔数が、前回処理フレームの検出顔数より増加しているか否かを判定する。増加している場合は、ステップＳ４０６に進む。増加していない場合は、ステップＳ４０７に進む。

ステップＳ４０６では、総合スコア順にソートされた顔のうち、総合スコア値が高い顔を複数個、または、最も高いものを一つだけインデックス顔として選択し、それらの顔のメタ情報(フレーム番号、位置、サイズ、顔評価値スコア、総合スコアなど)を、メタ情報記録処理部へ出力する。この処理の後、図４に示すステップＳ１０４の処理、すなわちメタ情報記録処理が実行される。

ステップＳ４０７では、処理対象の顔検出フレームの検出顔の位置情報をメモリに記録する。これは、ステップＳ４０３における距離スコア算出のための参照フレーム（図８に示す参照フレーム４６１）として利用するための情報である。

本処理例では、検出顔の笑顔の度合いを算出する処理を実行して、笑顔の度合いの高い顔のスコアを高くして優先的にインデックスとして選択する処理を行なう構成としたので、様々な表情の顔がある場合、笑顔を優先的に選択してインデックスとして設定する処理が可能となる。

（３）子供顔検出情報を適用したインデックス顔の選択処理例
次に、図１２を参照して子供顔検出情報を適用したインデックス顔の選択処理例について説明する。この処理例は、検出した顔が子供顔であるか否かを判別して子供顔である場合に優先的にインデックスとして選択する処理を行なうものである。

図１２に示すインデックス顔の選択処理フローに従って本処理例について説明する。上述したように図１２に示すフローチャートは、先に説明した図７のフローチャートに対応する処理であり、図４に示すフローにおけるステップＳ１０３のインデックス用顔選択処理であり、顔の検出されたフレームに対する処理として実行される。

まず、ステップＳ５０１において、処理対象フレーム内に検出された全ての顔に対し、「子供顔の度合い」を求め、ステップＳ５０２において、「子供顔の度合い」に応じたスコア、すなわち子供顔スコアを算出する。「子供顔の度合い」は、顔検出処理に際して取得される顔画像の特徴量に基づいて算出することができる。例えば顔画像認識処理を開示した特開平７−１２８０３１、論文「［ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習］第１０回画像センシングシンポジウム予稿集、pp.547-552, 2004.」などに開示された技術などの適用により実行される。

子供顔スコアは、検出された顔の「子供顔の度合い」が高いほどスコア値が高く、「子供顔の度合い」が低くなるに従ってスコア値が低い設定としたスコアである。
具体的な設定としては、例えば「子供顔の度合い」を示す数値に閾値を設定し、
閾値以上の子供顔の度合いを持つ顔：子供顔スコア＝１００
閾値未満の子供顔の度合いを持つ顔：子供顔スコア＝０
とするようなスコア設定をするデジタル的なスコア設定や、子供顔の度合いを示す数値に応じてなだらかにスコア値を低下させるアナログ的なスコア設定などが適用可能である。

ステップＳ５０３〜Ｓ５０７の処理は、図７を参照して説明したステップＳ２０４〜Ｓ２０８の処理に対応する。すなわち、本処理例では、
（ａ）子供顔スコア（ステップＳ５０２）
（ｂ）距離スコア（ステップＳ５０３）
これらの各スコアを算出して、ステップＳ５０４で、これら２種類のスコアから総合スコアを算出して、総合スコアの高い顔から順に並べるソート処理を実行する。距離スコアの算出処理は、先に図８を参照して説明した処理と同様である。

総合スコアの算出には、前述した処理例と同様、例えば、各スコアに対する重み設定パラメータを適用した加算を適用する。具体的には、
（ａ）子供顔スコア＝Ｓａ
（ｂ）距離スコア＝Ｓｂ
として、各スコアに対する重み設定パラメータをｐ，ｑとして設定し、総合スコア［Ｓａｌｌ］を以下の式によって算出する。
総合スコア［Ｓａｌｌ］＝ｐ（Ｓａ）＋ｑ（Ｓｂ）
上記式によって算出する。

ステップＳ５０５では、処理対象フレーム、すなわち、各スコアの算出および総合スコアの算出処理を実行したフレームにおいて検出された顔の数と、前回の処理フレーム、すなわち、図４に示すフローチャートのステップＳ１０１において処理フレームとして選択したフレームにおいて検出された顔の数を比較し、今回の処理フレームの検出顔数が、前回処理フレームの検出顔数より増加しているか否かを判定する。増加している場合は、ステップＳ５０６に進む。増加していない場合は、ステップＳ５０７に進む。

ステップＳ５０６では、総合スコア順にソートされた顔のうち、総合スコア値が高い顔を複数個、または、最も高いものを一つだけインデックス顔として選択し、それらの顔のメタ情報(フレーム番号、位置、サイズ、顔評価値スコア、総合スコアなど)を、メタ情報記録処理部へ出力する。この処理の後、図４に示すステップＳ１０４の処理、すなわちメタ情報記録処理が実行される。

ステップＳ５０７では、処理対象の顔検出フレームの検出顔の位置情報をメモリに記録する。これは、ステップＳ５０３における距離スコア算出のための参照フレーム（図８に示す参照フレーム４６１）として利用するための情報である。

本処理例では、検出顔の子供顔の度合いを算出する処理を実行して、子供顔の度合いの高い顔のスコアを高くして優先的にインデックスとして選択する処理を行なう構成としたので、様々な登場人物があるデータにおいて、子供顔を優先的に選択してインデックスとして設定する処理が可能となる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、動画像データからインデックス画像とする顔画像を選択する構成において、画像フレームから検出された顔に対応するスコア、例えばフレーム内の顔の位置に応じた位置スコア、顔のサイズに応じたサイズスコア、顔らしさの度合いに応じた顔評価値スコア、先行する顔検出フレームとの検出位置の差分に応じた距離スコアなどを算出して、これらのスコアに基づいて算出する総合スコアの高い顔画像を優先的にインデックスに採用する構成としたので、多数の顔が出現する動画像データから、スコアの高い顔のみを効率的に選択してユーザにとって利用しやすい顔インデックス情報を生成することが可能となる。

本発明の一実施例の画像処理装置としての撮像装置の構成について説明する図である。 表示部に表示する顔検出アイコンの表示例について説明する図である。 表示部に表示される顔インデックス画面の例について説明する図である。 本発明の一実施例の画像処理装置において実行する顔検出およびインデックス顔選択処理を含むデータ記録シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例の画像処理装置において実行する顔検出処理を行なうフレーム選択処理例について説明する図である。 本発明の一実施例の画像処理装置において実行する顔検出によって検出された顔に関するメタ情報について説明する図である。 本発明の一実施例の画像処理装置において実行するインデックス顔選択処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例の画像処理装置において実行するインデックス顔選択処理シーケンスにおいて算出する距離スコアの算出処理の詳細について説明する図である。 本発明の一実施例の画像処理装置において生成するインデックス顔に対応するメタデータの構成例を示す図である。 本発明の一実施例の画像処理装置において実行する個人識別を伴うインデックス顔選択処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例の画像処理装置において実行する笑顔識別を伴うインデックス顔選択処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例の画像処理装置において実行する子供顔識別を伴うインデックス顔選択処理シーケンスについて説明するフローチャートを示す図である。

符号の説明

１００ 撮像装置
１０１ レンズ
１０２ ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）
１０３ カメラ信号処理部
１０４ 記録再生部
１０５ 記録メディア
１０６ キー入力部
１０７ オンスクリーンディスプレイ処理部
１０８ 重畳処理部
１０９ 表示部
１１０ マイクロプロセッサ
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１４ 代表顔抽出部
１２０ バッテリ
１２１ 電源回路
２０１ 顔検出アイコン
３０１ コンテンツインデックス表示領域
３０２ 顔インデックス表示領域
３０３ コンテンツインデックス送り／戻しキー
３０６ 顔インデックス送り／戻しキー
４００ ＭＰＥＧデータ
４０１ 選択フレーム
４２１ 顔領域
４５１ 距離スコア算出フレーム
４５２ 参照フレーム

Claims (12)

1. 動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行する代表顔抽出部を有し、
   前記代表顔抽出部は、
   画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成であり、
   画像フレームから検出された検出顔各々のフレーム内の位置が中心に近いほど高いスコアとした位置スコアと、
   画像フレームから検出された検出顔各々のサイズが大きいほど高いスコアとしたサイズスコアと、
   画像フレームから検出された検出顔各々の顔らしさの評価値が高いほど高いスコアとした顔評価値スコアを算出し、
   前記位置スコアと、前記サイズスコアと、前記顔評価値スコアの全スコアを考慮した総合スコアを算出して総合スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行することを特徴とする画像処理装置。
2. 前記代表顔抽出部は、
   画像フレームから検出された検出顔の検出顔数が、先行する顔検出フレームにおける検出顔数より増加しているか否かを判定し、増加していることを条件として、検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記代表顔抽出部は、
   画像フレームから検出された検出顔各々の個人識別を実行し、先行する顔検出フレームにおける検出顔と異なる人物の顔を優先的にインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
4. 前記代表顔抽出部は、
   画像フレームから検出された検出顔各々の笑顔の度合いを判定し、笑顔の度合いの高いほど高いスコア値とした笑顔スコアを算出し、笑顔スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
5. 前記代表顔抽出部は、
   画像フレームから検出された検出顔各々の子供顔の度合いを判定し、子供顔の度合いの高いほど高いスコア値とした子供顔スコアを算出し、子供顔スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
6. 前記代表顔抽出部は、
   画像フレームから検出された検出顔各々の異なる特徴に基づく複数のスコアを算出し、さらに複数のスコアに基づいて総合スコアを算出して、総合スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
7. 前記代表顔抽出部は、
   選択されたインデックス用の顔画像に対応するメタデータを生成し、記録メディアに対する記録処理を実行する構成であることを特徴とする請求項１〜６いずれかに記載の画像処理装置。
8. 前記メタデータには、
   インデックス用の顔画像として選択された顔画像に対応するフレーム番号、顔位置情報、顔サイズ情報を含む構成であることを特徴とする請求項７に記載の画像処理装置。
9. 前記メタデータには、
   インデックス用の顔画像として選択された顔画像に対応するスコア情報を含む構成であることを特徴とする請求項７または８に記載の画像処理装置。
10. 撮像部と、
    前記撮像部において撮影された動画像データを入力し、入力動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行する代表顔抽出部を有し、
    前記代表顔抽出部は、
    画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成であり、
    画像フレームから検出された検出顔各々のフレーム内の位置が中心に近いほど高いスコアとした位置スコアと、
    画像フレームから検出された検出顔各々のサイズが大きいほど高いスコアとしたサイズスコアと、
    画像フレームから検出された検出顔各々の顔らしさの評価値が高いほど高いスコアとした顔評価値スコアを算出し、
    前記位置スコアと、前記サイズスコアと、前記顔評価値スコアの全スコアを考慮した総合スコアを算出して総合スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行することを特徴とする撮像装置。
11. 画像処理装置において実行する画像処理方法であり、
    代表顔抽出部が、動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行する代表顔抽出ステップを有し、
    前記代表顔抽出ステップは、
    画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行するステップであり、
    画像フレームから検出された検出顔各々のフレーム内の位置が中心に近いほど高いスコアとした位置スコアと、
    画像フレームから検出された検出顔各々のサイズが大きいほど高いスコアとしたサイズスコアと、
    画像フレームから検出された検出顔各々の顔らしさの評価値が高いほど高いスコアとした顔評価値スコアを算出し、
    前記位置スコアと、前記サイズスコアと、前記顔評価値スコアの全スコアを考慮した総合スコアを算出して総合スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行するステップであることを特徴とする画像処理方法。
12. 画像処理装置において画像処理を実行させるコンピュータ・プログラムであり、
    代表顔抽出部に、動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行させる代表顔抽出ステップを有し、
    前記代表顔抽出ステップは、
    画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行するステップであり、
    画像フレームから検出された検出顔各々のフレーム内の位置が中心に近いほど高いスコアとした位置スコアと、
    画像フレームから検出された検出顔各々のサイズが大きいほど高いスコアとしたサイズスコアと、
    画像フレームから検出された検出顔各々の顔らしさの評価値が高いほど高いスコアとした顔評価値スコアを算出し、
    前記位置スコアと、前記サイズスコアと、前記顔評価値スコアの全スコアを考慮した総合スコアを算出して総合スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行するステップであることを特徴とするコンピュータ・プログラム。