JP5866360B2 - 画像評価装置、画像評価方法、プログラム、および集積回路 - Google Patents

Description

本発明は、服装情報を用いて画像を評価する画像評価装置に関する。

デジタルスチルカメラやカメラ機能付き携帯電話などのデジタル画像撮影機器が普及し、撮影された画像を記録するためにハードディスクなどの大容量の記録媒体が提供されている。

しかし、大容量の記録媒体の利用により、撮影した画像を大量に記録することが可能な一方で、大量に記録した画像の中からユーザが所望する画像を検索することが困難になるという問題がある。

そこで、大量の画像の中からユーザが所望する画像の検索を容易にするために、画像を撮影されたイベント（入学式や運動会など）毎に分類して整理する方法が知られている。例えば、特許文献１では、画像に写る人物の服装の認識結果に基づいて、撮影されたイベントについて評価し、評価結果に従って画像を分類する手法が提案されている。

画像に写る人物の着ている服装を認識するためには、画像から服装であると思われる領域（以下、服装領域という）を検出し、その服装領域における画像特徴量を抽出する必要がある。画像特徴量の例としては、服装領域における色の含有割合や、隣接する画素間における輝度の変化量などが挙げられる。

特開２００９−３０１１１９号公報

しかし、画像特徴量を用いた服装認識では、人物の姿勢によって変化する服装領域を正確に検出することは困難であり、人物の向きや照明によって画像特徴量は異なるため、画像に写る人物の服装が正しく認識できないことがある。

従って、服装に基づいて画像を評価する装置において、服装を誤認識することによって、誤った評価をしてしまう可能性がある。

本発明は係る問題に鑑みてなされたものであり、上述のような誤認識があったとしても、画像を正しく評価できる画像評価装置を提供することを目的とする。

本発明に係る画像評価装置は、画像に写る人物それぞれに対して、当該人物の着ている服装の種類を示す第１種類情報を特定する第１特定手段と、所定の画像グループに属する複数の画像から特定される前記第１種類情報の種類ごとの出現頻度に基づいて、前記所定の画像グループを特徴付ける服装の種類を示す第２種類情報を特定する第２特定手段と、前記第２種類情報に基づいて前記所定の画像グループに属する複数の画像が撮影されたイベントを評価する評価手段とを備えることを特徴としている。

上記構成によれば、１つの画像に含まれる人物の服装が誤認識された場合でも、複数の画像における服装の出現頻度を確認するので、誤認識した画像も正しく評価できる。

実施の形態１における画像評価装置１００の機能ブロック図 画像管理情報テーブルの一例 人物管理情報テーブルの一例 ３つの画像と、それらの画像から検出された顔領域および服装領域の一例 ２つの画像と、それらの画像から検出された顔領域および服装領域の一例 実施の形態１における画像評価装置１００の処理のフローチャート 実施の形態１における画像イベント評価部１０７の処理のフローチャート 第３種類情報と画像数のテーブルの一例 服装とイベントの対応関係を示すテーブルの一例 画像グループのイベント評価結果を示すテーブルの一例 実施の形態２における画像評価装置１１００の機能ブロック図 人物の服装間の類似度情報テーブルの一例 実施の形態２における画像評価装置１１００の処理のフローチャート 実施の形態２における画像イベント評価部１１０２の処理のフローチャート 実施の形態３における画像評価装置１５００の機能ブロック図 顔ごとのクラスタを示すテーブルの一例 実施の形態３における画像評価装置１５００の処理のフローチャート 実施の形態３における画像イベント評価部１５０３の処理のフローチャート クラスタごとの顔を示すテーブルの一例 クラスタに属する顔と第１種類情報を示すテーブルの一例 実施の形態４における画像評価装置２１００の機能ブロック図 実施の形態４における画像評価装置２１００の処理のフローチャート 実施の形態４における画像イベント評価部２１０１の処理のフローチャート 第３種類情報とクラスタ数のテーブルの一例

＜発明の概要＞
撮影者は、通常、１つのイベントに対し複数の画像を撮影する。そのような１つのイベントに対して撮影された複数の画像において、服装を正しく認識できた画像はそのイベントについて正しく評価できるが、服装を正しく認識できなかった画像はそのイベントについて正しく評価することが困難である。本発明は、服装を正しく認識できた画像の情報を用いることにより、服装を正しく認識できなかった画像についても、正しく評価することを可能とするものである。
＜実施の形態１＞
以下、本発明の一実施形態である画像評価装置１００について図面を用いて説明する。
＜構成＞
図１は、実施の形態１における画像評価装置１００の機能ブロック図である。図１に示すように、画像評価装置１００は、撮影装置１２０および表示装置１３０と接続されている。

画像評価装置１００は、撮影装置１２０から画像群を取得し、取得した画像群を評価し、評価結果に従って表示装置１３０に出力する。

撮影装置１２０は、画像を撮影および撮影した画像を蓄積する。撮影装置１２０は、例えば、デジタルカメラなどから構成され、ＵＳＢ（Universal Serial Bus）ケーブルなどを介して画像評価装置１００と接続される。

表示装置１３０は、画像評価装置１００から出力される画像などの映像を表示する。表示装置１３０は、例えば、デジタルテレビなどから構成され、ＨＤＭＩ（High Definition Multimedia Interface）ケーブルなどを介して画像評価装置１００と接続される。

次に、本実施形態における画像評価装置１００の機能構成について説明する。画像評価装置１００は、画像情報取得部１１０、画像イベント評価部１０７および記憶部１０８を備える。また、画像情報取得部１１０は、画像取得部１０１、画像グループ生成部１０２、顔検出部１０３、服装検出部１０４、服装特徴量抽出部１０５および服装認識部１０６を備える。

画像取得部１０１は、撮影装置１２０が蓄積している画像群を一括して取得し、取得した画像それぞれに固有の画像ＩＤを付与する。画像取得部１０１は、各画像に付された画像ＩＤを記憶部１０８が保持する図２に示す画像管理情報テーブル２０１に登録する。

画像グループ生成部１０２は、画像取得部１０１で取得した画像群を、複数の画像グループに分類する。画像グループの生成方法は、例えば、同じ日に撮影された画像を１つの画像グループとし、各画像グループに固有の画像グループＩＤを付与する。画像グループ生成部１０２は撮影日時を、画像に付されているＥＸＩＦ（Exchangeable Image File Format）情報から取得し、画像グループの分類に用いる。画像グループ生成部１０２は、上記のようにして得た撮影日時および画像グループＩＤを画像管理情報テーブル２０１に登録する。

顔検出部１０３は、画像取得部１０１が取得した画像群の各画像から、人の顔が写る正方形領域（画像における座標）を検出し、検出した顔それぞれについて、固有の顔ＩＤを付与する。そして、顔検出部１０３は、画像管理情報テーブル２０１および記憶部１０８が保持する図３に示す人物管理情報テーブル３０１に、顔ＩＤを登録する。顔領域は、例えば、あらかじめ用意された顔画像からなる顔学習辞書を用いたマッチングによって検出する。

服装検出部１０４は、顔検出部１０３で検出した顔領域の座標を元に、その顔の人物の服装が写っている領域を検出する。服装検出部１０４は、顔領域の位置と大きさから顔と首と上半身の比率を算出して得られる服装領域を検出し、検出した服装領域は、顔ＩＤに関連付けて管理する。

図４を用いて、顔領域を用いた服装領域を算出する方法の具体例を説明する。画像４０１のように、顔検出部１０３にて検出された顔領域の大きさを縦１．０×横１．０であるとすると、服装領域は、顔領域の下端から０．２だけ下に離れた縦２．８×横２．０の領域とする。例えば、顔領域が縦１００ピクセル×横１００ピクセルとすると、服装領域は、顔領域から２０ピクセル下に離れた縦２８０ピクセル×横２００ピクセルの領域となる。

服装領域は顔領域を元に自動的に算出される領域であるため、服装領域として検出される領域は、画像４０２のように画像からはみ出てしまう場合がある。この場合は、服装領域は、服装領域４０２ａ’のうち画像内に収まっている斜線領域のみとする。

画像４０３のように服装領域が他人の顔領域と重複している場合は、服装領域は、顔領域と重複しない領域とする。また、服装領域が２つ以上重複している場合は、顔領域がより下に検出されている人物がカメラに対してより前面に写っていると見なして、より後面に写っている人物の服装領域は、より前面に写っている人物の服装領域と重複しない領域とする。これは、前面に写っている人が後面に写っている人よりも背が高ければ、後面の人は前面の人に隠れてしまい、顔領域が検出されないという仮定による。

例えば、画像４０３において、検出された顔領域４０３ａと４０３ｂのうち、顔領域４０３ｂのほうがより下に検出されている。服装領域４０３ａ'と服装領域４０３ｂ'が重複している場合は、顔領域４０３ｂに対応する服装領域４０３ｂ'のほうを優先的に検出する。顔領域４０３ａに対応する服装領域は、服装領域４０３ａ'のうち服装領域４０３ｂ'と重複しない格子領域を検出結果とする。

図５に、各画像から顔検出部１０３で検出された顔情報および、服装検出部１０４で検出された服装領域の結果の例を示す。実線で囲った領域が顔領域であり、点線で囲った領域が抽出された顔領域に対応する服装領域である。

図１に戻って、服装特徴量抽出部１０５は、服装検出部１０４において検出された服装領域の画像特徴量を抽出する。画像特徴量とは、画像中の複数の画素に係る画素値の分布の特徴を示したものである。服装領域の画像特徴量は、例えば、服装領域における色の含有割合や、隣接する画素間における輝度の変化量などが挙げられる。服装特徴量抽出部１０５は、抽出した服装領域の画像特徴量を人物管理情報テーブル３０１に登録する。

服装認識部１０６は、人物管理情報３０１の服装の画像特徴量を元に、その服装の種類を特定する。服装の認識方法は、ＳＶＭ（Support Vector Machine）法を用いてあらかじめ学習することにより、画像特徴量から服装の種類を特定できる分類器を設けておいて、各顔ＩＤに対応する服装の種類を特定する。なお、服装認識部１０６が認識した服装の種類を第１種類情報とする。服装認識部１０６は、特定した第1種類情報を、人物管理情報テーブル３０１に登録する。例えば、図３において、顔ＩＤが２や３の人物の第１種類情報は体操服と特定されている。なお、顔ＩＤが１の人物のように、いずれの服装の種類にも特定されない場合も起こりうる。

画像イベント評価部１０７は、画像管理情報テーブル２０１の内容と、人物管理情報テーブル３０１の内容とに基づいて、画像グループのイベント評価をする。詳細な評価方法については後述する。なお、ここでは、イベント評価は、画像グループまたは画像とイベントとを対応付けることとする。

記憶部１０８は、各画像ＩＤに対応する撮影日時、画像グループＩＤおよび顔ＩＤからなる画像管理情報テーブル２０１と、各顔ＩＤに対応する服装の画像特徴量および第１種類情報からなる人物管理情報テーブル３０１と、後述する図８、図９、図１０に示す第３種類情報と画像数のテーブル８０１、服装とイベントの対応関係を示すテーブル９０１および画像グループのイベント評価結果を示すテーブル１００１を保持する。

画像評価装置１００は、図示していないプロセッサおよびメモリを備え、プロセッサがメモリに格納されたプログラムを実行することにより各機能部を実現している。
＜動作＞
次に、本実施形態の動作を図６に示すフローチャートを用いて説明する。

まず、画像取得部１０１は、撮影装置１２０が蓄積した画像を取得し、各画像に固有の画像ＩＤを画像管理情報テーブル２０１に登録する（ステップＳ６０１）。

画像グループ生成部１０２は、画像取得部１０１が取得した画像群から画像グループを生成し、各グループに固有の画像グループＩＤを画像管理情報テーブル２０１に登録する（ステップＳ６０２）。

顔検出部１０３は、各画像から人物の顔領域を検出し、各顔に固有の顔ＩＤを画像管理情報テーブル２０１および人物管理情報テーブル３０１に登録する（ステップＳ６０３）。

服装検出部１０４は、顔検出部１０３で検出された顔領域から各顔領域に対応する服装領域を検出する（ステップＳ６０４）。

服装特徴量抽出部１０５は、服装検出部１０４で検出された服装領域の画像特徴量を抽出し、人物管理情報テーブル３０１に登録する（ステップＳ６０５）。

服装認識部１０６は、人物管理情報テーブル３０１の服装の画像特徴量に基づいて、各人物の第1種類情報を特定し、特定結果を人物管理情報テーブル３０１に登録する（ステップＳ６０６）。

画像イベント評価部１０７は、ステップＳ６０１〜Ｓ６０６の処理を実行して作成した画像管理情報テーブル２０１の内容および人物管理情報テーブル３０１の内容をもとに、複数の画像グループのイベント評価をする（ステップＳ６０７）。図７は、画像イベント評価部１０７が１つの画像グループのイベント評価をする動作を示すステップＳ６０７の詳細なフローチャートである。

画像イベント評価部１０７は、評価対象の画像グループから、一定人数以上の人物が写る画像群を選択する（ステップＳ７０１）。ここでは、画像イベント評価部１０７は、複数の人物の着ている服装からイベント評価を行うために、２人以上の人物が写っている画像を選択する。画像に写る人物の数については、画像管理情報テーブル２０１における顔ＩＤのフィールドに登録されている顔ＩＤの数から知ることができる。

画像イベント評価部１０７は、ステップＳ７０１で選択された画像群の中から１つの画像を選択し、その画像を特徴付ける服装の種類（以下、第３種類情報とする）として、その画像において第１基準を満たす服装の種類を特定する（ステップＳ７０２）。例えば、第1基準は、画像に含まれる服装の数に対する同一の第１種類情報の数の割合が０．５を超えることとする。つまり、画像イベント評価部１０７は、画像に写る過半数の人物が着ている同一種類の服装があればその服装の種類を特定する。

図２に示す画像管理情報テーブル２０１および図３に示す人物管理情報テーブル３０１を用いて、ステップＳ７０２の動作の具体例を説明する。例えば、画像イベント評価部１０７が、本ステップで選択する画像の画像ＩＤを１とする。このとき、画像管理情報テーブル２０１から、画像に含まれる人物数は、顔ＩＤが１〜４の４人であることが分かる。また、人物管理情報テーブル３０１より、顔ＩＤが２〜４の３人の人物の第1種類情報が体操服と特定され、顔ＩＤが１の人物の服装の種類は特定されていないことがわかる。従って、画像に含まれる人物数に対する体操服を着ている人物数の割合は、３／４＝０．７５となる。画像に含まれる全服装数（４）に対する体操服の数（３）の割合（０．７５）が０．５を超えることから、体操服は第１基準を満たす。従って、画像イベント評価部１０７は、画像ＩＤが１の画像に対する第３種類情報が体操服であると特定する。

画像イベント評価部１０７は、同一の第３種類情報によって特徴付けられる画像数をカウントする（ステップＳ７０３）。ここでは、画像イベント評価部１０７は、図８に示す第３種類情報と画像数のテーブル８０１を作成し、ステップＳ７０２で特定された第３種類情報に対応する画像数のフィールドをインクリメントすることによってカウントする。

画像イベント評価部１０７は、ステップＳ７０１において選択された全画像の処理が終了したかどうかを判定する（ステップＳ７０４）。ＹＥＳの場合はステップＳ７０５に進み、ＮＯの場合は、ステップＳ７０２に戻る。

画像イベント評価部１０７は、画像グループを特徴づける服装の種類（以下、第２種類情報とする）として、画像グループにおいて第２基準を満たす服装の種類を特定する（ステップＳ７０５）。例えば、第２基準は、画像グループの中でステップＳ７０１において選択された画像数に対して、同一の第３種類情報で特徴付けられる画像数の割合が０．５を超えることとする。つまり、画像イベント評価部１０７は、画像グループ内の複数の人物が写っている画像のうち、過半数の画像において、画像に写る過半数の人物が着ている服装があればその種類を特定する。

図８に示す、第３種類情報と画像数のテーブル８０１を用いてステップＳ７０５の処理の具体例を説明する。例えば、画像グループの中でステップＳ７０１において選択された画像数が５０枚であるとする。このとき、体操服に関しては、画像グループの中でステップＳ７０１において選択された画像数に対する体操服の数の割合が３６／５０＝０．７２である。Ｓ７０１において選択された画像数（５０）に対して体操服によって特徴付けられる画像数（３６）の割合（０．７２）が基準（０．５）を超えることから、体操服は第２基準を満たす。従って、画像イベント評価部１０７は、画像グループに対する第２種類情報が体操服であると特定する。

画像イベント評価部１０７は、第２種類情報に応じて画像グループのイベント評価を行う（ステップＳ７０６）。具体的には、画像イベント評価部１０７は、記憶部１０８があらかじめ保持する図９に示す服装とイベントとの対応関係を示すテーブル９０１から、第２種類情報と対応付けられたイベントを特定し、画像グループと特定したイベントとの対応付けを行う。また、画像グループに属するすべての画像に特定したイベントのイベントタグを付与する。

画像評価装置１００は、全ての画像グループに対して上述のイベント評価を行う。図１０に画像グループのイベント評価結果例を示す。

最後に、画像評価装置１００は、画像取得部１０１が取得した各画像を評価結果が分かるようにして表示装置１３０へ出力する。例えば、画像評価装置１００は、各画像と付与されたイベントタグのイベント名とを合成して表示装置１３０へ出力する。
＜まとめ＞
本実施の形態の画像評価装置１００は、２つ以上の画像からなる画像グループに対して、服装の種類ごとの画像グループにおける出現頻度に基づいて、画像グループに含まれる画像のイベント評価をする。

本実施の形態の画像評価装置１００は、上記画像グループに属する少数の画像において、複数の服装を誤認識した場合でも、画像グループに属する大半の画像において正しく服装を認識できれば、誤認識した画像も正しく評価できる。つまり、本実施の形態の画像評価装置１００は、１つの画像で評価するより正確に評価を行うことが可能である。

＜実施の形態２＞
実施の形態１では、服装認識部１０６で認識された服装情報のみに基づいて、画像のイベント評価を行っていた。実施の形態２では、実施の形態１に加えて、服装間の類似度を算出し、類似度の高い服装同士は同一の服装の種類であるという仮定のもとに、画像のイベント評価を行う方法を説明する。なお、構成とデータについて実施の形態１と同様の部分は同じ符号を付し説明を省略する。
＜構成＞
以下、本実施の形態の画像評価装置１１００について説明する。図１１は、実施の形態２における画像評価装置１１００の機能ブロック図である。画像評価装置１１００は、実施の形態１の画像イベント評価部１０７、記憶部１０８、画像情報取得部１１０の代わりに画像イベント評価部１１０２、記憶部１１０３、画像情報取得部１１１０を備える。画像情報取得部１１１０は、画像情報取得部１１０の構成に加えて、類似度算出部１１０１を備える。

類似度算出部１１０１は、人物管理情報３０１で管理される服装の画像特徴量に基づいて、同一画像に写る服装間の類似度を算出し、記憶部１１０３が保持する図１２に示す人物の服装間の類似度情報テーブル１２０１に登録する。類似度は、服装の画像特徴量をベクトルとして２つのベクトルのコサイン類似度を算出する。

画像イベント評価部１１０２は、画像管理情報テーブル２０１の内容、人物管理情報テーブル３０１の内容および人物の服装間の類似度情報テーブル１２０１の内容に基づいて、画像グループのイベント評価をする。詳細な評価方法については後述する。

記憶部１１０３は、画像管理情報テーブル２０１、人物管理情報テーブル３０１、第３種類情報と画像数のテーブル８０１、服装とイベントの対応関係を示すテーブル９０１および画像グループのイベント評価結果を示すテーブル１００１に加えて各画像における人物の服装間の類似度情報テーブル１２０１を保持する。
＜動作＞
次に、本実施形態の動作を図１３に示すフローチャートを用いて説明する。ここで、ステップＳ６０１〜Ｓ６０６の処理は実施の形態１と同様であるので説明を省略する。

類似度算出部１１０１は、人物管理情報テーブル３０１の服装の画像特徴量から、同一画像に写る服装間の類似度を算出する（ステップＳ１３０１）。

画像イベント評価部１１０２は、画像管理情報テーブル２０１の内容、人物管理情報テーブル３０１の内容および人物の服装間の類似度情報テーブル１２０１の内容をもとに、複数の画像グループのイベント評価をする（ステップＳ１３０２）。図１４は、画像イベント評価部１１０２が１つの画像グループのイベント評価をする動作を示すステップＳ１３０１の詳細なフローチャートである。

画像イベント評価部１１０２は、評価対象の画像グループから、一定人数以上の人物が写る画像群を選択する（ステップＳ７０１）。

画像イベント評価部１１０２は、ステップＳ７０１において選択された複数の画像から画像を１つ選択し、その画像に含まれる服装のうち、類似する服装の組み合わせが第３基準を満たすかどうかを判定する（ステップＳ１４０１）。ＹＥＳの場合は、ステップＳ１４０３に進み、ＮＯの場合はステップＳ１４０２に進む。類似する服装の組み合わせとは、類似度算出部１１０１が算出する服装間の類似度が０．７を超える２つの服装の組み合わせのことを表す。また、第３基準は、例えば、画像に写る服装から２つの服装を選ぶ組み合わせの数のうち、類似する服装の組み合わせの数の割合が０．６を超えることとする。

図１２に示す人物の服装間の類似度情報テーブル１２０１を用いて、ステップＳ１４０１の処理の具体例を説明する。図１２は、画像ＩＤが１の画像に写る人物間の服装の類似度を示している。画像に含まれる人物数は顔ＩＤが１〜４の４人であることから画像に写る服装の組み合わせの数は、₄Ｃ₂＝（４×３）／（２×１）＝６組である。また、類似度情報テーブル１２０１から類似する服装の組み合わせの数は、基準０．７を超える類似度を有する顔ＩＤの組合せが（２，３）、（２，４）、（３，４）の計３組である。従って、画像に含まれる服装のうち、類似する服装の数の割合は３／６＝０．５である。画像に写る服装から２つの服装を選ぶ組み合わせの数（６）のうち、類似する服装の組み合わせの数（３）の割合（０．５）が基準（０．６）より小さいことから、画像イベント評価部１１０２は、類似する服装の組み合わせは第３基準を満たさないと判定する。

画像イベント評価部１１０２は、ステップＳ１４０１において選択された画像において、類似する服装の組み合わせが第４基準を満たすかどうかを判定する（ステップＳ１４０２）。Ｙｅｓの場合はステップＳ１４０３に進み、Ｎｏの場合はステップＳ１４０５に進む。ここでは、第４基準は、例えば、類似する服装の組み合わせの数をＮとすると、類似する服装の組み合わせにおける類似度の平均値が所定の式０．９−（０．０１×Ｎ）を超えることとする。

図１２に示す人物の服装間の類似度情報テーブル１２０１を用いて、ステップＳ１４０２の処理の具体例を説明する。類似する服装の組み合わせは顔ＩＤが（２，３）、（２，４）、（３，４）の３組であることから、第４基準は顔ＩＤが３組の類似度の平均値が０．９−（０．０１×３）＝０．８７を超えることである。また、類似する服装の組み合わせにおける類似度の平均値は、（０．９３＋０．９８＋０．９１）／３＝０．９４である。類似する服装の組み合わせの類似度の平均値（０．９４）が基準（０．８７）を超えることから、画像イベント評価部１１０２は、類似する組み合せは第４基準を満たすと判定する。

画像イベント評価部１１０２は、ステップＳ１４０１の処理で選択された画像を特徴付ける服装の種類（第３種類情報）として、第５基準を満たす服装の種類を特定する（ステップＳ１４０３）。ここで、例えば、第５基準を満たす服装の種類は、ステップＳ１４０１の処理で選択された画像における全類似する服装の組合せに含まれる服装のうち、服装認識部１０６において特定の種類と特定されている第１種類情報とする。ただし、第５基準を満たす第１種類情報が同時に２種類以上ある場合は、ステップＳ１４０１の処理で選択された画像における全類似する服装の組合せに含まれる服装のうち、同一の種類と特定されている数が多い第１種類情報を、第３種類情報とする。

図１２に示す人物の服装間の類似度情報テーブル１２０１および図３に示す人物管理情報テーブル３０１を用いてステップＳ１４０３の処理の具体例を説明する。類似する服装の組合せは、顔ＩＤの組合せが（２，３）、（２，４）、（３，４）の３組である。類似する服装の組合せに含まれる服装を着ている人物は顔ＩＤが２、３、４の３人であることが分かる。人物管理情報テーブル３０１から、顔ＩＤが２、３、４の人物の服装は服装認識部１０６において体操服と特定されている。従って、画像イベント評価部１１０２は、第３種類情報が体操服であると特定する。

以下、画像イベント評価部１１０２は、実施の形態１におけるステップＳ７０３〜Ｓ７０６で画像イベント評価部１０７が行う処理と同様の処理を行うので説明を簡潔にする。

画像イベント評価部１１０２は、同一の第３種類情報によって特徴付けられる画像数をカウントする（ステップＳ１４０４）。

画像イベント評価部１１０２は、ステップＳ７０１において選択された全画像の処理が終了したかどうかを判定する（ステップＳ１４０５）。ＹＥＳの場合はステップＳ１４０６に進み、ＮＯの場合は、ステップＳ１４０１に戻る。

画像イベント評価部１１０２は、画像グループを特徴づける服装の種類（第２種類情報）として、画像グループにおいて第６基準を満たす服装の種類を特定する（ステップＳ１４０６）。例えば、第６基準は、画像グループの中でステップＳ７０１において選択された画像数に対して、同一の第３種類情報で特徴付けられる画像数の割合が０．５を超えることとする。

画像イベント評価部１１０２は、第２種類情報に応じて画像グループのイベント評価を行う（ステップＳ１４０７）。

画像評価装置１１００は、全ての画像グループに対するイベント評価を行い、画像取得部１０１が取得した各画像を評価結果のイベントが分かるようにして表示装置１３０へ出力する。
＜まとめ＞
実施の形態２の画像評価装置１１００は、２つ以上の画像からなる画像グループに対して、画像グループに含まれる画像における服装の種類ごとの出現頻度および服装間の類似度に基づいて、画像グループに含まれる画像のイベント評価をする。

本実施の形態の画像評価装置１１００は、例えば、実際は体操服である服装が誤認識により体操服と認識されない服装について、服装の画像特徴量の類似性を用いることで体操服と特定できる可能性がある。つまり、本実施の形態の画像評価装置１１００は、実施の形態１の画像評価装置１００より正確な評価を行うことが可能である。

＜実施の形態３＞
実施の形態１では、服装認識部１０６で認識された服装情報のみに基づいて画像に写る人物の着ている服装を推定して、画像のイベント評価を行っている。実施の形態３では、実施の形態１に加えて、顔の特徴量に基づいたクラスタリングを利用して、複数の画像に写る同一人物を識別し、同一イベント中同一人物は同一の服装を着ているという仮定のもとに、画像のイベント評価を行う方法を説明する。なお、構成とデータについて実施の形態１と同様の部分は同様の符号を付し説明を省略する。
＜構成＞
以下、本発明の一実施形態である画像評価装置１５００について説明する。図１５は、実施の形態３における画像評価装置１５００の機能ブロック図である。画像評価装置１５００は、実施の形態１の画像評価装置１００と比べて、画像イベント評価部１０７、記憶部１０８、画像情報取得部１１０の代わりに画像イベント評価部１５０３、記憶部１５０４、画像情報取得部１５１０を備える。画像情報取得部１５１０は画像情報取得部１１０の構成に加えて顔特徴量抽出部１５０１および顔クラスタリング部１５０２を備える。

顔特徴量抽出部１５０１は、顔検出部１０３で検出した顔領域から、顔の画像特徴量を抽出する。抽出した顔の特徴量は、顔領域に関連付けて管理する。

顔クラスタリング部１５０２は、顔特徴量抽出部１５０１が抽出した顔の画像特徴量に基づいて、クラスタリングを行い、同一の画像グループ内で顔の画像特徴量が類似する顔を１つのクラスタとする。また、クラスタ毎に固有のクラスタＩＤを付与し、記憶部１５０４の保持する図１６に示す顔ごとのクラスタを示すテーブル１６０１に登録する。同じクラスタに分類された顔の人物は、同一人物であることが推定できる。

画像イベント評価部１５０３は、画像管理情報テーブル２０１の内容、人物管理情報テーブル３０１の内容、顔ごとのクラスタを示すテーブル１６０１に基づいて、画像グループのイベント評価をする。詳細な評価方法については後述する。

記憶部１５０４は、画像管理情報テーブル２０１、人物管理情報テーブル３０１、第３種類情報と画像数のテーブル８０１、服装とイベントの対応関係を示すテーブル９０１および画像グループのイベント評価結果を示すテーブル１００１に加えて顔ごとのクラスタを示すテーブル１６０１および後述する図１９に示すクラスタごとの顔を示すテーブル１９０１と図２０に示すクラスタに属する顔と第1種類情報を示すテーブル２００１とを保持する。
＜動作＞
次に、本実施形態の動作を図１７に示すフローチャートを用いて説明する。ここで、ステップＳ６０１〜Ｓ６０６の処理は実施の形態１と同様の処理であるので説明を省略する。

顔特徴量抽出部１５０１は、顔検出部１０３で検出された各顔領域から各々の顔の画像特徴量を抽出する（ステップＳ１７０１）。

顔クラスタリング部１５０２は、顔特徴量抽出部１５０１で抽出された顔の画像特徴量に基づいて、画像特徴量の類似する顔を１つのクラスタに分類する（ステップＳ１７０２）。顔クラスタリング部１５０２は、各クラスタに固有のクラスタＩＤを付与し、顔ごとのクラスタを示すテーブル１６０１に登録する。

画像イベント評価部１５０３は、画像管理情報テーブル２０１の内容、人物管理情報テーブル３０１の内容、顔ごとのクラスタを示すテーブル１６０１の内容をもとに、複数の画像グループのイベント評価をする（ステップＳ１７０３）。図１８は、画像イベント評価部１５０３が１つの画像グループのイベント評価をする動作を示すステップＳ１７０３の詳細なフローチャートである。

画像イベント評価部１５０３は、評価対象の画像グループから、一定人数以上の人物が写る画像群を選択する（ステップＳ７０１）。

画像イベント評価部１５０３は、ステップＳ７０１において選択された複数の画像から判定対象の画像を１つ選択する（ステップＳ１８０１）。

画像イベント評価部１５０３は、ステップＳ１８０１で選択された画像に含まれる顔を１つ選択する（ステップＳ１８０２）。

画像イベント評価部１５０３は、ステップＳ１８０２において選択された顔が属するクラスタについて、そのクラスタに属する各顔から服装認識部１０６により特定された第１種類情報を抽出する（ステップＳ１８０３）。

顔ごとのクラスタを示すテーブル１６０１を用いて、ステップＳ１８０３の動作を具体的に説明する。例えば、ステップＳ１８０２において選択された顔の顔ＩＤが１であるとする。テーブル１６０１から、顔ＩＤが１である人物のクラスタＩＤは１である。画像イベント評価部１５０３は、テーブル１６０１からクラスタＩＤが１であるレコードを抽出し、図１９に示すクラスタごとの顔を示すテーブル１９０１を作成する。テーブル１９０１からクラスタＩＤが１である人物の顔ＩＤは１、１３、１７および３１である。顔ＩＤが１、１３、１７および３１の顔から特定された第１種類情報を図３の人物管理情報テーブル３０１から抽出する。図２０に抽出結果例を示す。

画像イベント評価部１５０３は、ステップＳ１８０２で選択した顔の属するクラスタを特徴づける服装の種類（以下、第４種類情報とする）として、第７基準を満たす服装の種類を特定する（ステップＳ１８０４）つまり、ステップＳ１８０２で選択された顔の人物の着ている服装を特定する。ここで、第７基準を満たす服装の種類は、ステップＳ１８０３の処理で抽出された第１種類情報のうち、服装認識部１０６において特定の種類と特定されている第１種類情報とする。第７基準を満たす第１種類情報が同時に２種類以上ある場合は、ステップＳ１８０３の処理で抽出された第１種類情報のうち、同一の種類と特定されている数が多い第１種類情報を、ステップＳ１８０２で選択された顔の属するクラスタの第４種類情報とする。

画像イベント評価部１５０３は、ステップＳ１８０１において選択された画像に写るすべての顔についてステップＳ１８０３〜Ｓ１８０４の処理が完了したかどうかを判定する（ステップＳ１８０５）。Ｙｅｓの場合はステップＳ１８０６へ進み、ＮＯの場合は、ステップＳ１８０２に戻る。

画像イベント評価部１５０３は、ステップＳ１８０１において選択された画像を特徴付ける服装（第３種類情報）として、該画像に含まれる顔について第４種類情報から、第８基準を満たす服装の種類を特定する（ステップＳ１８０６）。ここで、第８基準は、例えば、ステップＳ１８０１で選択された画像に写る服装の数に対して、ステップＳ１８０４で特定された第４種類情報について、同一の第４種類情報の数の割合が０．５を超えることとする。

以下、画像イベント評価部１５０３は、実施の形態１におけるステップＳ７０３〜Ｓ７０６で画像イベント評価部１０７が行う処理と同様の処理を行うので説明を簡潔にする。

画像イベント評価部１５０３は、同一の第３種類情報によって特徴付けられる画像数をカウントする（ステップＳ１８０７）。

画像イベント評価部１５０３は、ステップＳ７０１において選択された全画像の処理が終了したかどうかを判定する（ステップＳ１８０８）。ＹＥＳの場合はステップＳ１８０９に進み、ＮＯの場合は、ステップＳ１８０１に戻る。

画像イベント評価部１５０３は、画像グループを特徴づける服装の種類（第２種類情報）として、画像グループにおいて第９基準を満たす服装の種類を特定する（ステップＳ１８０９）。例えば、第９基準は、画像グループの中でステップＳ７０１において選択された画像数に対して、同一の第３種類情報で特徴付けられる画像数の割合が０．５を超えることとする。

画像イベント評価部１５０３は、第２種類情報に応じて画像グループのイベント評価を行う（ステップＳ１８１０）。

画像評価装置１５００は、全ての画像グループに対するイベント評価を行い、画像取得部１０１が取得した各画像を評価結果のイベントが分かるようにして表示装置１３０へ出力する。
＜まとめ＞
実施の形態３の画像評価装置１５００は、２つ以上の画像からなる画像グループに対して、画像グループに含まれる画像における服装の種類と服装の種類ごとの画像グループにおける出現頻度および顔クラスタリング結果に基づいて、画像グループのイベント評価をする。

本実施の形態の画像評価装置１５００は、例えば、実際は体操服を着ている人物が、ある画像において体操服を着ていると認識されなかった場合でも、別の画像で体操服を着ていると認識できれば、体操服を着ていると認識できなかった画像においてもその人物の着ている服装が体操服であるとして特定できる。つまり、本実施の形態の画像評価装置１５００は、実施の形態１の画像評価装置１００より正確な評価を行うことが可能である。

＜実施の形態４＞
実施の形態１〜３では、特定の服装を着ている人物が多く写っている画像の数に基づいて、画像のイベント評価を行っている。実施の形態４では、実施の形態３における、顔クラスタリングを利用して、画像グループに登場する特定の種類の服装を着ている人物の数に基づいて、画像のイベント評価を行う方法を説明する。なお、構成とデータについて実施の形態１、３と同様の部分は同様の符号を付し説明を省略する。
＜構成＞
以下、本発明の一実施形態である画像評価装置２１００について説明する。図２１は、実施の形態３に係る画像評価装置２１００の構成を示すブロック図である。画像評価装置２１００は、実施の形態３の構成の画像イベント評価部１５０３、記憶部１５０４の代わりに画像イベント評価部２１０１、記憶部２１０２を備える。

画像イベント評価部２１０１は、画像管理情報テーブル２０１の内容、人物管理情報テーブル３０１の内容および顔ごとのクラスタを示すテーブル１６０１の内容に基づいて、画像グループのイベント評価をする。詳細な評価方法については後述する。

記憶部２１０２は、画像管理情報テーブル２０１、人物管理情報テーブル３０１、服装とイベントの対応関係を示すテーブル９０１、画像グループのイベント評価結果を示すテーブル１００１、顔ごとのクラスタを示すテーブル１６０１、クラスタごとの顔を示すテーブル１９０１、クラスタに属する顔と第1種類情報を示すテーブル２００１および後述する図２４に示す第３種類情報とクラスタ数のテーブル２４０１を保持する。
＜動作＞
次に、本実施形態の動作を図２２に示すフローチャートを用いて説明する。ここで、ステップＳ６０１〜Ｓ６０６およびステップＳ１７０１、Ｓ１７０２の処理は実施の形態３と同様であるので説明を省略する。

画像イベント評価部２１０１は、画像管理情報テーブル２０１、人物管理情報テーブル３０１、顔ごとのクラスタを示すテーブル１６０１の内容をもとに、複数の画像グループのイベント評価をする（ステップＳ２２０１）。図２３は、画像イベント評価部２１０１が１つの画像グループのイベント評価をする動作を示すステップＳ２２０１の詳細なフローチャートである。

まず、画像イベント評価部２１０１は、評価対象の画像グループ内のクラスタを１つ選択する（ステップＳ２３０１）。

画像イベント評価部２１０１は、ステップＳ２３０１において選択されたクラスタに属する各顔から服装認識部１０６により特定された第１種類情報を抽出する（ステップＳ２３０２）。

画像イベント評価部２１０１は、ステップＳ２３０１で選択されたクラスタを特徴づける服装（以下、第３種類情報とする）として、第１０基準を満たす服装の種類を特定する（ステップＳ２３０３）。ここで、第１０基準を満たす服装の種類は、ステップＳ２３０２で抽出された第１種類情報のうち、服装認識部１０６において特定の種類と特定されている第１種類情報とする。第１０基準を満たす第１種類情報が２種類以上ある場合は、ステップＳ２３０２で抽出された第１種類情報のうち、同一の種類と特定されている数が多い第１種類情報を、ステップ２３０１で選択されたクラスタの第３種類情報とする。

画像イベント評価部２１０１は、同一の第３種類情報によって特徴付けられるクラスタ数をカウントする（ステップＳ２３０４）。つまり、画像イベント評価部２１０１は、各服装の種類ごとに、画像グループ内で同一の種類の服装を着ている人物数をカウントする。ここでは、画像イベント評価部２１０１は、図２４に示す服装ごとのクラスタ数のテーブル２４０１を作成し、ステップＳ２３０３で特定された第３種類情報に対応するクラスタ数のフィールドをインクリメントすることによってカウントする。

画像イベント評価部２１０１は、画像グループ内の全てのクラスタについてステップＳ２３０２〜Ｓ２３０４の処理が完了したかどうかを判定する（ステップＳ２３０５）。Ｙｅｓの場合はステップＳ２３０６に進み、Ｎｏの場合はステップＳ２３０１に戻る。

画像イベント評価部２１０１は、画像グループを特徴付ける服装の種類（第２種類情報）として、画像グループにおいて第１１基準を満たす服装の種類を特定する（ステップＳ２３０６）。ここでは、第１１基準は、例えば、画像グループ内のクラスタ数に対して、同一の第３種類情報で特徴付けられるクラスタ数の割合が０．５を超えることとする。つまり、画像グループ内に登場する人物のうち、過半数の人物が着ている服装があればその種類を特定する。

図２４に示す、第３種類情報とクラスタ数のテーブル２４０１を用いてステップＳ２３０６の処理の具体例を説明する。例えば、画像グループ内のクラスタ数が１０であるとする。このとき、体操服によって特徴付けられているクラスタ数は、６／１０＝０．６である。画像グループ内のクラスタ数（１０）に対して体操服によって特徴付けられているクラスタ数（６）の割合（０．６）が基準（０．５）を超えることから、体操服は第１１基準を満たす。従って、画像イベント評価部２１０１は、第２種類情報が体操服であると特定する。

画像イベント評価部２１０１は、第２種類情報に応じて画像グループのイベント評価を行う（ステップ２３０７）。

画像評価装置２１００は、全ての画像グループに対するイベント評価を行い、画像取得部１０１が取得した各画像を評価結果のイベントが分かるようにして表示装置１３０へ出力する。
＜まとめ＞
実施の形態４の画像評価装置２１００は、２つ以上の画像からなる画像グループに対して、画像グループに登場する同一の人物を同一のクラスタに分類し、特定の服装を着ている人物数に基づいて、画像グループに含まれる画像のイベント評価をする。

実施の形態３の画像評価装置１５００は、画像グループに属する画像単位で評価を行うため、特定の個人が複数の画像に登場する場合、該人物が登場する画像が増えるほど該人物が評価結果に大きな影響を及ぼす可能性がある。それに対して、本実施の形態の画像評価装置２１００では、同一人物を同一のクラスタに評価し、クラスタ単位で評価を行うため、特定の個人が評価結果に大きく影響を与えることなく、画像グループのイベント評価をすることができる。

＜補足１＞
上記実施形態について説明したが、本発明はこれに限られるものではない。以下、本発明の思想として含まれる各種変形例について説明する。

（１）画像グループ生成１０３において、ＥＸＩＦ情報から取得する撮影日時に基づいてグループの生成を行っているが、グループの生成方法はこれに限られるものではない。例えば、ＥＸＩＦ情報などのメタデータから取得できる撮影地点に基づいて、ある地点から一定距離内で撮影された画像を１つのグループとして画像グループを生成してもよい。

（２）服装検出部１０４において、顔領域がより下に検出されている人物を、カメラに対してより前面に写っている人物として検出しているが、人物の位置関係を検出する方法はこれに限るものではない。例えば、顔領域がより大きく検出されている人物を、カメラに対してより前面に写っている人物として検出してもよい。また、撮影装置１２０がステレオグラムなどの視差情報を含む画像を撮影および蓄積できる場合には、その視差情報に基づいて、カメラから被写体までの距離を算出し、人物の位置関係を検出してもよい。

（３）服装認識部１０６において、服装の種類を特定する方法としてあらかじめＳＶＭ法によって服装の種類を特定できる分類器を設けるとしているが、これに限られるものではない。例えば、抽出された画像特徴量と各服装のテンプレートとなる画像特徴量とのマッチングによって服装の種類を特定してもよい。

また、画像評価装置は、さらに更新情報取得部を備え、ネットワークを介してこれら分類器やテンプレートの更新情報を取得し、分類器やテンプレートを更新できるようにしてもよい。この構成により、画像評価装置は、特定可能な服装の種類を必要に応じて変更することが可能になる。また、更新情報取得部は、分類器やテンプレートの変更に合わせて服装とイベントの対応関係を示すテーブル９０１の更新情報も取得し、評価可能なイベントを変更できるようにしてもよい。この構成により、新たに特定可能になった服装の種類に対応するイベントに画像グループをイベント評価することが可能になる。

（４）類似度算出部１１０１において、服装間の類似度として、服装の画像特徴量をベクトルとする２つのベクトル間のコサイン類似度を算出しているが、類似度はこれに限られるものではない。例えば、服装間の画像特徴量におけるピアソンの相関係数や、服装の画像特徴量をベクトルとする２つのベクトル間のユークリッド距離に１を加えたものの逆数を類似度として算出してもよい。

（５）実施の形態１、３のステップＳ７０１、において、１人しか写っていない画像を判断の対象から除外したが、１人の人物が写っている画像も含めて選択してもよい。

（６）類似度算出部１１０１で算出する類似度を用いて画像を特徴付ける服装の種類を特定する方法について、実施の形態２では、類似する服装を着ている人物の組合せの数、または、類似する服装を着ている人物の組合せにおける類似度の平均値に基づいて、画像を特徴づける服装の種類を特定している。しかしながら、類似度を用いて画像を特徴付ける服装の種類を特定する方法はこれに限られるものではない。

例えば、類似度が所定の閾値よりも高い服装の組合せがあって、一方が服装認識部１０６において特定の種類の服装と特定され、他方の服装の種類が特定されていない場合において、後者の服装を前者の服装と同一の服装と見なして、服装認識部１０６の認識結果を補完する手法がある。本発明の一実施形態の画像評価装置は、上述の手法で補完した認識結果に基づいて、実施の形態１のように同一の服装の数が一定の基準を満たす服装を、画像を特徴付ける服装として特定してもよい。

（７）実施の形態１〜３で、各画像を特徴付ける服装の種類について、同一の服装の種類によって特徴付けられる画像の数によって、画像グループを特徴付ける服装を特定していたが、各画像を特徴付ける服装の種類に基づいて画像グループを特徴付ける服装を特定する方法はこれに限られるものではない。例えば、各画像を画像に写る人物数によって重み付けを行い、同一の服装の種類によって特徴付けられる画像の数について、重みを付けた値を加算して評価してもよい。上記方法によれば、多くの人物が写る画像の評価が高くなるので、多くの人物の着ている服装の中で支配的な服装の種類を特定することができる。

（８）実施の形態３では、１つの画像で出現数の多い服装の種類を、当該画像を特徴付ける服装の種類として特定していた。別の実施形態では、画像に写る人物の重要度を計算して、計算した重要度も考慮して画像を特徴付ける服装の種類を特定してもよい。人物の重要度は、例えば、各クラスタに分類される顔数に基づき、多くの画像に写っている人物の重要度を高く計算してもよいし、画像における出現位置や表示サイズに基づき、画像中央に写っている人物や大きく写っている人物の重要度を高く計算してもよい。

各クラスタに分類される顔数を人物の重要度とする場合を例に挙げて、画像を特徴付ける服装の種類を特定する変形例について説明する。

顔クラスタリング部１５０２は、ステップＳ１７０２において、クラスタリングを実施した後、各クラスタに分類される顔数と第４種類情報（クラスタを特徴付ける服装の種類）を管理する。なお、実施の形態３では、第４種類情報は、画像イベント評価部１５０３で特定されたが、顔クラスタリング部１５０２で特定されてもよい。クラスタリングの結果、例えば、クラスタ１の顔数が「６」で服装の種類が「体操服」、クラスタ２の顔数が「２」で服装の種類が「分類なし」および、クラスタ３の顔数が２で服装の種類が「分類なし」であったとする。

画像イベント評価部１５０３は、ステップＳ１８０６において、ステップＳ１８０１で選択された画像に写る人物が３人でそれぞれクラスタ１、クラスタ２および、クラスタ３に分類される場合、該画像を特徴付ける服装の種類を以下に示す方法で特定する。

まず、画像イベント評価部１５０３は、画像に写る人物（クラスタ）それぞれについて、クラスタ重要度を求める。クラスタ重要度は、例えば、当該クラスタの顔数であり、クラスタ１のクラスタ重要度は６、クラスタ２のクラスタ重要度は２、クラスタ３のクラスタ重要度は２である。

次に、画像イベント評価部１５０３は、画像に写る服装の種類それぞれについて、画像服装重要度を計算する。画像服装重要度は、例えば、同一の服装の種類に分類されるクラスタのクラスタ重要度の累積値を正規化したものである。

クラスタ１の服装の種類が「体操服」、クラスタ２およびクラスタ３の服装の種類が「分類なし」なので、「体操服」の画像服装重要度は６／（６＋２＋２）＝０．６、「分類なし」の画像服装重要度は、（２＋２）／（６＋２＋２）＝０．４と計算される。

最後に、画像イベント評価部１５０３は、所定の基準を満たす服装の種類（例えば、画像服装重要度が０．５を超える服装の種類など）を、画像を特徴付ける服装の種類として特定する。ここでは、「体操服」の画像服装重要度が０．６であり、０．５を超えているので、画像を特徴付ける服装の種類として「体操服」が特定される。

また、別の変形例として、重要度の高い人物（重要人物）のみを用いて、画像を特徴付ける服装の種類を特定してもよい。ここでは、例えば、クラスタ重要度が４以上のクラスタの人物を重要人物とする。

上記の例と同様に、クラスタ１の顔数が「６」で服装の種類が「体操服」、クラスタ２の顔数が「２」で服装の種類が「分類なし」および、クラスタ３の顔数が２で服装の種類が「分類なし」であったとすると、画像に写る重要人物はクラスタ１のみである。ここで、例えば、画像を特徴付ける服装の基準を、画像に写る重要人物における特定の服装の種類の割合が０．５を超えることとする。この場合、画像に写る重要人物における「体操服」の割合は、１／１＝１となり、基準を満たすので、画像を特徴付ける服装の種類として「体操服」が特定される。

実施の形態４において、画像グループを特徴付ける服装の種類を評価する際にもこれらの変形を適用することが可能である。すなわち、クラスタ重要度による重み付けを適用して画像グループを特徴付ける服装の種類を評価してもよいし、画像グループに出現する重要人物のみを用いて、画像グループを特徴付ける服装の種類を特定してもよい。

これらの変形を適用すると、撮影者にとって重要と思われる人物の重要度が高く計算されるので、撮影者の意図に沿ったイベント評価が実施可能である。

なお、画像に写る人物の重要度は、ＳＮＳ（Social Networking Service）などを利用して、重要度を高くしたい個人の情報を外部から取得し、取得した情報に基づいて計算してもよい。例えば、外部から重要度を高くしたい個人の情報として顔画像データを取得した場合、顔画像データから顔特徴量を抽出し、各クラスタに分類されている人物の顔特徴量とマッチングすることによって、重要度を高くしたい人物の重要度を高く計算することが可能である。

（９）実施の形態１〜４では、画像評価装置は、デジタルカメラ等から構成される撮影装置１２０から画像群を取得するとしたが、画像の取得先は画像を蓄積する機能があれば足り、例えば、ハードディスクなどの記録媒体に記録してある画像群を取得してもよい。

（１０）実施の形態１〜４では、画像取得部１０１は、撮影装置１２０が蓄積している画像群を一括して取得するとしたが、この限りではない。例えば、撮影装置１２０が蓄積している画像群から撮影日時などの条件を指定して該当する画像群を取得してもよい。

（１１）実施の形態１〜４では、画像評価装置は、各画像グループに対してイベント評価をし、画像取得部１０１が取得した各画像を評価結果のイベントが分かるようにして表示装置１３０に出力するとしたが、評価結果の利用法はこの限りではない。例えば、各画像の評価結果のイベントと画像ファイルの記録場所（アドレス）とを示すテーブル（データベース）を作成し、ファイルシステムにおけるインデックスとして利用してもよい。

（１２）実施の形態１〜４では、画像評価装置は、画像グループと評価結果のイベントとを1対1で対応付けていたが、複数のイベント候補と対応付けてもよい。例えば、服装とイベントの対応関係を示すテーブル９０１において、１つの服装に対して複数のイベント候補を対応付けておいて、第２種類情報に対応付けられた複数のイベント候補すべてと画像グループとを対応付けてもよい。

また、第２種類情報を、例えば、第３種類情報の出現数に基づいて複数特定し、複数の第２種類情報それぞれに対応付けられたイベントと対応付けてもよい。その際、第３種類情報の出現数に応じてランキング形式で表示してもよい。

さらに、複数の第２種類情報について、例えば、「スーツ」および「ドレス」の組合せと「パーティ」のように服装の組合せとイベントを対応付けたテーブルを用意して、第２種類情報の組合せによって画像グループのイベント評価を行ってもよい。

（１３）上述の各実施形態及び各変形例を、部分的に組み合せてもよい。

（１４）実施の形態１〜４で示した各処理を、画像評価装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。

（１５）実施の形態１〜４にかかる各機能構成要素は、集積回路であるＬＳＩ（Large Scale Integration）として実現されてもよい。これらの構成は、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩと表現したが、回路の集積度の違いによっては、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。また、集積回路化の手法は、ＬＳＩに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー（Reconfigurable Processor）を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、ＤＳＰ（Digital Signal Processor）やＣＰＵ（Central Processing Unit）などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。
＜補足２＞
本発明の取り得る実施形態とその効果について説明する。

（Ａ）本発明の一実施形態の画像評価装置は、画像に写る人物それぞれに対して、当該人物の着ている服装の種類を示す第１種類情報を特定する第１特定手段と、所定の画像グループに属する複数の画像から特定される第1種類情報の種類ごとの出現頻度に基づいて、前記所定の画像グループを特徴付ける服装の種類を示す第２種類情報を特定する第２特定手段と、前記第２種類情報に基づいて前記所定の画像グループに属する複数の画像が撮影されたイベントを評価する評価手段とを備える。

（Ｂ）本発明の一実施形態の画像評価方法は、画像に写る人物それぞれに対して、当該人物の着ている服装の種類を示す第１種類情報を特定する第１特定ステップと、所定の画像グループに属する複数の画像から特定される第1種類情報の種類ごとの出現頻度に基づいて、前記所定の画像グループを特徴付ける服装の種類を示す第２種類情報を特定する第２特定ステップと、前記第２種類情報に基づいて前記所定の画像グループに属する複数の画像が撮影されたイベントを評価する評価ステップとを含む。

（Ｃ）本発明の一実施形態のプログラムは、コンピュータに画像評価処理を実行させるためのプログラムであって、前記画像評価処理は、画像に写る人物それぞれに対して、当該人物の着ている服装の種類を示す第１種類情報を特定する第１特定ステップと、所定の画像グループに属する複数の画像から特定される第1種類情報の種類ごとの出現頻度に基づいて、前記所定の画像グループを特徴付ける服装の種類を示す第２種類情報を特定する第２特定ステップと、前記第２種類情報に基づいて前記所定の画像グループに属する複数の画像が撮影されたイベントを評価する評価ステップと含む。

（Ｄ）本発明の一実施形態の集積回路は、画像に写る人物それぞれに対して、当該人物の着ている服装の種類を示す第１種類情報を特定する第１特定手段と、所定の画像グループに属する複数の画像から特定される第1種類情報の種類ごとの出現頻度に基づいて、前記所定の画像グループを特徴付ける服装の種類を示す第２種類情報を特定する第２特定手段と、前記第２種類情報に基づいて前記所定の画像グループに属する複数の画像が撮影されたイベントを評価する評価手段とを備える。

上記（Ａ）〜（Ｄ）の構成によれば、１つの画像に含まれる人物の服装が誤認識された場合でも、複数の画像における服装の出現頻度を確認するので、誤認識した画像も正しく評価できる。

（Ｅ）上記実施形態（Ａ）の画像評価装置は、更に、１つの画像から特定される前記第１種類情報に基づいて、当該画像を特徴付ける服装の種類を示す第３種類情報を特定する第３特定手段を備え、前記第２特定手段は、前記所定のグループに属する複数の画像ごとに特定される前記第３種類情報の種類ごとの出現数に基づいて、前記所定の画像グループに対する第２種類情報を特定するとしてもよい。

上記構成によれば、同一の服装の種類によって特徴付けられる画像の数によって、複数の画像を特徴付ける服装の種類を特定するので、複数の画像のうち多くの画像に出現する服装の種類を特定することができる。

（Ｆ）上記実施形態（Ｅ）の画像評価装置は、前記第３特定手段は、１つの画像から特定される前記第１種類情報のうち、出現数が一定割合以上または一定数以上である第１種類情報を、前記第３種類情報として特定するとしてもよい。

（Ｇ）上記実施形態（Ｅ）の画像評価装置は、更に、画像に写る人物の着ている服装の画像特徴量を抽出し、前記画像特徴量に基づいて前記画像に写る人物間の服装の類似度を算出する算出手段を備え、前記第３特定手段は、１つの画像から特定される前記第１種類情報および前記類似度に基づいて、前記第３種類情報を特定するとしてもよい。

（Ｈ）上記実施形態（Ｇ）の画像評価装置において、前記第３特定手段は、１つの画像に写る人物の組合せのうち、前記類似度に基づいて類似する服装を着ていると判定される人物の組合せを選択し、選択された組合せの数が一定割合以上または一定数以上である場合に、前記選択された組合せに含まれる人物それぞれから特定される第１種類情報に基づいて、前記第３種類情報を特定するとしてもよい。

（Ｉ）上記実施形態（Ｇ）の画像評価装置において、前記第３特定手段は、１つの画像に写る人物の組合せのうち、前記類似度に基づいて類似する服装を着ていると判定される人物の組合せを選択し、選択された組合せにおける前記類似度の平均値が所定の式によって算出される値を超える場合に、前記選択された組合せに含まれる人物それぞれから特定される第１種類情報に基づいて、前記第３種類情報を特定する
としてもよい。

上記（Ｇ）〜（Ｉ）の構成によれば、画像を特徴付ける服装の種類を特定するのに各服装の認識結果に加えて服装間の類似度を用いている。従って、本来は同一の服装の種類であるが、認識結果が別になる場合においても、服装間の類似度を確認することによって同一の服装の種類として認識できる可能性がある。

（Ｊ）上記実施形態（Ｅ）の画像評価装置は、更に、画像に写る人物の顔の特徴量を抽出し、前記顔の特徴量の類似性に基づいて、前記複数の画像に写る同一人物を同一のクラスタに分類する分類手段と、各クラスタに属する人物から特定される第１種類情報に基づいて、当該クラスタを特徴付ける服装の種類を示す第４種類情報を特定する第４特定手段を備え、前記第３特定手段は、１つの画像に写る人物のクラスタから特定される前記第４種類情報に基づいて、前記第３種類情報を特定するとしてもよい。

上記構成によれば、顔の特徴量によってクラスタリングを行い複数の画像に写る同一人物を識別する。ある人物が着ている服装の種類を１つの画像で誤認識したとしても、別の画像における同一人物の服装の認識結果から誤認識した服装の種類を補正することができる可能性がある。

（Ｋ）上記実施形態（Ｊ）の画像評価装置において、前記分類手段は、更に、前記クラスタそれぞれの重要度を計算し、前記第３特定手段は、１つの画像に写る人物のクラスタから特定される前記第４種類情報および前記重要度に基づいて、前記第３種類情報を特定するとしてもよい。

上記構成によれば、重要人物の服装を考慮して、画像を特徴付ける服装の種類を特定することができる。

（Ｌ）上記実施形態（Ａ）の画像評価装置は、更に、画像に写る人物の顔の特徴量を抽出し、前記顔の特徴量の類似性に基づいて、複数の画像に写る同一人物を同一のクラスタに分類する分類手段と、前記クラスタに属する人物から特定される第１種類情報に基づいて、当該クラスタを特徴付ける服装の種類を示す第３種類情報を特定する第３特定手段を備え、前記第２特定手段は、前記所定の画像グループにおける前記第３種類情報の出現数に基づいて、前記所定の画像グループに対する前記第２種類情報を特定するとしてもよい。

上記構成によれば、同一の服装の種類によって特徴付けられるクラスタの数によって、複数の画像を特徴付ける服装の種類を特定するので、複数の画像に登場する人物のうち多くの人物が着ている服装の種類を特定することができる。また、多くの画像に登場する個人が大きく評価結果に影響を及ぼすことを抑制することができる。

（Ｍ）上記実施形態（Ｌ）の画像評価装置において、前記分類手段は、更に、前記クラスタそれぞれの重要度を計算し、前記第２特定手段は、前記所定の画像グループにおける前記第３種類情報の出現数および前記重要度に基づいて、前記所定の画像グループに対する前記第２種類情報を特定するとしてもよい。

上記構成によれば、重要人物の服装を考慮して、画像グループのイベントを評価することができる。

（Ｎ）上記実施形態（Ａ）の画像評価装置において、前記第１特定手段は、服装の種類を特定するための服装情報を用いて、前記第１種類情報を特定し、
更に、前記服装情報を更新する更新部を備えるとしてもよい。

上記構成によれば、特定できる服装の種類や評価可能なイベントの種類を適宜変更することができる。

（Ｏ）上記実施形態（Ａ）の画像評価装置は、更に、画像に写る人物の顔の領域を検出し、前記顔の領域に基づいて服装の領域を算出する算出手段を備え、前記第１特定手段は、前記服装の領域から抽出される画像特徴量に基づいて前記第１種類情報を特定するとしてもよい。

上記構成によれば、画像に写る人物の顔の領域が検出できれば、その人物の服装の領域を検出することができる。

（Ｐ）上記実施形態（Ｏ）の画像評価装置において、前記算出手段は、前記顔の領域に基づいて、検出した複数の人物のうちより前面に写っている人物を特定し、重複する前記服装の領域を、より前面に写っている人物の服装の領域とするとしてもよい。

上記構成によれば、画像において服装の検出領域の重複が発生した場合に、人物の位置関係をもとにそれぞれの服装領域を決定することができる。

本発明に係る画像評価装置は、静止画または動画を蓄積する装置、デジタルカメラ、カメラ付き携帯電話やムービーカメラなどの撮影装置および、ＰＣ（Personal Computer）などに適用することができる。

１００、１１００、１５００、２１００ 画像評価装置
１０１ 画像取得部
１０２ 画像グループ生成部
１０３ 顔検出部
１０４ 服装検出部
１０５ 服装特徴量抽出部
１０６ 服装認識部
１０７、１１０２、１５０３、２１０１ 画像イベント評価部
１０８、１１０３、１５０４、２１０２ 記憶部
１１０、１１１０、１５１０ 画像情報取得部
１２０ 撮影装置
１３０ 表示装置
２０１ 画像管理情報テーブル
３０１ 人物管理情報テーブル
４０１、４０２、４０３ 画像
４０２ａ、４０３ａ、４０３ｂ 検出された顔領域
４０２ａ’、４０３ａ’、４０３ｂ’ 検出された服装領域
８０１ 第３種類情報と画像数を示すテーブル
９０１ 服装とイベントの対応関係を示すテーブル
１００１ 画像グループごとのイベント評価結果を示すテーブル
１１０１ 類似度算出部
１２０１ 人物の服装間の類似度情報テーブル
１５０１ 顔特徴量抽出部
１５０２ 顔クラスタリング部
１６０１ 顔ごとのクラスタを示すテーブル
１９０１ クラスタごとの顔を示すテーブル
２００１ クラスタに属する顔と第１種類情報を示すテーブル
２４０１ 第３種類情報とクラスタ数を示すテーブル

Claims (15)

1. 画像に写る人物それぞれに対して、当該人物の着ている服装の種類を示す第１種類情報を特定する第１特定手段と、
   １つの画像から特定される前記第１種類情報に基づいて、当該画像を特徴付ける服装の種類を示す第２種類情報を特定する第２特定手段と、
   所定の画像グループに属する画像ごとに特定される前記第２種類情報の種類ごとの出現数に基づいて、前記所定の画像グループを特徴付ける服装の種類を示す第３種類情報を特定する第３特定手段と、
   前記第３種類情報に基づいて前記所定の画像グループに属する複数の画像が撮影されたイベントを評価する評価手段と
   を備えることを特徴とする画像評価装置。
2. 前記第２特定手段は、１つの画像から特定される前記第１種類情報のうち、出現数が一定割合以上または一定数以上である第１種類情報を、前記第２種類情報として特定する
   ことを特徴とする請求項１に記載の画像評価装置。
3. 更に、画像に写る人物の着ている服装の画像特徴量を抽出し、前記画像特徴量に基づいて前記画像に写る人物間の服装の類似度を算出する算出手段を備え、
   前記第２特定手段は、１つの画像から特定される前記第１種類情報および前記類似度に基づいて、前記第２種類情報を特定する
   ことを特徴とする請求項１に記載の画像評価装置。
4. 前記第２特定手段は、１つの画像に写る人物の組合せのうち、前記類似度に基づいて類似する服装を着ていると判定される人物の組合せを選択し、選択された組合せの数が一定割合以上または一定数以上である場合に、前記選択された組合せに含まれる人物それぞれから特定される第１種類情報に基づいて、前記第２種類情報を特定する
   ことを特徴とする請求項３に記載の画像評価装置。
5. 前記第２特定手段は、１つの画像に写る人物の組合せのうち、前記類似度に基づいて類似する服装を着ていると判定される人物の組合せを選択し、選択された組合せにおける前記類似度の平均値が所定の式によって算出される値を超える場合に、前記選択された組合せに含まれる人物それぞれから特定される第１種類情報に基づいて、前記第２種類情報を特定する
   ことを特徴とする請求項３に記載の画像評価装置。
6. 更に、画像に写る人物の顔の特徴量を抽出し、前記顔の特徴量の類似性に基づいて、前記複数の画像に写る同一人物を同一のクラスタに分類する分類手段と、
   各クラスタに属する人物から特定される第１種類情報に基づいて、当該クラスタを特徴付ける服装の種類を示す第４種類情報を特定する第４特定手段を備え、
   前記第２特定手段は、１つの画像に写る人物のクラスタから特定される前記第４種類情報に基づいて、前記第２種類情報を特定する
   ことを特徴とする請求項１に記載の画像評価装置。
7. 前記分類手段は、更に、前記クラスタそれぞれの重要度を計算し、
   前記第２特定手段は、１つの画像に写る人物のクラスタから特定される前記第４種類情報および前記重要度に基づいて、前記第２種類情報を特定する
   ことを特徴とする請求項６に記載の画像評価装置。
8. 画像に写る人物それぞれに対して、当該人物の着ている服装の種類を示す第１種類情報を特定する第１特定手段と、
   画像に写る人物の顔の特徴量を抽出し、前記顔の特徴量の類似性に基づいて、複数の画像に写る同一人物を同一のクラスタに分類する分類手段と、
   前記クラスタに属する人物から特定される第１種類情報に基づいて、当該クラスタを特徴付ける服装の種類を示す第２種類情報を特定する第２特定手段と、
   所定の画像グループにおける前記第２種類情報の出現数に基づいて、前記所定の画像グループを特徴付ける服装の種類を示す第３種類情報を特定する第３特定手段と、
   前記第３種類情報に基づいて前記所定の画像グループに属する複数の画像が撮影されたイベントを評価する評価手段と
   を備えることを特徴とする画像評価装置。
9. 前記分類手段は、更に、前記クラスタそれぞれの重要度を計算し、
   前記第３特定手段は、前記所定の画像グループにおける前記第２種類情報の出現数および前記重要度に基づいて、前記所定の画像グループに対する前記第３種類情報を特定する
   ことを特徴とする請求項８に記載の画像評価装置。
10. 前記第１特定手段は、服装の種類を特定するための服装情報を用いて、前記第１種類情報を特定し、
    更に、前記服装情報を更新する更新部を備える
    ことを特徴とする請求項１に記載の画像評価装置。
11. 更に、画像に写る人物の顔の領域を検出し、前記顔の領域に基づいて服装の領域を算出する算出手段を備え、
    前記第１特定手段は、前記服装の領域から抽出される画像特徴量に基づいて前記第１種類情報を特定する
    ことを特徴とする請求項１記載の画像評価装置。
12. 前記算出手段は、前記顔の領域に基づいて、検出した複数の人物のうちより前面に写っている人物を特定し、重複する前記服装の領域を、より前面に写っている人物の服装の領域とする
    ことを特徴とする請求項１１記載の画像評価装置。
13. 画像に写る人物それぞれに対して、当該人物の着ている服装の種類を示す第１種類情報を特定する第１特定ステップと、
    １つの画像から特定される前記第１種類情報に基づいて、当該画像を特徴付ける服装の種類を示す第２種類情報を特定する第２特定ステップと、
    所定の画像グループに属する画像ごとに特定される前記第２種類情報の種類ごとの出現数に基づいて、前記所定の画像グループを特徴付ける服装の種類を示す第３種類情報を特定する第３特定ステップと、
    前記第３種類情報に基づいて前記所定の画像グループに属する複数の画像が撮影されたイベントを評価する評価ステップと
    を含むことを特徴とする画像評価方法。
14. コンピュータに画像評価処理を実行させるためのプログラムであって、
    前記画像評価処理は、
    画像に写る人物それぞれに対して、当該人物の着ている服装の種類を示す第１種類情報を特定する第１特定ステップと、
    １つの画像から特定される前記第１種類情報に基づいて、当該画像を特徴付ける服装の種類を示す第２種類情報を特定する第２特定ステップと、
    所定の画像グループに属する画像ごとに特定される前記第２種類情報の種類ごとの出現数に基づいて、前記所定の画像グループを特徴付ける服装の種類を示す第３種類情報を特定する第３特定ステップと、
    前記第３種類情報に基づいて前記所定の画像グループに属する複数の画像が撮影されたイベントを評価する評価ステップと
    を含むことを特徴とするプログラム。
15. 画像に写る人物それぞれに対して、当該人物の着ている服装の種類を示す第１種類情報を特定する第１特定手段と、
    １つの画像から特定される前記第１種類情報に基づいて、当該画像を特徴付ける服装の種類を示す第２種類情報を特定する第２特定手段と、
    所定の画像グループに属する画像ごとに特定される前記第２種類情報の種類ごとの出現数に基づいて、前記所定の画像グループを特徴付ける服装の種類を示す第３種類情報を特定する第３特定手段と、
    前記第３種類情報に基づいて前記所定の画像グループに属する複数の画像が撮影されたイベントを評価する評価手段と
    を備えることを特徴とする集積回路。

Images