JP2009267682A - 代表画像決定装置およびカメラ - Google Patents

Abstract

【課題】代表画像の決定に必要な処理を低減すること。
【解決手段】画像群の代表画像決定装置１は、複数の画像を有する画像群を代表する画像を当該画像群の中から決定する決定手段１１と、代表する画像を選ぶための選択基準情報であって、画像群に付与されている標題に応じた選択基準情報に基づいて代表画像を決定するように決定手段１１を制御する制御手段１１とを備える。
【選択図】図１

Description

本発明は、複数の画像から代表画像を決定する技術に関する。

グループ化された画像の中からグループの特徴を表す画像を選ぶ技術が知られている（特許文献１参照）。グループを構成する画像から、風景、静物、人物などのシーンらしさを表す評価値が個々に算出される。そして、グループ内で風景シーンの画像が最多である場合には、風景のシーンの画像のうち風景シーンについての評価値が最も大きい画像が代表画像に選ばれる。

特開２００７−９４９９０号公報

従来技術では、風景、人物、静物、イベント、記念写真など、算出しようとする評価値の種類が多くなるにつれて、代表画像の決定に必要な算出処理の負担が大きくなるという問題があった。

（１）本発明による画像群の代表画像決定装置は、複数の画像を有する画像群を代表する画像を当該画像群の中から決定する決定手段と、代表する画像を選ぶための選択基準情報であって、画像群に付与されている標題に応じた選択基準情報に基づいて代表画像を決定するように決定手段を制御する制御手段とを備えることを特徴とする。
（２）請求項１に記載の代表画像決定装置はさらに、複数の標題にそれぞれ対応する複数の選択基準情報をあらかじめ記憶する記憶手段を備えてもよい。この場合の制御手段は、画像群に付与されている標題に対応する選択基準情報を記憶手段から読み出し、該選択基準情報に基づいて代表画像を決定するように決定手段を制御することもできる。
（３）請求項２に記載の代表画像決定装置において、選択基準情報は、標題に応じて行う処理を指示する情報を含んでもよい。この場合の決定手段は、処理の結果に基づいて代表画像を決定することもできる。
（４）請求項３に記載の代表画像決定装置において、選択基準情報は、標題が有する地域名称に関連する位置情報を含んでもよい。この場合の決定手段は、画像群を構成する個々の画像の撮影位置情報と、記憶手段から読み出された位置情報とに基づいて代表画像を決定することもできる。
（５）請求項３に記載の代表画像決定装置において、選択基準情報は、標題に応じた色の情報を含んでもよい。この場合の決定手段は、画像群を構成する個々の画像における色の領域情報に基づいて代表画像を決定することもできる。
（６）請求項３に記載の代表画像決定装置において、標題に応じて行う処理は、画像群を構成する個々の画像に関して被写体追跡情報を取得する指示を含んでもよい。この場合の決定手段は、取得された被写体追跡情報に基づいて代表画像を決定することもできる。
（７）本発明によるカメラは、請求項１〜請求項６のいずれか一項に記載の代表画像決定装置を備えることを特徴とする。

本発明によれば、代表画像の決定に必要な処理を低減できる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による電子カメラ１の要部構成を説明するブロック図である。電子カメラ１は、メインＣＰＵ１１によって制御される。

撮影レンズ２１は、撮像素子２２の撮像面上に被写体像を結像させる。撮像素子２２はＣＣＤイメージセンサなどで構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路２３へ出力する。撮像素子２２の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。撮像素子２２がカラーフィルタを通して被写体像を撮像するため、撮像素子２２から出力される光電変換信号は、ＲＧＢ表色系の色情報を有する。

撮像回路２３は、撮像素子２２から出力される光電変換信号に対するアナログ処理（ゲインコントロールなど）を行う他、内蔵するＡ／Ｄ変換回路でアナログ撮像信号をディジタルデータに変換する。

メインＣＰＵ１１は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路１２は、たとえばＡＳＩＣとして構成され、撮像回路２３から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整（ホワイトバランス調整）処理、画像信号に対するフォーマット変換処理が含まれる。

画像圧縮回路１３は、画像処理回路１２による処理後の画像信号に対して、たとえばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路１５は、撮像画像を液晶モニタ１６に表示させるための表示データを作成する。

バッファメモリ１４は、画像処理前後および画像処理途中のデータを一時的に格納する他、記録媒体３０へ記録する前の画像ファイルを格納したり、記録媒体３０から読み出した画像ファイルを格納したりするために使用される。

記録媒体３０は、電子カメラ１に対して着脱可能なメモリカードなどで構成される。記録媒体３０には、メインＣＰＵ１１からの指示によって撮影画像のデータおよびその情報を含む画像ファイルが記録される。記録媒体３０に記録された画像ファイルは、メインＣＰＵ１１からの指示によって読み出しが可能である。

フラッシュメモリ１９は、メインＣＰＵ１１が実行するプログラムや、メインＣＰＵ１１が行う処理に必要なデータなどが格納される。フラッシュメモリ１９が格納するプログラムやデータの内容は、メインＣＰＵ１１からの指示によって追加、変更が可能に構成されている。

操作部材１７は、電子カメラ１の各種ボタンやスイッチ類を含み、レリーズボタンの押下操作、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインＣＰＵ１１へ出力する。

ＧＰＳ装置１８は、メインＣＰＵ１１からの指示に応じてＧＰＳ衛星からの電波を受信し、受信信号をメインＣＰＵ１１へ出力する。メインＣＰＵ１１は、ＧＰＳ装置１８からの受信信号に基づいて所定の演算を行い、電子カメラ１の測位情報（緯度、経度、高度）を検出する。

電子カメラ１は、撮影時に撮像素子２２で取得された画像信号に所定の画像処理および圧縮処理を施し、圧縮処理後の画像データに、測位情報、および当該撮影画像に関する情報などを含む付加情報を付加した画像ファイルを生成するように構成されている。具体的には、JPEG形式の画像データを画像データ部に格納し、付加情報を付加情報部に格納したＥｘｉｆ形式の画像ファイルを生成する。Ｅｘｉｆ形式の画像ファイルは、JPEG画像フォーマットの画像データ内にサムネイル画像や付加情報データを埋め込むようにしたものである。生成した画像ファイルは、記録媒体３０に格納される。

また、電子カメラ１は撮影モードと再生モードとが切替え可能に構成される。撮影モードは、被写体像を撮影し、撮影画像のデータを記録媒体３０に画像ファイルとして保存する動作モードである。再生モードは、撮影済みの画像データを記録媒体３０から読み出すなどして、画像データによる再生画像を液晶モニタ１６に表示するモードである。

＜撮影画像のグルーピング＞
本実施形態の電子カメラ１は、撮影画像を自動的にグルーピングする機能を備える。具体的には、記録媒体３０に記録済みの画像ファイルに対してグループ分けを行い、画像ファイルをグループごとに設けたフォルダ内に格納する。電子カメラ１はさらに、各フォルダ内に含まれる画像群に基づいて、画像群の撮影対象を表す標題（たとえば、撮影シーン）を決める。そして、この標題に基づいて、各フォルダ（グループ）の画像群を代表する画像ファイルをフォルダ（グループ）ごとにそれぞれ選ぶ。なお、画像ファイルをグループごとに設けたフォルダ内に格納しなくても、画像ファイルの管理テーブルを作成し、該テーブルに画像ファイルに対するグループ分け情報を格納するようにしてもよい。

図２は、メインＣＰＵ１１が実行する上記グルーピング処理の流れを説明するフローチャートである。メインＣＰＵ１１は、操作部材１７からグルーピング処理の実行を指示する操作信号が入力されると、図２による処理を開始する。

図２のステップＳ１０において、メインＣＰＵ１１は、記録媒体３０に記録されている画像ファイルに対してクラスタリング手法によってグループ分けを行い、ステップＳ２０へ進む。クラスタリング処理の詳細については後述する。ステップＳ２０において、メインＣＰＵ１１は、クラスタ（グループ分け後の画像ファイルの集合）に含まれる画像ごとにイベント判定を行ってステップＳ３０へ進む。「イベント」は画像の撮影シーンを表すもので、たとえば、「運動会」、「結婚式」、「花見」、「海水浴」、「北海道旅行」などをいう。画像ごとのイベント判定処理の詳細については後述する。

ステップＳ３０において、メインＣＰＵ１１は、クラスタごとにイベント判定を行ってステップＳ４０へ進む。「イベント」が標題である点は上記ステップＳ２０の場合と共通であるが、ステップＳ２０におけるイベント判定が個々の画像を対象とするものであるのに対し、ステップＳ３０におけるイベント判定がクラスタを代表する「イベント」を判定する点において異なる。クラスタごとのイベント判定処理の詳細については後述する。

ステップＳ４０において、メインＣＰＵ１１は、必要に応じてクラスタを統合し、ステップＳ５０へ進む。クラスタの統合処理の詳細については後述する。ステップＳ５０において、メインＣＰＵ１１は、クラスタを代表する画像ファイルを決定して図２による処理を終了する。

＜クラスタリング処理＞
クラスタリング処理（Ｓ１０）の詳細について、図３に例示するフローチャートを参照して説明する。クラスタリング処理は、たとえば、撮影日時情報を用いて行う。図３のステップＳ１１において、メインＣＰＵ１１は全ての画像ファイルを対象に、画像ファイルの付加情報部に記録されている撮影日時を示す情報を抽出してステップＳ１２へ進む。

ステップＳ１２において、メインＣＰＵ１１は、全ての画像ファイルから撮影日時を示す情報を抽出したか否かを判定する。メインＣＰＵ１１は、全画像ファイルから必要な情報を抽出済みの場合にステップＳ１２を肯定判定してステップＳ１３へ進み、必要な情報を全画像ファイルから抽出済みでない場合にはステップＳ１２を否定判定してステップＳ１１へ戻る。ステップＳ１１へ戻る場合は、上記抽出処理を繰り返す。

ステップＳ１３において、メインＣＰＵ１１は、階層的クラスタリングを用いる。その中で、たとえば最短距離法を用いてクラスタリングを行う。具体的には、１画像につき１クラスタを処理の起点として、撮影時刻が近いクラスタを逐次併合する処理を繰り返すことにより、画像ファイルを複数のクラスタ（撮影時刻が近い画像ファイルの集合）に分ける。メインＣＰＵ１１は、クラスタ数が所定の数まで減った場合にステップＳ１４へ進む。または、近接するクラスタ間において、一方の集合内で最も遅い撮影時刻と、他方の集合内で最も早い撮影時刻との差が所定時間（たとえば３時間）以上になった場合にステップＳ１４へ進む。なお、階層的クラスタリングの中でも最短距離法以外の手法を用いてもよい。さらに、階層的クラスタリング以外の手法（たとえば、分割最適化法）を用いてもよい。

ステップＳ１４において、メインＣＰＵ１１は、上記クラスタに対応させてフォルダを記録媒体３０内に生成してステップＳ１５へ進む。ステップＳ１５において、メインＣＰＵ１１は、生成したフォルダ内へ対応する画像ファイルを移動させて図３による処理を終了する。これにより、クラスタに対応する各フォルダの中に、各クラスタに属する画像ファイルが格納される。なお、画像ファイルをグループごとに設けたフォルダ内に格納しなくても、画像ファイルの管理テーブルを作成し、該テーブルに画像ファイルに対するグループ分け情報を格納するようにしてもよい。

＜画像ごとのイベント判定処理＞
画像単位のイベント判定処理（Ｓ２０）の詳細について、図４に例示するフローチャートを参照して説明する。図４のステップＳ２１において、メインＣＰＵ１１は、複数のクラスタの中からクラスタを１つ特定してステップＳ２２へ進む。特定順は、たとえば、撮影日時が古い順（最も早い撮影時刻の画像ファイルを有するクラスタを優先）とする。

ステップＳ２２において、メインＣＰＵ１１は、判定対象とするイベント（イベント候補と呼ぶ）を決定する。メインＣＰＵ１１は、図８に例示するイベント候補テーブルを参照し、クラスタを構成する画像ファイルの撮影日が属する月に対応するイベントを選ぶ。たとえば、画像ファイルが５月に撮影されたものである場合には、「花見」、「運動会」、および「結婚式」をイベント候補とする。イベント候補テーブルは、月ごとに発生頻度が高いイベントを記したものであり、過去のイベント発生月に基づいてあらかじめ作成され、フラッシュメモリ１９内に記録されている。

図８によれば、発生月や季節との相関が強いイベントは該当月のみに含まれ、「結婚式」のように発生月との相関が弱いイベントは複数の月に含まれる。メインＣＰＵ１１は、クラスタを構成する画像ファイルの撮影日が複数の月に属する場合は、一例として、より多くの画像ファイルが属する月に対応するイベント候補を選ぶ。メインＣＰＵ１１は、以上のように判定対象とするイベントを決定したら、ステップＳ２３へ進む。

ステップＳ２３において、メインＣＰＵ１１は、特定したクラスタを構成する画像ファイルの中から画像ファイルを１つ特定してステップＳ２４へ進む。ステップＳ２４において、メインＣＰＵ１１は、特定した画像ファイルに含まれる画像データに基づいて、当該画像の特徴量を算出してステップＳ２５へ進む。

メインＣＰＵ１１は、ステップＳ２２において決定したイベント候補の判定に適した画像の特徴量を算出する。イベント候補と算出すべき特徴量との関係は、あらかじめテーブル化されてフラッシュメモリ１９内に記録されている。特徴量は、たとえば、画像の所定領域を構成する画素データに基づいて算出される色情報、鮮鋭度情報、質感情報、模様情報、および明るさ情報などである。また、画像サイズやカラーヒストグラムの情報を特徴量として扱ってもよい。特徴量算出は公知技術であるため、本説明では特徴量算出に関する詳細な説明を省略する。

ステップＳ２５−ステップＳ２７において、メインＣＰＵ１１は、ステップＳ２２において決定したイベント候補に対応した識別器をそれぞれ用いて、各イベントらしさを表す確率を算出する。識別器は、複数のサンプル画像データに基づいてＳＶＭ(Support Vector Machine)手法を用いる機械学習によって算出された特徴量情報である。たとえば、「花見」用の識別器は、複数の「花見」および「非花見」のサンプル画像に基づいて算出された特徴量情報である。「運動会」用の識別器は、複数の「運動会」および「非運動会」のサンプル画像に基づいて算出された特徴量情報である。「結婚式」用の識別器は、複数の「結婚式」および「非結婚式」のサンプル画像に基づいて算出された特徴量情報である。本実施形態では、複数のイベント候補のそれぞれに対応する識別器があらかじめ生成され、フラッシュメモリ１９内に記録されている。本稿では、イベント候補の数が３つの場合を例に説明している。メインＣＰＵ１１は、ステップＳ２３において特定した１画像ごとに、イベント候補に挙げられたイベントらしさ（確率）Ｐを算出してステップＳ２８へ進む。

イベントらしさを表す確率Ｐは、識別器によって表される特徴量空間において空間を仕切る境界（たとえば、「運動会」領域と、「非運動会」領域との境界）と、ステップＳ２４において算出された特徴量との距離に対応する。ある画像から算出した特徴量が、「運動会」用の識別器によって表される特徴量空間で「運動会」に対応する特徴量領域の奥に位置し、「非運動会」に対応する特徴量領域までの距離が長ければ、「運動会」らしさの確率が高い。一方、画像から算出した特徴量が、「運動会」に対応する特徴量領域の端に位置し、「非運動会」に対応する特徴量領域までの距離が短ければ、「運動会」らしさの確率が低い。メインＣＰＵ１１は、上記距離に応じて確率を算出する。

ステップＳ２８において、メインＣＰＵ１１は、特定したクラスタ内の全画像ファイルに対して処理を終了したか否かを判定する。メインＣＰＵ１１は、クラスタ内の全ての画像について特徴量算出、およびイベントらしさ（確率）Ｐの算出を行った場合にステップＳ２８を肯定判定してステップＳ２９へ進む。メインＣＰＵ１１は、クラスタ内の全ての画像について特徴量算出、およびイベントらしさ（確率）Ｐの算出を行っていない場合には、ステップＳ２８を否定判定してステップＳ２３へ戻る。ステップＳ２３へ戻ったメインＣＰＵ１１は、特定したクラスタを構成する画像ファイルのうち他の１つの画像ファイルを特定してステップＳ２４へ進む。

ステップＳ２９において、メインＣＰＵ１１は、全てのクラスタに対して処理を終了したか否かを判定する。メインＣＰＵ１１は、全てのクラスタについて特徴量算出、およびイベントらしさ（確率）Ｐの算出を行った場合にステップＳ２９を肯定判定して図４による処理を終了する。メインＣＰＵ１１は、全てのクラスタについて特徴量算出、およびイベントらしさ（確率）Ｐの算出を行っていない場合には、ステップＳ２９を否定判定してステップＳ２１へ戻る。ステップＳ２１へ戻ったメインＣＰＵ１１は、他の１つのクラスタを特定してステップＳ２２へ進む。

＜クラスタごとのイベント判定処理＞
クラスタ単位のイベント判定処理（Ｓ３０）の詳細について、図５に例示するフローチャートを参照して説明する。図５のステップＳ３１において、メインＣＰＵ１１は、複数のクラスタの中からクラスタを１つ特定してステップＳ３２へ進む。特定順は、たとえば、撮影日時が古い順（最も早い撮影時刻の画像ファイルを有するクラスタを優先）とする。

ステップＳ３２において、メインＣＰＵ１１は、イベント候補の中から判定対象とするイベントを１つ特定してステップＳ３３へ進む。ステップＳ３３において、メインＣＰＵ１１は、Ｓ３１において特定したクラスタを構成する画像ファイルの中から画像ファイルを１つ特定してステップＳ３４へ進む。ステップＳ３４において、メインＣＰＵ１１は、Ｓ３２において特定したイベントに対するイベントらしさ（確率）Ｐが所定の判定閾値Ｐth以上か否かを判定する。メインＣＰＵ１１は、イベントらしさ（確率）Ｐが判定閾値Ｐth以上の場合にステップＳ３４を肯定判定してステップＳ３５へ進む。メインＣＰＵ１１は、イベントらしさ（確率）Ｐが判定閾値Ｐth未満の場合にはステップＳ３４を否定判定し、ステップＳ３６へ進む。

ステップＳ３５において、メインＣＰＵ１１は、Psum=Psum+Ｐを算出してステップＳ３６へ進む。ステップＳ３６において、メインＣＰＵ１１は、特定したクラスタ内の全画像ファイルに対して処理を終了したか否かを判定する。メインＣＰＵ１１は、クラスタ内の全ての画像について処理を行った場合にステップＳ３６を肯定判定してステップＳ３７へ進む。メインＣＰＵ１１は、クラスタ内の全ての画像について処理を行っていない場合には、ステップＳ３６を否定判定してステップＳ３３へ戻る。ステップＳ３３へ戻ったメインＣＰＵ１１は、特定したクラスタを構成する画像ファイルのうち他の１つの画像ファイルを特定してステップＳ３４へ進む。

ステップＳ３７において、メインＣＰＵ１１は、上記Psumへ加算したイベントらしさ（確率）Ｐの個数がクラスタ内の全画像ファイル数のＮパーセント以上か否かを判定する。メインＣＰＵ１１は、加算したＰの個数がＮパーセント以上の場合にステップＳ３７を肯定判定してステップＳ３８へ進む。メインＣＰＵ１１は、加算したＰの個数がＮパーセント未満の場合にはステップＳ３７を否定判定し、ステップＳ４１へ進む。ステップＳ４１において、メインＣＰＵ１１は、Psum=０としてステップＳ３８へ進む。

ステップＳ３８において、メインＣＰＵ１１は、イベント候補の全てについてPsumを算出する処理を終了したか否かを判定する。メインＣＰＵ１１は、全てのイベントについて算出処理を終了した場合にステップＳ３８を肯定判定してステップＳ３９へ進む。メインＣＰＵ１１は、全てのイベントについて算出処理を終了していない場合にはステップＳ３８を否定判定し、ステップＳ３２へ戻る。ステップＳ３２へ戻ったメインＣＰＵ１１は、イベント候補のうち判定対象とする他のイベント１つを特定してステップＳ３３へ進む。

ステップＳ３９において、メインＣＰＵ１１は、イベント候補ごとに算出したPsumのうち、その最大値に対応するイベント候補を当該クラスタの標題イベントに決定してステップＳ４２へ進む。

ステップＳ４２において、メインＣＰＵ１１は、全てのクラスタについてPsumの算出、および標題イベントを決定する処理を終了したか否かを判定する。メインＣＰＵ１１は、全てのクラスタについて処理を終了した場合にステップＳ４２を肯定判定して図５による処理を終了する。メインＣＰＵ１１は、全てのクラスタについて処理を終了していない場合にはステップＳ４２を否定判定し、ステップＳ３１へ戻る。ステップＳ３１へ戻ったメインＣＰＵ１１は、他のクラスタ１つを特定してステップＳ３２へ進む。

図９−図１１は、画像ファイルの集合（画像数＝５）を含むクラスタに対するイベント判定を例示する図である。イベント候補は、たとえば「運動会」、「結婚式」、および「花見」であり、画像１−画像５のそれぞれについて、「運動会」らしさ、「結婚式」らしさ、および「花見」らしさの確率Ｐが算出されている。本例では、判定閾値Ｐth＝４０パーセントとし、判定閾値Ｎ＝４０パーセントとする。

図９の場合、「運動会」らしさについてのPsumは、「運動会」らしさを示すＰが判定閾値Ｐth以上の画像（すなわち、画像４以外の画像１−画像３、および画像５）について、それぞれのＰを加算する（ステップＳ３５）。この場合のPsumは、85（画像１）+90（画像２）+80（画像３）+75（画像５）=330である。

図１０の場合、「結婚式」らしさを示すＰが判定閾値Ｐth以上となるのは画像４のみであるため、「結婚式」らしさについてのPsumは、画像４について算出されているＰのみを加算対象にする。これにより、Psum=45（画像４）を得る。ここで、画像４（１画像）は、画像数５のうち２０パーセントに相当するため上記Ｎ（４０パーセント）に満たない。そこでメインＣＰＵ１１は、図１０の場合のPsumを０とする（ステップＳ４１）。

図１１において、「花見」らしさについてのPsumは、「花見」らしさを示すＰが判定閾値Ｐth以上の画像（すなわち、画像３以外の画像１−画像２、および画像４−画像５）について、それぞれのＰを加算する（ステップＳ３５）。この場合のPsumは、60（画像１）+70（画像２）+65（画像４）+75（画像５）=270である。

メインＣＰＵ１１は、イベント候補（「運動会」、「結婚式」、および「花見」）のうち、最大Psumに対応する「運動会」を、当該クラスタの標題イベントとする。

＜クラスタの統合処理＞
クラスタの統合処理（Ｓ４０）の詳細について、図６に例示するフローチャートを参照して説明する。図６のステップＳ５１において、メインＣＰＵ１１は、複数のクラスタのうち、近接するクラスタ間の時間差が判定閾値Ｔ以下か否かを判定する。メインＣＰＵ１１は、たとえば、一方のクラスタで最も遅い撮影時刻と、他方のクラスタ内で最も早い撮影時刻との差が上記Ｔ以下の場合にステップＳ５１を肯定判定してステップＳ５２へ進む。メインＣＰＵ１１は、時間差が上記Ｔを超える場合にはステップＳ５１を否定判定して図６による処理を終了する。ステップＳ５１を否定判定する場合は、クラスタの統合を行わない。

ステップＳ５２において、メインＣＰＵ１１は、時間差Ｔ以下で近接するクラスタ同士の標題イベントが同一か否かを判定する。メインＣＰＵ１１は、標題イベントが同一の場合にステップＳ５２を肯定判定してステップＳ５３へ進む。メインＣＰＵ１１は、標題イベントが同一でない場合にはステップＳ５２を否定判定して図６による処理を終了する。ステップＳ５２を否定判定する場合は、クラスタの統合を行わない。

ステップＳ５３において、メインＣＰＵ１１は、２つのクラスタを１つのクラスタに統合して図６による処理を終了する。メインＣＰＵ１１は、全クラスタに対してクラスタの統合処理を繰り返す。以上の処理により、クラスタ数が減少する。

＜クラスタごとの代表画像の決定処理＞
クラスタ単位の代表画像決定処理の詳細について、図７に例示するフローチャートを参照して説明する。図７のステップＳ６１において、メインＣＰＵ１１は、複数のクラスタの中からクラスタを１つ特定してステップＳ６２へ進む。特定順は、たとえば、撮影日時が古い順（最も早い撮影時刻の画像ファイルを有するクラスタを優先）とする。

ステップＳ６２において、メインＣＰＵ１１は、ステップＳ３９において決定した標題イベントに対応する選択基準情報をフラッシュメモリ１９から読み出してステップＳ６３へ進む。選択基準情報は、代表画像の決定方法をあらかじめ標題イベントごとに定め、テーブル化してフラッシュメモリ１９内に記録したものである。

ステップＳ６３において、メインＣＰＵ１１は、クラスタ内に含まれる画像ファイル群の中から、選択基準情報に基づいて代表画像を選んでステップＳ６４へ進む。ステップＳ６４において、メインＣＰＵ１１は、全てのクラスタについて代表画像を選んだか否かを判定する。メインＣＰＵ１１は、全てのクラスタについて処理を終了した場合にステップＳ６４を肯定判定して図７による処理を終了する。メインＣＰＵ１１は、全てのクラスタについて処理を終了していない場合にはステップＳ６４を否定判定し、ステップＳ６１へ戻る。ステップＳ６１へ戻ったメインＣＰＵ１１は、他のクラスタ１つを特定してステップＳ６２へ進む。

上記選択基準情報について説明する。メインＣＰＵ１１は、図１２に例示する選択基準情報テーブルを参照し、クラスタの標題イベントに対応する選択基準情報を選ぶ。選択基準情報テーブルは、あらかじめ作成されてフラッシュメモリ１９内に記録されている。たとえば、クラスタの標題イベントが「結婚式」、「初詣」、「ひな祭り」、「入学式」、「卒業式」の場合は、当該クラスタに含まれる画像のうち、画像に含まれる顔領域の割合が所定割合に最も近いものを代表画像として選ぶ。なお、画像データに基づいて顔検出処理を行い、画像に含まれている人物の「顔」を検出する顔検出処理は、公知の技術であるため説明を省略する。

また、クラスタの標題イベントが「海水浴」、「ダイビング」、「紅葉狩」、「ゴルフ」の場合は、当該クラスタに含まれる画像のうち、画像に含まれる所定色領域の割合が所定割合に最も近いものを代表画像として選ぶ。所定色は、たとえば、青色領域（海水浴、ダイビング）、赤色または黄色領域（紅葉狩）、緑色領域（ゴルフ）である。

また、クラスタに含まれる画像のうち、当該クラスタの標題イベントに対応するイベントらしさを示す確率Ｐが最大となる画像を代表画像として選ぶようにしてもよい。このように、あらかじめ標題イベントごとに代表画像決定条件を決めておき、その決定条件に基づいて標題イベントを代表する画像を決定する。

以上説明した実施形態によれば、以下の作用効果が得られる。
（１）クラスタ（画像ファイルの集合）に対して複数のイベント候補（運動会、結婚式、花見）を与え、各イベント候補の判定に適した特徴量をクラスタ内の画像ごとに算出し、算出した個々の画像の特徴量に基づいて当該クラスタ（画像ファイルの集合）を代表するイベントをイベント候補の中から決定するようにした。従来技術と異なり、クラスタに対してＳＶＭ手法を使わない、すなわち、クラスタに対する特徴量の算出を必要とせずに、画像ごとのイベントらしさ（確率）Ｐの和Psumを算出する単純加算、和Psumに加算した画像数のカウント、イベント候補間におけるPsumの大小比較、判定閾値Ｐthと確率Ｐとの大小比較のみでよいので、画像群に対する特徴量算出をする場合に比べて短時間で処理することができる。

（２）画像ごとのイベントらしさ（確率）Ｐの和Psumの最大値に対応するイベント候補に決定するようにしたので、画像ファイルの集合を代表するイベントを適切に決めることができる。

（３）画像ごとのイベントらしさ（確率）Ｐが判定閾値Ｐthに満たない場合は和Ｐsumに加えないようにしたので、イベント候補に該当する確率が低い画像が和Psumに寄与する度合いを抑えることができる。

（４）判定閾値Ｐthを満たす画像数（すなわち、和ＰsumにＰを加算した画像数）がクラスタ内の画像数に対して所定割合に満たない場合は、Ｐsumを０にして当該イベント候補を除外するようにした。これにより、画像ファイルの集合を代表するイベントを適切に決めることができる。

（５）クラスタ（画像ファイルの集合）は、画像の撮影日時に応じてクラスタリングしたものを用いるようにした。これにより、撮影日時に応じたイベント候補を与えることができる。

（６）クラスタに対して複数のイベント候補を与えるようにしたので、これら複数のイベント候補の中から最も適切なものを決定することができる。

（７）複数のクラスタのうち、近接するクラスタ間の時間差が判定閾値Ｔ以下であって、かつ当該クラスタ同士の標題イベントが同一の場合に両クラスタを１つに統合するようにした。これにより、撮影日時のみでクラスタリングしたものより、必要以上に細かくクラスタリングすることを避けられ、画像を分類整理する時の意図に沿ったものとなる。

（８）一方のクラスタで最も遅い撮影時刻と、他方のクラスタ内で最も早い撮影時刻との差が上記Ｔ以下の場合にステップＳ５１を肯定判定するようにした。同じイベントに対しては、撮影間隔をあけずに続けて撮影することが多いので、当該クラスタ同士の標題イベントが同一である可能性が高い場合を検出できる。

（９）イベント候補と算出すべき特徴量との関係をあらかじめテーブル化してフラッシュメモリ１９内に記録しておくようにした。これにより、イベント候補の判定に適した画像の特徴量を算出でき、画像ファイルの集合を代表するイベントを適切に決めることができる。

（１０）クラスタの標題イベントに対応させて設けた選択基準情報に基づいて、当該クラスタ内に含まれる画像の中から代表画像を選ぶようにした。これにより、クラスタごとに最も適した選択基準で代表画像を決定できる。

（１１）標題イベントごとに適した選択基準情報をあらかじめテーブル化し、フラッシュメモリ１９内に記録しておく。そして、標題イベントが異なる場合には、該選択基準情報テーブルを参照して選択基準を切り替えるようにした。テーブル化することにより、標題イベントと選択基準との組み合わせを自由に設定することができる。

（変形例１）
選択基準情報テーブルは、ユーザ操作によって変更可能に構成してもよい。たとえば、液晶モニタ１６に選択基準情報テーブルの編集画面を表示させて、ユーザが操作部材１７を操作することによってテーブル内容を変更する。変更内容は、フラッシュメモリ１９へ記録する。

（変形例２）
クラスタリングの際、撮影日単位でクラスタリングを行うようにしてもよい。

（変形例３）
クラスタリングする際、撮影日時情報に応じてでなく、撮影位置情報に応じて行うようにしてもよい。具体的には、ステップＳ１１（図３）において、メインＣＰＵ１１が全ての画像ファイルを対象に、画像ファイルの付加情報部に記録されている撮影位置を示す測位情報を抽出する。そして、メインＣＰＵ１１は、ステップＳ１３（図３）において、１画像につき１クラスタを処理起点として、撮影位置が近いクラスタを逐次併合する処理を繰り返すことにより、画像ファイルを複数のクラスタ（撮影位置が近い画像ファイルの集合）に分ける。メインＣＰＵ１１は、近接するクラスタ間において、撮影位置と撮影位置との間隔（距離）が所定距離（たとえば１Ｋｍ）以上の場合にステップＳ１４へ進む。

（変形例４）
イベント候補テーブルは、ユーザ操作によって変更可能に構成してもよい。たとえば、液晶モニタ１６にイベント候補テーブルの編集画面を表示させて、ユーザが操作部材１７を操作することによってテーブル内容を変更する。変更内容は、フラッシュメモリ１９へ記録する。

（変形例５）
図４のステップＳ２２を省略する構成としてもよい。この場合には、イベント候補テーブルを参照することなく、システムが有している全てのイベント候補を選ぶ。

（変形例６）
変形例３の場合のイベント候補テーブルは、たとえば、撮影位置を含む地域ごとにイベント候補を対応させるとよい。たとえば、海の近くであれば、海水浴、すいか割り、サーフィン、ダイビングなどのイベントを選ぶ。山の近くであれば、キャンプ、ハイキングなどのイベントを選ぶ。この場合のイベント候補テーブルは、地域ごとに発生頻度が高いイベントを記したものであり、過去のイベント発生地に基づいてあらかじめ作成し、フラッシュメモリ１９内に記録しておく。

（変形例７）
イベントらしさ（確率）Ｐが判定閾値Ｐthを超えた画像数に応じて、クラスタ（画像ファイルの集合）の標題イベントを決定してもよい。たとえば、イベント候補（「運動会」、「結婚式」、および「花見」）のうち、判定閾値Ｐthを超えた画像数が多い方に対応するイベント候補を当該クラスタの標題イベントとする。

（変形例８）
また、イベントらしさ（確率）Ｐが判定閾値Ｐthを超えた画像数が多いイベント候補を標題イベントと決定する決定方法と、最大Psumに対応するイベント候補を標題イベントと決定する決定方法とを組み合わせてもよい。この場合、いずれか一方の決定方法で優劣がつかなかった場合に、他方の決定方法を用いて判定を行う。たとえば、図９−図１１の例では、イベント候補「運動会」および「花見」においてイベントらしさ（確率）Ｐが判定閾値Ｐthを超える画像数が同じであって優劣がつかない。そこで、最大Psumに対応するイベント候補「運動会」を当該クラスタの標題イベントとする。

（変形例９）
近接するクラスタ間の時間差が判定閾値Ｔ以下か否かを判定する場合、各クラスタの重心に対応する時間差に基づいて判定してもよい。この場合のメインＣＰＵ１１は、ステップＳ５１（図６）において、一方のクラスタに属する画像群の平均撮影時刻と、他方のクラスタに属する画像群の平均撮影時刻との差が上記Ｔ以下の場合にステップＳ５１を肯定判定してステップＳ５２へ進む。

（変形例１０）
変形例３および変形例６の場合には、近接するクラスタ間の距離が判定閾値Ｄ以下か否かを判定する。この場合のメインＣＰＵ１１は、ステップＳ５１（図６）において、一方のクラスタに属する画像群の撮影位置と、他方のクラスタに属する画像群の撮影位置との間の距離のうち最短のものが、上記Ｄ以下の場合にステップＳ５１を肯定判定してステップＳ５２へ進む。同じイベントに対しては、同じエリア内で続けて撮影することが多いので、当該クラスタ同士の標題イベントが同一である可能性が高い場合を検出できる。

変形例１０によれば、複数のクラスタのうち、近接するクラスタ間の距離差が判定閾値Ｄ以下であって、かつ当該クラスタ同士の標題イベントが同一の場合に両クラスタが１つに統合される。これにより、撮影位置のみでクラスタリングしたものより、必要以上に細かくクラスタリングされることを避けられ、画像を分類整理する時の意図に沿ったものになる。

（第二の実施形態）
図１２に例示する選択基準情報テーブルに代えて、図１４に例示する選択基準情報テーブルを参照してもよい。図１４の選択基準情報テーブルは、第一の実施形態によるテーブルと同様に、あらかじめ作成されてフラッシュメモリ１９内に記録されている。たとえば、クラスタの標題イベントが「北海道旅行」である場合、メインＣＰＵ１１は、撮影位置情報が当該地域（たとえば、北海道の名所）に対応する位置情報に最も近いものを代表画像として選ぶ。

具体的には、標題イベントに含まれる地域の名称に関連する位置情報をあらかじめフラッシュメモリ１９に記録しておく。メインＣＰＵ１１は、たとえば、標題イベントに「北海道」が含まれている場合、「北海道」の名所（たとえば、サロベツ原野）に対応する位置情報をフラッシュメモリ１９から読み出す。メインＣＰＵ１１はさらに、クラスタ内に含まれる全ての画像ファイルを対象として、各画像ファイルの付加情報データに撮影地点の位置情報が記録されているか否かを判定し、撮影地点の位置情報が記録されている場合には、当該画像ファイル内から位置情報を取得する。

そして、フラッシュメモリ１９から読み出した位置情報、およびクラスタ内の画像ファイルから取得した位置情報に基づいて、各画像が名所で撮影されたものであるか否かを判定する。メインＣＰＵ１１は、比較の結果、両者間の距離が最短のものをクラスタの代表画像として選ぶ。

また、クラスタの標題イベントが「ダイビング」、「海水浴」である場合、メインＣＰＵ１１は、「海が写っているもの」、すなわち、画像における特定色領域（この場合は海）の割合が所定割合に最も近いものを代表画像として選ぶ。具体的には、標題イベントに関連する色情報をあらかじめフラッシュメモリ１９に記録しておく。メインＣＰＵ１１は、たとえば、標題イベントに「海」に関連する文字が含まれている場合、特定色（たとえばコバルトブルー）を示す情報をフラッシュメモリ１９から読み出す。

メインＣＰＵ１１はさらに、クラスタ内に含まれる全ての画像ファイルを対象として、各画像ファイルの画像データから色情報を取得する。たとえば、画像を所定数の領域に分割し、各分割領域の中央に位置する画素群の色が特定色に合致するか否かを判定する。そしてメインＣＰＵ１１は、上記所定数と、特定色に合致する分割領域数との割合を得る。船上での撮影シーンや、砂浜での撮影シーン、水中での撮影シーンなど、画像において特定色（海の色）が占める割合は異なるので、あらかじめ代表画像にしたいシーンに応じた割合情報をフラッシュメモリ１９内に記録しておく。このように、フラッシュメモリ１９には、代表画像の決定のために必要な処理を示す情報や、当該処理に必要な情報も記録されている。

さらにまた、クラスタの標題イベントが「運動会」である場合、メインＣＰＵ１１は、主要被写体の動き情報が所定値より大きいものを代表画像として選ぶ。具体的には、被写体追跡情報の取得を指示する情報をあらかじめフラッシュメモリ１９に記録しておく。メインＣＰＵ１１は、たとえば、標題イベントに「運動会」のように「スポーツ」に関連する文字が含まれている場合、被写体追跡情報の取得を指示する情報をフラッシュメモリ１９から読み出す。

メインＣＰＵ１１はさらに、クラスタ内に含まれる全ての画像ファイルを対象として、各画像ファイルの付加情報データに被写体追跡の結果に関する情報が記録されているか否かを判定し、被写体追跡の結果に関する情報が記録されている場合には、当該画像ファイル内から被写体追跡の結果に関する情報を取得する。

そして、メインＣＰＵ１１は、取得した追跡情報に基づいて、各画像間で被写***置の座標値の時系列変化を比較する。メインＣＰＵ１１は、比較の結果、被写***置の座標値の変化が最も大きい画像をクラスタの代表画像として選ぶ。

メインＣＰＵ１１は、各クラスタに対応するフォルダ構造をユーザーに提供する際には、たとえば、フォルダアイコン上に代表画像のサムネイル画像を配置して液晶モニタ１６に表示させる。

すなわち、メインＣＰＵ１１は、「北海道旅行」の標題イベントのフォルダアイコン上には、名所が撮影されている代表画像のサムネイル画像を表示する。また、「海水浴」の標題イベントのフォルダアイコン上には、撮影画面の所定割合をコバルトブルーが占める代表画像のサムネイル画像を表示する。さらにまた、「運動会」の標題イベントのフォルダアイコン上には、移動量が大きな主要被写体が撮影されている代表画像のサムネイル画像を表示する。

以上説明した第二の実施形態によれば、以下の作用効果が得られる。
（１）標題イベントが○○旅行のように地域の名称○○を含む場合には、その地域における所定点（たとえば名所など）に最も近い撮影位置情報を有する画像を代表画像として選ぶようにした。一般に、名所は地域を代表するものとして知られているため、クラスタを構成する複数の画像の代表として好適な画像を決定できる。

（２）標題イベントが「海水浴」のように特定色を連想させる場合には、画像におけるその色の被写体領域が所定割合の画像を代表画像として選ぶようにした。一般に、コバルトブルーは海の色を表わすものとして知られているため、あらかじめ「海水浴」にコバルトブルーを関連付けておけば、クラスタを構成する複数の画像の代表として好適な画像を決定できる。

（３）標題イベントが「運動会」のように動きのある被写体を含む場合には、被写***置を示す座標の変化が大きい画像を代表画像として選ぶようにした。一般に、運動会といえば徒競走を始めとして動いている場面が多いイベントとして知られているため、クラスタを構成する複数の画像の代表として好適な画像を決定できる。

（変形例１１）
撮影位置情報に基づいて、名所からの距離が最短の画像を代表画像として選ぶ代わりに、あらかじめ複数の名所（たとえば、サロベツ原野、利尻島）についての位置情報ををフラッシュメモリ１９に記録するとともに、この名所について優先順位（たとえば、(1)利尻島、(2)サロベツ原野）をつけておくようにしてもよい。クラスタを構成する画像の中に複数の異なる名所で撮影された画像が含まれている場合には、名所から所定距離（たとえば５００ｍ）以内で撮影された画像の中から、最も高い優先度が付加されている名所（たとえば利尻島）に対応する位置情報を有する画像を代表画像として選択する。これにより、複数の名所について撮影画像が含まれる場合には、ユーザーの好みに応じた代表画像を決定できる。

（変形例１２）
クラスタの標題イベントが「ダイビング」または「海水浴」である場合、画像における海の割合が所定割合であって、かつ撮影時の撮影レンズの焦点距離が所定値より短いものを代表画像として選んでもよい。焦点距離情報は、当該画像ファイルの付加情報データとして格納されている撮影条件の情報を用いる。これにより、撮影画角が広い代表画像を選ぶことができる。

（変形例１３）
電子カメラ１内で画像をグルーピングし、その代表画像を決定する例を説明したが、図２−図７による処理を行う代表画像決定プログラムを図１３に示すコンピュータ装置１０に実行させることにより、画像の代表画像決定装置を構成してもよい。代表画像決定プログラムをパーソナルコンピュータ１０に取込んで使用する場合には、パーソナルコンピュータ１０のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像群の代表画像の決定装置として使用する。

パーソナルコンピュータ１０に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１０にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１０へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。代表画像決定プログラムは、記録媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

また、ＡＳＰ（Application Service Provider）のような形態でサーバー側で実行させるようにしてもよい。

（変形例１４）
上述した撮影日時情報、撮影位置情報、撮影条件、および特定被写体の有無に応じたイベント候補の付与について、少なくとも２つを組み合わせることにより、多次元のイベント候補テーブルを備えるように構成してもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

本発明の第一の実施形態による電子カメラ１の要部構成を説明するブロック図である。 メインＣＰＵが実行するグルーピング処理の流れを説明するフローチャートである。 クラスタリング処理を説明するフローチャートである。 画像ごとのイベント判定処理を説明するフローチャートである。 クラスタごとのイベント判定処理を説明するフローチャートである。 クラスタの統合処理を説明するフローチャートである。 代表画像を決める処理を説明するフローチャートである。 イベント候補テーブルを例示する図である。 クラスタに対するイベント判定（運動会）を例示する図である。 クラスタに対するイベント判定（結婚式）を例示する図である。 クラスタに対するイベント判定（花見）を例示する図である。 選択基準情報テーブルを例示する図である。 コンピュータ装置を例示する図である。 第二の実施形態による選択基準情報テーブルを例示する図である。

符号の説明

１…電子カメラ
１１…メインＣＰＵ
１４…バッファメモリ
１５…表示画像作成回路
１６…液晶モニタ
１７…操作部材
１８…ＧＰＳ装置
１９…フラッシュメモリ
３０…記録媒体

Claims (7)

1. 複数の画像を有する画像群を代表する画像を当該画像群の中から決定する決定手段と、
   前記代表する画像を選ぶための選択基準情報であって、前記画像群に付与されている標題に応じた選択基準情報に基づいて前記代表画像を決定するように前記決定手段を制御する制御手段とを備えることを特徴とする画像群の代表画像決定装置。
2. 請求項１に記載の代表画像決定装置において、
   複数の標題にそれぞれ対応する複数の選択基準情報をあらかじめ記憶する記憶手段をさらに備え、
   前記制御手段は、前記画像群に付与されている標題に対応する選択基準情報を前記記憶手段から読み出し、該選択基準情報に基づいて代表画像を決定するように前記決定手段を制御することを特徴とする画像群の代表画像決定装置。
3. 請求項２に記載の代表画像決定装置において、
   前記選択基準情報は、前記標題に応じて行う処理を指示する情報を含み、
   前記決定手段は、前記処理の結果に基づいて前記代表画像を決定することを特徴とする画像群の代表画像決定装置。
4. 請求項３に記載の代表画像決定装置において、
   前記選択基準情報は、前記標題が有する地域名称に関連する位置情報を含み、
   前記決定手段は、前記画像群を構成する個々の画像の撮影位置情報と、前記記憶手段から読み出された位置情報とに基づいて前記代表画像を決定することを特徴とする画像群の代表画像決定装置。
5. 請求項３に記載の代表画像決定装置において、
   前記選択基準情報は、前記標題に応じた色の情報を含み、
   前記決定手段は、前記画像群を構成する個々の画像における前記色の領域情報に基づいて前記代表画像を決定することを特徴とする画像群の代表画像決定装置。
6. 請求項３に記載の代表画像決定装置において、
   前記標題に応じて行う処理は、前記画像群を構成する個々の画像に関して被写体追跡情報を取得する指示を含み、
   前記決定手段は、前記取得された被写体追跡情報に基づいて前記代表画像を決定することを特徴とする画像群の代表画像決定装置。
7. 請求項１〜請求項６のいずれか一項に記載の代表画像決定装置を備えることを特徴とするカメラ。

Images