JP2011192273A - 画像集合における代表画像の検索システム、方法及びプログラム - Google Patents

Abstract

【課題】本発明は、代表画像の自動検索を効率よく行うことができる画像集合における代表画像の検索方法、システムおよびプログラムを提供することを目的とする。
【解決手段】各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、各画像の文書特徴を抽出し、各画像の文書特徴に基づき、該集合の多様性データを取得し、多様性データに基づき、各画像の代表性ポイントを算出し、代表性ポイントに基づき、該集合の代表性画像を選択する。なお、該方法は、さらに各画像の視覚特徴を抽出し、各画像の視覚特徴に基づき、該画像の顕著性データを取得し、多様性データと顕著性データの両方に基づき、各画像の代表性ポイントの演算を行うことにより、該集合の代表性画像を選択する。
【選択図】図１

Description

本発明は、画像集合における代表画像の検索システム、方法及びプログラムに関する。

情報記憶技術の発展に伴い、記憶装置の記憶能力が日に日に向上しており、記憶する情報も膨大になってきている。現実の生活において、例えば、電子アルバム等の大量の電子画像が含まれる画像集合においては、数多く、かつ整理されていない各種画像がしばしば存在しており、ユーザが画像集合の全体内容を迅速に把握することが難しくなっている。この場合、画像集合における全画像の内容を最も代表可能な１つまたは複数の画像（いわゆる代表画像）を自動検索することができれば、ユーザの体験を大きく改善させることになる。

特許出願（例えば、特許文献１参照）には、文書画像データベースに用いるナビゲーションシステムが開示されている。該システムは、ユーザ入力の検索キーワードに対し、文書検索により画像収集を行い、画像の視覚特徴を用いて画像の自動組分けを行い、各組の代表画像を表示している。

特許出願（例えば、特許文献２参照）には、語意主題のリッチ・プレゼンテーション（rich presentation）方法が開示されている。該語意主題は、１つまたは複数のキーワードでもよく、人名、事件、場面等でもよい。

しかしながら、上述の特許文献１に記載のナビゲーションシステムにおいては、ユーザの手動による文書キーワード入力が必要となる。事実上、実際の応用においては、多くの場合、ユーザが電子アルバムのような画像集合に含まれるキーワードを知ることは不可能であるため、手探りで検索キーワードを入力するしかないが、該検索キーワードも、画像集合全体を概括できない場合も多いため、満足のいく画像集合における代表画像の取得ができないという問題があった。

また、上述の特許文献２に記載の語意主題のリッチ・プレゼンテーション方法においては、画像集合には複数の語意主題が含まれる可能性があるため、画像集合のナビゲーションを行うためには、先ずどの主題が含まれているかを判定する必要がある。しかし、語意主題による検出技術は、まだ成熟しておらず、該方法の性能は望ましいものではないという問題があった。

そこで、本発明は、前述の問題を鑑みてなされたもので、効率よく画像集合における代表性画像を自動検索することで、ユーザによる画像集合の全体内容の迅速な把握を可能とし、ユーザ体験を改善可能な、画像集合における代表性画像の検索方法とシステムとプログラムを提供することを目的とする。

上記目的を達成するため、本発明の１局面によれば、画像集合における代表画像の検索方法において、各画像の元データ情報及び／またはユーザの入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出し、各画像の前記文書特徴に基づき、該集合におけるいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得し、前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出し、前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する、画像集合における代表画像の検索方法を提供する。

なお、前述の代表画像の検索方法は、前記集合における各画像から該画像の視覚特徴を抽出し、各画像の前記視覚特徴に基づき、該画像の内容の前記集合における普遍性を表す、該画像の顕著性データを取得し、前記代表性ポイントは、前記顕著性データに基づくようにしてもよい。

なお、前述の代表画像の検索方法において、前記集合における全画像の内容を代表する１つまたは複数の画像の選択は、各画像の代表性ポイントに基づき、前記集合における全画像の代表性ポイントの配列を行い、前記配列の結果に応じて、前記集合における全画像の内容を代表する１つまたは複数の画像を選択するステップが含まれている。

また、前記代表画像の検索方法において、前記各画像の文書特徴の抽出は、前記集合における全画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記集合の文書キーワードデータベースを構築し、前記集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築し、前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成するステップが含まれる。

さらに、前記代表画像の検索方法において、前記文書特徴空間の構築は、前記集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を統計し、前記文書特徴空間を構築するために、出現頻度が所定範囲内の文書キーワードを選択するステップが含まれる。

本発明の他の局面によれば、画像集合における代表画像の検索システムにおいて、各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する文書特徴抽出手段と、各画像の前記文書特徴に基づき、該集合におけるいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得する多様性データ取得手段と、前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出する代表性ポイント演算手段と、前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する代表画像選択手段と、を備えることを特徴とする画像集合における代表画像の検索システムを提供する。

なお、前記代表画像の検索システムは、前記集合における各画像から該画像の視覚特徴を抽出する視覚特徴抽出手段と、各画像の前記視覚特徴に基づき、該画像の内容の前記集合における普遍性を表す、該画像の顕著性データを取得する顕著性データ取得手段と、をさらに備え、前記代表性ポイントは、前記顕著性データに基づくようにしてもよい。

さらに、前記代表画像の検索システムにおいて、前記代表画像選択手段は、各画像の代表性ポイントに基づき、前記集合における全画像の代表性ポイントの配列を行う配列手段と、前記配列の結果に応じて、前記集合における全画像の内容を代表する１つまたは複数の画像を選択する選択手段が含まれる。

さらに、前記代表画像の検索システムにおいて、文書特徴抽出手段は、前記集合における全画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記集合の文書キーワードデータベースを構築する文書キーワードデータベース構築手段と、前記集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築する文書特徴空間構築手段と、前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成する文書特徴形成手段が含まれる。

さらに、前記代表画像の検索システムにおいて、前記文書特徴空間構築手段は、前記集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を統計する統計手段と、前記文書特徴空間を構築するために、出現頻度が所定範囲内の文書キーワードを選択する文書キーワード選択手段が含まれる。

本発明の他の局面によれば、画像集合における代表画像を検索するためにコンピュータを、
各画像の元データ情報及び／またはユーザの入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する手段、
各画像の前記文書特徴に基づき、該集合のいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得する手段、
前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出する手段、
前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する手段、
として機能させるための画像集合における代表画像の検索プログラムを提供する。

本発明の実施例によれば、各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出し、文書特徴に基づき、該集合の多様性データを取得することで、各画像の代表性ポイントを算出し、各画像の代表性ポイントに基づき、該集合の代表画像を選択するため、画像集合における代表画像の自動検索を効率よく行うことができる。

なお、本発明の実施例によれば、前記多様性データ以外にも、該集合における各画像から該画像の視覚特徴を抽出し、各画像の視覚特徴に基づき、該画像の顕著性データを取得し、多様性データと顕著性データの両方に基づき、各画像の代表性ポイントを取得し、各画像の代表性ポイントに基づき、該集合の代表画像を選択するため、画像集合における代表画像の自動検索を効率よく行うことができる。

本発明によれば、画像集合における代表画像の自動検索を効率よく行うことができる。

本発明の１実施例による代表性画像検索システム１００の例示的配置のブロック図である。 本発明の実施列による代表性画像検索システム２００の例示的配置のブロック図である。 本発明の他の実施列による代表性画像検索システム２００の例示的配置をより詳細に示したブロック図である。 本発明の１実施例による代表性画像検索方法のフローチャートである。 本発明の実施列による代表性画像検索方法のフローチャートである。 本発明の実施列による代表性画像検索方法における文書特徴抽出ステップをより詳細に示したフローチャートである。 例示的な２組の画像（Ａ）と（Ｂ）により、多様性の意味を示した図である。 例示的な画像により、顕著性の意味を示した図である。 画像の文書特徴空間を示した略図である。

以下、図面を参照しながら本発明を実施するための形態について説明する。

図１は、本発明の１実施例による代表画像検索システム１００の例示的配置のブロック図である。図１に示されたように、本発明の実施例１による代表画像検索システム１００は、文書特徴抽出手段１０１と、多様性データ取得手段１０２と、代表性ポイント演算手段１０３と、代表画像選択手段１０４が設けられている。

本発明の実施例１による代表画像検索システム１００において、文書特徴抽出手段１０１は、各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する。前記元データ情報は、画像自身の属性に関連する情報である。例えば、前記画像が写真である場合、前記元データ情報は、撮影時間、撮影場所、カメラパラメータ等である。前記マーク情報は、ユーザが定義した、例えば、画像タイトル、画像説明等の画像関連情報である。後ほど図３を参照しながら、文書特徴抽出手段の配置と動作についてさらに詳細に説明する。

多様性データ取得手段１０２は、各画像の前記文書特徴に基づき、該集合の多様性データを取得する。前記多様性データは、該集合におけるいずれの画像の内容同士の差異性を示し、画像集合の多様化程度を反映している。

図７は、例示的な２組の画像（Ａ）と（Ｂ）により、多様性の意味を表現した図である。図７の例示的な２組の画像（Ａ）と（Ｂ）において、（Ａ）組の画像には、同質の画像が多数含まれているため、多様性が低くなっているが、（Ｂ）組の画像には、異なる位置や異なるビューの画像が含まれているため、多様性が高くなっている。

ここで、多様性データは、代表画像の確定に役立っていることが分かる。例えば、電子アルバムの場合、２枚の写真の撮影時間が非常に近いと、この２枚の写真の視覚表現は似ているため、この２枚の写真を同時に代表画像に選んではならない。また、例えば、ユーザが同一フォルダに入れる写真に「年会」のような特殊な名称を命名した場合、これらの写真は、同一事件が記録されている可能性があるため、これらの写真を同時に代表画像に選んではならない。

具体的に、図１に示す多様性データ取得手段１０２は、各文書特徴に基づいて、下記のようにマトリックス形式の多様性データ（以下、適宜多様性マトリックスとも称する）の取得を行う。

画像集合 Ｘ＝{ｘ_ｉ｜ｉ＝０，・・・，Ｍ−１} に、Ｍ枚の画像が存在すると仮定する。ここで、ｘ_ｉは、第ｉ番目の画像を示している。同様に、第ｉ番目画像の文書特徴ベクトルを、 ｔ_ｉ＝［ｔ_ｉ１，ｔ_ｉ２，・・・，ｔ_ｉＫ］^Ｔ と表す。ここで、Ｋは、詳細に後述する文書特徴空間の次元数を表す。該画像集合の多様性マトリックスは、 Ｄ＝［ｄ_ｉｊ］_{（Ｍ×Ｍ）} と表すことができ、ここで、各元素ｄ_ｉｊは、ｉ番目画像とｊ番目画像との差異性を表す。

制限されない実施例として、詳細に後述する文書特徴空間における各画像同士間の距離に基づいて、多様性マトリックスＤにおける各元素ｄ_ｉｊを取得してもよい。

１つの例として、ユークリッド距離に基づき、下記式（１）より、多様性マトリックスＤにおける各元素ｄ_ｉｊを取得する。

他の例として、ｐ規範（p-norm）距離に基づき、下記式（２）より、多様性マトリックスＤにおける各元素ｄ_ｉｊを取得する。

ここで、ｐは、実数であり、実践で需要に応じて任意の値に設定されてもよい。

さらに他の例として、Kullback-Leibler距離に基づき、下記式（３）より、多様性マトリックスＤにおける各元素ｄ_ｉｊを取得する。

ここで、ｐは、文書特徴ベクトルの確率分布を表し、該画像の文書特徴空間における位置により推測する。前記確率分布の演算方法は、当業者に公知であるため、詳細は割愛する。

前記式（１）〜（３）において、前述のように、ｔ_ｉとｔ_ｊは、それぞれｉ番目画像とｊ番目画像の文書特徴ベクトルを表し、Ｋは、文書特徴空間の次元数を表す。

ここで、多様性マトリックスは、前述の２つの画像間の距離情報から取得してもよく、２つの画像間の類似性や関連情報から取得してもよい。

代表性ポイント演算手段１０３は、前記多様性データに基づき、各画像の代表性ポイントを算出し、前記代表性ポイントは、該画像の内容の該集合の全画像の内容に対する代表性を表している。本実施例の場合、各画像の代表性ポイントは、該集合の多様性マトリックスで該画像に対応する行ベクトル若しくは列ベクトルと直接関連する。換言すると、本実施例の場合、各画像の代表性ポイントは、該画像の集合における他の画像との差異性を直接表現している。該画像の集合における他の画像との差異性が高いと、その代表性ポイントも高くなり、差異性が低いと、その代表性ポイントも低くなる。以下、代表性ポイント演算手段１０３の動作について、より詳細に説明する。

代表画像選択手段１０４は、前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する。換言すると、代表画像選択手段１０４は、集合から充分な代表性を有する画像のサブセットを識別する。具体的には、選択した画像は、前記集合における他の画像と最大の差異性を有していなければならない。

本発明の実施例１によると、代表画像検索システム１００は、各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出し、文書特徴に基づき、該集合の多様性データを取得することで、各画像の代表性ポイントを取得し、各画像の代表性ポイントに基づき、該集合の代表画像を選択する。このため、本発明の実施例１による代表画像検索システム１００は、画像集合における代表画像の自動検索を効率よく行うことができる。

以下、図２を参照しながら、本発明の他の実施列による代表画像検索システム２００の例示的配置について説明する。

本発明の他の実施例による代表画像検索システム２００は、文書特徴抽出手段２０１と、多様性データ取得手段２０２と、代表性ポイント演算手段２０３と、代表画像選択手段２０４と、視覚特徴抽出手段２０５と、顕著性データ取得手段２０６が設けられている。ここで、文書特徴抽出手段２０１と、多様性データ取得手段２０２と、代表画像選択手段２０４の配置と動作は、前記図１を参照して説明した文書特徴抽出手段１０１と、多様性データ取得手段１０２と、代表画像選択手段１０４の配置と動作と同様であるため、詳細は割愛する。以下、図２を参照しながら、主に視覚特徴抽出手段２０５と顕著性データ取得手段２０６と代表性ポイント演算手段２０３の例示的配置について説明する。

本発明の他の実施例による代表画像検索システム２００において、視覚特徴抽出手段２０５は、該集合における各画像から該画像の視覚特徴を抽出する。ここで、画像からの視覚特徴抽出は、公知のいずれの方法によって行ってもよい。例えば、視覚特徴抽出手段２０５は、色、模様、形状等のパラメータに基づいて、公知のいずれの方法を用いて画像集合の視覚特徴空間を形成することができる。その後、視覚特徴抽出手段２０５は、各画像に対し、各画像の前記視覚特徴空間における視覚特徴を抽出する。前記パラメータには、局所二値パターン（Local binary pattern，LBP）による模様記述特徴、色空間におけるブロックによるカラーモーメント（block-wise color moment in lab color space）特徴、エッジ方向ヒストグラム特徴、フーリエ記述子等が含まれるが、これに限るものではない。

顕著性データ取得手段２０６は、各画像の前記視覚特徴に基づき、該画像の顕著性データを取得する。前記顕著性データは、該画像の内容の該集合における普遍性を表し、即ち、該画像が対応画像集合に属する度合いを表している。換言すると、顕著性は、該画像の画像集合全体における重要度合いを定義する。ある画像が画像集合において外観の近い画像を多く有していれば、該画像の内容の集合における普遍性が高く、重要性が高くなり、該画像の顕著性データも高くなる。具体的には、画像集合の顕著性は、ベクトルで表すことができ、各元素は、集合における各画像の顕著性を示している。

図８は、例示的な画像により、顕著性の意味を直観的に表現した図である。図８においては、例示的に４つの画像を示しており、４つの画像とも主題キーワードの「金門大橋」に関連している。左から右へ行くほど、画像の顕著性データが低くなっている。

以上から、多様性データ以外に、顕著性データも代表画像の確定に役立つことが分かる。理由として、通常、高顕著性を有する画像は、所属する種類における他の画像と外観上において非常に類似しており、高顕著性を有する画像は、通常、最も鮮明に、或いは充填画像の顕著領域に、或いはいくらかの見慣れた様子で現れるためである。これらの条件は、該画像が表現しようとする主題に関する最多の情報を提供することができる。

具体的に、本発明の実施例による顕著性データ取得手段２０６は、下記のように顕著性データの取得を行う。

前述の画像集合 Ｘ＝{ｘ_ｉ｜ｉ＝０，・・・，Ｍ−１} において、ｉ番目画像の視覚特徴ベクトルは、Ｖ_ｉ＝［ｖ_ｉ１，ｖ_ｉ２，・・・，ｖ_ｉＪ］^Ｔ と表され、ここで、Ｊは視覚特徴空間の次元数である。画像集合の顕著性データは、ｓ＝［ｓ_０，ｓ_１，・・・，ｓ_Ｍ−１］^Ｔ と表すことができ、各元素ｓ_ｉは、ｉ番目顕著性データを示す。

非制限的実施例として、前記視覚特徴空間における核密度予測から、顕著性データを得るようにしてもよい。

１つの例として、簡単な三角関数により、下記式（４）からｉ番目画像の顕著性データを得ることができる。

ここで、ｄ（ｖ_ｉ，ｖ_ｊ）
は、ｉ番目画像とｊ番目画像の視覚特徴空間における、ユークリッド距離であり、下記式（４−１）で表される。

他の例として、ガウス関数により、下記式（５）からｉ番目画像の顕著性データを得ることができる。

ここで、ｈは、平滑パラメータであり、帯域幅とも呼ばれている。

さらに他の例として、コサイン関数により、下記式（６）から各画像の顕著性データを得ることができる。

ここで、前記式（４）から（６）において、ｋｎｎ（ｘ_ｉ）は、視覚特徴空間で画像ｘ_ｉと最も近いＫ個の隣接画像を表す。

これにより、本実施例による顕著性データ取得手段２０６から各画像の顕著性データを取得し、代表性ポイント演算手段２０３に提供している。

本実施例の代表性ポイント演算手段２０３は、多様性データ取得手段２０２から出力される多様性データ、及び顕著性データ取得手段２０６から出力される顕著性データに基づき、集合における各画像の代表性ポイントの演算を行っている。

具体的には、代表性ポイント演算の１例として、代表性演算手段２０３は、画像間に代表性ポイントを伝えるために、画像図のランダム・ウォーク（ｒａｎｄｏｍ ｗａｌｋ）を行っている。画像グラフの各ノードが画像を示しており、画像グラフのエッジは、画像の多様性により重み付きされている。Ｍノードを有する画像図の場合、ｒ_ｌ（ｉ）を用いて１回目反復時のノードｉの代表性ポイントを示している。当業者は、実践において、画像集合のサイズおよび要求される制動に応じて適切に１の値を選択することができる。１回目反復時の図における全ノードの代表性ポイントは、列ベクトル ｒ_ｌ＝［ｒ_ｌ（０），ｒ_ｌ（１），・・・，ｒ_ｌ（Ｍ−１）］^Ｔ を形成する。Ｍ×Ｍの遷移行列をＰとした場合、各元素ｐ_ｉｊは、ノードｉからノードｊまでの遷移確率を表し、下記式（７）より求められる。
このため、代表性ポイント演算手段２０３により行われるランダムウォーク処理は、以下のように表される。

ここで、αは、０から１までの重み付きパラメータであり、実践において、重み付き手段により適当に実現することができる。なお、当業者は、需要に応じて、例えば、α＝０．２、α＝０．５のように、適切にαの値を選択することができる。

代表性ポイント演算手段２０３による該ランダムウォーク処理により、視覚特徴空間における高顕著性と文書特徴空間における高多様性を同時に得ることができる。以下、前記ランダムウォーク処理の収束性を検証する。

定理１：式（８）の反復は、固定点に収束される。

証明：マトリックス形式で式（８）を書き換えると以下の式（９）のようになる。

このため、式（１０）に示すように、
となる。

ここで、遷移行列Ｐは、１に規格化される。０≦α≦１については、γ≦１が存在し、α≦γとなり、下記の式（１１）を得ることができる。

このため、（αＰ）^ｎの行和は０に収束される。このため、式（１０）により、下記の式（１２）を得ることができる。

ここで、Ｉは、Ｐと同様のサイズ（Ｍ×Ｍ）の単位マトリックスである。

これは、唯一の解となる。

換言すると、本実施例の代表性ポイント演算手段２０３により、前記式（８）から、顕著性データと多様性データを用いて、各画像の代表性ポイントを得ることができる。

ここで、前記α＝１の場合、以上のランダムウォーク処理は、前記実施例における代表性ポイント演算手段１０３の動作に対応している。

ここで、本実施例の代表性ポイント演算手段２０３は、前記式（８）から画像の代表性ポイントを取得しているが、当業者は、式（８）に対して各種変更を行い、他の方式により画像の代表性ポイントの演算を行うことができる。

本実施例による代表画像検索システム２００においては、代表性ポイント演算手段２０３は、多様性データ取得手段２０２から取得される多様性データのみならず、顕著性データ取得手段２０６から取得される顕著性データにも基づいて、画像の代表性ポイントを算出しているため、画像の代表性ポイントを多様性と顕著性の両方を総合的に考慮するようにすることで、画像集合の全体内容を十分代表可能な代表画像を効率よく検索することができる。

以下、図３のブロック図を参照しながら、代表画像検索システム２００の配置について詳細に説明する。

図３に示されているように、前記文書特徴抽出手段２０１は、好ましくは、文書キーワードデータベース構築手段２０１１と、文書特徴空間構築手段２０１２と、文書特徴形成手段２０１３とが含まれている。

文書キーワードデータベース構築手段２０１１は、該集合における全画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、該集合の文書キーワードデータベースを構築する。

文書特徴空間構築手段２０１２は、該集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築する。

文書特徴形成手段２０１３は、前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成する。

図９は、画像集合における各画像の文書特徴空間を示した略図である。該画像集合には、計９つの画像が存在している。該９つの画像の元データ情報、及び／またはユーザ入力によるマーク情報に基づいて形成される文書キーワードデータベースから、１１個のキーワードを選択しているため、形成される文書特徴空間は、１１次元を有し、各画像の該文書特徴空間における各次元数の値は、該画像が対応のキーワードを含んでいるか否かを示している。例えば、「１」は、該画像に対応のキーワードが含まれていることを示し、「０」は、該画像に対応のキーワードが含まれていないことを示しているが、その逆でもよい。

文書特徴形成手段２０１３は、前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成する。例えば、図９における画像名称は、0573384.jpgの画像に関しては、含まれている文書キーワードＩＤは、４、１及び９であるため、該画像の該文書特徴空間における文書特徴は、（０、１、０、０、１、０、０、０、０、１、０）である。ここで、前記文書特徴形成手段２０１３による文書特徴形成方法は、単なる例示的なものである。当業者は、充分、各画像に含まれる文書キーワード数のカウントによる方法等の他の方法を用いて、該画像の該文書特徴空間における文書特徴を形成することができる。

好ましくは、前記文書特徴空間構築手段２０１２は、該集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を計算する計算手段２０１２Ａと、前記文書特徴空間を構築するために、出現頻度が所定範囲内の文書キーワードを選択する文書キーワード選択手段２０１２Ｂを有する。理由として、実施においては、通常、含まれている情報量の少なく、かつ出現頻度の高い、「１つ」、「これ」、「画像」等のような文書キーワードが存在しているため、このようなワードは、情報検索においては、通常「停止ワード（stop word）」と呼ばれている。このようなキーワードによりシステムの信頼性が損なわれるため、出現頻度が所定値以上のこれらのキーワードは最初に削除されることが好ましい。当業者は、実際の需要に応じて、前記所定値を確定することができるが、当該分野の公知であるため、ここでの詳細な説明は割愛する。

なお、好ましくは、前記代表画像選択手段２０４は、各画像の代表性ポイントに基づき、集合における全画像の代表性ポイントの配列を行う配列手段２０４１と、前記配列の結果に応じて、該集合における全画像の内容を代表する１つまたは複数の画像を選択する選択手段２０４２が含まれている。

当業者は、各種方法により選択した代表性画像をユーザに表示させることを構想することができる。例えば、代表性ポイントの高い画像を所定表示部分に表示してもよく、代表性ポイントを記憶手段に記憶し、例えば、文書キーワードグループの形式で表示するか、代表性ポイント順で印刷するか等の他の方法でユーザに表示させてもよい。

なお、当業者は、各種方法により画像の代表性ポイントを利用することを構想することができる。例えば、代表性ポイントをさらに分析し、代表性ポイントを他のプロセスの一部に用いてもよい。例えば、本発明における文書特徴空間をラベル空間に応用してもよく、本発明を多標記分類の訓練集の収集／修正に用いてもよい。

以下、図４〜図６を参照しながら、本発明の実施例による代表画像検索方法について詳細に説明する。

図４は、本発明の実施例１における代表性画像検索システム１００による代表性画像検索方法のフローチャートである。

図４に示されているように、ステップＳ４０１において、各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する。

ステップＳ４０２において、各画像の前記文書特徴に基づき、該集合の多様性データを取得する。前記多様性データの意味及び多様性データの取得方法については、前述のように図１を参照して詳細に説明されているため、ここでの詳細な説明は割愛する。

ステップＳ４０３において、前記多様性データに基づき、各画像の代表性ポイントを算出する。前記代表性ポイントの意味及び代表性ポイントの算出方法については、前述のように図１を参照して詳細に説明されているため、ここでの詳細な説明は割愛する。

ステップＳ４０４において、前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像である、代表画像を選択する。

本発明の実施例における代表画像の検索方法によれば、効率よく画像集合における代表画像を自動検索することができる。

図５は、本発明の実施列２における代表画像検索システム２００による代表画像検索方法のフローチャートである。

図５に示されたフローチャートにおいて、ステップＳ５０１、ステップＳ５０２、ステップＳ５０４の処理は、前記図４によるフローチャートに記載のステップＳ４０１、ステップＳ４０２、ステップＳ４０４の処理と同様であるため、詳細な説明は割愛する。

図５に示されたフローチャートの、図４に示されたフローチャートとの相違点は、ステップＳ５０５において、該集合における各画像から該画像の視覚特徴を抽出し、ステップＳ５０６において、各画像の前記視覚特徴に基づき、該画像の顕著性データを取得することにある。前記顕著性データの意味及び顕著性データの取得方法については、前述のように図２を参照して詳細に説明されているため、ここでの詳細な説明は割愛する。

前記顕著性データと多様性データの取得後には、ステップＳ５０３において、前記顕著性データと多様性データの両方に基づき、各画像の代表性ポイントを算出する。前記算出方法については、前述のように図２を参照して詳細に説明されているため、ここでの詳細な説明は割愛する。

なお、好ましくは、ステップＳ５０４において、各画像の代表性ポイントに基づき、集合における全画像の代表性ポイントの配列を行い、前記配列の結果に応じて、該集合における全画像の内容を代表する１つまたは複数の画像を選択する。

本発明の該実施例による代表画像検索方法によれば、顕著性データと多様性データの両方を総合的に考慮して代表画像を選択しているため、画像集合内容を充分代表可能な代表画像を効率よく検索することができる。

図６は、本発明の実施列による代表画像検索方法における文書特徴抽出ステップをより詳細に示したフローチャートである。

図６に示されたように、ステップＳ５０１１において、該集合における全ての画像の元データ情報、及び／またはユーザ入力によるマーク情報により、該集合の文書キーワードデータベースを構築する。

ステップＳ５０１２において、該集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築する。

ステップＳ５０１３において、前記各画像の元データ情報、及び／またはユーザ入力によるマーク情報に基づいて、前記文書特徴空間を用いて、各画像の文書特徴を形成する。

なお、好ましくは、ステップＳ５０１２の処理において、該集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を計算し、その出現頻度が所定範囲内の文書キーワードを選択して前記文書特徴空間を構築することで、本発明の実施例による代表画像の検索方法の信頼性の向上が可能となる。

前述の一連の処理は、ハードウェアやソフトウェアにより実行することができる。ソフトウェアにより前述の処理を行う場合は、このようなソフトウェアを構成するプログラムをネットワークや記録媒体からインストールすることができる。

前述の一連の処理は、ここで説明した順序通りの時間序列で実行される処理以外にも、時間序列で実行される処理ではなく、並行や別個に実行される処理も含まれている。例えば、図５におけるステップＳ５０１とＳ５０２の処理は、ステップＳ５０５とＳ５０６の処理と並行に実行されていてもよい。

以上のように、図面を参照しながら本発明の実施例による代表画像の検索システムと代表画像の検索方法と代表画像の検索プログラムについて説明してきたが、前述の実施例は例示的なもので、本発明がこれに限定されることはない。当業者は、本発明の範囲を逸脱しない範囲で、本発明の実施例に対して充分各種修正や代替を行うことができる。

本発明は、画像情報の整理、管理、処理等を行う画像情報処理装置全般に利用することができる。

１００、２００ 代表画像検索システム
１０１、２０１ 文書特徴抽出手段
１０２、２０２ 多様性データ取得手段
１０３、２０３ 代表性ポイント演算手段
１０４、２０４ 代表画像選択手段
２０５ 視覚特徴抽出手段
２０６ 顕著性データ取得手段
２０１１ 文書キーワードデータベース構築手段
２０１２ 文書特徴空間構築手段
２０１２Ａ 計算手段
２０１２Ｂ 文書キーワード選択手段
２０１３ 文書特徴形成手段
２０４１ 配列手段
２０４２ 選択手段

米国特許公開第2007/0094251号明細書 米国特許第5,995,978号明細書

Claims (11)

1. 画像集合における代表画像の検索方法において、
   各画像の元データ情報及び／またはユーザの入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出し、
   各画像の前記文書特徴に基づき、該集合のいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得し、
   前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出し、
   前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する、画像集合における代表画像の検索方法。
2. 請求項１に記載の代表画像の検索方法において、
   前記集合における各画像から該画像の視覚特徴を抽出し、
   各画像の前記視覚特徴に基づき、該画像の内容の前記集合における普遍性を表す、該画像の顕著性データを取得し、
   前記代表性ポイントは、前記顕著性データに基づくことを特徴とする代表画像の検索方法。
3. 請求項１または２に記載の代表画像の検索方法において、
   前記集合における全画像の内容を代表する１つまたは複数の画像の選択は、
   各画像の代表性ポイントに基づき、前記集合における全画像の代表性ポイントの配列を行い、
   前記配列の結果に応じて、前記集合における全画像の内容を代表する１つまたは複数の画像を選択するステップが含まれることを特徴とする代表画像の検索方法。
4. 請求項１に記載の代表画像の検索方法において、
   前記各画像の文書特徴の抽出は、
   前記集合における全画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記集合の文書キーワードデータベースを構築し、
   前記集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築し、
   前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成するステップが含まれることを特徴とする代表画像の検索方法。
5. 請求項４に記載の代表画像の検索方法において、
   前記文書特徴空間の構築は、
   前記集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を統計し、
   前記文書特徴空間を構築するために、出現頻度が所定範囲内の文書キーワードを選択するステップが含まれることを特徴とする代表画像の検索方法。
6. 画像集合における代表画像の検索システムにおいて、
   各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する文書特徴抽出手段と、
   各画像の前記文書特徴に基づき、該集合におけるいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得する多様性データ取得手段と、
   前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出する代表性ポイント演算手段と、
   前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する代表画像選択手段と、を備えることを特徴とする画像集合における代表画像の検索システム。
7. 請求項６に記載の代表画像の検索システムにおいて、
   前記集合における各画像から該画像の視覚特徴を抽出する視覚特徴抽出手段と、
   各画像の前記視覚特徴に基づき、該画像の内容の前記集合における普遍性を表す、該画像の顕著性データを取得する顕著性データ取得手段と、をさらに備え、
   前記代表性ポイントは、前記顕著性データに基づくことを特徴とする代表画像の検索システム。
8. 請求項６または７に記載の代表画像の検索システムにおいて、
   前記代表画像選択手段は、
   各画像の代表性ポイントに基づき、前記集合における全画像の代表性ポイントの配列を行う配列手段と、
   前記配列の結果に応じて、前記集合における全画像の内容を代表する１つまたは複数の画像を選択する選択手段が含まれることを特徴とする代表画像の検索システム。
9. 請求項６に記載の代表画像の検索システムにおいて、
   文書特徴抽出手段は、
   前記集合における全画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記集合の文書キーワードデータベースを構築する文書キーワードデータベース構築手段と、
   前記集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築する文書特徴空間構築手段と、
   前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成する文書特徴形成手段が含まれることを特徴とする代表画像の検索システム。
10. 請求項９に記載の代表画像の検索システムにおいて、
    前記文書特徴空間構築手段は、
    前記集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を統計する統計手段と、
    前記文書特徴空間を構築するために、出現頻度が所定範囲内の文書キーワードを選択する文書キーワード選択手段が含まれることを特徴とするシステム。
11. 画像集合における代表画像を検索するためにコンピュータを、
    各画像の元データ情報及び／またはユーザの入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する手段、
    各画像の前記文書特徴に基づき、該集合のいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得する手段、
    前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出する手段、
    前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する手段、
    として機能させるための画像集合における代表画像の検索プログラム。