JP6143462B2

JP6143462B2 - 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム

Info

Publication number: JP6143462B2
Application number: JP2013001086A
Authority: JP
Inventors: 昌弘松下; 椎山　弘隆; 弘隆椎山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-01-08
Filing date: 2013-01-08
Publication date: 2017-06-07
Anticipated expiration: 2033-01-08
Also published as: JP2014134860A

Description

本発明は画像の特徴量の抽出技術、特に、類似画像の比較のために利用する局所特徴に係る技術に関するものである。

画像の局所的な特徴量（局所特徴量）を用いて類似画像を検索する方法が提案されている。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する（非特許文献１）。次に、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴量（局所特徴量）を計算する（非特許文献２）。画像の検索は、局所特徴量同士のマッチングによって行う。

局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、検索を可能にする。局所特徴量は一般的にベクトルとして表現される。ただし、局所特徴量が回転不変、拡大・縮小不変であることは理論上の話である。実際のデジタル画像においては、画像の回転や拡大・縮小処理を行う際に計算誤差が発生するため、これらの処理前の局所特徴量と処理後の対応する局所特徴量との間に若干の変動が生じる。

回転不変の局所特徴量抽出のために、たとえば非特許文献２では、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴量算出時に主方向を基準に局所領域を回転させて方向の正規化を行う。また、拡大・縮小不変の局所特徴量を算出するために、異なるスケールの画像を内部で生成し、各スケールの画像からそれぞれ局所特徴点の抽出と局所特徴量の算出を行う。ここで、内部で生成した一連の異なるスケールの画像集合は一般的にスケールスペースと呼ばれる。

特許文献１では、画像データから特徴点を抽出するための画像特徴点抽出方法において、画像を変動させて複数枚の画像データを取得し、安定した特徴点に絞り込んでいる。また、特許文献２では、局所特徴点の再現性を評価し、再現性の高いものから記述し局所特徴量の個数を制御する。

特開２０１１−４３９６９号特願２０１１−２３７９６２号

Ｃ．ＨａｒｒｉｓａｎｄＭ．Ｊ．Ｓｔｅｐｈｅｎｓ，"Ａｃｏｍｂｉｎｅｄｃｏｒｎｅｒａｎｄｅｄｇｅｄｅｔｅｃｔｏｒ，" ＩｎＡｌｖｅｙＶｉｓｉｏｎＣｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ１４７−１５２，１９８８．ＤａｖｉｄＧ．Ｌｏｗｅ， "ＤｉｓｔｉｎｃｔｉｖｅＩｍａｇｅＦｅａｔｕｒｅｓｆｒｏｍＳｃａｌｅ−ＩｎｖａｒｉａｎｔＫｅｙｐｏｉｎｔｓ，" ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，６０，２（２００４），ｐｐ．９１−１１０．

局所特徴量を用いた画像検索では、１枚の画像から複数の局所特徴点を抽出し、それぞれの局所特徴点から算出した局所特徴量同士の比較を行うことによりマッチングを行う。クエリ画像から多くの局所特徴点が抽出されると、局所特徴量同士の比較回数が増大し検索速度が低下するため、局所特徴点の数は多くなり過ぎないことが望ましい。特に、多くの画像に共通して含まれている特徴量は他の画像との判別性能が低く、検索に非効率なため、そのような特徴量を持つ特徴点は含まれていないことが望ましい。

また、撮影機能と通信機能を備えた携帯電話、スマートフォン、デジタルカメラ等の携帯デバイスが増えており、それらの携帯デバイスで撮影した画像をクエリとし、ＰＣ／サーバで検索し、検索結果を携帯デバイスで表示するという用途も考えられてきている。その実現方法として、携帯デバイス内で局所特徴量を算出し、その局所特徴量をＰＣ／サーバに送信する方法がある。その場合、携帯デバイス内で算出された局所特徴量が多いと、ＰＣ／サーバへの送信に時間を要し、検索結果表示までの時間が長くかかることがあるため、局所特徴点の数は多くなり過ぎないことが望ましい。また、携帯デバイス、ＰＣ／サーバ、通信回線などの制限により、局所特徴量のサイズに上限がある場合もある。

これらのことから、抽出された局所特徴点をすべて利用するのではなく、特許文献１や特許文献２のように、一部の局所特徴点のみを利用することが考えられている。しかしながら、これらの方法は、クエリ画像から抽出された局所特徴点の中から安定して抽出される局所特徴点を絞り込む方法である。例えば、そのような安定して抽出される局所特徴点から算出される局所特徴量が、様々な画像から高頻度で算出される局所特徴量である場合、その局所特徴量を用いて検索を行っても、他の画像との判別性能が低く、高い検索精度を得ることはできない。

本発明は上記の課題に鑑みてなされたものであり、他の画像との判別性能が高く、検索に有意な局所特徴点および局所特徴量を得る技術を提供しようとするものである。

本発明に係る画像検索装置は、画像を入力する入力手段と、前記画像の画像特徴を抽出する抽出手段と、前記画像と前記画像特徴とを関連付けて記憶する記憶手段と、（Ａ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、所定数以下の画像特徴を前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴として選別し、（Ｂ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、前記所定数よりも多い画像特徴を、前記使用を制限する画像特徴として選別する選別手段と、前記検索元画像の検索のために使用すると選別された画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴との比較を行う比較手段と、を有する。

本発明によれば、他の画像との判別性能が高く、検索に有意な局所特徴点および局所特徴量を得ることができる。

第１の実施形態における画像検索装置の機能構成例を示すブロック図である。第１の実施形態において、画像登録処理手順の一例を示すフローチャートである。第１の実施形態において、縮小画像生成処理の一例を示す図である。第１の実施形態において、画像特徴リストの一例を示す図である。第１の実施形態において、画像特徴リストと登録画像が関連付けられて登録されたデータベースの一例を示す図である。第１の実施形態において、多出現画像特徴リスト生成処理手順の一例を示すフローチャートである。第１の実施形態において、多出現画像特徴リストの一例を示す図である。第１の実施形態において、画像検索処理手順の一例を示すフローチャートである。第１の実施形態において、多出現画像特徴群削減処理手順の一例を示すフローチャートである。第１の実施形態において、画像特徴群比較処理手順の一例を示すフローチャートである。第２の実施形態における画像検索システムの機能構成例を示すブロック図である。第２の実施形態の画像検索システムにおける画像検索処理手順の一例を示すフローチャートである。第２の実施形態において、多出現画像特徴リスト更新処理の一例を示すフローチャートである。第２の実施形態において、多出現画像特徴リストの更新設定のためのユーザインタフェースの一例である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。第１の実施形態は、クエリ画像から画像特徴群を抽出し、その画像特徴群を使って検索を行い、検索結果を表示する画像検索システムの例である。

図１は、第１の実施形態における画像検索装置の機能構成例を示すブロック図である。図１に示す各構成における動作の詳細については、後述する。

図１において、画像入力部１０１は、登録画像およびクエリ画像（検索元画像）の入力を行う。画像特徴群抽出部１０２は、画像入力部１０１から入力された登録画像およびクエリ画像の画像特徴群を抽出する。多出現画像特徴リスト生成部１０３は、複数の登録画像から算出された画像特徴群の中から、それらの出現頻度が高く、判別性能が低いと考えられる画像特徴リストを生成する。画像特徴群選別部１０４は、クエリ画像の画像特徴群から、判別性能が高い画像特徴群を選別する。画像特徴群比較部１０５は、画像特徴群選別部１０４で選別されたクエリ画像の画像特徴群を用いて画像特徴群比較を行う。画像特徴群比較結果表示部１０６は、画像特徴群比較部１０５の画像特徴群比較結果を表示する。記憶部１０７は処理中のデータを記憶するメモリ・ＨＤＤ等である。
なお、これら各構成は、不図示のＣＰＵにより統括的に制御されている。

尚、ＣＰＵはプログラムを実行することで各種の手段として機能することが可能である。なお、ＣＰＵと協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能してもよい。また、ＣＰＵと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵは単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵは分散して処理を実行することが可能である。また、複数のＣＰＵは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。

［画像登録処理］
図２は、第１の実施形態の画像検索装置における画像登録処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

まず、ステップＳ２０１において、画像入力部１０１を介して登録画像が入力される。入力された画像は、記憶部１０７に保存される。

次に、画像特徴群抽出部１０２において、ステップＳ２０２からステップＳ２０７の処理が行われる。まずステップＳ２０２で、入力された登録画像から輝度成分を抽出し、抽出した輝度成分に基づいて輝度成分画像を生成する。

次にステップＳ２０３で、輝度成分画像を倍率（縮小率）ｐに従って順次縮小することを繰り返し、オリジナルのサイズの画像から段階的に縮小した、オリジナルの画像を含めてｎ枚の縮小画像を生成する。ここで、倍率ｐ及び縮小画像の枚数ｎは予め決められているものとする。

図３は、縮小画像生成処理の一例を示す図である。図３に示す例は、倍率ｐが「２の−（１／４）乗」、縮小画像の枚数ｎが「９」の場合である。もちろん、倍率ｐは必ずしも「２の−（１／４）乗」で無くとも良い。図３において、符号３０１はステップＳ２０２で生成された輝度成分画像である。符号３０２は当該輝度成分画像３０１から倍率ｐに従って再帰的に４回の縮小処理を行って得られた縮小画像である。そして、符号３０３は当該輝度成分画像３０１から倍率ｐに従って８回縮小された縮小画像である。

この例では、縮小画像３０２は輝度成分画像３０１が１／２に縮小された画像となり、縮小画像３０３は輝度成分画像３０１が１／４に縮小された画像となる。尚、画像を縮小する方法は第１の実施形態では、線形補間による縮小方法により縮小画像を生成するものとする。画像の縮小をその他の方法で行っても良い。

次に、ステップＳ２０４では、ｎ枚の縮小画像の各々に画像の回転があってもロバスト（ｒｏｂｕｓｔ）に抽出されるような局所的な特徴点（局所特徴点）を抽出する。この局所特徴点の抽出方法として、第１の実施形態ではＨａｒｒｉｓ作用素を用いる（非特許文献１：Ｃ．ＨａｒｒｉｓａｎｄＭ．Ｊ．Ｓｔｅｐｈｅｎｓ， “Ａｃｏｍｂｉｎｅｄｃｏｒｎｅｒａｎｄｅｄｇｅｄｅｔｅｃｔｏｒ，” ＩｎＡｌｖｅｙＶｉｓｉｏｎＣｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ１４７−１５２，１９８８．参照）。

具体的には、Ｈａｒｒｉｓ作用素を作用させて得られた出力画像Ｈ上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。ここで、当該画素が局所極大になったときでも、当該画素の値がしきい値以下の場合には局所特徴点として抽出しないようにする。

尚、局所特徴点を抽出可能な方法であれば、上述のＨａｒｒｉｓ作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも適用可能である。

次に、ステップＳ２０５で、ステップＳ２０４で抽出された局所特徴点の各々について、画像の回転があっても不変となるように定義された特徴量（局所特徴量）を算出する。この局所特徴量の算出方法として、第１の実施形態ではＬｏｃａｌＪｅｔ及びそれらの導関数の組み合わせを用いる（Ｊ．Ｊ．ＫｏｅｎｄｅｒｉｎｋａｎｄＡ．Ｊ．ｖａｎＤｏｏｒｎ， “Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｏｆｌｏｃａｌｇｅｏｍｅｔｒｙｉｎｔｈｅｖｉｓｕａｌｓｙｓｔｅｍ，” ＲｉｏｌｏｇｉｃａｌＣｙｂｅｒｎｅｔｉｃｓ，ｖｏｌ．５５，ｐｐ．３６７−３７５，１９８７．参照）。

具体的には、以下の式（１）により局所特徴量Ｖを算出する。

ただし、式（１）の右辺で用いている記号は、以下に示す式（２）から式（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義された変数Ｌｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。

尚、局所特徴量を算出可能な方法であれば、上述したような特徴量算出方法に限らず、どのような特徴量算出方法でも適用可能である。

次に、ステップＳ２０６で、ステップＳ２０５で算出された局所特徴量の各々について、量子化を行い、ラベル値を付与する。第１の実施形態で使用している局所特徴量、すなわち、ＬｏｃａｌＪｅｔおよびそれらの導関数の組み合わせにより、１つの局所特徴点からＮ次元の局所特徴量が算出される。ここでは、各次元について、Ｋ個に量子化を行う。ここで、ＮおよびＫはあらかじめ決められているものとする。

具体的には以下の式（８）により、量子化を行う。

Ｑｎ＝（Ｖｎ＊Ｋ）／（Ｖｎｍａｘ−Ｖｎｍｉｎ＋１）・・・（８）
ここで、Ｑｎは、Ｎ次元のうちのｎ番目の次元の特徴量Ｖｎを量子化した値である。ＶｎｍａｘとＶｎｍｉｎはそれぞれｎ番目の次元の特徴量の取りうる値の最大値、および、最小値である。

各次元についての量子化を行った後、以下の式（９）により、ラベル化を行う。

尚、量子化、ラベル化可能な算出方法であれば、上述したような算出方法に限らずに、どのような量子化、ラベル化方法でも適用可能である。

次に、ステップＳ２０７では、それらの特徴量、および、量子化ラベルを、画像特徴リストとしてまとめる。図４は、画像特徴リストの一例である。量子化ラベルをキーとしてリストを生成する。１つの量子化ラベルに複数の画像特徴リストが関連付けられることもある。

尚、第１の実施形態では、特徴量、および、量子化ラベルを、画像特徴リストとしてまとめているが、量子化ラベルのみを画像特徴リストとしてまとめることも可能である。また、特徴点の座標などのその他の情報を画像特徴リストに含めることも可能である。

最後に、ステップＳ２０８で、画像特徴リストを登録画像と関連付けて記憶部１０７に登録する。図５は、画像特徴リストが登録画像と関連付けて登録されたデータベースの一例である。量子化ラベルをキーとしてデータベースに登録する。また、登録画像には画像ＩＤを割り振り、そのＩＤをデータベースに登録する。同じ画像を複数回登録した場合、類似する画像を登録した場合など、１つの量子化ラベルに複数の画像ＩＤが関連付けられることもある。また、使用されない量子化ラベルが存在することもある。

［多出現画像特徴リスト生成処理］
図６は、画像検索装置の多出現画像特徴リスト生成部１０３における多出現画像特徴リスト生成処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。第１の実施形態では、各量子化ラベルに関連付けて登録されている画像数を用いて多出現画像特徴リストを生成する。

まず、ステップＳ６０１において、各量子化ラベルに関連付けて登録されている画像数を取得する。次に、ステップＳ６０２において、登録されている画像数の多い順に量子化ラベルをソートする。最後にステップＳ６０３において、登録されている画像が所定数以上の量子化ラベルのリストを多出現画像特徴リストとして生成する。図７は、多出現画像特徴リストの一例である。

ここで、所定数は、あらかじめ固定値で与えられてもよいし、登録されている総画像数に応じた割合などの可変値で与えられてもよい。登録されている総画像数に応じて可変値で与えられる場合は、総画像数に対する固定割合で可変値を決めてもよいし、総画像数に応じて可変割合で可変値を決めてもよい。また、総画像数がある上限に達するまでは、所定数は可変値とし、上限に達した場合は、所定数を固定値にするようにしてもよい。

尚、第１の実施形態では、登録されている画像数で量子化ラベルをソートし、登録されている画像が所定数以上の量子化ラベルを用いて多出現画像特徴リストとした。その他、登録されている特徴点・特徴量数で量子化ラベルをソートし、登録されている特徴点・特徴量が所定数以上の量子化ラベルを用いて多出現画像特徴リストとしてもよい。その場合の所定数は、あらかじめ固定値で与えられてもよいし、特徴点・特徴量の総登録数に応じて可変値で与えられてもよい。特徴点・特徴量数の総登録数に応じて可変値で与えられる場合は、特徴点・特徴量の総登録数に対する固定割合で可変値を決めてもよいし、特徴点・特徴量の総登録数に応じて可変割合で可変値を決めてもよい。多出現画像特徴リスト生成のタイミングとしては、画像登録処理直後に行ってもよいし、画像登録処理後に画像検索サーバがアイドル状態になったときに行うようにしてもよい。

［画像検索処理］
図８は、第１の実施形態の画像検索装置における画像検索処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

まず、ステップＳ８０１において、画像入力部１０１を介してクエリ画像（検索元画像）が入力される。入力された画像は、記憶部１０７に保存される。

次に、画像特徴群抽出部１０２において、ステップＳ８０２からステップＳ８０７の処理が行われる。本処理は、画像登録処理におけるステップＳ２０２からステップＳ２０７の処理と同等であるため、詳細の説明は省略する。

次に、ステップＳ８０８において、抽出されたクエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合、ステップＳ８０９に進み、最大数以下の場合は、ステップＳ８１２に進む。

尚、第１の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、画像特徴リストを記憶部に格納する時のサイズ（バイト数等）が、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。

ステップＳ８０９では、多出現画像特徴リストに載っている量子化ラベルと同じ量子化ラベルをクエリ画像の画像特徴リストから削除（除外）することにより、クエリ画像の特徴点数を削減する。多出現画像特徴リストに載っている量子化ラベルと同じ量子化ラベルをクエリ画像の画像特徴リストで識別できるようにし、画像特徴群比較部１０５の処理での使用を制限するようにしても良い。

ここで、図９は、ステップＳ８０９における多出現画像特徴群削減処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

まず、ステップＳ９０１において、多出現画像特徴リストの１番目の量子化ラベルを処理対象量子化ラベルに設定する。ステップＳ６０２で説明したように、多出現画像特徴リストは、登録されている画像数、もしくは、登録されている特徴点・特徴量数の多い順にソートされている。したがって、多出現画像特徴リスト上位の特徴の方が、登録数が多い特徴であり、判別性能が低い特徴である。したがって、第１の実施形態では、多出現画像特徴リスト上位の特徴から順に、削減処理対象とする。

次に、ステップＳ９０２において、処理対象量子化ラベルと一致する量子化ラベルがクエリ画像の画像特徴リストに存在する場合はステップＳ９０３に進み、存在しない場合はステップＳ９０５に進む。

ステップＳ９０３では、処理対象量子化ラベルと一致する量子化ラベルをクエリ画像の画像特徴リストから削除する。多出現画像特徴リストに載っている量子化ラベルと同じ量子化ラベルをクエリ画像の画像特徴リストで識別できるようにし、画像特徴群比較部１０５の処理での使用を制限するようにしても良い。

そして、ステップＳ９０４において、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合、ステップＳ９０５に進み、最大数以下になった場合は、多出現画像特徴群削減処理を終了する。

尚、第１の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、ステップＳ８０８と同様に、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。

ステップＳ９０５では、多出現画像特徴リストに未処理の量子化ラベルが存在する場合はステップＳ９０６に進み、存在しない場合は、多出現画像特徴群削減処理を終了する。

ステップＳ９０６では、多出現画像特徴リストの次の量子化ラベルを処理対象量子化ラベルに設定し、ステップＳ９０２に戻る。

第１の実施形態では、抽出されたクエリ画像の特徴点数が検索時に使用可能な特徴点の最大数よりも多い場合にのみ、多出現画像特徴群削減処理を行っているが、この場合分け処理を省略し、常に多出現画像特徴群削減処理を行うようにしてもよい。また、ステップＳ９０４において、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合にのみ、多出現画像特徴群削減処理を継続している。しかし、この場合分け処理を省略し、多出現画像特徴リストに載っている特徴群はすべて削除するようにしてもよい。第１の実施形態では、多出現画像特徴リストはステップＳ６０２で説明したように、登録されている画像数、もしくは、登録されている特徴点・特徴量数でソートされている。しかし、多出現画像特徴リストに載っている特徴群はすべて削除するようにした場合は、ソートされている必要はないため、ステップＳ６０２の処理は省略可能である。

ステップＳ８０９の多出現画像特徴群削減処理終了後、ステップＳ８１０において、抽出されたクエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合、ステップＳ８１１に進み、最大数以下の場合は、ステップＳ８１２に進む。

ステップＳ８１１では、クエリ画像の特徴量の安定性を評価し、安定度の低い特徴量をクエリ画像の画像特徴リストから削除することにより、クエリ画像の特徴点数を削減する。クエリ画像の特徴量の安定性を利用した特徴点数の削減方法については、特許文献２による方法を用いることで可能となる。

すなわち、解析対象の画像を回転或いは縮小する等の画像処理を行う事による、特徴点の位置および特徴量の特徴間距離を求め、これを安定性の指標とする。特徴点の位置の変動が大きいと明らかに特徴量は変化してしまうため、まず、特徴点の位置が定められた閾値範囲内に収まる特徴点に絞る。そして、回転或いは縮小する等の画像処理の前後での特徴量の変化、即ち特徴量間距離を安定性の指標とする。そして、距離の大きな特徴点ほど安定性の低いものと見なし、これを距離の降順でソートし、特徴点数が、検索時に使用可能な特徴点数の最大数以下になるまで、安定度の低い特徴量をクエリ画像の画像特徴リストから削除する。

ステップＳ８１２では、画像特徴群比較処理を行う。図１０は、ステップＳ８１２における画像特徴群比較処理の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

まず、ステップＳ１００１において、登録画像数分の投票箱を用意し、０でリセットする。次に、ステップＳ１００２において、クエリ画像特徴リストの１番目の量子化ラベルを処理対象量子化ラベルに設定する。

次に、ステップＳ１００３において、処理対象量子化ラベルと関連付けて登録されている画像ＩＤがある場合はステップＳ１００４に進み、存在しない場合はステップＳ１００５に進む。ステップＳ１００４では、処理対象量子化ラベルと関連付けて登録されている画像ＩＤの投票箱に１票投票する。

ステップＳ１００５では、クエリ画像特徴リストに未処理の量子化ラベルが存在する場合はステップＳ１００６に進み、存在しない場合は、ステップＳ１００７に進む。

ステップＳ１００６では、クエリ画像特徴リストの次の量子化ラベルを処理対象量子化ラベルに設定し、ステップＳ１００３に戻る。

次に、ステップＳ１００７で投票数の多い順に投票結果をソートし、ステップＳ１００８で投票数の多い方から所定数の画像ＩＤのリストを画像特徴群比較結果リストとして出力する。

第１の実施形態では、登録されている量子化ラベルとクエリ画像の量子化ラベルを比較することにより画像特徴群比較を行っている。しかしながら、これに限定されるものではなく、画像特徴量自身の比較、画像特徴点の座標の比較等により、画像特徴群比較を行ってもよい。

最後にステップＳ８１３で画像特徴群比較結果を表示する。画像特徴群比較結果の表示にあたっては、画像ＩＤと対応する画像を合わせて表示する。

尚、判別性能の高い局所特徴量と回転・拡縮に強い安定した局所特徴量とどちらを優先して検索に使用すべきかは、検索対象画像によって異なる。

例えば、空・木々・地面などの背景や模様だけの画像を検索対象画像は、判別性能の高い局所特徴量を優先して検索に使用するには不向きである。ほとんどの画像特徴は判別性能が低く、それぞれの画像特徴の判別性能に大きな差は無いと考えられるからである。

それとは別に、一般的な被写体と背景からなる画像を検索対象画像は、判別性能の高い局所特徴量を優先して検索に使用するのに向いている。判別性能の低い画像特徴が適切に除外されると、主に被写体から抽出された判別性能の高い画像特徴が検索に使用されるからである。

そこで、検索対象画像により、ステップＳ８０９とステップＳ８１１との順番を変えて、まず不安定な局所特徴量を除き、それでも最大数を超える場合には、判別性能の低い局所特徴量を除くようにしてもよい。

検索対象画像によらず、画像特徴の数を適切な数にしたり、判別性能の高い局所特徴量と回転・拡縮に強い安定した局所特徴量との優先順を変えたときの検索結果を比べたりするために、ステップＳ８０９とステップＳ８１１との順番を変えても良い。

以上のように第１の実施形態では、クエリ画像から抽出した画像特徴群から判別性能の低い画像特徴群を除外することにより選別し、選別した画像特徴群を使って検索を行うようにした。これにより、検索時に使用可能な特徴点の数に制限がある場合であっても、検索精度の劣化を少なく抑えた検索を行うことができる。

（第２の実施形態）
以下、本発明の第２の実施形態について、図面を参照しながら説明する。第２の実施形態は、画像検索クライアント（画像検索端末）で撮影することによりクエリ画像（検索元画像）を生成して画像特徴群を抽出する。その画像特徴群を画像検索サーバに送って画像検索サーバ内で検索を行い、画像検索クライアントに検索結果を表示する画像検索システムの例である。画像検索クライアントは、検索元画像を提供する検索元画像提供装置である。画像検索サーバへの画像登録処理は、第１の実施形態と同様の方式により行う。

図１１は、第２の実施形態における画像検索システムの機能構成例を示すブロック図である。図１１に示す各構成における動作の詳細については、後述する。

図１１における画像検索システムは、画像検索クライアント１１０１と画像検索サーバ１１０２からなる。画像検索クライアント１１０１と画像検索サーバ１１０２にはそれぞれ通信部１１１１、１１１８があり、該通信部１１１１、１１１８の間はネットワーク（有線、無線）で接続されており、該ネットワークを介して、情報通信を行う。

画像検索クライアント１１０１において、画像取得部１１０３は、カメラ撮影などにより、クエリ画像の取得を行う。多出現画像特徴リスト取得部１１０４は、画像検索サーバ１１０２で生成した多出現画像特徴リストを画像検索サーバ１１０２に要求し、通信部１１１１を介して取得する。画像特徴群抽出部１１０５は、画像取得部１１０３で取得したクエリ画像の画像特徴群を抽出する。画像特徴群選別部１１０６は、クエリ画像の画像特徴群から、判別性能が高い画像特徴群を選別する。画像特徴群送信部１１０７は、画像特徴群選別部１１０６で選別された画像特徴群を、通信部１１１１を介して画像検索サーバ１１０２に送信する。画像特徴群比較結果受信部１１０８は、画像検索サーバ１１０２で実行された画像特徴群比較の結果を、通信部１１１１を介して受信する。画像特徴群比較結果表示部１１０９は、画像特徴群比較結果受信部１１０８で取得した画像特徴群比較結果を表示する。記憶部１１１０は画像検索クライアントにおいて、処理中のデータを記憶するメモリ・ＨＤＤ等である。

画像検索サーバ１１０２において、多出現画像特徴リスト生成部１１１２は、複数の登録画像から算出された画像特徴群の中から、それらの出現頻度が高く、判別性能が低い画像特徴リストを生成する。多出現画像特徴リスト送信部１１１３は、多出現画像特徴リスト生成部１１１２で生成された多出現画像特徴リストを、画像検索クライアント１１０１からの要求に応じて、通信部１１１８を介して画像検索クライアント１１０１に送信する。画像特徴群受信部１１１４は、画像検索クライアント１１０１で算出、選別されたクエリ画像の画像特徴群を、通信部１１１８を介して受信する。画像特徴群比較部１１１５は、画像特徴群受信部１１１４で受信したクエリ画像の画像特徴群を用いて画像特徴群比較を行う。画像特徴群比較結果送信部１１１６は、画像特徴群比較部１１１５で実行された画像特徴群比較の結果を、通信部１１１８を介して画像検索クライアント１１０１に送信する。記憶部１１１７は画像検索サーバにおいて、処理中のデータを記憶するメモリ・ＨＤＤ等である。

尚、画像特徴群選別部１１０６は画像検索サーバ側にあっても良い。その場合、画像特徴抽出部１１０５で抽出したクエリ画像の画像特徴群を画像特徴群送信部１１０７が通信部１１１１を介して画像検索サーバ１１０２に送信する。そして、画像検索サーバ１１０２にある画像特徴群選別部１１０６は、クエリ画像の画像特徴群から、判別性能が高い画像特徴群を選別する。画像特徴群比較部１１１５は、画像検索サーバ１１０２側にある画像特徴群選別部１１０６で選別された画像特徴群を用いて画像特徴群比較を行う。図１２で示される画像検索処理手順のフローチャートでも、画像特徴群選別部１１０６が画像検索サーバ１１０２側にある場合の処理を行うことになる。

なお、これら各構成は、不図示のＣＰＵにより統括的に制御されている。

［多出現画像特徴リスト生成処理］
第２の実施形態の画像検索システムの画像検索サーバの多出現画像特徴リスト生成部１１１２における多出現画像特徴リスト生成処理は、第１の実施形態の多出現画像特徴リスト生成処理と同等であるため、詳細の説明は省略する。

多出現画像特徴リストは、更新の新旧が確認できるよう、生成日時、もしくは、多出現画像特徴リストのバージョン情報と共に、記憶する。

多出現画像特徴リスト生成のタイミングとしては、第１の実施形態と同様に、画像登録処理直後に行ってもよいし、画像登録処理後に画像検索サーバがアイドル状態になったときに行うようにしてもよい。

［画像検索処理］
図１２は、第２の実施形態の画像検索システムにおける画像検索処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

まず、ステップＳ１２０１では、画像検索クライアント１１０１において、カメラ撮影などにより、画像取得部１１０３を介してクエリ画像（検索元画像）を取得する。取得した画像は、記憶部１１１０に保存される。

次に、画像特徴群抽出部１１０５において、ステップＳ１２０２からステップＳ１２０７の処理が行われる。本処理は、第１の実施形態の画像登録処理におけるステップＳ２０２からステップＳ２０７、もしくは、第１の実施形態の画像検索処理におけるステップＳ８０２からステップＳ８０７の処理と同等であるため、詳細の説明は省略する。

次に、ステップＳ１２０８において、抽出されたクエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合、ステップＳ１２０９に進み、最大数以下の場合は、ステップＳ１２１３に進む。

尚、第２の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。

ステップＳ１２０９では、多出現画像特徴リストの更新処理を行う。

ここで、図１３は、多出現画像特徴リスト更新処理の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

まず、ステップＳ１３０１では、画像検索クライアント１１０１において、多出現画像特徴リストの更新設定を確認する。この多出現画像特徴リストの更新設定は、検索時に更新するかどうかを設定する。また、検索時に更新する設定の場合は、どのネットワーク接続のときに更新するかを設定する。図１４は、多出現画像特徴リストの更新設定のためのユーザインタフェースの一例である。図１４の１４０１では、検索時に更新するかどうかを設定し、１４０２では、どのネットワーク接続のときに更新するかを設定する。

ステップＳ１３０２において、検索時に更新する設定の場合、ステップＳ１３０３に進み、更新しない設定の場合は、多出現画像特徴リスト更新処理を終了する。

ステップＳ１３０３では、接続中のネットワークの確認を行い、ステップＳ１３０４において、更新対象ネットワークである場合はステップＳ１３０５に進み、更新対象ネットワークではない場合は、多出現画像特徴リスト更新処理を終了する。

次にステップＳ１３０５では、通信部１１１１を介して画像検索サーバ１１０２から最新多出現画像特徴リストのバージョンを取得する。ステップＳ１３０６で、画像検索クライアント１１０１で保持している多出現画像特徴リストが最新版でない場合は、ステップＳ１３０７に進み、最新版の場合は、多出現画像特徴リスト更新処理を終了する。

ステップＳ１３０７で、多出現画像特徴リスト受信部１１０４が、通信部１１１１を介して画像検索サーバ１１０２から最新多出現画像特徴リストを取得する。最後に、ステップＳ１３０８において、ステップＳ１３０７で受信した最新多出現画像特徴リストを記憶部１１１０に保存し、多出現画像特徴リスト更新処理を終了する。

第２の実施形態では、多出現画像特徴リストを検索時に更新しているが、多出現画像特徴リストを更新する処理のみを単独で実行するようにしてもよい。その場合は、旅行などに出かける前に、自宅内のＷｉ−Ｆｉに接続しているときに多出現画像特徴リストを更新することが可能となり、外出先でネットワークのトラフィックを少なく抑えることが可能となる。

ステップＳ１２０９の多出現画像特徴リスト更新処理終了後、ステップＳ１２１０からステップＳ１２１２にかけて、画像特徴リストの削減処理を行う。これらの処理は、第１の実施形態の画像検索処理におけるステップＳ８０９からステップＳ８１１の処理と同等であるため、詳細の説明は省略する。

次にステップＳ１２１３では、クエリ画像から抽出され選別された画像特徴リストを、通信部１１１１を介して画像検索サーバ１１０２に送信する。

ステップＳ１２１４では、画像検索サーバ１１０２において画像特徴群比較処理を行う。本処理は、第１の実施形態の画像検索処理におけるステップＳ８１２の処理と同等であるため、詳細の説明は省略する。ステップＳ１２１５では、ステップＳ１２１２により得られた画像特徴群比較結果を、通信部１１１８を介して画像検索クライアント１１０１に送信する。

最後に、ステップＳ１２１６で画像特徴群比較結果を表示する。本処理は、第１の実施形態の画像検索処理におけるステップＳ８１３の処理と同等である。

以上のように第２の実施形態では、画像検索クライアントにおいてクエリ画像から抽出した画像特徴群を選別し、選別した画像特徴群を画像検索サーバに送信し、画像検索サーバで検索を行うようにした。これにより、検索時に使用可能な特徴点の数に制限がある場合であっても、検索精度の劣化を少なく抑えた検索を行うことができる。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１画像入力部
１０２画像特徴群抽出部
１０３多出現画像特徴リスト生成部
１０４画像特徴群選別部
１０５画像特徴群比較部
１０６画像特徴群比較結果表示部
１０７記憶部
１１０１画像検索クライアント
１１０２画像検索サーバ
１１０３画像取得部
１１０４多出現画像特徴リスト取得部
１１０５画像特徴群抽出部
１１０６画像特徴群選別部
１１０７画像特徴群送信部
１１０８画像特徴群比較結果受信部
１１０９画像特徴群比較結果表示部
１１１０記憶部
１１１１通信部
１１１２多出現画像特徴リスト生成部
１１１３多出現画像特徴リスト送信部
１１１４画像特徴群受信部
１１１５画像特徴群比較部
１１１６画像特徴群比較結果送信部
１１１７記憶部
１１１８通信部

Claims

画像を入力する入力手段と、
前記画像の画像特徴を抽出する抽出手段と、
前記画像と前記画像特徴とを関連付けて記憶する記憶手段と、
（Ａ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、所定数以下の画像特徴を前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴として選別し、（Ｂ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、前記所定数よりも多い画像特徴を、前記使用を制限する画像特徴として選別する選別手段と、
前記検索元画像の検索のために使用すると選別された画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴との比較を行う比較手段と、
を有することを特徴とする画像検索装置。
前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、前記所定数よりも多い画像特徴をまとめた多出現画像特徴リストを生成する生成手段を更に有し、
前記選別手段は、前記多出現画像特徴リストに存在する画像特徴に基づいて検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別することを特徴とする請求項１に記載の画像検索装置。
前記比較手段で使用する前記検索元画像の画像特徴のサイズ或いは画像特徴の個数が予め定められていることを特徴とする請求項１または２に記載の画像検索装置。
前記所定数は、固定値であることを特徴とする請求項１から３のいずれか１項に記載の画像検索装置。
前記所定数は、前記記憶手段に記憶されている画像特徴の総登録数、もしくは、前記記憶手段に画像特徴と関連付けられて記憶されている総画像数に応じて決まる可変値であることを特徴とする請求項１から３のいずれか１項に記載の画像検索装置。
前記所定数は、前記記憶手段に画像特徴と関連付けられて記憶されている総画像数に応じて、可変値か固定値かを決められることを特徴とする請求項１から３のいずれか１項に記載の画像検索装置。
前記抽出手段で抽出される画像特徴は、Ｈａｒｒｉｓ作用素を作用させて得られた局所特徴点と該局所特徴点に対応する局所特徴量とであることを特徴とする請求項１または２に記載の画像検索装置。
前記選別手段では、前記多出現画像特徴リストと一致する画像特徴の全てもしくは一部を前記検索元画像の画像特徴から除外することにより選別することを特徴とする請求項２に記載の画像検索装置。
前記選別手段では、前記多出現画像特徴リストと一致する画像特徴の全てもしくは一部を前記検索元画像の画像特徴において識別することにより選別することを特徴とする請求項２に記載の画像検索装置。
前記選別手段では、前記比較手段で使用することが予め定められた前記検索元画像の画像特徴のサイズ或いは画像特徴の個数に基づいて検索元画像の画像特徴を選別することを特徴とする請求項１または２に記載の画像検索装置。
画像に対応する画像特徴を記憶する記憶手段と、
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に記憶されている画像特徴と関連付けられた画像数に関する情報を、要求に応じて要求元に送信する送信手段と、
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に記憶されている画像特徴と関連付けられた画像数に関する情報に基づいて、検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信手段と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴との比較を行う比較手段と、
を有することを特徴とする画像検索装置。
検索元画像を入力する入力手段と、
前記検索元画像の画像特徴を抽出する抽出手段と、
多出現画像特徴リストを画像検索装置から受信する受信手段と、
前記検索元画像の画像特徴のうち、前記多出現画像特徴リストに存在する画像特徴に基づいて検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の検索のために使用すると選別された画像特徴を前記画像検索装置に送信する送信手段と、
を有することを特徴とする検索元画像提供装置。
画像を入力する入力工程と、
前記画像の画像特徴を抽出する抽出工程と、
前記画像と前記画像特徴とを関連付けて記憶手段に記憶させる工程と、
（Ａ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、所定数以下の画像特徴を前記入力工程で入力された検索元画像について前記抽出工程で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴として選別し、（Ｂ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、前記所定数よりも多い画像特徴を、前記使用を制限する画像特徴として選別する選別工程と、
前記検索元画像の検索のために使用すると選別された画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴との比較を行う比較工程と、
を有することを特徴とする画像検索方法。
画像に対応する画像特徴を記憶手段に記憶させる工程と、
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に記憶されている画像特徴と関連付けられた画像数に関する情報を、要求に応じて要求元に送信する送信工程と、
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に記憶されている画像特徴と関連付けられた画像数に関する情報に基づいて、検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信工程と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴との比較を行う比較工程と、
を有することを特徴とする画像検索方法。
検索元画像を入力する入力工程と、
前記検索元画像の画像特徴を抽出する抽出工程と、
多出現画像特徴リストを画像検索装置から受信する受信工程と、
前記検索元画像の画像特徴のうち、前記多出現画像特徴リストに存在する画像特徴に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する選別工程と、
前記検索元画像の画像特徴として使用すると選別された画像特徴を前記画像検索装置に送信する送信工程と、
を有することを特徴とする検索元画像提供方法。
コンピュータを、
画像を入力する入力手段と、
前記画像の画像特徴を抽出する抽出手段と、
前記画像と前記画像特徴とを関連付けて記憶手段に記憶させる手段と、
（Ａ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、所定数以下の画像特徴を前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴として選別し、（Ｂ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、前記所定数よりも多い画像特徴を、前記使用を制限する画像特徴として選別する選別手段と、
前記検索元画像の画像特徴として使用すると選別された画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴との比較を行う比較手段と、
として機能させるためのプログラム。
コンピュータを、
画像に対応する画像特徴を記憶手段に記憶させる手段と、
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に画像特徴と関連付けられて記憶されている画像数に関する情報を、要求に応じて要求元に送信する送信手段と、
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に画像特徴と関連付けられて記憶されている画像数に関する情報に基づいて、検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信手段と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴との比較を行う比較手段と、
として機能させるためのプログラム。
コンピュータを、
検索元画像を入力する入力手段と、
前記検索元画像の画像特徴を抽出する抽出手段と、
多出現画像特徴リストを画像検索装置から受信する受信手段と、
前記検索元画像の画像特徴のうち、前記多出現画像特徴リストに存在する画像特徴に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の画像特徴として使用すると選別された画像特徴を前記画像検索装置に送信する送信手段と、
として機能させるためのプログラム。