JP4343038B2 - 部分画像検索システム及び方法並びにプログラム - Google Patents
部分画像検索システム及び方法並びにプログラム Download PDFInfo
- Publication number
- JP4343038B2 JP4343038B2 JP2004184966A JP2004184966A JP4343038B2 JP 4343038 B2 JP4343038 B2 JP 4343038B2 JP 2004184966 A JP2004184966 A JP 2004184966A JP 2004184966 A JP2004184966 A JP 2004184966A JP 4343038 B2 JP4343038 B2 JP 4343038B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- target
- image
- unit
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
そのため、大量の画像から所望の画像を高速に探し出す高速画像検索技術が必要となってきており、特に画像の部分検索は、検索したい画像が蓄積されている画像の一部分であるため、比較の処理が多くなり、さらに高速性が要求される。
この部分画像検索技術は、膨大な画像データベースの中から、高速に目的の画像をその一部分として含む画像を検索する画像検出技術に用いられる。
従来、上記部分画像検索方法に関しては、見本となる検索したい画像と類似した画像の場所の探索を、より大きなサイズの画像の中から漏れなく正確に、高速に実行するための高速部分画像検出方法として、画像を小領域に分割して抽出した特徴をベクトル量子化し、その結果に基づいて、信号全体から照合のための特徴であるヒストグラムを作成する高速信号照合方法が知られている(例えば、特許文献1及び2参照)。
また、従来の部分画像検出方法にあっては、画像の特徴をベクトル量子化したものを、ヒストグラムに変換してしまうため、照合の際に部分画像内における目的画像の位置関係を正確に考慮することができないという欠点がある。
本発明は、このような事情に鑑みてなされたもので、目的画像と、蓄積画像における目的画像に類似した部分画像との類似を判定する際に、比較するデータ量を低減させ、検索処理にかかる時間を短縮し、かつ照合の際に部分画像内における目的画像の位置関係を、正確に検出する部分画像検索システム及び方法並びにプログラムを提供することを目的とする。
る照合結果再判定過程と、前記照合結果再判定過程において、目的画像と類似する部分画像が存在すると判定された蓄積画像中の箇所を検索結果候補とする検索結果候補選択過程と、前記目的部分領域特徴の集合の中から、次に照合すべき目的部分領域特徴を指定する次目的部分領域特徴選定過程と、記検索候補特徴の集合の中から、次の照合すべき検索候補特徴を指定する次検索候補特徴選定過程とを有することを特徴とする。
また、本発明によれば、照合のための特徴を、ヒストグラムを用いた量子化処理を行わなわずに、特徴に対して符号を付して表現することにより、画像内の位置関係を保持することができる。
以下、本発明の第1の実施例による部分画像検索装置を図面を参照して説明する。図1は上記第1の実施例の部分画像検索装置の一構成例を示すブロック図である。
この図において、本実施例の部分画像検索システムは、見本特徴作成部1と、見本特徴間距離計算部2と、蓄積特徴抽出部3と、蓄積特徴量子化部4と、蓄積部分領域特徴抽出部5と、索引付与部6と、目的特徴抽出部7と、目的特徴量子化部8と、目的部分領域特徴抽出部9と、索引検索部10と、特徴照合部11と、照合結果判定部12と、特徴再照合部13と、照合結果再判定部14と、検索結果候補選択部l5と、次目的部分領域特徴選定定部16と、次検索候補特徴選定部17とを有しており、目的画像、すなわち参照している検索したい画像と、データベース等に蓄積されている蓄積画像群、すなわち検索される被検索画像である蓄積画像の集合を入力とし、上記目的画像と類似する部分画像が含まれている蓄積画像内の箇所を出力する。
見本特徴間距離計算部2は、上述した各見本特徴間の距離である見本特徴間距離を計算する。また、見本特徴間距離計算部2は、データベースにおいて、上記見本特徴間距離を、各見本特徴の組合せに対応して記憶させても良い。
上記見本特徴間距離は、ユークリッド距離,マンハッタン距離,内積,正規化相互相関などを用いることが出来る。
蓄積特徴抽出部3は、蓄積画像群の画像各々において、所定の大きさの小領域を設定して、この小領域単位に画像を切り出し、この複数の小領域の画像各々の特徴を、蓄積特徴として抽出する。
蓄積部分領域特徴抽出部5は、上記蓄積特徴抽出部3から出力された符号の集合に対し、予め定められた所定の大きさの注目窓を、予め定められた所定の間隔で設定し(所定の間隔でずらし)、各注目窓内に含まれる上記符号の集合である蓄積部分領域特徴を抽出する。
索引付与部6は、上記蓄積部分領域特徴抽出部5から出力される各蓄積部分領域特徴を、各々ベクトル量子化し、ベクトル量子化の符号語を、標識のための索引として付与する。
目的特徴量子化部8は、上記目的特徴抽出部7の出力する目的特徴について、上記見本特徴作成部1から出力される各見本特徴と比較し、この蓄積特徴に近似する見本特徴に対応する所定の符号を割り当てる。
目的部分領域特徴抽出部9は、上記目的特徴抽出部4から出力された符号の集合に対し、予め定められた所定の大きさの注目窓を、予め定められた所定の間隔で設定し(所定の間隔でずらし)、各注目窓内に含まれる上記符号の集合である目的部分領域特徴を抽出する。
特徴照合部11は、上記索引検索部10の抽出した蓄積部分領域特徴と、目的部分領域特徴抽出部9の抽出した目的部分領域特徴との距離を、各々の符号に対応する見本特徴の組合せにより、上記データベースから対応する見本特徴間距離を抽出することにより演算する。
照合結果判定部12は、上記特徴照合部11の演算した距離に基づいて、目的画像と類似する部分画像が蓄積画像群中の当該箇所に存在する可能性があるか否かの判定を行う。
照合結果再判定部14は、上記照合結果判定部13において用いられた距離に基づいて、目的画像と類似する部分画像が、蓄積画像群中の当該箇所に存在するか否かの判定を行う。
次目的部分領域特徴選定部16は、上記目的部分領域特徴抽出部9において抽出された目的部分領域特徴の集合の中から、次に照合すべき目的部分領域特徴の指定を行う。
次検索候補特徴選定部17は、上記索引検索部10から検索結果として出力された蓄積部分領域特徴の集合の中から、次に照合すべき蓄積部分領域の指定を行う。
見本特徴作成部1は、学習信号(画像)を読み込み(ステップS1)、この学習信号から見本特徴を抽出しても良いし、後に述べるように学習信号を読み込まずに、蓄積画像から見本特徴を抽出するための画像を選択して、見本特徴を抽出してもよい。
学習信号としては、複数の画像、例えば、1000枚の画像群など、十分に学習可能な多数の画像を用いるのが好ましい。ここで、見本特徴作成部1は、クラスタリングアルゴリズムを用いて、典型的に出現する特徴パターンの学習を行う。
また、これ以降の処理において、見本特徴の抽出に対して、学習信号を用いない場合、学習信号を読み込む必要、すなわち、ステップS1の処理を行う必要はない。
ここで、学習信号の画像から抽出した特徴を、以下、学習特徴と呼ぶ。
また、学習信号を用いない場合、このステップS2の処理を行わない。
そして、見本特徴作成部1は、以降の処理に用いる典型的な画像の特徴パターンである見本特徴の抽出を行う(ステップS2)。
このとき、見本特徴作成部1は、学習信号を用いない場合、見本特徴の抽出処理として、予め定められた確率分布、例えば、多次元ガウス分布に従って見本特徴をランダムに発生させることにより行う。
また、他の実施例として、学習特徴をベクトルとして、そのベクトルに対してベクトル量子化を行いて分類して(クラスタリングを行い)、見本特徴の抽出を行う様にしても良い。例えば、ベクトル量子化の符号の語数が1024個で有れば、学習特徴を1024の集合(以下、クラスタと呼ぶ)のいずれか一つのクラスタに分類することができる。
ここで、各クラスタに所属する学習特徴の重心となる特徴を、見本特徴とする。
そして、見本特徴作成部1は、上述のいずれかの方法により生成した見本特徴の集合を出力する。
そして、見本特徴間距離計算部2は、見本特徴の集合において、全ての見本特徴の組合せを選択し、この組合せ毎に見本特徴間の距離である見本特徴間距離の演算を行う。
このとき、見本特徴間距離計算部2は、上記見本特徴間距離として、例えば、見本特徴ベクトル間の自乗誤差を計算し、見本特徴間距離とする(ステップS3)。
他の実施例として、見本特徴に対応した特徴存在範囲を用いて見本特徴間距離を定義することもできる。
例えば、特徴存在範囲を見本特徴を中心とした特徴ベクトル空間内の超球で表現した場合、特徴存在範囲間の最小距離及び最大距離を、見本特徴ベクトル間の距離(自乗誤差)d(fi,fj)と対応する特徴存在範囲の半径ri及びrjを用い、以下の(1)式及び(2)式を用いて計算できる。
これにより、見本特徴間距離計算部2は、全見本特徴の組合せ毎に、見本特徴間距離の集合を出力する(データベース等に記憶させることも可能である)。
そして、蓄積特徴抽出部3は、読み込んだ蓄積画像群の各画像から、例えば、「8×8」ピクセル程度の大きさの小領域を、縦方向及び横方向に1ピクセルずつずらしながら、画像を切り出し、各小領域に含まれる画像の特徴の抽出を行う(ステップS5)。
ここで、画像の特徴の抽出方法として、例えば、各小領域のRGB値をそのまま用いる。
例えば、蓄積画像の大きさが「384×256」ピクセルであるとき、「8×8×3=192」次元の特徴ベクトルが、1画像あたり、「(384−8+1)×(256−8+1)=93873」個得られる。
ここで、例えば、蓄積画像の大きさが「384×256」ピクセルであるとすると、「8×8×3=192」次元の特徴ベタトルが、1画像あたり、「(384−8+1)×(256−8+1)=93873」個得られる。
蓄積特徴抽出部3は、上述したいずれかの方法により、蓄積画像から抽出された特徴である蓄積特徴の集合を出力する.
そして、蓄積特徴量子化部4は、各蓄積特徴毎に、見本特徴の集合の各見本特徴と照合し、蓄積特徴量各々に対して、見本特徴に対応した符号を1つ割り当てる。
このとき、蓄積特徴量子化部4は、蓄積特徴と各見本特徴との距離、例えば自乗誤差を計算し、最も距離が近い見本特徴に対応した符号をこの蓄積特徴に割り当てる(ステップS6)。
例えば、1024個の見本特徴を準備した場合、各見本特徴毎に1から1024までの番号をそれぞれ割り当て、その番号を符号とする。
そして、蓄積特徴量子化部4は、上述した方法のいずれかを用い、各蓄積特徴から抽出した符号列の集合を出力する。
例えば、この第1注目窓は、大きさが64×64ピクセルであり、初期状態として蓄積画像の左上の角に配置される。
そして、蓄積部分領域特徴抽出部5は、設定された上記第1注目窓内に含まれる符号の集合を抽出し、抽出した符号を順に並べてベクトルとしたものを照合のための特徴として用い、以下、この特徴を蓄積部分領域特徴とする(ステップS7)。
ここで、符号の集合の抽出方法として、例えば、第1注目窓内に、重複することも隙間も存在しない状態に、上記小領域を配置して、この各小領域毎に対応する符号を抽出する。
このとき、「(64/8)×(64/8)×3=64」次元の特徴のベクトル、すなわち蓄積部分領域特徴を1つ得る。
すなわち、第1注目窓(横ωxピクセル×縦ωyピクセル)は、各蓄積画像内において、縦及び横方向に、上記所定の間隔(各注目窓の同一の辺同士の間隔であり、例えば左辺同士、上辺同士の間隔として、横方向にmxピクセル,縦方向にmyピクセル)で順次ずらして配置されている。
また、第1注目窓の配置間隔を、以下マージンと呼ぶことにする。
そして、蓄積部分領域特徴抽出部5は、上記第1注目窓毎に得られた蓄積部分領域特徴の集合を出力する。
このとき、索引付与部6は、必要に応じて、見本特徴作成部1から出力される見本特徴の集合と、見本特徴間距離計算部2から出力される見本特徴間距離を読み込む。
ここで、索引付与部6は、部分領域特徴を構成する符号列に対して、索引を付与する(ステップS8)。
例えば、予め作成された部分領域特徴である蓄積代表特徴の集合を用いて、各部分領域特徴を構成する符号列を量子化し、量子化の符号語を索引とする。
すなわち、上記方法について簡単に説明すると、はじめに、索引付与部6は、蓄積部分領域特徴の集合を読み込む。
そして、索引付与部6は、索引として、各部分領域特徴に対応する代表特徴番号を出力する。
他の実施例として、例えば、読み込んだ見本特徴の集合を用いて、部分領域特徴を構成する各符号を、対応する見本特徴ベクトルに展開し、それらを連結したベクトルに対して索引を付与する。
すなわち、上記方法について簡単に説明すると、はじめに、索引付与部6は、蓄積部分領域特徴の符号列を展開したベクトルである展開ベクトルの集合を読み込む。
次に、索引付与部6は、各展開ベクトルのクラスタリングを行う。このクラスタリングは、例えば、各展開ベクトルを、ベクトル量子化を用いて符号化することによって行う。
例えば、ベクトル量子化の符号語数が1024個であれば、展開ベクトルは1024個のクラスタのいずれかに分類されることになる。
このクラスタは、例えば、クラスタ作成のために予め容易された、展開ベクトルと同じ次元数のベクトルである学習ベクトルを用いて予め作成しておく。
すなわち、クラスタは、それに所属する学習ベクトルとクラスタ重心との距離の総和が最小になるように、かつそのクラスタに所属する学習ベクトルについて、所属するクラスタのクラスタ重心との距離が、他のどのクラスタ重心との距離よりも小さくなるように構成される。
そして、索引付与部6は、索引として、各展開ベクトルに対応する、ベクトル量子化の符号語を出力する。
そして、索引付与部6は、上述のように求められた、各部分領域特徴に対する索引を出力する(ステップS8)。
そして、目的特徴抽出部7は、小領域を縦方向及び横方向に1ピクセルずつずらしながら目的画像を切り出し、各小領域に含まれる画像の特徴の抽出を、上記蓄積特徴抽出部3と同様の手法で行い、目的画像から抽出された特徴である目的特徴の集合を出力する(ステップS10)。
そして、目的特徴量子化部8は、目的特徴の集合の各目的特徴から抽出した符号列の集合を出力する(ステップS11)。
そして、目的部分領域特徴抽出部9は、上記蓄積部分領域特徴抽出部5と同様の抽出方法を用いて、目的画像のある1つの箇所から抽出した符号を順に並べて、ベクトルとしたものを照合に用いる特徴とし、この特徴を目的部分領域特徴の集合として出力する。(ステップS12)。
このとき、第1抽出窓は、例えば、少なくともマージンの大きさの分だけずらせば、検索漏れを生じさせることがない。
例えば、目的画像の大きさが「80×80」ピクセル、第1注目窓の大きさが「64×64」ピクセル、マージンが「16×16」ピクセルであるとき、目的画像内に重複することもなく、かつ隙間もない状態に設定できる第1注目窓の数が1つなので、目的画像全体において、「16×16=256」個の第1注目窓が設定される。
そして、目的部分領域特徴抽出部9は、上述した処理により抽出した、目的部分領域特徴の集合を出力する。
そして、目的代表特徴抽出部19において、目的部分領域特徴から目的代表特徴を抽出する処理を行った場合、索引検索部10は、目的部分領域特徴の集合の代わりに、目的代表特徴抽出部19から出力される目的代表特徴の集合を読み込む。
目的代表特徴抽出部19は、後述する他の実施形態において詳細に説明する。
また、必要に応じて、索引検索部10は、目的部分領域間距離計算部16から出力される目的部分領域間距離を読み込む構成もある。
また、検索閾値更新部18が検索閾値及び選択閾値を更新する処理を行った場合、索引検索部10は更新された選択閾値を読み込む。この検索閾値更新部18については後述する他の実施形態において、詳細に説明する。
このとき、索引検索部10は、目的部分領域特徴の集合内におけるいずれかの目的部分領域特徴に対し、該部分領域特徴との距離dtが、予め定められた閾値である選択閾値θ2を下回るような(以下となるような)蓄積部分領域特徴を、索引から抽出する。
索引検索部10は、部分領域特徴間の距離を特徴照合部11と同様の処理により計算する(特徴照合部11の構成については後述)。
上記選択閾値θ2は後述するパラメータから自動的に決定される値であり、また、この選択閾値の決定方法は後述する。
さらに、別の実施例として、目的部分領域間距離を用い、各目的代表特徴との距離dtを、該目的代表特徴に対応する目的部分領域間距離の最大値分だけ小さくし、この距離dtの値が選択閾値θ2を下回る蓄積部分領域特徴を索引から抽出する構成とすることも可能である(後述)。
この抽出方法は、上記索引付与部3において用いられた索引の種類によって異なり、上記索引に対応する特許明細書記載の方法あるいは非特許文献記載の方法と同様にして実施することができる。
例えば、上記蓄積代表特徴を用いた量子化によって索引を付与した場合、及び「信号検出方法、信号検出装置、記録媒体及びプログラム」(特開2002−236496)に記載の方法を用いて索引を付与した場合、以下のようにして所望の蓄積部分領域特徴を抽出することができる。
以下では、簡単のため、目的代表特徴ではなく、本実施例で採用した構成において目的部分領域特徴を読み込んだものとして説明する。目的代表特徴を読み込んだ場合でも、全く同様に行うことができる。
そして、索引検索部10は、読み込んだ目的部分領域特徴と、各クラスタ重心との距離を計算する。
続いて、索引検索部10は、計算された距離dtに基づいて、目的部分領域特徴との距離が選択閾値θ2を下回る蓄積部分領域特徴を含む可能性のあるクラスタを選択する。
図4は、点Q,C1,C2の3点が乗るような平面であり、特徴ベクトルが配置される特徴空間を切り出した様子を示している。
ここで、点Qは目的部分領域特徴、C1は部分領域特徴Qが所属しているクラスタのクラスタ重心、C2は他のクラスタのクラスタ重心を表しており、距離dQ1,dQ2,d12はそれぞれ、点Qと点C1との距離、点Qと点C2との距離、点C1と点C2との距離を示している。
そして、点Qを中心とする超球の半径が図4におけるdθより大きくなったとき、点C2に対応するクラスタに所属する蓄積部分領域特徴の中に、所望の蓄積部分領域特徴が含まれている可能性がある。
そこで、選択閾値θ2が図4におけるdθより大きくなったとき、そのクラスタを選択する。
dθは、以下の(5)式から(4)式を用いて求められる。
最終的に、索引検索部10は、以下の(5)式が成り立つとき、点C2に対応するクラスタを選択し、そのクラスタに所属する蓄積部分領域特徴を全て抽出する。
そして、この手順を、目的部分領域特徴Qが所属するクラスタを除く全てのクラスタに対して行い、抽出された蓄積部分領域特徴を、検索候補特徴として出力する。
そして、特徴照合部11は、次目的部分領域特徴選定部16により、次に照合すべき目的部分領域特徴が指定されている場合、該目的部分領域特徴を読み込む。この次目的部分領域特徴選定部16は、本実施形態において後述する。
次に、特徴照合部11は、次目的部分領域特徴選定部16から読み込んだ目的部分領域特徴と、次検索候補特徴選定部17から読み込んだ検索候補特徴の集合との照合を行う。
そして、特徴照合部11は、目的部分領域特徴と検索候補特徴との距離を、見本特徴間距離を用いて計算する。
例えば、特徴照合部11は、目的部分領域特徴及び検索候補特徴が単一の符号で構成されている場合、検索候補特徴及び目的部分領域特徴との間の距離を符号間の距離として求め、読み込まれた見本特徴間距離そのものを距離として出力する。
そして、特徴照合部11は、見本特徴の集合において、いずれの見本特徴にも対応しない符号が検出された場合、例えば、符号間の距離を「0」とする。
また、他の実施例として、特徴照合部11は、見本特徴の集合において、いずれの見本特徴にも対応しない符号が検出された場合、符号間の距離を十分大きな値、例えば、全ての見本特徴間距離の中での最大値に設定するよう構成してもよい。
また、特徴照合部11は、指定された検索候補特徴がなければ、初期の検索候補特徴として、例えば、任意に選択した検索候補特徴を指定し、上記目的部分領域特徴と照合する。
そして、特徴照合部11は、照合計算(検索候補特徴と目的部分領域特徴との間の距離の演算)の結果として、照合した検索候補特徴と目的部分領域特徴との距離値d(ω)を出力する。
そして、照合結果判定部12は、距離値d(ω)が選択閾値θ2を以下となったとき、目的画像と類似する部分画像が現在の照合箇所に存在する可能性があると判定し、蓄積部分領域特徴を照合箇所として出力し、一方、距離値d(ω)が選択閾値θ2を超えているとき、目的画像と類似する部分画像が現在の照合箇所に存在する可能性がないと判定し、処理をステップS14へ進める(ステップS15)。
そして、特徴再照合部13は、読み込んだ蓄積画像に、目的画像と同じ大きさ(縦×横)の注目窓である第2注目窓を設定する。
すなわち、特徴再照合部13は、図5の概念図に示すように、第2注目窓の配置箇所に対する蓄積部分領域の相対的な位置が、目的画像における目的部分領域の相対的な位置と同一になるように、つまり、照合箇所における蓄積部分領域と目的部分領域とが重なる位置に、上記第2注目窓を配置する。
次に、特徴再照合部13は、第2注目窓内において抽出した、蓄積特徴の符号の集合と、目的特徴の符号の集合との照合を行う。
ここで、特徴再照合部13は、例えば、特徴照合部11と同様の計算処理により、第2注目窓内の蓄積特徴と目的特徴との距離値dの演算を行う。
そして、特徴再照合部9は、照合計算結果である距離値dを出力する(ステップS16)。
このとき、照合結果再判定部14は、距離値dが検索閾値θ以下であるとき、目的画像と類似する部分画像が現在の照合箇所に存在すると判定し、蓄積画像における該照合箇所を検出箇所として、この検出箇所の位置及び判定結果(存在したことを示す情報)を出力し、一方、距離値dが検索閾値θを超えたとき、目的画像と類似する部分画像が現在の照合箇所に存在しないと判定し、処理をステップS19へ進める(ステップS17)。
ただし、(qx、qy)は目的画像の大きさ、すなわち、第2注目窓の大きさであり、(ωx,ωy)は第1注目窓の大きさである。
次に、検索結果候補選択部15は、照合結果再判定部14から出力される検出箇所(位置情報を含む)と、特徴再照合部13から出力される距離値dを読み込む。
検索結果候補選択部15は、例えば、距離値の大小にかかわらず、読み込んだ検出箇所と距離値dとの組を全て登録する。
また、検索結果候補選択部15は、他の実施形態として、検索結果候補が予め定められた数量以下になるように登録する構成とすることも可能である。
このように、検索結果候補選択部15は、蓄積画像から上述した方法により検索結果候補を出力する(ステップS18)。
上記検索閾値更新部18及び周辺距離下限値計算部21は、他の実施例において後述する。
そして、次目的部分領域特徴選定部16は、次に照合すべき目的部分領域特徴の選択、すなわち次に照合する目的部分領域特徴の有無の検出を行い、照合箇所がないことを検出すると処理をステップS20へ進め、一方、照合箇所があることを検出すると、次に照合する目的部分領域特徴を選択して、処理をステップS14へ進める(ステップS19)。
また、別の実施形態として、次目的部分領域特徴選定部16は、上記周辺距離下限値を読み込んだ場合、この距離下限値が、読み込んだ選択閾値θ2を上回る目的部分領域特徴との照合を省略し、この距離下限値が選択閾値θ2以下の目的部分領域特徴から任意に1つ選択する構成とすることも可能である。
そして、次目的部分領域特徴選定部16は、終了していない目的部分領域特徴があれば、照合箇所が選択された目的部分領域特徴と、この目的部分特徴に対応する目的画像内の位置を出力する。
このとき、次検索候補特徴選定部17は、例えば、照合する検索候補特徴があることを検出すると、照合が終了していない検索候補特徴から任意に1つ選択する。
これにより、次検索候補特徴選定部17は、選択された検索候補特徴を、特徴照合部11に対して出力する。
図6は、請求項3に記載の方法を適用した第2の実施例による部分画像検索システムの構成例を示すブロック図である。
第2の実施例の部分画像検索システムは、請求項1に記載の方法を適用した第1の実施例による部分画像検索システムと同様な構成であり、異なる構成として、図6に示すように、検索閾値更新部18を追加して設け、任意の目的画像、すなわち見本となる検索したい画像と、蓄積画像群、すなわち検索される複数の画像である蓄積画像の集合を入力とし、目的画像と類似する画像が含まれている部分画像の蓄積画像内における箇所を出力する。
次に、上述した見本特徴作成部1から検索閾値更新部18における部分画像の検出処理を、図7を用いて具体的に説明する。ここで、図7は、図6に示す部分画像検索装置の動作例を示すフローチャートである。
検索閾値更新部18は、検索結果候補選択部15から出力される検索結果候補を読み込み、この読み込んだ検索結果候補の中から、距離値が最大の検索結果候補を選び出し、選択した検索結果候補の距離値が検索閾値θ以下であるか否かの判定を行い、この距離値が検索閾値θ以下であることを検出した場合、検索閾値θをその距離値と同じ値に更新する。
そして、検索閾値更新部18は、(5)式に基づいて検索閾値θから選択閾値θ2を計算し、更新した検索閾値θとともに出力する(ステップS21)。これ以降は、この更新された検索閾値θ及び選択閾値θ2が照合結果の判定に用いられる。
図8は、請求項5に記載の方法を適用した第3の実施例による部分画像検索システムの構成例を示すブロック図である。
この第3の実施例による部分画像検索システムは、第2の実施例と同様の構成であり、異なる構成として、第2の実施例の部分画像検索システムに対して、目的代表特徴抽出部19を加えたものであり、目的画像、すなわち見本となる検索したい画像と、蓄積画像群、すなわち検索される画像である蓄積画像の集合とを入力し、目的画像と類似する画像が含まれてた部分画像の、上記蓄積画像内における箇所を検索し、検索結果を出力する。
この目的代表特徴抽出部19は、上記目的部分領域特徴抽出部9から出力された目的部分領域特徴の集合における目的部分領域集合を分類(クラスタリング)して、各目的部分領域特徴に共通する特徴としての目的代表特徴を抽出する。
図9のフローチャートは、図7に示す第2の実施例のフローチャートに対して、ステップS12の「目的部分領域特徴の抽出」の処理の次に、ステップS22の「目的代表特徴の抽出」の処理が追加されたのみで、他の処理については同様であるため、このステップS22の処理の説明のみを行う。
このとき、目的代表特徴抽出部19は、例えば、クラスタを1つだけ用意し(共通の特徴ベクトルを抽出する)、上記集合における全ての目的部分領域特徴をそのクラスタに所属させる(1つの目的代表特徴を出力することになる)。
また、目的代表特徴抽出部19は、別の実施例として、読み込んだ目的部分領域特徴の数だけクラスタを用意し、これら各クラスタに1つずつ目的部分領域特徴を割り当てる構成とすることもできる(目的代表特徴の集合を出力することになる)。
また、さらに、目的代表特徴抽出部19は、別の実施例として、同一クラスタ内の目的部分領域特徴同士の距離の最大値が、予め定められた閾値である分類閾値を上回らないように、クラスタを併合することも可能である。
次に、目的代表特徴抽出部19は、上記各クラスタから、該クラスタを代表する部分領域特徴である代表特徴を抽出する。目的代表特徴抽出部19は、例えば、クラスタ内の任意に選択した1つの目的部分領域特徴を代表特徴とする。
この特定位置とは、例えば、目的画像の左上角の位置などである。
さらに、目的代表特徴抽出部19は、別の実施例として、クラスタ内の目的部分領域特徴の重心にある目的部分特徴を代表特徴とする構成とすることもできる。
そして、目的代表特徴抽出部19は、上述した第3の実施例における各実施例により求めた、代表特徴あるいはその集合を出力する(ステップS22)。
次のステップS13において、索引検索部10は、上記目的代表特徴を用いて、蓄積画像の索引との照合処理を行う。
図10は、請求項7に記載の方法を適用した第4の実施例による部分画像検索システムの構成例を示すブロック図である。
この第4の実施例による部分画像検索システムは、第3の実施例と同様な構成であり、異なる構成として、第3の実施例の部分画像検索システムに対して、目的部分領域間距離計算部20と、周辺距離下限値計算部21とを加えたものであり、目的画像、すなわち見本となる検索したい画像と、蓄積画像群、すなわち検索される画像である蓄積画像の集合とを入力し、目的画像と類似する画像が含まれてた部分画像の、上記蓄積画像内における箇所を検索し、検索結果を出力する。
また、目的代表特徴抽出部15がある場合には、目的部分領域特徴と、それに対応する目的代表特徴との距離を計算する。
上記周辺距離下限値計算部21は、特徴照合部11から出力された距離値と、目的部分領域間距離計算部20から出力された部分領域間距離の数値とを用い、特徴照合部11で照合を行った検索候補特徴と、上記目的部分領域特徴抽出部9から出力された各目的部分領域特徴との距離の下限値を計算する。
図11のフローチャートは、図9に示す第3の実施例のフローチャートに対して、ステップS22の「目的代表特徴の抽出」の処理の次に、ステップS23の「目的部分領域間距離の演算」の処理が追加され、また、ステップS21の「検索閾値の更新」の処理の次に、ステップS24の「周辺距離下限値の演算」の処理が追加されたのみで、他の処理については同様であるため、このステップS23及びステップS24の処理の説明のみを行う。
そして、目的部分領域間距離計算部20は、例えば、全ての目的部分領域特徴の組に対して距離計算を行う。
また、別の実施例として、目的代表特徴抽出部19が設けられている場合には、さらにこの目的代表特徴抽出部19から出力される目的代表特徴の集合を読み込み、各目的部分領域特徴と、それに対応する目的部分領域特徴との距離を計算することも可能である。
上述したように、目的部分領域間距離計算部20は、目的部分領域特徴同士の距離、あるいは目的部分領域特徴と目的代表特徴との距離を出力する。
上述した距離を用いて、ステップS8において、索引による検索が行われる。
そして、周辺距離下限値計算部21は、読み込んだ距離値と部分領域間距離とから、蓄積部分領域特徴と各目的部分領域特徴との距離下限値を計算する。
このとき、周辺距離下限値計算部21は、蓄積部分領域特徴fD (W)と、目的部分領域特徴fQ2 (W)との距離の下限値d(fD (W),fQ2 (W))は、三角不等式に基づいて、以下の(10)式により求められる。,
上述したように、周辺距離下限値計算部21は、蓄積部分領域特徴と、目的部分領域特徴との距離の下限値である周辺距離下限値を出力する。
そして、次のステップS19において、次目的部分領域特徴選定部16は、上記周辺距離下限値を入力し、この距離下限値が、読み込んだ選択閾値θ2を上回る目的部分領域特徴との照合を省略し、この距離下限値が選択閾値θ2以下の目的部分領域特徴から任意に1つ選択する。
図12は、請求項13に記載の方法を適用した第5の実施例による部分画像検索システムの構成例を示すブロック図である。
この第5の実施例による部分画像検索システムは、第4の実施例と同様な構成であり、異なる構成として、第4の実施例の部分画像検索システムに対して、特徴存在範囲確定部22を加えたものであり、目的画像、すなわち見本となる検索したい画像と、蓄積画像群、すなわち検索される画像である蓄積画像の集合とを入力し、目的画像と類似する画像が含まれてた部分画像の、上記蓄積画像内における箇所を検索し、検索結果を出力する。
上記特徴存在範囲確定部22は、上記見本特徴作成部1から出力される各見本特徴について、この見本特徴に割り当てられる可能性のある上記蓄積特徴抽出部3及び目的特徴抽出部7から出力される各々の画像の特徴(蓄積特徴,目的特徴)が存在し得る範囲である特徴存在範囲を計算する。
図13のフローチャートは、図11に示す第4の実施例のフローチャートに対して、ステップS2の「見本特徴の作成」とステップS3の「見本特徴間距離の計算」のと処理の間に、ステップS25の「特徴存在範囲の確定」の処理が追加されたのみで、他の処理については同様であるため、このステップS25の処理の説明のみを行う。
このとき、特徴存在範囲確定部22は、例えば、蓄積特徴量子化部4及び目的特徴量子化部8において、割当閾値以下で最も距離の近い見本特徴に対して割り当てを行う場合、見本特徴を中心として、半径が割当閾値に等しい超球を特徴存在範囲として設定する(ステップS25)。
上述したように、特徴存在範囲確定部22は、上述した方法のいずれかで求めた特徴存在範囲の集合を出力する。
上述した特徴存在範囲を用いて、ステップS3において、見本特徴間の距離が計算される。
本発明を適用した装置の動作例を以下に示す。
ここで、蓄積画像群として、大きさ384×256ピクセルの画像1000枚を用い、目的画像として、大きさ80×80ピクセルの画像10枚を、上記蓄積画像群中の任意の箇所から切り出して用いた。
また、部分領域は大きさを64×64ピクセルとし、マージンを縦方向及び横方向共に16ピクセルと設定して、部分画像の切り出しを行った。
すなわち、蓄積画像1枚あたりの部分領域の数は273個であり、目的画像の部分領域の数は289個である。
代表特徴は、学習信号を用いてベクトル量子化の符号帳を作成することによって、64個生成し、学習信号として蓄積画像群から10枚の画像を選択して取り出して用いた。
索引付与部6及び索引検索部10は、「信号検出方法、信号検出装置、記録媒体及びプログラム」(特開2002-236496)記載の実施例のように、ベクトル量子化に基づく索引付与と索引検索と実施し、クラスタ数を128とした。
また、距離尺度は自乗誤差を用い、検索閾値は2000とした。
本実験の結果は、図14の表に示すように、従来例(適用しない)においては検索時間として「8.37秒」であったが、本発明(適用した)においては検索時間として「3.17秒」となった。
上記図14からわかるように、見本特徴を用いることにより、予め見本特徴間距離を求めておくことができるので、後の蓄積特徴及び目的特徴間の距離の演算が、上記見本特徴間距離を用いることにより大幅に低減することができるので、検索時間を短縮することが可能となる。
7…目的特徴抽出部 8…目的特徴量子化部 9…目的部分領域特徴抽出部
10…索引検索部 11…特徴照合部 12…照合結果判定部 13…特徴再照合部 14…照合結果再判定部 15…検索結果候補選択部
16…次目的部分領域特徴選定部 17…次検索候補特徴選定部 18…検索閾値更新部
19…目的代表特徴抽出部 20…目的部分領域間距離計算部
21…周辺距離下限値計算部 22…特徴存在範囲確定部
Claims (15)
- データベースに登録されている蓄積画像群から、検索対象の目的画像に類似した部分画像を含む画像及び該画像における部分画像の位置を検出する部分画像検索方法であり、
見本特徴作成部が、部分画像を検出するとき、入力された学習画像から複数の小領域を選択して各小領域における画像の特徴である学習特徴を抽出し、前記学習特徴の中で頻出する画像の特徴である見本特徴を作成する見本特徴作成過程と、
蓄積特徴抽出部が、前記蓄積画像群の各画像から複数の小領域を選択し、各小領域における画像の特徴である蓄積特徴を抽出する蓄積特徴抽出過程と、
蓄積特徴量子化部が、前記蓄積特徴抽出部で抽出した蓄積特徴と前記見本特徴作成部で作成した前記見本特徴とを比較し、各蓄積特徴に対して前記見本特徴に対応する符号を割り当てる蓄積特徴量子化過程と、
蓄積部分領域特徴抽出部が、前記蓄積画像群の各画像に対して、予め定められた所定の大きさの注目窓を予め定めた間隔にて配置して、各注目窓内の前記蓄積特徴量子化部が割り当てた符号の集合である蓄積部分領域特徴を抽出する蓄積部分領域特徴抽出過程と、
目的特徴抽出部が、前記目的画像から複数の小領域を選択し、この小領域各々の特徴を目的特徴として抽出する目的特徴抽出過程と、
目的特徴量子化部が、前記目的特徴抽出部が抽出した目的特徴と、前記見本特徴作成部で作成した前記見本特徴とを比較することにより、前記目的特徴に対して、見本特徴に対応する符号を割り当てる目的特徴量子化過程と、
目的部分領域特徴抽出部が、前記目的画像に対して、予め定められた所定の大きさの注目窓を設定し、この注目窓をずらしながら各注目窓内の前記目的特徴量子化部が割り当てた符号の集合である目的部分領域特徴を抽出する目的部分領域特徴抽出過程と、
索引検索部が、前記目的部分領域特徴抽出部が抽出した目的部分領域特徴に類似する前記蓄積部分領域特徴抽出部が抽出した蓄積部分領域特徴を検索候補特徴として抽出する索引検索過程と、
特徴照合部が、前記索引検索部が抽出した前記検索候補特徴と前記目的部分領域特徴抽出部が抽出した目的部分領域特徴との距離を演算する特徴照合過程と、
照合結果判定部が、前記特徴照合部が演算した距離に基づいて、前記目的画像に類似する前記検索候補特徴を照合箇所として出力する照合結果判定過程と、
特徴再照合部が、前記照合結果判定部が出力した照合箇所において、前記蓄積画像に前記目的画像と同一の大きさの照合窓を設定し、照合窓内において抽出した前記蓄積特徴に割り当てた符号の集合と、前記目的特徴に割り当てた符号の集合との特徴距離を演算する特徴再照合過程と、
照合結果再判定部が、前記特徴再照合部が算出した前記特徴距離に基づいて、前記目的画像と類似する前記照合箇所を検出箇所として出力する照合結果再判定過程と、
を有することを特徴とする部分画像検索方法。 - 前記見本特徴作成過程において、
前記学習特徴をクラスタリングして各クラスタに属する学習特徴の重心となる特徴を見本特徴とする請求項1に記載の部分画像検索方法。 - 前記索引検索過程において、前記目的部分領域特徴抽出部が抽出したいずれかの目的部分領域特徴との距離が、予め定めた選択閾値を下回る前記蓄積部分領域特徴を前記目的部分領域特徴に類似する蓄積部分領域特徴として抽出し、
前記照合結果判定過程において、前記特徴照合部が算出した距離が前記選択閾値を下回る前記蓄積部分領域特徴を前記照合箇所として出力し、
前記照合結果再判定過程において、前記特徴再照合部が算出した前記特徴距離が予め定めた検索閾値を下回る照合箇所を前記検出箇所として出力する
ことを特徴とする請求項1または2に記載の部分画像検索方法。 - 検索結果候補選択部が、前記照合結果再判定部が出力した前記検出箇所を、前記特徴再照合部が算出した前記特徴距離の小さい順に、予め定められた数量だけ選択して検索結果候補を求める検索結果候補選択過程と、
検索閾値更新部が、該検索結果候補から、前記特徴再照合部が算出した前記特徴距離に基づいて、予め設定された所定の距離内にある検索結果候補を検出し、その距離の値から前記検索閾値と前記選択閾値の値を更新する検索閾値更新過程と、
次目的部分領域特徴選定部が、まだ照合が終了していない前記目的部分領域特徴の中から次に照合を行う目的部分領域特徴を1つ選択する次目的部分領域特徴選定過程と、
次検索候補特徴選定部が、まだ照合を終了していない検索候補特徴の中から次に照合を行う検索候補特徴を1つ選択する次検索候補特徴選定過程と、
を備えたことを特徴とする請求項3に記載の部分画像検索方法。 - 索引付与部が、前記蓄積部分領域特徴抽出部が抽出した蓄積部分領域特徴に索引を付与する索引付与過程を備え、
前記索引検索過程において、
前記索引に対して、前記目的部分領域特徴抽出部が抽出した全ての目的部分領域特徴を用い、前記検索結果候補を抽出することを特徴とする請求項4に記載の部分画像検索方法。 - 目的代表特徴抽出部が、前記目的部分領域特徴抽出部が抽出した前記目的部分領域特徴を分類し、この各分類に共通する特徴である目的代表特徴を抽出する目的代表特徴抽出過程を備え、
前記索引検索過程において、前記目的部分領域特徴の代わりに、前記目的代表特徴を用いることを特徴とする請求項4に記載の部分画像検索方法。 - 目的部分領域間距離計算部が、前記目的部分領域特徴抽出部が抽出した前記目的部分領域特徴の集合において、各目的部分領域特徴間の距離を計算する目的部分領域間距離計算過程と、
周辺距離下限値計算部が、前記特徴照合部が算出した距離と前記目的部分領域間距離計算部が計算した前記目的部分領域間の距離とを用い、前記特徴照合部において照合を行った蓄積部分領域特徴と、前記目的部分領域特徴抽出過程で導かれた各目的部分領域特徴との距離の下限値を計算する周辺距離下限値計算過程と
前記次目的部分領域特徴選定部において、前記距離の下限値が前記選択閾値を下回る蓄積信号中の箇所の中から次に照合する箇所を選択することを特徴とする請求項6に記載の部分画像検索方法。 - 見本特徴間距離計算部が、前記見本特徴各々の間の距離である見本特徴間距離を演算する見本特徴間距離計算過程
を備え、
前記特徴照合過程において、
前記距離を、前記検索候補特徴の符号列と前記目的部分領域特徴の符号列の要素同士の組合せに対応した前記見本特徴間距離を加算した積算値とし、
前記特徴再照合過程において、
前記特徴距離を、前記特徴再照合部における前記照合窓内の前記蓄積特徴に対応する符号列と前記目的特徴に対応する符号列の要素同士の組合せに対応した前記見本特徴間距離を加算した積算値とする
ことを特徴とする請求項1から請求項7のいずれかに記載の部分画像検索方法。 - 前記蓄積特徴量子化過程において、
前記蓄積特徴に対して、前記見本特徴のうち該蓄積特徴との距離が最も小さい見本特徴に対応する符号を割り当て、
前記目的特徴量子化過程において、
前記目的特徴に対して、前記見本特徴のうち該目的特徴との距離が最も小さい見本特徴に対応する符号を割り当てる
ことを特徴とする請求項8に記載の部分画像検索方法。 - 前記蓄積特徴量子化過程において、
前記蓄積特徴に対して、前記見本特徴のうち該蓄積特徴との距離が予め定められた割当閾値以下にて最も小さい見本特徴に対応する符号を割り当て、該当する見本特徴が存在しない場合、いずれの見本特徴にも対応しない他の符号を割り当て、
前記目的特徴量子化過程において、
前記目的特徴に対して、前記見本特徴のうち該目的特徴との距離が予め定められた割当閾値以下にて最も小さい見本特徴に対応する符号を割り当て、該当する見本特徴が存在しない場合、いずれの見本特徴にも対応しない他の符号を割り当てる
ことを特徴とする請求項8に記載の部分画像検索方法。 - 特徴存在範囲確定部が、前記見本特徴作成部が出力した前記見本特徴各々について、前記見本特徴を中心とする予め設定した割当閾値に等しい半径の超球を、該見本特徴に割り当てられる前記蓄積特徴及び前記目的特徴が存在し得る特徴空間内の範囲である特徴存在範囲として設定する特徴存在範囲確定過程を備え、
前記見本特徴間距離計算過程において、前記特徴存在範囲を用い、各々の見本特徴間の距離を演算することを特徴とする請求項8から請求項10のいずれかに記載の部分画像検索方法。 - 前記見本特徴間距離計算過程において、
前記特徴存在範囲に基づいて、見本特徴各々に対応する前記特徴存在範囲の間の最大距離、または前記特徴存在範囲の間の最小距離、あるいはその双方を計算し、それらを新たに見本特徴間の距離とすることを特徴とする請求項11記載の部分画像検索方法。 - データベースに登録されている蓄積画像群から、検索対象の目的画像に類似した部分画像を含む画像及び該画像における部分画像の位置を検出する部分画像検索システムであり、
部分画像を検出するとき、入力された学習画像から複数の小領域を選択して各小領域における画像の特徴である学習特徴を抽出し、前記学習特徴の中で頻出する画像の特徴である見本特徴を作成する見本特徴作成部と、
前記見本特徴各々の間の距離である見本特徴間距離を演算する見本特徴間距離計算部と、
蓄積画像群の各画像から複数の小領域を選択し、各小領域における画像の特徴である蓄積特徴を抽出する蓄積特徴抽出部と、
前記蓄積特徴抽出部で抽出した蓄積特徴と前記見本特徴作成部で作成した前記見本特徴とを比較し、各蓄積特徴に対して前記見本特徴に対応する符号を割り当てる蓄積特徴量子化部と、
前記蓄積画像群の各画像に対して、予め定められた所定の大きさの注目窓を予め定めた間隔にて配置して、各注目窓内の前記蓄積特徴量子化部が割り当てた符号の集合である蓄積部分領域特徴を抽出する蓄積部分領域特徴抽出部と、
前記目的画像から複数の小領域を選択し、この小領域各々の特徴を目的特徴として抽出する目的特徴抽出部と、
前記目的特徴抽出部が抽出した目的特徴と、前記見本特徴作成部で作成した前記見本特徴とを比較することにより、前記目的特徴に対して、見本特徴に対応する符号を割り当てる目的特徴量子化部と、
前記目的画像に対して、予め定められた所定の大きさの注目窓を設定し、この注目窓をずらしながら各注目窓内の前記目的特徴量子化部が割り当てた符号の集合である目的部分領域特徴を抽出する目的部分領域特徴抽出部と、
前記目的部分領域特徴抽出部が抽出した目的部分領域特徴に類似する前記蓄積部分領域特徴抽出部が抽出した蓄積部分領域特徴を検索候補特徴として抽出する索引検索部と、
前記索引検索部が抽出した前記検索候補特徴と、前記目的部分領域特徴抽出部が抽出した目的部分領域特徴との距離を演算する特徴照合部と、
前記特徴照合部が演算した距離に基づいて、前記目的画像に類似する前記検索候補特徴を照合箇所として出力する照合結果判定部と、
前記照合結果判定部が出力した照合箇所において、前記蓄積画像に前記目的画像と同一の大きさの照合窓を設定し、該照合窓内において抽出した前記蓄積特徴に割り当てた符号の集合との特徴距離を前記見本特徴間距離に基づいて演算する特徴再照合部と、
前記特徴再照合部が算出した前記特徴距離に基づいて、前記目的画像と類似する前記照合箇所を検出箇所として出力する照合結果再判定部と
を有することを特徴とする部分画像検索システム。 - データベースに登録されている蓄積画像群から、検索対象の目的画像に類似した部分画像を含む画像及び該画像における部分画像の位置を検出する部分画像検索処理をコンピュータに実行させるプログラムであり、
見本特徴作成部が、部分画像を検出するとき、入力された学習画像から複数の小領域を選択して各小領域における画像の特徴である学習特徴を抽出し、前記学習特徴の中で頻出する画像の特徴である見本特徴を作成する見本特徴作成処理と、
蓄積特徴抽出部が、前記蓄積画像群の各画像から複数の小領域を選択し、各小領域における画像の特徴である蓄積特徴を抽出する蓄積特徴抽出処理と、
蓄積特徴量子化部が、前記蓄積特徴抽出部で抽出した蓄積特徴と前記見本特徴作成部で作成した前記見本特徴とを比較し、各蓄積特徴に対して前記見本特徴に対応する符号を割り当てる蓄積特徴量子化処理と、
蓄積部分領域特徴抽出部が、前記蓄積画像群の各画像に対して、予め定められた所定の大きさの注目窓を予め定めた間隔にて配置して、各注目窓内の前記蓄積特徴量子化部が割り当てた符号の集合である蓄積部分領域特徴を抽出する蓄積部分領域特徴抽出処理と、
目的特徴抽出部が、前記目的画像から複数の小領域を選択し、この小領域各々の特徴を目的特徴として抽出する目的特徴抽出処理と、
目的特徴量子化部が、前記目的特徴抽出部が抽出した目的特徴と、前記見本特徴作成部で作成した前記見本特徴とを比較することにより、前記目的特徴に対して、見本特徴に対応する符号を割り当てる目的特徴量子化処理と、
目的部分領域特徴抽出部が、前記目的画像に対して、予め定められた所定の大きさの注目窓を設定し、この注目窓をずらしながら各注目窓内の前記目的特徴量子化部が割り当てた符号の集合である目的部分領域特徴を抽出する目的部分領域特徴抽出処理と、
索引検索部が、前記目的部分領域特徴抽出部が抽出した目的部分領域特徴に類似する前記蓄積部分領域特徴抽出部が抽出した蓄積部分領域特徴を検索候補特徴として抽出する索引検索処理と、
特徴照合部が、前記索引検索部が抽出した前記検索候補特徴と前記目的部分領域特徴抽出部が抽出した目的部分領域特徴との距離を演算する特徴照合処理と、
照合結果判定部が、前記特徴照合部が演算した距離に基づいて、前記目的画像に類似する前記検索候補特徴を照合箇所として出力する照合結果判定処理と、
特徴再照合部が、前記照合結果判定部が出力した照合箇所において、前記蓄積画像に前記目的画像と同一の大きさの照合窓を設定し、照合窓内において抽出した前記蓄積特徴に割り当てた符号の集合と、前記目的特徴に割り当てた符号の集合との特徴距離を演算する特徴再照合処理と、
照合結果再判定部が、前記特徴再照合部が算出した前記特徴距離に基づいて、前記目的画像と類似する前記照合箇所を検出箇所として出力する照合結果再判定処理と、
を有する部分画像検索処理をコンピュータに実行させるプログラム。 - 請求項14に記載の部分画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004184966A JP4343038B2 (ja) | 2004-06-23 | 2004-06-23 | 部分画像検索システム及び方法並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004184966A JP4343038B2 (ja) | 2004-06-23 | 2004-06-23 | 部分画像検索システム及び方法並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006011622A JP2006011622A (ja) | 2006-01-12 |
JP4343038B2 true JP4343038B2 (ja) | 2009-10-14 |
Family
ID=35778846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004184966A Expired - Fee Related JP4343038B2 (ja) | 2004-06-23 | 2004-06-23 | 部分画像検索システム及び方法並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4343038B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4929859B2 (ja) * | 2006-06-12 | 2012-05-09 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
KR101193728B1 (ko) * | 2007-12-05 | 2012-10-22 | 시바우라 메카트로닉스 가부시키가이샤 | 특징 해석 장치 |
JP2015133085A (ja) * | 2014-01-15 | 2015-07-23 | キヤノン株式会社 | 情報処理装置およびその方法 |
JP5995916B2 (ja) * | 2014-07-09 | 2016-09-21 | 日本電信電話株式会社 | 画像検索装置、方法、及びプログラム |
-
2004
- 2004-06-23 JP JP2004184966A patent/JP4343038B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006011622A (ja) | 2006-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263659B (zh) | 一种基于三元组损失和轻量级网络的指静脉识别方法及*** | |
KR101191223B1 (ko) | 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 | |
JP4545641B2 (ja) | 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体 | |
CN110502664B (zh) | 视频标签索引库创建方法、视频标签生成方法及装置 | |
JPWO2013129580A1 (ja) | 近似最近傍探索装置、近似最近傍探索方法およびそのプログラム | |
US20120084305A1 (en) | Compiling method, compiling apparatus, and compiling program of image database used for object recognition | |
CN112395457B (zh) | 一种应用于视频版权保护的视频待检索定位方法 | |
CN106780639B (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
JP5598925B2 (ja) | 高次元の特徴ベクトルを高精度で検索する検索装置及びプログラム | |
US10489681B2 (en) | Method of clustering digital images, corresponding system, apparatus and computer program product | |
CN113657504A (zh) | 图像检索方法、装置、计算机设备和存储介质 | |
CN110209863B (zh) | 用于相似图片检索的方法与设备 | |
JP4421527B2 (ja) | 映像検索装置,方法及びプログラム並びにプログラムを記録した記録媒体 | |
CN111353055A (zh) | 基于智能标签扩展元数据的编目方法及*** | |
CN113254687B (zh) | 图像检索、图像量化模型训练方法、装置和存储介质 | |
CN114972506A (zh) | 一种基于深度学习和街景图像的图像定位方法 | |
CN104778272B (zh) | 一种基于区域挖掘和空间编码的图像位置估计方法 | |
JP4343038B2 (ja) | 部分画像検索システム及び方法並びにプログラム | |
JP3903613B2 (ja) | 検索装置及び検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US10121085B2 (en) | Information processing apparatus and method of searching for similar data | |
JP6017277B2 (ja) | 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法 | |
JP6364387B2 (ja) | 特徴量生成装置、方法、及びプログラム | |
JP4425719B2 (ja) | 部分画像検索方法、部分画像検索装置、部分画像検索プログラム、および、部分画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN114882495A (zh) | 一种基于上下文感知特征聚集的3d目标检测方法 | |
JP4382744B2 (ja) | 画像情報抽出方法及び画像情報検索方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090113 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090708 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |