JP3754791B2 - 画像検索装置及び方法 - Google Patents
画像検索装置及び方法 Download PDFInfo
- Publication number
- JP3754791B2 JP3754791B2 JP06683397A JP6683397A JP3754791B2 JP 3754791 B2 JP3754791 B2 JP 3754791B2 JP 06683397 A JP06683397 A JP 06683397A JP 6683397 A JP6683397 A JP 6683397A JP 3754791 B2 JP3754791 B2 JP 3754791B2
- Authority
- JP
- Japan
- Prior art keywords
- label
- image
- search
- blocks
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明は、画像を検索する画像検索装置及び方法に関するものである。
【0002】
【従来の技術】
従来より類似画像を検索するための種々の技術が提案されている。類似画像検索を自然画像について行うための、ある程度実用化されている技術では、色情報を画像特徴量として用いているものが多い。そして、その多くが、色情報に関するヒストグラムを取ることにより、RGBの割合や画像中に多く存在する色の組み合わせを用いた検索が殆どである。
【0003】
【発明が解決しようとする課題】
しかしながら、上記の手法では、色の位置情報が失われてしまうためにその検索精度は必ずしも高くなかった。また、例えば特開平8−249349号には、画像を複数のブロックに分け夫々の特徴量(代表色)を用いたパターンマッチングが開示されている。しかしながら、この手法では、マッチングを行う2つの画像について各ブロック間の特徴量の距離を計算しなければならず、膨大な計算量が必要となってしまう。特に特徴量として代表色を用いると、RGB3個のデータを扱わなければならず、更に計算が複雑なものとなる。また、特徴量そのものを用いて比較を行うので、比較の精度が高くなる反面、画像のアングルが変ったり、物体の位置が変ったりするだけで類似画像検索できなくなってしまうといった問題がある。すなわち、画像のアングルが変ったり、物体の位置が変ったり、あるいは撮影条件による画像特徴量のある程度の違い等を吸収するなど、ある程度の曖昧さを有しながらも適切に画像検索を行うという、いわゆるロバストな類似画像検索を行うことはできなかった。
【0004】
従って、従来技術において自然画像を検索する場合には、画像にキーワードを付与しておき、このキーワードによって画像検索を行うことが普通であった。しかし、このキーワード付け作業は人手のかかる作業であり、更に、キーワード付けが行われていない画像に関しては、縮小画を提示してマニュアルにて選択するという作業が生じ、検索操作を煩雑なものとしていた。
【0005】
本発明は上記の問題点に鑑みてなされたものであり、画像の特徴量の配置を考慮した類似画像の検索を可能とする画像検索装置及び方法を提供することを目的とする。
【0006】
また、本発明の他の目的は、画像の特徴量の配置を考慮した類似画像の検索を行うとともに、撮影条件の変動等による違いを吸収した類似画像検索を可能とする画像検索装置及び方法を提供することにある。
【0007】
【課題を解決するための手段】
上記の目的を解決するための本発明の画像検索装置は以下の構成を備える。即ち、
画像を複数のブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与する付与手段と、
前記付与手段で付与されたラベルを所定のブロック順序に基づいて並べることによりラベル列を生成する生成手段と、
前記生成手段で生成されるラベル列をキーとして画像のID群を登録した第1のテーブルに、前記生成手段で生成されたラベル列と前記画像のIDを登録する登録手段と、
前記第1のテーブルに登録されたラベル列について、各ラベル成分をキーとして、当該ラベル成分を含むラベル列群を登録した第2のテーブルを生成するテーブル生成手段と、
検索元画像のラベル列に含まれるラベル成分と同一のラベル成分を所定数以上含むラベル列を前記第2のテーブルを参照して取得し、前記検索元画像のラベル列と、前記取得手段で取得したラベル列とをペナルティマトリックスに基づき比較することにより類似度を演算する演算手段と、
前記演算手段による類似度が所定値を超えるラベル列を取得し、該取得されたラベル列に対応する画像のIDを前記第1のテーブルから抽出する抽出手段とを備える。
【0008】
また、上記の目的を達成する本発明の画像検索方法は以下の工程を備える。即ち、
メモリに記憶された画像より、指定された検索元画像に類似する画像を検索する画像検索装置における画像検索方法であって、
画像特徴量抽出手段が、メモリに格納された画像を複数のブロックに分割し、各ブロックの画像データから各ブロックの特徴量を算出し、算出された特徴量に応じて各ブロックにラベルを付与する付与工程と、
ラベル列生成手段が、前記付与工程で付与されたラベルを所定のブロック順序に基づいて並べることによりラベル列を生成するラベル列生成工程と、
登録手段が、前記ラベル列生成工程で生成されたラベル列をキーとして画像のID群を登録した第1のテーブルを記憶する記憶手段にアクセスし、前記ラベル列生成工程で生成されたラベル列と前記画像のIDを該第1のテーブルに登録する登録工程と、
テーブル生成手段が、前記第1のテーブルに登録されたラベル列について、各ラベル成分をキーとして、当該ラベル成分を含むラベル列群を登録した第2のテーブルを生成するテーブル生成工程と、
参照手段が、検索元画像のラベル列に含まれるラベル成分と同一のラベル成分を所定数以上含むラベル列を前記第2のテーブルを参照して取得する取得工程と、
演算手段が、前記検索元画像のラベル列と、前記取得工程で取得したラベル列とをペナルティマトリックスに基づき比較することにより類似度を演算する演算工程と、
抽出手段が、前記演算工程による類似度が所定値を超えるラベル列を取得し、該取得されたラベル列に対応する画像のIDを前記第1のテーブルから抽出し検索結果としてデータ出力する抽出工程とを備える。
【0009】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な一実施形態を説明する。
【0010】
図1は本実施形態の画像検索装置の制御構成を示すブロック図である。同図において、101はCPUであり、本実施形態の画像検索装置における各種制御を実行する。102はROMであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。103はRAMであり、CPU101が処理するための制御プログラムを格納するとともに、CPU101が各種制御を実行する際の作業領域を提供する。104はキーボード、105はマウスであり、ユーザによる各種入力操作環境を提供する。
【0011】
106は外部記憶装置であり、ハードディスクやフロッピー(登録商標)ディスク、CD−ROM等で構成される。107は表示器である。108はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。109はインターフェース、110は画像読み取りのためのスキャナである。また、111は上記の各構成を接続するバスである。
【0012】
なお、上記の構成においてスキャナ110や外部記憶装置106はネットワーク上に配置されたもので代用してもよい。
【0013】
図2は本実施形態の画像検索装置の機能構成を示すブロック図である。同図において、11はユーザインターフェース部であり、表示器107、キーボード104及びマウス105を用いて、ユーザからの各種の操作入力を検出する。12は画像入力部であり、スキャナ110による画像の読み取りを行う。13は画像メモリであり、画像入力部12によって得られたイメージデータをRAM103の所定の領域に格納する。14は画像特徴量抽出部であり、画像メモリ13に格納した画像について、後述の手順で特徴量を抽出する。15は特徴量ラベル列化部であり、画像特徴量抽出部14によって得られた特徴量に基づいてラベル列を生成する。16はパターンマッチング部であり、指定された画像のラベル列と、画像蓄積部17に蓄積されている画像のラベル列に基づいて、類似度を算出し、類似画像を検索する。
【0014】
17は画像蓄積部であり、画像入力部12等によって得られた画像データを蓄積する。図3は画像蓄積部17における画像データの格納状態を説明する図である。各画像データ112には画像ID111が付与され、画像蓄積部17にはこれらが対になって保持される。18は画像管理データベース(以下、画像管理DB)であり、図8で示されるデータ形態で画像蓄積部17に格納された画像データを管理する。また、19はラベル列インデックスであり、図9で示されるラベル系列インデックスや図11に示されるラベル成分インデックスファイルを格納する。
【0015】
以上のような構成を備えた本実施形態の画像検索装置の動作例を以下に説明する。なお、以下の例では色に着目した画像特徴量として、赤(R)、緑(G)、青(B)の三色を採用し、3次元の色空間での処理を用いて説明する。
【0016】
[画像の登録処理]
先ず画像登録の際に行う処理を説明する。図4は本実施形態による画像登録処理の手順を表すフローチャートである。まず、ステップS11において、ユーザーインターフェース部11を介しての指示により、画像入力部12を用いて画像を読み込み、画像メモリ13に保持する。次に、ステップS12において、この画像を複数のブロックに分割する。本実施形態では、画像を縦横の複数ブロックに分割する。図5は本実施形態による画像のブロック分割例を示す図である。同図に示されるように、本実施形態では、3×3の計9個に画像を分割するものとする。次にステップS13において、分割された各ブロックの特徴量を算出し、得られた特徴量を次の手順でラベル化する。
【0017】
図6は本実施形態による多次元特徴量空間を説明する図である。図6に示すように、多次元特徴量空間(RGBカラー空間)を複数のブロック(色ブロック)、即ちセル(色せる)に分割し、夫々のセル(色セル)に対して通し番号でユニークなラベルを付与する。ここで、多次元特徴用空間(RGBカラー空間)を複数のブロックに分けたのは微妙な特徴量(色)の違いを吸収するためである。
【0018】
なお、多次元特徴量空間に関しては、画像特徴量をそのまま用いるものではなく各パラメータを平均と分散を実験によって求め規格化(正規化)した後、例えば、主成分分析等の直交変換を行い、意味のある次元にしたものを用いることが考えられる。なお、「意味のある次元」とは、主成分分析において、寄与率が大きな主成分軸で構成される次元である。
【0019】
ステップS13では、ステップS12で得られた各分割ブロックに対して、定められた画像特徴量計算処理を行い、上記多次元特徴量空間上のどのセルに属するかを求め、対応するラベルを求める。この処理を全てのブロックに対して行う。すなわち、分割画像ブロックに対して、全ての画素がどの色セルに属するかの計算処理を行い、もっとも頻度の多い色セルのラベルをその分割画像ブロックのパラメータラベル(カラーラベル)として決定し、この処理を全てのブロックに対して行う。
【0020】
以上のようにして各ブロックに対してパラメータラベルが付与されると、ステップS14において、各ブロックに付与されたパラメータラベルを所定のブロック順序で並べることにより、パラメータラベル列(以下、ラベル列とする)が生成される。図7はラベル列を生成する際のブロック順序例を説明する図である。同図の分割画像ブロックの升にある数字に従って上記のパラメータラベルを並べ、ラベル列を作る。
【0021】
ここで、図7の(a)では、分割ブロックを右上から左下方向への斜め方向へスキャンしている。これは、比較する画像のアングルの微妙な違い、ずれの影響を少なくするために類似検索対象物体に沿ってなるべく多く連続したラベル列を高い期待値で得るためである。この結果、後で述べるパターンマッチング部16の作用とあいまって、上下左右のどちらのずれに対しても影響の少ないラベル列同士の比較が可能となる。
【0022】
なお、本実施形態に適用可能なスキャンの方法としては、
・水平方向(左から右へのスキャンを上から下へ行う、左から右へのスキャンを下から上へ行う等、4通りのスキャン方法が考えられる)、
・垂直方向(上から下へのスキャンを左から右へ行う等、4通りのスキャン方法が考えられる)、
・斜め方向(四隅の各始点について2方向の斜めスキャンがあり、図7の(a)〜(c)を含む8通りのスキャン方法がある)、
・ジグザグスキャン(JPEG等において採用されているスキャン方法であり、四隅の各始点について2通りのジグザグスキャンがあり、合計8通りのスキャンがある)、
等があげられる。本実施形態では以下の観点から採用すべきスキャン方法を決定する。すなわち、
(1)本実施形態ではラベル列同士の時系列的な比較であり、この順序に逆転が生じることは好ましくない。よって、すべての画像を所定のスキャン方法でスキャンしてラベル列化を行う必要がある。
(2)位置の近いブロックはラベル列中においても近くに位置することが望ましい。
(3)検索したい物体に引っ掛かるブロックのラベルが出来る限り早く現れ、且つ長く続くことがマッチングを行いやすくする。
(4)物体が動いたり、アングルが変わったりしても、ラベルの並びが極端に変わらないようにする。
という条件を満足するスキャン方法を採用する。特に、着目物体の多くが画像中央であることを仮定すると、着目物体を含むブロックが出来るだけスキャンの早いうちに現れ、長く物体をスキャンする期待値が高い方法として、本実施形態では斜め方向のスキャンを採用している。なお、本実施形態では、図7の(a)のような右上から左下方向への斜めスキャンを採用するが、当然、図7の(b)のような例や図7の(c)の様なスキャン方法を採用してもよい。
【0023】
続いてステップS15において、以上のようにして得たラベル列や画像データを画像蓄積部17、画像管理DB18、ラベル列インデックス19に格納する。すなわち、ステップS11で読み込んだ画像データに対して画像IDを取得し、これらをペアにして画像蓄積部17に格納する。そして、当該画像IDに対応付けて図8に示す画像管理DBレコードを生成し、これを画像管理DB18に登録する。更に、ステップS16において、ラベル列を検索キーとし、画像ID群を可変長レコードに納めるレコード(図9のラベル系列インデックス)を作成し、ラベル列インデックス19に登録する。ここで、当該ラベル列が未登録であれば、新たなレコードを生成してラベル列IDを付与し、当該ラベル列及び画像IDを登録する。一方、当該ラベル列が既に登録されていれば、画像ID群に当該画像IDを追加登録することになる。このようなラベル系列インデックスを用いることにより、ラベル列が与えられた場合にそれに対応する画像IDが高速に得られることになる。
【0024】
以上が画像登録時に行われる処理である。
【0025】
[類似画像検索処理]
次に図10のフローチャートに従って類似画像検索の処理を説明する。図10は類似画像検索の処理手順を説明するフローチャートである。なお、本実施形態では、予め初期化時において、ラベル系列インデックスから、既に登録されている画像のラベル列群を得て、各ラベル成分をキーとするラベル成分インデックスファイルを生成し、ラベル列インデックス19に格納しておく。なお、ここでいう初期化時とは、システムの立ち上げ時或いはアプリケーションの起動時のいずれでも良い。また、新規の画像登録があり、これを画像DBに登録した場合にも、このラベル成分インデックスの生成を行う。図11は、ラベル成分インデックスのデータ構成例を示す図である。図11に示すように、ラベル成分インデックスには、各ラベル成分毎に、そのラベルを内部に持つラベル列へのアドレス群(列ID群)を有する。なお、このラベル成分インデックスファイルは画像の登録及び削除、変更を反映する必要が生じるまで、作成し直す必要はない。
【0026】
まず、ステップS21において、ユーザーインターフェース部11から類似検索元画像が指定されると、ステップS22において、指定された類似検索元画像の画像IDが取得され、更に画像管理DB18から当該元画像のラベル列(本例ではカラーラベル列)が取得される。
【0027】
次にステップS23において、ラベル成分インデックスファイルを参照し、類似検索元画像のラベル列とある程度以上同一のラベルを含むラベル列群(ラベル系列インデックス中のラベル列)を取得する。これは登録した画像の全てのラベル列との比較を行うと処理が遅くなるので、予め似ているもの(類似検索元画像のラベル列と所定数以上の同一のラベルを含むラベル列群)に絞った後に、類似検索元画像のラベル列と一対一で比較するようにし、処理速度を改善するためである。もちろん、処理が遅くなっても良ければ、登録した画像の全てのラベル列との比較を行い、精度の高い検索を行ってもよい(この場合、ステップS23は省略される)。
【0028】
次に、ステップS24において、ステップS23で取得した各ラベル列と類似検索元画像のラベル列とを比較し、その類似度を算出する。そして、類似検索元画像のラベル列に最も近いラベル列から順にその類似度とともに検索結果として出力する。
【0029】
ここで、ラベル列同士の類似比較(類似度の算出)を行う方法について述べる。
【0030】
図12はラベル列を比較し類似度を求める際に用いるラベル間のペナルティマトリックスの一例を示す図である。マトリクス中の値が小さい程類似していることになる。例えば、ラベル2とラベル6のペナルティは「7」である。また、同じラベル同士のペナルティは当然のことながら「0」となっている。本マトリクスの使用目的はラベルの類似に応じた距離判定を行うことにある。すなわち、本実施形態では、特徴量空間としてRGBカラー空間を用いているので、色の類似に応じた距離判定が行えることになる。
【0031】
例えば、ラベル間のパターンマッチングの際に隣接するセル同士ではペナルティ(距離)を小さくし、遠いものには大きなペナルティを与えるために図12に示すようなラベル間でのペナルティマトリックスを導入する。ステップS24ではこのペナルティマトリックスを考慮し、ラベル列同士を比較するが、その際に、オートマトン等のラベルシーケンスを曖昧に比較できるマッチングを行うようにしてもよい。このような曖昧化の手法を用いることにより、余分なラベルの付加、ラベルの欠落や同じラベルの繰り返しに対しては低いペナルティが与えられとともに、ラベル間のペナルティには図12のカラーラベル間のペナルティマトリックスを用いてラベル列同士の距離計算を行うことで、曖昧なパターンマッチングが行えるようになる。なお、オートマトンとしては、「特開平8−241335のファジー非決定性有限オートマトンを使用した曖昧な文字列検索方法およびシステム」に記載されている「ファジー非決定性有限オートマトン」を適用することができる。このオートマトンでは、各シンボル間の距離(ペナルティー)が多値でして出来、なお、比較するラベル位置を前後曖昧に移動することが出来、トータルの距離が最小(類似度が最大)となるようなラベル列の比較を実現するための手法として、上述のオートマトンの他に、音声認識等において用いられているDPマッチングがあり、この手法もほ実施形態に好適に適用できるものである。
【0032】
更に、上述の曖昧なパターンマッチングに加えて、図7の(a)〜(c)のブロック順序の規則を併用することにより、比較する画像のアングルの微妙な違いやずれの影響を少なく、上下左右のどちらのずれに対しても影響の少ないカラーラベル列同士の比較を行うことが可能となる。すなわち、DPマッチングやファジー非決定性オートマトンは、ラベル列の前後の曖昧さを許容するマッチングであり、画像の位置ずれの影響を吸収する性質を有する。また、アングルの違い等により物体の位置が変わり、ブロックによって切りとられる物体の位置が変わることにより、ブロックの色合いも微妙に異なることが予想されるが、この違いは上述のペナルティーマトリクスにより吸収されることになる。このように、DPマッチング或いはファジーオートマトンによる曖昧さを許容するマッチングと、ペナルティーマトリクスによる特徴量の曖昧さの許容との相乗効果によって、上下左右のずれに対して影響の少ないマッチングを可能としている。更に、図7(a)〜(c)のような斜めスキャンにより、物体の位置の変化によるラベル位置の変化が低減されるので、より効果的にマッチング時の物体のずれの影響を低減できる。
【0033】
次に、ステップS25において、ラベル系列インデックから類似度の高いラベル列をキーとして検索を行い、対応する画像IDを取得する。以下、類似度の高い順に出力された各ラベル列に対してこの処理を繰り返し、結果として類似する画像の画像ID群を得る。そして、ステップS26において、画像管理DB18を参照して、画像ID群の各画像IDについてフルパスのファイル名を取得し、これをユーザに提示する。
【0034】
以上のような処理により、画像のアングルが変ったり、物体の位置が変ったり、あるいは撮影条件が変わったりすることによって生じる、色のある程度の違い等を吸収するなど、ロバストな類似画像検索を高速に行うことが可能となる。
【0035】
なお、上記実施形態においては、自然画像検索を行う例を説明したが、本発明はCGやCAD等の人工的な画像の検索にも適応可能な技術であることは当業者には明らかである。
【0036】
また、上記実施形態では画像特徴量として色情報を選んだが、本発明はこれに限られるものではなく、その他の画像パラメータを画像分割ブロックごとに求めることで実施することも可能である。
【0037】
また、本実施形態では1つの特徴量での認識の例を挙げたが、その他の特徴量での検索結果との論理演算を行うことにより、複数の特徴量からの高速な検索を行うことも可能である。
【0038】
また、ブロック化できない1つの画像に対して1つのパラメータを加味した類似検索の場合には、本発明で得られる類似度(ペナルティの総和を用いて作る)を1つの新たなる特徴量として、統計的な距離尺度に基づく検索を行うことも可能である。また、上記実施形態では、類似度が所定値を越える類似画像を検索結果として得るが、類似度の高い画像から順に前もって指定された個数の画像を検索結果として出力するようにしてもよいことはいうまでもない。
【0039】
なお、本発明は、例えばホストコンピュータ,インタフェイス機器,リーダ,プリンタなどの複数の機器から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機,ファクシミリ装置など)に適用してもよい。
【0040】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【0041】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0042】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
【0043】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0044】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0045】
以上説明したように、本実施形態によれば、特徴量群(特徴量空間を分割して得られる特徴量のグループ)を1つのシンボルで表現し(すなわちラベル化し)、ラベル同士の類似度に基づく距離をペナルティーマトリクスによって与える。このため、2つの画像のブロック間の距離の計算量を大幅に減少させることができるとともに、類似した特徴量が同じラベルで表されることになるので、類似画像の検索を良好に行うことができる。
【0046】
また、(1)ペナルティマトリクスによるラベル同士の距離概念を導入し、(2)DPマッチングやファジー非決定性オートマトン等の、比較するラベル位置を前後曖昧に移動させることが出来、トータルの距離が最小(類似度が最大)となるようなラベル列の比較を実現する手法を導入する、ことにより、画像のアングルが多少変わっても検索することが可能となり、雰囲気の似ている画像を検索できるようになる。
【0047】
更に上記実施形態によれば、インデックスデータベース(ラベル系列インデックスやラベル成分インデックス)を用いたことにより、画像検索が更に高速化する。
【0048】
【発明の効果】
以上説明したように本発明によれば、画像の特徴量に応じて付与されたラベル列をキーとして、画像のID群を含むテーブルに基づき、画像を検索するので、画像検索が高速化する。
【0050】
【図面の簡単な説明】
【図1】本実施形態の画像検索装置の制御構成を示すブロック図である。
【図2】本実施形態の画像検索装置の機能構成を示すブロック図である。
【図3】画像蓄積部17における画像データの格納状態を説明する図である。
【図4】本実施形態による画像登録処理の手順を表すフローチャートである。
【図5】本実施形態による画像のブロック分割例を示す図である。
【図6】本実施形態による多次元特徴量空間を説明する図である。
【図7】ラベル列を生成する際のブロック順序例を説明する図である。
【図8】画像管理DBレコードのデータ構成例を示す図である。
【図9】ラベル系列インデックスのデータこう政令を示す図である。
【図10】類似画像検索の処理手順を説明するフローチャートである。
【図11】ラベル成分インデックスのデータ構成例を示す図である。
【図12】ラベル列を比較し類似度を求める際に用いるラベル間のペナルティマトリックスの一例を示す図である。
Claims (5)
- 画像を複数のブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与する付与手段と、
前記付与手段で付与されたラベルを所定のブロック順序に基づいて並べることによりラベル列を生成する生成手段と、
前記生成手段で生成されるラベル列をキーとして画像のID群を登録した第1のテーブルに、前記生成手段で生成されたラベル列と前記画像のIDを登録する登録手段と、
前記第1のテーブルに登録されたラベル列について、各ラベル成分をキーとして、当該ラベル成分を含むラベル列群を登録した第2のテーブルを生成するテーブル生成手段と、
検索元画像のラベル列に含まれるラベル成分と同一のラベル成分を所定数以上含むラベル列を前記第2のテーブルを参照して取得し、前記検索元画像のラベル列と、前記取得手段で取得したラベル列とをペナルティマトリックスに基づき比較することにより類似度を演算する演算手段と、
前記演算手段による類似度が所定値を超えるラベル列を取得し、該取得されたラベル列に対応する画像のIDを前記第1のテーブルから抽出する抽出手段とを備えることを特徴とする画像検索装置。 - 前記ラベルは、多次元特徴量空間を複数のセルに分割し、得られたセルの夫々に与えられる固有のラベルであり、
前記付与手段は、前記ブロックの夫々について特徴量を算出し、算出された特徴量が属するセルに付与されているラベルを当該ブロックに付与することを特徴とする請求項1に記載の画像検索装置。 - 前記複数のブロックは画像を縦横複数のブロックに分けて得られたものであり、前記生成手段で用いられるブロック順序は、該複数のブロックを斜め方向に走査する順序であることを特徴とする請求項1に記載の画像検索装置。
- 前記複数のブロックは画像を縦横複数のブロックに分けて得られたものであり、前記生成手段で用いられるブロック順序は、該複数のブロックを水平もしくは鉛直方向に走査する順序であることを特徴とする請求項1に記載の画像検索装置。
- メモリに記憶された画像より、指定された検索元画像に類似する画像を検索する画像検索装置における画像検索方法であって、
画像特徴量抽出手段が、メモリに格納された画像を複数のブロックに分割し、各ブロックの画像データから各ブロックの特徴量を算出し、算出された特徴量に応じて各ブロックにラベルを付与する付与工程と、
ラベル列生成手段が、前記付与工程で付与されたラベルを所定のブロック順序に基づいて並べることによりラベル列を生成するラベル列生成工程と、
登録手段が、前記ラベル列生成工程で生成されたラベル列をキーとして画像のID群を登録した第1のテーブルを記憶する記憶手段にアクセスし、前記ラベル列生成工程で生成されたラベル列と前記画像のIDを該第1のテーブルに登録する登録工程と、
テーブル生成手段が、前記第1のテーブルに登録されたラベル列について、各ラベル成分をキーとして、当該ラベル成分を含むラベル列群を登録した第2のテーブルを生成するテーブル生成工程と、
参照手段が、検索元画像のラベル列に含まれるラベル成分と同一のラベル成分を所定数以上含むラベル列を前記第2のテーブルを参照して取得する取得工程と、
演算手段が、前記検索元画像のラベル列と、前記取得工程で取得したラベル列とをペナルティマトリックスに基づき比較することにより類似度を演算する演算工程と、
抽出手段が、前記演算工程による類似度が所定値を超えるラベル列を取得し、該取得されたラベル列に対応する画像のIDを前記第1のテーブルから抽出し検索結果としてデータ出力する抽出工程とを備えることを特徴とする画像検索方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06683397A JP3754791B2 (ja) | 1997-03-19 | 1997-03-19 | 画像検索装置及び方法 |
US09/042,692 US6400853B1 (en) | 1997-03-19 | 1998-03-17 | Image retrieval apparatus and method |
EP98301954A EP0866409B1 (en) | 1997-03-19 | 1998-03-18 | Image retrieval apparatus and method |
DE69810369T DE69810369T2 (de) | 1997-03-19 | 1998-03-18 | Bildwiederauffindungsvorrichtung und -verfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06683397A JP3754791B2 (ja) | 1997-03-19 | 1997-03-19 | 画像検索装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10260983A JPH10260983A (ja) | 1998-09-29 |
JP3754791B2 true JP3754791B2 (ja) | 2006-03-15 |
Family
ID=13327247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06683397A Expired - Fee Related JP3754791B2 (ja) | 1997-03-19 | 1997-03-19 | 画像検索装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3754791B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6731789B1 (en) | 1999-01-29 | 2004-05-04 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
WO2000045341A1 (en) * | 1999-01-29 | 2000-08-03 | Lg Electronics Inc. | Method of searching or browsing multimedia data and data structure |
US7016916B1 (en) * | 1999-02-01 | 2006-03-21 | Lg Electronics Inc. | Method of searching multimedia data |
JP4227241B2 (ja) | 1999-04-13 | 2009-02-18 | キヤノン株式会社 | 画像処理装置及び方法 |
KR100671099B1 (ko) * | 1999-09-06 | 2007-01-17 | 주식회사 팬택앤큐리텔 | 영상의 유사도 비교방법 및 그를 이용한 영상 검색 방법 및 장치 |
KR20020059706A (ko) * | 2000-09-08 | 2002-07-13 | 요트.게.아. 롤페즈 | 저장 매체상에 저장된 정보 신호를 재생하는 장치 |
JP4366108B2 (ja) | 2003-04-30 | 2009-11-18 | キヤノン株式会社 | 文書検索装置、文書検索方法及びコンピュータプログラム |
JP3693296B2 (ja) * | 2003-09-04 | 2005-09-07 | 京セラミタ株式会社 | デジタル複写機 |
EP1624392A1 (en) | 2004-07-02 | 2006-02-08 | Canon Kabushiki Kaisha | Method, apparatus, and program for retrieving data |
JP4738943B2 (ja) * | 2005-09-01 | 2011-08-03 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP4904316B2 (ja) * | 2008-06-11 | 2012-03-28 | 日本放送協会 | 特定シーン抽出装置及び特定シーン抽出プログラム |
US8280196B2 (en) | 2009-05-12 | 2012-10-02 | Canon Kabushiki Kaisha | Image retrieval apparatus, control method for the same, and storage medium |
JP5495934B2 (ja) | 2010-05-18 | 2014-05-21 | キヤノン株式会社 | 画像処理装置、その処理方法及びプログラム |
JP5894492B2 (ja) * | 2012-04-19 | 2016-03-30 | 日本放送協会 | 画像処理装置、画像検索装置及びプログラム |
US10896345B2 (en) * | 2017-06-02 | 2021-01-19 | Fujitsu Limited | Feature vector generation and encryption |
US12002252B2 (en) * | 2021-05-12 | 2024-06-04 | Rakuten Group, Inc. | Image matching system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3311077B2 (ja) * | 1993-05-06 | 2002-08-05 | 松下電器産業株式会社 | 画像検索装置 |
JPH07160725A (ja) * | 1993-12-03 | 1995-06-23 | Toshiba Corp | 画像検索装置 |
JPH07262373A (ja) * | 1994-03-23 | 1995-10-13 | Ricoh Co Ltd | カラー画像認識方法 |
JP3727967B2 (ja) * | 1995-01-31 | 2005-12-21 | キヤノン株式会社 | 画像検索方法及びその装置 |
JPH08137908A (ja) * | 1994-11-15 | 1996-05-31 | Canon Inc | 画像検索方法及び装置 |
JP3199976B2 (ja) * | 1995-03-14 | 2001-08-20 | 正夫 坂内 | 画像データベース装置 |
-
1997
- 1997-03-19 JP JP06683397A patent/JP3754791B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10260983A (ja) | 1998-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3754791B2 (ja) | 画像検索装置及び方法 | |
US6584223B1 (en) | Image search apparatus and method | |
US6400853B1 (en) | Image retrieval apparatus and method | |
US7620247B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
US6941003B2 (en) | Method of fast fingerprint search space partitioning and prescreening | |
US4899394A (en) | Apparatus and method for image compression | |
EP1634135B1 (en) | Systems and methods for source language word pattern matching | |
JP3952592B2 (ja) | 画像検索装置及び方法 | |
JPH11250261A (ja) | 指紋画像特色相関器 | |
US6731789B1 (en) | Image processing apparatus and method, and storage medium | |
JP2000311246A (ja) | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 | |
JP3720573B2 (ja) | 画像検索装置及び方法 | |
Wang et al. | Chinese document image retrieval system based on proportion of black pixel area in a character image | |
Hsieh et al. | Spatial template extraction for image retrieval by region matching | |
JP3720538B2 (ja) | 画像検索装置及び方法 | |
JP2007079616A (ja) | 情報検索装置、情報検索装置の制御方法、及び制御プログラム | |
KR20110039900A (ko) | 지능형 인식 라이브러리 및 관리 도구를 활용한 고문서 이미지 데이터 인식 및 처리 방법 | |
JP2007034613A (ja) | 画像処理装置及びその方法 | |
JPH09198404A (ja) | 文書処理方法及び装置 | |
JPH10260990A (ja) | 例示検索の高速化方法 | |
Fischler et al. | An approach to general pattern recognition | |
JPH11316819A (ja) | 画像検索装置及び方法 | |
JP2590327B2 (ja) | 図面情報の管理方法 | |
JPH11282873A (ja) | 画像データベース検索装置及びその検索方法並びに記録媒体 | |
JP3948943B2 (ja) | 図形認識方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041022 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041221 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050307 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050502 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050829 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050907 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051219 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131222 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |