JP4331882B2

JP4331882B2 - Element image extraction device for search, search reference image input device, and recording medium recording program

Info

Publication number: JP4331882B2
Application number: JP2000331327A
Authority: JP
Inventors: 貴裕望月; 崇之伊藤
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2000-10-30
Filing date: 2000-10-30
Publication date: 2009-09-16
Anticipated expiration: 2020-10-30
Also published as: JP2002140331A

Description

【０００１】
【発明の属する技術分野】
本発明は、検索用要素画像抽出装置、検索参照画像入力装置及びプログラムを記録した記録媒体に係り、特に、検索対象画像から切り出した代表的な要素画像を用いて検索することを可能とした検索用要素画像抽出装置、検索参照画像入力装置及びプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
最近、画像の被写体の内容でなく画像全体の類似性に基づいて画像検索を行う技術が研究されている。
そのような画像検索技術において、ユーザが画像描画装置を用いて描画した画像をユーザの意図に反映した検索参照画像とする様々な手法が研究されている。
【０００３】
例えば、特開平２０００−７６２７０号公報（発明の名称：「画像検索システム及びその制御方法、画像検索装置及びその制御方法、コンピュータ可読メモリ」）には、描画ツールを用いて、ユーザ描画領域に検索対象の画像に似せた画像を描画して検索を行う方法が記載されている。なお、その検索は、画像をＮ等分して、それぞれの画像特徴量に基づいて、類似画像検索により行われる。
【０００４】
また、西山晴彦他「画像の構図を用いた絵画検索システム」、情報処理学会論文誌、Vol３７.No１.Ｐ１０１（１９９６）には、略画を用いて検索する方法が記載されている。なお、検索用の略画は、色の指定、領域情報の入力、オブジェクト情報の入力及び特徴情報の入力により作成される。
【０００５】
また、紺谷精一他「画像の内容検索技術」、画像ラボ、199.6.Ｐ5-9には、検索条件の入力方法の一つとして、スケッチによる入力方法が記載されている。この入力方法においては、画像エデタを用いて似た画像を入力するようにされている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の手法のものは、描画装置が検索対象の画像の画像特徴を反映したテクスチャ等を描画する機能を有していなかったため、色や濃淡に基づいた画像特徴による検索には適しているが、画像のテクスチャ等の複雑性や分布等による画像特徴を手がかりとした画像検索ができなかった。
【０００７】
本発明は、前記問題に鑑みなされたものであり、検索対象画像から切り出した代表的な要素画像を用いて検索することにより、画像のテクスチャ等の複雑性や分布等による画像特徴（以下、「テクスチャ画像特徴」という。）を手がかりとした画像検索を可能とし、精度の良い画像検索を可能とすることを目的とするものである。
【０００８】
【課題を解決するための手段】
前記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
請求項１に記載された発明は、検索参照画像により検索が行われる画像検索装置に用いられる検索用要素画像抽出装置において、複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、前記画像分割手段により分割された要素画像の画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段で抽出された画像特徴に基づいて、要素画像毎に、中心ベクトルを算出し、算出された要素画像の中心ベクトルに基づいて、前記画像分割手段により分割された要素画像のクラス分けを行い、更に、クラス毎に、クラスの中心ベクトルに最も近い要素画像を代表的な要素画像として抽出する主要特徴ブロック抽出手段と、とを有することを特徴とする検索用要素画像抽出装置である。
【００１０】
請求項２に記載された発明は、検索参照画像により検索が行われる画像検索装置に用いられる検索参照画像入力装置において、請求項１に記載された検索用要素画像抽出装置によって抽出された代表的な要素画像を表示する表示手段と、前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段とを有することを特徴とする検索参照画像入力装置である。
請求項３に記載された発明は、コンピュータを、複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、前記画像分割手段により分割された要素画像の画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段で抽出された画像特徴に基づいて、要素画像毎に、中心ベクトルを算出し、算出された要素画像の中心ベクトルに基づいて、前記画像分割手段により分割された要素画像のクラス分けを行い、更に、クラス毎に、クラスの中心ベクトルに最も近い要素画像を代表的な要素画像として抽出する主要特徴ブロック抽出手段と、して機能させるための検索用要素画像抽プログラムを記録した記録媒体である。
【００１１】
請求項４に記載された発明は、コンピュータを、請求項３に記載された検索用要素画像抽プログラムによって抽出された代表的な要素画像を表示する表示手段と、前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段として機能させるための検索参照画像入力プログラムを記録した記録媒体である。
【００１２】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。
【００１３】
本発明は、ユーザが画像描画装置を用いて描画した画像を用いて検索するものであり、図１にその方法を示す。
【００１４】
図１の方法は、検索対象画像の取得（Ｓ１０）、特徴ブロック・特徴ベクトル抽出（Ｓ１１）、主要特徴ブロック抽出（Ｓ１２）、検索参照画像入力（Ｓ１３）、検索参照画像特徴ベクトル抽出（Ｓ１４）、検索（Ｓ１５）及び出力（Ｓ１６）の手順から構成されている。
【００１５】
以下、他の図を参照しながら、その詳細を説明する。
【００１６】
先ず、ステップ１０で検索対象画像が蓄積されているデータベースから、検索対象画像Ｉ（Ｉ＝０、１、、．．、Ｎ_Ｄ−１）を取得する。
【００１７】
次いで、ステップ１１で、取得した検索対象画像の特徴ブロックと特徴ベクトルを抽出する。この特徴ブロックと特徴ベクトルの抽出処理は、図２に示されているフローにより行われる。
【００１８】
図２のステップ２０で、図３（Ａ）に示すように、取得したＮ_Ｄ枚の検索対象画像を幅Ｗ、高さＨのＷ×Ｈの格子Ｄｘ個とＤｙ個に分割する。この格子（ｍ、ｎ）が特徴ブロック（ｍ、ｎ）である。
【００１９】
但し、ｍ＝０、１、、．．、Ｄｘ−１、ｎ＝０、１、、．．、Ｄｙ−１
このように、取得した全ての検索対象画像を幅Ｗ、高さＨのＷ×Ｈの格子Ｄｘ個とＤｙ個に分割することにより、全ての検索対象画像の特徴ブロックを取得する。
【００２０】
なお、取得した検索対象画像は全て同じ大きさ（幅Ｗ×Ｄｘ、高さＨ×Ｄｙ）に正規化されているものとする。
【００２１】
また、各特徴ブロックは、図３（Ｂ）に示すように、後述するＴ個の特徴ベクトル、Ｎｃ個のベクトル要素を有している。
【００２２】
次いで、図２のステップ２１で、画像特徴を求める。
【００２３】
各特徴ブロック（Ｉ、ｍ、ｎ）からそのブロックのテクスチャ画像特徴（複雑性、分布、鋭さ等）を良く表すであろうＴ個の画像特徴ｆ_０（Ｉ、ｍ、ｎ）、ｆ_１（Ｉ、ｍ、ｎ）、．．、ｆ_Ｔ（Ｉ、ｍ、ｎ）を求める。
【００２４】
このＦ（Ｉ、ｍ、ｎ）＝（ｆ_０（Ｉ、ｍ、ｎ）、ｆ_１（Ｉ、ｍ、ｎ）、．．、ｆ_Ｔ（Ｉ、ｍ、ｎ））をこの特徴ブロックの特徴ベクトルとする。
【００２５】
なお、特開平２０００−７６２７０号公報に用いられているフラクタルベクトルは、画像特徴の一つの例である。
【００２６】
ここで、図１に戻る。ステップ１１で、取得した検索対象画像の特徴ブロックと特徴ベクトルを抽出した後で、ステップ１２で、主要特徴ブロックの抽出を行う。この主要特徴ブロックの抽出の詳細を、図４を用いて説明する。
【００２７】
先ず、要素が空きのカテゴリ群Ｃo［ｋ］を準備する（Ｓ３０）。但し、ｋ＝０、１、、．．、Ｎ_Ｄ×Ｄｘ×Ｄｙ−１である。
【００２８】
次いで、カテゴリＣo［Ｉ×ｍ×ｎ］にＦ（Ｉ、ｍ、ｎ）を入れる（Ｓ３１）。但し、Ｉ＝０、１、、．．、Ｎ_Ｄ−１、ｍ＝０、１、、．．、Ｄｘ−１、ｎ＝０、１、、．．、Ｄｙ−１である。
【００２９】
このときのカテゴリ数Ｃnは、
Ｃn＝Ｎ_Ｄ×Ｄｘ×Ｄｙ
である。
【００３０】
次いで、各カテゴリについて、中心ベクトルＶｃ［ｋ］を求める（Ｓ３２）。但し、ｋ＝０、１、、．．、Ｃn−１である。
【００３１】
また、現時点で、各ブロックは、Ｔ個の特徴ベクトルを有し、Ｎｃ個のベクトルを要素として持つものとする。
【００３２】
つまり、Ｃo［ｋ］は、
Ｆ_０［ｋ］＝（ｆ_００［ｋ］、ｆ_０１［ｋ］、．．、ｆ_０Ｔ［ｋ］）、Ｆ₁［ｋ］＝（ｆ_１０［ｋ］、ｆ_１１［ｋ］、．．、ｆ_１Ｔ［ｋ］）、．．．、Ｆ_ＮＣ［ｋ］＝（ｆ_ＮＣ０［ｋ］、ｆ_ＮＣ１［ｋ］、．．、ｆ_ＮＣＴ［ｋ］）のＮｃ個のベクトルを要素として持つ。
【００３３】
次いで、各特徴ブロック毎に、中心ベクトルＶｃ［ｋ］を次の式を用いて算出する。
【００３４】
【数１】

次に、全てのカテゴリについて、任意に選んだ二つのカテゴリの中心ベクトルＶｃ［ｋ］の２乗距離ｄ（ｋ、ｋ’）を求める。但し、ｋ＝０、１、、．．、Ｃn−１、ｋ’＝０、１、、．．、Ｃn−１、ｋ≠ｋ’である。
【００３５】
次いで、次のように、要素のクラス分けを行う（Ｓ３３）。
（１）ｄ（ｋ、ｋ’）＜Ｄthであるような全てのＣo［ｋ］Ｃo［ｋ’］の要素が必ず同じクラスに属する。
（２）ｄ（ｋ、ｋ’）＞Ｄthであるような全てのＣo［ｋ］Ｃo［ｋ’］の要素はどれもお互いに異なるクラスに属する。
（３）全てのＣo［ｋ］の要素は、重複なくどれかのクラスに属する。
（４）現在同じカテゴリに属する要素同士が異なるクラスに分割されることはない。
【００３６】
以上の４つの条件を満たす新しいクラス群Ｃn［ｐ］を作る。但し、ｐ＝０、１、、．．、Ｃnn（Ｃnn≦Ｃn）
例えば、図５に示すように、２１０のクラスには、クラス分け前のカテゴリ１１０、１２０、１３０、１４０、１５０が含まれる。なお、１１１、１２１、１３１、１４１、１５１は、各カテゴリの中心ベクトルを示している。また、２１１は、後述するクラスの中心ベクトルを示している。
【００３７】
なお、クラスを考えるときは、カテゴリ１１０、１２０、１３０、１４０、１５０の意識はない。
【００３８】
また、各カテゴリには、Ｎc個のベクトル（要素）を有する。
【００３９】
また、説明を簡単にするために、各カテゴリは重複しないように図示されているが、実際には各カテゴリの要素は複雑に入り組んでいる。
【００４０】
次いで、クラスＣn［ｐ］の内、要素数の多い順にＮ_Ｔ個のクラスのみで新しいクラス群Ｃt［ｐ］を作る（Ｓ３４）。
【００４１】
また、そのクラスの中心ベクトルをＶtc［ｐ］を求める（Ｓ３５）。但し、ｐ＝０、１、、．．、Ｎ_Ｔ−１である。
【００４２】
次いで、各Ｃt［ｐ］（ｐ＝０、１、、．．、Ｎ_Ｔ−１）について、クラスの中心ベクトルＶtc［ｐ］との２乗距離が最も小さい要素（Ｆc［ｋ］）を求める（Ｓ３６）。
【００４３】
例えば、図６は、図５の部分拡大図である。１１２、１３２〜１３６、１５２〜１５４は、要素を示している。２１１が、このクラスの中心ベクトルＶtc［ｐ］であるので、クラスの中心ベクトルＶtc［ｐ］との２乗距離が最も小さい要素Ｆc［ｋ］は、要素１３５である。この要素１３５は、クラス１３０の代表的な要素である。
【００４４】
次いで、各Ｆc［ｋ］について、その抽出元となる特徴ブロックＴ［ｋ］を検索対象データベースから画像として切り出す。
【００４５】
例えば、Ｆc［ｋ］∈Ｆ（a,b,c）の場合は、ファイルの番号がａの画像の（b,c）格子を切り出す。
【００４６】
図６では、Ｆc［ｋ］の特徴ブロックは、クラス分け前の特徴ブロック１３０の要素である。従って、特徴ブロック１３０を、検索対象画像データベースから切り出す。
【００４７】
このように、Ｎ_Ｔ個のクラスについて、それぞれのクラスの中心ベクトルＶtc［ｐ］との２乗距離が最も小さい要素Ｆc［ｋ］を求め、その抽出元となる特徴ブロックＴ［ｋ］を検索対象データベースから画像として切り出す。
【００４８】
そうして、Ｎ_Ｔ個の主要特徴ブロックのＴ［０］、Ｔ［１］、．．、Ｔ［Ｎt］を抽出する（Ｓ３７）。
【００４９】
ここで、図１に戻る。ステップ１２で、主要特徴ブロックを抽出した後、ステップ１３で、この主要特徴ブロックを利用して、検索参照画像の入力を行う。
【００５０】
ステップ１４では、入力された検索参照画像の特徴ベクトルを抽出する。
【００５１】
次いで、ステップ１５で、検索参照画像の特徴ベクトルを検索条件として、検索対象画像データベースの検索を行い、その検索した画像を出力する（Ｓ１６）。
【００５２】
このようにして、検索対象画像から切り出した代表的な要素画像を用いて、検索対象画像データベースの検索を、精度良く行うことができる。
【００５３】
図７に検索装置の例を示す。検索装置１は、検索対象画像データベース２に接続されて、検索を行うことができる。
【００５４】
図７では、検索装置１は、特徴ブロック・特徴ベクトル抽出部１０、主要特徴ブロック抽出部１１、表示部１２、検索参照画像入力部１３、検索参照画像特徴ベクトル抽出部１４、検索部１５及び検索装置制御部１６から構成されている。
【００５５】
特徴ブロック・特徴ベクトル抽出部１０は、検索対象画像が蓄積されているデータベースの特徴ブロックと特徴ベクトルを抽出する。特徴ブロック・特徴ベクトル抽出部１０で、図２の処理フローの処理を行う。
【００５６】
主要特徴ブロック抽出部１１は、検索対象画像の特徴ブロックと特徴ベクトルに基づいて、検索対象画像から切り出した主要な特徴ブロックの抽出を行う。主要特徴ブロック抽出部１１で、図４の処理フローの処理を行う。
【００５７】
表示部１２は、図１に示すような処理フローにおいて、検索処理における必要な表示を行う。
【００５８】
例えば、検索を行うための制御画面、検索条件の入力画面、検索の結果画面等の表示を行う。
【００５９】
検索参照画像入力部１３は、検索条件の入力画面に検索条件を入力する。検索条件は、検索参照画像で行い、この検索参照画像は、検索対象画像から切り出した主要な特徴ブロック（代表的な要素画像）を用いて作成する。
【００６０】
図８に検索条件の入力画面を示す。
【００６１】
２０は、画像部である。この画像部２０の描画領域の大きさは、検索対象データベースの画像と同じ大きさ（幅Ｗ×Ｄｘ、高さＨ×Ｄｙ）である。この画像部２０は、検索対象画像をＷ×Ｈの特徴ブロックに分割したと同じように、点線で領域が分割されている。
【００６２】
２１は、要素画像部であり、要素画像部２１には、検索対象画像から切り出した代表的な要素画像Ｔ［０］、Ｔ［１］、．．、Ｔ［Ｎt］が表示されている。この代表的な要素画像Ｔ［０］、Ｔ［１］、．．、Ｔ［Ｎt］は、画像付きボタンとして表示されている。そこで、ボタンＴ［ｋ］をマウスでクリックし、次に、画像部２０のある領域をクリックすると、その領域に画像Ｔ［ｋ］が埋まるようになっている。
【００６３】
２２は、ドロウイング部である。ドロウイング部２２は、既存のドロウイングツールと同じ機能を有する。このドロウイング部２２により、色又は濃淡レベルを指定して円や多角形を書いたり、塗りつぶす等の処理を行う。
【００６４】
図２の検索参照画像特徴ベクトル抽出部１４は、検索参照画像入力部１３により入力された検索参照画像の特徴ベクトルの抽出を行う。
【００６５】
要素画像部２１及びドロウイング部２２を用いて描画した画像部２０の画像を、Ｗ×Ｈ（点線）で分割する。この分割領域（ｍ、ｎ）が特徴ブロック（ｍ、ｎ）である。但し、ｍ＝０、１、、．．、Ｄｘ−１、ｎ＝０、１、、．．、Ｄｙ−１である。
【００６６】
検索参照画像特徴ベクトル抽出部１４は、各特徴ブロック（ｍ、ｎ）について、図２のステップ２１で求めたと同じように、画像特徴ベクトルＦ＝（ｆ_０（ｍ、ｎ）、ｆ_１（ｍ、ｎ）、．．、ｆ_Ｔ（ｍ、ｎ））を計算する。
【００６７】
次いで、Ｄｘ×Ｄｙ×Ｔ次元ベクトルＦ＝（Ｆ（０、０）、Ｆ（１、０）、．．、Ｆ（Ｄｘ−１、Ｄｙ−１））を出力する。
【００６８】
検索部１５は、検索参照画像特徴ベクトル抽出部１４で抽出された検索参照画像特徴ベクトルを用いて、検索対象画像データベースを検索する。
【００６９】
検索装置制御部１６は、ＣＰＵ（Central Ｐrocessing Ｕnit ：中央処理装置）、画像検索に係るアプリケーションを含み検索装置としての機能が果たされるように、検索装置１全体を制御する。
【００７０】
また、検索装置１には、コンピュータを動作させて、複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、前記画像分割手段により分割された要素画像から代表的な要素画像を選択する選択手段とを機能させるためのプログラムを記録した記録媒体を備えてもよい。
【００７１】
同じく、また、検索装置１には、コンピュータを動作させて、検索対象画像から切り出された所定の大きさの要素画像であって、代表的な要素画像を表示する表示手段と、前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段とを機能させるためのプログラムを記録した記録媒体を備えてもよい。
【００７２】
また、図７において、また、検索装置１は、特徴ブロック・特徴ベクトル抽出部１０、主要特徴ブロック抽出部１１、表示部１２、検索参照画像入力部１３、検索参照画像特徴ベクトル抽出部１４、検索部１５及び検索装置制御部１６から構成されていると説明した。
【００７３】
しかしながら、図７における検索装置１の部分を独立した装置としてもよい。
【００７４】
例えば、複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、前記画像分割手段により分割された要素画像から代表的な要素画像を選択する選択手段とで検索用要素画像抽出装置のような独立した装置構成としてもよい。
【００７５】
また、検索対象画像から切り出された所定の大きさの要素画像であって、代表的な要素画像を表示する表示手段と、前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段とで検索参照画像入力装置のような独立した装置構成としてもよい。
【００７６】
また、検索装置は、一体でも、検索用要素画像抽出装置、検索参照画像入力装置等を組み合わせて構成するようにしてもよい。
【００７７】
また、検索装置は、直接検索対象画像データベースに接続されていても、通信回線で接続されていてもよい。
【００７８】
なお、上記説明では、全てのカテゴリについて、任意に選んだ二つのカテゴリの中心ベクトルＶｃ［ｋ］の２乗距離ｄ（ｋ、ｋ’）を求めた例について説明したが、本件発明は、２乗距離に限らず、他の距離を用いてもよい。
【００７９】
また、上記実施の形態では、クラス分けを１回行う例について説明したが、クラス分けを複数回行うようにしてもよい。
【００８０】
【発明の効果】
検索対象画像中に出現頻度の高いテクスチャ等の代表的な要素画像を用いて、描画することで、ユーザの意図に反映した画像検索を良精度で行うことができる。
【００８１】
【図面の簡単な説明】
【図１】本発明の検索の処理フローである。
【図２】特徴ブロックと特徴ベクトルの抽出の処理フロー図である。
【図３】検索対象画像の分割を説明するための図である。
【図４】主要特徴ブロックの抽出の処理フローである。
【図５】クラス分けを説明するための図である。
【図６】図５の部分拡大図である。
【図７】本発明の検索装置を説明するための図である。
【図８】検索条件の入力画面を説明するための図である。
【符号の説明】
１０特徴ブロック・特徴ベクトル抽出部
１１主要特徴ブロック抽出部
１２表示部
１３検索参照画像入力部
１４検索参照画像特徴ベクトル抽出部
１５検索部
１６検索装置制御部
２０画像部
２１要素画像部
２２ドロウイング部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a search element image extraction device, a search reference image input device, and a recording medium on which a program is recorded, and in particular, a search that enables a search using a representative element image cut out from a search target image. The present invention relates to an element image extraction device, a search reference image input device, and a recording medium on which a program is recorded.
[0002]
[Prior art]
Recently, a technique for performing an image search based on the similarity of the entire image, not the content of the subject of the image, has been studied.
In such an image search technique, various methods have been studied in which an image drawn by a user using an image drawing device is used as a search reference image reflecting the user's intention.
[0003]
For example, in Japanese Patent Laid-Open No. 2000-76270 (name of invention: “image search system and control method thereof, image search device and control method thereof, computer readable memory”), a drawing tool is used to search a user drawing area. A method is described in which an image resembling a target image is drawn and searched. The search is performed by a similar image search based on the image feature amount by dividing the image into N equal parts.
[0004]
In addition, Haruhiko Nishiyama et al., “Paint Retrieval System Using Image Composition”, Journal of Information Processing Society of Japan, Vol 37. The search sketch is created by specifying a color, inputting region information, inputting object information, and inputting feature information.
[0005]
In addition, Seiichi Sugaya et al., “Image Content Search Technology”, Image Lab, 199.6.P5-9, describes a sketch input method as one of search condition input methods. In this input method, a similar image is input using an image editor.
[0006]
[Problems to be solved by the invention]
However, the conventional method is suitable for searching by image features based on color and shading because the drawing device did not have a function of drawing a texture or the like reflecting the image features of the image to be searched. However, the image retrieval based on the image feature due to the complexity and distribution of the texture of the image could not be performed.
[0007]
The present invention has been made in view of the above problems, and by performing a search using a representative element image cut out from a search target image, an image feature (hereinafter, “ It is called “texture image feature.” It is intended to enable an image search using “” as a clue and to enable an accurate image search.
[0008]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention employs means for solving the problems having the following characteristics.
[0009]
The invention described in claim 1 is an image obtained by dividing a plurality of search target images into element images each having a predetermined size in a search element image extraction apparatus used in an image search apparatus that performs a search using a search reference image. A center vector is calculated for each element image based on a dividing unit, an image feature extracting unit that extracts an image feature of the element image divided by the image dividing unit, and an image feature extracted by the image feature extracting unit. And classifying the element image divided by the image dividing unit based on the calculated center vector of the element image, and for each class, select the element image closest to the class center vector as a representative element. An element image extraction device for search, characterized by comprising: main feature block extraction means for extracting as an image.
[0010]
The invention described in claim 2 is a representative image extracted by the search element image extraction device according to claim 1 in a search reference image input device used in an image search device that performs a search using a search reference image. A search reference image input device comprising: display means for displaying a simple element image; and drawing means for drawing a search reference image using the representative element image displayed by the display means. .
Extracted The invention described in claim 3, the computer, and an image dividing means for dividing a plurality of retrieval target image each into a predetermined size of the element image, the image feature of the divided element image by the image dividing means An image feature extracting means, and a center vector is calculated for each element image based on the image feature extracted by the image feature extracting means, and the image dividing means is calculated based on the calculated center vector of the element image. performs classification of the divided element image, further, for each class, for searching for a representative and the main feature block extracting means for extracting a component image of, and functionally closest element image center vector of the class This is a recording medium on which an element image extraction program is recorded.
[0011]
According to a fourth aspect of the present invention, there is provided a display means for displaying a representative element image extracted by the search element image extraction program according to the third aspect, and the display means displayed by the display means. using typical element image, a recording medium storing search reference image input program for functioning as a drawing means for drawing a retrieval reference image.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0013]
In the present invention, a search is performed using an image drawn by a user using an image drawing apparatus, and the method is shown in FIG.
[0014]
The method of FIG. 1 includes retrieval of target images (S10), feature block / feature vector extraction (S11), main feature block extraction (S12), search reference image input (S13), and search reference image feature vector extraction (S14). , Search (S15) and output (S16).
[0015]
Hereinafter, the details will be described with reference to other drawings.
[0016]
First, in step 10, a search target image I (I = 0, 1,..., N _D −1) is acquired from the database in which the search target images are stored.
[0017]
Next, in step 11, feature blocks and feature vectors of the acquired search target image are extracted. The feature block and feature vector extraction processing is performed according to the flow shown in FIG.
[0018]
In step 20 of FIG. 2, the obtained N _D search target images are divided into W × H grids Dx and Dy having a width W and a height H, as shown in FIG. This lattice (m, n) is a feature block (m, n).
[0019]
However, m = 0, 1,. . , Dx-1, n = 0, 1,. . , Dy-1
In this way, the feature blocks of all the search target images are acquired by dividing all the acquired search target images into W × H grids Dx and Dy of width W and height H.
[0020]
It is assumed that all acquired search target images are normalized to the same size (width W × Dx, height H × Dy).
[0021]
Each feature block has T feature vectors and Nc vector elements, which will be described later, as shown in FIG.
[0022]
Next, in step 21 in FIG. 2, image features are obtained.
[0023]
From each feature block (I, m, n), T image features f ₀ (I, m, n), f ₁ () that will well represent the texture image features (complexity, distribution, sharpness, etc.) of that block. I, m, n),. . , F _T (I, m, n) is obtained.
[0024]
F (I, m, n) = (f ₀ (I, m, n), f ₁ (I, m, n),..., F _T (I, m, n)) is a feature of this feature block. Let it be a vector.
[0025]
Note that the fractal vector used in Japanese Patent Laid-Open No. 2000-76270 is an example of an image feature.
[0026]
Returning now to FIG. After extracting the feature block and the feature vector of the acquired search target image in step 11, the main feature block is extracted in step 12. Details of the extraction of the main feature block will be described with reference to FIG.
[0027]
First, a category group Co [k] having an empty element is prepared (S30). However, k = 0, 1,. . , N _D × Dx × Dy−1.
[0028]
Next, F (I, m, n) is put into the category Co [I × m × n] (S31). However, I = 0, 1,. . , N _D -1, m = 0, 1,. . , Dx-1, n = 0, 1,. . , Dy-1.
[0029]
The number of categories Cn at this time is
Cn = _{N D} × Dx × Dy
It is.
[0030]
Next, the center vector Vc [k] is obtained for each category (S32). However, k = 0, 1,. . , Cn-1.
[0031]
At the present time, each block has T feature vectors and Nc vectors as elements.
[0032]
That is, Co [k] is
F ₀ [k] = (f ₀₀ [k], f ₀₁ [k],..., F _0T [k]), F ₁ [k] = (f ₁₀ [k], f ₁₁ [k],. , F _1T [k]),. . . , F _NC [k] = (f _NC0 [k], f _NC1 [k],..., F _NCT [k]) as elements.
[0033]
Next, a center vector Vc [k] is calculated for each feature block using the following equation.
[0034]
[Expression 1]

Next, for all categories, the square distance d (k, k ′) of the center vectors Vc [k] of the two categories selected arbitrarily is obtained. However, k = 0, 1,. . , Cn−1, k ′ = 0, 1,. . , Cn−1, k ≠ k ′.
[0035]
Next, the elements are classified as follows (S33).
(1) All the elements of Co [k] Co [k ′] such that d (k, k ′) <Dth always belong to the same class.
(2) All the elements of Co [k] Co [k ′] such that d (k, k ′)> Dth belong to different classes.
(3) All Co [k] elements belong to any class without duplication.
(4) Elements that currently belong to the same category are not divided into different classes.
[0036]
A new class group Cn [p] that satisfies the above four conditions is created. However, p = 0, 1,. . , Cnn (Cnn ≦ Cn)
For example, as shown in FIG. 5, the classes 210 include

categories

110, 120, 130, 140, 150.
[0038]
Each category has Nc vectors (elements).
[0039]
For simplicity of explanation, the categories are illustrated so as not to overlap, but in reality, the elements of each category are complicated.
[0040]
Next, a new class group Ct [p] is created with only N _T classes in descending order of the number of elements in the class Cn [p] (S34).
[0041]
Further, Vtc [p] is obtained for the center vector of the class (S35). However, p = 0, 1,. . , N _T -1.
[0042]
Next, for each Ct [p] (p = 0, 1,..., N _T −1), an element (Fc [k]) having the smallest square distance from the class center vector Vtc [p] is obtained. (S36).
[0043]
For example, FIG. 6 is a partially enlarged view of FIG.

Reference numerals

112, 132 to 136, and 152 to 154 denote elements. Since 211 is the center vector Vtc [p] of this class, the element Fc [k] having the smallest square distance from the class center vector Vtc [p] is the element 135. This element 135 is a representative element of the class 130.
[0044]
Next, for each Fc [k], the feature block T [k] from which it is extracted is cut out as an image from the search target database.
[0045]
For example, in the case of Fc [k] εF (a, b, c), the (b, c) lattice of the image whose file number is a is cut out.
[0046]
In FIG. 6, the feature block of Fc [k] is an element of the feature block 130 before classification. Therefore, the feature block 130 is cut out from the search target image database.
[0047]
In this way, for N _T classes, an element Fc [k] having the smallest square distance from the center vector Vtc [p] of each class is obtained, and a feature block T [k] from which the extraction is performed is searched. Extract as an image from the target database.
[0048]
Then, T of the _{N T} key feature block [0], T [1] ,. . , T [Nt] are extracted (S37).
[0049]
Returning now to FIG. After the main feature block is extracted in step 12, the search reference image is input using the main feature block in step 13.
[0050]
In step 14, a feature vector of the input search reference image is extracted.
[0051]
Next, in step 15, the search target image database is searched using the feature vector of the search reference image as a search condition, and the searched image is output (S16).
[0052]
In this manner, the search target image database can be searched with high accuracy using the representative element images cut out from the search target images.
[0053]
FIG. 7 shows an example of a search device. The search device 1 is connected to the search target image database 2 and can perform a search.
[0054]
7, the search device 1 includes a feature block / feature vector extraction unit 10, a main feature block extraction unit 11, a display unit 12, a search reference image input unit 13, a search reference image feature vector extraction unit 14, a search unit 15, and a search. The apparatus control unit 16 is configured.
[0055]
The feature block / feature vector extraction unit 10 extracts feature blocks and feature vectors of a database in which search target images are stored. The feature block / feature vector extraction unit 10 performs the processing flow of FIG.
[0056]
The main feature block extraction unit 11 extracts a main feature block cut out from the search target image based on the feature block and the feature vector of the search target image. The main feature block extraction unit 11 performs the processing flow of FIG.
[0057]
The display unit 12 performs necessary display in the search process in the processing flow shown in FIG.
[0058]
For example, a control screen for searching, a search condition input screen, a search result screen, and the like are displayed.
[0059]
The search reference image input unit 13 inputs a search condition on the search condition input screen. The search condition is performed using a search reference image, and the search reference image is created using main feature blocks (representative element images) cut out from the search target image.
[0060]
FIG. 8 shows a search condition input screen.
[0061]
Reference numeral 20 denotes an image portion. The size of the drawing area of the image unit 20 is the same size (width W × Dx, height H × Dy) as the image of the search target database. In this image unit 20, the area is divided by dotted lines in the same manner as the search target image is divided into W × H feature blocks.
[0062]
Reference numeral 21 denotes an element image portion. The element image portion 21 includes representative element images T [0], T [1],. . , T [Nt] are displayed. This representative element image T [0], T [1],. . , T [Nt] are displayed as buttons with images. Therefore, when the button T [k] is clicked with the mouse and then a certain area of the image portion 20 is clicked, the image T [k] is buried in that area.
[0063]
Reference numeral 22 denotes a drawing unit. The drawing unit 22 has the same function as an existing drawing tool. The drawing unit 22 performs processing such as writing or painting a circle or a polygon by designating a color or shade level.
[0064]
The search reference image feature vector extraction unit 14 in FIG. 2 extracts the feature vector of the search reference image input by the search reference image input unit 13.
[0065]
The image of the image unit 20 drawn using the element image unit 21 and the drawing unit 22 is divided by W × H (dotted line). This divided area (m, n) is a feature block (m, n). However, m = 0, 1,. . , Dx-1, n = 0, 1,. . , Dy-1.
[0066]
The search reference image feature vector extraction unit 14 calculates the image feature vector F = (f ₀ (m, n), f ₁ (m) for each feature block (m, n) as in step 21 of FIG. , N), ..., f _T (m, n)).
[0067]
Next, Dx × Dy × T-dimensional vector F = (F (0, 0), F (1, 0),..., F (Dx−1, Dy−1)) is output.
[0068]
The search unit 15 searches the search target image database using the search reference image feature vector extracted by the search reference image feature vector extraction unit 14.
[0069]
The search device control unit 16 controls the entire search device 1 so that a function as a search device is performed including an application relating to a CPU (Central Processing Unit) and image search.
[0070]
The search apparatus 1 is representative of an image dividing unit that operates a computer to divide a plurality of search target images into element images each having a predetermined size, and an element image divided by the image dividing unit. You may provide the recording medium which recorded the program for functioning the selection means which selects an element image.
[0071]
Similarly, the search device 1 operates a computer to display a representative element image, which is an element image of a predetermined size cut out from the search target image, and the display means. You may provide the recording medium which recorded the program for functioning the drawing means which draws a search reference image using the said representative element image displayed.
[0072]
In FIG. 7, the search device 1 also includes a feature block / feature vector extraction unit 10, a main feature block extraction unit 11, a display unit 12, a search reference image input unit 13, a search reference image feature vector extraction unit 14, a search It has been described that it is composed of the unit 15 and the search device control unit 16.
[0073]
However, the search device 1 in FIG. 7 may be an independent device.
[0074]
For example, the search element includes an image dividing unit that divides a plurality of search target images into element images each having a predetermined size, and a selection unit that selects a representative element image from the element images divided by the image dividing unit. It is good also as an independent apparatus structure like an image extraction apparatus.
[0075]
Further, a search is performed using an element image having a predetermined size cut out from the search target image, the display unit displaying a representative element image, and the representative element image displayed by the display unit. An independent device configuration such as a search reference image input device may be used for the drawing means for drawing the reference image.
[0076]
Further, the search device may be integrated or configured by combining a search element image extraction device, a search reference image input device, and the like.
[0077]
Further, the search device may be directly connected to the search target image database or may be connected via a communication line.
[0078]
In the above description, an example in which the square distance d (k, k ′) of the center vectors Vc [k] of two categories selected arbitrarily is obtained for all categories has been described. Not only the riding distance but other distances may be used.
[0079]
In the above embodiment, an example in which classification is performed once has been described. However, classification may be performed a plurality of times.
[0080]
【The invention's effect】
By drawing using a representative element image such as a texture having a high appearance frequency in the search target image, an image search reflected in the user's intention can be performed with high accuracy.
[0081]
[Brief description of the drawings]
FIG. 1 is a processing flow of a search according to the present invention.
FIG. 2 is a processing flow diagram of feature block and feature vector extraction.
FIG. 3 is a diagram for explaining division of a search target image.
FIG. 4 is a processing flow of extraction of main feature blocks.
FIG. 5 is a diagram for explaining classification.
6 is a partially enlarged view of FIG. 5;
FIG. 7 is a diagram for explaining a search device according to the present invention.
FIG. 8 is a diagram for explaining a search condition input screen;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Feature block and feature vector extraction part 11 Main feature block extraction part 12 Display part 13 Search reference image input part 14 Search reference image feature vector extraction part 15 Search part 16 Search apparatus control part 20 Image part 21 Element image part 22 Drawing part

Claims

検索参照画像により検索が行われる画像検索装置に用いられる検索用要素画像抽出装置において、
複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、
前記画像分割手段により分割された要素画像の画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段で抽出された画像特徴に基づいて、要素画像毎に、中心ベクトルを算出し、算出された要素画像の中心ベクトルに基づいて、前記画像分割手段により分割された要素画像のクラス分けを行い、更に、クラス毎に、クラスの中心ベクトルに最も近い要素画像を代表的な要素画像として抽出する主要特徴ブロック抽出手段と、
とを有することを特徴とする検索用要素画像抽出装置。 In a search element image extraction device used in an image search device in which a search is performed using a search reference image,
Image dividing means for dividing a plurality of search target images into element images each having a predetermined size;
Image feature extraction means for extracting image features of the element image divided by the image dividing means ;
Based on the image feature extracted by the image feature extraction means, a center vector is calculated for each element image, and based on the calculated center vector of the element image, the class of element images divided by the image dividing means A main feature block extracting means for extracting, as a representative element image, an element image closest to the center vector of the class for each class ;
And a search element image extracting apparatus.

検索参照画像により検索が行われる画像検索装置に用いられる検索参照画像入力装置において、
請求項１に記載された検索用要素画像抽出装置によって抽出された代表的な要素画像を表示する表示手段と、
前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段とを有することを特徴とする検索参照画像入力装置。 In a search reference image input device used for an image search device in which a search is performed using a search reference image,
Display means for displaying a representative element image extracted by the search element image extracting apparatus according to claim 1 ;
A retrieval reference image input device comprising: a rendering unit that renders a retrieval reference image using the representative element image displayed by the display unit.

コンピュータを、
複数の検索対象画像をそれぞれ所定の大きさの要素画像に分割する画像分割手段と、
前記画像分割手段により分割された要素画像の画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段で抽出された画像特徴に基づいて、要素画像毎に、中心ベクトルを算出し、算出された要素画像の中心ベクトルに基づいて、前記画像分割手段により分割された要素画像のクラス分けを行い、更に、クラス毎に、クラスの中心ベクトルに最も近い要素画像を代表的な要素画像として抽出する主要特徴ブロック抽出手段と、
として機能させるための検索用要素画像抽プログラムを記録した記録媒体。The computer,
Image dividing means for dividing a plurality of search target images into element images each having a predetermined size;
Image feature extraction means for extracting image features of the element image divided by the image dividing means ;
Based on the image feature extracted by the image feature extraction means, a center vector is calculated for each element image, and based on the calculated center vector of the element image, the class of element images divided by the image dividing means A main feature block extracting means for extracting, as a representative element image, an element image closest to the center vector of the class for each class ;
A recording medium recording the retrieval element image extraction program for functioning as a.

コンピュータを、
請求項３に記載された検索用要素画像抽プログラムによって抽出された代表的な要素画像を表示する表示手段と、
前記表示手段により表示された前記代表的な要素画像を用いて、検索参照画像を描画する描画手段として機能させるための検索参照画像入力プログラムを記録した記録媒体。The computer,
Display means for displaying a representative element image extracted by the search element image extraction program according to claim 3 ;
Wherein said displayed by the display means by using a representative element image, a recording medium recording a search reference image input program for functioning as a drawing means for drawing a retrieval reference image.