JP2002140331A - Extracting device for element image for retrieval, input device for retrieval reference image, and recording medium with program recorded thereon - Google Patents
Extracting device for element image for retrieval, input device for retrieval reference image, and recording medium with program recorded thereonInfo
- Publication number
- JP2002140331A JP2002140331A JP2000331327A JP2000331327A JP2002140331A JP 2002140331 A JP2002140331 A JP 2002140331A JP 2000331327 A JP2000331327 A JP 2000331327A JP 2000331327 A JP2000331327 A JP 2000331327A JP 2002140331 A JP2002140331 A JP 2002140331A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- retrieval
- images
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、検索用要素画像抽
出装置、検索参照画像入力装置及びプログラムを記録し
た記録媒体に係り、特に、検索対象画像から切り出した
代表的な要素画像を用いて検索することを可能とした検
索用要素画像抽出装置、検索参照画像入力装置及びプロ
グラムを記録した記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a retrieval element image extraction apparatus, a retrieval reference image input apparatus, and a recording medium on which a program is recorded, and more particularly to a retrieval using a typical element image cut out from a retrieval target image. The present invention relates to a retrieval element image extraction device, a retrieval reference image input device, and a recording medium on which a program is recorded.
【０００２】[0002]
【従来の技術】最近、画像の被写体の内容でなく画像全
体の類似性に基づいて画像検索を行う技術が研究されて
いる。そのような画像検索技術において、ユーザが画像
描画装置を用いて描画した画像をユーザの意図に反映し
た検索参照画像とする様々な手法が研究されている。2. Description of the Related Art Recently, a technique for searching an image based on the similarity of the entire image, not the content of the subject in the image, has been studied. In such an image search technique, various techniques have been studied in which an image drawn by a user using an image drawing apparatus is used as a search reference image reflecting the intention of the user.
【０００３】例えば、特開平２０００−７６２７０号公
報（発明の名称：「画像検索システム及びその制御方
法、画像検索装置及びその制御方法、コンピュータ可読
メモリ」）には、描画ツールを用いて、ユーザ描画領域
に検索対象の画像に似せた画像を描画して検索を行う方
法が記載されている。なお、その検索は、画像をＮ等分
して、それぞれの画像特徴量に基づいて、類似画像検索
により行われる。For example, Japanese Patent Application Laid-Open No. 2000-76270 (Title of Invention: "Image Retrieval System and its Control Method, Image Retrieval Apparatus and its Control Method, Computer-readable Memory") describes a user drawing using a drawing tool. It describes a method of performing a search by drawing an image similar to an image to be searched in an area. In addition, the search is performed by similar image search based on each image feature amount by dividing an image into N equal parts.
【０００４】また、西山晴彦 他「画像の構図を用いた
絵画検索システム」、情報処理学会論文誌、Vol３７.No
１.Ｐ１０１（１９９６）には、略画を用いて検索する
方法が記載されている。なお、検索用の略画は、色の指
定、領域情報の入力、オブジェクト情報の入力及び特徴
情報の入力により作成される。[0004] Haruhiko Nishiyama et al. "Picture Retrieval System Using Image Composition", Transactions of Information Processing Society of Japan, Vol.
1. P101 (1996) describes a search method using sketches. Note that the search sketch is created by specifying a color, inputting area information, inputting object information, and inputting feature information.
【０００５】また、紺谷精一 他「画像の内容検索技
術」、画像ラボ、199.6.Ｐ5-9には、検索条件の入力方
法の一つとして、スケッチによる入力方法が記載されて
いる。この入力方法においては、画像エデタを用いて似
た画像を入力するようにされている。In addition, Seiichi Konya et al., "Image Content Retrieval Technology", Image Lab, 199.6, page 5-9, describes an input method using a sketch as one of input methods of search conditions. In this input method, a similar image is input using an image editor.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、従来の
手法のものは、描画装置が検索対象の画像の画像特徴を
反映したテクスチャ等を描画する機能を有していなかっ
たため、色や濃淡に基づいた画像特徴による検索には適
しているが、画像のテクスチャ等の複雑性や分布等によ
る画像特徴を手がかりとした画像検索ができなかった。However, according to the conventional method, the drawing apparatus does not have a function of drawing a texture or the like reflecting the image feature of the image to be searched, and therefore, the method based on the color and the shading is not used. Although suitable for retrieval by image features, image retrieval based on image features based on complexity or distribution of image textures and the like could not be performed.
【０００７】本発明は、前記問題に鑑みなされたもので
あり、検索対象画像から切り出した代表的な要素画像を
用いて検索することにより、画像のテクスチャ等の複雑
性や分布等による画像特徴（以下、「テクスチャ画像特
徴」という。 ）を手がかりとした画像検索を可能とし、
精度の良い画像検索を可能とすることを目的とするもの
である。SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and has been made in consideration of an image feature (e.g., image texture and other complexity and distribution) by performing a search using a representative element image cut out from an image to be searched. Hereinafter, it is referred to as "texture image feature.")
An object of the present invention is to enable accurate image retrieval.
【０００８】[0008]
【課題を解決するための手段】前記課題を解決するため
に、本件発明は、以下の特徴を有する課題を解決するた
めの手段を採用している。In order to solve the above-mentioned problems, the present invention employs means for solving the problems having the following features.
【０００９】請求項１に記載された発明は、複数の検索
対象画像をそれぞれ所定の大きさの要素画像に分割する
画像分割手段と、前記画像分割手段により分割された要
素画像から代表的な要素画像を選択する選択手段とを有
することを特徴とする検索用要素画像抽出装置である。According to a first aspect of the present invention, there is provided an image dividing means for dividing a plurality of search target images into element images each having a predetermined size; And a selecting means for selecting an image.
【００１０】請求項２に記載された発明は、検索対象画
像から切り出された所定の大きさの要素画像であって、
代表的な要素画像を表示する表示手段と、前記表示手段
により表示された前記代表的な要素画像を用いて、検索
参照画像を描画する描画手段とを有することを特徴とす
る検索参照画像入力装置である。請求項３に記載された
発明は、コンピュータを動作させて、複数の検索対象画
像をそれぞれ所定の大きさの要素画像に分割する画像分
割手段と、前記画像分割手段により分割された要素画像
から代表的な要素画像を選択する選択手段とを機能させ
るためのプログラムを記録した記録媒体である。According to a second aspect of the present invention, there is provided an element image of a predetermined size cut out from a search target image,
A search reference image input device, comprising: display means for displaying a representative element image; and drawing means for drawing a search reference image using the representative element image displayed by the display means. It is. According to a third aspect of the present invention, a computer is operated to divide a plurality of search target images into element images each having a predetermined size. The recording medium stores a program for causing a selection unit that selects a typical element image to function.
【００１１】請求項４に記載された発明は、コンピュー
タを動作させて、検索対象画像から切り出された所定の
大きさの要素画像であって、代表的な要素画像を表示す
る表示手段と、前記表示手段により表示された前記代表
的な要素画像を用いて、検索参照画像を描画する描画手
段とを機能させるためのプログラムを記録した記録媒体
である。According to a fourth aspect of the present invention, there is provided a display means for displaying a representative element image which is a predetermined size of an element image cut out from a search target image by operating a computer. It is a recording medium that stores a program for causing a drawing unit that draws a search reference image to function using the representative element image displayed by a display unit.
【００１２】[0012]
【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。Next, embodiments of the present invention will be described with reference to the drawings.
【００１３】本発明は、ユーザが画像描画装置を用いて
描画した画像を用いて検索するものであり、図１にその
方法を示す。According to the present invention, a search is performed using an image drawn by a user using an image drawing apparatus. FIG.
【００１４】図１の方法は、検索対象画像の取得（Ｓ１
０）、特徴ブロック・特徴ベクトル抽出（Ｓ１１）、主
要特徴ブロック抽出（Ｓ１２）、検索参照画像入力（Ｓ
１３）、検索参照画像特徴ベクトル抽出（Ｓ１４）、検
索（Ｓ１５）及び出力（Ｓ１６）の手順から構成されて
いる。The method of FIG. 1 obtains an image to be searched (S1).
0), feature block / feature vector extraction (S11), main feature block extraction (S12), search reference image input (S11)
13), retrieval reference image feature vector extraction (S14), retrieval (S15), and output (S16).
【００１５】以下、他の図を参照しながら、その詳細を
説明する。Hereinafter, the details will be described with reference to other drawings.
【００１６】先ず、ステップ１０で検索対象画像が蓄積
されているデータベースから、検索対象画像Ｉ（Ｉ＝
０、１、、．．、ＮＤ−１）を取得する。First, at step 10, a search target image I (I =
0, 1,. . , N D -1).
【００１７】次いで、ステップ１１で、取得した検索対
象画像の特徴ブロックと特徴ベクトルを抽出する。この
特徴ブロックと特徴ベクトルの抽出処理は、図２に示さ
れているフローにより行われる。Next, in step 11, a feature block and a feature vector of the obtained search target image are extracted. This feature block and feature vector extraction process is performed according to the flow shown in FIG.
【００１８】図２のステップ２０で、図３（Ａ）に示す
ように、取得したＮＤ枚の検索対象画像を幅Ｗ、高さＨ
のＷ×Ｈの格子Ｄｘ個とＤｙ個に分割する。この格子
（ｍ、ｎ）が特徴ブロック（ｍ、ｎ）である。[0018] In step 20 of FIG. 2, as shown in FIG. 3 (A), the obtained N D sheets of the search target image width W, height H
Are divided into Dx and Dy lattices of W × H. This grid (m, n) is a feature block (m, n).
【００１９】但し、ｍ＝０、１、、．．、Ｄｘ−１、ｎ
＝０、１、、．．、Ｄｙ−１このように、取得した全て
の検索対象画像を幅Ｗ、高さＨのＷ×Ｈの格子Ｄｘ個と
Ｄｙ個に分割することにより、全ての検索対象画像の特
徴ブロックを取得する。However, m = 0, 1,. . , Dx-1, n
= 0, 1,. . , Dy-1 In this manner, by dividing all of the obtained search target images into WxH grids Dx and Dy of width W and height H, feature blocks of all the search target images are obtained. .
【００２０】なお、取得した検索対象画像は全て同じ大
きさ（幅Ｗ×Ｄｘ、高さＨ×Ｄｙ）に正規化されている
ものとする。It is assumed that all the retrieved images to be searched have been normalized to the same size (width W × Dx, height H × Dy).
【００２１】また、各特徴ブロックは、図３（Ｂ）に示
すように、後述するＴ個の特徴ベクトル、Ｎｃ個のベク
トル要素を有している。As shown in FIG. 3B, each feature block has T feature vectors and Nc vector elements to be described later.
【００２２】次いで、図２のステップ２１で、画像特徴
を求める。Next, in step 21 of FIG. 2, image features are obtained.
【００２３】各特徴ブロック（Ｉ、ｍ、ｎ）からそのブ
ロックのテクスチャ画像特徴（複雑性、分布、鋭さ等）
を良く表すであろうＴ個の画像特徴ｆ０（Ｉ、ｍ、
ｎ）、ｆ １（Ｉ、ｍ、ｎ）、．．、ｆＴ（Ｉ、ｍ、ｎ）
を求める。From each feature block (I, m, n),
Rock texture image features (complexity, distribution, sharpness, etc.)
T image features f that will better represent0(I, m,
n), f 1(I, m, n),. . , FT(I, m, n)
Ask for.
【００２４】このＦ（Ｉ、ｍ、ｎ）＝（ｆ０（Ｉ、ｍ、
ｎ）、ｆ１（Ｉ、ｍ、ｎ）、．．、ｆＴ（Ｉ、ｍ、
ｎ））をこの特徴ブロックの特徴ベクトルとする。This F (I, m, n) = (f 0 (I, m,
n), f 1 (I, m, n),. . , F T (I, m,
Let n)) be the feature vector of this feature block.
【００２５】なお、特開平２０００−７６２７０号公報
に用いられているフラクタルベクトルは、画像特徴の一
つの例である。The fractal vector used in Japanese Patent Application Laid-Open No. 2000-76270 is an example of an image feature.
【００２６】ここで、図１に戻る。ステップ１１で、取
得した検索対象画像の特徴ブロックと特徴ベクトルを抽
出した後で、ステップ１２で、主要特徴ブロックの抽出
を行う。この主要特徴ブロックの抽出の詳細を、図４を
用いて説明する。Here, returning to FIG. After extracting the feature blocks and the feature vectors of the obtained search target image in step 11, the main feature blocks are extracted in step 12. Details of the extraction of the main feature block will be described with reference to FIG.
【００２７】先ず、要素が空きのカテゴリ群Ｃo［ｋ］
を準備する（Ｓ３０）。但し、ｋ＝０、１、、．．、Ｎ
Ｄ×Ｄｘ×Ｄｙ−１である。First, an empty category group Co [k]
Is prepared (S30). However, k = 0, 1,. . , N
D x Dx x Dy-1.
【００２８】次いで、カテゴリＣo［Ｉ×ｍ×ｎ］にＦ
（Ｉ、ｍ、ｎ）を入れる（Ｓ３１）。但し、Ｉ＝０、
１、、．．、ＮＤ−１、ｍ＝０、１、、．．、Ｄｘ−
１、ｎ＝０、１、、．．、Ｄｙ−１である。Next, F is added to the category Co [I × m × n].
(I, m, n) is entered (S31). Where I = 0,
1,. . , N D -1, m = 0,1 ,,. . , Dx-
1, n = 0, 1,. . , Dy-1.
【００２９】このときのカテゴリ数Ｃnは、 Ｃn＝ＮＤ×Ｄｘ×Ｄｙ である。[0029] The number of categories Cn of this time is Cn = N D × Dx × Dy .
【００３０】次いで、各カテゴリについて、中心ベクト
ルＶｃ［ｋ］を求める（Ｓ３２）。但し、ｋ＝０、
１、、．．、Ｃn−１である。Next, a center vector Vc [k] is obtained for each category (S32). Where k = 0,
1,. . , Cn-1.
【００３１】また、現時点で、各ブロックは、Ｔ個の特
徴ベクトルを有し、Ｎｃ個のベクトルを要素として持つ
ものとする。At the moment, each block has T feature vectors and Nc vectors as elements.
【００３２】つまり、Ｃo［ｋ］は、Ｆ０［ｋ］＝（ｆ
００［ｋ］、ｆ０１［ｋ］、．．、ｆ０Ｔ［ｋ］）、Ｆ
1［ｋ］＝（ｆ１０［ｋ］、ｆ１１［ｋ］、．．、ｆ
１Ｔ［ｋ］）、．．．、ＦＮＣ［ｋ］＝（ｆ
ＮＣ０［ｋ］、ｆＮＣ１［ｋ］、．．、ｆ
ＮＣＴ［ｋ］）のＮｃ個のベクトルを要素として持つ。That is, Co [k] is F 0 [k] = (f
00 [k], f 01 [k],. . , F 0T [k]), F
1 [k] = (f 10 [k], f 11 [k],.
1T [k]),. . . , F NC [k] = (f
NC0 [k], f NC1 [k],. . , F
NCT [k]) as elements.
【００３３】次いで、各特徴ブロック毎に、中心ベクト
ルＶｃ［ｋ］を次の式を用いて算出する。Next, a center vector Vc [k] is calculated for each feature block using the following equation.
【００３４】[0034]
【数１】 次に、全てのカテゴリについて、任意に選んだ二つのカ
テゴリの中心ベクトルＶｃ［ｋ］の２乗距離ｄ（ｋ、
ｋ’）を求める。但し、ｋ＝０、１、、．．、Ｃn−
１、ｋ’＝０、１、、．．、Ｃn−１、ｋ≠ｋ’であ
る。(Equation 1) Next, for all the categories, the square distance d (k, k) of the center vectors Vc [k] of the two categories arbitrarily selected.
k '). However, k = 0, 1,. . , Cn-
1, k ′ = 0, 1,. . , Cn−1, k ≠ k ′.
【００３５】次いで、次のように、要素のクラス分けを
行う（Ｓ３３）。 （１）ｄ（ｋ、ｋ’）＜Ｄthであるような全てのＣo
［ｋ］Ｃo［ｋ’］の要素が必ず同じクラスに属する。 （２）ｄ（ｋ、ｋ’）＞Ｄthであるような全てのＣo
［ｋ］Ｃo［ｋ’］の要素はどれもお互いに異なるクラ
スに属する。 （３）全てのＣo［ｋ］の要素は、重複なくどれかのク
ラスに属する。 （４）現在同じカテゴリに属する要素同士が異なるクラ
スに分割されることはない。Next, element classification is performed as follows (S33). (1) All Cos such that d (k, k ') <Dth
Elements of [k] Co [k '] always belong to the same class. (2) All Cos such that d (k, k ')> Dth
All elements of [k] Co [k '] belong to different classes. (3) All elements of Co [k] belong to any class without duplication. (4) Elements belonging to the same category at present are not divided into different classes.
【００３６】以上の４つの条件を満たす新しいクラス群
Ｃn［ｐ］を作る。但し、ｐ＝０、１、、．．、Ｃnn
（Ｃnn≦Ｃn） 例えば、図５に示すように、２１０のクラスには、クラ
ス分け前のカテゴリ１１０、１２０、１３０、１４０、
１５０が含まれる。なお、１１１、１２１、１３１、１
４１、１５１は、各カテゴリの中心ベクトルを示してい
る。また、２１１は、後述するクラスの中心ベクトルを
示している。A new class group Cn [p] satisfying the above four conditions is created. However, p = 0, 1,. . , Cnn
(Cnn ≦ Cn) For example, as shown in FIG. 5, the classes 210 include categories 110, 120, 130, 140,
150 are included. Note that 111, 121, 131, 1
Reference numerals 41 and 151 indicate the center vector of each category. Reference numeral 211 denotes a center vector of a class described later.
【００３７】なお、クラスを考えるときは、カテゴリ１
１０、１２０、１３０、１４０、１５０の意識はない。When considering a class, a category 1
There is no awareness of 10, 120, 130, 140, 150.
【００３８】また、各カテゴリには、Ｎc個のベクトル
（要素）を有する。Each category has Nc vectors (elements).
【００３９】また、説明を簡単にするために、各カテゴ
リは重複しないように図示されているが、実際には各カ
テゴリの要素は複雑に入り組んでいる。For simplicity of explanation, each category is shown so as not to overlap, but in reality, the elements of each category are complicated.
【００４０】次いで、クラスＣn［ｐ］の内、要素数の
多い順にＮＴ個のクラスのみで新しいクラス群Ｃt
［ｐ］を作る（Ｓ３４）。Next, of the classes Cn [p], a new class group Ct is composed of only NT classes in descending order of the number of elements.
[P] is created (S34).
【００４１】また、そのクラスの中心ベクトルをＶtc
［ｐ］を求める（Ｓ３５）。但し、ｐ＝０、
１、、．．、ＮＴ−１である。The center vector of the class is Vtc
[P] is obtained (S35). Where p = 0,
1,. . , N T −1.
【００４２】次いで、各Ｃt［ｐ］（ｐ＝０、
１、、．．、ＮＴ−１）について、クラスの中心ベクト
ルＶtc［ｐ］との２乗距離が最も小さい要素（Ｆc
［ｋ］）を求める（Ｓ３６）。Next, each Ct [p] (p = 0,
1,. . , NT- 1), the element (Fc) having the smallest square distance from the center vector Vtc [p] of the class.
[K]) is obtained (S36).
【００４３】例えば、図６は、図５の部分拡大図であ
る。１１２、１３２〜１３６、１５２〜１５４は、要素
を示している。２１１が、このクラスの中心ベクトルＶ
tc［ｐ］であるので、クラスの中心ベクトルＶtc［ｐ］
との２乗距離が最も小さい要素Ｆc［ｋ］は、要素１３
５である。この要素１３５は、クラス１３０の代表的な
要素である。For example, FIG. 6 is a partially enlarged view of FIG. Reference numerals 112, 132 to 136, 152 to 154 indicate elements. 211 is the center vector V of this class
Since tc [p], the center vector of the class Vtc [p]
The element Fc [k] having the smallest square distance with the element 13
5 This element 135 is a representative element of the class 130.
【００４４】次いで、各Ｆc［ｋ］について、その抽出
元となる特徴ブロックＴ［ｋ］を検索対象データベース
から画像として切り出す。Next, for each Fc [k], a feature block T [k] from which the Fc [k] is extracted is cut out from the search target database as an image.
【００４５】例えば、Ｆc［ｋ］∈Ｆ（a,b,c）の場合
は、ファイルの番号がａの画像の（b,c）格子を切り出
す。For example, if Fc [k] ∈F (a, b, c), the (b, c) grid of the image with the file number a is cut out.
【００４６】図６では、Ｆc［ｋ］の特徴ブロックは、
クラス分け前の特徴ブロック１３０の要素である。従っ
て、特徴ブロック１３０を、検索対象画像データベース
から切り出す。In FIG. 6, the feature block of Fc [k] is:
This is an element of the feature block 130 before classification. Therefore, the feature block 130 is cut out from the search target image database.
【００４７】このように、ＮＴ個のクラスについて、そ
れぞれのクラスの中心ベクトルＶtc［ｐ］との２乗距離
が最も小さい要素Ｆc［ｋ］を求め、その抽出元となる
特徴ブロックＴ［ｋ］を検索対象データベースから画像
として切り出す。As described above, for the NT classes, the element Fc [k] having the smallest square distance from the center vector Vtc [p] of each class is obtained, and the feature block T [k] from which the element is extracted is obtained. ] Is cut out from the search target database as an image.
【００４８】そうして、ＮＴ個の主要特徴ブロックのＴ
［０］、Ｔ［１］、．．、Ｔ［Ｎt］を抽出する（Ｓ３
７）。[0048] Then, of the N T of the main features block T
[0], T [1],. . , T [Nt] (S3
7).
【００４９】ここで、図１に戻る。ステップ１２で、主
要特徴ブロックを抽出した後、ステップ１３で、この主
要特徴ブロックを利用して、検索参照画像の入力を行
う。Here, returning to FIG. After extracting a main feature block in step 12, a search reference image is input using this main feature block in step 13.
【００５０】ステップ１４では、入力された検索参照画
像の特徴ベクトルを抽出する。In step 14, the feature vector of the input search reference image is extracted.
【００５１】次いで、ステップ１５で、検索参照画像の
特徴ベクトルを検索条件として、検索対象画像データベ
ースの検索を行い、その検索した画像を出力する（Ｓ１
６）。Next, in step 15, the search target image database is searched using the feature vector of the search reference image as a search condition, and the searched image is output (S1).
6).
【００５２】このようにして、検索対象画像から切り出
した代表的な要素画像を用いて、検索対象画像データベ
ースの検索を、精度良く行うことができる。In this way, the search of the search target image database can be performed with high accuracy using the representative element images cut out from the search target image.
【００５３】図７に検索装置の例を示す。検索装置１
は、検索対象画像データベース２に接続されて、検索を
行うことができる。FIG. 7 shows an example of the search device. Search device 1
Is connected to the search target image database 2 and can perform a search.
【００５４】図７では、検索装置１は、特徴ブロック・
特徴ベクトル抽出部１０、主要特徴ブロック抽出部１
１、表示部１２、検索参照画像入力部１３、検索参照画
像特徴ベクトル抽出部１４、検索部１５及び検索装置制
御部１６から構成されている。In FIG. 7, the search device 1 includes a feature block
Feature vector extraction unit 10, main feature block extraction unit 1
1, a display unit 12, a search reference image input unit 13, a search reference image feature vector extraction unit 14, a search unit 15, and a search device control unit 16.
【００５５】特徴ブロック・特徴ベクトル抽出部１０
は、検索対象画像が蓄積されているデータベースの特徴
ブロックと特徴ベクトルを抽出する。特徴ブロック・特
徴ベクトル抽出部１０で、図２の処理フローの処理を行
う。Feature block / feature vector extraction unit 10
Extracts feature blocks and feature vectors of a database in which search target images are stored. The feature block / feature vector extraction unit 10 performs the processing of the processing flow of FIG.
【００５６】主要特徴ブロック抽出部１１は、検索対象
画像の特徴ブロックと特徴ベクトルに基づいて、検索対
象画像から切り出した主要な特徴ブロックの抽出を行
う。主要特徴ブロック抽出部１１で、図４の処理フロー
の処理を行う。The main feature block extraction unit 11 extracts a main feature block cut out from the search target image based on the feature block and the feature vector of the search target image. The main feature block extraction unit 11 performs the processing of the processing flow of FIG.
【００５７】表示部１２は、図１に示すような処理フロ
ーにおいて、検索処理における必要な表示を行う。The display unit 12 performs necessary display in the search processing in the processing flow as shown in FIG.
【００５８】例えば、検索を行うための制御画面、検索
条件の入力画面、検索の結果画面等の表示を行う。For example, a control screen for performing a search, a search condition input screen, a search result screen, and the like are displayed.
【００５９】検索参照画像入力部１３は、検索条件の入
力画面に検索条件を入力する。検索条件は、検索参照画
像で行い、この検索参照画像は、検索対象画像から切り
出した主要な特徴ブロック（代表的な要素画像）を用い
て作成する。The search reference image input unit 13 inputs a search condition on a search condition input screen. The search condition is performed using a search reference image, and the search reference image is created using main feature blocks (representative element images) cut out from the search target image.
【００６０】図８に検索条件の入力画面を示す。FIG. 8 shows a search condition input screen.
【００６１】２０は、画像部である。この画像部２０の
描画領域の大きさは、検索対象データベースの画像と同
じ大きさ（幅Ｗ×Ｄｘ、高さＨ×Ｄｙ）である。この画
像部２０は、検索対象画像をＷ×Ｈの特徴ブロックに分
割したと同じように、点線で領域が分割されている。Reference numeral 20 denotes an image section. The size of the drawing area of the image section 20 is the same size (width W × Dx, height H × Dy) as the image of the search target database. The image section 20 is divided into regions by dotted lines in the same manner as when the search target image is divided into W × H feature blocks.
【００６２】２１は、要素画像部であり、要素画像部２
１には、検索対象画像から切り出した代表的な要素画像
Ｔ［０］、Ｔ［１］、．．、Ｔ［Ｎt］が表示されてい
る。この代表的な要素画像Ｔ［０］、Ｔ［１］、．．、
Ｔ［Ｎt］は、画像付きボタンとして表示されている。
そこで、ボタンＴ［ｋ］をマウスでクリックし、次に、
画像部２０のある領域をクリックすると、その領域に画
像Ｔ［ｋ］が埋まるようになっている。Reference numeral 21 denotes an element image part, and the element image part 2
1, representative element images T [0], T [1],. . , T [Nt] are displayed. These representative element images T [0], T [1],. . ,
T [Nt] is displayed as a button with an image.
Then, click the button T [k] with the mouse, and then
When a certain area of the image section 20 is clicked, the image T [k] is buried in that area.
【００６３】２２は、ドロウイング部である。ドロウイ
ング部２２は、既存のドロウイングツールと同じ機能を
有する。このドロウイング部２２により、色又は濃淡レ
ベルを指定して円や多角形を書いたり、塗りつぶす等の
処理を行う。Reference numeral 22 denotes a drawing unit. The drawing unit 22 has the same function as an existing drawing tool. The drawing unit 22 performs processing such as writing a circle or a polygon by specifying a color or a light and shade level, and filling the circle or the polygon.
【００６４】図２の検索参照画像特徴ベクトル抽出部１
４は、検索参照画像入力部１３により入力された検索参
照画像の特徴ベクトルの抽出を行う。The retrieval reference image feature vector extraction unit 1 shown in FIG.
Reference numeral 4 extracts a feature vector of the search reference image input by the search reference image input unit 13.
【００６５】要素画像部２１及びドロウイング部２２を
用いて描画した画像部２０の画像を、Ｗ×Ｈ（点線）で
分割する。この分割領域（ｍ、ｎ）が特徴ブロック
（ｍ、ｎ）である。但し、ｍ＝０、１、、．．、Ｄｘ−
１、ｎ＝０、１、、．．、Ｄｙ−１である。The image of the image section 20 drawn using the element image section 21 and the drawing section 22 is divided by W × H (dotted line). The divided area (m, n) is a feature block (m, n). Here, m = 0, 1,. . , Dx-
1, n = 0, 1,. . , Dy-1.
【００６６】検索参照画像特徴ベクトル抽出部１４は、
各特徴ブロック（ｍ、ｎ）について、図２のステップ２
１で求めたと同じように、画像特徴ベクトルＦ＝（ｆ０
（ｍ、ｎ）、ｆ１（ｍ、ｎ）、．．、ｆＴ（ｍ、ｎ））
を計算する。The search reference image feature vector extraction unit 14
Step 2 in FIG. 2 for each feature block (m, n)
1, the image feature vector F = (f 0
(M, n), f 1 (m, n),. . , F T (m, n))
Is calculated.
【００６７】次いで、Ｄｘ×Ｄｙ×Ｔ次元ベクトルＦ＝
（Ｆ（０、０）、Ｆ（１、０）、．．、Ｆ（Ｄｘ−１、
Ｄｙ−１））を出力する。Next, a Dx × Dy × T-dimensional vector F =
(F (0,0), F (1,0), ..., F (Dx-1,
Dy-1)) is output.
【００６８】検索部１５は、検索参照画像特徴ベクトル
抽出部１４で抽出された検索参照画像特徴ベクトルを用
いて、検索対象画像データベースを検索する。The search unit 15 searches the search target image database using the search reference image feature vector extracted by the search reference image feature vector extraction unit 14.
【００６９】検索装置制御部１６は、ＣＰＵ（Central
Ｐrocessing Ｕnit ：中央処理装置）、画像検索に係る
アプリケーションを含み検索装置としての機能が果たさ
れるように、検索装置１全体を制御する。The search device control section 16 has a CPU (Central
(Processing Unit: central processing unit), and controls the entire search apparatus 1 so as to perform functions as a search apparatus including an application related to image search.
【００７０】また、検索装置１には、コンピュータを動
作させて、複数の検索対象画像をそれぞれ所定の大きさ
の要素画像に分割する画像分割手段と、前記画像分割手
段により分割された要素画像から代表的な要素画像を選
択する選択手段とを機能させるためのプログラムを記録
した記録媒体を備えてもよい。The search device 1 operates a computer to divide a plurality of search target images into element images each having a predetermined size. A recording medium for recording a program for causing the selecting means for selecting a representative element image to function may be provided.
【００７１】同じく、また、検索装置１には、コンピュ
ータを動作させて、検索対象画像から切り出された所定
の大きさの要素画像であって、代表的な要素画像を表示
する表示手段と、前記表示手段により表示された前記代
表的な要素画像を用いて、検索参照画像を描画する描画
手段とを機能させるためのプログラムを記録した記録媒
体を備えてもよい。Similarly, display means for operating the computer to display a representative element image of a predetermined size, which is cut out from the image to be searched, and The image processing apparatus may further include a recording medium that stores a program for causing a drawing unit that draws a search reference image to function using the representative element image displayed by the display unit.
【００７２】また、図７において、また、検索装置１
は、特徴ブロック・特徴ベクトル抽出部１０、主要特徴
ブロック抽出部１１、表示部１２、検索参照画像入力部
１３、検索参照画像特徴ベクトル抽出部１４、検索部１
５及び検索装置制御部１６から構成されていると説明し
た。In FIG. 7, the search device 1
Are a feature block / feature vector extraction unit 10, a main feature block extraction unit 11, a display unit 12, a search reference image input unit 13, a search reference image feature vector extraction unit 14, and a search unit 1.
5 and the search device control unit 16.
【００７３】しかしながら、図７における検索装置１の
部分を独立した装置としてもよい。However, the search device 1 in FIG. 7 may be an independent device.
【００７４】例えば、複数の検索対象画像をそれぞれ所
定の大きさの要素画像に分割する画像分割手段と、前記
画像分割手段により分割された要素画像から代表的な要
素画像を選択する選択手段とで検索用要素画像抽出装置
のような独立した装置構成としてもよい。For example, image dividing means for dividing a plurality of search target images into element images of a predetermined size, and selecting means for selecting a representative element image from the element images divided by the image dividing means. An independent device configuration such as a retrieval element image extraction device may be used.
【００７５】また、検索対象画像から切り出された所定
の大きさの要素画像であって、代表的な要素画像を表示
する表示手段と、前記表示手段により表示された前記代
表的な要素画像を用いて、検索参照画像を描画する描画
手段とで検索参照画像入力装置のような独立した装置構
成としてもよい。Further, a display means for displaying a representative element image, which is a predetermined size of an element image cut out from the search target image, and the representative element image displayed by the display means are used. In addition, an independent device configuration such as a search reference image input device may be used with the drawing unit that draws the search reference image.
【００７６】また、検索装置は、一体でも、検索用要素
画像抽出装置、検索参照画像入力装置等を組み合わせて
構成するようにしてもよい。Further, the search device may be configured integrally or by combining a search element image extraction device, a search reference image input device and the like.
【００７７】また、検索装置は、直接検索対象画像デー
タベースに接続されていても、通信回線で接続されてい
てもよい。Further, the search device may be directly connected to the search target image database or may be connected via a communication line.
【００７８】なお、上記説明では、全てのカテゴリにつ
いて、任意に選んだ二つのカテゴリの中心ベクトルＶｃ
［ｋ］の２乗距離ｄ（ｋ、ｋ’）を求めた例について説
明したが、本件発明は、２乗距離に限らず、他の距離を
用いてもよい。In the above description, the center vectors Vc of the two categories arbitrarily selected for all the categories are described.
Although the example in which the square distance d (k, k ′) of [k] is obtained has been described, the present invention is not limited to the square distance, and another distance may be used.
【００７９】また、上記実施の形態では、クラス分けを
１回行う例について説明したが、クラス分けを複数回行
うようにしてもよい。Further, in the above embodiment, an example in which the classification is performed once has been described. However, the classification may be performed a plurality of times.
【００８０】[0080]
【発明の効果】検索対象画像中に出現頻度の高いテクス
チャ等の代表的な要素画像を用いて、描画することで、
ユーザの意図に反映した画像検索を良精度で行うことが
できる。By using a representative element image such as a texture that appears frequently in a search target image, drawing is performed.
Image search reflected in the intention of the user can be performed with high accuracy.
【００８１】[0081]
【図１】本発明の検索の処理フローである。FIG. 1 is a processing flow of a search according to the present invention.
【図２】特徴ブロックと特徴ベクトルの抽出の処理フロ
ー図である。FIG. 2 is a processing flowchart of extracting a feature block and a feature vector.
【図３】検索対象画像の分割を説明するための図であ
る。FIG. 3 is a diagram for explaining division of a search target image.
【図４】主要特徴ブロックの抽出の処理フローである。FIG. 4 is a processing flow of extracting a main feature block.
【図５】クラス分けを説明するための図である。FIG. 5 is a diagram for explaining classification.
【図６】図５の部分拡大図である。FIG. 6 is a partially enlarged view of FIG. 5;
【図７】本発明の検索装置を説明するための図である。FIG. 7 is a diagram illustrating a search device according to the present invention.
【図８】検索条件の入力画面を説明するための図であ
る。FIG. 8 is a diagram for explaining a search condition input screen.
１０ 特徴ブロック・特徴ベクトル抽出部 １１ 主要特徴ブロック抽出部 １２ 表示部 １３ 検索参照画像入力部 １４ 検索参照画像特徴ベクトル抽出部 １５ 検索部 １６ 検索装置制御部 ２０ 画像部 ２１ 要素画像部 ２２ ドロウイング部 10 Feature Block / Feature Vector Extraction Unit 11 Main Feature Block Extraction Unit 12 Display Unit 13 Search Reference Image Input Unit 14 Search Reference Image Feature Vector Extraction Unit 15 Search Unit 16 Search Device Control Unit 20 Image Unit 21 Element Image Unit 22 Drawing Unit
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 EA03 EA04 EA18 FA02 FA09 GA08 5B075 ND06 NK06 NK31 NK46 NR12 PP03 PP13 PP23 PQ02 QM05 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5B050 EA03 EA04 EA18 FA02 FA09 GA08 5B075 ND06 NK06 NK31 NK46 NR12 PP03 PP13 PP23 PQ02 QM05
Claims (4)
きさの要素画像に分割する画像分割手段と、 前記画像分割手段により分割された要素画像から代表的
な要素画像を選択する選択手段とを有することを特徴と
する検索用要素画像抽出装置。1. An image dividing unit that divides a plurality of search target images into element images each having a predetermined size, and a selecting unit that selects a representative element image from the element images divided by the image dividing unit. A retrieval element image extraction device, comprising:
きさの要素画像であって、代表的な要素画像を表示する
表示手段と、 前記表示手段により表示された前記代表的な要素画像を
用いて、検索参照画像を描画する描画手段とを有するこ
とを特徴とする検索参照画像入力装置。2. A display means for displaying a representative element image, which is an element image of a predetermined size cut out from a search target image, and the representative element image displayed by the display means. And a drawing unit for drawing a search reference image.
に分割する画像分割手段と、 前記画像分割手段により分割された要素画像から代表的
な要素画像を選択する選択手段とを機能させるためのプ
ログラムを記録した記録媒体。3. An image dividing means for operating a computer to divide each of the plurality of search target images into element images of a predetermined size, and a representative element image from the element images divided by the image dividing means. A recording medium on which a program for causing a selecting means to function is recorded.
であって、代表的な要素画像を表示する表示手段と、 前記表示手段により表示された前記代表的な要素画像を
用いて、検索参照画像を描画する描画手段とを機能させ
るためのプログラムを記録した記録媒体。4. A display means for displaying a representative element image, which is an element image of a predetermined size cut out from a search target image by operating a computer, and said representative image displayed by said display means. A storage medium storing a program for causing a drawing unit to draw a search reference image using a typical element image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000331327A JP4331882B2 (en) | 2000-10-30 | 2000-10-30 | Element image extraction device for search, search reference image input device, and recording medium recording program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000331327A JP4331882B2 (en) | 2000-10-30 | 2000-10-30 | Element image extraction device for search, search reference image input device, and recording medium recording program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002140331A true JP2002140331A (en) | 2002-05-17 |
| JP4331882B2 JP4331882B2 (en) | 2009-09-16 |
Family
ID=18807687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000331327A Expired - Fee Related JP4331882B2 (en) | 2000-10-30 | 2000-10-30 | Element image extraction device for search, search reference image input device, and recording medium recording program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4331882B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2875628A1 (en) * | 2004-09-23 | 2006-03-24 | Canon Res Ct France S A S Soc | Digital image descriptor calculating method for Internet network, involves segmenting normalized brightness component of image into preset number of blocks, and storing coordinates of points of interest extracted for each block |
| JP2009193398A (en) * | 2008-02-15 | 2009-08-27 | Seiko Epson Corp | Image search device, image search method, and image search program |
| JP2010113569A (en) * | 2008-11-07 | 2010-05-20 | Yahoo Japan Corp | Image retrieval device, image retrieval method and program |
-
2000
- 2000-10-30 JP JP2000331327A patent/JP4331882B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2875628A1 (en) * | 2004-09-23 | 2006-03-24 | Canon Res Ct France S A S Soc | Digital image descriptor calculating method for Internet network, involves segmenting normalized brightness component of image into preset number of blocks, and storing coordinates of points of interest extracted for each block |
| JP2009193398A (en) * | 2008-02-15 | 2009-08-27 | Seiko Epson Corp | Image search device, image search method, and image search program |
| JP2010113569A (en) * | 2008-11-07 | 2010-05-20 | Yahoo Japan Corp | Image retrieval device, image retrieval method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4331882B2 (en) | 2009-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6628313B1 (en) | Information retrieval method and apparatus displaying together main information and predetermined number of sub-information related to main information | |
| JP4340367B2 (en) | Image classification apparatus and computer-readable recording medium storing a program for causing a computer to function as the apparatus | |
| US6012069A (en) | Method and apparatus for retrieving a desired image from an image database using keywords | |
| US7065521B2 (en) | Method for fuzzy logic rule based multimedia information retrival with text and perceptual features | |
| JP2001202523A (en) | Method and device for image processing | |
| US20020111939A1 (en) | Image data retrieval apparatus and method capable of facilitating retrieval of desired image data from image database | |
| JP3199976B2 (en) | Image database device | |
| JP2009134735A (en) | Image classification device, and computer-readable recording medium recording program for making computer function as image classification device | |
| JP2001125917A (en) | Method and device for retrieving image | |
| JP2001337994A (en) | Thumbnail display system and method and recording medium with processing program therefor recorded therein | |
| JPH11312248A (en) | Image retrieval device and its method | |
| JP4021025B2 (en) | Image search method, image search apparatus, and computer-readable recording medium storing image search program | |
| JP2001306579A (en) | Device and method for retrieving information and computer-readable recording medium recorded with program for computer to execute the same method | |
| JP4782610B2 (en) | Satellite image processing system | |
| US20070296737A1 (en) | Apparatus And Method For Displaying Image Data | |
| JP2002140331A (en) | Extracting device for element image for retrieval, input device for retrieval reference image, and recording medium with program recorded thereon | |
| KR101153534B1 (en) | Method and system for automatically tagging web data and local data | |
| JP2000076270A (en) | Picture retrieval system, its control method, picture retrieval device, its control method and computer readable memory | |
| US20040177067A1 (en) | Directory search method, directory search apparatus, program for implementing and operating the same, and memory medium | |
| JP2004240751A (en) | Picture retrieval device | |
| JPS6136868A (en) | Information retriever | |
| JPH05282380A (en) | Animation image retrieving method | |
| JP2006313497A (en) | Apparatus and method for retrieving image | |
| JPH06251081A (en) | Hypermedia processor | |
| JP4466174B2 (en) | SEARCH DEVICE, SEARCH METHOD, AND PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090619 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4331882 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140626 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |