JP6143462B2 - Image search device, image search method, search source image providing device, search source image providing method, and program - Google Patents
Image search device, image search method, search source image providing device, search source image providing method, and program Download PDFInfo
- Publication number
- JP6143462B2 JP6143462B2 JP2013001086A JP2013001086A JP6143462B2 JP 6143462 B2 JP6143462 B2 JP 6143462B2 JP 2013001086 A JP2013001086 A JP 2013001086A JP 2013001086 A JP2013001086 A JP 2013001086A JP 6143462 B2 JP6143462 B2 JP 6143462B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- search
- features
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は画像の特徴量の抽出技術、特に、類似画像の比較のために利用する局所特徴に係る技術に関するものである。 The present invention relates to an image feature extraction technique, and more particularly to a technique related to local features used for comparison of similar images.
画像の局所的な特徴量（局所特徴量）を用いて類似画像を検索する方法が提案されている。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する（非特許文献１）。次に、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴量（局所特徴量）を計算する（非特許文献２）。画像の検索は、局所特徴量同士のマッチングによって行う。 There has been proposed a method of searching for a similar image using a local feature amount (local feature amount) of an image. In this method, first, characteristic points (local feature points) are extracted from an image (Non-Patent Document 1). Next, a feature amount (local feature amount) corresponding to the local feature point is calculated based on the local feature point and surrounding image information (Non-Patent Document 2). Image retrieval is performed by matching local feature amounts.
局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、検索を可能にする。局所特徴量は一般的にベクトルとして表現される。ただし、局所特徴量が回転不変、拡大・縮小不変であることは理論上の話である。実際のデジタル画像においては、画像の回転や拡大・縮小処理を行う際に計算誤差が発生するため、これらの処理前の局所特徴量と処理後の対応する局所特徴量との間に若干の変動が生じる。 In the method using the local feature amount, the local feature amount is defined as information including a plurality of elements that are rotation invariant and enlargement / reduction invariant. Thereby, even when the image is rotated, enlarged or reduced, the search can be performed. The local feature amount is generally expressed as a vector. However, it is a theoretical story that the local feature quantity is rotation invariant and expansion / reduction invariant. In actual digital images, calculation errors occur when image rotation or enlargement / reduction processing is performed, so there is a slight variation between these local feature values before processing and the corresponding local feature values after processing. Occurs.
回転不変の局所特徴量抽出のために、たとえば非特許文献２では、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴量算出時に主方向を基準に局所領域を回転させて方向の正規化を行う。また、拡大・縮小不変の局所特徴量を算出するために、異なるスケールの画像を内部で生成し、各スケールの画像からそれぞれ局所特徴点の抽出と局所特徴量の算出を行う。ここで、内部で生成した一連の異なるスケールの画像集合は一般的にスケールスペースと呼ばれる。
In order to extract the rotation-invariant local feature value, for example, in Non-Patent
特許文献１では、画像データから特徴点を抽出するための画像特徴点抽出方法において、画像を変動させて複数枚の画像データを取得し、安定した特徴点に絞り込んでいる。また、特許文献２では、局所特徴点の再現性を評価し、再現性の高いものから記述し局所特徴量の個数を制御する。
In
局所特徴量を用いた画像検索では、１枚の画像から複数の局所特徴点を抽出し、それぞれの局所特徴点から算出した局所特徴量同士の比較を行うことによりマッチングを行う。クエリ画像から多くの局所特徴点が抽出されると、局所特徴量同士の比較回数が増大し検索速度が低下するため、局所特徴点の数は多くなり過ぎないことが望ましい。特に、多くの画像に共通して含まれている特徴量は他の画像との判別性能が低く、検索に非効率なため、そのような特徴量を持つ特徴点は含まれていないことが望ましい。 In an image search using local feature amounts, matching is performed by extracting a plurality of local feature points from one image and comparing the local feature amounts calculated from the respective local feature points. When many local feature points are extracted from the query image, the number of comparisons between local feature amounts increases and the search speed decreases, so it is desirable that the number of local feature points does not increase too much. In particular, feature values that are commonly included in many images have low discrimination performance from other images and are inefficient for search. Therefore, it is desirable that feature points having such feature values are not included. .
また、撮影機能と通信機能を備えた携帯電話、スマートフォン、デジタルカメラ等の携帯デバイスが増えており、それらの携帯デバイスで撮影した画像をクエリとし、ＰＣ／サーバで検索し、検索結果を携帯デバイスで表示するという用途も考えられてきている。その実現方法として、携帯デバイス内で局所特徴量を算出し、その局所特徴量をＰＣ／サーバに送信する方法がある。その場合、携帯デバイス内で算出された局所特徴量が多いと、ＰＣ／サーバへの送信に時間を要し、検索結果表示までの時間が長くかかることがあるため、局所特徴点の数は多くなり過ぎないことが望ましい。また、携帯デバイス、ＰＣ／サーバ、通信回線などの制限により、局所特徴量のサイズに上限がある場合もある。 In addition, mobile devices such as mobile phones, smartphones, and digital cameras equipped with a photographing function and a communication function are increasing. Images taken with these portable devices are used as queries, searched on a PC / server, and the search results are taken as portable devices. The use of displaying with is also considered. As an implementation method thereof, there is a method of calculating a local feature amount in a portable device and transmitting the local feature amount to a PC / server. In this case, if there are many local feature values calculated in the mobile device, it takes time to transmit to the PC / server, and it may take a long time to display the search results, so the number of local feature points is large. It is desirable not to become too much. In addition, there may be an upper limit on the size of the local feature amount due to restrictions on the mobile device, the PC / server, the communication line, and the like.
これらのことから、抽出された局所特徴点をすべて利用するのではなく、特許文献１や特許文献２のように、一部の局所特徴点のみを利用することが考えられている。しかしながら、これらの方法は、クエリ画像から抽出された局所特徴点の中から安定して抽出される局所特徴点を絞り込む方法である。例えば、そのような安定して抽出される局所特徴点から算出される局所特徴量が、様々な画像から高頻度で算出される局所特徴量である場合、その局所特徴量を用いて検索を行っても、他の画像との判別性能が低く、高い検索精度を得ることはできない。
For these reasons, it is considered that not all of the extracted local feature points are used, but only some of the local feature points are used as in
本発明は上記の課題に鑑みてなされたものであり、他の画像との判別性能が高く、検索に有意な局所特徴点および局所特徴量を得る技術を提供しようとするものである。 The present invention has been made in view of the above problems, and intends to provide a technique for obtaining local feature points and local feature quantities that are highly distinguishable from other images and that are significant for search.
本発明に係る画像検索装置は、画像を入力する入力手段と、前記画像の画像特徴を抽出する抽出手段と、前記画像と前記画像特徴とを関連付けて記憶する記憶手段と、（Ａ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、所定数以下の画像特徴を前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴として選別し、（Ｂ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、前記所定数よりも多い画像特徴を、前記使用を制限する画像特徴として選別する選別手段と、前記検索元画像の検索のために使用すると選別された画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴との比較を行う比較手段と、を有する。 The image search device according to the present invention includes an input unit for inputting an image, an extraction unit for extracting an image feature of the image, a storage unit for storing the image and the image feature in association with each other, (A) the storage The search source image in which the number of image features stored in the means or the number of images associated with the image features stored in the storage means is equal to or less than a predetermined number is input by the input means The image features extracted by the extraction means are selected as image features to be used for searching the search source image, and (B) the number of image features stored in the storage means or stored in the storage means. A selection means for selecting an image feature having a number of images associated with the image feature larger than the predetermined number as an image feature that restricts the use, and is used for searching the search source image. Then, a comparison unit that compares the selected image feature with the image feature of the registered image stored in the storage unit is provided.
本発明によれば、他の画像との判別性能が高く、検索に有意な局所特徴点および局所特徴量を得ることができる。 According to the present invention, it is possible to obtain local feature points and local feature amounts that are highly distinguishable from other images and that are significant for search.
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。第１の実施形態は、クエリ画像から画像特徴群を抽出し、その画像特徴群を使って検索を行い、検索結果を表示する画像検索システムの例である。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. The first embodiment is an example of an image search system that extracts an image feature group from a query image, performs a search using the image feature group, and displays a search result.
図１は、第１の実施形態における画像検索装置の機能構成例を示すブロック図である。図１に示す各構成における動作の詳細については、後述する。 FIG. 1 is a block diagram illustrating a functional configuration example of an image search apparatus according to the first embodiment. Details of the operation in each configuration shown in FIG. 1 will be described later.
図１において、画像入力部１０１は、登録画像およびクエリ画像（検索元画像）の入力を行う。画像特徴群抽出部１０２は、画像入力部１０１から入力された登録画像およびクエリ画像の画像特徴群を抽出する。多出現画像特徴リスト生成部１０３は、複数の登録画像から算出された画像特徴群の中から、それらの出現頻度が高く、判別性能が低いと考えられる画像特徴リストを生成する。画像特徴群選別部１０４は、クエリ画像の画像特徴群から、判別性能が高い画像特徴群を選別する。画像特徴群比較部１０５は、画像特徴群選別部１０４で選別されたクエリ画像の画像特徴群を用いて画像特徴群比較を行う。画像特徴群比較結果表示部１０６は、画像特徴群比較部１０５の画像特徴群比較結果を表示する。記憶部１０７は処理中のデータを記憶するメモリ・ＨＤＤ等である。
なお、これら各構成は、不図示のＣＰＵにより統括的に制御されている。
In FIG. 1, an
Each of these components is centrally controlled by a CPU (not shown).
尚、ＣＰＵはプログラムを実行することで各種の手段として機能することが可能である。なお、ＣＰＵと協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能してもよい。また、ＣＰＵと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵは単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵは分散して処理を実行することが可能である。また、複数のＣＰＵは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。 The CPU can function as various means by executing a program. Note that a control circuit such as an ASIC that operates in cooperation with the CPU may function as these means. These means may be realized by cooperation between the CPU and a control circuit that controls the operation of the image processing apparatus. Further, the CPU need not be a single one, and may be a plurality. In this case, a plurality of CPUs can perform processing in a distributed manner. The plurality of CPUs may be arranged in a single computer, or may be arranged in a plurality of physically different computers. Note that the means realized by the CPU executing the program may be realized by a dedicated circuit.
［画像登録処理］
図２は、第１の実施形態の画像検索装置における画像登録処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
[Image registration process]
FIG. 2 is a flowchart illustrating an example of an image registration processing procedure in the image search apparatus according to the first embodiment. The flowchart is realized when the CPU executes a control program.
まず、ステップＳ２０１において、画像入力部１０１を介して登録画像が入力される。入力された画像は、記憶部１０７に保存される。
First, in step S <b> 201, a registered image is input via the
次に、画像特徴群抽出部１０２において、ステップＳ２０２からステップＳ２０７の処理が行われる。まずステップＳ２０２で、入力された登録画像から輝度成分を抽出し、抽出した輝度成分に基づいて輝度成分画像を生成する。
Next, the image feature
次にステップＳ２０３で、輝度成分画像を倍率（縮小率）ｐに従って順次縮小することを繰り返し、オリジナルのサイズの画像から段階的に縮小した、オリジナルの画像を含めてｎ枚の縮小画像を生成する。ここで、倍率ｐ及び縮小画像の枚数ｎは予め決められているものとする。 Next, in step S203, it repeatedly repeats the reduction of the luminance component image in accordance with the magnification (reduction rate) p, and n reduced images including the original image, which are reduced stepwise from the original size image, are generated. . Here, it is assumed that the magnification p and the number n of reduced images are determined in advance.
図３は、縮小画像生成処理の一例を示す図である。図３に示す例は、倍率ｐが「２の−（１／４）乗」、縮小画像の枚数ｎが「９」の場合である。もちろん、倍率ｐは必ずしも「２の−（１／４）乗」で無くとも良い。図３において、符号３０１はステップＳ２０２で生成された輝度成分画像である。符号３０２は当該輝度成分画像３０１から倍率ｐに従って再帰的に４回の縮小処理を行って得られた縮小画像である。そして、符号３０３は当該輝度成分画像３０１から倍率ｐに従って８回縮小された縮小画像である。
FIG. 3 is a diagram illustrating an example of a reduced image generation process. The example shown in FIG. 3 is a case where the magnification p is “2 to the power of − (1/4)” and the number n of reduced images is “9”. Of course, the magnification p is not necessarily "2 to the power of-(1/4)". In FIG. 3,
この例では、縮小画像３０２は輝度成分画像３０１が１／２に縮小された画像となり、縮小画像３０３は輝度成分画像３０１が１／４に縮小された画像となる。尚、画像を縮小する方法は第１の実施形態では、線形補間による縮小方法により縮小画像を生成するものとする。画像の縮小をその他の方法で行っても良い。
In this example, the reduced
次に、ステップＳ２０４では、ｎ枚の縮小画像の各々に画像の回転があってもロバスト（ｒｏｂｕｓｔ）に抽出されるような局所的な特徴点（局所特徴点）を抽出する。この局所特徴点の抽出方法として、第１の実施形態ではＨａｒｒｉｓ作用素を用いる（非特許文献１：Ｃ．Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｊ． Ｓｔｅｐｈｅｎｓ， “Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ，” Ｉｎ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， ｐａｇｅｓ １４７−１５２， １９８８．参照）。 Next, in step S204, local feature points (local feature points) that are robustly extracted even if there is image rotation in each of the n reduced images are extracted. As a method for extracting local feature points, a Harris operator is used in the first embodiment (Non-patent Document 1: C. Harris and MJ Stephens, “A combined corner and edge detector,” In Alvery Vision Conference, pages. 147-152, 1988.).
具体的には、Ｈａｒｒｉｓ作用素を作用させて得られた出力画像Ｈ上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。ここで、当該画素が局所極大になったときでも、当該画素の値がしきい値以下の場合には局所特徴点として抽出しないようにする。 Specifically, with respect to the pixel on the output image H obtained by applying the Harris operator, the pixel values of the pixel and pixels in the vicinity of the pixel (eight pixels in total) (total nine pixels) are examined. Then, a point at which the pixel becomes a local maximum (a pixel value of the pixel becomes the maximum among the nine pixels) is extracted as a local feature point. Here, even when the pixel reaches a local maximum, it is not extracted as a local feature point if the value of the pixel is less than or equal to the threshold value.
尚、局所特徴点を抽出可能な方法であれば、上述のＨａｒｒｉｓ作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも適用可能である。 Note that any feature point extraction method is applicable as long as it is a method capable of extracting local feature points, not limited to the feature point extraction method using the Harris operator described above.
次に、ステップＳ２０５で、ステップＳ２０４で抽出された局所特徴点の各々について、画像の回転があっても不変となるように定義された特徴量（局所特徴量）を算出する。この局所特徴量の算出方法として、第１の実施形態ではＬｏｃａｌ Ｊｅｔ及びそれらの導関数の組み合わせを用いる（Ｊ．Ｊ．Ｋｏｅｎｄｅｒｉｎｋ ａｎｄ Ａ．Ｊ．ｖａｎ Ｄｏｏｒｎ， “Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｌｏｃａｌ ｇｅｏｍｅｔｒｙ ｉｎ ｔｈｅ ｖｉｓｕａｌ ｓｙｓｔｅｍ，” Ｒｉｏｌｏｇｉｃａｌ Ｃｙｂｅｒｎｅｔｉｃｓ， ｖｏｌ．５５， ｐｐ．３６７−３７５， １９８７．参照）。 Next, in step S205, for each of the local feature points extracted in step S204, a feature quantity (local feature quantity) defined so as to remain unchanged even when the image is rotated is calculated. As a method for calculating this local feature amount, the first embodiment uses a local jet and a combination of derivatives thereof (JJ Koenderink and AJ van Doorn, “Representation of local geometry in the visual system, "Riologic Cybernetics, vol. 55, pp. 367-375, 1987.).
具体的には、以下の式（１）により局所特徴量Ｖを算出する。 Specifically, the local feature amount V is calculated by the following equation (1).
ただし、式（１）の右辺で用いている記号は、以下に示す式（２）から式（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義された変数Ｌｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。 However, the symbols used on the right side of the equation (1) are defined by the following equations (2) to (7). Here, G (x, y) on the right side of Expression (2) is a Gaussian function, I (x, y) is a pixel value at image coordinates (x, y), and “*” is a symbol representing a convolution operation. is there. Equation (3) is a partial derivative of variable L defined by equation (2) with respect to x, and equation (4) is a partial derivative of variable L with respect to y. Equation (5) is the partial derivative of variable Lx defined in equation (3) with respect to y, equation (6) is the partial derivative of variable Lx defined in equation (3) with respect to x, and equation (7) is the equation. It is a partial derivative with respect to y of Ly defined in (4).
尚、局所特徴量を算出可能な方法であれば、上述したような特徴量算出方法に限らず、どのような特徴量算出方法でも適用可能である。 It should be noted that any feature amount calculation method is applicable as long as it is a method capable of calculating a local feature amount, not limited to the above-described feature amount calculation method.
次に、ステップＳ２０６で、ステップＳ２０５で算出された局所特徴量の各々について、量子化を行い、ラベル値を付与する。第１の実施形態で使用している局所特徴量、すなわち、Ｌｏｃａｌ Ｊｅｔおよびそれらの導関数の組み合わせにより、１つの局所特徴点からＮ次元の局所特徴量が算出される。ここでは、各次元について、Ｋ個に量子化を行う。ここで、ＮおよびＫはあらかじめ決められているものとする。 Next, in step S206, each local feature amount calculated in step S205 is quantized, and a label value is assigned. An N-dimensional local feature value is calculated from one local feature point by a combination of local feature values used in the first embodiment, that is, Local Jet and their derivatives. Here, K quantization is performed for each dimension. Here, N and K are assumed to be determined in advance.
具体的には以下の式（８）により、量子化を行う。 Specifically, quantization is performed by the following equation (8).
Ｑｎ＝（Ｖｎ＊Ｋ）／（Ｖｎｍａｘ−Ｖｎｍｉｎ＋１） ・・・（８）
ここで、Ｑｎは、Ｎ次元のうちのｎ番目の次元の特徴量Ｖｎを量子化した値である。ＶｎｍａｘとＶｎｍｉｎはそれぞれｎ番目の次元の特徴量の取りうる値の最大値、および、最小値である。
Qn = (Vn * K) / (Vnmax−Vnmin + 1) (8)
Here, Qn is a value obtained by quantizing the feature quantity Vn of the nth dimension among the N dimensions. Vnmax and Vnmin are the maximum value and the minimum value that can be taken by the feature quantity of the nth dimension, respectively.
各次元についての量子化を行った後、以下の式（９）により、ラベル化を行う。 After quantization for each dimension, labeling is performed by the following equation (9).
尚、量子化、ラベル化可能な算出方法であれば、上述したような算出方法に限らずに、どのような量子化、ラベル化方法でも適用可能である。 Note that any calculation method capable of quantization and labeling is not limited to the calculation method as described above, and any quantization and labeling method can be applied.
次に、ステップＳ２０７では、それらの特徴量、および、量子化ラベルを、画像特徴リストとしてまとめる。図４は、画像特徴リストの一例である。量子化ラベルをキーとしてリストを生成する。１つの量子化ラベルに複数の画像特徴リストが関連付けられることもある。 Next, in step S207, those feature amounts and quantization labels are collected as an image feature list. FIG. 4 is an example of an image feature list. A list is generated using the quantization label as a key. A plurality of image feature lists may be associated with one quantization label.
尚、第１の実施形態では、特徴量、および、量子化ラベルを、画像特徴リストとしてまとめているが、量子化ラベルのみを画像特徴リストとしてまとめることも可能である。また、特徴点の座標などのその他の情報を画像特徴リストに含めることも可能である。 In the first embodiment, the feature amounts and the quantization labels are collected as an image feature list. However, only the quantization labels can be collected as an image feature list. Also, other information such as the coordinates of feature points can be included in the image feature list.
最後に、ステップＳ２０８で、画像特徴リストを登録画像と関連付けて記憶部１０７に登録する。図５は、画像特徴リストが登録画像と関連付けて登録されたデータベースの一例である。量子化ラベルをキーとしてデータベースに登録する。また、登録画像には画像ＩＤを割り振り、そのＩＤをデータベースに登録する。同じ画像を複数回登録した場合、類似する画像を登録した場合など、１つの量子化ラベルに複数の画像ＩＤが関連付けられることもある。また、使用されない量子化ラベルが存在することもある。
Finally, in step S208, the image feature list is registered in the
［多出現画像特徴リスト生成処理］
図６は、画像検索装置の多出現画像特徴リスト生成部１０３における多出現画像特徴リスト生成処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。第１の実施形態では、各量子化ラベルに関連付けて登録されている画像数を用いて多出現画像特徴リストを生成する。
[Multi-appearance image feature list generation processing]
FIG. 6 is a flowchart illustrating an example of a multiple-occurrence image feature list generation processing procedure in the multiple-occurrence image feature
まず、ステップＳ６０１において、各量子化ラベルに関連付けて登録されている画像数を取得する。次に、ステップＳ６０２において、登録されている画像数の多い順に量子化ラベルをソートする。最後にステップＳ６０３において、登録されている画像が所定数以上の量子化ラベルのリストを多出現画像特徴リストとして生成する。図７は、多出現画像特徴リストの一例である。 First, in step S601, the number of images registered in association with each quantization label is acquired. Next, in step S602, the quantization labels are sorted in descending order of the number of registered images. Finally, in step S603, a list of quantization labels having a predetermined number or more of registered images is generated as a multiple appearance image feature list. FIG. 7 is an example of a multiple appearance image feature list.
ここで、所定数は、あらかじめ固定値で与えられてもよいし、登録されている総画像数に応じた割合などの可変値で与えられてもよい。登録されている総画像数に応じて可変値で与えられる場合は、総画像数に対する固定割合で可変値を決めてもよいし、総画像数に応じて可変割合で可変値を決めてもよい。また、総画像数がある上限に達するまでは、所定数は可変値とし、上限に達した場合は、所定数を固定値にするようにしてもよい。 Here, the predetermined number may be given as a fixed value in advance, or may be given as a variable value such as a ratio according to the total number of registered images. When given as a variable value according to the total number of registered images, the variable value may be determined at a fixed ratio with respect to the total number of images, or the variable value may be determined at a variable ratio according to the total number of images. . Further, the predetermined number may be a variable value until the total number of images reaches a certain upper limit, and when the upper limit is reached, the predetermined number may be a fixed value.
尚、第１の実施形態では、登録されている画像数で量子化ラベルをソートし、登録されている画像が所定数以上の量子化ラベルを用いて多出現画像特徴リストとした。その他、登録されている特徴点・特徴量数で量子化ラベルをソートし、登録されている特徴点・特徴量が所定数以上の量子化ラベルを用いて多出現画像特徴リストとしてもよい。その場合の所定数は、あらかじめ固定値で与えられてもよいし、特徴点・特徴量の総登録数に応じて可変値で与えられてもよい。特徴点・特徴量数の総登録数に応じて可変値で与えられる場合は、特徴点・特徴量の総登録数に対する固定割合で可変値を決めてもよいし、特徴点・特徴量の総登録数に応じて可変割合で可変値を決めてもよい。 多出現画像特徴リスト生成のタイミングとしては、画像登録処理直後に行ってもよいし、画像登録処理後に画像検索サーバがアイドル状態になったときに行うようにしてもよい。 In the first embodiment, the quantization labels are sorted by the number of registered images, and the registered image is used as a multiple appearance image feature list by using a predetermined number or more of quantization labels. In addition, the quantization labels may be sorted by the number of registered feature points / feature quantities, and the multiple appearance image feature list may be obtained using quantization labels having a predetermined number or more of registered feature points / feature quantities. The predetermined number in that case may be given as a fixed value in advance, or may be given as a variable value according to the total number of registered feature points / features. When given as a variable value according to the total number of registered feature points / feature quantities, the variable value may be determined at a fixed ratio with respect to the total number of registered feature points / feature quantities, or the total number of feature points / feature quantities The variable value may be determined at a variable ratio according to the number of registrations. The timing of generating the multiple appearance image feature list may be performed immediately after the image registration process or may be performed when the image search server is in an idle state after the image registration process.
［画像検索処理］
図８は、第１の実施形態の画像検索装置における画像検索処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
[Image search processing]
FIG. 8 is a flowchart illustrating an example of an image search processing procedure in the image search apparatus according to the first embodiment. The flowchart is realized when the CPU executes a control program.
まず、ステップＳ８０１において、画像入力部１０１を介してクエリ画像（検索元画像）が入力される。入力された画像は、記憶部１０７に保存される。
First, in step S <b> 801, a query image (search source image) is input via the
次に、画像特徴群抽出部１０２において、ステップＳ８０２からステップＳ８０７の処理が行われる。本処理は、画像登録処理におけるステップＳ２０２からステップＳ２０７の処理と同等であるため、詳細の説明は省略する。
Next, the image feature
次に、ステップＳ８０８において、抽出されたクエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合、ステップＳ８０９に進み、最大数以下の場合は、ステップＳ８１２に進む。 Next, in step S808, if the number of feature points of the extracted query image is larger than the maximum number of feature points that can be used at the time of search, the process proceeds to step S809, and if it is less than the maximum number, the process proceeds to step S812.
尚、第１の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、画像特徴リストを記憶部に格納する時のサイズ（バイト数等）が、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。 In the first embodiment, the determination is made based on whether or not the number of feature points of the query image is larger than the maximum number of feature points that can be used during the search. However, the size (number of bytes or the like) when the image feature list is stored in the storage unit may be determined based on whether or not the size is larger than the maximum size that can be used during the search.
ステップＳ８０９では、多出現画像特徴リストに載っている量子化ラベルと同じ量子化ラベルをクエリ画像の画像特徴リストから削除（除外）することにより、クエリ画像の特徴点数を削減する。多出現画像特徴リストに載っている量子化ラベルと同じ量子化ラベルをクエリ画像の画像特徴リストで識別できるようにし、画像特徴群比較部１０５の処理での使用を制限するようにしても良い。
In step S809, the number of feature points of the query image is reduced by deleting (excluding) the same quantization label as that in the multiple appearance image feature list from the image feature list of the query image. The same quantization label as that in the multiple appearance image feature list may be identified in the image feature list of the query image, and use in the processing of the image feature
ここで、図９は、ステップＳ８０９における多出現画像特徴群削減処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。 Here, FIG. 9 is a flowchart illustrating an example of the multiple-appearance image feature group reduction processing procedure in step S809. The flowchart is realized when the CPU executes a control program.
まず、ステップＳ９０１において、多出現画像特徴リストの１番目の量子化ラベルを処理対象量子化ラベルに設定する。ステップＳ６０２で説明したように、多出現画像特徴リストは、登録されている画像数、もしくは、登録されている特徴点・特徴量数の多い順にソートされている。したがって、多出現画像特徴リスト上位の特徴の方が、登録数が多い特徴であり、判別性能が低い特徴である。したがって、第１の実施形態では、多出現画像特徴リスト上位の特徴から順に、削減処理対象とする。 First, in step S901, the first quantization label in the multiple appearance image feature list is set as a processing target quantization label. As described in step S602, the multiple appearance image feature list is sorted in the order of the number of registered images or the number of registered feature points / feature quantities. Therefore, the features on the top of the multiple-appearance image feature list are features with a large number of registrations and features with low discrimination performance. Therefore, in the first embodiment, the reduction processing targets are sequentially selected from the features on the top of the multiple appearance image feature list.
次に、ステップＳ９０２において、処理対象量子化ラベルと一致する量子化ラベルがクエリ画像の画像特徴リストに存在する場合はステップＳ９０３に進み、存在しない場合はステップＳ９０５に進む。 Next, in step S902, if a quantization label that matches the processing target quantization label exists in the image feature list of the query image, the process proceeds to step S903, and if not, the process proceeds to step S905.
ステップＳ９０３では、処理対象量子化ラベルと一致する量子化ラベルをクエリ画像の画像特徴リストから削除する。多出現画像特徴リストに載っている量子化ラベルと同じ量子化ラベルをクエリ画像の画像特徴リストで識別できるようにし、画像特徴群比較部１０５の処理での使用を制限するようにしても良い。
In step S903, the quantization label that matches the processing target quantization label is deleted from the image feature list of the query image. The same quantization label as that in the multiple appearance image feature list may be identified in the image feature list of the query image, and use in the processing of the image feature
そして、ステップＳ９０４において、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合、ステップＳ９０５に進み、最大数以下になった場合は、多出現画像特徴群削減処理を終了する。 In step S904, if the number of feature points of the query image is larger than the maximum number of feature points that can be used during the search, the process proceeds to step S905. If the number of feature points is less than the maximum number, the multiple appearance image feature group reduction process is performed. finish.
尚、第１の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、ステップＳ８０８と同様に、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。 In the first embodiment, the determination is made based on whether or not the number of feature points of the query image is larger than the maximum number of feature points that can be used during the search. However, as in step S808, the determination may be made based on whether or not the size when the image feature list is stored in the storage unit is larger than the maximum size that can be used during the search.
ステップＳ９０５では、多出現画像特徴リストに未処理の量子化ラベルが存在する場合はステップＳ９０６に進み、存在しない場合は、多出現画像特徴群削減処理を終了する。 In step S905, if an unprocessed quantization label exists in the multiple-appearance image feature list, the process proceeds to step S906, and if not, the multiple-appearance image feature group reduction process ends.
ステップＳ９０６では、多出現画像特徴リストの次の量子化ラベルを処理対象量子化ラベルに設定し、ステップＳ９０２に戻る。 In step S906, the next quantization label in the multiple appearance image feature list is set as the processing target quantization label, and the process returns to step S902.
第１の実施形態では、抽出されたクエリ画像の特徴点数が検索時に使用可能な特徴点の最大数よりも多い場合にのみ、多出現画像特徴群削減処理を行っているが、この場合分け処理を省略し、常に多出現画像特徴群削減処理を行うようにしてもよい。また、ステップＳ９０４において、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合にのみ、多出現画像特徴群削減処理を継続している。しかし、この場合分け処理を省略し、多出現画像特徴リストに載っている特徴群はすべて削除するようにしてもよい。第１の実施形態では、多出現画像特徴リストはステップＳ６０２で説明したように、登録されている画像数、もしくは、登録されている特徴点・特徴量数でソートされている。しかし、多出現画像特徴リストに載っている特徴群はすべて削除するようにした場合は、ソートされている必要はないため、ステップＳ６０２の処理は省略可能である。 In the first embodiment, the multiple appearance image feature group reduction process is performed only when the number of feature points of the extracted query image is larger than the maximum number of feature points that can be used at the time of search. May be omitted, and the multiple appearance image feature group reduction process may always be performed. In step S904, the multiple appearance image feature group reduction process is continued only when the number of feature points of the query image is larger than the maximum number of feature points that can be used during the search. However, in this case, the division process may be omitted, and all the feature groups included in the multiple appearance image feature list may be deleted. In the first embodiment, as described in step S602, the multiple appearance image feature list is sorted by the number of registered images or the number of registered feature points / feature quantities. However, if all the feature groups on the multiple appearance image feature list are to be deleted, the processing in step S602 can be omitted because they need not be sorted.
ステップＳ８０９の多出現画像特徴群削減処理終了後、ステップＳ８１０において、抽出されたクエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合、ステップＳ８１１に進み、最大数以下の場合は、ステップＳ８１２に進む。
When the number of feature points of the extracted query image is larger than the maximum number of feature points that can be used in the search in step S810 after the multi-appearance image feature group reduction process in step S809, the process proceeds to step S811, where the maximum number is less than the maximum number. In this case, the process proceeds to step S812.
尚、第１の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、ステップＳ８０８と同様に、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。 In the first embodiment, the determination is made based on whether or not the number of feature points of the query image is larger than the maximum number of feature points that can be used during the search. However, as in step S808, the determination may be made based on whether or not the size when the image feature list is stored in the storage unit is larger than the maximum size that can be used during the search.
ステップＳ８１１では、クエリ画像の特徴量の安定性を評価し、安定度の低い特徴量をクエリ画像の画像特徴リストから削除することにより、クエリ画像の特徴点数を削減する。クエリ画像の特徴量の安定性を利用した特徴点数の削減方法については、特許文献２による方法を用いることで可能となる。
In step S811, the stability of the feature amount of the query image is evaluated, and the feature amount of the query image is reduced by deleting the feature amount having low stability from the image feature list of the query image. As a method for reducing the number of feature points using the stability of the feature amount of the query image, it is possible to use the method according to
すなわち、解析対象の画像を回転或いは縮小する等の画像処理を行う事による、特徴点の位置および特徴量の特徴間距離を求め、これを安定性の指標とする。特徴点の位置の変動が大きいと明らかに特徴量は変化してしまうため、まず、特徴点の位置が定められた閾値範囲内に収まる特徴点に絞る。そして、回転或いは縮小する等の画像処理の前後での特徴量の変化、即ち特徴量間距離を安定性の指標とする。そして、距離の大きな特徴点ほど安定性の低いものと見なし、これを距離の降順でソートし、特徴点数が、検索時に使用可能な特徴点数の最大数以下になるまで、安定度の低い特徴量をクエリ画像の画像特徴リストから削除する。 That is, the position of the feature point and the distance between the features of the feature amount are obtained by performing image processing such as rotating or reducing the image to be analyzed, and this is used as a stability index. If the variation of the position of the feature point is large, the feature amount obviously changes. Therefore, first, the feature point is narrowed down to a feature point that falls within the predetermined threshold range. Then, a change in feature quantity before and after image processing such as rotation or reduction, that is, a distance between feature quantities is used as an index of stability. The feature points with larger distances are considered to be less stable, sorted in descending order of distance, and feature amounts with low stability until the number of feature points falls below the maximum number of feature points that can be used during search. Is deleted from the image feature list of the query image.
ステップＳ８１２では、画像特徴群比較処理を行う。図１０は、ステップＳ８１２における画像特徴群比較処理の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。 In step S812, image feature group comparison processing is performed. FIG. 10 is a flowchart illustrating an example of the image feature group comparison processing in step S812. The flowchart is realized when the CPU executes a control program.
まず、ステップＳ１００１において、登録画像数分の投票箱を用意し、０でリセットする。次に、ステップＳ１００２において、クエリ画像特徴リストの１番目の量子化ラベルを処理対象量子化ラベルに設定する。 First, in step S1001, ballot boxes for the number of registered images are prepared and reset at 0. Next, in step S1002, the first quantization label in the query image feature list is set as a processing target quantization label.
次に、ステップＳ１００３において、処理対象量子化ラベルと関連付けて登録されている画像ＩＤがある場合はステップＳ１００４に進み、存在しない場合はステップＳ１００５に進む。 ステップＳ１００４では、処理対象量子化ラベルと関連付けて登録されている画像ＩＤの投票箱に１票投票する。 In step S1003, if there is an image ID registered in association with the processing target quantization label, the process proceeds to step S1004, and if not, the process proceeds to step S1005. In step S1004, one vote is cast in the ballot box of the image ID registered in association with the processing target quantization label.
ステップＳ１００５では、クエリ画像特徴リストに未処理の量子化ラベルが存在する場合はステップＳ１００６に進み、存在しない場合は、ステップＳ１００７に進む。 In step S1005, if an unprocessed quantization label exists in the query image feature list, the process proceeds to step S1006, and if not, the process proceeds to step S1007.
ステップＳ１００６では、クエリ画像特徴リストの次の量子化ラベルを処理対象量子化ラベルに設定し、ステップＳ１００３に戻る。 In step S1006, the next quantization label in the query image feature list is set as the processing target quantization label, and the process returns to step S1003.
次に、ステップＳ１００７で投票数の多い順に投票結果をソートし、ステップＳ１００８で投票数の多い方から所定数の画像ＩＤのリストを画像特徴群比較結果リストとして出力する。 In step S1007, the voting results are sorted in descending order of the number of votes. In step S1008, a list of a predetermined number of image IDs from the largest number of votes is output as an image feature group comparison result list.
第１の実施形態では、登録されている量子化ラベルとクエリ画像の量子化ラベルを比較することにより画像特徴群比較を行っている。しかしながら、これに限定されるものではなく、画像特徴量自身の比較、画像特徴点の座標の比較等により、画像特徴群比較を行ってもよい。 In the first embodiment, the image feature group comparison is performed by comparing the registered quantization label and the quantization label of the query image. However, the present invention is not limited to this, and image feature group comparison may be performed by comparing image feature quantities themselves, comparing image feature point coordinates, or the like.
最後にステップＳ８１３で画像特徴群比較結果を表示する。画像特徴群比較結果の表示にあたっては、画像ＩＤと対応する画像を合わせて表示する。 Finally, in step S813, the image feature group comparison result is displayed. In displaying the image feature group comparison result, the image corresponding to the image ID is displayed together.
尚、判別性能の高い局所特徴量と回転・拡縮に強い安定した局所特徴量とどちらを優先して検索に使用すべきかは、検索対象画像によって異なる。 It should be noted that which one of the local feature quantity having high discrimination performance and the stable local feature quantity resistant to rotation / expansion and which should be used for the search differs depending on the search target image.
例えば、空・木々・地面などの背景や模様だけの画像を検索対象画像は、判別性能の高い局所特徴量を優先して検索に使用するには不向きである。ほとんどの画像特徴は判別性能が低く、それぞれの画像特徴の判別性能に大きな差は無いと考えられるからである。 For example, an image having only a background or a pattern such as the sky, trees, or ground is not suitable for use in a search by giving priority to a local feature amount having high discrimination performance. This is because most image features have low discrimination performance, and it is considered that there is no significant difference in discrimination performance of each image feature.
それとは別に、一般的な被写体と背景からなる画像を検索対象画像は、判別性能の高い局所特徴量を優先して検索に使用するのに向いている。判別性能の低い画像特徴が適切に除外されると、主に被写体から抽出された判別性能の高い画像特徴が検索に使用されるからである。 Apart from that, the search target image is an image composed of a general subject and a background, and is suitable for use in a search by giving priority to a local feature amount having high discrimination performance. This is because when image features with low discrimination performance are appropriately excluded, image features with high discrimination performance extracted mainly from the subject are used for the search.
そこで、検索対象画像により、ステップＳ８０９とステップＳ８１１との順番を変えて、まず不安定な局所特徴量を除き、それでも最大数を超える場合には、判別性能の低い局所特徴量を除くようにしてもよい。 Therefore, by changing the order of step S809 and step S811 depending on the search target image, first, the unstable local feature amount is excluded, and if the maximum number is still exceeded, the local feature amount having low discrimination performance is excluded. Also good.
検索対象画像によらず、画像特徴の数を適切な数にしたり、判別性能の高い局所特徴量と回転・拡縮に強い安定した局所特徴量との優先順を変えたときの検索結果を比べたりするために、ステップＳ８０９とステップＳ８１１との順番を変えても良い。 Regardless of the search target image, set the number of image features to an appropriate number, or compare the search results when changing the priority order of local features with high discrimination performance and stable local features that are resistant to rotation and scaling Therefore, the order of step S809 and step S811 may be changed.
以上のように第１の実施形態では、クエリ画像から抽出した画像特徴群から判別性能の低い画像特徴群を除外することにより選別し、選別した画像特徴群を使って検索を行うようにした。これにより、検索時に使用可能な特徴点の数に制限がある場合であっても、検索精度の劣化を少なく抑えた検索を行うことができる。 As described above, in the first embodiment, an image feature group with low discrimination performance is excluded from the image feature group extracted from the query image, and a search is performed using the selected image feature group. Thereby, even when there is a limit to the number of feature points that can be used at the time of search, it is possible to perform a search with reduced deterioration in search accuracy.
（第２の実施形態）
以下、本発明の第２の実施形態について、図面を参照しながら説明する。第２の実施形態は、画像検索クライアント（画像検索端末）で撮影することによりクエリ画像（検索元画像）を生成して画像特徴群を抽出する。その画像特徴群を画像検索サーバに送って画像検索サーバ内で検索を行い、画像検索クライアントに検索結果を表示する画像検索システムの例である。画像検索クライアントは、検索元画像を提供する検索元画像提供装置である。画像検索サーバへの画像登録処理は、第１の実施形態と同様の方式により行う。
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings. In the second embodiment, an image feature group is extracted by generating a query image (search source image) by photographing with an image search client (image search terminal). This is an example of an image search system that sends the image feature group to an image search server, performs a search in the image search server, and displays a search result on an image search client. The image search client is a search source image providing device that provides a search source image. Image registration processing to the image search server is performed by the same method as in the first embodiment.
図１１は、第２の実施形態における画像検索システムの機能構成例を示すブロック図である。図１１に示す各構成における動作の詳細については、後述する。 FIG. 11 is a block diagram illustrating a functional configuration example of the image search system according to the second embodiment. Details of the operation in each configuration shown in FIG. 11 will be described later.
図１１における画像検索システムは、画像検索クライアント１１０１と画像検索サーバ１１０２からなる。画像検索クライアント１１０１と画像検索サーバ１１０２にはそれぞれ通信部１１１１、１１１８があり、該通信部１１１１、１１１８の間はネットワーク（有線、無線）で接続されており、該ネットワークを介して、情報通信を行う。
The image search system in FIG. 11 includes an
画像検索クライアント１１０１において、画像取得部１１０３は、カメラ撮影などにより、クエリ画像の取得を行う。多出現画像特徴リスト取得部１１０４は、画像検索サーバ１１０２で生成した多出現画像特徴リストを画像検索サーバ１１０２に要求し、通信部１１１１を介して取得する。画像特徴群抽出部１１０５は、画像取得部１１０３で取得したクエリ画像の画像特徴群を抽出する。画像特徴群選別部１１０６は、クエリ画像の画像特徴群から、判別性能が高い画像特徴群を選別する。画像特徴群送信部１１０７は、画像特徴群選別部１１０６で選別された画像特徴群を、通信部１１１１を介して画像検索サーバ１１０２に送信する。画像特徴群比較結果受信部１１０８は、画像検索サーバ１１０２で実行された画像特徴群比較の結果を、通信部１１１１を介して受信する。画像特徴群比較結果表示部１１０９は、画像特徴群比較結果受信部１１０８で取得した画像特徴群比較結果を表示する。記憶部１１１０は画像検索クライアントにおいて、処理中のデータを記憶するメモリ・ＨＤＤ等である。
In the
画像検索サーバ１１０２において、多出現画像特徴リスト生成部１１１２は、複数の登録画像から算出された画像特徴群の中から、それらの出現頻度が高く、判別性能が低い画像特徴リストを生成する。多出現画像特徴リスト送信部１１１３は、多出現画像特徴リスト生成部１１１２で生成された多出現画像特徴リストを、画像検索クライアント１１０１からの要求に応じて、通信部１１１８を介して画像検索クライアント１１０１に送信する。画像特徴群受信部１１１４は、画像検索クライアント１１０１で算出、選別されたクエリ画像の画像特徴群を、通信部１１１８を介して受信する。画像特徴群比較部１１１５は、画像特徴群受信部１１１４で受信したクエリ画像の画像特徴群を用いて画像特徴群比較を行う。画像特徴群比較結果送信部１１１６は、画像特徴群比較部１１１５で実行された画像特徴群比較の結果を、通信部１１１８を介して画像検索クライアント１１０１に送信する。記憶部１１１７は画像検索サーバにおいて、処理中のデータを記憶するメモリ・ＨＤＤ等である。
In the
尚、画像特徴群選別部１１０６は画像検索サーバ側にあっても良い。その場合、画像特徴抽出部１１０５で抽出したクエリ画像の画像特徴群を画像特徴群送信部１１０７が通信部１１１１を介して画像検索サーバ１１０２に送信する。そして、画像検索サーバ１１０２にある画像特徴群選別部１１０６は、クエリ画像の画像特徴群から、判別性能が高い画像特徴群を選別する。画像特徴群比較部１１１５は、画像検索サーバ１１０２側にある画像特徴群選別部１１０６で選別された画像特徴群を用いて画像特徴群比較を行う。図１２で示される画像検索処理手順のフローチャートでも、画像特徴群選別部１１０６が画像検索サーバ１１０２側にある場合の処理を行うことになる。
The image feature
なお、これら各構成は、不図示のＣＰＵにより統括的に制御されている。 Each of these components is centrally controlled by a CPU (not shown).
尚、ＣＰＵはプログラムを実行することで各種の手段として機能することが可能である。なお、ＣＰＵと協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能してもよい。また、ＣＰＵと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵは単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵは分散して処理を実行することが可能である。また、複数のＣＰＵは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。 The CPU can function as various means by executing a program. Note that a control circuit such as an ASIC that operates in cooperation with the CPU may function as these means. These means may be realized by cooperation between the CPU and a control circuit that controls the operation of the image processing apparatus. Further, the CPU need not be a single one, and may be a plurality. In this case, a plurality of CPUs can perform processing in a distributed manner. The plurality of CPUs may be arranged in a single computer, or may be arranged in a plurality of physically different computers. Note that the means realized by the CPU executing the program may be realized by a dedicated circuit.
［多出現画像特徴リスト生成処理］
第２の実施形態の画像検索システムの画像検索サーバの多出現画像特徴リスト生成部１１１２における多出現画像特徴リスト生成処理は、第１の実施形態の多出現画像特徴リスト生成処理と同等であるため、詳細の説明は省略する。
[Multi-appearance image feature list generation processing]
The multiple appearance image feature list generation processing in the multiple appearance image feature
多出現画像特徴リストは、更新の新旧が確認できるよう、生成日時、もしくは、多出現画像特徴リストのバージョン情報と共に、記憶する。 The multiple appearance image feature list is stored together with the generation date and time information or the version information of the multiple appearance image feature list so that the update can be confirmed.
多出現画像特徴リスト生成のタイミングとしては、第１の実施形態と同様に、画像登録処理直後に行ってもよいし、画像登録処理後に画像検索サーバがアイドル状態になったときに行うようにしてもよい。 As in the first embodiment, the timing of generating the multiple appearance image feature list may be performed immediately after the image registration process, or when the image search server becomes idle after the image registration process. Also good.
［画像検索処理］
図１２は、第２の実施形態の画像検索システムにおける画像検索処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
[Image search processing]
FIG. 12 is a flowchart illustrating an example of an image search processing procedure in the image search system according to the second embodiment. The flowchart is realized when the CPU executes a control program.
まず、ステップＳ１２０１では、画像検索クライアント１１０１において、カメラ撮影などにより、画像取得部１１０３を介してクエリ画像（検索元画像）を取得する。取得した画像は、記憶部１１１０に保存される。
First, in step S1201, the
次に、画像特徴群抽出部１１０５において、ステップＳ１２０２からステップＳ１２０７の処理が行われる。本処理は、第１の実施形態の画像登録処理におけるステップＳ２０２からステップＳ２０７、もしくは、第１の実施形態の画像検索処理におけるステップＳ８０２からステップＳ８０７の処理と同等であるため、詳細の説明は省略する。
Next, the image feature
次に、ステップＳ１２０８において、抽出されたクエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合、ステップＳ１２０９に進み、最大数以下の場合は、ステップＳ１２１３に進む。 Next, in step S1208, if the number of feature points of the extracted query image is larger than the maximum number of feature points that can be used at the time of search, the process proceeds to step S1209, and if it is less than the maximum number, the process proceeds to step S1213.
尚、第２の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。 In the second embodiment, the determination is made based on whether the number of feature points of the query image is larger than the maximum number of feature points that can be used at the time of search. However, the determination may be made based on whether or not the size when the image feature list is stored in the storage unit is larger than the maximum size that can be used during the search.
ステップＳ１２０９では、多出現画像特徴リストの更新処理を行う。 In step S1209, the multiple appearance image feature list is updated.
ここで、図１３は、多出現画像特徴リスト更新処理の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。 Here, FIG. 13 is a flowchart illustrating an example of the multiple appearance image feature list update process. The flowchart is realized when the CPU executes a control program.
まず、ステップＳ１３０１では、画像検索クライアント１１０１において、多出現画像特徴リストの更新設定を確認する。この多出現画像特徴リストの更新設定は、検索時に更新するかどうかを設定する。また、検索時に更新する設定の場合は、どのネットワーク接続のときに更新するかを設定する。図１４は、多出現画像特徴リストの更新設定のためのユーザインタフェースの一例である。図１４の１４０１では、検索時に更新するかどうかを設定し、１４０２では、どのネットワーク接続のときに更新するかを設定する。
First, in step S1301, the
ステップＳ１３０２において、検索時に更新する設定の場合、ステップＳ１３０３に進み、更新しない設定の場合は、多出現画像特徴リスト更新処理を終了する。 In step S1302, if the setting is to be updated at the time of search, the process proceeds to step S1303. If the setting is not to be updated, the multiple appearance image feature list update process is terminated.
ステップＳ１３０３では、接続中のネットワークの確認を行い、ステップＳ１３０４において、更新対象ネットワークである場合はステップＳ１３０５に進み、更新対象ネットワークではない場合は、多出現画像特徴リスト更新処理を終了する。 In step S1303, the currently connected network is confirmed. If it is determined in step S1304 that the network is an update target network, the process advances to step S1305. If the network is not an update target network, the multiple appearance image feature list update process is terminated.
次にステップＳ１３０５では、通信部１１１１を介して画像検索サーバ１１０２から最新多出現画像特徴リストのバージョンを取得する。ステップＳ１３０６で、画像検索クライアント１１０１で保持している多出現画像特徴リストが最新版でない場合は、ステップＳ１３０７に進み、最新版の場合は、多出現画像特徴リスト更新処理を終了する。
In step S 1305, the version of the latest multiple appearance image feature list is acquired from the
ステップＳ１３０７で、多出現画像特徴リスト受信部１１０４が、通信部１１１１を介して画像検索サーバ１１０２から最新多出現画像特徴リストを取得する。最後に、ステップＳ１３０８において、ステップＳ１３０７で受信した最新多出現画像特徴リストを記憶部１１１０に保存し、多出現画像特徴リスト更新処理を終了する。
In step S1307, the multiple appearance image feature
第２の実施形態では、多出現画像特徴リストを検索時に更新しているが、多出現画像特徴リストを更新する処理のみを単独で実行するようにしてもよい。その場合は、旅行などに出かける前に、自宅内のＷｉ−Ｆｉに接続しているときに多出現画像特徴リストを更新することが可能となり、外出先でネットワークのトラフィックを少なく抑えることが可能となる。 In the second embodiment, the multiple appearance image feature list is updated at the time of search, but only the process of updating the multiple appearance image feature list may be executed alone. In that case, it is possible to update the multi-appearance image feature list when connected to Wi-Fi at home before going on a trip, etc., and to reduce network traffic on the go. Become.
ステップＳ１２０９の多出現画像特徴リスト更新処理終了後、ステップＳ１２１０からステップＳ１２１２にかけて、画像特徴リストの削減処理を行う。これらの処理は、第１の実施形態の画像検索処理におけるステップＳ８０９からステップＳ８１１の処理と同等であるため、詳細の説明は省略する。 After the multiple appearance image feature list update process in step S1209 is completed, an image feature list reduction process is performed from step S1210 to step S1212. Since these processes are equivalent to the processes from step S809 to step S811 in the image search process of the first embodiment, detailed description thereof is omitted.
次にステップＳ１２１３では、クエリ画像から抽出され選別された画像特徴リストを、通信部１１１１を介して画像検索サーバ１１０２に送信する。
In step S1213, the image feature list extracted and selected from the query image is transmitted to the
ステップＳ１２１４では、画像検索サーバ１１０２において画像特徴群比較処理を行う。本処理は、第１の実施形態の画像検索処理におけるステップＳ８１２の処理と同等であるため、詳細の説明は省略する。ステップＳ１２１５では、ステップＳ１２１２により得られた画像特徴群比較結果を、通信部１１１８を介して画像検索クライアント１１０１に送信する。
In step S1214, the
最後に、ステップＳ１２１６で画像特徴群比較結果を表示する。本処理は、第１の実施形態の画像検索処理におけるステップＳ８１３の処理と同等である。 Finally, the image feature group comparison result is displayed in step S1216. This process is equivalent to the process of step S813 in the image search process of the first embodiment.
以上のように第２の実施形態では、画像検索クライアントにおいてクエリ画像から抽出した画像特徴群を選別し、選別した画像特徴群を画像検索サーバに送信し、画像検索サーバで検索を行うようにした。これにより、検索時に使用可能な特徴点の数に制限がある場合であっても、検索精度の劣化を少なく抑えた検索を行うことができる。 As described above, in the second embodiment, the image search client selects the image feature group extracted from the query image, transmits the selected image feature group to the image search server, and performs the search on the image search server. . Thereby, even when there is a limit to the number of feature points that can be used at the time of search, it is possible to perform a search with reduced deterioration in search accuracy.
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
１０１ 画像入力部
１０２ 画像特徴群抽出部
１０３ 多出現画像特徴リスト生成部
１０４ 画像特徴群選別部
１０５ 画像特徴群比較部
１０６ 画像特徴群比較結果表示部
１０７ 記憶部
１１０１ 画像検索クライアント
１１０２ 画像検索サーバ
１１０３ 画像取得部
１１０４ 多出現画像特徴リスト取得部
１１０５ 画像特徴群抽出部
１１０６ 画像特徴群選別部
１１０７ 画像特徴群送信部
１１０８ 画像特徴群比較結果受信部
１１０９ 画像特徴群比較結果表示部
１１１０ 記憶部
１１１１ 通信部
１１１２ 多出現画像特徴リスト生成部
１１１３ 多出現画像特徴リスト送信部
１１１４ 画像特徴群受信部
１１１５ 画像特徴群比較部
１１１６ 画像特徴群比較結果送信部
１１１７ 記憶部
１１１８ 通信部
DESCRIPTION OF
Claims (18)
前記画像の画像特徴を抽出する抽出手段と、
前記画像と前記画像特徴とを関連付けて記憶する記憶手段と、
（Ａ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、所定数以下の画像特徴を前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴として選別し、（Ｂ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、前記所定数よりも多い画像特徴を、前記使用を制限する画像特徴として選別する選別手段と、
前記検索元画像の検索のために使用すると選別された画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴との比較を行う比較手段と、
を有することを特徴とする画像検索装置。 An input means for inputting an image;
Extracting means for extracting image features of the image;
Storage means for storing the image and the image feature in association with each other;
(A) The number of image features stored in the storage means or the number of images associated with the image features stored in the storage means is inputted to the input means with a predetermined number or less. The search source image is selected as an image feature used for searching the search source image from the image features extracted by the extraction unit, and (B) the number of image features stored in the storage unit, or Screening means for selecting an image feature whose number of images associated with the image feature stored in the storage means is larger than the predetermined number as an image feature that restricts the use;
Comparison means for comparing the image features selected to be used for searching the search source image with the image features of the registered image stored in the storage means;
An image search apparatus comprising:
前記選別手段は、前記多出現画像特徴リストに存在する画像特徴に基づいて検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別することを特徴とする請求項１に記載の画像検索装置。 Multi-appearance image feature list in which image features stored in the storage means or image features associated with the image features stored in the storage means are larger than the predetermined number Further comprising generating means for generating
2. The selecting means for selecting an image feature to be used for searching a search source image and an image feature to be restricted based on an image feature existing in the multiple appearance image feature list. The image search device described in 1.
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に記憶されている画像特徴と関連付けられた画像数に関する情報を、要求に応じて要求元に送信する送信手段と、
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に記憶されている画像特徴と関連付けられた画像数に関する情報に基づいて、検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信手段と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴との比較を行う比較手段と、
を有することを特徴とする画像検索装置。 Storage means for storing image features corresponding to the images;
Transmitting means for transmitting information on the number of registered image features stored in the storage means, or information relating to the number of images associated with the image features stored in the storage means, to the request source in response to a request;
An image feature used for retrieval of a search source image based on the number of registered image features stored in the storage unit or information on the number of images associated with the image feature stored in the storage unit Receiving means for receiving image features selected by the request source,
Comparison means for comparing the image feature of the received search source image with the image feature stored in the storage means;
An image search apparatus comprising:
前記検索元画像の画像特徴を抽出する抽出手段と、
多出現画像特徴リストを画像検索装置から受信する受信手段と、
前記検索元画像の画像特徴のうち、前記多出現画像特徴リストに存在する画像特徴に基づいて検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の検索のために使用すると選別された画像特徴を前記画像検索装置に送信する送信手段と、
を有することを特徴とする検索元画像提供装置。 An input means for inputting a search source image;
Extracting means for extracting image features of the search source image;
Receiving means for receiving a multiple appearance image feature list from the image search device;
Selecting means for selecting, among image features of the search source image, image features to be used for searching the search source image and image features to be restricted based on image features existing in the multiple appearance image feature list; ,
Transmitting means for transmitting the selected image features to the image search device when used for searching the search source image;
A search source image providing apparatus comprising:
前記画像の画像特徴を抽出する抽出工程と、
前記画像と前記画像特徴とを関連付けて記憶手段に記憶させる工程と、
（Ａ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、所定数以下の画像特徴を前記入力工程で入力された検索元画像について前記抽出工程で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴として選別し、（Ｂ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、前記所定数よりも多い画像特徴を、前記使用を制限する画像特徴として選別する選別工程と、
前記検索元画像の検索のために使用すると選別された画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴との比較を行う比較工程と、
を有することを特徴とする画像検索方法。 An input process for inputting an image;
An extraction step of extracting image features of the image;
Storing the image and the image feature in association with each other in a storage unit;
(A) The number of image features stored in the storage means or the number of images associated with the image features stored in the storage means is less than or equal to a predetermined number in the input step. The search source image is selected as an image feature used for searching the search source image from the image features extracted in the extraction step , and (B) the number of image features stored in the storage unit, or A selection step of selecting an image feature whose number of images associated with the image feature stored in the storage means is larger than the predetermined number as an image feature that restricts the use;
A comparison step of comparing the image features selected to be used for searching the search source image with the image features of the registered image stored in the storage unit;
An image search method characterized by comprising:
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に記憶されている画像特徴と関連付けられた画像数に関する情報を、要求に応じて要求元に送信する送信工程と、
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に記憶されている画像特徴と関連付けられた画像数に関する情報に基づいて、検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信工程と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴との比較を行う比較工程と、
を有することを特徴とする画像検索方法。 Storing image features corresponding to the image in the storage means;
A transmission step of transmitting information on the number of registered image features stored in the storage unit or the number of images associated with the image feature stored in the storage unit to a request source in response to a request;
An image feature used for retrieval of a search source image based on the number of registered image features stored in the storage unit or information on the number of images associated with the image feature stored in the storage unit A receiving process for receiving image features selected at the request source,
A comparison step of comparing the image feature of the received search source image with the image feature stored in the storage means;
An image search method characterized by comprising:
前記検索元画像の画像特徴を抽出する抽出工程と、
多出現画像特徴リストを画像検索装置から受信する受信工程と、
前記検索元画像の画像特徴のうち、前記多出現画像特徴リストに存在する画像特徴に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する選別工程と、
前記検索元画像の画像特徴として使用すると選別された画像特徴を前記画像検索装置に送信する送信工程と、
を有することを特徴とする検索元画像提供方法。 An input process for inputting a search source image;
An extraction step of extracting image features of the search source image;
Receiving a multiple appearance image feature list from the image search device;
A selection step of selecting, among image features of the search source image, image features to be used as image features of the search source image based on image features existing in the multiple appearance image feature list and image features to be restricted from use,
A transmission step of transmitting the selected image feature to the image search device when used as an image feature of the search source image;
A search source image providing method characterized by comprising:
画像を入力する入力手段と、
前記画像の画像特徴を抽出する抽出手段と、
前記画像と前記画像特徴とを関連付けて記憶手段に記憶させる手段と、
（Ａ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、所定数以下の画像特徴を前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴として選別し、（Ｂ）前記記憶手段に記憶されている画像特徴の数、もしくは、前記記憶手段に記憶されている画像特徴に関連付けられた画像の数が、前記所定数よりも多い画像特徴を、前記使用を制限する画像特徴として選別する選別手段と、
前記検索元画像の画像特徴として使用すると選別された画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴との比較を行う比較手段と、
として機能させるためのプログラム。 Computer
An input means for inputting an image;
Extracting means for extracting image features of the image;
Means for associating and storing the image and the image feature in a storage means;
(A) The number of image features stored in the storage means or the number of images associated with the image features stored in the storage means is inputted to the input means with a predetermined number or less. The search source image is selected as an image feature used for searching the search source image from the image features extracted by the extraction unit, and (B) the number of image features stored in the storage unit, or Screening means for selecting an image feature whose number of images associated with the image feature stored in the storage means is larger than the predetermined number as an image feature that restricts the use;
A comparison unit that compares the image feature selected to be used as the image feature of the search source image with the image feature of the registered image stored in the storage unit;
Program to function as.
画像に対応する画像特徴を記憶手段に記憶させる手段と、
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に画像特徴と関連付けられて記憶されている画像数に関する情報を、要求に応じて要求元に送信する送信手段と、
前記記憶手段に記憶されている画像特徴の登録数、もしくは、前記記憶手段に画像特徴と関連付けられて記憶されている画像数に関する情報に基づいて、検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信手段と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴との比較を行う比較手段と、
として機能させるためのプログラム。 Computer
Means for storing in the storage means image features corresponding to the image;
A transmission unit that transmits information on the number of registered image features stored in the storage unit or information on the number of images stored in association with the image feature in the storage unit to a request source in response to a request;
An image feature used for searching a search source image based on the number of registered image features stored in the storage unit or information on the number of images stored in association with the image feature in the storage unit. Receiving means for receiving image features selected by the request source,
Comparison means for comparing the image feature of the received search source image with the image feature stored in the storage means;
Program to function as.
検索元画像を入力する入力手段と、
前記検索元画像の画像特徴を抽出する抽出手段と、
多出現画像特徴リストを画像検索装置から受信する受信手段と、
前記検索元画像の画像特徴のうち、前記多出現画像特徴リストに存在する画像特徴に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の画像特徴として使用すると選別された画像特徴を前記画像検索装置に送信する送信手段と、
として機能させるためのプログラム。 Computer
An input means for inputting a search source image;
Extracting means for extracting image features of the search source image;
Receiving means for receiving a multiple appearance image feature list from the image search device;
Sorting means for sorting out image features to be used as image features of the search source image based on image features existing in the multiple appearance image feature list and image features to be restricted from use among image features of the search source image;
Transmitting means for transmitting the selected image feature to the image search device when used as an image feature of the search source image;
Program to function as.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013001086A JP6143462B2 (en) | 2013-01-08 | 2013-01-08 | Image search device, image search method, search source image providing device, search source image providing method, and program |
| US14/148,300 US20140193077A1 (en) | 2013-01-08 | 2014-01-06 | Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013001086A JP6143462B2 (en) | 2013-01-08 | 2013-01-08 | Image search device, image search method, search source image providing device, search source image providing method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014134860A JP2014134860A (en) | 2014-07-24 |
| JP2014134860A5 JP2014134860A5 (en) | 2016-02-25 |
| JP6143462B2 true JP6143462B2 (en) | 2017-06-07 |
Family
ID=51413094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013001086A Active JP6143462B2 (en) | 2013-01-08 | 2013-01-08 | Image search device, image search method, search source image providing device, search source image providing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6143462B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017134598A (en) | 2016-01-27 | 2017-08-03 | キヤノン株式会社 | Image retrieval device, image retrieval method, and program |
| JP7091055B2 (en) * | 2017-09-19 | 2022-06-27 | ヤフー株式会社 | Search device, search method and search program |
| JP6997656B2 (en) * | 2018-03-15 | 2022-01-17 | ヤフー株式会社 | Search device, search method and search program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005269604A (en) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | Imaging device, imaging method, and imaging program |
| JP2008288804A (en) * | 2007-05-16 | 2008-11-27 | Seiko Epson Corp | Image reproducing device, and control method and control program of image reproducing device |
| JP5147640B2 (en) * | 2008-10-23 | 2013-02-20 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP5197328B2 (en) * | 2008-11-28 | 2013-05-15 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP5776255B2 (en) * | 2011-03-25 | 2015-09-09 | ソニー株式会社 | Terminal device, object identification method, program, and object identification system |
-
2013
- 2013-01-08 JP JP2013001086A patent/JP6143462B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014134860A (en) | 2014-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106294798B (en) | Image sharing method and terminal based on thumbnail | |
| US20140193077A1 (en) | Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program | |
| US8577882B2 (en) | Method and system for searching multilingual documents | |
| JP4810420B2 (en) | Image processing apparatus, image processing method, server, control method therefor, program, and storage medium | |
| JP5563494B2 (en) | Corresponding reference image search device and method, content superimposing device, system and method, and computer program | |
| KR20100068468A (en) | Method, apparatus and computer program product for performing a visual search using grid-based feature organization | |
| KR20010053788A (en) | System for content-based image retrieval and method using for same | |
| WO2016199662A1 (en) | Image information processing system | |
| CN105760468A (en) | Large-scale image querying system based on inverted position-sensitive Hash indexing in mobile environment | |
| CN105760469A (en) | High-dimensional approximate image retrieval method based on inverted LSH in cloud computing environment | |
| CN109829320B (en) | Information processing method and device | |
| JP2019520662A (en) | Content-based search and retrieval of trademark images | |
| JP6143462B2 (en) | Image search device, image search method, search source image providing device, search source image providing method, and program | |
| CN111309946B (en) | Established file optimization method and device | |
| JP5430636B2 (en) | Data acquisition apparatus, method and program | |
| CN115630236A (en) | Global fast retrieval positioning method of passive remote sensing image, storage medium and equipment | |
| JPH11250106A (en) | Method for automatically retrieving registered trademark through the use of video information of content substrate | |
| JP2017138744A (en) | Image processing apparatus, image processing method, and program | |
| JP5408241B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5772908B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP5893318B2 (en) | Image search apparatus, image search method and program | |
| CN115082999A (en) | Group photo image person analysis method and device, computer equipment and storage medium | |
| CN114610938A (en) | Remote sensing image retrieval method and device, electronic equipment and computer readable medium | |
| CN112580087B (en) | Encryption data searching method and device, storage medium and electronic equipment | |
| JP2014010640A (en) | Image search device, and information processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160107 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170509 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6143462 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |