JP5519556B2 - Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images - Google Patents

Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images Download PDF

Info

Publication number
JP5519556B2
JP5519556B2 JP2011050957A JP2011050957A JP5519556B2 JP 5519556 B2 JP5519556 B2 JP 5519556B2 JP 2011050957 A JP2011050957 A JP 2011050957A JP 2011050957 A JP2011050957 A JP 2011050957A JP 5519556 B2 JP5519556 B2 JP 5519556B2
Authority
JP
Japan
Prior art keywords
image
feature point
analysis target
reference image
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011050957A
Other languages
Japanese (ja)
Other versions
JP2012190089A (en
Inventor
陽介 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2011050957A priority Critical patent/JP5519556B2/en
Publication of JP2012190089A publication Critical patent/JP2012190089A/en
Application granted granted Critical
Publication of JP5519556B2 publication Critical patent/JP5519556B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、解析対象画像の中から参照画像に基づく物体を認識する画像解析技術に関する。   The present invention relates to an image analysis technique for recognizing an object based on a reference image from analysis target images.

従来、カメラ等のデバイスによって取得された解析対象画像（静止画像又は動画像）を画像解析し、その解析対象画像中に映る物体を認識する技術がある。この技術によれば、物体毎の参照画像を予め蓄積した参照画像蓄積部を有し、解析対象画像に参照画像をマッチングさせることよって、その解析対象画像に映る物体を認識する。   2. Description of the Related Art Conventionally, there is a technique for analyzing an analysis target image (still image or moving image) acquired by a device such as a camera and recognizing an object shown in the analysis target image. According to this technique, the reference image storage unit that stores the reference image for each object in advance is included, and the object reflected in the analysis target image is recognized by matching the reference image with the analysis target image.

また、解析対象画像に映る物体の一部が隠れている場合であっても、参照画像をマッチングさせることができる技術がある（例えば非特許文献１を参照）。この技術によれば、物体全体ではなく、その一部を含む局所領域を、特徴解析の単位として扱う。そのために、解析対象画像及び参照画像の両方について、認識に有用な複数の局所領域を検出する。そして、解析対象画像の中で、参照画像の複数の局所特徴量と最も類似する領域を検出し、物体を認識する。勿論、解析対象画像中における物体の位置も認識する。尚、解析対象画像中の物体の映り方（撮影角度、撮影距離、周辺に存在する物体等の影響による）や、その認識物体自身が持つテクスチャの特性に依存する。   Further, there is a technique that can match a reference image even when a part of an object shown in an analysis target image is hidden (see Non-Patent Document 1, for example). According to this technique, a local region including a part of the object, not the entire object, is handled as a unit of feature analysis. For this purpose, a plurality of local regions useful for recognition are detected for both the analysis target image and the reference image. Then, an area most similar to the plurality of local feature amounts of the reference image is detected in the analysis target image to recognize the object. Of course, the position of the object in the analysis target image is also recognized. Note that this depends on how the object in the analysis target image is reflected (due to the effects of the shooting angle, shooting distance, surrounding objects, etc.) and the texture characteristics of the recognized object itself.

更に、学習用データセットを用いた学習制御によって、複数の異なる種類の物体を、精度良く認識する技術もある（例えば特許文献１を参照）。この技術によれば、異なる種類の物体画像の集合を入力し、所定の幾何学的構造を有する局所特徴量を検出する。これら複数の局所特徴量をクラスタリングし、複数の代表局所特徴量を選択する。その代表局所特徴を教師データとして含む学習用データセットを用いて、物体画像から物体を認識する。この技術によれば、物体画像から抽出された局所特徴量の中で、複数の異なる種類の物体を判別するのに有用な特徴量を選別している。   Further, there is a technique for accurately recognizing a plurality of different types of objects by learning control using a learning data set (see, for example, Patent Document 1). According to this technique, a set of different types of object images is input and a local feature amount having a predetermined geometric structure is detected. The plurality of local feature quantities are clustered to select a plurality of representative local feature quantities. An object is recognized from an object image using a learning data set including the representative local feature as teacher data. According to this technique, feature quantities useful for discriminating a plurality of different types of objects are selected from local feature quantities extracted from an object image.

更に、複数の異なる種類の物体を精度良く認識するために、個々の局所特徴量の対応点を分離し、解析対象画像の中で参照画像をマッチングさせる技術もある（例えば特許文献２参照）。この技術によれば、第１に、類似度の高い特徴点のみを残し（認識対象画像）、第２に、残った特徴点にロバスト推定を適用して単一の認識対象が存在すると推定される領域を検出し（参照画像）、第３に、仮に得られた推定領域周辺に対して再度のマッチングと、対応点周辺の画像特徴の類似度とを求める。これによって、推定領域を高精度化した結果を得る。この手順で得られた特定物体の領域内に含まれる特徴点を除いた状態で、更に同じ手順の処理を実行し、特定物体が検出されなくなるまで繰り返す。   Furthermore, in order to recognize a plurality of different types of objects with high accuracy, there is a technique in which corresponding points of individual local feature amounts are separated and a reference image is matched in an analysis target image (see, for example, Patent Document 2). According to this technique, first, only feature points with high similarity are left (recognition target image), and second, it is estimated that a single recognition target exists by applying robust estimation to the remaining feature points. A third region is detected (reference image), and thirdly, the matching of the estimated region and the similarity of the image features around the corresponding points are obtained. As a result, a result obtained by increasing the accuracy of the estimation region is obtained. The processing of the same procedure is further executed in a state where the feature points included in the region of the specific object obtained by this procedure are removed, and the process is repeated until no specific object is detected.

特開２００５−２１５９８８号公報Japanese Patent Laid-Open No. 2005-215988 特開２００７−１４０６１３号公報JP 2007-140613 A

David G. Lowe、「Distinctive image featuresfrom scale-invariant keypoints」、International Journal of Computer Vision, 60, 2(2004)、pp.91-110、[online]、［平成２２年１１月２３日検索］、インターネット＜URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.157.3843&rep=rep1&type=pdf＞David G. Lowe, “Distinctive image features from scale-invariant keypoints”, International Journal of Computer Vision, 60, 2 (2004), pp.91-110, [online], [searched November 23, 2010], Internet <URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.157.3843&rep=rep1&type=pdf>

前述した従来技術によれば、参照画像中に、同一類似の局所特徴量の特徴点が複数存在するものについては、十分に考慮されていない。例えば、その物体として、ハブやルータ等のネットワーク機器がある。これらの物体は、複数のＬＡＮケーブル接続用のポートなどで、同一類似の特徴点を複数含む。   According to the above-described conventional technique, a case where a plurality of feature points having the same and similar local feature amount exist in the reference image is not sufficiently considered. For example, the object is a network device such as a hub or a router. These objects include a plurality of identical and similar feature points such as a plurality of LAN cable connection ports.

図１は、解析対象画像における物体の認識に失敗した第１の画像例である。   FIG. 1 is a first image example in which recognition of an object in an analysis target image has failed.

図１によれば、ハブ装置を認識するための画像例が表されている。ここで、１台のハブ装置及びその周辺に映る解析対象画像が表されており、上部分に、ハブ装置の参照画像が表されている。ハブ装置は、一般的に、ＬＡＮケーブルのポートを複数個備えている。ハブ装置の参照画像には、同一のポート画像（同一類似の特徴点）が、複数存在する。同様に、そのハブ装置が映る解析対象画像についても、同一のポート画像が、複数存在する。   FIG. 1 shows an example image for recognizing a hub device. Here, an analysis target image shown in one hub device and its periphery is shown, and a reference image of the hub device is shown in the upper part. The hub device generally includes a plurality of LAN cable ports. A plurality of identical port images (identical similar feature points) exist in the reference image of the hub device. Similarly, there are a plurality of the same port images for the analysis target image in which the hub device is reflected.

ここで、ポートの特徴点は、同一類似の局所特徴量を有する。図１によれば、参照画像の特徴点と、解析対象画像の特徴点とのマッチングを、線で結んで表している。理想的には、ポートの特徴点は、マッチングの線が並列的に並んで結ばれるべきである。しかしながら、図１によれば、類似したポートの特徴点が複数存在するために、入り混じってマッチングされてしまっている。これは、解析対象画像中から参照画像に基づく特定物体の位置や形状を正確に認識できないことを意味する。   Here, the feature point of the port has the same and similar local feature amount. According to FIG. 1, the matching between the feature points of the reference image and the feature points of the analysis target image is represented by a line. Ideally, the port feature points should be connected in parallel with matching lines. However, according to FIG. 1, since there are a plurality of similar port feature points, they are mixed and matched. This means that the position and shape of the specific object based on the reference image cannot be accurately recognized from the analysis target image.

図２は、解析対象画像における物体の認識に失敗した第２の画像例である。   FIG. 2 is a second image example in which recognition of an object in the analysis target image has failed.

図２によれば、図１と比較して、解析対象画像中に２台のハブ装置が映っている。両方のハブ装置には、同一形状のポートが並んでいる。そのために、図２によれば、参照画像の特徴点は、両方のハブ装置の特徴点にまたがって、更に入り混じってマッチングされてしまっている。   According to FIG. 2, as compared with FIG. 1, two hub devices are shown in the analysis target image. Both hub devices are lined with identically shaped ports. For this reason, according to FIG. 2, the feature points of the reference image are further mixed and matched across the feature points of both hub devices.

解析対象画像中に同一の物体Ａ及びＢが映る場合、１つの物体の参照画像における特徴点ａ及び特徴点ｂについて、特徴点ａが、解析対象画像の物体Ａの一部の特徴点にマッチングされ、特徴点ｂが、解析対象画像の物体Ｂの一部の特徴点にマッチングされている。この場合、解析対象画像中から参照画像の物体を認識する精度は、著しく低下する。特に、特定物体の位置と形状が著しく変形して検出されるか、又は、検出自体ができないという問題が発生する。   When the same objects A and B appear in the analysis target image, for the feature point a and the feature point b in the reference image of one object, the feature point a matches a part of the feature points of the object A in the analysis target image. The feature point b is matched with a part of feature points of the object B of the analysis target image. In this case, the accuracy of recognizing the object of the reference image from the analysis target image is significantly reduced. In particular, there arises a problem that the position and shape of a specific object are detected by being significantly deformed or cannot be detected.

非特許文献１に記載された技術によれば、物体認識について、物体の回転、スケール変化、部分的な隠れに対して頑強な画像解析技術である。しかし、参照画像内での局所特徴量の類似度を考慮するものではない。また、特許文献１に記載された技術によれば、複数の異なる種類の物体の認識精度を向上させるために局所特徴量を選択する技術である。しかし、複数の物体間での局所特徴量の関係性は考慮されている一方で同一物体内に存在する複数の局所特徴量の類似度は考慮されていない。従って、これら技術は、同一の局所特徴量を有する複数の特徴点における物体認識を考慮した技術ではない。   According to the technique described in Non-Patent Document 1, the object recognition is an image analysis technique that is robust against object rotation, scale change, and partial hiding. However, the similarity of local feature amounts in the reference image is not considered. Further, according to the technique described in Patent Document 1, it is a technique for selecting a local feature amount in order to improve the recognition accuracy of a plurality of different types of objects. However, while the relationship of local feature amounts between a plurality of objects is considered, the similarity of a plurality of local feature amounts existing in the same object is not considered. Therefore, these techniques are not techniques that consider object recognition at a plurality of feature points having the same local feature amount.

更に、特許文献２に記載された技術によれば、参照画像の１つの物体が、解析対象画像に複数映る場合における物体認識を考慮しているが、参照画像に、同一類似の局所特徴量の特徴点が複数映る場合を考慮したものではない。これは、個々の物体の同一物体内に複数の類似した特徴量が存在することにより、個々の物体認識ができなくなることを意味する。従って、解析対象画像内の個々の物体同士のマッチングであれば、物体認識が成功することを前提として、解析対象画像内の複数の物体を認識する特許文献２の技術によれば、結果的に物体認識を誤ることとなる。   Furthermore, according to the technique described in Patent Document 2, object recognition is considered in the case where a single object of a reference image appears in the analysis target image. This is not a case where a plurality of feature points appear. This means that the presence of a plurality of similar feature amounts in the same object of each object makes it impossible to recognize each object. Therefore, according to the technique of Patent Document 2 that recognizes a plurality of objects in the analysis target image on the assumption that the object recognition is successful if matching is made between individual objects in the analysis target image. Object recognition will be wrong.

そこで、本発明は、参照画像中に、同一類似の局所特徴量を持つ特徴点が複数存在する場合であっても、解析対象画像の中から参照画像に基づく物体を認識することができる画像解析装置、サーバ、プログラム及び方法を提供することを目的とする。   Therefore, the present invention provides an image analysis that can recognize an object based on a reference image from among analysis target images even when there are a plurality of feature points having the same local feature amount in the reference image. An object is to provide an apparatus, a server, a program, and a method.

本発明によれば、解析対象画像の中から参照画像に基づく物体を認識する画像解析装置であって、
参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
参照画像について、類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と、
解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有することを特徴とする。 According to the present invention, an image analysis apparatus for recognizing an object based on a reference image from among analysis target images,
Reference image storage means for storing a reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extraction means for extracting a large number of feature points from the reference image;
A similar feature point detection means for reference for detecting a group of similar feature points having similar feature amounts from a reference image by clustering;
A distribution density detecting means for reference for detecting a distribution density for each group of similar feature points;
A reference representative feature point selecting means for selecting one representative feature point for each group of similar feature points for the reference image;
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
An analysis target distribution density detecting means for detecting a distribution density in each group of feature points similar to the representative feature points detected from the analysis target image;
For each representative feature point, when the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range, the object identification information based on the reference image and the object reflected in the analysis target image And an object recognition means for associating.

本発明の画像解析装置における他の実施形態によれば、
参照用類似特徴点検出手段は、更に、参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
特徴点マッチング手段は、解析対象画像の中から、単一特徴点に類似する特徴点をマッチングによって検出し、
物体認識手段は、解析対象画像の中で、代表特徴点によって参照画像の物体が存在すると認識された画像領域に、単一特徴点が存在していない場合、参照画像に基づく物体は存在しないと認識することを特徴とする。 According to another embodiment of the image analysis apparatus of the present invention,
The reference similar feature point detecting means further detects a feature point having no other similar feature quantity in the reference image as a single feature point,
The feature point matching means detects a feature point similar to a single feature point from the analysis target image by matching,
The object recognizing means determines that there is no object based on the reference image when there is no single feature point in the image area in which the object of the reference image is recognized by the representative feature point in the analysis target image. It is characterized by recognition.

本発明によれば、解析対象画像の中から参照画像に基づく物体を認識するためのものであって、参照画像用の第１の装置と、解析対象画像用の第２の装置とを有する画像解析システムであって、
第１の装置は、
参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
参照画像について、類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と
を有し、参照用分布密度検出手段によって検出された分布密度と、参照用代表特徴点選択手段によって検出された代表特徴点とが、第２の装置へ送信され、
第２の装置は、
解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有する
ことを特徴とする画像解析システム。 According to the present invention, an image for recognizing an object based on a reference image from among analysis target images, which includes a first device for a reference image and a second device for an analysis target image. An analysis system,
The first device is
Reference image storage means for storing a reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extraction means for extracting a large number of feature points from the reference image;
A similar feature point detection means for reference for detecting a group of similar feature points having similar feature amounts from a reference image by clustering;
A distribution density detecting means for reference for detecting a distribution density for each group of similar feature points;
The reference image includes a reference representative feature point selecting unit that selects one representative feature point for each group of similar feature points, the distribution density detected by the reference distribution density detecting unit, and the reference representative feature point The representative feature points detected by the selection means are transmitted to the second device,
The second device is
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
An analysis target distribution density detecting means for detecting a distribution density in each group of feature points similar to the representative feature points detected from the analysis target image;
For each representative feature point, when the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range, the object identification information based on the reference image and the object reflected in the analysis target image And an object recognizing means for associating with each other.

本発明によれば、前述した画像解析装置における全ての機能を含む画像検索サーバであって、
クライアントから解析対象画像を受信し、当該解析対象画像を解析対象用特徴点抽出手段へ出力する解析対象画像受信手段と、
物体認識手段によって検出された、認識された物体の識別情報と、解析対象画像における当該物体の位置情報とを、クライアントへ返信する認識結果返信手段と
を更に有することを特徴とする。 According to the present invention, there is provided an image search server including all functions in the above-described image analysis device,
Receiving the analysis target image from the client, and outputting the analysis target image to the analysis target feature point extraction unit;
It further comprises recognition result return means for returning the identification information of the recognized object detected by the object recognition means and the position information of the object in the analysis target image to the client.

本発明の画像検索サーバにおける他の実施形態によれば、
クライアントから検索キーとなる参照画像を受信し、当該参照画像を特徴点抽出手段へ出力する参照画像受信手段を更に有するものであってもよい。 According to another embodiment of the image search server of the present invention,
The apparatus may further include a reference image receiving unit that receives a reference image serving as a search key from the client and outputs the reference image to the feature point extracting unit.

本発明によれば、解析対象画像の中から参照画像に基づく物体を認識するように、装置に搭載されたコンピュータを機能させる画像解析プログラムであって、
参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
参照画像について、類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と、
解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
してコンピュータを機能させることを特徴とする。 According to the present invention, an image analysis program for causing a computer mounted on an apparatus to function so as to recognize an object based on a reference image from among analysis target images,
Reference image storage means for storing a reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extraction means for extracting a large number of feature points from the reference image;
A similar feature point detection means for reference for detecting a group of similar feature points having similar feature amounts from a reference image by clustering;
A distribution density detecting means for reference for detecting a distribution density for each group of similar feature points;
A reference representative feature point selecting means for selecting one representative feature point for each group of similar feature points for the reference image;
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
An analysis target distribution density detecting means for detecting a distribution density in each group of feature points similar to the representative feature points detected from the analysis target image;
For each representative feature point, when the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range, the object identification information based on the reference image and the object reflected in the analysis target image The computer is made to function as an object recognition means for associating the.

本発明の画像解析プログラムにおける他の実施形態によれば、
参照用類似特徴点検出手段は、更に、参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
特徴点マッチング手段は、解析対象画像の中から、単一特徴点に類似する特徴点をマッチングによって検出し、
物体認識手段は、解析対象画像の中で、代表特徴点によって参照画像の物体が存在すると認識された画像領域に、単一特徴点が存在していない場合、参照画像に基づく物体は存在しないと認識するようにコンピュータを機能させるものであってもよい。 According to another embodiment of the image analysis program of the present invention,
The reference similar feature point detecting means further detects a feature point having no other similar feature quantity in the reference image as a single feature point,
The feature point matching means detects a feature point similar to a single feature point from the analysis target image by matching,
The object recognizing means determines that there is no object based on the reference image when there is no single feature point in the image area in which the object of the reference image is recognized by the representative feature point in the analysis target image. The computer may function so as to be recognized.

本発明によれば、装置に搭載されたコンピュータを用いて、解析対象画像の中から参照画像に基づく物体を認識する画像解析方法であって、
参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積部を有し、
参照画像に対して、
参照画像から多数の特徴点を抽出する第１のステップと、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する第２のステップと、
類似特徴点の群毎における分布密度を検出する第３のステップと、
参照画像について、類似特徴点の群毎に１つの代表特徴点を選択する第４のステップとを有し、
解析対象画像に対して、
解析対象画像から多数の特徴点を抽出する第１のステップと、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する第２のステップと、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する第３のステップと、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける第４のステップと
を有することを特徴とする。 According to the present invention, an image analysis method for recognizing an object based on a reference image from among analysis target images using a computer mounted on the apparatus,
A reference image storage unit that stores the reference image and identification information of one object based on the reference image in association with each other;
For the reference image
A first step of extracting a number of feature points from a reference image;
A second step of detecting, by clustering, a group of similar feature points having similar feature amounts from the reference image;
A third step of detecting a distribution density for each group of similar feature points;
A fourth step of selecting one representative feature point for each group of similar feature points for the reference image;
For the image to be analyzed
A first step of extracting a large number of feature points from the analysis target image;
A second step of detecting, by matching, a feature point similar to the representative feature point from the analysis target image;
A third step of detecting a distribution density for each group of feature points similar to the representative feature points detected from the analysis target image;
For each representative feature point, when the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range, the object identification information based on the reference image and the object reflected in the analysis target image And a fourth step of associating.

本発明の画像解析方法における他の実施形態によれば、
参照画像に対する第２のステップについて、更に、参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
解析対象画像に対する第２のステップについて、解析対象画像の中から、単一特徴点に類似する特徴点をマッチングによって検出し、
解析対象画像に対する第４のステップについて、解析対象画像の中で、代表特徴点によって参照画像の物体が存在すると認識された画像領域に、単一特徴点が存在していない場合、参照画像に基づく物体は存在しないと認識するものであってもよい。 According to another embodiment of the image analysis method of the present invention,
In the second step for the reference image, further, a feature point having no other similar feature amount in the reference image is detected as a single feature point,
In the second step for the analysis target image, a feature point similar to a single feature point is detected from the analysis target image by matching,
Regarding the fourth step for the analysis target image, if there is no single feature point in the image region in the analysis target image that is recognized by the representative feature point as an object of the reference image, the reference image is used. You may recognize that an object does not exist.

本発明の画像解析装置、サーバ、プログラム及び方法によれば、参照画像中に、同一類似の局所特徴量の特徴点が複数存在する場合であっても、解析対象画像の中から参照画像に基づく物体を認識することができる。   According to the image analysis device, the server, the program, and the method of the present invention, the reference image is based on the reference image from among the analysis target images even when a plurality of feature points having the same and similar local feature amount exist in the reference image. An object can be recognized.

解析対象画像における物体の認識に失敗した第１の画像例である。It is the 1st example of an image which failed in recognition of an object in an analysis object picture. 解析対象画像における物体の認識に失敗した第２の画像例である。It is a 2nd image example which failed in recognition of the object in an analysis object image. 本発明における画像解析装置の機能構成図である。It is a functional block diagram of the image analysis apparatus in this invention. 特徴点抽出部における特徴点の検出を表す説明図である。It is explanatory drawing showing the detection of the feature point in a feature point extraction part. 参照用類似特徴点検出部における特徴点のクラスタリングを表す説明図である。It is explanatory drawing showing clustering of the feature point in the similar feature point detection part for a reference. 解析対象画像に対する代表特徴点○のマッチングを表す説明図である。It is explanatory drawing showing matching of the representative feature point (circle) with respect to an analysis object image. 解析対象画像に対する代表特徴点○及び□のマッチングを表す説明図である。It is explanatory drawing showing matching of the representative feature points (circle) and (square) with respect to an analysis object image. 解析対象画像に対する単一特徴点△及び×のマッチングを表す説明図である。It is explanatory drawing showing matching of single feature point (DELTA) and x with respect to an analysis object image. 本発明の画像解析サーバを有するシステム構成図である。It is a system configuration diagram having an image analysis server of the present invention. 参照画像を抽出する機能を有する画像解析装置の機能構成図である。It is a functional block diagram of the image analysis apparatus which has the function to extract a reference image.

以下、本発明の実施の形態について、図面を用いて詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図３は、本発明における画像解析装置の機能構成図である。   FIG. 3 is a functional configuration diagram of the image analysis apparatus according to the present invention.

画像解析装置１は、解析対象画像の中から参照画像に基づく物体を認識する。解析対象画像は、予め蓄積されたものであってもよいし、インタフェース１００を介して外部から入力されるものであってもよい。インタフェース１００は、ネットワークに接続する通信インタフェースであってもよいし、ユーザからの入力インタフェースであってもよい。   The image analysis apparatus 1 recognizes an object based on the reference image from the analysis target image. The analysis target image may be stored in advance or may be input from the outside via the interface 100. The interface 100 may be a communication interface connected to a network or an input interface from a user.

図３によれば、画像解析装置１は、解析対象画像について、解析対象画像受信部１０１と、解析対象用特徴点抽出部１１１と、特徴点マッチング部１１２と、解析対象用分布密度検出部１１３と、物体認識部１１４と、アプリケーション処理部１１５とを有する。また、検出すべき物体が映る参照画像について、参照画像蓄積部１２０と、参照用特徴点抽出部１２１と、参照用類似特徴点検出部１２２と、参照用代表特徴点選択部１２３と、参照用分布密度検出部１２４とを有する。これら機能構成部は、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成からなる処理の流れは、装置における画像解析方法としても理解される。   According to FIG. 3, the image analysis apparatus 1 analyzes an analysis target image, an analysis target image receiving unit 101, an analysis target feature point extraction unit 111, a feature point matching unit 112, and an analysis target distribution density detection unit 113. And an object recognition unit 114 and an application processing unit 115. For a reference image showing an object to be detected, a reference image storage unit 120, a reference feature point extraction unit 121, a reference similar feature point detection unit 122, a reference representative feature point selection unit 123, and a reference image And a distribution density detector 124. These functional components are realized by executing a program that causes a computer installed in the image analysis apparatus to function. Further, the flow of processing comprising these functional configurations is understood as an image analysis method in the apparatus.

最初に、参照画像に対する処理について説明する。   First, processing for a reference image will be described.

［参照画像蓄積部１２０］
参照画像蓄積部１２０は、参照画像と、当該参照画像に基づく物体の識別情報とを対応付けて蓄積する。「参照画像」とは、解析対象画像の中から認識すべき物体の画像である。参照画像は、ユーザから受信することによって蓄積されるものであってもよいし、予め所定の参照画像が蓄積されたものであってもよい。 [Reference image storage unit 120]
The reference image storage unit 120 stores the reference image and the object identification information based on the reference image in association with each other. The “reference image” is an image of an object to be recognized from the analysis target image. The reference image may be stored by being received from the user, or may be a predetermined reference image stored in advance.

［参照用特徴点抽出部１２１］
参照用特徴点抽出部１２１は、参照画像から多数の特徴点を抽出する。「特徴点」とは、画像中の局所的な領域の視覚的な特徴を表す点であって、例えばＳＩＦＴ(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded Up Robust Features)を用いて検出することができる。特徴点は、例えば複数次元のベクトルの特徴量で表される。
ＳＩＦＴとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴量を記述する技術である。
ＳＩＦＴによれば、特徴点を検出するために、以下の２つのステップを要する。
（Ｓ１）スケールスペースの極値探索によってキーポイント及びスケールを決定する。
（Ｓ２）決定されたキーポイントの中で、主曲率及びコントラストによって安定したキーポイントに絞り込む。
また、Interest演算子を作用させてコーナやライン交差などの局所特徴点を抽出する技術もある（例えば非特許文献１参照）。
抽出された多数の特徴点は、参照用類似特徴点検出部１２２へ出力される。 [Reference Feature Point Extraction Unit 121]
The reference feature point extraction unit 121 extracts a large number of feature points from the reference image. A “feature point” is a point that represents a visual feature of a local area in an image, and can be detected using, for example, SIFT (Scale-Invariant Feature Transform) or SURF (Speeded Up Robust Features). it can. The feature points are represented by, for example, feature quantities of a multidimensional vector.
SIFT is a technique for analyzing a characteristic local region using a scale space and describing a feature quantity that is invariant to scale change and rotation.
According to SIFT, the following two steps are required to detect feature points.
(S1) A key point and a scale are determined by an extreme value search of the scale space.
(S2) The key points determined are narrowed down to stable key points according to the main curvature and contrast.
There is also a technique for extracting local feature points such as corners and line intersections by applying an Interest operator (see Non-Patent Document 1, for example).
The extracted many feature points are output to the reference similar feature point detection unit 122.

図４は、特徴点抽出部における特徴点の検出を表す説明図である。   FIG. 4 is an explanatory diagram illustrating detection of feature points in the feature point extraction unit.

図４（ａ）によれば、ハブ装置が映る参照画像が表されている。ここで、参照画像には、ハブ装置における複数のポートの領域画像（局所画像）が映っており、これら領域画像は、互いに類似している。   FIG. 4A shows a reference image showing the hub device. Here, the reference image includes region images (local images) of a plurality of ports in the hub device, and these region images are similar to each other.

図４（ｂ）によれば、ハブ装置が映る参照画像から、例えば以下のような多数の特徴点が抽出されている。
特徴点Ａ：特徴点○：ポート
特徴点Ｂ：特徴点□：ジャック
特徴点Ｃ：特徴点◇：コネクタ
特徴点Ｄ：特徴点△：電源スイッチ
特徴点Ｅ：特徴点×：ラベル
ここで、特徴点○、□及び◇は各々、同一類似の特徴点が多数検出されており、「類似特徴点の群」を構成している。一方で、特徴点△及び×は、他に類似する特徴点が存在せず、「単一特徴点」と認められる。 According to FIG. 4B, for example, the following many feature points are extracted from the reference image showing the hub device.
Feature point A: Feature point ○: Port Feature point B: Feature point □: Jack Feature point C: Feature point ◇: Connector Feature point D: Feature point △: Power switch Feature point E: Feature point ×: Label Here, feature Each of the points ○, □, and ◇ has a large number of the same and similar feature points, and constitutes a “group of similar feature points”. On the other hand, the feature points Δ and X are recognized as “single feature points” because there are no other similar feature points.

［参照用類似特徴点検出部１２２］
参照用類似特徴点検出部１２２は、参照画像の中から、類似した特徴量を持つ「類似特徴点の群」（クラスタ）を、クラスタリングによって検出する。 [Reference Similar Feature Point Detection Unit 122]
The reference similar feature point detection unit 122 detects a “group of similar feature points” (cluster) having similar feature amounts from the reference image by clustering.

図５は、参照用類似特徴点検出部における特徴点のクラスタリングを表す説明図である。   FIG. 5 is an explanatory diagram illustrating clustering of feature points in the reference similar feature point detection unit.

特徴量の類似度に基づいて、複数の群（例えばｋ個のクラスタ）にクラスタリングされる。そのために、クラスタ毎に、特徴点が存在する個数が異なる。ｋ個のクラスタにクラスタリングする技術としては、例えばk-means方式がある。   Clustering is performed on a plurality of groups (for example, k clusters) based on the similarity of the feature quantities. Therefore, the number of feature points is different for each cluster. As a technique for clustering into k clusters, for example, there is a k-means method.

図５によれば、複数の類似特徴点を含む群と、単一の特徴点のみの群とに区分されている。ここで、参照画像の中に、他に類似した特徴量が無い特徴点は、「単一特徴点」として検出される。   According to FIG. 5, it is divided into a group including a plurality of similar feature points and a group having only a single feature point. Here, a feature point having no other similar feature amount in the reference image is detected as a “single feature point”.

［参照用代表特徴点選択部１２３］
参照用代表特徴点選択部１２３は、参照画像について、類似特徴点の群毎に１つの代表特徴点を選択する。代表特徴点は、類似特徴点の群の中の、いずれの特徴点であってもよい。代表特徴点は、特徴点マッチング部１１２へ出力される。 [Reference representative feature point selection unit 123]
The reference representative feature point selection unit 123 selects one representative feature point for each group of similar feature points for the reference image. The representative feature point may be any feature point in the group of similar feature points. The representative feature points are output to the feature point matching unit 112.

［参照用分布密度検出部１２４］
参照用分布密度検出部１２４は、参照画像の中から検出された、類似特徴点の群毎における分布密度を検出する。「分布密度」とは、空間的な所定範囲内における特徴点の数（密度）をいう。類似特徴点の群毎の分布密度は、物体認識部１１４へ出力される。 [Reference distribution density detector 124]
The reference distribution density detector 124 detects the distribution density of each group of similar feature points detected from the reference image. “Distribution density” refers to the number (density) of feature points within a predetermined spatial range. The distribution density for each group of similar feature points is output to the object recognition unit 114.

前述した参照画像における処理は、事前に、参照画像から、代表特徴点及び分布密度が検出されていてもよい。勿論、参照画像に対する処理を第１の装置で実行し、解析対象画像に対する処理を第２の装置でするようにしてもよい。第２の装置内で、参照画像における代表特徴点及び分布密度を、参照画像蓄積部に予め蓄積しておくことによって、リアルタイムに実行すべき処理は、以下で説明する解析対象画像における処理のみとなる。   In the processing for the reference image described above, the representative feature points and the distribution density may be detected from the reference image in advance. Of course, the processing for the reference image may be executed by the first device, and the processing for the analysis target image may be performed by the second device. In the second apparatus, the representative feature points and distribution density in the reference image are stored in advance in the reference image storage unit, so that processing to be executed in real time is only processing in the analysis target image described below. Become.

［解析対象画像受信部１０１］
解析対象画像受信部１０１は、インタフェース１００を介して、解析対象画像を受信し、その解析対象画像を特徴点抽出部１１２へ出力する。 [Analysis Target Image Receiving Unit 101]
The analysis target image receiving unit 101 receives the analysis target image via the interface 100 and outputs the analysis target image to the feature point extraction unit 112.

［解析対象用特徴点抽出部１１１］
解析対象用特徴点抽出部１１１は、参照用特徴点抽出部１２１と同様に、解析対象画像の中から、多数の特徴点を抽出する。抽出された多数の特徴点は、特徴点マッチング部１１２へ出力される。 [Feature Point Extraction Unit 111 for Analysis Object]
Similar to the reference feature point extraction unit 121, the analysis target feature point extraction unit 111 extracts a large number of feature points from the analysis target image. The extracted many feature points are output to the feature point matching unit 112.

［特徴点マッチング部１１２］
特徴点マッチング部１１２は、解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する（後述する図６〜８参照）。また、解析対象画像の中から、単一特徴点に類似する特徴点もマッチングによって検出する。マッチングによって検出された特徴点の分布によって、解析対象画像内における、参照画像に基づく物体のおよその位置を推定することができる。代表特徴点毎に検出された画像上の座標情報は、解析対象用分布密度検出部１１３へ出力される。また、単一特徴点毎に検出された画像上の座標情報は、物体認識部１１４へ出力される。 [Feature Point Matching Unit 112]
The feature point matching unit 112 detects a feature point similar to the representative feature point from the analysis target image by matching (see FIGS. 6 to 8 described later). Also, feature points similar to a single feature point are detected from the analysis target image by matching. The approximate position of the object based on the reference image in the analysis target image can be estimated from the distribution of the feature points detected by the matching. The coordinate information on the image detected for each representative feature point is output to the distribution density detecting unit 113 for analysis. Also, the coordinate information on the image detected for each single feature point is output to the object recognition unit 114.

［解析対象用分布密度検出部１１３］
解析対象用分布密度検出部１１３は、参照用分布密度検出部１２４と同様に、解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する。代表特徴点に類似する特徴点の群毎の分布密度は、物体認識部１１４へ出力される。 [Analysis target distribution density detector 113]
Similar to the reference distribution density detection unit 124, the analysis target distribution density detection unit 113 detects the distribution density for each group of feature points similar to the representative feature points detected from the analysis target image. The distribution density of each feature point group similar to the representative feature point is output to the object recognition unit 114.

［物体認識部１１４］
物体認識部１１４は、代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体が、解析対象画像のその位置に存在する（映っている）と推定できる。このとき、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける。 [Object recognition unit 114]
When the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range for each representative feature point, the object recognition unit 114 determines that the object based on the reference image is the analysis target image. It can be presumed that it exists at that position. At this time, the object identification information based on the reference image is associated with the object shown in the analysis target image.

物体が映る参照画像には、通常、複数の類似特徴点の群が存在し、それによって複数の代表特徴点が検出される。この物体が存在する領域は、限定された大きさであって、その限定された範囲に複数の類似した特徴量を持つ特徴点が存在する。解析対象画像に同一の物体が複数映っている場合であっても、互いに所定の距離以上離れた位置にある特徴点同士は、同様に存在する。   A reference image in which an object is shown usually has a group of a plurality of similar feature points, and a plurality of representative feature points are detected thereby. The region where the object exists is limited in size, and there are feature points having a plurality of similar feature amounts in the limited range. Even in the case where a plurality of the same objects are shown in the analysis target image, feature points that are located at a predetermined distance or more away from each other are similarly present.

物体認識部１１４は、解析対象画像に、参照画像に映る物体の位置範囲を検出した後、更に、その位置範囲について、単一特徴点の存在を検出する。参照画像に存在する単一特徴点が、解析対象画像に映る物体の位置範囲に存在しない場合、参照画像に基づく物体は存在しないと認識する。また、例えば同一物体中に多数の代表特徴点が存在する場合など、代表特徴点のみで物体認識が十分な精度で行えると想定される場合は、代表特徴点のマッチング結果のみで物体を検出してもよい。   After detecting the position range of the object shown in the reference image in the analysis target image, the object recognition unit 114 further detects the presence of a single feature point in the position range. When a single feature point existing in the reference image does not exist in the position range of the object shown in the analysis target image, it is recognized that there is no object based on the reference image. In addition, for example, when there are a large number of representative feature points in the same object, it is assumed that object recognition can be performed with sufficient accuracy using only the representative feature points. May be.

そして、物体認識部１１４は、解析対象画像に映ると認識した物体の識別番号を、アプリケーション処理部１１５へ出力する。また、物体認識部１１４は、物体の識別番号と共に、解析対象画像についてその物体が映る部分の座標情報も、アプリケ-ション処理部１１５へ出力することも好ましい。   Then, the object recognition unit 114 outputs the identification number of the object recognized as being reflected in the analysis target image to the application processing unit 115. The object recognizing unit 114 preferably also outputs to the application processing unit 115 the coordinate information of the portion of the analysis target image where the object is reflected, together with the object identification number.

アプリケーション処理部１１５は、解析対象画像に対する様々なサービスを、ユーザに提供することができる。   The application processing unit 115 can provide the user with various services for the analysis target image.

更に以下では、［特徴点マッチング部１１２］の処理について具体的に説明する。   Further, the processing of the [feature point matching unit 112] will be specifically described below.

図６は、解析対象画像に対する代表特徴点○のマッチングを表す説明図である。   FIG. 6 is an explanatory diagram showing the matching of the representative feature points ○ to the analysis target image.

図６（ａ）によれば、点線で囲まれた類似特徴点○の群に、１つの代表特徴点○が選択されている（前述の代表特徴点選択部１２３参照）。   According to FIG. 6A, one representative feature point ○ is selected in the group of similar feature points ○ surrounded by a dotted line (see the representative feature point selection unit 123 described above).

図６（ｂ）によれば、解析対象画像の中から、その代表特徴点○と同一類似の特徴点が、マッチングによって検出されている。解析対象画像の中で、参照画像の物体が映る部分には、代表特徴点と同一類似の特徴点が多数存在する。即ち、特徴点○の分布密度は、高い。このような部分は、参照画像の物体が存在する可能性が高いといえる。一方で、解析対象画像における特徴点○の中で、離れた位置に単独で存在する特徴点○もある。このように、解析対象画像における特徴点○の分布密度が、参照画像における特徴点○の分布密度よりも低い場合、ノイズの可能性が高いといえる。   According to FIG. 6B, a feature point similar to the representative feature point ○ is detected from the analysis target image by matching. In the analysis target image, there are a lot of feature points similar to the representative feature points in the portion where the object of the reference image is reflected. That is, the distribution density of the feature points ○ is high. It can be said that such a portion has a high possibility that an object of the reference image exists. On the other hand, among the feature points ◯ in the analysis target image, there are also feature points ◯ that exist independently at distant positions. Thus, if the distribution density of the feature points in the analysis target image is lower than the distribution density of the feature points in the reference image, it can be said that the possibility of noise is high.

図７は、解析対象画像に対する代表特徴点○及び□のマッチングを表す説明図である。   FIG. 7 is an explanatory diagram showing the matching of the representative feature points ○ and □ to the analysis target image.

図７（ａ）によれば、更に点線で囲まれた類似特徴点□の群に、１つの代表特徴点□が選択されている。   According to FIG. 7A, one representative feature point □ is selected in a group of similar feature points □ further surrounded by a dotted line.

図７（ｂ）によれば、解析対象画像の中から、更にその代表特徴点□と同一類似の特徴点が、マッチングによって検出されている。図６（ｂ）と比較して、複数の代表特徴点についてマッチングをすることによって、物体の存在位置における認識精度を向上させることができる。   According to FIG. 7B, a feature point similar to the representative feature point □ is further detected from the analysis target image by matching. Compared to FIG. 6B, the recognition accuracy at the position where the object exists can be improved by matching a plurality of representative feature points.

このように、解析対象画像について、代表特徴点と同一類似の特徴点が密集した画像領域の分布密度と、参照画像について、代表特徴点と同一類似の類似特徴点が密集した画像領域の分布密度とが、同一又は微差である場合、解析対象画像に、参照画像の物体が映っていると認識できる。また、解析対象画像でオクルージョンが多く生じることを想定し、分布密度の比較で、一定の閾値を設けて判別してもよい。例えば、解析対象画像中のある類似特徴点の分布密度が、参照画像中での同類似特徴点の分布密度に係数（事前に決められた０〜１までの実数）を乗算した値以上であることを判別条件とすることである。   As described above, the distribution density of the image area in which the same feature points similar to the representative feature points are dense for the analysis target image, and the distribution density of the image area in which the similar feature points similar to the representative feature points are dense for the reference image. Can be recognized that the object of the reference image is reflected in the analysis target image. Further, assuming that a lot of occlusion occurs in the analysis target image, it may be determined by providing a certain threshold value in the comparison of distribution density. For example, the distribution density of certain similar feature points in the analysis target image is equal to or greater than a value obtained by multiplying the distribution density of the similar feature points in the reference image by a coefficient (a real number determined in advance from 0 to 1). This is to make the determination condition.

図８は、解析対象画像に対する単一特徴点△及び×のマッチングを表す説明図である。   FIG. 8 is an explanatory diagram showing matching of single feature points Δ and X to the analysis target image.

図８（ａ）によれば、他に類似する特徴点が存在しない、単一特徴点△及び×が表されている。   FIG. 8A shows single feature points Δ and X in which there are no other similar feature points.

図８（ｂ）によれば、解析対象画像の中から、単一特徴点△及び×と同一類似の特徴点が、マッチングによって検出されている。図６（ｂ）及び図７（ｂ）によって認識された物体の画像範囲に対して、更に単一特徴点の存在についてマッチングをすることによって、物体の存在位置における認識精度を更に向上させることができる。   According to FIG. 8B, feature points similar to the single feature points Δ and X are detected from the analysis target image by matching. By further matching the presence of a single feature point with the image range of the object recognized according to FIGS. 6B and 7B, the recognition accuracy at the position where the object exists can be further improved. it can.

ここで、図６（ｂ）及び図７（ｂ）によって認識された物体の画像範囲以外の部分について、マッチングをする必要はない。即ち、解析対象画像の全体について、単一特徴点をマッチングする必要はない。あくまで、類似特徴点によって認識された物体に対して、単一特徴点によってマッチングすることによってその認識精度を高めることができる。   Here, it is not necessary to perform matching for a portion other than the image range of the object recognized by FIGS. 6B and 7B. That is, it is not necessary to match a single feature point for the entire analysis target image. The recognition accuracy can be increased by matching an object recognized by similar feature points with a single feature point.

更に以下では、特徴点マッチング部１１２における他の実施形態について説明する。   Further, another embodiment in the feature point matching unit 112 will be described below.

［特徴点マッチング部における第１の実施形態］
例えば、解析対象画像に、物体が３つ映っているとする（図８と同様）。このとき、参照画像に、以下の特徴点が存在しているとする。
多数の類似特徴点に基づく代表特徴点 ：Ａ、Ｂ、Ｃ
類似する特徴点が存在しない単一特徴点：Ｄ、Ｅ
この場合、解析対象画像には、代表特徴点Ａとマッチする特徴点が密集した画像領域が、３つ（例えばＡ−１、Ａ−２、Ａ−３とする）見つかるはずである。また、代表特徴点Ｂ及びＣ並びに単一特徴点Ｄ及びＥについても、同様に３つずつ（Ｂ−１、Ｂ−２、Ｂ−３、Ｃ−１、・・・）見つかるはずである。 [First Embodiment in Feature Point Matching Unit]
For example, assume that three objects appear in the analysis target image (similar to FIG. 8). At this time, it is assumed that the following feature points exist in the reference image.
Representative feature points based on many similar feature points: A, B, C
Single feature points that do not have similar feature points: D, E
In this case, in the analysis target image, three image areas (for example, A-1, A-2, and A-3) where feature points matching the representative feature point A are dense should be found. Similarly, three representative features (B-1, B-2, B-3, C-1,...) Should be found for the representative feature points B and C and the single feature points D and E as well.

ここで、解析対象画像について、代表特徴点Ａとマッチした特徴点の群によって、その参照画像の物体が存在すると推定するものであってもよいし、更に、代表特徴点Ｂ及びＣとマッチした特徴点の群を更に検出することによって、その物体の存在を更に精度高く認識するものであってもよい。   Here, with respect to the analysis target image, it may be estimated that the object of the reference image exists by a group of feature points matched with the representative feature point A, and further matched with the representative feature points B and C. The presence of the object may be recognized with higher accuracy by further detecting a group of feature points.

更に、解析対象画像について、単一特徴点Ｄ、Ｅとマッチした特徴点が、代表特徴点によって認識した物体の画像領域周辺に存在することによって、その物体の存在を更に精度高く認識するものであってもよい。   Furthermore, with respect to the analysis target image, the feature points that match the single feature points D and E exist around the image area of the object recognized by the representative feature points, thereby recognizing the existence of the object with higher accuracy. There may be.

このように、代表特徴点及び単一特徴点の全てについてマッチングするか、代表特徴点のみマッチングするか否かは、所望される認識精度や認識対象となる物体の特徴点の分布特性（例えば、認識対象の物体が多数の異なる類似特徴点群を含んでいる状態、等）に応じた設計事項として決定することができる。   As described above, whether all of the representative feature points and the single feature points are matched or only the representative feature points are matched depends on the desired recognition accuracy and the distribution characteristics of the feature points of the object to be recognized (for example, It can be determined as a design item according to a state in which the recognition target object includes a large number of different similar feature points.

［特徴点マッチング部における第２の実施形態］
複数の参照画像があり、それら画像が同一類似の代表特徴点を持つ場合であっても、いずれの参照画像の物体であるかを区別することができる。
参照画像１：代表特徴点Ａ 、Ｂ、Ｃ
参照画像２：代表特徴点Ａ' 、Ｄ、Ｅ
参照画像３：代表特徴点Ａ''、Ｆ、Ｇ
※Ａ≒Ａ'≒Ａ''の特徴量同士は互いに類似している。 [Second Embodiment in Feature Point Matching Unit]
Even when there are a plurality of reference images and the images have the same and similar representative feature points, it is possible to distinguish which of the reference images is an object.
Reference image 1: representative feature points A, B, C
Reference image 2: representative feature points A ′, D, E
Reference image 3: representative feature points A ″, F, G
* The feature quantities A≈A′≈A ″ are similar to each other.

ここで、解析対象画像内に、代表特徴点Ａ、Ａ'、Ａ''のいずれにもマッチする特徴点が密集した領域が存在する場合がある。この場合、３つの参照画像（３つの物体）の何れが存在するかを判定することはできない。このような場合、次に多い代表特徴点Ｂにマッチする特徴点が密集している画像領域を検出することによって、ＡＮＤ条件として区別することができる。   Here, there may be a region in the analysis target image where feature points that match any of the representative feature points A, A ′, and A ″ are dense. In this case, it cannot be determined which of the three reference images (three objects) exists. In such a case, it can be distinguished as an AND condition by detecting an image region where feature points matching the next most representative feature point B are dense.

例えば解析対象画像内に、代表特徴点Ａ、Ａ'、Ａ''のいずれにもマッチする特徴点が密集した画像領域が存在した場合、その所定範囲に更に単一特徴点Ｂが存在するならば、その画像領域は、参照画像１に基づく物体が映っていることを認識することができる。   For example, if there is an image region in which feature points that match any of the representative feature points A, A ′, and A ″ exist in the analysis target image, and if there is a single feature point B in the predetermined range, For example, the image region can recognize that an object based on the reference image 1 is reflected.

また、参照画像について、類似する代表特徴点Ａ≒Ａ'≒Ａ''の存在が事前に分かっている場合、これら代表特徴点のマッチングをまとめることも好ましい。例えば代表特徴点Ａのマッチングについて、その特徴量の類似範囲を多少拡げることによって、代表特徴点Ａの類似範囲に代表特徴点Ａ'、Ａ''を含めることができる。これによって、代表特徴点Ａのみのマッチングで、代表特徴点Ａ、Ａ'、Ａ''のそれぞれのマッチングを行ったのと同じ効果を得られる。   In addition, when the presence of similar representative feature points A≈A′≈A ″ is known in advance for the reference image, matching of these representative feature points is also preferably summarized. For example, the representative feature points A ′ and A ″ can be included in the similar range of the representative feature point A by slightly expanding the similar range of the feature amount for the matching of the representative feature point A. As a result, only the representative feature point A can be matched, and the same effect can be obtained as when the representative feature points A, A ′, A ″ are matched.

［特徴点マッチング部における第３の実施形態］
マッチング処理について、前述したように全ての代表特徴点及び単一特徴点についてマッチングする技術によれば、不都合な場合を生じる。これは、解析対象画像に、オクルージョン（認識対象物体の部分的な隠れ）が生じた場合である。この場合、解析対象画像に、参照画像に基づく物体が映っているものの、一部のオクルージョンによって、その物体を認識でききなくなる。 [Third Embodiment in Feature Point Matching Unit]
As described above, the matching process for all the representative feature points and the single feature points causes inconvenient cases. This is a case where occlusion (partial hiding of the recognition target object) occurs in the analysis target image. In this case, although an object based on the reference image is shown in the analysis target image, the object cannot be recognized due to some occlusion.

例えば、前述した第２の実施形態について、例えば解析対象画像内に、参照画像１に基づく物体（代表特徴点Ａ，Ｂ，Ｃとマッチする特徴点群ＡＸ、ＢＸ、ＣＸを全て含む物体）が映っているにも関わらず、代表特徴点Ｂとマッチする特徴点群ＢＸがオクルージョンによって映っていない場合を想定する。
解析対象画像：物体１＝Ａ１，Ｂ１，Ｃ１
物体２＝Ａ２，(Ｂ２)，Ｃ２
（Ｂ２がオクルージョンによって隠れている）
物体３＝Ａ３，Ｂ３，Ｃ３
この場合、代表特徴点Ａ及びＣとマッチする３つの特徴点群のうち、解析対象画像内では、参照画像１とマッチする領域（特徴点群ＡＸ、ＢＸ、ＣＸを全て持つ領域）は２つしか見つからないことになる。 For example, in the above-described second embodiment, for example, an object based on the reference image 1 (an object including all the feature point groups AX, BX, and CX matching the representative feature points A, B, and C) is included in the analysis target image. It is assumed that the feature point group BX that matches the representative feature point B is not reflected by occlusion even though it is reflected.
Analysis target image: Object 1 = A1, B1, C1
Object 2 = A2, (B2), C2
(B2 is hidden by occlusion)
Object 3 = A3, B3, C3
In this case, of the three feature point groups that match the representative feature points A and C, there are two regions (regions having all the feature point groups AX, BX, and CX) that match the reference image 1 in the analysis target image. It will only be found.

そこで、例えばこの認識条件について、特徴点群ＡＸ，ＢＸ，ＣＸの中で、いずれか２つが存在する場合、その物体が存在すると認識するものであってもよい。例えば、特徴点群ＡＸとＢＸ、特徴点群ＡＸとＣＸ、又は、特徴点群ＢＸとＣＸ、の組合せのいずれかが存在する場合である。但し、マッチングに利用する特徴点群の数が減るために、物体認識の精度が下がる可能性がある。   Therefore, for example, when any two of the feature point groups AX, BX, and CX exist in this recognition condition, it may be recognized that the object exists. For example, this is a case where any one of the feature point groups AX and BX, the feature point groups AX and CX, or the combination of the feature point groups BX and CX exists. However, since the number of feature points used for matching is reduced, the accuracy of object recognition may be reduced.

［特徴点マッチング部における第４の実施形態］
他の認識条件として、代表特徴点Ａ、Ｂ、Ｃのいずれか１つとマッチする密集領域（特徴点群を含む領域）が存在し、かつ、参照画像１が持つ単一特徴点をその近傍に含む場合に、その物体が存在すると認識するものであってもよい。単一特徴点を用いることによって、以下のように、類似した代表特徴点を持つ物体同士の認識にも有効である。
参照画像４：代表特徴点Ａ、Ｂ
参照画像５：代表特徴点Ａ'、Ｂ'
参照画像６：代表特徴点Ａ''、Ｂ''、Ｃ
※Ａ≒Ａ'≒Ａ''、Ｂ≒Ｂ'≒Ｂ''、これらの特徴量同士は互いに類似している。 [Fourth Embodiment in Feature Point Matching Unit]
As another recognition condition, there is a dense region (a region including a feature point group) that matches any one of the representative feature points A, B, and C, and a single feature point of the reference image 1 is in the vicinity thereof. If it is included, it may be recognized that the object exists. By using a single feature point, it is effective for recognizing objects having similar representative feature points as follows.
Reference image 4: representative feature points A and B
Reference image 5: representative feature points A ′ and B ′
Reference image 6: representative feature points A ″, B ″, C
* A≈A′≈A ″, B≈B′≈B ″, and these feature quantities are similar to each other.

例えば、解析対象画像内では、代表特徴点Ａ（Ａ'、Ａ''ともマッチ）、Ｂ（Ｂ'、Ｂ''ともマッチ）、Ｃと、マッチする３つの密集領域が存在する場合、その領域は、参照画像６の物体が存在する可能性が高いといえる。
また、解析対象画像内では、代表特徴点Ａ（Ａ'、Ａ''ともマッチ）、Ｂ（Ｂ'、Ｂ''ともマッチ）と、マッチする２つの密集領域が存在する場合、その領域は、参照画像４，５，６の物体のいずれかが存在する領域であるといえる（但し、参照画像６についても、オクルージョンの影響でこの条件にマッチする場合もある）。この場合、単一特徴点のマッチングによって、１つの参照画像の物体に絞り込むことができる。 For example, if there are three dense regions that match the representative feature points A (matches A ′ and A ″), B (matches B ′ and B ″), and C in the analysis target image, It can be said that there is a high possibility that the object of the reference image 6 exists in the region.
In the analysis target image, if there are two dense regions that match the representative feature points A (matches A ′ and A ″) and B (matches B ′ and B ″), the region is Thus, it can be said that any one of the objects of the reference images 4, 5 and 6 exists (however, the reference image 6 may also match this condition due to the influence of occlusion). In this case, it is possible to narrow down to an object of one reference image by matching single feature points.

図９は、本発明の画像解析サーバを有するシステム構成図である。   FIG. 9 is a system configuration diagram having the image analysis server of the present invention.

図９によれば、画像解析サーバ１が、インターネットに接続されており、端末２及び参照画像データベース３と通信することができる。参照画像データベース３は、参照画像を蓄積したデータベースであって、画像解析サーバ１は、参照画像データベース３から参照画像を取得する。このとき、データベースは画像と合わせて特徴点の情報を保持していても良く、その場合には特徴点の情報をサーバに取得させる。参照画像には、その物体を特定する物体識別情報も付加されている。   According to FIG. 9, the image analysis server 1 is connected to the Internet and can communicate with the terminal 2 and the reference image database 3. The reference image database 3 is a database that stores reference images, and the image analysis server 1 acquires reference images from the reference image database 3. At this time, the database may hold feature point information together with the image. In this case, the feature point information is acquired by the server. Object identification information for identifying the object is also added to the reference image.

一方で、端末２は、アクセスネットワークを介してインターネットに接続し、画像解析サーバ１へ、ユーザの操作に応じた解析対象画像を送信する。これに対し、画像解析サーバ１は、その認識結果となる認識物体情報を、端末２へ返信する。   On the other hand, the terminal 2 is connected to the Internet via an access network, and transmits an analysis target image corresponding to a user operation to the image analysis server 1. In response to this, the image analysis server 1 returns the recognized object information as the recognition result to the terminal 2.

図１０は、参照画像を抽出する機能を有する画像解析サーバの機能構成図である。   FIG. 10 is a functional configuration diagram of an image analysis server having a function of extracting a reference image.

図１０によれば、図３の画像解析装置１を、ネットワークに接続された画像解析サーバの実施形態として表されている。   According to FIG. 10, the image analysis apparatus 1 of FIG. 3 is represented as an embodiment of an image analysis server connected to a network.

図１１の画像解析装置１によれば、図３の画像解析装置１の全ての機能構成部を有すると共に、認識結果返信部１０２と、参照画像受信部１０３とを更に有する。これら機能構成部も、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。   The image analysis apparatus 1 in FIG. 11 has all the functional components of the image analysis apparatus 1 in FIG. 3, and further includes a recognition result return unit 102 and a reference image reception unit 103. These functional components are also realized by executing a program that causes a computer installed in the image analysis apparatus to function.

認識結果返信部１０２は、物体認識部１１４によって認識された物体の識別番号を、ユーザ操作に基づく端末２へ返信することができる。端末２は、送信した解析対象画像内に映る物体を知ることができる。これによって、端末２内で起動しているアプリケーション処理部が様々なサービスを、ユーザに提供することができる。   The recognition result reply unit 102 can reply the identification number of the object recognized by the object recognition unit 114 to the terminal 2 based on the user operation. The terminal 2 can know the object shown in the transmitted analysis target image. Thereby, the application processing unit activated in the terminal 2 can provide various services to the user.

また、認識結果返信部１０２は、物体認識部１１４によって認識された物体の座標を、端末２へ返信することも好ましい。端末２は、解析対象画像内のどの座標位置に、その物体が映っているかどうかを認識することができる。   The recognition result reply unit 102 preferably returns the coordinates of the object recognized by the object recognition unit 114 to the terminal 2. The terminal 2 can recognize at which coordinate position in the analysis target image the object is reflected.

参照画像受信部１０３は、通信インタフェース１００を介して、参照画像を受信し、その参照画像を参照画像蓄積部１２１へ出力する。これによって、ユーザ操作に基づく端末２から受信した参照画像を、画像解析サーバ１内で蓄積することができる。   The reference image receiving unit 103 receives a reference image via the communication interface 100 and outputs the reference image to the reference image storage unit 121. Thereby, the reference image received from the terminal 2 based on the user operation can be stored in the image analysis server 1.

以上、詳細に説明したように、本発明の画像解析装置、サーバ、プログラム及び方法によれば、参照画像中に、同一類似の局所特徴量の特徴点が複数存在する場合であっても、解析対象画像の中から参照画像に基づく物体を認識することができる。   As described above in detail, according to the image analysis apparatus, server, program, and method of the present invention, even when a plurality of feature points of the same local feature amount exist in the reference image, the analysis is performed. An object based on the reference image can be recognized from the target image.

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。   Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.

１ 画像解析装置、画像解析サーバ
１００ インタフェース
１０１ 解析対象画像受信部
１０２ 認識結果返信部
１０３ 参照画像受信部
１１１ 解析対象用特徴点抽出部
１１２ 特徴点マッチング部
１１３ 解析対象用分布密度検出部
１１４ 物体認識部
１１５ アプリケーション処理部
１２０ 参照画像蓄積部
１２１ 参照用特徴点抽出部
１２２ 参照用類似特徴点検出部
１２３ 参照用代表特徴点選択部
１２４ 参照用分布密度検出部
２ 端末
３ 参照画像データベース DESCRIPTION OF SYMBOLS 1 Image analysis apparatus, image analysis server 100 Interface 101 Analysis object image receiving part 102 Recognition result reply part 103 Reference image receiving part 111 Analysis object feature point extraction part 112 Feature point matching part 113 Analysis object distribution density detection part 114 Object recognition Unit 115 Application processing unit 120 Reference image storage unit 121 Reference feature point extraction unit 122 Reference similar feature point detection unit 123 Reference representative feature point selection unit 124 Reference distribution density detection unit 2 Terminal 3 Reference image database

Claims (9)

解析対象画像の中から参照画像に基づく物体を認識する画像解析装置であって、
前記参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
前記参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
前記類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
前記参照画像について、前記類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と、
前記解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有することを特徴とする画像解析装置。 An image analysis apparatus for recognizing an object based on a reference image from among analysis target images,
Reference image storage means for storing the reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extracting means for extracting a large number of feature points from the reference image;
A reference similar feature point detecting means for detecting, by clustering, a group of similar feature points having similar feature amounts from the reference image;
Reference distribution density detecting means for detecting the distribution density of each group of the similar feature points;
For the reference image, reference representative feature point selection means for selecting one representative feature point for each group of similar feature points;
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
Analysis target distribution density detection means for detecting a distribution density for each group of feature points similar to the representative feature points detected from the analysis target image;
When the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range for each representative feature point, object identification information based on the reference image, and the analysis target image An image analysis apparatus comprising object recognition means for associating an object reflected in 前記参照用類似特徴点検出手段は、更に、前記参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
前記特徴点マッチング手段は、前記解析対象画像の中から、前記単一特徴点に類似する特徴点をマッチングによって検出し、
前記物体認識手段は、前記解析対象画像の中で、前記代表特徴点によって前記参照画像の物体が存在すると認識された画像領域に、前記単一特徴点が存在していない場合、前記参照画像に基づく物体は存在しないと認識することを特徴とする請求項１に記載の画像解析装置。 The reference similar feature point detecting means further detects a feature point having no other similar feature quantity in the reference image as a single feature point,
The feature point matching means detects a feature point similar to the single feature point from the analysis target image by matching,
If the single feature point does not exist in the image area in which the object of the reference image is recognized by the representative feature point in the analysis target image, the object recognition unit is added to the reference image. The image analysis apparatus according to claim 1, wherein the image recognition apparatus recognizes that there is no object based thereon. 解析対象画像の中から参照画像に基づく物体を認識するためのものであって、参照画像用の第１の装置と、解析対象画像用の第２の装置とを有する画像解析システムであって、
第１の装置は、
前記参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
前記参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
前記類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
前記参照画像について、前記類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と
を有し、前記参照用分布密度検出手段によって検出された分布密度と、前記参照用代表特徴点選択手段によって検出された代表特徴点とが、第２の装置へ送信され、
第２の装置は、
前記解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有する
ことを特徴とする画像解析システム。 An image analysis system for recognizing an object based on a reference image from among analysis target images, comprising a first device for a reference image and a second device for an analysis target image,
The first device is
Reference image storage means for storing the reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extracting means for extracting a large number of feature points from the reference image;
A reference similar feature point detecting means for detecting, by clustering, a group of similar feature points having similar feature amounts from the reference image;
Reference distribution density detecting means for detecting the distribution density of each group of the similar feature points;
A reference representative feature point selecting unit that selects one representative feature point for each group of similar feature points for the reference image, the distribution density detected by the reference distribution density detecting unit, and the reference Representative feature points detected by the representative feature point selection means are transmitted to the second device,
The second device is
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
Analysis target distribution density detection means for detecting a distribution density for each group of feature points similar to the representative feature points detected from the analysis target image;
When the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range for each representative feature point, object identification information based on the reference image, and the analysis target image An image analysis system comprising object recognition means for associating an object reflected on the screen. 請求項１又は２に記載の画像解析装置における全ての機能を含む画像検索サーバであって、
クライアントから前記解析対象画像を受信し、当該解析対象画像を前記解析対象用特徴点抽出手段へ出力する解析対象画像受信手段と、
前記物体認識手段によって検出された、認識された物体の識別情報と、前記解析対象画像における当該物体の位置情報とを、前記クライアントへ返信する認識結果返信手段と
を更に有することを特徴とする画像検索サーバ。 An image search server including all functions in the image analysis device according to claim 1,
Analysis target image receiving means for receiving the analysis target image from a client and outputting the analysis target image to the analysis target feature point extraction means;
The image further comprising: a recognition result return means for returning the identification information of the recognized object detected by the object recognition means and the position information of the object in the analysis target image to the client. Search server. クライアントから検索キーとなる参照画像を受信し、当該参照画像を前記特徴点抽出手段へ出力する参照画像受信手段を更に有することを特徴とする請求項４に記載の画像検索サーバ。   5. The image search server according to claim 4, further comprising reference image receiving means for receiving a reference image serving as a search key from a client and outputting the reference image to the feature point extracting means. 解析対象画像の中から参照画像に基づく物体を認識するように、装置に搭載されたコンピュータを機能させる画像解析プログラムであって、
前記参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
前記参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
前記類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
前記参照画像について、前記類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と、
前記解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
してコンピュータを機能させることを特徴とする画像解析プログラム。 An image analysis program for causing a computer mounted on the apparatus to function so as to recognize an object based on a reference image from among analysis target images,
Reference image storage means for storing the reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extracting means for extracting a large number of feature points from the reference image;
A reference similar feature point detecting means for detecting, by clustering, a group of similar feature points having similar feature amounts from the reference image;
Reference distribution density detecting means for detecting the distribution density of each group of the similar feature points;
For the reference image, reference representative feature point selection means for selecting one representative feature point for each group of similar feature points;
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
Analysis target distribution density detection means for detecting a distribution density for each group of feature points similar to the representative feature points detected from the analysis target image;
When the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range for each representative feature point, object identification information based on the reference image, and the analysis target image An image analysis program that causes a computer to function as an object recognition means for associating an object reflected in the object. 前記参照用類似特徴点検出手段は、更に、前記参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
前記特徴点マッチング手段は、前記解析対象画像の中から、前記単一特徴点に類似する特徴点をマッチングによって検出し、
前記物体認識手段は、前記解析対象画像の中で、前記代表特徴点によって前記参照画像の物体が存在すると認識された画像領域に、前記単一特徴点が存在していない場合、前記参照画像に基づく物体は存在しないと認識するようにコンピュータを機能させることを特徴とする請求項６に記載の画像解析プログラム。 The reference similar feature point detecting means further detects a feature point having no other similar feature quantity in the reference image as a single feature point,
The feature point matching means detects a feature point similar to the single feature point from the analysis target image by matching,
If the single feature point does not exist in the image area in which the object of the reference image is recognized by the representative feature point in the analysis target image, the object recognition unit is added to the reference image. The image analysis program according to claim 6, wherein the computer functions so as to recognize that there is no object based thereon. 装置に搭載されたコンピュータを用いて、解析対象画像の中から参照画像に基づく物体を認識する画像解析方法であって、
前記参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積部を有し、
前記参照画像に対して、
前記参照画像から多数の特徴点を抽出する第１のステップと、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する第２のステップと、
前記類似特徴点の群毎における分布密度を検出する第３のステップと、
前記参照画像について、前記類似特徴点の群毎に１つの代表特徴点を選択する第４のステップとを有し、
前記解析対象画像に対して、
前記解析対象画像から多数の特徴点を抽出する第１のステップと、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する第２のステップと、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する第３のステップと、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける第４のステップと
を有することを特徴とする画像解析方法。 An image analysis method for recognizing an object based on a reference image from analysis target images using a computer mounted on the apparatus,
A reference image storage unit that stores the reference image and identification information of one object based on the reference image in association with each other;
For the reference image,
A first step of extracting a number of feature points from the reference image;
A second step of detecting, by clustering, a group of similar feature points having similar feature amounts from the reference image;
A third step of detecting a distribution density for each group of the similar feature points;
A fourth step of selecting one representative feature point for each group of the similar feature points for the reference image;
For the analysis target image,
A first step of extracting a large number of feature points from the analysis target image;
A second step of detecting, by matching, a feature point similar to the representative feature point from the analysis target image;
A third step of detecting a distribution density for each group of feature points similar to the representative feature points detected from the analysis target image;
When the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range for each representative feature point, object identification information based on the reference image, and the analysis target image And a fourth step of associating the object reflected in the image. 前記参照画像に対する第２のステップについて、更に、前記参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
前記解析対象画像に対する第２のステップについて、前記解析対象画像の中から、前記単一特徴点に類似する特徴点をマッチングによって検出し、
前記解析対象画像に対する第４のステップについて、前記解析対象画像の中で、前記代表特徴点によって前記参照画像の物体が存在すると認識された画像領域に、前記単一特徴点が存在していない場合、前記参照画像に基づく物体は存在しないと認識することを特徴とする請求項８に記載の画像解析方法。 For the second step with respect to the reference image, further, a feature point having no other similar feature quantity in the reference image is detected as a single feature point,
For the second step on the analysis target image, a feature point similar to the single feature point is detected from the analysis target image by matching,
Regarding the fourth step for the analysis target image, when the single feature point does not exist in the image region in which the object of the reference image is recognized by the representative feature point in the analysis target image The image analysis method according to claim 8, wherein an object based on the reference image is recognized not to exist.
JP2011050957A 2011-03-09 2011-03-09 Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images Expired - Fee Related JP5519556B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011050957A JP5519556B2 (en) 2011-03-09 2011-03-09 Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011050957A JP5519556B2 (en) 2011-03-09 2011-03-09 Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images

Publications (2)

Publication Number Publication Date
JP2012190089A JP2012190089A (en) 2012-10-04
JP5519556B2 true JP5519556B2 (en) 2014-06-11

Family

ID=47083206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011050957A Expired - Fee Related JP5519556B2 (en) 2011-03-09 2011-03-09 Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images

Country Status (1)

Country Link
JP (1) JP5519556B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6950376B2 (en) * 2017-09-01 2021-10-13 日本電信電話株式会社 Image processing device, training image processing device, image identification device, training image processing method, image identification method, and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4753072B2 (en) * 2005-11-14 2011-08-17 独立行政法人産業技術総合研究所 Recognizing multiple billboards in video
JP5347798B2 (en) * 2009-07-23 2013-11-20 日本電気株式会社 Object detection apparatus, object detection method, and object detection program

Also Published As

Publication number Publication date
JP2012190089A (en) 2012-10-04

Similar Documents

Publication Publication Date Title
KR102225093B1 (en) Apparatus and method for estimating camera pose
US10013612B2 (en) Object recognition trait analysis systems and methods
US10210423B2 (en) Image match for featureless objects
JP6143111B2 (en) Object identification device, object identification method, and program
WO2014030400A1 (en) Object discrimination device, object discrimination method, and program
US9076075B2 (en) Method and device for following an object in a sequence of at least two images
KR20110064197A (en) Object recognition system and method the same
JP6128910B2 (en) Learning device, learning method and program
JP6236825B2 (en) Vending machine sales product recognition apparatus, sales product recognition method, and computer program
JP6547903B2 (en) Image processing apparatus, image processing method and storage medium
WO2011142313A1 (en) Object recognition device, method, program, and computer-readable medium upon which software is stored
KR20190018274A (en) Method and apparatus for recognizing a subject existed in an image based on temporal movement or spatial movement of a feature point of the image
US8942515B1 (en) Method and apparatus for image retrieval
JP6541226B2 (en) Information terminal device and program
CN105190689A (en) Image processing including adjoin feature based object detection, and/or bilateral symmetric object segmentation
JP6793925B2 (en) Verification equipment, methods, and programs
JP5519556B2 (en) Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images
KR101715782B1 (en) Object recognition system and method the same
KR20130080743A (en) Method of searching object field by matching the descritor set
JP5084798B2 (en) Application state recognition method, apparatus and program
JP2016018403A (en) Image processing device, image processing system, image processing method, and image processing program
May et al. Analysing false positives and 3D structure to create intelligent thresholding and weighting functions for SIFT features
Badr et al. SIFT-EST-a SIFT-based feature matching algorithm using homography estimation
Astua et al. Detecting Objects for Indoor Monitoring and Surveillance for Mobile Robots
KR20230054252A (en) Apparatus and method for providing object-based image analysis service

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140403

R150 Certificate of patent or registration of utility model

Ref document number: 5519556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees