JP5519556B2 - Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images - Google Patents
Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images Download PDFInfo
- Publication number
- JP5519556B2 JP5519556B2 JP2011050957A JP2011050957A JP5519556B2 JP 5519556 B2 JP5519556 B2 JP 5519556B2 JP 2011050957 A JP2011050957 A JP 2011050957A JP 2011050957 A JP2011050957 A JP 2011050957A JP 5519556 B2 JP5519556 B2 JP 5519556B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- analysis target
- reference image
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、解析対象画像の中から参照画像に基づく物体を認識する画像解析技術に関する。 The present invention relates to an image analysis technique for recognizing an object based on a reference image from analysis target images.
従来、カメラ等のデバイスによって取得された解析対象画像(静止画像又は動画像)を画像解析し、その解析対象画像中に映る物体を認識する技術がある。この技術によれば、物体毎の参照画像を予め蓄積した参照画像蓄積部を有し、解析対象画像に参照画像をマッチングさせることよって、その解析対象画像に映る物体を認識する。 2. Description of the Related Art Conventionally, there is a technique for analyzing an analysis target image (still image or moving image) acquired by a device such as a camera and recognizing an object shown in the analysis target image. According to this technique, the reference image storage unit that stores the reference image for each object in advance is included, and the object reflected in the analysis target image is recognized by matching the reference image with the analysis target image.
また、解析対象画像に映る物体の一部が隠れている場合であっても、参照画像をマッチングさせることができる技術がある(例えば非特許文献1を参照)。この技術によれば、物体全体ではなく、その一部を含む局所領域を、特徴解析の単位として扱う。そのために、解析対象画像及び参照画像の両方について、認識に有用な複数の局所領域を検出する。そして、解析対象画像の中で、参照画像の複数の局所特徴量と最も類似する領域を検出し、物体を認識する。勿論、解析対象画像中における物体の位置も認識する。尚、解析対象画像中の物体の映り方(撮影角度、撮影距離、周辺に存在する物体等の影響による)や、その認識物体自身が持つテクスチャの特性に依存する。
Further, there is a technique that can match a reference image even when a part of an object shown in an analysis target image is hidden (see Non-Patent
更に、学習用データセットを用いた学習制御によって、複数の異なる種類の物体を、精度良く認識する技術もある(例えば特許文献1を参照)。この技術によれば、異なる種類の物体画像の集合を入力し、所定の幾何学的構造を有する局所特徴量を検出する。これら複数の局所特徴量をクラスタリングし、複数の代表局所特徴量を選択する。その代表局所特徴を教師データとして含む学習用データセットを用いて、物体画像から物体を認識する。この技術によれば、物体画像から抽出された局所特徴量の中で、複数の異なる種類の物体を判別するのに有用な特徴量を選別している。 Further, there is a technique for accurately recognizing a plurality of different types of objects by learning control using a learning data set (see, for example, Patent Document 1). According to this technique, a set of different types of object images is input and a local feature amount having a predetermined geometric structure is detected. The plurality of local feature quantities are clustered to select a plurality of representative local feature quantities. An object is recognized from an object image using a learning data set including the representative local feature as teacher data. According to this technique, feature quantities useful for discriminating a plurality of different types of objects are selected from local feature quantities extracted from an object image.
更に、複数の異なる種類の物体を精度良く認識するために、個々の局所特徴量の対応点を分離し、解析対象画像の中で参照画像をマッチングさせる技術もある(例えば特許文献2参照)。この技術によれば、第1に、類似度の高い特徴点のみを残し(認識対象画像)、第2に、残った特徴点にロバスト推定を適用して単一の認識対象が存在すると推定される領域を検出し(参照画像)、第3に、仮に得られた推定領域周辺に対して再度のマッチングと、対応点周辺の画像特徴の類似度とを求める。これによって、推定領域を高精度化した結果を得る。この手順で得られた特定物体の領域内に含まれる特徴点を除いた状態で、更に同じ手順の処理を実行し、特定物体が検出されなくなるまで繰り返す。 Furthermore, in order to recognize a plurality of different types of objects with high accuracy, there is a technique in which corresponding points of individual local feature amounts are separated and a reference image is matched in an analysis target image (see, for example, Patent Document 2). According to this technique, first, only feature points with high similarity are left (recognition target image), and second, it is estimated that a single recognition target exists by applying robust estimation to the remaining feature points. A third region is detected (reference image), and thirdly, the matching of the estimated region and the similarity of the image features around the corresponding points are obtained. As a result, a result obtained by increasing the accuracy of the estimation region is obtained. The processing of the same procedure is further executed in a state where the feature points included in the region of the specific object obtained by this procedure are removed, and the process is repeated until no specific object is detected.
前述した従来技術によれば、参照画像中に、同一類似の局所特徴量の特徴点が複数存在するものについては、十分に考慮されていない。例えば、その物体として、ハブやルータ等のネットワーク機器がある。これらの物体は、複数のLANケーブル接続用のポートなどで、同一類似の特徴点を複数含む。 According to the above-described conventional technique, a case where a plurality of feature points having the same and similar local feature amount exist in the reference image is not sufficiently considered. For example, the object is a network device such as a hub or a router. These objects include a plurality of identical and similar feature points such as a plurality of LAN cable connection ports.
図1は、解析対象画像における物体の認識に失敗した第1の画像例である。 FIG. 1 is a first image example in which recognition of an object in an analysis target image has failed.
図1によれば、ハブ装置を認識するための画像例が表されている。ここで、1台のハブ装置及びその周辺に映る解析対象画像が表されており、上部分に、ハブ装置の参照画像が表されている。ハブ装置は、一般的に、LANケーブルのポートを複数個備えている。ハブ装置の参照画像には、同一のポート画像(同一類似の特徴点)が、複数存在する。同様に、そのハブ装置が映る解析対象画像についても、同一のポート画像が、複数存在する。 FIG. 1 shows an example image for recognizing a hub device. Here, an analysis target image shown in one hub device and its periphery is shown, and a reference image of the hub device is shown in the upper part. The hub device generally includes a plurality of LAN cable ports. A plurality of identical port images (identical similar feature points) exist in the reference image of the hub device. Similarly, there are a plurality of the same port images for the analysis target image in which the hub device is reflected.
ここで、ポートの特徴点は、同一類似の局所特徴量を有する。図1によれば、参照画像の特徴点と、解析対象画像の特徴点とのマッチングを、線で結んで表している。理想的には、ポートの特徴点は、マッチングの線が並列的に並んで結ばれるべきである。しかしながら、図1によれば、類似したポートの特徴点が複数存在するために、入り混じってマッチングされてしまっている。これは、解析対象画像中から参照画像に基づく特定物体の位置や形状を正確に認識できないことを意味する。 Here, the feature point of the port has the same and similar local feature amount. According to FIG. 1, the matching between the feature points of the reference image and the feature points of the analysis target image is represented by a line. Ideally, the port feature points should be connected in parallel with matching lines. However, according to FIG. 1, since there are a plurality of similar port feature points, they are mixed and matched. This means that the position and shape of the specific object based on the reference image cannot be accurately recognized from the analysis target image.
図2は、解析対象画像における物体の認識に失敗した第2の画像例である。 FIG. 2 is a second image example in which recognition of an object in the analysis target image has failed.
図2によれば、図1と比較して、解析対象画像中に2台のハブ装置が映っている。両方のハブ装置には、同一形状のポートが並んでいる。そのために、図2によれば、参照画像の特徴点は、両方のハブ装置の特徴点にまたがって、更に入り混じってマッチングされてしまっている。 According to FIG. 2, as compared with FIG. 1, two hub devices are shown in the analysis target image. Both hub devices are lined with identically shaped ports. For this reason, according to FIG. 2, the feature points of the reference image are further mixed and matched across the feature points of both hub devices.
解析対象画像中に同一の物体A及びBが映る場合、1つの物体の参照画像における特徴点a及び特徴点bについて、特徴点aが、解析対象画像の物体Aの一部の特徴点にマッチングされ、特徴点bが、解析対象画像の物体Bの一部の特徴点にマッチングされている。この場合、解析対象画像中から参照画像の物体を認識する精度は、著しく低下する。特に、特定物体の位置と形状が著しく変形して検出されるか、又は、検出自体ができないという問題が発生する。 When the same objects A and B appear in the analysis target image, for the feature point a and the feature point b in the reference image of one object, the feature point a matches a part of the feature points of the object A in the analysis target image. The feature point b is matched with a part of feature points of the object B of the analysis target image. In this case, the accuracy of recognizing the object of the reference image from the analysis target image is significantly reduced. In particular, there arises a problem that the position and shape of a specific object are detected by being significantly deformed or cannot be detected.
非特許文献1に記載された技術によれば、物体認識について、物体の回転、スケール変化、部分的な隠れに対して頑強な画像解析技術である。しかし、参照画像内での局所特徴量の類似度を考慮するものではない。また、特許文献1に記載された技術によれば、複数の異なる種類の物体の認識精度を向上させるために局所特徴量を選択する技術である。しかし、複数の物体間での局所特徴量の関係性は考慮されている一方で同一物体内に存在する複数の局所特徴量の類似度は考慮されていない。従って、これら技術は、同一の局所特徴量を有する複数の特徴点における物体認識を考慮した技術ではない。
According to the technique described in Non-Patent
更に、特許文献2に記載された技術によれば、参照画像の1つの物体が、解析対象画像に複数映る場合における物体認識を考慮しているが、参照画像に、同一類似の局所特徴量の特徴点が複数映る場合を考慮したものではない。これは、個々の物体の同一物体内に複数の類似した特徴量が存在することにより、個々の物体認識ができなくなることを意味する。従って、解析対象画像内の個々の物体同士のマッチングであれば、物体認識が成功することを前提として、解析対象画像内の複数の物体を認識する特許文献2の技術によれば、結果的に物体認識を誤ることとなる。 Furthermore, according to the technique described in Patent Document 2, object recognition is considered in the case where a single object of a reference image appears in the analysis target image. This is not a case where a plurality of feature points appear. This means that the presence of a plurality of similar feature amounts in the same object of each object makes it impossible to recognize each object. Therefore, according to the technique of Patent Document 2 that recognizes a plurality of objects in the analysis target image on the assumption that the object recognition is successful if matching is made between individual objects in the analysis target image. Object recognition will be wrong.
そこで、本発明は、参照画像中に、同一類似の局所特徴量を持つ特徴点が複数存在する場合であっても、解析対象画像の中から参照画像に基づく物体を認識することができる画像解析装置、サーバ、プログラム及び方法を提供することを目的とする。 Therefore, the present invention provides an image analysis that can recognize an object based on a reference image from among analysis target images even when there are a plurality of feature points having the same local feature amount in the reference image. An object is to provide an apparatus, a server, a program, and a method.
本発明によれば、解析対象画像の中から参照画像に基づく物体を認識する画像解析装置であって、
参照画像と、当該参照画像に基づく1つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
参照画像について、類似特徴点の群毎に1つの代表特徴点を選択する参照用代表特徴点選択手段と、
解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有することを特徴とする。
According to the present invention, an image analysis apparatus for recognizing an object based on a reference image from among analysis target images,
Reference image storage means for storing a reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extraction means for extracting a large number of feature points from the reference image;
A similar feature point detection means for reference for detecting a group of similar feature points having similar feature amounts from a reference image by clustering;
A distribution density detecting means for reference for detecting a distribution density for each group of similar feature points;
A reference representative feature point selecting means for selecting one representative feature point for each group of similar feature points for the reference image;
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
An analysis target distribution density detecting means for detecting a distribution density in each group of feature points similar to the representative feature points detected from the analysis target image;
For each representative feature point, when the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range, the object identification information based on the reference image and the object reflected in the analysis target image And an object recognition means for associating.
本発明の画像解析装置における他の実施形態によれば、
参照用類似特徴点検出手段は、更に、参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
特徴点マッチング手段は、解析対象画像の中から、単一特徴点に類似する特徴点をマッチングによって検出し、
物体認識手段は、解析対象画像の中で、代表特徴点によって参照画像の物体が存在すると認識された画像領域に、単一特徴点が存在していない場合、参照画像に基づく物体は存在しないと認識することを特徴とする。
According to another embodiment of the image analysis apparatus of the present invention,
The reference similar feature point detecting means further detects a feature point having no other similar feature quantity in the reference image as a single feature point,
The feature point matching means detects a feature point similar to a single feature point from the analysis target image by matching,
The object recognizing means determines that there is no object based on the reference image when there is no single feature point in the image area in which the object of the reference image is recognized by the representative feature point in the analysis target image. It is characterized by recognition.
本発明によれば、解析対象画像の中から参照画像に基づく物体を認識するためのものであって、参照画像用の第1の装置と、解析対象画像用の第2の装置とを有する画像解析システムであって、
第1の装置は、
参照画像と、当該参照画像に基づく1つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
参照画像について、類似特徴点の群毎に1つの代表特徴点を選択する参照用代表特徴点選択手段と
を有し、参照用分布密度検出手段によって検出された分布密度と、参照用代表特徴点選択手段によって検出された代表特徴点とが、第2の装置へ送信され、
第2の装置は、
解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有する
ことを特徴とする画像解析システム。
According to the present invention, an image for recognizing an object based on a reference image from among analysis target images, which includes a first device for a reference image and a second device for an analysis target image. An analysis system,
The first device is
Reference image storage means for storing a reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extraction means for extracting a large number of feature points from the reference image;
A similar feature point detection means for reference for detecting a group of similar feature points having similar feature amounts from a reference image by clustering;
A distribution density detecting means for reference for detecting a distribution density for each group of similar feature points;
The reference image includes a reference representative feature point selecting unit that selects one representative feature point for each group of similar feature points, the distribution density detected by the reference distribution density detecting unit, and the reference representative feature point The representative feature points detected by the selection means are transmitted to the second device,
The second device is
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
An analysis target distribution density detecting means for detecting a distribution density in each group of feature points similar to the representative feature points detected from the analysis target image;
For each representative feature point, when the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range, the object identification information based on the reference image and the object reflected in the analysis target image And an object recognizing means for associating with each other.
本発明によれば、前述した画像解析装置における全ての機能を含む画像検索サーバであって、
クライアントから解析対象画像を受信し、当該解析対象画像を解析対象用特徴点抽出手段へ出力する解析対象画像受信手段と、
物体認識手段によって検出された、認識された物体の識別情報と、解析対象画像における当該物体の位置情報とを、クライアントへ返信する認識結果返信手段と
を更に有することを特徴とする。
According to the present invention, there is provided an image search server including all functions in the above-described image analysis device,
Receiving the analysis target image from the client, and outputting the analysis target image to the analysis target feature point extraction unit;
It further comprises recognition result return means for returning the identification information of the recognized object detected by the object recognition means and the position information of the object in the analysis target image to the client.
本発明の画像検索サーバにおける他の実施形態によれば、
クライアントから検索キーとなる参照画像を受信し、当該参照画像を特徴点抽出手段へ出力する参照画像受信手段を更に有するものであってもよい。
According to another embodiment of the image search server of the present invention,
The apparatus may further include a reference image receiving unit that receives a reference image serving as a search key from the client and outputs the reference image to the feature point extracting unit.
本発明によれば、解析対象画像の中から参照画像に基づく物体を認識するように、装置に搭載されたコンピュータを機能させる画像解析プログラムであって、
参照画像と、当該参照画像に基づく1つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
参照画像について、類似特徴点の群毎に1つの代表特徴点を選択する参照用代表特徴点選択手段と、
解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
してコンピュータを機能させることを特徴とする。
According to the present invention, an image analysis program for causing a computer mounted on an apparatus to function so as to recognize an object based on a reference image from among analysis target images,
Reference image storage means for storing a reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extraction means for extracting a large number of feature points from the reference image;
A similar feature point detection means for reference for detecting a group of similar feature points having similar feature amounts from a reference image by clustering;
A distribution density detecting means for reference for detecting a distribution density for each group of similar feature points;
A reference representative feature point selecting means for selecting one representative feature point for each group of similar feature points for the reference image;
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
An analysis target distribution density detecting means for detecting a distribution density in each group of feature points similar to the representative feature points detected from the analysis target image;
For each representative feature point, when the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range, the object identification information based on the reference image and the object reflected in the analysis target image The computer is made to function as an object recognition means for associating the.
本発明の画像解析プログラムにおける他の実施形態によれば、
参照用類似特徴点検出手段は、更に、参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
特徴点マッチング手段は、解析対象画像の中から、単一特徴点に類似する特徴点をマッチングによって検出し、
物体認識手段は、解析対象画像の中で、代表特徴点によって参照画像の物体が存在すると認識された画像領域に、単一特徴点が存在していない場合、参照画像に基づく物体は存在しないと認識するようにコンピュータを機能させるものであってもよい。
According to another embodiment of the image analysis program of the present invention,
The reference similar feature point detecting means further detects a feature point having no other similar feature quantity in the reference image as a single feature point,
The feature point matching means detects a feature point similar to a single feature point from the analysis target image by matching,
The object recognizing means determines that there is no object based on the reference image when there is no single feature point in the image area in which the object of the reference image is recognized by the representative feature point in the analysis target image. The computer may function so as to be recognized.
本発明によれば、装置に搭載されたコンピュータを用いて、解析対象画像の中から参照画像に基づく物体を認識する画像解析方法であって、
参照画像と、当該参照画像に基づく1つの物体の識別情報とを対応付けて蓄積する参照画像蓄積部を有し、
参照画像に対して、
参照画像から多数の特徴点を抽出する第1のステップと、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する第2のステップと、
類似特徴点の群毎における分布密度を検出する第3のステップと、
参照画像について、類似特徴点の群毎に1つの代表特徴点を選択する第4のステップとを有し、
解析対象画像に対して、
解析対象画像から多数の特徴点を抽出する第1のステップと、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する第2のステップと、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する第3のステップと、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける第4のステップと
を有することを特徴とする。
According to the present invention, an image analysis method for recognizing an object based on a reference image from among analysis target images using a computer mounted on the apparatus,
A reference image storage unit that stores the reference image and identification information of one object based on the reference image in association with each other;
For the reference image
A first step of extracting a number of feature points from a reference image;
A second step of detecting, by clustering, a group of similar feature points having similar feature amounts from the reference image;
A third step of detecting a distribution density for each group of similar feature points;
A fourth step of selecting one representative feature point for each group of similar feature points for the reference image;
For the image to be analyzed
A first step of extracting a large number of feature points from the analysis target image;
A second step of detecting, by matching, a feature point similar to the representative feature point from the analysis target image;
A third step of detecting a distribution density for each group of feature points similar to the representative feature points detected from the analysis target image;
For each representative feature point, when the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range, the object identification information based on the reference image and the object reflected in the analysis target image And a fourth step of associating.
本発明の画像解析方法における他の実施形態によれば、
参照画像に対する第2のステップについて、更に、参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
解析対象画像に対する第2のステップについて、解析対象画像の中から、単一特徴点に類似する特徴点をマッチングによって検出し、
解析対象画像に対する第4のステップについて、解析対象画像の中で、代表特徴点によって参照画像の物体が存在すると認識された画像領域に、単一特徴点が存在していない場合、参照画像に基づく物体は存在しないと認識するものであってもよい。
According to another embodiment of the image analysis method of the present invention,
In the second step for the reference image, further, a feature point having no other similar feature amount in the reference image is detected as a single feature point,
In the second step for the analysis target image, a feature point similar to a single feature point is detected from the analysis target image by matching,
Regarding the fourth step for the analysis target image, if there is no single feature point in the image region in the analysis target image that is recognized by the representative feature point as an object of the reference image, the reference image is used. You may recognize that an object does not exist.
本発明の画像解析装置、サーバ、プログラム及び方法によれば、参照画像中に、同一類似の局所特徴量の特徴点が複数存在する場合であっても、解析対象画像の中から参照画像に基づく物体を認識することができる。 According to the image analysis device, the server, the program, and the method of the present invention, the reference image is based on the reference image from among the analysis target images even when a plurality of feature points having the same and similar local feature amount exist in the reference image. An object can be recognized.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図3は、本発明における画像解析装置の機能構成図である。 FIG. 3 is a functional configuration diagram of the image analysis apparatus according to the present invention.
画像解析装置1は、解析対象画像の中から参照画像に基づく物体を認識する。解析対象画像は、予め蓄積されたものであってもよいし、インタフェース100を介して外部から入力されるものであってもよい。インタフェース100は、ネットワークに接続する通信インタフェースであってもよいし、ユーザからの入力インタフェースであってもよい。
The
図3によれば、画像解析装置1は、解析対象画像について、解析対象画像受信部101と、解析対象用特徴点抽出部111と、特徴点マッチング部112と、解析対象用分布密度検出部113と、物体認識部114と、アプリケーション処理部115とを有する。また、検出すべき物体が映る参照画像について、参照画像蓄積部120と、参照用特徴点抽出部121と、参照用類似特徴点検出部122と、参照用代表特徴点選択部123と、参照用分布密度検出部124とを有する。これら機能構成部は、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成からなる処理の流れは、装置における画像解析方法としても理解される。
According to FIG. 3, the
最初に、参照画像に対する処理について説明する。 First, processing for a reference image will be described.
[参照画像蓄積部120]
参照画像蓄積部120は、参照画像と、当該参照画像に基づく物体の識別情報とを対応付けて蓄積する。「参照画像」とは、解析対象画像の中から認識すべき物体の画像である。参照画像は、ユーザから受信することによって蓄積されるものであってもよいし、予め所定の参照画像が蓄積されたものであってもよい。
[Reference image storage unit 120]
The reference
[参照用特徴点抽出部121]
参照用特徴点抽出部121は、参照画像から多数の特徴点を抽出する。「特徴点」とは、画像中の局所的な領域の視覚的な特徴を表す点であって、例えばSIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)を用いて検出することができる。特徴点は、例えば複数次元のベクトルの特徴量で表される。
SIFTとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴量を記述する技術である。
SIFTによれば、特徴点を検出するために、以下の2つのステップを要する。
(S1)スケールスペースの極値探索によってキーポイント及びスケールを決定する。
(S2)決定されたキーポイントの中で、主曲率及びコントラストによって安定したキーポイントに絞り込む。
また、Interest演算子を作用させてコーナやライン交差などの局所特徴点を抽出する技術もある(例えば非特許文献1参照)。
抽出された多数の特徴点は、参照用類似特徴点検出部122へ出力される。
[Reference Feature Point Extraction Unit 121]
The reference feature
SIFT is a technique for analyzing a characteristic local region using a scale space and describing a feature quantity that is invariant to scale change and rotation.
According to SIFT, the following two steps are required to detect feature points.
(S1) A key point and a scale are determined by an extreme value search of the scale space.
(S2) The key points determined are narrowed down to stable key points according to the main curvature and contrast.
There is also a technique for extracting local feature points such as corners and line intersections by applying an Interest operator (see
The extracted many feature points are output to the reference similar feature
図4は、特徴点抽出部における特徴点の検出を表す説明図である。 FIG. 4 is an explanatory diagram illustrating detection of feature points in the feature point extraction unit.
図4(a)によれば、ハブ装置が映る参照画像が表されている。ここで、参照画像には、ハブ装置における複数のポートの領域画像(局所画像)が映っており、これら領域画像は、互いに類似している。 FIG. 4A shows a reference image showing the hub device. Here, the reference image includes region images (local images) of a plurality of ports in the hub device, and these region images are similar to each other.
図4(b)によれば、ハブ装置が映る参照画像から、例えば以下のような多数の特徴点が抽出されている。
特徴点A:特徴点○:ポート
特徴点B:特徴点□:ジャック
特徴点C:特徴点◇:コネクタ
特徴点D:特徴点△:電源スイッチ
特徴点E:特徴点×:ラベル
ここで、特徴点○、□及び◇は各々、同一類似の特徴点が多数検出されており、「類似特徴点の群」を構成している。一方で、特徴点△及び×は、他に類似する特徴点が存在せず、「単一特徴点」と認められる。
According to FIG. 4B, for example, the following many feature points are extracted from the reference image showing the hub device.
Feature point A: Feature point ○: Port Feature point B: Feature point □: Jack Feature point C: Feature point ◇: Connector Feature point D: Feature point △: Power switch Feature point E: Feature point ×: Label Here, feature Each of the points ○, □, and ◇ has a large number of the same and similar feature points, and constitutes a “group of similar feature points”. On the other hand, the feature points Δ and X are recognized as “single feature points” because there are no other similar feature points.
[参照用類似特徴点検出部122]
参照用類似特徴点検出部122は、参照画像の中から、類似した特徴量を持つ「類似特徴点の群」(クラスタ)を、クラスタリングによって検出する。
[Reference Similar Feature Point Detection Unit 122]
The reference similar feature
図5は、参照用類似特徴点検出部における特徴点のクラスタリングを表す説明図である。 FIG. 5 is an explanatory diagram illustrating clustering of feature points in the reference similar feature point detection unit.
特徴量の類似度に基づいて、複数の群(例えばk個のクラスタ)にクラスタリングされる。そのために、クラスタ毎に、特徴点が存在する個数が異なる。k個のクラスタにクラスタリングする技術としては、例えばk-means方式がある。 Clustering is performed on a plurality of groups (for example, k clusters) based on the similarity of the feature quantities. Therefore, the number of feature points is different for each cluster. As a technique for clustering into k clusters, for example, there is a k-means method.
図5によれば、複数の類似特徴点を含む群と、単一の特徴点のみの群とに区分されている。ここで、参照画像の中に、他に類似した特徴量が無い特徴点は、「単一特徴点」として検出される。 According to FIG. 5, it is divided into a group including a plurality of similar feature points and a group having only a single feature point. Here, a feature point having no other similar feature amount in the reference image is detected as a “single feature point”.
[参照用代表特徴点選択部123]
参照用代表特徴点選択部123は、参照画像について、類似特徴点の群毎に1つの代表特徴点を選択する。代表特徴点は、類似特徴点の群の中の、いずれの特徴点であってもよい。代表特徴点は、特徴点マッチング部112へ出力される。
[Reference representative feature point selection unit 123]
The reference representative feature
[参照用分布密度検出部124]
参照用分布密度検出部124は、参照画像の中から検出された、類似特徴点の群毎における分布密度を検出する。「分布密度」とは、空間的な所定範囲内における特徴点の数(密度)をいう。類似特徴点の群毎の分布密度は、物体認識部114へ出力される。
[Reference distribution density detector 124]
The reference
前述した参照画像における処理は、事前に、参照画像から、代表特徴点及び分布密度が検出されていてもよい。勿論、参照画像に対する処理を第1の装置で実行し、解析対象画像に対する処理を第2の装置でするようにしてもよい。第2の装置内で、参照画像における代表特徴点及び分布密度を、参照画像蓄積部に予め蓄積しておくことによって、リアルタイムに実行すべき処理は、以下で説明する解析対象画像における処理のみとなる。 In the processing for the reference image described above, the representative feature points and the distribution density may be detected from the reference image in advance. Of course, the processing for the reference image may be executed by the first device, and the processing for the analysis target image may be performed by the second device. In the second apparatus, the representative feature points and distribution density in the reference image are stored in advance in the reference image storage unit, so that processing to be executed in real time is only processing in the analysis target image described below. Become.
[解析対象画像受信部101]
解析対象画像受信部101は、インタフェース100を介して、解析対象画像を受信し、その解析対象画像を特徴点抽出部112へ出力する。
[Analysis Target Image Receiving Unit 101]
The analysis target
[解析対象用特徴点抽出部111]
解析対象用特徴点抽出部111は、参照用特徴点抽出部121と同様に、解析対象画像の中から、多数の特徴点を抽出する。抽出された多数の特徴点は、特徴点マッチング部112へ出力される。
[Feature
Similar to the reference feature
[特徴点マッチング部112]
特徴点マッチング部112は、解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する(後述する図6〜8参照)。また、解析対象画像の中から、単一特徴点に類似する特徴点もマッチングによって検出する。マッチングによって検出された特徴点の分布によって、解析対象画像内における、参照画像に基づく物体のおよその位置を推定することができる。代表特徴点毎に検出された画像上の座標情報は、解析対象用分布密度検出部113へ出力される。また、単一特徴点毎に検出された画像上の座標情報は、物体認識部114へ出力される。
[Feature Point Matching Unit 112]
The feature
[解析対象用分布密度検出部113]
解析対象用分布密度検出部113は、参照用分布密度検出部124と同様に、解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する。代表特徴点に類似する特徴点の群毎の分布密度は、物体認識部114へ出力される。
[Analysis target distribution density detector 113]
Similar to the reference distribution
[物体認識部114]
物体認識部114は、代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体が、解析対象画像のその位置に存在する(映っている)と推定できる。このとき、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける。
[Object recognition unit 114]
When the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range for each representative feature point, the
物体が映る参照画像には、通常、複数の類似特徴点の群が存在し、それによって複数の代表特徴点が検出される。この物体が存在する領域は、限定された大きさであって、その限定された範囲に複数の類似した特徴量を持つ特徴点が存在する。解析対象画像に同一の物体が複数映っている場合であっても、互いに所定の距離以上離れた位置にある特徴点同士は、同様に存在する。 A reference image in which an object is shown usually has a group of a plurality of similar feature points, and a plurality of representative feature points are detected thereby. The region where the object exists is limited in size, and there are feature points having a plurality of similar feature amounts in the limited range. Even in the case where a plurality of the same objects are shown in the analysis target image, feature points that are located at a predetermined distance or more away from each other are similarly present.
物体認識部114は、解析対象画像に、参照画像に映る物体の位置範囲を検出した後、更に、その位置範囲について、単一特徴点の存在を検出する。参照画像に存在する単一特徴点が、解析対象画像に映る物体の位置範囲に存在しない場合、参照画像に基づく物体は存在しないと認識する。また、例えば同一物体中に多数の代表特徴点が存在する場合など、代表特徴点のみで物体認識が十分な精度で行えると想定される場合は、代表特徴点のマッチング結果のみで物体を検出してもよい。
After detecting the position range of the object shown in the reference image in the analysis target image, the
そして、物体認識部114は、解析対象画像に映ると認識した物体の識別番号を、アプリケーション処理部115へ出力する。また、物体認識部114は、物体の識別番号と共に、解析対象画像についてその物体が映る部分の座標情報も、アプリケ-ション処理部115へ出力することも好ましい。
Then, the
アプリケーション処理部115は、解析対象画像に対する様々なサービスを、ユーザに提供することができる。
The
更に以下では、[特徴点マッチング部112]の処理について具体的に説明する。 Further, the processing of the [feature point matching unit 112] will be specifically described below.
図6は、解析対象画像に対する代表特徴点○のマッチングを表す説明図である。 FIG. 6 is an explanatory diagram showing the matching of the representative feature points ○ to the analysis target image.
図6(a)によれば、点線で囲まれた類似特徴点○の群に、1つの代表特徴点○が選択されている(前述の代表特徴点選択部123参照)。
According to FIG. 6A, one representative feature point ○ is selected in the group of similar feature points ○ surrounded by a dotted line (see the representative feature
図6(b)によれば、解析対象画像の中から、その代表特徴点○と同一類似の特徴点が、マッチングによって検出されている。解析対象画像の中で、参照画像の物体が映る部分には、代表特徴点と同一類似の特徴点が多数存在する。即ち、特徴点○の分布密度は、高い。このような部分は、参照画像の物体が存在する可能性が高いといえる。一方で、解析対象画像における特徴点○の中で、離れた位置に単独で存在する特徴点○もある。このように、解析対象画像における特徴点○の分布密度が、参照画像における特徴点○の分布密度よりも低い場合、ノイズの可能性が高いといえる。 According to FIG. 6B, a feature point similar to the representative feature point ○ is detected from the analysis target image by matching. In the analysis target image, there are a lot of feature points similar to the representative feature points in the portion where the object of the reference image is reflected. That is, the distribution density of the feature points ○ is high. It can be said that such a portion has a high possibility that an object of the reference image exists. On the other hand, among the feature points ◯ in the analysis target image, there are also feature points ◯ that exist independently at distant positions. Thus, if the distribution density of the feature points in the analysis target image is lower than the distribution density of the feature points in the reference image, it can be said that the possibility of noise is high.
図7は、解析対象画像に対する代表特徴点○及び□のマッチングを表す説明図である。 FIG. 7 is an explanatory diagram showing the matching of the representative feature points ○ and □ to the analysis target image.
図7(a)によれば、更に点線で囲まれた類似特徴点□の群に、1つの代表特徴点□が選択されている。 According to FIG. 7A, one representative feature point □ is selected in a group of similar feature points □ further surrounded by a dotted line.
図7(b)によれば、解析対象画像の中から、更にその代表特徴点□と同一類似の特徴点が、マッチングによって検出されている。図6(b)と比較して、複数の代表特徴点についてマッチングをすることによって、物体の存在位置における認識精度を向上させることができる。 According to FIG. 7B, a feature point similar to the representative feature point □ is further detected from the analysis target image by matching. Compared to FIG. 6B, the recognition accuracy at the position where the object exists can be improved by matching a plurality of representative feature points.
このように、解析対象画像について、代表特徴点と同一類似の特徴点が密集した画像領域の分布密度と、参照画像について、代表特徴点と同一類似の類似特徴点が密集した画像領域の分布密度とが、同一又は微差である場合、解析対象画像に、参照画像の物体が映っていると認識できる。また、解析対象画像でオクルージョンが多く生じることを想定し、分布密度の比較で、一定の閾値を設けて判別してもよい。例えば、解析対象画像中のある類似特徴点の分布密度が、参照画像中での同類似特徴点の分布密度に係数(事前に決められた0〜1までの実数)を乗算した値以上であることを判別条件とすることである。 As described above, the distribution density of the image area in which the same feature points similar to the representative feature points are dense for the analysis target image, and the distribution density of the image area in which the similar feature points similar to the representative feature points are dense for the reference image. Can be recognized that the object of the reference image is reflected in the analysis target image. Further, assuming that a lot of occlusion occurs in the analysis target image, it may be determined by providing a certain threshold value in the comparison of distribution density. For example, the distribution density of certain similar feature points in the analysis target image is equal to or greater than a value obtained by multiplying the distribution density of the similar feature points in the reference image by a coefficient (a real number determined in advance from 0 to 1). This is to make the determination condition.
図8は、解析対象画像に対する単一特徴点△及び×のマッチングを表す説明図である。 FIG. 8 is an explanatory diagram showing matching of single feature points Δ and X to the analysis target image.
図8(a)によれば、他に類似する特徴点が存在しない、単一特徴点△及び×が表されている。 FIG. 8A shows single feature points Δ and X in which there are no other similar feature points.
図8(b)によれば、解析対象画像の中から、単一特徴点△及び×と同一類似の特徴点が、マッチングによって検出されている。図6(b)及び図7(b)によって認識された物体の画像範囲に対して、更に単一特徴点の存在についてマッチングをすることによって、物体の存在位置における認識精度を更に向上させることができる。 According to FIG. 8B, feature points similar to the single feature points Δ and X are detected from the analysis target image by matching. By further matching the presence of a single feature point with the image range of the object recognized according to FIGS. 6B and 7B, the recognition accuracy at the position where the object exists can be further improved. it can.
ここで、図6(b)及び図7(b)によって認識された物体の画像範囲以外の部分について、マッチングをする必要はない。即ち、解析対象画像の全体について、単一特徴点をマッチングする必要はない。あくまで、類似特徴点によって認識された物体に対して、単一特徴点によってマッチングすることによってその認識精度を高めることができる。 Here, it is not necessary to perform matching for a portion other than the image range of the object recognized by FIGS. 6B and 7B. That is, it is not necessary to match a single feature point for the entire analysis target image. The recognition accuracy can be increased by matching an object recognized by similar feature points with a single feature point.
更に以下では、特徴点マッチング部112における他の実施形態について説明する。
Further, another embodiment in the feature
[特徴点マッチング部における第1の実施形態]
例えば、解析対象画像に、物体が3つ映っているとする(図8と同様)。このとき、参照画像に、以下の特徴点が存在しているとする。
多数の類似特徴点に基づく代表特徴点 :A、B、C
類似する特徴点が存在しない単一特徴点:D、E
この場合、解析対象画像には、代表特徴点Aとマッチする特徴点が密集した画像領域が、3つ(例えばA−1、A−2、A−3とする)見つかるはずである。また、代表特徴点B及びC並びに単一特徴点D及びEについても、同様に3つずつ(B−1、B−2、B−3、C−1、・・・)見つかるはずである。
[First Embodiment in Feature Point Matching Unit]
For example, assume that three objects appear in the analysis target image (similar to FIG. 8). At this time, it is assumed that the following feature points exist in the reference image.
Representative feature points based on many similar feature points: A, B, C
Single feature points that do not have similar feature points: D, E
In this case, in the analysis target image, three image areas (for example, A-1, A-2, and A-3) where feature points matching the representative feature point A are dense should be found. Similarly, three representative features (B-1, B-2, B-3, C-1,...) Should be found for the representative feature points B and C and the single feature points D and E as well.
ここで、解析対象画像について、代表特徴点Aとマッチした特徴点の群によって、その参照画像の物体が存在すると推定するものであってもよいし、更に、代表特徴点B及びCとマッチした特徴点の群を更に検出することによって、その物体の存在を更に精度高く認識するものであってもよい。 Here, with respect to the analysis target image, it may be estimated that the object of the reference image exists by a group of feature points matched with the representative feature point A, and further matched with the representative feature points B and C. The presence of the object may be recognized with higher accuracy by further detecting a group of feature points.
更に、解析対象画像について、単一特徴点D、Eとマッチした特徴点が、代表特徴点によって認識した物体の画像領域周辺に存在することによって、その物体の存在を更に精度高く認識するものであってもよい。 Furthermore, with respect to the analysis target image, the feature points that match the single feature points D and E exist around the image area of the object recognized by the representative feature points, thereby recognizing the existence of the object with higher accuracy. There may be.
このように、代表特徴点及び単一特徴点の全てについてマッチングするか、代表特徴点のみマッチングするか否かは、所望される認識精度や認識対象となる物体の特徴点の分布特性(例えば、認識対象の物体が多数の異なる類似特徴点群を含んでいる状態、等)に応じた設計事項として決定することができる。 As described above, whether all of the representative feature points and the single feature points are matched or only the representative feature points are matched depends on the desired recognition accuracy and the distribution characteristics of the feature points of the object to be recognized (for example, It can be determined as a design item according to a state in which the recognition target object includes a large number of different similar feature points.
[特徴点マッチング部における第2の実施形態]
複数の参照画像があり、それら画像が同一類似の代表特徴点を持つ場合であっても、いずれの参照画像の物体であるかを区別することができる。
参照画像1:代表特徴点A 、B、C
参照画像2:代表特徴点A' 、D、E
参照画像3:代表特徴点A''、F、G
※A≒A'≒A''の特徴量同士は互いに類似している。
[Second Embodiment in Feature Point Matching Unit]
Even when there are a plurality of reference images and the images have the same and similar representative feature points, it is possible to distinguish which of the reference images is an object.
Reference image 1: representative feature points A, B, C
Reference image 2: representative feature points A ′, D, E
Reference image 3: representative feature points A ″, F, G
* The feature quantities A≈A′≈A ″ are similar to each other.
ここで、解析対象画像内に、代表特徴点A、A'、A''のいずれにもマッチする特徴点が密集した領域が存在する場合がある。この場合、3つの参照画像(3つの物体)の何れが存在するかを判定することはできない。このような場合、次に多い代表特徴点Bにマッチする特徴点が密集している画像領域を検出することによって、AND条件として区別することができる。 Here, there may be a region in the analysis target image where feature points that match any of the representative feature points A, A ′, and A ″ are dense. In this case, it cannot be determined which of the three reference images (three objects) exists. In such a case, it can be distinguished as an AND condition by detecting an image region where feature points matching the next most representative feature point B are dense.
例えば解析対象画像内に、代表特徴点A、A'、A''のいずれにもマッチする特徴点が密集した画像領域が存在した場合、その所定範囲に更に単一特徴点Bが存在するならば、その画像領域は、参照画像1に基づく物体が映っていることを認識することができる。
For example, if there is an image region in which feature points that match any of the representative feature points A, A ′, and A ″ exist in the analysis target image, and if there is a single feature point B in the predetermined range, For example, the image region can recognize that an object based on the
また、参照画像について、類似する代表特徴点A≒A'≒A''の存在が事前に分かっている場合、これら代表特徴点のマッチングをまとめることも好ましい。例えば代表特徴点Aのマッチングについて、その特徴量の類似範囲を多少拡げることによって、代表特徴点Aの類似範囲に代表特徴点A'、A''を含めることができる。これによって、代表特徴点Aのみのマッチングで、代表特徴点A、A'、A''のそれぞれのマッチングを行ったのと同じ効果を得られる。 In addition, when the presence of similar representative feature points A≈A′≈A ″ is known in advance for the reference image, matching of these representative feature points is also preferably summarized. For example, the representative feature points A ′ and A ″ can be included in the similar range of the representative feature point A by slightly expanding the similar range of the feature amount for the matching of the representative feature point A. As a result, only the representative feature point A can be matched, and the same effect can be obtained as when the representative feature points A, A ′, A ″ are matched.
[特徴点マッチング部における第3の実施形態]
マッチング処理について、前述したように全ての代表特徴点及び単一特徴点についてマッチングする技術によれば、不都合な場合を生じる。これは、解析対象画像に、オクルージョン(認識対象物体の部分的な隠れ)が生じた場合である。この場合、解析対象画像に、参照画像に基づく物体が映っているものの、一部のオクルージョンによって、その物体を認識でききなくなる。
[Third Embodiment in Feature Point Matching Unit]
As described above, the matching process for all the representative feature points and the single feature points causes inconvenient cases. This is a case where occlusion (partial hiding of the recognition target object) occurs in the analysis target image. In this case, although an object based on the reference image is shown in the analysis target image, the object cannot be recognized due to some occlusion.
例えば、前述した第2の実施形態について、例えば解析対象画像内に、参照画像1に基づく物体(代表特徴点A,B,Cとマッチする特徴点群AX、BX、CXを全て含む物体)が映っているにも関わらず、代表特徴点Bとマッチする特徴点群BXがオクルージョンによって映っていない場合を想定する。
解析対象画像:物体1=A1,B1,C1
物体2=A2,(B2),C2
(B2がオクルージョンによって隠れている)
物体3=A3,B3,C3
この場合、代表特徴点A及びCとマッチする3つの特徴点群のうち、解析対象画像内では、参照画像1とマッチする領域(特徴点群AX、BX、CXを全て持つ領域)は2つしか見つからないことになる。
For example, in the above-described second embodiment, for example, an object based on the reference image 1 (an object including all the feature point groups AX, BX, and CX matching the representative feature points A, B, and C) is included in the analysis target image. It is assumed that the feature point group BX that matches the representative feature point B is not reflected by occlusion even though it is reflected.
Analysis target image:
Object 2 = A2, (B2), C2
(B2 is hidden by occlusion)
In this case, of the three feature point groups that match the representative feature points A and C, there are two regions (regions having all the feature point groups AX, BX, and CX) that match the
そこで、例えばこの認識条件について、特徴点群AX,BX,CXの中で、いずれか2つが存在する場合、その物体が存在すると認識するものであってもよい。例えば、特徴点群AXとBX、特徴点群AXとCX、又は、特徴点群BXとCX、の組合せのいずれかが存在する場合である。但し、マッチングに利用する特徴点群の数が減るために、物体認識の精度が下がる可能性がある。 Therefore, for example, when any two of the feature point groups AX, BX, and CX exist in this recognition condition, it may be recognized that the object exists. For example, this is a case where any one of the feature point groups AX and BX, the feature point groups AX and CX, or the combination of the feature point groups BX and CX exists. However, since the number of feature points used for matching is reduced, the accuracy of object recognition may be reduced.
[特徴点マッチング部における第4の実施形態]
他の認識条件として、代表特徴点A、B、Cのいずれか1つとマッチする密集領域(特徴点群を含む領域)が存在し、かつ、参照画像1が持つ単一特徴点をその近傍に含む場合に、その物体が存在すると認識するものであってもよい。単一特徴点を用いることによって、以下のように、類似した代表特徴点を持つ物体同士の認識にも有効である。
参照画像4:代表特徴点A、B
参照画像5:代表特徴点A'、B'
参照画像6:代表特徴点A''、B''、C
※A≒A'≒A''、B≒B'≒B''、これらの特徴量同士は互いに類似している。
[Fourth Embodiment in Feature Point Matching Unit]
As another recognition condition, there is a dense region (a region including a feature point group) that matches any one of the representative feature points A, B, and C, and a single feature point of the
Reference image 4: representative feature points A and B
Reference image 5: representative feature points A ′ and B ′
Reference image 6: representative feature points A ″, B ″, C
* A≈A′≈A ″, B≈B′≈B ″, and these feature quantities are similar to each other.
例えば、解析対象画像内では、代表特徴点A(A'、A''ともマッチ)、B(B'、B''ともマッチ)、Cと、マッチする3つの密集領域が存在する場合、その領域は、参照画像6の物体が存在する可能性が高いといえる。
また、解析対象画像内では、代表特徴点A(A'、A''ともマッチ)、B(B'、B''ともマッチ)と、マッチする2つの密集領域が存在する場合、その領域は、参照画像4,5,6の物体のいずれかが存在する領域であるといえる(但し、参照画像6についても、オクルージョンの影響でこの条件にマッチする場合もある)。この場合、単一特徴点のマッチングによって、1つの参照画像の物体に絞り込むことができる。
For example, if there are three dense regions that match the representative feature points A (matches A ′ and A ″), B (matches B ′ and B ″), and C in the analysis target image, It can be said that there is a high possibility that the object of the reference image 6 exists in the region.
In the analysis target image, if there are two dense regions that match the representative feature points A (matches A ′ and A ″) and B (matches B ′ and B ″), the region is Thus, it can be said that any one of the objects of the reference images 4, 5 and 6 exists (however, the reference image 6 may also match this condition due to the influence of occlusion). In this case, it is possible to narrow down to an object of one reference image by matching single feature points.
図9は、本発明の画像解析サーバを有するシステム構成図である。 FIG. 9 is a system configuration diagram having the image analysis server of the present invention.
図9によれば、画像解析サーバ1が、インターネットに接続されており、端末2及び参照画像データベース3と通信することができる。参照画像データベース3は、参照画像を蓄積したデータベースであって、画像解析サーバ1は、参照画像データベース3から参照画像を取得する。このとき、データベースは画像と合わせて特徴点の情報を保持していても良く、その場合には特徴点の情報をサーバに取得させる。参照画像には、その物体を特定する物体識別情報も付加されている。
According to FIG. 9, the
一方で、端末2は、アクセスネットワークを介してインターネットに接続し、画像解析サーバ1へ、ユーザの操作に応じた解析対象画像を送信する。これに対し、画像解析サーバ1は、その認識結果となる認識物体情報を、端末2へ返信する。
On the other hand, the terminal 2 is connected to the Internet via an access network, and transmits an analysis target image corresponding to a user operation to the
図10は、参照画像を抽出する機能を有する画像解析サーバの機能構成図である。 FIG. 10 is a functional configuration diagram of an image analysis server having a function of extracting a reference image.
図10によれば、図3の画像解析装置1を、ネットワークに接続された画像解析サーバの実施形態として表されている。
According to FIG. 10, the
図11の画像解析装置1によれば、図3の画像解析装置1の全ての機能構成部を有すると共に、認識結果返信部102と、参照画像受信部103とを更に有する。これら機能構成部も、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
The
認識結果返信部102は、物体認識部114によって認識された物体の識別番号を、ユーザ操作に基づく端末2へ返信することができる。端末2は、送信した解析対象画像内に映る物体を知ることができる。これによって、端末2内で起動しているアプリケーション処理部が様々なサービスを、ユーザに提供することができる。
The recognition result
また、認識結果返信部102は、物体認識部114によって認識された物体の座標を、端末2へ返信することも好ましい。端末2は、解析対象画像内のどの座標位置に、その物体が映っているかどうかを認識することができる。
The recognition result
参照画像受信部103は、通信インタフェース100を介して、参照画像を受信し、その参照画像を参照画像蓄積部121へ出力する。これによって、ユーザ操作に基づく端末2から受信した参照画像を、画像解析サーバ1内で蓄積することができる。
The reference
以上、詳細に説明したように、本発明の画像解析装置、サーバ、プログラム及び方法によれば、参照画像中に、同一類似の局所特徴量の特徴点が複数存在する場合であっても、解析対象画像の中から参照画像に基づく物体を認識することができる。 As described above in detail, according to the image analysis apparatus, server, program, and method of the present invention, even when a plurality of feature points of the same local feature amount exist in the reference image, the analysis is performed. An object based on the reference image can be recognized from the target image.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
1 画像解析装置、画像解析サーバ
100 インタフェース
101 解析対象画像受信部
102 認識結果返信部
103 参照画像受信部
111 解析対象用特徴点抽出部
112 特徴点マッチング部
113 解析対象用分布密度検出部
114 物体認識部
115 アプリケーション処理部
120 参照画像蓄積部
121 参照用特徴点抽出部
122 参照用類似特徴点検出部
123 参照用代表特徴点選択部
124 参照用分布密度検出部
2 端末
3 参照画像データベース
DESCRIPTION OF
Claims (9)
前記参照画像と、当該参照画像に基づく1つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
前記参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
前記類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
前記参照画像について、前記類似特徴点の群毎に1つの代表特徴点を選択する参照用代表特徴点選択手段と、
前記解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有することを特徴とする画像解析装置。 An image analysis apparatus for recognizing an object based on a reference image from among analysis target images,
Reference image storage means for storing the reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extracting means for extracting a large number of feature points from the reference image;
A reference similar feature point detecting means for detecting, by clustering, a group of similar feature points having similar feature amounts from the reference image;
Reference distribution density detecting means for detecting the distribution density of each group of the similar feature points;
For the reference image, reference representative feature point selection means for selecting one representative feature point for each group of similar feature points;
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
Analysis target distribution density detection means for detecting a distribution density for each group of feature points similar to the representative feature points detected from the analysis target image;
When the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range for each representative feature point, object identification information based on the reference image, and the analysis target image An image analysis apparatus comprising object recognition means for associating an object reflected in
前記特徴点マッチング手段は、前記解析対象画像の中から、前記単一特徴点に類似する特徴点をマッチングによって検出し、
前記物体認識手段は、前記解析対象画像の中で、前記代表特徴点によって前記参照画像の物体が存在すると認識された画像領域に、前記単一特徴点が存在していない場合、前記参照画像に基づく物体は存在しないと認識することを特徴とする請求項1に記載の画像解析装置。 The reference similar feature point detecting means further detects a feature point having no other similar feature quantity in the reference image as a single feature point,
The feature point matching means detects a feature point similar to the single feature point from the analysis target image by matching,
If the single feature point does not exist in the image area in which the object of the reference image is recognized by the representative feature point in the analysis target image, the object recognition unit is added to the reference image. The image analysis apparatus according to claim 1, wherein the image recognition apparatus recognizes that there is no object based thereon.
第1の装置は、
前記参照画像と、当該参照画像に基づく1つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
前記参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
前記類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
前記参照画像について、前記類似特徴点の群毎に1つの代表特徴点を選択する参照用代表特徴点選択手段と
を有し、前記参照用分布密度検出手段によって検出された分布密度と、前記参照用代表特徴点選択手段によって検出された代表特徴点とが、第2の装置へ送信され、
第2の装置は、
前記解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有する
ことを特徴とする画像解析システム。 An image analysis system for recognizing an object based on a reference image from among analysis target images, comprising a first device for a reference image and a second device for an analysis target image,
The first device is
Reference image storage means for storing the reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extracting means for extracting a large number of feature points from the reference image;
A reference similar feature point detecting means for detecting, by clustering, a group of similar feature points having similar feature amounts from the reference image;
Reference distribution density detecting means for detecting the distribution density of each group of the similar feature points;
A reference representative feature point selecting unit that selects one representative feature point for each group of similar feature points for the reference image, the distribution density detected by the reference distribution density detecting unit, and the reference Representative feature points detected by the representative feature point selection means are transmitted to the second device,
The second device is
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
Analysis target distribution density detection means for detecting a distribution density for each group of feature points similar to the representative feature points detected from the analysis target image;
When the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range for each representative feature point, object identification information based on the reference image, and the analysis target image An image analysis system comprising object recognition means for associating an object reflected on the screen.
クライアントから前記解析対象画像を受信し、当該解析対象画像を前記解析対象用特徴点抽出手段へ出力する解析対象画像受信手段と、
前記物体認識手段によって検出された、認識された物体の識別情報と、前記解析対象画像における当該物体の位置情報とを、前記クライアントへ返信する認識結果返信手段と
を更に有することを特徴とする画像検索サーバ。 An image search server including all functions in the image analysis device according to claim 1,
Analysis target image receiving means for receiving the analysis target image from a client and outputting the analysis target image to the analysis target feature point extraction means;
The image further comprising: a recognition result return means for returning the identification information of the recognized object detected by the object recognition means and the position information of the object in the analysis target image to the client. Search server.
前記参照画像と、当該参照画像に基づく1つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
前記参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
前記類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
前記参照画像について、前記類似特徴点の群毎に1つの代表特徴点を選択する参照用代表特徴点選択手段と、
前記解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
してコンピュータを機能させることを特徴とする画像解析プログラム。 An image analysis program for causing a computer mounted on the apparatus to function so as to recognize an object based on a reference image from among analysis target images,
Reference image storage means for storing the reference image and identification information of one object based on the reference image in association with each other;
Reference feature point extracting means for extracting a large number of feature points from the reference image;
A reference similar feature point detecting means for detecting, by clustering, a group of similar feature points having similar feature amounts from the reference image;
Reference distribution density detecting means for detecting the distribution density of each group of the similar feature points;
For the reference image, reference representative feature point selection means for selecting one representative feature point for each group of similar feature points;
Analysis target feature point extracting means for extracting a large number of feature points from the analysis target image;
A feature point matching means for detecting a feature point similar to the representative feature point from the analysis target image by matching;
Analysis target distribution density detection means for detecting a distribution density for each group of feature points similar to the representative feature points detected from the analysis target image;
When the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range for each representative feature point, object identification information based on the reference image, and the analysis target image An image analysis program that causes a computer to function as an object recognition means for associating an object reflected in the object.
前記特徴点マッチング手段は、前記解析対象画像の中から、前記単一特徴点に類似する特徴点をマッチングによって検出し、
前記物体認識手段は、前記解析対象画像の中で、前記代表特徴点によって前記参照画像の物体が存在すると認識された画像領域に、前記単一特徴点が存在していない場合、前記参照画像に基づく物体は存在しないと認識するようにコンピュータを機能させることを特徴とする請求項6に記載の画像解析プログラム。 The reference similar feature point detecting means further detects a feature point having no other similar feature quantity in the reference image as a single feature point,
The feature point matching means detects a feature point similar to the single feature point from the analysis target image by matching,
If the single feature point does not exist in the image area in which the object of the reference image is recognized by the representative feature point in the analysis target image, the object recognition unit is added to the reference image. The image analysis program according to claim 6, wherein the computer functions so as to recognize that there is no object based thereon.
前記参照画像と、当該参照画像に基づく1つの物体の識別情報とを対応付けて蓄積する参照画像蓄積部を有し、
前記参照画像に対して、
前記参照画像から多数の特徴点を抽出する第1のステップと、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する第2のステップと、
前記類似特徴点の群毎における分布密度を検出する第3のステップと、
前記参照画像について、前記類似特徴点の群毎に1つの代表特徴点を選択する第4のステップとを有し、
前記解析対象画像に対して、
前記解析対象画像から多数の特徴点を抽出する第1のステップと、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する第2のステップと、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する第3のステップと、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける第4のステップと
を有することを特徴とする画像解析方法。 An image analysis method for recognizing an object based on a reference image from analysis target images using a computer mounted on the apparatus,
A reference image storage unit that stores the reference image and identification information of one object based on the reference image in association with each other;
For the reference image,
A first step of extracting a number of feature points from the reference image;
A second step of detecting, by clustering, a group of similar feature points having similar feature amounts from the reference image;
A third step of detecting a distribution density for each group of the similar feature points;
A fourth step of selecting one representative feature point for each group of the similar feature points for the reference image;
For the analysis target image,
A first step of extracting a large number of feature points from the analysis target image;
A second step of detecting, by matching, a feature point similar to the representative feature point from the analysis target image;
A third step of detecting a distribution density for each group of feature points similar to the representative feature points detected from the analysis target image;
When the difference between the distribution density in the reference image and the distribution density in the analysis target image is within a predetermined threshold range for each representative feature point, object identification information based on the reference image, and the analysis target image And a fourth step of associating the object reflected in the image.
前記解析対象画像に対する第2のステップについて、前記解析対象画像の中から、前記単一特徴点に類似する特徴点をマッチングによって検出し、
前記解析対象画像に対する第4のステップについて、前記解析対象画像の中で、前記代表特徴点によって前記参照画像の物体が存在すると認識された画像領域に、前記単一特徴点が存在していない場合、前記参照画像に基づく物体は存在しないと認識することを特徴とする請求項8に記載の画像解析方法。 For the second step with respect to the reference image, further, a feature point having no other similar feature quantity in the reference image is detected as a single feature point,
For the second step on the analysis target image, a feature point similar to the single feature point is detected from the analysis target image by matching,
Regarding the fourth step for the analysis target image, when the single feature point does not exist in the image region in which the object of the reference image is recognized by the representative feature point in the analysis target image The image analysis method according to claim 8, wherein an object based on the reference image is recognized not to exist.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050957A JP5519556B2 (en) | 2011-03-09 | 2011-03-09 | Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050957A JP5519556B2 (en) | 2011-03-09 | 2011-03-09 | Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012190089A JP2012190089A (en) | 2012-10-04 |
JP5519556B2 true JP5519556B2 (en) | 2014-06-11 |
Family
ID=47083206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011050957A Expired - Fee Related JP5519556B2 (en) | 2011-03-09 | 2011-03-09 | Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5519556B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6950376B2 (en) * | 2017-09-01 | 2021-10-13 | 日本電信電話株式会社 | Image processing device, training image processing device, image identification device, training image processing method, image identification method, and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4753072B2 (en) * | 2005-11-14 | 2011-08-17 | 独立行政法人産業技術総合研究所 | Recognizing multiple billboards in video |
JP5347798B2 (en) * | 2009-07-23 | 2013-11-20 | 日本電気株式会社 | Object detection apparatus, object detection method, and object detection program |
-
2011
- 2011-03-09 JP JP2011050957A patent/JP5519556B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012190089A (en) | 2012-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102225093B1 (en) | Apparatus and method for estimating camera pose | |
US10013612B2 (en) | Object recognition trait analysis systems and methods | |
US10210423B2 (en) | Image match for featureless objects | |
JP6143111B2 (en) | Object identification device, object identification method, and program | |
WO2014030400A1 (en) | Object discrimination device, object discrimination method, and program | |
US9076075B2 (en) | Method and device for following an object in a sequence of at least two images | |
KR20110064197A (en) | Object recognition system and method the same | |
JP6128910B2 (en) | Learning device, learning method and program | |
JP6236825B2 (en) | Vending machine sales product recognition apparatus, sales product recognition method, and computer program | |
JP6547903B2 (en) | Image processing apparatus, image processing method and storage medium | |
WO2011142313A1 (en) | Object recognition device, method, program, and computer-readable medium upon which software is stored | |
KR20190018274A (en) | Method and apparatus for recognizing a subject existed in an image based on temporal movement or spatial movement of a feature point of the image | |
US8942515B1 (en) | Method and apparatus for image retrieval | |
JP6541226B2 (en) | Information terminal device and program | |
CN105190689A (en) | Image processing including adjoin feature based object detection, and/or bilateral symmetric object segmentation | |
JP6793925B2 (en) | Verification equipment, methods, and programs | |
JP5519556B2 (en) | Image analysis apparatus, server, program and method for recognizing object based on reference image from analysis target images | |
KR101715782B1 (en) | Object recognition system and method the same | |
KR20130080743A (en) | Method of searching object field by matching the descritor set | |
JP5084798B2 (en) | Application state recognition method, apparatus and program | |
JP2016018403A (en) | Image processing device, image processing system, image processing method, and image processing program | |
May et al. | Analysing false positives and 3D structure to create intelligent thresholding and weighting functions for SIFT features | |
Badr et al. | SIFT-EST-a SIFT-based feature matching algorithm using homography estimation | |
Astua et al. | Detecting Objects for Indoor Monitoring and Surveillance for Mobile Robots | |
KR20230054252A (en) | Apparatus and method for providing object-based image analysis service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5519556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |