JP5272944B2 - Marker detection device, marker generation detection system, marker generation detection device, marker detection method, and marker detection program - Google Patents
Marker detection device, marker generation detection system, marker generation detection device, marker detection method, and marker detection program Download PDFInfo
- Publication number
- JP5272944B2 JP5272944B2 JP2009171835A JP2009171835A JP5272944B2 JP 5272944 B2 JP5272944 B2 JP 5272944B2 JP 2009171835 A JP2009171835 A JP 2009171835A JP 2009171835 A JP2009171835 A JP 2009171835A JP 5272944 B2 JP5272944 B2 JP 5272944B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- feature
- detection
- feature points
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、マーカを検出するマーカ検出装置、このマーカ検出装置を備えたマーカ生成検出システム、マーカ検出機能を有したマーカ生成検出装置、マーカを検出するマーカ生成方法、及び、このマーカ検出方法を実行するためのマーカ検出プログラムに関する。 The present invention relates to a marker detection device for detecting a marker, a marker generation detection system including the marker detection device, a marker generation detection device having a marker detection function, a marker generation method for detecting a marker, and the marker detection method. The present invention relates to a marker detection program for execution.
ある空間内に所望の物体が存在するか否かを判別する手法には、次のようなものがある。
例えば、マーカ生成段階で、マーカが存在しない空間の画像を背景映像として映像入力手段により撮影し、その背景映像から特徴点を抽出し、この特徴点を不変量特徴空間に写像して不変特徴とし、この不変特徴が表れなかった部分を特異特徴とし、この特異特徴にもとづいてマーカパターンを生成し、マーカ検出段階で、マーカが付された物体を含む空間の画像を検出対象映像として撮影し、この検出対象映像から特徴点を抽出し、この特徴点の配置の中にマーカパターンから抽出された特徴点の配置と一致するものがあるか否かを判断し、一致するものがあるときは、これをマーカとして検出する技術がある（例えば、特許文献１参照。）。
There are the following methods for determining whether or not a desired object exists in a certain space.
For example, in the marker generation stage, an image of a space in which no marker exists is taken as a background video by video input means, feature points are extracted from the background video, and the feature points are mapped to an invariant feature space to be invariant features. , A portion where this invariant feature does not appear as a unique feature, a marker pattern is generated based on this unique feature, and at the marker detection stage, an image of a space including the object with the marker is taken as a detection target video, Extract feature points from this detection target video, determine if there is a feature point arrangement that matches the feature point extraction extracted from the marker pattern, and if there is a match, There is a technique for detecting this as a marker (see, for example, Patent Document 1).
この技術によれば、マーカ生成段階において、背景映像に表れていないパターンをマーカパターンとして生成することができる。このため、マーカ検出段階においては、検出対象映像のうちマーカが存在しないところからマーカが誤って検出されることがなくなり、物体に付されたマーカを確実に検出することができる。 According to this technique, a pattern that does not appear in the background video can be generated as a marker pattern in the marker generation stage. For this reason, in the marker detection stage, the marker is not erroneously detected from the place where the marker does not exist in the detection target video, and the marker attached to the object can be reliably detected.
しかしながら、上述した特許文献１に記載の技術においては、次のような状況があった。
同技術では、マーカパターンが、背景映像に表れていないパターンから生成される。これにより、マーカ検出段階では、背景からマーカが誤って検出されることを回避するとともに、物体に付されたマーカを確実に検出できるとしている。
ただし、これは、マーカ検出段階で映像入力手段が撮影した検出対象映像のうちマーカを除いた部分（背景部分）と、マーカ生成段階で映像入力手段が撮影した背景映像とが同様であることが前提となる。
However, the technique described in
In this technique, a marker pattern is generated from a pattern that does not appear in the background video. Thereby, at the marker detection stage, it is supposed that the marker attached to the object can be reliably detected while avoiding erroneous detection of the marker from the background.
However, this may be the same as the portion of the detection target video imaged by the video input means at the marker detection stage (background part) excluding the marker and the background video imaged by the video input means at the marker generation stage. It is a premise.
ところが、マーカ検出段階において、検出対象映像の背景部分が変化した場合、例えば、突然ボールが飛んできたり、人が横切ったり、窓が開いてカーテンが風になびいたりする場合などがある。このような場合には、マーカ生成段階における背景映像に表れていなかったパターンが表れる。この新出パターンは、マーカ検出段階で初めて表れたものであるため、上記技術で生成されたマーカパターンは、その新出パターンを排除できない。そうすると、その新出パターンがマーカパターンと近似又は一致した場合には、これをマーカパターンとして過剰に検出してしまう。 However, in the marker detection stage, when the background portion of the detection target video changes, for example, there are cases where the ball suddenly flies, a person crosses, a window opens and the curtain flutters in the wind. In such a case, a pattern that did not appear in the background video at the marker generation stage appears. Since this new pattern appears for the first time at the marker detection stage, the new pattern cannot be excluded from the marker pattern generated by the above technique. Then, when the new pattern approximates or matches the marker pattern, this is excessively detected as a marker pattern.
本発明は、上記の状況にかんがみなされたものであり、マーカ検出段階において、検出対象映像の背景部分が変化したことにより新たに表れたパターンをマーカパターンとして過剰に検出することを排除し、マーカ検出を適切に行なうことが可能なマーカ検出装置、マーカ生成検出装置、マーカ生成検出システム、マーカ検出方法及びマーカ検出プログラムの提供を目的とする。 The present invention has been considered in view of the above situation, and in the marker detection stage, it is excluded that a pattern newly appeared due to a change in the background portion of the detection target video is excessively detected as a marker pattern. It is an object of the present invention to provide a marker detection device, a marker generation detection device, a marker generation detection system, a marker detection method, and a marker detection program capable of appropriately performing detection.
この目的を達成するため、本発明のマーカ検出装置は、マーカ生成用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、特徴点が所定数以下の部分が特異特徴として選択され、この特異特徴を用いてマーカが生成され、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを備えた構成としてある。 In order to achieve this object, the marker detection apparatus of the present invention extracts feature points from an image for marker generation, arranges these feature points in a predetermined space, and sets a portion having a predetermined number or less of feature points as unique features. A marker is generated by using this unique feature, a feature point is extracted from the image for marker detection, this feature point is placed in a predetermined space, and extracted from the plurality of feature points and markers that have been placed. If there is a feature point that matches the feature point extracted from the marker among a plurality of feature points based on the marker detection image, the position where this feature point is arranged or this position When there are feature points arranged in the coincidence detection region among a plurality of feature points extracted from a plurality of marker detection images and arranged in a predetermined space, the collation means using the included region as the coincidence detection region. Number of feature points The coincidence detection area is less than a predetermined number, a configuration equipped with a matching monitoring means for detecting as a marker non appearance region marker does not appear.
また、本発明のマーカ生成検出システムは、マーカ生成装置とマーカ検出装置とを備え、マーカ生成装置が、マーカ生成用の画像から特徴点を抽出する抽出手段と、特徴点を所定の空間に配置する配置手段と、特徴点が配置されていない部分を特異特徴として選択する特異特徴選択手段と、特異特徴を用いてマーカを生成するマーカパターン生成手段とを有し、マーカ検出装置が、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを有した構成としてある。 In addition, the marker generation detection system of the present invention includes a marker generation device and a marker detection device, and the marker generation device arranges the feature points in a predetermined space, extracting means for extracting the feature points from the image for marker generation. And a marker pattern generation unit that generates a marker using the unique feature, and the marker detection device detects the marker. Feature points are extracted from the image for use, the feature points are arranged in a predetermined space, a plurality of feature points extracted from the marker are collated with a plurality of feature points extracted from the marker If there is a feature point that matches the feature point extracted from the marker among the feature points, a matching unit that uses the position where the feature point is arranged or a region including the position as a match detection region, and a plurality of feature points When there are feature points that are extracted from the image for marker detection and are arranged in the match detection region among a plurality of feature points that are arranged in a predetermined space, a match detection region in which the number of feature points is equal to or less than a predetermined number is selected. And a collation monitoring means for detecting as a marker non-appearance area where no marker appears.
また、本発明のマーカ生成検出装置は、マーカ生成部とマーカ検出部とを備え、マーカ生成部が、マーカ生成用の画像から特徴点を抽出する抽出手段と、特徴点を所定の位置に配置する配置手段と、特徴点が配置されていない部分を特異特徴として選択する特異特徴選択手段と、特異特徴を用いてマーカを生成するマーカパターン生成手段とを有し、マーカ検出部が、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを有した構成としてある。 In addition, the marker generation detection device of the present invention includes a marker generation unit and a marker detection unit, and the marker generation unit arranges the feature points at predetermined positions, extracting means for extracting the feature points from the marker generation image. And a marker pattern generation unit that generates a marker using the unique feature. The marker detection unit detects the marker. Feature points are extracted from the image for use, the feature points are arranged in a predetermined space, a plurality of feature points extracted from the marker are collated with a plurality of feature points extracted from the marker If there is a feature point that matches the feature point extracted from the marker, a matching unit that uses the position where the feature point is arranged or a region including the position as a match detection region, and detection of a plurality of markers When there are feature points arranged in the coincidence detection region among a plurality of feature points extracted from the image in the predetermined space, the marker indicates the coincidence detection region in which the number of feature points is equal to or less than the predetermined number. It has a configuration having collation monitoring means for detecting as a marker non-appearance region that does not appear.
また、本発明のマーカ検出方法は、マーカ生成用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、特徴点が所定数以下の部分が特異特徴として選択され、この特異特徴を用いてマーカが生成され、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする工程と、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する工程とを有した方法としてある。 In addition, the marker detection method of the present invention extracts feature points from an image for generating a marker, places the feature points in a predetermined space, selects a portion having a predetermined number or less of feature points as a unique feature, A marker is generated using the feature, a feature point is extracted from the image for marker detection, the feature point is arranged in a predetermined space, and the plurality of arranged feature points and the feature point extracted from the marker are combined. If there is a feature point that matches the feature point extracted from the marker among a plurality of feature points that are collated and based on the marker detection image, the position where this feature point is located or the region that includes this position is detected by matching. When there are feature points arranged in the coincidence detection region among a plurality of feature points extracted from a plurality of marker detection images and arranged in a predetermined space, the number of feature points is predetermined. Match less than or equal to number The output area, there is a method having a step of detecting as a marker non appearance region marker does not appear.
また、本発明のマーカ検出プログラムは、マーカ生成用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、特徴点が所定数以下の部分が特異特徴として選択され、この特異特徴を用いてマーカが生成され、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする工程と、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する工程とをマーカ検出装置に実行させる構成としてある。 Also, the marker detection program of the present invention extracts feature points from an image for marker generation, places the feature points in a predetermined space, selects a portion having a predetermined number or less of feature points as a unique feature, A marker is generated using the feature, a feature point is extracted from the image for marker detection, the feature point is arranged in a predetermined space, and the plurality of arranged feature points and the feature point extracted from the marker are combined. If there is a feature point that matches the feature point extracted from the marker among a plurality of feature points that are collated and based on the marker detection image, the position where this feature point is located or the region that includes this position is detected by matching. When there are feature points arranged in the coincidence detection region among a plurality of feature points extracted from a plurality of marker detection images and arranged in a predetermined space, the number of feature points is predetermined. Less than or equal to The coincidence detection region, certain and detecting as a marker non appearance region marker does not appear as a configuration for executing the marker detection apparatus.
本発明のマーカ検出装置、マーカ生成検出システム、マーカ生成検出装置、マーカ検出方法及びマーカ検出プログラムによれば、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出することとしたので、マーカ検出段階において、検出対象映像の背景部分が変化したことにより新たに表れたパターンをマーカパターンとして過剰に検出することを排除し、マーカ検出を適切に行なうことができる。 According to the marker detection device, marker generation detection system, marker generation detection device, marker detection method, and marker detection program of the present invention, a plurality of feature points extracted from a plurality of marker detection images and arranged in a predetermined space. When there are feature points arranged in the coincidence detection region, the coincidence detection region having the number of feature points equal to or less than a predetermined number is detected as a marker non-appearance region where no marker appears. In this case, it is possible to appropriately detect a marker by eliminating excessive detection of a newly appearing pattern as a marker pattern due to a change in the background portion of the detection target video.
以下、本発明に係るマーカ検出装置、マーカ生成検出装置、マーカ生成検出システム、マーカ検出方法及びマーカ検出プログラムの好ましい実施形態について、図面を参照して説明する。 Hereinafter, preferred embodiments of a marker detection device, a marker generation detection device, a marker generation detection system, a marker detection method, and a marker detection program according to the present invention will be described with reference to the drawings.
［マーカ検出装置及びマーカ検出方法の第一実施形態］
まず、本発明のマーカ検出装置及びマーカ検出方法の第一実施形態について、図１を参照して説明する。
同図は、本実施形態のマーカ検出装置の構成を示すブロック図である。
[First embodiment of marker detection apparatus and marker detection method]
First, a first embodiment of a marker detection device and a marker detection method of the present invention will be described with reference to FIG.
FIG. 2 is a block diagram showing the configuration of the marker detection device of this embodiment.
（Ｉ）マーカ検出装置
図１に示すように、マーカ検出装置１ａは、照合手段１０ａと、照合監視手段２０ａとを備えている。
照合手段１０ａは、図２に示すように、照合データ入力部１１と、照合データ記憶部１２と、照合部１３とを有している。
照合データ入力部１１は、「特徴点情報テーブル」と、「マーカ情報テーブル」とを入力する。そして、照合データ入力部１１は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」を照合データ記憶部１２に記憶させる。
(I) Marker Detection Device As shown in FIG. 1, the marker detection device 1a includes a
As shown in FIG. 2, the
The collation
「特徴点情報テーブル」は、検出対象映像（マーカ検出用の画像）から抽出された特徴点に関するデータをまとめたテーブルである。
この「特徴点情報テーブル」は、図３に示すように、「フレーム画像のシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）とを項目として構成することができる。
The “feature point information table” is a table in which data relating to feature points extracted from the detection target video (marker detection image) is collected.
As shown in FIG. 3, the “feature point information table” includes a “frame image serial number” (A), a “feature point serial number” (A), and a “feature point x coordinate” (C). And “y-coordinate of feature point” (d) can be configured as items.
「フレーム画像のシリアル番号」は、一又は二以上のフレーム画像のそれぞれに付された番号を示す。
「特徴点のシリアル番号」は、一枚のフレーム画像から抽出された複数の特徴点の一つ一つに付された番号を示す。
「特徴点のｘ座標」は、特徴空間における、その特徴点のｘ座標を示す。
「特徴点のｙ座標」は、特徴空間における、その特徴点のｙ座標を示す。
なお、フレーム画像、特徴空間、特徴点の抽出方法などについては、第二実施形態で詳細に説明する。
The “frame image serial number” indicates a number assigned to each of one or more frame images.
The “feature point serial number” indicates a number assigned to each of a plurality of feature points extracted from one frame image.
The “x coordinate of the feature point” indicates the x coordinate of the feature point in the feature space.
The “y coordinate of the feature point” indicates the y coordinate of the feature point in the feature space.
The frame image, feature space, feature point extraction method, and the like will be described in detail in the second embodiment.
「マーカ情報テーブル」は、図４に示すように、「マーカのシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）とを項目として構成することができる。
「マーカのシリアル番号」は、一又は二以上のマーカのそれぞれに付された番号を示す。
「特徴点のシリアル番号」は、マーカから抽出された一又は二以上の特徴点の一つ一つに付された番号を示す。
「特徴点のｘ座標」は、その特徴点のｘ座標を示す。
「特徴点のｙ座標」は、その特徴点のｙ座標を示す。
As shown in FIG. 4, the “marker information table” includes a “marker serial number” (a), a “feature point serial number” (b), a “feature point x coordinate” (c), “ The “y-coordinate of feature point” (d) can be configured as an item.
The “marker serial number” indicates a number assigned to each of one or more markers.
The “feature point serial number” indicates a number assigned to each of one or more feature points extracted from the marker.
The “x coordinate of the feature point” indicates the x coordinate of the feature point.
The “y coordinate of the feature point” indicates the y coordinate of the feature point.
照合データ記憶部１２は、所定のメモリ領域を保持している。この照合データ記憶部１２は、「特徴点情報テーブル」と、「マーカ情報テーブル」と、「検出特徴点情報テーブル」とを記憶することができる。
The collation
「検出特徴点情報テーブル」は、図５に示すように、「フレーム画像のシリアル番号」（ア）と、「検出特徴点の番号」（イ）と、「検出特徴点のｘ座標」（ウ）と、「検出特徴点のｙ座標」（エ）とを項目として構成することができる。
「フレーム画像のシリアル番号」は、そのフレーム画像に付された番号を示す。
「検出特徴点の番号」は、検出特徴点のそれぞれに付された「特徴点のシリアル番号」を示す。
「検出特徴点のｘ座標」は、その検出特徴点のｘ座標を示す。
「検出特徴点のｙ座標」は、その検出特徴点のｙ座標を示す。
As shown in FIG. 5, the “detected feature point information table” includes a “frame image serial number” (A), “detected feature point number” (A), and “detected feature point x-coordinate” (W ) And “y coordinate of detected feature point” (d) can be configured as items.
The “serial number of the frame image” indicates a number assigned to the frame image.
“Number of detected feature point” indicates “serial number of feature point” assigned to each detected feature point.
The “x coordinate of the detected feature point” indicates the x coordinate of the detected feature point.
The “y coordinate of the detected feature point” indicates the y coordinate of the detected feature point.
照合部１３は、照合データ記憶部１２から「特徴点情報テーブル」と「マーカ情報テーブル」を取り出す。そして、照合部１３は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」に示されたデータを用いて、検出対象映像から抽出された特徴点群の配置の中に、マーカから抽出された特徴点群の配置と一致するものがあるか否かを判断する。
The
この判断は、次のように行うことができる。
「特徴点情報テーブル」は、前述したように、「特徴点のシリアル番号」と、「特徴点のｘ座標」と、「特徴点のｙ座標」とを項目として有している。
ここで、「特徴点のシリアル番号」に示された特徴点のそれぞれを、「特徴点のｘ座標」に示されたｘ座標と、「特徴点のｙ座標」に示されたｙ座標にしたがって特徴空間に配置すると、図６に示すようになる。
具体的には、例えば、特徴点t1は、特徴空間においては、ｘ座標（x1001）、ｙ座標（y1001）のところに配置される。
This determination can be made as follows.
As described above, the “feature point information table” includes “feature point serial number”, “feature point x coordinate”, and “feature point y coordinate” as items.
Here, each of the feature points indicated in the “feature point serial number” is determined according to the x coordinate indicated in the “x coordinate of the feature point” and the y coordinate indicated in the “y coordinate of the feature point”. When arranged in the feature space, it becomes as shown in FIG.
Specifically, for example, the feature point t1 is arranged at the x coordinate (x1001) and the y coordinate (y1001) in the feature space.
一方、「マーカ情報テーブル」は、前述したように、「特徴点のシリアル番号」と、「特徴点のｘ座標」と、「特徴点のｙ座標」とを項目として有している。
ここで、「特徴点のシリアル番号」に示された特徴点のそれぞれを、「特徴点のｘ座標」に示されたｘ座標と、「特徴点のｙ座標」に示されたｙ座標にしたがって所定の空間（例えば、特徴空間と同じ座標系のマーカ配置空間）に配置すると、図７に示すようになる。
On the other hand, as described above, the “marker information table” includes “feature point serial number”, “feature point x coordinate”, and “feature point y coordinate” as items.
Here, each of the feature points indicated in the “feature point serial number” is determined according to the x coordinate indicated in the “x coordinate of the feature point” and the y coordinate indicated in the “y coordinate of the feature point”. When arranged in a predetermined space (for example, a marker arrangement space having the same coordinate system as the feature space), the result is as shown in FIG.
照合部１３は、マーカから抽出された特徴点群m1〜mnのうちの二つの特徴点を基準点とする。ここでは、特徴点m1を第一基準点とし、m5を第二基準点とする。
次いで、照合部１３は、その二つ基準点m1,m5を、特徴空間に配置された特徴点群のうちの二つ（ここでは、特徴点t1,t2）に合わせる。
The
Next, the matching
ここで、二つの基準点m1−m5間の距離と、特徴空間における二つの特徴点t1−t2間の距離が相違しているときは、照合部１３は、図８（i）、（ii）に示すように、特徴点t1−t2間の距離に一致するように、基準点m1−m5間の距離を伸長又は短縮する。
例えば、図８（i）に示すように、特徴空間における二つの特徴点t1−t2間の距離は、t1-2であったとする。一方、基準点m1-m5間の距離は、m1-5であったとする。ここで、距離m1-5が距離t1-2よりも短い場合、照合部１３は、距離m1-5を距離t1-2と一致するように伸長する。
Here, when the distance between the two reference points m1 to m5 is different from the distance between the two feature points t1 to t2 in the feature space, the matching
For example, as shown in FIG. 8 (i), it is assumed that the distance between two feature points t1-t2 in the feature space is t1-2. On the other hand, it is assumed that the distance between the reference points m1-m5 is m1-5. Here, when the distance m1-5 is shorter than the distance t1-2, the
距離m1-5が距離t1-2と一致すると、照合部１３は、マーカにおける他の特徴点間の距離（m1-2、m1-3、m1-4、m1-6、m2-3、m2-4、m2-5、m2-6、m3-4、m3-5、m3-6、m4-5、m4-6、m5-6）を、距離m1-2の伸長率ａを用いて伸長する。例えば、特徴点m1−m6間の距離は、伸長すると、a(m1-6)となる。
これら伸長処理を行った結果、マーカにもとづく特徴点は、図８（ii）に示すように、マーカの全体が拡大されたかたちで各特徴点m1〜m6が配置される。
When the distance m1-5 coincides with the distance t1-2, the matching
As a result of the extension processing, the feature points based on the markers are arranged with the feature points m1 to m6 in an enlarged form as shown in FIG. 8 (ii).
これに対し、距離m1-5が距離t1-2よりも長い場合、照合部１３は、距離m1-5を距離t1-2と一致するように短縮する。そして、照合部１３は、マーカにおける他の特徴点間の距離（m1-2、m1-3、m1-4、m1-6、m2-3、m2-4、m2-5、m2-6、m3-4、m3-5、m3-6、m4-5、m4-6、m5-6）を、距離m1-5の短縮率ａ’を用いて短縮する。
この短縮処理を行った結果、マーカにもとづく特徴点は、マーカの全体が縮小されたかたちで各特徴点m1〜m6が配置される。
On the other hand, when the distance m1-5 is longer than the distance t1-2, the
As a result of performing this shortening process, the feature points based on the markers are arranged with the respective feature points m1 to m6 in a form in which the entire marker is reduced.
続いて、照合部１３は、マーカの基準点m1、m5を特徴空間における二つの特徴点t1、t2に重ね合わせる。
ここで、特徴空間の二つの特徴点t1、t2を結ぶ線と、マーカの基準点m1、m5を結ぶ線が平行でない場合、照合部１３は、マーカ全体を回転させて、それら各線を平行にし、その後に、マーカ全体を平行移動させて、マーカの基準点m1、m5を特徴空間の二つの特徴点t1、t2に重ね合わせるようにすることもできる。
Subsequently, the matching
Here, when the line connecting the two feature points t1 and t2 in the feature space and the line connecting the reference points m1 and m5 of the marker are not parallel, the matching
マーカ全体を移動させ、マーカの基準点m1、m5が特徴空間における二つの特徴点t1、t2に重なり合うと、照合部１３は、マーカにおける基準点以外の特徴点m2、m3、m4、m6が置かれた位置に、特徴空間に配置された特徴点群のいずれかが重なって配置されているか否かを判断する。
判断の結果、重なって配置されているときは、照合部１３は、その配置された特徴点が、マーカから抽出された特徴点であると判断する。
一方、配置されていないときは、照合部１３は、この部分にはマーカにもとづく特徴点が存在しない（この部分には、マーカが映し出されていない）と判断する。
When the entire marker is moved and the reference points m1 and m5 of the marker overlap with the two feature points t1 and t2 in the feature space, the matching
As a result of the determination, when they are arranged in an overlapping manner, the
On the other hand, when not arranged, the
照合部１３は、このような重ね合わせの処理を、特徴空間の特徴点t1-tnのすべてに対して行う。すなわち、照合部１３は、マーカの基準点m1,m2を、特徴空間における二つの特徴点の組(t1,t2)→(t1,t3)→(t1,t4)→(t1,t5)→・・・→(t1,tn)→(t2,t1)→(t2,t2)→(t2,t3)→・・・→(t2,tn)→(t3,t1)→(t3,t2)→・・・に対して、それぞれ重ね合わせを行っていく。そして、その重ね合わせを行うたびに、マーカの特徴点m2、m3、m4、m6に一致する特徴空間の特徴点を探索し、それらマーカの特徴点m2等に一致する特徴空間の特徴点があるときは、その特徴点をマーカから抽出された特徴点であると判断し、一方、ないときは、この部分にはマーカの特徴点が存在しないと判断する。
The matching
これにより、照合部１３は、特徴空間に配置された特徴点群t1-tnの中から、検出対象映像に映し出されたマーカにもとづく特徴点を検出することができる。
なお、基準点以外のマーカの特徴点と特徴空間の特徴点が一致しているか否かの判断は、その特徴空間でユークリッド距離が既定値以下である場合に一致したものとみなすことができる。また、そのユークリッド距離が既定値以下の特徴点の数をスコアとして累積していってもよい。
Thereby, the
Note that the determination of whether the feature points of the markers other than the reference point are coincident with the feature points of the feature space can be regarded as being coincident when the Euclidean distance is equal to or less than a predetermined value in the feature space. Further, the number of feature points whose Euclidean distance is a predetermined value or less may be accumulated as a score.
さらに、マーカの特徴点群の中から二つの特徴点を基準点として選択し、この基準点を用いて重ね合わせの処理を行った後は、そのマーカにおける他の特徴点を基準点として選択し重ね合わせの処理を行う必要はない。これは、特徴空間の特徴点の中に検出対象映像に映し出されたマーカにもとづく特徴点がある場合、この特徴点は、マーカの基準点がm1,m2の場合でも、m1,m3の場合でも、m5,m6の場合でも検出されるからである。
ただし、検出精度を高めるために、マーカにおける二つの特徴点を基準点として順次選択し、この選択された基準点を用いて順次重ね合わせの処理を行うこともできる。
また、本実施形態において、基準点は、二つとしたが、二つに限るものではなく、三つ以上とすることもできる。
Furthermore, after selecting two feature points from the feature point group of the marker as reference points and performing the overlay process using these reference points, select other feature points in the marker as reference points. There is no need to perform superimposition processing. This is because if there is a feature point based on the marker displayed in the image to be detected in the feature point of the feature space, this feature point will be used regardless of whether the reference point of the marker is m1, m2 or m1, m3. This is because even m5 and m6 are detected.
However, in order to increase detection accuracy, it is possible to sequentially select two feature points in the marker as reference points and sequentially perform superimposing processing using the selected reference points.
In the present embodiment, the number of reference points is two, but is not limited to two, and may be three or more.
次いで、照合部１３は、特徴空間の特徴点群t1-tnの中から、マーカの特徴点m1-mnと一致するものを検出したときは、これを検出特徴点とする。
なお、前述したユークリッド距離を算出する場合、スコアが既定値を超えているときに、その特徴空間における当該特徴点を検出特徴点として受諾するようにしてもよい。また、この場合、ユークリッド距離の累積値が既定値以下である条件を付加してもよい。
Next, when the
When calculating the above-mentioned Euclidean distance, when the score exceeds a predetermined value, the feature point in the feature space may be accepted as a detected feature point. In this case, a condition that the accumulated value of the Euclidean distance is equal to or less than a predetermined value may be added.
続いて、照合部１３は、検出特徴点に関するデータをまとめた「検出特徴点情報テーブル」を作成する。
この「検出特徴点情報テーブル」は、「特徴点情報テーブル」の中から、検出特徴点とされた特徴点に関するデータを取り出してまとめたものである。図５に示す「検出特徴点情報テーブル」においては、t40、t53、t60等が検出特徴点である。
また、照合部１３は、特徴空間において検出特徴点が配置された位置又はこの位置を含む領域を「一致検出領域」として特定する。具体的には、図５に示す「検出特徴点情報テーブル」においては、(x1040,y1040)、(x1053,y1053)、(x1060,y1060)等で示される位置が「一致検出領域」である。
なお、「一致検出領域」は、一点、複数の点、線分、所定の広さの面、三次元空間の一部などによってその領域を特定することができる。
Subsequently, the
This “detected feature point information table” is a collection of data relating to feature points determined as detected feature points from the “feature point information table”. In the “detected feature point information table” shown in FIG. 5, t40, t53, t60, etc. are detected feature points.
Further, the matching
The “coincidence detection region” can be specified by one point, a plurality of points, a line segment, a surface having a predetermined area, a part of a three-dimensional space, or the like.
ここまで説明した各処理、すなわち、照合データ入力部１１が「特徴点情報テーブル」を入力してから、照合部１３が「検出特徴点情報テーブル」を作成するまでの処理は、照合データ入力部１１が「特徴点情報テーブル」を入力するたびに実行される。
これにより、「特徴点情報テーブル」は、照合データ入力部１１が入力した数だけ、照合データ記憶部１２に記憶される。また、「検出特徴点情報テーブル」は、「特徴点情報テーブル」と同数が、照合データ記憶部１２に記憶される。
なお、一の特徴空間から検出特徴点が検出されなかった場合、照合部１３は、その特徴空間について「検出特徴点情報テーブル」を作成することを要しない。この場合、照合データ記憶部１２は、「検出特徴点情報テーブル」を記憶しないことになる。ただし、一の特徴空間から検出特徴点が検出されなかったことについては、このことを示すデータを残しておくことが望ましい。この場合、照合部１３は、検出特徴点が無いことを示す「検出特徴点情報テーブル」を作成し、照合データ記憶部１２は、その「検出特徴点情報テーブル」を記憶することができる。
Each process described so far, that is, the process from the input of the “feature point information table” by the collation
As a result, the “feature point information table” is stored in the collation
If no detected feature point is detected from one feature space, the
また、特徴空間における特徴点群の各配置の中に、マーカの特徴点群の配置に完全一致しているわけではないものの、非常に近いものがある場合、照合部１３は、それら特徴空間における特徴点群とマーカの特徴点群とのユークリッド距離を算出し、このユークリッド距離が既定値以下であるときに、それら特徴点が一致しているものと見なして、その特徴空間における特徴点を検出対象映像に映し出されたマーカにもとづく特徴点であると判断することもできる。
In addition, if the arrangement of the feature point groups in the feature space does not completely match the arrangement of the feature point groups of the markers, but there are very close ones, the matching
照合監視手段２０ａは、図２に示すように、監視データ記憶部２１と、照合監視部２２とを有している。
監視データ記憶部２１は、「検出特徴点情報テーブル」と、「検出特徴点監視テーブル」とを記憶する。
「検出特徴点監視テーブル」は、複数の「検出特徴点情報テーブル」をまとめたものである。
As shown in FIG. 2, the
The monitoring
The “detected feature point monitoring table” is a collection of a plurality of “detected feature point information tables”.
この「検出特徴点監視テーブル」は、図９に示すように、「ｘ座標」と、「ｙ座標」と、「検出特徴点の検出回数」と、「内訳」とを項目として構成することができる。
「ｘ座標」は、特徴空間におけるｘ座標を示す。
「ｙ座標」は、特徴空間におけるｙ座標を示す。
これら「ｘ座標」と「ｙ座標」は、照合部１３で検出された検出特徴点についてのｘ座標とｙ座標である。
As shown in FIG. 9, the “detected feature point monitoring table” includes “x coordinate”, “y coordinate”, “number of detection times of detected feature points”, and “breakdown” as items. it can.
The “x coordinate” indicates the x coordinate in the feature space.
“Y-coordinate” indicates the y-coordinate in the feature space.
These “x-coordinate” and “y-coordinate” are the x-coordinate and y-coordinate for the detected feature point detected by the matching
「検出特徴点の検出回数」は、「ｘ座標」及び「ｙ座標」に示された座標において検出特徴点が検出された回数を示す。
「内訳」は、「ｘ座標」及び「ｙ座標」に示された座標において検出された検出特徴点の内訳を示す。具体的には、「内訳」は、その検出特徴点が検出されたフレーム画像を特定する情報と、このフレーム画像における検出特徴点の番号とを、検出特徴点ごとに示す。
“Detected feature point detection count” indicates the number of times the detected feature point is detected at the coordinates indicated by “x coordinate” and “y coordinate”.
“Breakdown” indicates a breakdown of detected feature points detected at the coordinates indicated by “x coordinate” and “y coordinate”. Specifically, “Breakdown” indicates information for identifying the frame image in which the detected feature point is detected and the number of the detected feature point in the frame image for each detected feature point.
照合監視部２２は、照合手段１０ａの照合データ記憶部１２から一又は二以上の「検出特徴点情報テーブル」を取り出して、監視データ記憶部２１に記憶させる。この「検出特徴点情報テーブル」を照合データ記憶部１２から取り出す処理は、照合データ記憶部１２が「検出特徴点情報テーブル」を記憶した直後でもよく、所定時間が経過するたびに行ってもよく、「検出特徴点情報テーブル」が所定数記憶されるたびに行ってもよい。
The
また、照合監視部２２は、所定のタイミングで、監視データ記憶部２１から複数の「検出特徴点情報テーブル」を取り出す。そして、照合監視部２２は、それら複数の「検出特徴点情報テーブル」を用いて「検出特徴点監視テーブル」を作成する。
Further, the
この「検出特徴点監視テーブル」の作成は、次の手順で行うことができる。
照合監視部２２は、複数の「検出特徴点情報テーブル」を参照し、「検出特徴点のｘ座標」及び「検出特徴点のｙ座標」が一致しているデータ列を抽出する。
次いで、照合監視部２２は、抽出した「検出特徴点のｘ座標」及び「検出特徴点のｙ座標」を、「検出特徴点監視テーブル」の「ｘ座標」及び「ｙ座標」に示す。続いて、照合監視部２２は、「検出特徴点のｘ座標」及び「検出特徴点のｙ座標」が一致しているデータ列の数を、その「ｘ座標」及び「ｙ座標」に関連付けて「検出特徴点の検出回数」に示す。さらに、照合監視部２２は、抽出したデータ列のうちの「検出特徴点の番号」と、これを抽出した「フレーム画像のシリアル番号」を、その「ｘ座標」及び「ｙ座標」に関連付けて「内訳」に示す。
この処理を実行することにより、「検出特徴点監視テーブル」には、検出特徴点が複数回検出された「一致検出領域」を、その検出回数とともに示すことができる。
This “detected feature point monitoring table” can be created by the following procedure.
The
Next, the
By executing this processing, the “detection feature point monitoring table” can indicate the “coincidence detection region” in which the detection feature points are detected a plurality of times, together with the number of detections.
また、照合監視部２２は、複数の「検出特徴点情報テーブル」を参照し、「検出特徴点のｘ座標」及び「検出特徴点のｙ座標」に示されたｘ座標及びｙ座標の中で、一回しか表れていないｘ座標及びｙ座標と、これらに関連付けられたデータ列とを抽出する。
次いで、照合監視部２２は、抽出した「検出特徴点のｘ座標」及び「検出特徴点のｙ座標」を、「検出特徴点監視テーブル」の「ｘ座標」及び「ｙ座標」に示す。続いて、照合監視部２２は、その「ｘ座標」及び「ｙ座標」に関連付けて「検出特徴点の検出回数」に「１」を示す。さらに、照合監視部２２は、抽出したデータ列のうちの「検出特徴点の番号」と、これを抽出した「フレーム画像のシリアル番号」を、その「ｘ座標」及び「ｙ座標」に関連付けて「内訳」に示す。
この処理を実行することにより、「検出特徴点監視テーブル」には、検出特徴点が一回のみ検出された「一致検出領域」を示すことができる。
そして、これらの手順を実行することにより、「検出特徴点監視テーブル」を作成することができる。
Further, the
Next, the
By executing this processing, the “detected feature point monitoring table” can indicate a “matching detection area” in which the detected feature points are detected only once.
Then, by executing these procedures, a “detected feature point monitoring table” can be created.
さらに、照合監視部２２は、その「検出特徴点監視テーブル」の「検出特徴点の検出回数」を参照し、検出回数が所定回数以下の検出特徴点を抽出する。
ここで、「検出特徴点の検出回数」に示される数がフレーム画像と同数の場合（例えば、図９の「５０」などの場合）は、この座標にマーカが存在することを意味する。また、「検出特徴点の検出回数」に示される数がフレーム画像の数よりも少ないものの比較的大きい数の場合（例えば、「４０」や「３０」などの場合）は、この座標でマーカが検出されることが多いことを意味する。一方、この「検出特徴点の検出回数」に示される数が少ない場合は、この座標でマーカが検出されることが少ないことを意味する。特に、「検出特徴点の検出回数」において、「１」のような数が示されている場合には、検出対象映像の背景部分が変化したことによって、マーカ生成段階における背景映像に表れていなかったパターンが表れ、この新出パターンがマーカパターンとして誤認して過剰に検出されたものとみなすことができる。
そして、照合監視部２２は、「検出特徴点の検出回数」が所定数以下（例えば、１以下）である「一致検出領域」を「マーカ非出現領域」として特定する。また、照合監視部２２は、この「マーカ非出現領域」に位置する検出特徴点を、「非マーカ特徴点」として特定する。
Further, the
Here, when the number indicated by “the number of detections of detected feature points” is the same as the number of frame images (for example, “50” in FIG. 9), it means that a marker exists at this coordinate. In addition, when the number indicated by “the number of detections of detected feature points” is smaller than the number of frame images but relatively large (for example, “40”, “30”, etc.), the marker is located at this coordinate. It means that it is often detected. On the other hand, when the number shown in the “number of detections of detected feature points” is small, it means that the marker is rarely detected at these coordinates. In particular, when a number such as “1” is indicated in the “number of detections of detected feature points”, the background portion of the detection target video has changed, so that it does not appear in the background video at the marker generation stage. It can be considered that this new pattern has been mistakenly recognized as a marker pattern and has been detected excessively.
Then, the
なお、検出対象映像の背景部分が変化する場合としては、例えば、その検出対象映像に動体が映し出された場合が挙げられる。
動体とは、時間の経過とともに位置や形状、色、テクスチャなどの状態等が変化するもの、言い換えれば、検出対象映像から抽出される特徴点が時間の経過とともに変化するものをいう。
In addition, as a case where the background part of a detection target image | video changes, the case where a moving body is projected on the detection target image | video is mentioned, for example.
A moving object refers to an object whose position, shape, color, texture, etc. change with the passage of time, in other words, a feature point extracted from a detection target video changes with the passage of time.
すなわち、この動体には、例えば、存在する位置が変わっていくもの、位置はそのままで形状などが変化するもの、存在する位置と形状等の両方が変化するもの、発生が短時間のものなどがある。
存在する位置が変わっていくものには、例えば、ベルトコンベアで運ばれている物、走行中の自動車、投げられたボールなどがある。
位置はそのままで形状などが変化するものには、例えば、風になびくカーテン、羽根が回転しながら首を振る扇風機、まわる回転灯、モニタに映し出された映像などがある。
存在する位置と形状等の両方が変化するものには、例えば、歩いている人、動いている動物、転がる石、落ちている葉、人などによって動かされている物（ランナーが持つ旗、コンベア搬送による製造過程にあるパン）などがある。
発生が短時間のものには、例えば、煙、土埃、打ち上げられた花火などがある。
In other words, for example, this moving object may change its position, change its shape without changing its position, change its existing position and shape, etc. is there.
Things that change their position include, for example, things carried on a belt conveyor, a running car, a thrown ball, and the like.
Examples of the shape that changes its position without changing the position include a curtain that flutters in the wind, a fan that swings its head while its blades rotate, a rotating lamp that rotates, and an image projected on a monitor.
Things that change both the position and shape of existing objects include, for example, walking people, moving animals, rolling stones, falling leaves, objects moved by people (runner flags, conveyors, etc. Bread in the manufacturing process by conveyance).
Examples of short-time occurrence include smoke, dust, and fireworks that have been launched.
また、特徴点を色相、明度、彩度によって抽出する場合、動体には、色相、明度、彩度が変化するものが含まれ、テクスチャが変化するものも含まれる。
さらに、動体には、非剛体が含まれる。非剛体とは、剛体でないもの、すなわち、外部又は内部からの力に対して変形するものをいう。この非剛体には、例えば、風になびくカーテン、指で抑えつけられたボールなどが含まれる。
When extracting feature points by hue, lightness, and saturation, moving objects include those that change hue, lightness, and saturation, and those that change texture.
Furthermore, the moving body includes a non-rigid body. A non-rigid body is a non-rigid body, that is, a body that deforms with respect to an external or internal force. Examples of the non-rigid body include a curtain that flutters in the wind and a ball that is held down by a finger.
そして、動体の存在によって「マーカ非出現領域」が発生する場合としては、例えば、動体から抽出された特徴点の全部又は一部の配置がマーカから抽出された特徴点の配置と一致又は近似する場合、動体が変形することにより特徴点の配置が変化する場合において、あるタイミングでの動体にもとづく特徴点の全部又は一部の配置がマーカから抽出された特徴点の配置と一致又は近似する場合、動体から抽出された特徴点の全部又は一部とこの動体の近傍の背景部分から抽出された特徴点の配置がマーカから抽出された特徴点の配置と一致又は近似する場合などが挙げられる。 Then, as a case where a “marker non-appearing region” occurs due to the presence of a moving object, for example, the arrangement of all or part of the feature points extracted from the moving object matches or approximates the arrangement of the feature points extracted from the marker In the case where the arrangement of feature points changes due to the deformation of the moving object, the arrangement of all or part of the feature points based on the moving object at a certain timing matches or approximates the arrangement of the feature points extracted from the marker There are cases where the arrangement of feature points extracted from all or part of the feature points extracted from the moving object and the background portion in the vicinity of the moving object matches or approximates the arrangement of the feature points extracted from the marker.
（II）マーカ検出方法
次に、本実施形態のマーカ検出装置の動作（マーカ検出方法）について、図１０、図１１を参照して説明する。
図１０は、照合手段の動作手順を示すフローチャートである。図１１は、照合監視手段の動作手順を示すフローチャートである。
(II) Marker Detection Method Next, the operation (marker detection method) of the marker detection device of this embodiment will be described with reference to FIGS.
FIG. 10 is a flowchart showing the operation procedure of the collating means. FIG. 11 is a flowchart showing the operation procedure of the collation monitoring means.
（II-1）照合手段の動作手順
図１０に示すように、マーカ検出装置１ａにおいて、照合手段１０ａの照合データ入力部１１は、外部から「特徴点情報テーブル」と、「マーカ情報テーブル」とを入力する（ステップ１０）。
照合データ記憶部１２は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」を記憶する。
(II-1) Operation Procedure of Collation Unit As shown in FIG. 10, in the marker detection device 1a, the collation
The collation
照合部１３は、照合データ記憶部１２から「特徴点情報テーブル」と「マーカ情報テーブル」を取り出す。そして、照合部１３は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」に示されたデータを用いて、検出対象映像から抽出された特徴点群（特徴空間に配置された特徴点群）の配置の中に、マーカから抽出された特徴点群の配置と一致するものがあるか否かを判断する（ステップ１１、照合処理）。なお、必要な場合は、図８（i）、（ii）に示したような、マーカの伸長又は短縮の処理を実行する。
The
判断の結果、特徴空間に配置された特徴点群の配置の中に、マーカから抽出された特徴点群の配置と一致するものがあるときは、照合部１３は、そのマーカの特徴点群と一致した特徴空間の特徴点のそれぞれを検出特徴点とする（ステップ１２、検出特徴点の検出）。また、照合部１３は、その検出特徴点が配置されている位置又はこの位置を含む領域を「一致検出領域」として特定する。
そして、照合部１３は、その検出特徴点に関するデータをまとめた「検出特徴点情報テーブル」を作成する（ステップ１３）。照合データ記憶部１２は、「検出特徴点情報テーブル」を記憶する。
As a result of the determination, if any of the arrangement of the feature point groups arranged in the feature space matches the arrangement of the feature point group extracted from the marker, the matching
Then, the
ここで、照合部１３は、所定時間の経過、所定数の「特徴点情報テーブル」の入力、所定数の検出特徴点の検出、電源スイッチのＯＦＦなど、所定の条件を満たしているか否かを判断する（ステップ１４）。
判断の結果、所定の条件を満たしているときは、照合部１３を含む照合手段１０ａは、ステップ１０〜ステップ１４の一連の処理を終了する。
一方、所定の条件を満たしていないときは、照合部１３は、照合データ入力部１１で「特徴点情報テーブル」が入力されたか否かを判断する（ステップ１５）。
判断の結果、「特徴点情報テーブル」が入力されたときは、照合部１３は、ステップ１１以降の処理を実行する。
Here, the
As a result of the determination, when the predetermined condition is satisfied, the collating
On the other hand, when the predetermined condition is not satisfied, the
As a result of the determination, when the “feature point information table” is input, the
（II-2）照合監視手段の動作手順
図１１に示すように、マーカ検出装置１ａにおいて、照合監視手段２０ａの照合監視部２２は、照合データ記憶部１２が新たに「検出特徴点情報テーブル」を記憶したか否かを判断する（ステップ２０）。
判断の結果、照合データ記憶部１２が新たに「検出特徴点情報テーブル」を記憶したときは、照合監視部２２は、その「検出特徴点情報テーブル」を取り出して、監視データ記憶部２１に記憶させる（ステップ２１）。
一方、照合データ記憶部１２に新たに「検出特徴点情報テーブル」を記憶していないとき（照合データ記憶部１２に記憶されている「検出特徴点情報テーブル」と、監視データ記憶部２１に記憶されている「検出特徴点情報テーブル」が同じであるとき）は、照合監視部２２は、「検出特徴点情報テーブル」の取り出し等は実行しない。
(II-2) Operation Procedure of Collation Monitoring Unit As shown in FIG. 11, in the marker detection device 1a, the
As a result of the determination, when the collation
On the other hand, when the “detected feature point information table” is not newly stored in the collation data storage unit 12 (“detected feature point information table” stored in the collation
次いで、照合監視部２２は、所定の条件を満たしているか否かを判断する（ステップ２２）。ここで、所定の条件とは、例えば、所定時間の経過、「検出特徴点情報テーブル」の所定数の記憶、検出特徴点の所定数の検出などをいう。
判断の結果、所定の条件を満たしているときは、照合監視部２２は、監視データ記憶部２１から複数の「検出特徴点情報テーブル」を取り出す。
次いで、照合監視部２２は、それら複数の「検出特徴点情報テーブル」を一の「検出特徴点監視テーブル」にまとめる（ステップ２３）。
監視データ記憶部２１は、「検出特徴点監視テーブル」を記憶する。
Next, the
As a result of the determination, when a predetermined condition is satisfied, the
Next, the
The monitoring
さらに、照合監視部２２は、その「検出特徴点監視テーブル」の「検出特徴点の検出回数」を参照し、検出回数が所定回数以下の検出特徴点を抽出する。
そして、照合監視部２２は、その抽出した検出特徴点を検出対象映像に一時的に表れたパターンにもとづく非マーカ特徴点であると特定する（ステップ２４）。また、照合監視部２２は、その非マーカ特徴点が配置された「一致検出領域」を「マーカ非出現領域」として特定する。
一方、検出回数が所定回数以上の検出特徴点については、マーカにもとづく特徴点であると判断する。そして、この検出特徴点が配置された「一致検出領域」を「マーカ検出領域」として特定する。
Further, the
And the
On the other hand, a detected feature point whose number of detections is a predetermined number or more is determined to be a feature point based on a marker. Then, the “coincidence detection area” where the detection feature points are arranged is specified as the “marker detection area”.
なお、「一致検出領域」は、一点、複数の点、線分、所定の広さの面、三次元空間の一部などによってその領域を特定することができる。このため、「マーカ検出領域」及び「マーカ非出現領域」についても同様に、一点、複数の点、線分、所定の広さの面、三次元空間の一部などによってそれらの領域を特定することができる。 The “coincidence detection region” can be specified by one point, a plurality of points, a line segment, a surface having a predetermined area, a part of a three-dimensional space, or the like. For this reason, the “marker detection area” and the “marker non-appearance area” are similarly specified by one point, a plurality of points, a line segment, a surface of a predetermined area, a part of a three-dimensional space, and the like. be able to.
以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、複数の検出対象映像から抽出された特徴点群の配置の中にマーカの特徴点群の配置と一致するものがある場合に、その一致した特徴点が配置された位置を「一致検出領域」とし、複数の検出対象映像から抽出された複数の特徴点のうち「一致検出領域」に配置される特徴点の数が非常に少ないときには、その特徴点を、動体にもとづく特徴点（非マーカ特徴点）として特定し、この非マーカ特徴点が配置された位置を「マーカ非出現領域」として特定することができる。 As described above, according to the marker detection device and the marker detection method of the present embodiment, among the arrangement of feature points extracted from a plurality of detection target videos, the one that matches the arrangement of the feature points of the marker is included. In some cases, the position where the matched feature points are arranged is the “match detection area”, and the number of feature points arranged in the “match detection area” among the plurality of feature points extracted from the plurality of detection target videos When there is very little, the feature point can be specified as a feature point (non-marker feature point) based on a moving object, and the position where the non-marker feature point is arranged can be specified as a “marker non-appearance region”.
これにより、動体の変形、経時変化、複数物体の干渉などにより出現したパターンにもとづく特徴点の配置がマーカにもとづく特徴点の配置と偶然に一致した場合でも、その特徴点が、所望のマーカにもとづくものではなく、動体にもとづくものであるとの判断が可能となる。
したがって、マーカが付されていない物体を誤って過剰検出したことを認識できるとともに、正規のマーカを安定かつ確実に検出することができる。
As a result, even if the feature point placement based on the pattern that appears due to deformation of the moving object, change with time, interference of multiple objects, etc. coincides with the feature point placement based on the marker, the feature point becomes the desired marker. It is possible to determine that the object is based on a moving object, not based on it.
Therefore, it is possible to recognize that an object without a marker is erroneously over-detected, and to detect a regular marker stably and reliably.
［マーカ検出装置及びマーカ検出方法の第二実施形態］
次に、本発明のマーカ検出装置及びマーカ検出方法の第二の実施形態について、図１２を参照して説明する。
図１２は、本実施形態のマーカ検出装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段と、特徴抽出手段と、マーカ記憶手段と、報知手段とを新たに備えた点が相違する。他の構成要素は第一実施形態と同様である。
したがって、図１２において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
[Second Embodiment of Marker Detection Device and Marker Detection Method]
Next, a second embodiment of the marker detection device and the marker detection method of the present invention will be described with reference to FIG.
FIG. 12 is a block diagram showing the configuration of the marker detection device of this embodiment.
The present embodiment is different from the first embodiment in that a video input unit, a feature extraction unit, a marker storage unit, and a notification unit are newly provided. Other components are the same as those in the first embodiment.
Therefore, in FIG. 12, the same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
（マーカ検出装置）
図１２に示すように、マーカ検出装置１ｂは、照合手段１０ｂと、照合監視手段２０ｂと、映像入力手段３０と、特徴抽出手段４０ｂと、マーカ記憶手段５０と、報知手段６０とを備えている。
ここで、映像入力手段３０は、図１３に示すように、映像入力部３１と、映像記憶部３２とを有している。
(Marker detection device)
As shown in FIG. 12, the marker detection device 1b includes a
Here, the video input means 30 includes a
映像入力部３１は、検出対象映像（マーカ検出用の画像）を入力する。
検出対象映像は、マーカ生成装置（後述）により生成されたマーカが付されている物体が存在する可能性のある環境を撮影したものである。例えば、マーカが付された物体を搬送するベルトコンベアがある場合に、その物体を搬送している状態のベルトコンベア、搬送する前の状態や搬送した後の状態のベルトコンベア、及び、ベルトコンベアの周辺を撮影した映像などが該当する。
この検出対象映像は、動画像（映像）であってもよく、また、所定時間間隔で撮影した複数枚の静止画像であってもよい。
さらに、検出対象映像には、ライブ映像、録画映像、配信映像などを含むことができる。
The
The detection target video is an image of an environment in which an object with a marker generated by a marker generation device (described later) may exist. For example, when there is a belt conveyor that conveys an object with a marker, the belt conveyor in the state of conveying the object, the belt conveyor in the state before or after the conveyance, and the belt conveyor Applicable to images of surrounding areas.
This detection target video may be a moving image (video), or may be a plurality of still images taken at predetermined time intervals.
Further, the detection target video can include a live video, a recorded video, a distribution video, and the like.
また、映像入力部３１は、自身が撮像デバイスを有することができる。この場合、映像入力部３１は、当該マーカ検出装置１ｂが設置された場所の周囲の様子を検出対象映像として撮影することができる。
さらに、映像入力部３１は、当該マーカ検出装置１ｂ以外の装置で取り込まれた検出対象映像を、通信ネットワークや通信ケーブルなどを介して入力することもできる。
The
Furthermore, the
この映像入力部３１が撮影又は入力した検出対象映像の例を、図１４（i-11）〜（i-15）、図１５（i-21）〜（i-25）に示す。
撮影角度（カメラアングル）が同じであって、写し出されている物がすべて静止している場合、検出対象映像は、図１４（i-11）〜（i-15）に示すように、どの撮影時刻においても同じになる。これに対し、検出対象映像に動く物体（動体）が映し出された場合、その動体が写し出された画像（図１５（i-23））と、他の画像（図１５（i-21）、（i-22）、（i-24）、（i-25））とは、その動体がある部分で異なっている。
Examples of detection target images captured or input by the
When the shooting angle (camera angle) is the same and all the objects being projected are stationary, the image to be detected is which shooting, as shown in FIGS. 14 (i-11) to (i-15). The same is true for time. On the other hand, when a moving object (moving object) is projected on the detection target image, an image (FIG. 15 (i-23)) in which the moving object is projected and another image (FIG. 15 (i-21), ( i-22), (i-24), and (i-25)) differ in the part where the moving body is located.
映像記憶部３２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。検出対象映像を構成する静止画フレームとは、例えば、図１４（i-11）〜（i-15）に示す各画像の一枚一枚をいう。
また、映像記憶部３２は、複数のフレーム画像のそれぞれに付された番号（例えば、シリアル番号）を記憶する。この番号は、一枚のフレーム画像を一意に特定する。図１４においては、（i-11）、（i-12）、（i-13）、・・・が該当する。
さらに、映像記憶部３２は、フレーム画像が撮影された時刻、フレーム画像を撮影した装置を特定する情報（フレーム画像が外部入力されたものである場合）などを記憶することもできる。
The
The
Furthermore, the
特徴抽出手段４０ｂは、図１３に示すように、特徴抽出部４１と、特徴記憶部４２とを有している。
特徴抽出部４１は、映像記憶部３２からフレーム画像を取り出す。そして、特徴抽出部４１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
画像特徴としては、例えば、図形的に特徴的な特性を数値化したものを用いることができる。
これには、例えば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されているTommasiniらによる「Making good features track better」に記載されている方法を使用することができる。この方法は、画像中の物体形状に頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。例えば、図１４（i-11）のフレーム画像に対して、この方法で特徴点を抽出すると、図１６に示すように、特徴点が複数配置される。特徴点の一つ一つは、座標により管理することができる。
なお、特徴点が配置された空間を特徴空間という。
As shown in FIG. 13, the
The
As the image feature, for example, a graphic characteristic characteristic in numerical form can be used.
For this, for example, the method described in “Making good features track better” by Tommasini et al. Published in the 1998 IEEE Computer Vision Pattern Recognition Conference Proceedings can be used. This method can extract vertices, intersections, end points and the like of object shapes in an image. A series of position coordinate information on the image of these points can be used as a graphic feature. For example, when feature points are extracted by this method for the frame image of FIG. 14 (i-11), a plurality of feature points are arranged as shown in FIG. Each feature point can be managed by coordinates.
A space in which feature points are arranged is called a feature space.
また、他の方法としては、例えば、Montanariによる１９７１年Communications of ACM、１４巻に掲載されている「On the option detection of curves in noisy pictures」に記載の方法がある。これは、基準点からの距離、相対角度を記憶するＲテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。
さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。
As another method, for example, there is a method described in “On the option detection of curves in noisy pictures” published in the 1971 Communications of ACM,
Further, as another feature extraction method, for example, there is a method characterized by the luminance value or color difference value of each pixel on the image.
次いで、特徴抽出部４１は、図６に示すように、特徴点のそれぞれにシリアル番号を付与する。このシリアル番号は、例えば、最も上に位置するものから順番にt1、t2、t3、t4、・・・のように付与することができる。
続いて、特徴抽出部４１は、特徴点のそれぞれの座標を求める。座標は、図６に示すように、特徴空間にＸ軸とＹ軸を設定し、Ｙ軸からの距離をＸ座標、Ｘ軸からの距離をＹ座標とすることができる。
なお、図６に示す白い丸（t40,t53,t60,t61,t64,t65）は、図１４（i-11）に示すマーカ（人が持っているボードに描かれたマーカ）から抽出された特徴点である。
Next, the
Subsequently, the
In addition, the white circle (t40, t53, t60, t61, t64, t65) shown in FIG. 6 was extracted from the marker (marker drawn on the board which a person has) shown in FIG. 14 (i-11). It is a feature point.
そして、特徴抽出部４１は、それら特徴点のシリアル番号や座標を含む「特徴点情報テーブル」を作成する。
「特徴点情報テーブル」は、図１７に示すように、「フレーム画像のシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）と、「特徴点に関する情報」（オ）とを項目として構成することができる。
Then, the
As shown in FIG. 17, the “feature point information table” includes a “frame image serial number” (A), a “feature point serial number” (A), “a feature point x-coordinate” (C), “Y-coordinates of feature points” (d) and “information on feature points” (e) can be configured as items.
「フレーム画像のシリアル番号」、「特徴点のシリアル番号」、「特徴点のｘ座標」、「特徴点のｙ座標」は、図３に示す「特徴点情報テーブル」の「フレーム画像のシリアル番号」、「特徴点のシリアル番号」、「特徴点のｘ座標」、「特徴点のｙ座標」と同様である。
「特徴点に関する情報」は、例えば、特徴として認識された要素（エッジ、交差など）、特徴点が位置する画素の色相、明度、彩度、テクスチャなどを含むことができる。なお、この「特徴点に関する情報」は、省略することができる。この場合は、図３に示す構成の「特徴点情報テーブル」が作成される。
特徴抽出部４１は、映像記憶部３２に記憶されたフレーム画像ごとに、特徴点を抽出し、「特徴点情報テーブル」を作成する。
“Serial number of frame image”, “serial number of feature point”, “x coordinate of feature point”, “y coordinate of feature point” are “serial number of frame image” in “feature point information table” shown in FIG. ”,“ Serial number of feature point ”,“ x coordinate of feature point ”,“ y coordinate of feature point ”.
“Information about feature points” can include, for example, elements recognized as features (edges, intersections, etc.), hue, brightness, saturation, texture, and the like of pixels where the feature points are located. This “information on feature points” can be omitted. In this case, a “feature point information table” having the configuration shown in FIG. 3 is created.
The
特徴記憶部４２は、所定のメモリ領域を保持している。この特徴記憶部４２は、特徴抽出部４１で実行された処理に関する各種データを記憶する。特に、特徴記憶部４２は、「特徴点情報テーブル」を一又は二以上記憶することができる。
The
マーカ記憶手段５０は、マーカに関するデータを記憶する。
マーカは、マーカ生成装置（後述）で生成される。
このマーカは、図１８（ｉ）〜（iv）に示すように、種々の形状に形成することができる。ただし、マーカから抽出される特徴点は、特異特徴（後述）の配置と一致していることを要する。
このマーカ記憶手段５０は、図４に示す「マーカ情報テーブル」を記憶している。
なお、マーカ記憶手段５０は、例えば、マーカの形状、マーカを構成する線分の座標、マーカから抽出される特徴点の座標などを記憶することができる。
The
The marker is generated by a marker generation device (described later).
This marker can be formed in various shapes as shown in FIGS. 18 (i) to (iv). However, the feature points extracted from the markers need to match the arrangement of unique features (described later).
The marker storage means 50 stores a “marker information table” shown in FIG.
Note that the
照合手段１０ｂは、図１３に示すように、照合データ入力部１１と、照合データ記憶部１２と、照合部１３とを有している。
照合データ入力部１１は、特徴抽出手段４０ｂの特徴記憶部４２から「特徴点情報テーブル」を取り出す。また、照合データ入力部１１は、マーカ記憶手段５０から「マーカ情報テーブル」を取り出す。そして、照合データ入力部１１は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」を照合データ記憶部１２に記憶させる。
照合データ記憶部１２は、「特徴点情報テーブル」と、「マーカ情報テーブル」と、「検出特徴点情報テーブル」とを記憶する。
As shown in FIG. 13, the
The collation
The collation
照合部１３は、照合データ記憶部１２から「特徴点情報テーブル」と「マーカ情報テーブル」を取り出す。そして、照合部１３は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」に示されたデータを用いて、検出対象映像から抽出された特徴点群（特徴空間に配置された特徴点群）の配置の中に、マーカから抽出された特徴点群の配置と一致するものがあるか否かを判断する。
The
判断の結果、一致しているものがあるときは、照合部１３は、特徴空間における、その一致した特徴点が、マーカにもとづく特徴点であると判断し、これを検出特徴点とする。また、この検出特徴点が配置された位置又はこの位置を含む領域を「一致検出領域」として特定する。そして、照合部１３は、検出特徴点に関するデータをまとめた「検出特徴点情報テーブル」を作成する。
一方、一致しているものがないときは、照合部１３は、その特徴空間には、マーカにもとづく特徴点がなかったと判断する。
なお、照合部１３は、このような判断処理を、「特徴点情報テーブル」が照合データ記憶部１２に記憶されるたびに（フレーム画像ごとに）実行する。
If there is a match as a result of the determination, the matching
On the other hand, when there is no coincidence, the
The
照合監視手段２０ｂは、図１３に示すように、監視データ記憶部２１と、照合監視部２２とを有している。
照合監視部２２は、複数の「検出特徴点情報テーブル」を用いて「検出特徴点監視テーブル」を作成する。また、照合監視部２２は、その「検出特徴点監視テーブル」の「検出特徴点の検出回数」を参照する。そして、照合監視部２２は、検出回数が所定回数以下の検出特徴点を抽出すると、その抽出した検出特徴点を非マーカ特徴点であると特定し、この非マーカ特徴点が配置された「一致検出領域」を「マーカ非出現領域」として特定する。一方、検出回数が所定回数以上の検出特徴点を抽出すると、その抽出した検出特徴点が配置された「一致検出領域」を「マーカ検出領域」として特定する。そして、照合監視部２２は、非マーカ特徴点又は「マーカ非出現領域」を特定したときは、報知手段６０に報知信号を送る。
As shown in FIG. 13, the
The
報知手段６０は、マーカが検出されたこと、非マーカ特徴点が特定されたこと、「マーカ非出現領域」が特定されたことなどを外部に知らせる。
この報知手段６０は、図１３に示すように、表示部６１と、音声出力部６２と、信号出力部６３とを有することができる。
The
As shown in FIG. 13, the
表示部６１は、図１９に示すように、映像入力部３１で入力された検出対象映像を表示する。また、表示部６１は、マーカが検出された箇所を「マーカ検出領域」として表示することができる。さらに、表示部６１は、非マーカ特徴点が検出された箇所を「マーカ非出現領域」として表示することができる。
この表示部６１における「マーカ検出領域」や「マーカ非出現領域」の表示は、「検出特徴点監視テーブル」に示されたｘ座標やｙ座標にしたがって行うことができる。
As shown in FIG. 19, the
Display of the “marker detection area” and “marker non-appearance area” on the
また、「マーカ非出現領域」の表示は、すなわち、マーカ検出が誤って行われた箇所を示している。このため、その「マーカ非出現領域」の表示は、目立つように色を変えて表示したり、上から紙を貼るなどして隠蔽したりすることが望ましい。これにより、「マーカ非出現領域」でマーカが正規に検出されたものとユーザが誤って認識するのを避けることができる。
さらに、非マーカ特徴点が検出されたことで、表示部６１は、マーカの再設計を促す表示をすることもできる。
In addition, the display of “marker non-appearance region” indicates a location where marker detection is erroneously performed. For this reason, it is desirable to display the “marker non-appearance region” by conspicuously changing the color or hiding it by attaching paper from above. Thereby, it can be avoided that the user mistakenly recognizes that the marker is normally detected in the “marker non-appearing region”.
Furthermore, when the non-marker feature point is detected, the
音声出力部６２は、例えば、スピーカなどで構成することができる。この音声出力部６２は、所定の音声を出力することで、マーカや非マーカ特徴点が検出されたことを外部に知らせる。
信号出力部６３は、所定の信号を外部に送信する。この信号の送信は、有線であってもよく、無線であってもよい。この信号出力部６３から出力された信号を受信した装置は、所定の報知を行う。
The
The
なお、図１３においては、報知手段６０が、表示部６１と音声出力部６２と信号出力部６３とを有する構成としてあるが、報知手段６０は、この構成に限るものではなく、それら表示部６１等のうちの一又は二以上によって構成することもできる。
In FIG. 13, the
（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図２０を参照して説明する。
マーカ記憶手段５０は、マーカに関するデータを含む「マーカ情報テーブル」を予め記憶している（ステップ３０）。
(Marker detection method)
Next, the marker detection method of this embodiment will be described with reference to FIG.
The
映像入力手段３０の映像入力部３１は、マーカが存在する可能性のある環境を検出対象映像として入力する（ステップ３１）。
映像記憶部３２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。
The
The
特徴抽出手段４０ｂの特徴抽出部４１は、映像記憶部３２からフレーム画像を取り出す。そして、特徴抽出部４１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴（特徴点）を抽出する（ステップ３２）。
また、特徴抽出部４１は、抽出した特徴点の座標を算出し、「特徴点情報テーブル」を作成する（ステップ３３）。特徴記憶部４２は、「特徴点情報テーブル」を記憶する。
The
Also, the
照合手段１０ｂの照合データ入力部１１は、特徴記憶部４２から「特徴点情報テーブル」を取り出す。また、照合データ入力部１１は、マーカ記憶手段５０から「マーカ情報テーブル」を取り出す。
照合部１３は、「特徴点情報テーブル」と「マーカ情報テーブル」とを用いて、検出対象映像にもとづく特徴点群の配置の中に、マーカパターンにもとづく特徴点群の配置と一致するものがあるか否かを判断する（ステップ３４）。
The collation
The
判断の結果、検出対象映像にもとづく特徴点群の配置の中に、マーカパターンにもとづく特徴点群の配置と一致する特徴点があるときは、照合部１３は、検出対象映像における当該特徴点を検出特徴点とし、この検出特徴点の座標を示す「検出特徴点情報テーブル」を作成する（ステップ３５）。そして、照合データ記憶部１２は、「検出特徴点情報テーブル」を記憶する。
一方、検出対象映像にもとづく特徴点群の配置の中に、マーカパターンにもとづく特徴点と一致する特徴点群の配置がないときは、照合部１３は、特徴点の座標の検出及び報知信号の送出を行わない。
As a result of the determination, if there is a feature point that matches the arrangement of the feature point group based on the marker pattern in the arrangement of the feature point group based on the detection target video, the matching
On the other hand, when there is no feature point group that matches the feature point based on the marker pattern in the feature point group placement based on the detection target video, the
照合監視手段２０ｂの照合監視部２２は、所定のタイミング（一定時間の経過、所定枚数の「検出特徴点情報テーブル」の記憶）であるか否かを判断する（ステップ３６）。
判断の結果、所定のタイミングでないときは、ステップ３１〜ステップ３６の処理を繰り返す。
一方、所定のタイミングであるときは、照合監視部２２は、照合データ記憶部１２から「検出特徴点情報テーブル」を複数取り出す。
The
As a result of the determination, when the predetermined timing is not reached, the processing of
On the other hand, at the predetermined timing, the
次いで、照合監視部２２は、それら複数の「検出特徴点情報テーブル」を用いて、「検出特徴点監視テーブル」を作成する（ステップ３７）。
続いて、照合監視部２２は、その「検出特徴点監視テーブル」を参照し、検出回数が所定数以下の検出特徴点があるか否かを判断する（ステップ３８）。
判断の結果、検出回数が所定数以下の検出特徴点があるときは、これを非マーカ特徴点として検出する（ステップ３９）。そして、照合監視部２２は、報知手段６０へ報知信号を送る。
報知手段６０は、照合監視部２２から報知信号を受けると、非マーカ特徴点が検出されたことを外部に報知する（ステップ４０）。
Next, the
Subsequently, the
If the result of determination is that there are detected feature points whose number of detections is less than or equal to a predetermined number, these are detected as non-marker feature points (step 39). Then, the
When receiving the notification signal from the
一方、検出回数が所定数以下の検出特徴点がないときは、非マーカ特徴点は検出されず、報知信号の送出も行われない。
その後は、終了するか否かが判断され（ステップ４１）、終了しないときは、ステップ３１〜ステップ４１の処理が繰り返される。
On the other hand, when there are no detection feature points whose number of detections is equal to or less than a predetermined number, no marker feature points are detected and no notification signal is transmitted.
Thereafter, it is determined whether or not to end (step 41), and if not ended, the processing of
以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、検出対象映像から抽出された複数の特徴点の配置のうち、マーカにもとづく特徴点の配置と一致するものがあるときに、その特徴点の配置位置を「一致検出領域」とし、複数の検出対象映像から抽出された複数の特徴点のうち「一致検出領域」に配置される特徴点の数が所定数以下であるときは、その「一致検出領域」を、動体の存在により過剰検出された「マーカ非出現領域」であるとして特定できる。
このように、検出された「一致検出領域」を、所望の物体に付されたマーカにもとづく「マーカ検出領域」と、動体から抽出された特徴点にもとづく「マーカ非出現領域」とに区別することができるので、所望の物体を安定して確実に検出できる。
As described above, according to the marker detection device and the marker detection method of the present embodiment, among the plurality of feature point arrangements extracted from the detection target video, there is one that matches the arrangement of the feature points based on the markers. Sometimes, the arrangement position of the feature point is set as a “coincidence detection region”, and the number of feature points arranged in the “coincidence detection region” among the plurality of feature points extracted from the plurality of detection target videos is less than a predetermined number. In some cases, the “coincidence detection region” can be specified as a “marker non-appearance region” that is excessively detected due to the presence of a moving object.
In this way, the detected “coincidence detection region” is distinguished into a “marker detection region” based on a marker attached to a desired object and a “marker non-appearance region” based on a feature point extracted from a moving object. Therefore, a desired object can be detected stably and reliably.
［マーカ検出装置及びマーカ検出方法の第三実施形態］
次に、本発明のマーカ検出装置及びマーカ検出方法の第三の実施形態について、図２１を参照して説明する。
図２１は、本実施形態のマーカ検出装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段と、特徴抽出手段と、マーカ記憶手段と、報知手段と、不変特徴変換手段とを新たに備えた点が相違する。他の構成要素は第一実施形態と同様である。
したがって、図２１において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
[Third embodiment of marker detection apparatus and marker detection method]
Next, a third embodiment of the marker detection device and the marker detection method of the present invention will be described with reference to FIG.
FIG. 21 is a block diagram showing the configuration of the marker detection device of this embodiment.
This embodiment is different from the first embodiment in that video input means, feature extraction means, marker storage means, notification means, and invariant feature conversion means are newly provided. Other components are the same as those in the first embodiment.
Therefore, in FIG. 21, the same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
（マーカ検出装置）
図２１に示すように、マーカ検出装置１ｃは、照合手段１０ｃと、照合監視手段２０ｃと、映像入力手段３０と、特徴抽出手段４０ｃと、マーカ記憶手段５０と、報知手段６０と、不変特徴変換手段７０とを備えている。
ここで、不変特徴変換手段７０は、図２２に示すように、不変特徴変換部７１と、不変特徴記憶部７２とを有している。
(Marker detection device)
As shown in FIG. 21, the marker detection device 1c includes a
Here, the invariant feature conversion means 70 includes an invariant
不変特徴変換部７１は、特徴抽出手段４０ｃの特徴記憶部４２から「特徴点情報テーブル」（図１７参照）を取り出す。そして、不変特徴変換部７１は、その「特徴点情報テーブル」に示された特徴点を不変量特徴空間に写像する。
この写像は、次の手順で行うことができる。
あるフレーム画像から抽出した特徴点は、図１６に示すように、特徴空間に配置されているものとする。
ここで、不変特徴変換部７１は、各特徴点にシリアル番号を付す。このシリアル番号は、特徴空間において上から順番に付すことができる。本実施形態において、シリアル番号は、図６に示すように付されたものとする。
The invariant
This mapping can be performed by the following procedure.
It is assumed that feature points extracted from a certain frame image are arranged in a feature space as shown in FIG.
Here, the invariant
次いで、不変特徴変換部７１は、一つの特徴点を基底として定め、この基底が不変量特徴空間の座標（０，０）のところにくるように移動し、この移動量を求め、他のすべての特徴点についても、その移動量で不変量特徴空間に移動させる。
例えば、図２３に示すように、シリアル番号５番の特徴点を基底とし、この５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動する。これにより、不変量特徴空間には、同図右に示すように特徴点が配置される。なお、不変量特徴空間に配置された特徴点を不変特徴という。
Next, the invariant
For example, as shown in FIG. 23, all feature points are set so that the feature point of
また、図２４に示すように、シリアル番号１５番の特徴点を基底とし、この１５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
さらに、図２５に示すように、シリアル番号９５番の特徴点を基底とし、この９５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
そして、図２６に示すように、シリアル番号９７番の特徴点を基底とし、この９７番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
Further, as shown in FIG. 24, all feature points are set such that the feature point of
Further, as shown in FIG. 25, all feature points are set such that the feature point of
Then, as shown in FIG. 26, all the feature points are set so that the feature point of
このように、一つの特徴点を基底として定め、この基底を不変量特徴空間の原点に移動するのに伴って、その移動量と同じ移動量ですべての特徴点を移動させる処理を、各特徴点を順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。
図６に示す特徴点を不変量特徴空間に写像した結果は、図２７に示すようになる。これが、不変量特徴空間における不変特徴の配置された状態である。
In this way, the process of determining one feature point as a base and moving all the feature points with the same amount of movement as the base is moved to the origin of the invariant feature space This is performed each time a point is determined as a basis, and the feature points are mapped onto the invariant feature space by superimposing these moved feature points.
The result of mapping the feature points shown in FIG. 6 to the invariant feature space is as shown in FIG. This is a state in which invariant features are arranged in the invariant feature space.
なお、本実施形態において、特徴点を不変量特徴空間へ写像する方法は、図２３〜図２７に示す方法とするが、写像方法は、この方法に限るものではなく、種々の方法を用いることができる。
例えば、複数の特徴点のうちの一つを第一基底、他の一つを第二基底として定め、第一基底を不変量特徴空間の座標（0,0）に移動し、第二基底を（0,1）に移動することにともない、この移動規則と同一の変換規則にしたがって、すべての特徴点を移動させ、不変量特徴空間における移動後の各特徴点（不変特徴）の座標を記憶する。続いて、他の二つの特徴点を第一基底及び第二基底として定め、これら第一及び第二基底の移動にともない同一変換規則にしたがってすべての特徴点を移動させ、不変量特徴空間における不変特徴の座標を記憶する。そして、すべての特徴点が第一及び第二基底として定められ、不変量特徴空間における不変特徴の座標の蓄積が完了すると、不変量特徴空間への写像が終了する。
また、三つの特徴点を第一基底、第二基底、第三基底として定め、これら基底が不変量特徴空間の座標（0,0）、（0,1）、（1,0）に移動するように、すべての特徴点を移動させることもできる。
In this embodiment, the method for mapping the feature points to the invariant feature space is the method shown in FIGS. 23 to 27. However, the mapping method is not limited to this method, and various methods are used. Can do.
For example, one of a plurality of feature points is defined as a first basis, the other as a second basis, the first basis is moved to the coordinates (0,0) of the invariant feature space, When moving to (0,1), all feature points are moved according to the same conversion rule as this transfer rule, and the coordinates of each moved feature point (invariant feature) in the invariant feature space are stored. To do. Subsequently, the other two feature points are defined as the first basis and the second basis, and all feature points are moved according to the same transformation rule as the first and second basis move, and the invariant feature space is invariant. Stores feature coordinates. When all feature points are defined as the first and second bases and the accumulation of the invariant feature coordinates in the invariant feature space is completed, the mapping to the invariant feature space is completed.
Three feature points are defined as the first, second, and third bases, and these bases move to the coordinates (0,0), (0,1), (1,0) of the invariant feature space. In this way, all feature points can be moved.
また、不変特徴変換部７１は、不変量特徴空間に配置された不変特徴のそれぞれの座標を算出する。そして、不変特徴変換部７１は、「不変特徴情報テーブル」を作成する。
「不変特徴情報テーブル」は、図２８に示すように、「不変量特徴空間のシリアル番号」と、「不変特徴のシリアル番号」と、「不変特徴のｘ座標」と、「不変特徴のｙ座標」と、「特徴点のシリアル番号」とを項目として構成することができる。
「不変量特徴空間のシリアル番号」は、不変量特徴空間に付された番号を示す。
「不変特徴のシリアル番号」は、複数の不変特徴のそれぞれに付された番号を示す。
The invariant
As shown in FIG. 28, the “invariant feature information table” includes “invariant feature space serial number”, “invariant feature serial number”, “invariant feature x coordinate”, and “invariant feature y coordinate”. "And" serial number of feature point "can be configured as items.
“Serial number of invariant feature space” indicates a number assigned to the invariant feature space.
The “invariant feature serial number” indicates a number assigned to each of a plurality of invariant features.
「不変特徴のｘ座標」は、不変量特徴空間における、その不変特徴のｘ座標を示す。
「不変特徴のｙ座標」は、不変量特徴空間における、その不変特徴のｙ座標を示す。
「特徴点のシリアル番号」は、不変量特徴空間に写像される前の特徴点に付された番号を示す。
The “invariant feature x-coordinate” indicates the x-coordinate of the invariant feature in the invariant feature space.
“Y coordinate of invariant feature” indicates the y coordinate of the invariant feature in the invariant feature space.
The “feature point serial number” indicates the number assigned to the feature point before mapping to the invariant feature space.
不変特徴記憶部７２は、所定のメモリ領域を保持している。この不変特徴記憶部７２は、不変特徴変換部７１で求められた各種データを記憶する。特に、不変特徴記憶部７２は、「不変特徴情報テーブル」を記憶する。
The invariant
照合手段１０ｃは、図２２に示すように、照合データ入力部１１と、照合データ記憶部１２と、照合部１３と、マーカ変換部１４と、照合範囲特定部１５とを有している。
照合データ入力部１１は、不変特徴変換手段７０の不変特徴記憶部７２から、「不変特徴情報テーブル」（図２８参照）を取り出す。また、照合データ入力部１１は、マーカ記憶手段５０から「マーカ情報テーブル」（図４参照）を取り出す。これら「不変特徴情報テーブル」と「マーカ情報テーブル」は、照合データ記憶部１２に記憶される。
As shown in FIG. 22, the collation means 10 c includes a collation
The collation
マーカ変換部１４は、マーカにもとづく特徴点を用いて、そのマーカにもとづく特異特徴を抽出する。
この処理は、図２９（ｉ）〜（iii）に示す手順で行うことができる。
マーカ変換部１４は、照合データ記憶部１２から「マーカ情報テーブル」を取り出す。この「マーカ情報テーブル」に示された特徴点m1〜mnを、同テーブルに示されたｘ座標とｙ座標にしたがって特異特徴空間に配置すると、図２９（ｉ）に示すようになる。
次いで、特異特徴空間に格子状のメッシュを掛ける（図２９（ii））。このメッシュは、不変量特徴空間（後述）に付されるメッシュと同じ格子間隔とする。
続いて、格子線で区切られた各区画のうち、マーカの特徴点が配置された区画を特異特徴として抽出する。図２９（iii）においては、黒塗りした区画が特異特徴として抽出される。
The
This process can be performed according to the procedure shown in FIGS.
The
Next, a lattice-like mesh is applied to the singular feature space (FIG. 29 (ii)). This mesh has the same lattice spacing as the mesh attached to the invariant feature space (described later).
Subsequently, among the sections partitioned by the grid lines, the section where the marker feature points are arranged is extracted as a unique feature. In FIG. 29 (iii), a black section is extracted as a unique feature.
そして、マーカ変換部１４は、マーカにもとづく特異特徴を抽出すると、「マーカ用特異特徴テーブル」を作成する。
「マーカ用特異特徴テーブル」は、図３０に示すように、「マーカのシリアル番号」と、「特徴点のシリアル番号」と、「特徴点のｘ座標」と、「特徴点のｙ座標」と、「特異特徴のシリアル番号」と、「特異特徴のｘ座標」と、「特異特徴のｙ座標」とを項目として構成することができる。
Then, when the
As shown in FIG. 30, the “marker unique feature table” includes “marker serial number”, “feature point serial number”, “feature point x coordinate”, and “feature point y coordinate”. “Serial number of unique feature”, “x coordinate of unique feature”, and “y coordinate of unique feature” can be configured as items.
「マーカのシリアル番号」は、特異特徴空間へ写像したマーカの番号を示す。
「特徴点のシリアル番号」、「特徴点のｘ座標」、「特徴点のｙ座標」は、「マーカ情報テーブル」（図４参照）を構成する「特徴点のシリアル番号」、「特徴点のｘ座標」、「特徴点のｙ座標」と同じ意味である。
「特異特徴のシリアル番号」は、各特異特徴に付されたシリアル番号を示す。
「特徴点のｘ座標」は、特異特徴空間における特異特徴のｘ座標を示す。
「特徴点のｙ座標」は、特異特徴空間における特異特徴のｙ座標を示す。
この「マーカ用特異特徴テーブル」は、照合データ記憶部１２に記憶される。
The “marker serial number” indicates the number of the marker mapped to the singular feature space.
The “feature point serial number”, “feature point x coordinate”, and “feature point y coordinate” are the “feature point serial number” and “feature point serial number” that constitute the “marker information table” (see FIG. 4). It has the same meaning as “x coordinate” and “y coordinate of feature point”.
“Serial number of unique feature” indicates a serial number assigned to each unique feature.
The “x coordinate of the feature point” indicates the x coordinate of the unique feature in the unique feature space.
The “y-coordinate of the feature point” indicates the y-coordinate of the singular feature in the singular feature space.
This “marker specific characteristic table” is stored in the collation
また、図２９（iii）に示す特異特徴を「マーカ用特異特徴テーブル」に表すと、図３１に示すようになる。
すなわち、六つの特異特徴のそれぞれにシリアル番号s1-s6が付されて「マーカ用特異特徴テーブル」のオ欄に表される。また、各特異特徴s1-s6が配置された区画のｘ座標とｙ座標が「マーカ用特異特徴テーブル」のカ欄及びキ欄に表される。
In addition, when the unique feature shown in FIG. 29 (iii) is represented in the “marker unique feature table”, it is as shown in FIG.
That is, each of the six unique features is given a serial number s1-s6 and is displayed in the column “e” of the “marker unique feature table”. In addition, the x coordinate and y coordinate of the section in which each unique feature s1-s6 is arranged are displayed in the column and key of the “marker unique feature table”.
照合範囲特定部１５は、図２７に示した不変量特徴空間にメッシュを掛け、図３２に示すように、複数の区画に分ける。なお、形成された複数の区画のうち、不変特徴が配置された区画をグレーで表示すると、図３３に示すようになる。
次いで、照合範囲特定部１５は、図３４に示すように、不変量特徴空間においてマーカ照合範囲を特定する。このマーカ照合範囲は、マーカ生成時に特定されるマーカパターン生成範囲（後述）と同じ範囲とすることができる。
The collation
Next, the collation
照合部１３は、図３４に示したマーカ照合範囲に、図２９（iii）に示した特異特徴空間における各区画をあてはめる。このあてはめた状態を図３５に示す。これにより、照合部１３は、不変量特徴空間における、マーカにもとづく特異特徴の座標を求めることができる。なお、図３５において、黒で塗り潰した区画がマーカにもとづく特異特徴である。
The matching
次いで、照合部１３は、「マーカ検出テーブル」を作成する。
「マーカ検出テーブル」は、図３６に示すように、「不変量特徴空間のシリアル番号」（ア）、「特異特徴のシリアル番号」（イ）、「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」（ウ）、「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」（エ）、「不変特徴の数」（オ）を項目として構成することができる。
「不変量特徴空間のシリアル番号」は、不変量特徴空間のそれぞれに付された番号を示す。
「特異特徴のシリアル番号」は、特異特徴のそれぞれに付された番号を示す。
Next, the
As shown in FIG. 36, the “marker detection table” includes “invariant feature space serial number” (a), “singular feature serial number” (b), “invariant feature space based singular feature. "X coordinate" (c), "y coordinate of singular feature based on marker in invariant feature space" (d), "number of invariant features" (e) can be configured as items.
“Serial number of invariant feature space” indicates a number assigned to each of the invariant feature spaces.
The “unique feature serial number” indicates the number assigned to each unique feature.
「不変特徴の数」は、その特異特徴に位置する不変特徴の数を示す。
この「不変特徴の数」は、当該「マーカ検出テーブル」の「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」及び「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」、「不変特徴情報テーブル」（図２８参照）の「不変特徴のｘ座標」及び「不変特徴のｙ座標」を用いて算出できる。
すなわち、当該「マーカ検出テーブル」の「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」及び「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」によって特異特徴を特定し、この特定した特異特徴の範囲内に、「不変特徴情報テーブル」の「不変特徴のｘ座標」及び「不変特徴のｙ座標」の両方が含まれる不変特徴があるときは、「不変特徴の数」を加算する。
この「マーカ検出テーブル」は、照合データ記憶部１２に記憶される。
そして、照合部１３は、「不変特徴の数」が所定数以上（例えば、１以上）の特異特徴を「一致検出領域」として検出する。
The “number of invariant features” indicates the number of invariant features located in the singular feature.
The “number of invariant features” is the “x coordinate of the singular feature based on the marker in the invariant feature space” and the “y coordinate of the singular feature based on the marker in the invariant feature space” of the “marker detection table”, It can be calculated using the “invariant feature x-coordinate” and the “invariant feature y-coordinate” of the “invariant feature information table” (see FIG. 28).
That is, the singular feature is specified by the “x coordinate of the singular feature based on the marker in the invariant feature space” and the “y coordinate of the singular feature based on the marker in the invariant feature space” of the “marker detection table”. If there is an invariant feature that includes both the “invariant feature x-coordinate” and the “invariant feature y-coordinate” of the “invariant feature information table” within the specified singular feature range, the “number of invariant features” is set. to add.
This “marker detection table” is stored in the collation
Then, the matching
照合監視手段２０ｃは、監視データ記憶部２１と、照合監視部２２とを有している。
監視データ記憶部２１は、「不変特徴情報テーブル」、「マーカ検出テーブル」、「検出不変特徴監視テーブル」を記憶する。
The
The monitoring
照合監視部２２は、照合手段１０ｃの照合データ記憶部１２から「マーカ検出テーブル」（図３６参照）を取り出して、監視データ記憶部２１に記憶させる。この「マーカ検出テーブル」を照合データ記憶部１２から取り出す処理は、照合データ記憶部１２が「マーカ検出テーブル」を記憶した直後でもよく、所定時間が経過するたびに行ってもよく、「マーカ検出テーブル」が所定数記憶されるたびに行ってもよい。
The
また、照合監視部２２は、所定のタイミングで、監視データ記憶部２１から複数の「マーカ検出テーブル」を取り出す。そして、照合監視部２２は、それら複数の「マーカ検出テーブル」を用いて「検出不変特徴監視テーブル」を作成する。
「検出不変特徴監視テーブル」は、図３７に示すように、「特異特徴のシリアル番号」と、「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」と、「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」と、「不変特徴の合計数」と、「不変量特徴空間のシリアル番号」とを項目として有することができる。
The
As shown in FIG. 37, the “detection invariant feature monitoring table” includes “singular feature serial number”, “x coordinate of singular feature based on marker in invariant feature space”, and “invariant feature space, Items can include “y-coordinates of unique features based on markers”, “total number of invariant features”, and “serial number of invariant feature space”.
この「検出不変特徴監視テーブル」は、次の手順で作成することができる。
照合監視部２２は、複数の「マーカ検出テーブル」を参照し、これら複数の「マーカ検出テーブル」に示された「特異特徴のシリアル番号」、「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」、「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」のすべてを、「検出不変特徴監視テーブル」の「特異特徴のシリアル番号」、「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」、「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」に表す。ここで、重複した「特異特徴のシリアル番号」等があるときは、一つにまとめて表す。
なお、特異特徴が、図３５に示すように六つあるときは、「特異特徴のシリアル番号」等は、それら六つの特異特徴に関するシリアル番号等が示される。
This “detection invariant feature monitoring table” can be created by the following procedure.
The
When there are six unique features as shown in FIG. 35, “serial number of unique features” and the like indicate serial numbers and the like related to these six unique features.
次いで、照合監視部２２は、複数の「マーカ検出テーブル」を参照し、「不変特徴の数」について、「特異特徴のシリアル番号」等が共通するものを合計する。
例えば、「不変量特徴空間のシリアル番号」が「Ｆ１」の「マーカ検出テーブル」に、「特異特徴のシリアル番号」が「ｓ１」、これに関連付けられた「不変特徴の数」が「１」のデータがあり、「不変量特徴空間のシリアル番号」が「Ｆ２」の「マーカ検出テーブル」に、「特異特徴のシリアル番号」が「ｓ１」、これに関連付けられた「不変特徴の数」が「１」のデータがあるときは、「特異特徴のシリアル番号」が共通している「不変特徴の数」を合計し、「１」＋「１」＝「２」を算出する。
Next, the
For example, the “serial number of invariant feature space” is “F1” in the “marker detection table”, the “serial number of unique feature” is “s1”, and the “number of invariant features” associated therewith is “1”. In the “marker detection table” with “F2” of “invariant feature space serial number”, “s1” of “singular feature serial number”, and “number of invariant features” associated therewith When there is “1” data, the “number of invariant features” that have the same “unique feature serial number” is added up to calculate “1” + “1” = “2”.
続いて、照合監視部２２は、合計した「不変特徴の数」を、対応する「特異特徴のシリアル番号」等に関連付けて、「検出特徴点監視テーブル」の「不変特徴の合計数」の欄に表す。
前述の例では、「不変特徴の数」の合計値である「２」を、「検出特徴点監視テーブル」において、「特異特徴のシリアル番号」の「ｓ１」に関連付けて、「不変特徴の合計数」に表す。
Subsequently, the
In the above-described example, “2”, which is the total value of “the number of invariant features”, is associated with “s1” of “the serial number of the unique feature” in the “detected feature point monitoring table”, and the “total of invariant features”. Expressed in number.
さらに、照合監視部２２は、「不変特徴の合計数」の合計に関係した「不変量特徴空間のシリアル番号」を、「検出特徴点監視テーブル」において、その「不変特徴の合計数」に関連付けて「不変量特徴空間のシリアル番号」に示す。
前述の例では、「不変量特徴空間のシリアル番号」の「Ｆ１」と「Ｆ２」を、「検出特徴点監視テーブル」において、「特異特徴のシリアル番号」の「ｓ１」に関連付けて、「不変量特徴空間のシリアル番号」に示す。
このような手順により、「検出特徴点監視テーブル」を作成することができる。
Furthermore, the
In the above example, “F1” and “F2” of “Serial number of invariant feature space” are associated with “s1” of “Serial feature serial number” in “Detected feature point monitoring table”, It is shown in “Serial number of variable feature space”.
With this procedure, a “detected feature point monitoring table” can be created.
さらに、照合監視部２２は、「検出特徴点監視テーブル」の「不変特徴の合計数」を参照し、この「不変特徴の合計数」が所定数以下であるか否かを判断する。
ここで、「不変特徴の合計数」に示される数がフレーム画像と同数の場合（例えば、図３７の「５０」などの場合）は、この「不変特徴の合計数」に関連付けられた「特異特徴のシリアル番号」により特定される特異特徴にマーカが存在することを意味する。また、「不変特徴の合計数」に示される数がフレーム画像の数よりも少ないものの比較的大きい数の場合（例えば、「４０」や「３０」などの場合）は、この「不変特徴の合計数」に関連付けられた「特異特徴のシリアル番号」により特定される特異特徴でマーカが検出されることが多いことを意味する。一方、この「不変特徴の合計数」に示される数が少ない場合は、この「不変特徴の合計数」に関連付けられた「特異特徴のシリアル番号」により特定される特異特徴でマーカが検出されることが少ないことを意味する。特に、「不変特徴の合計数」において、「１」のような数が示されている場合には、この「不変特徴の合計数」に関連付けられた「特異特徴のシリアル番号」により特定される特異特徴において、検出対象映像に一時的に進入した物体の存在により偶発的にマーカパターンと同一のパターンが形成され、これが検出されたものとみなすことができる。
Further, the
Here, when the number indicated in the “total number of invariant features” is the same as the number of frame images (for example, “50” in FIG. 37), the “singularity” associated with the “total number of invariant features” This means that a marker exists in the unique feature specified by the “serial number of feature”. In addition, when the number shown in “total number of invariant features” is smaller than the number of frame images but relatively large (for example, “40”, “30”, etc.), This means that the marker is often detected with the unique feature specified by the “serial number of the unique feature” associated with the “number”. On the other hand, when the number indicated in the “total number of invariant features” is small, the marker is detected with the unique feature specified by the “serial number of the unique feature” associated with the “total number of invariant features”. Means less. In particular, when a number such as “1” is indicated in the “total number of invariant features”, it is specified by the “serial number of unique features” associated with this “total number of invariant features”. In the peculiar feature, the same pattern as the marker pattern is formed accidentally due to the presence of an object that has temporarily entered the detection target image, and this can be regarded as being detected.
そして、照合監視部２２は、その検出数が所定数以下の特異特徴を「マーカ非出現領域」として特定し、この「マーカ非出現領域」に位置する不変特徴を「非マーカ不変特徴」として特定する。一方、照合監視部２２は、その検出数が所定数以上の特異特徴を「マーカ検出領域」として特定する。さらに、照合監視部２２は、「マーカ非出現領域」又は「非マーカ不変特徴」を特定したときは、報知手段６０に報知信号を送る。
Then, the
なお、照合手段１０ｃの照合部１３は、不変量特徴空間において、マーカパターンにもとづく特異特徴と不変量特徴空間における不変特徴との間のユークリッド距離が既定値以下である場合に、その特異特徴が一致したとして、一致した不変特徴の数をスコアとして累積していってもよい。この場合、照合監視手段２０ｃの照合監視部２２は、そのスコアが既定値を超える場合にマーカの検出を受諾するようにすることができる。また、照合監視部２２は、ユークリッド距離の累積値が既定値以下である条件を付加することもできる。
Note that the
また、照合部１３は、量子化した特徴空間をマーカパターンから生成可能である場合には、これを利用してもよい。この場合、検出対象映像から抽出された特徴点にもとづく不変特徴が、マーカパターンの投影される特徴空間メッシュに所定数以上一致したときに、マーカパターンの検出を受諾するようにしてもよい。
Moreover, the
さらに、不変量特徴空間を用いて特異特徴を求める場合、幾何学的不変量の他、物体色不変量やテクスチャ不変量など多様な不変量を採用することができる。これにより、環境変化に対して頑健に、より背景と混同しにくい特徴的な図形パターンを自動生成することができる。このため、マーカの設置コストを低減しつつ、検出を安定的に実行できる。 Furthermore, when obtaining a singular feature using an invariant feature space, various invariants such as an object color invariant and a texture invariant can be employed in addition to a geometric invariant. This makes it possible to automatically generate a characteristic graphic pattern that is robust against environmental changes and is less likely to be confused with the background. For this reason, detection can be stably performed while reducing the installation cost of the marker.
（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図３８を参照して説明する。
図３８は、本実施形態のマーカ検出方法の処理手順を示すフローチャートである。
マーカ記憶手段５０は、マーカに関するデータを含む「マーカ情報テーブル」を予め記憶している（ステップ５０）。
(Marker detection method)
Next, the marker detection method of this embodiment will be described with reference to FIG.
FIG. 38 is a flowchart showing a processing procedure of the marker detection method of the present embodiment.
The
映像入力手段３０の映像入力部３１は、マーカが存在する可能性のある環境を検出対象映像として入力する（ステップ５１）。
映像記憶部３２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。
The
The
特徴抽出手段４０ｃの特徴抽出部４１は、映像記憶部３２からフレーム画像を取り出す。そして、特徴抽出部４１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を特徴点として抽出する（ステップ５２）。
また、特徴抽出部４１は、抽出した特徴点の座標を算出し、「特徴点情報テーブル」を作成する（ステップ５３）。
特徴記憶部４２は、「特徴点情報テーブル」を記憶する。
The
Further, the
The
不変特徴変換手段７０の不変特徴変換部７１は、特徴記憶部４２から「特徴点情報テーブル」を取り出し、この「特徴点情報テーブル」に示された特徴点を不変量特徴空間に写像する（ステップ５４）。
次いで、不変特徴変換部７１は、不変量特徴空間における不変特徴の座標を算出し、「不変特徴情報テーブル」を作成する（ステップ５５）。
不変特徴記憶部７２は、「不変特徴情報テーブル」を記憶する。
The invariant
Next, the invariant
The invariant
照合手段１０ｃのマーカ変換部１４は、マーカ記憶手段５０から「マーカ情報テーブル」を取り出す。次いで、マーカ変換部１４は、その「マーカ情報テーブル」に示されたマーカの特徴点を用いて、マーカの特異特徴を抽出する（ステップ５６）。続いて、マーカ変換部１４は、「マーカ用特異特徴テーブル」を作成する。そして、照合データ記憶部１２は、その「マーカ用特異特徴テーブル」を記憶する。
照合手段１０ｃの照合範囲特定部１５は、不変量特徴空間において、マーカ照合範囲を特定する（ステップ５７）。
The
The collation
照合手段１０ｃの照合データ入力部１１は、所定のタイミングで、不変特徴記憶部７２から「不変特徴情報テーブル」を取り出す。照合データ記憶部１２は、その「不変特徴情報テーブル」を記憶する。
照合部１３は、照合データ記憶部１２から、複数の「不変特徴情報テーブル」と、「マーカ用特異特徴テーブル」を取り出す。
そして、照合部１３は、それら「不変特徴情報テーブル」と「マーカ用特異特徴テーブル」とを用いて、照合範囲特定部１５で特定されたマーカ照合範囲において特異特徴を特定し、この特異特徴に不変特徴が位置しているか否かを判断する（ステップ５８）。
The collation
The
Then, the
判断の結果、特異特徴に不変特徴が位置しているときは、照合部１３は、その特異特徴を「一致検出領域」とし、この「一致検出領域」に位置する不変特徴の数を算出し（ステップ５９）、この不変特徴の数を示す「マーカ検出テーブル」を作成する（ステップ６０）。照合データ記憶部１２は、「マーカ検出テーブル」を記憶する。
一方、特異特徴に不変特徴が位置していないときは、照合部１３は、特異特徴に位置する不変特徴の数の算出及び「マーカ検出テーブル」の作成を行わない。
If the invariant feature is located in the singular feature as a result of the determination, the matching
On the other hand, when the invariant feature is not located in the unique feature, the matching
照合監視手段２０ｃの照合監視部２２は、所定のタイミング（一定時間の経過、所定枚数の「マーカ検出テーブル」の記憶）であるか否かを判断する（ステップ６１）。
判断の結果、所定のタイミングでないときは、ステップ５１〜ステップ６０の処理を繰り返す。
一方、所定のタイミングになったときは、照合監視部２２は、照合データ記憶部１２から「マーカ検出テーブル」を複数取り出す。
The
As a result of the determination, if the predetermined timing is not reached, the processing of
On the other hand, when the predetermined timing comes, the
次いで、照合監視部２２は、それら複数の「マーカ検出テーブル」を用いて、「検出不変特徴監視テーブル」を作成する（ステップ６２）。
続いて、照合監視部２２は、その「検出特徴点監視テーブル」を参照し、所定数以下の不変特徴の合計数があるか否かを判断する（ステップ６３）。
判断の結果、所定数以下の不変特徴の合計数があるときは、この不変特徴を非マーカ不変特徴として検出し、この非マーカ不変特徴が位置する特異特徴を「マーカ非出現領域」として検出する（ステップ６４）。そして、照合監視部２２は、報知手段６０へ報知信号を送る。
一方、所定数以下の不変特徴の合計数がないときは、「マーカ非出現領域」の検出はない。また、不変特徴の合計数が所定数以上の特異特徴については、「マーカ検出領域」として検出する。これらの場合、照合監視部２２は、報知手段６０へ報知信号を送らない。
Next, the
Subsequently, the
If the total number of invariant features equal to or less than a predetermined number is detected, the invariant feature is detected as a non-marker invariant feature, and the unique feature in which the non-marker invariant feature is located is detected as a “marker non-appearance region”. (Step 64). Then, the
On the other hand, when there is no total number of invariant features equal to or less than the predetermined number, no “marker non-appearance region” is detected. Further, a singular feature whose total number of invariant features is equal to or greater than a predetermined number is detected as a “marker detection region”. In these cases, the
報知手段６０は、照合監視部２２から報知信号を受けると、「非マーカ不変特徴」又は「マーカ非出現領域」が検出されたことを外部に報知する（ステップ６５）。
その後は、終了するか否かが判断され（ステップ６６）、終了しないときは、ステップ５１〜ステップ６６の処理が繰り返される。
Upon receiving the notification signal from the
Thereafter, it is determined whether or not to end (step 66), and if not ended, the processing of
以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、検出対象映像から抽出された特徴点を不変量特徴空間に写像してマーカにもとづく特徴点と照合する場合においても、動体にもとづくパターンから誤って検出された「マーカ非出現領域」を検出可能にして、正規のマーカの検出精度を高めることができる。 As described above, according to the marker detection device and the marker detection method of the present embodiment, even when the feature points extracted from the detection target video are mapped to the invariant feature space and collated with the feature points based on the markers. The “marker non-appearance region” erroneously detected from the pattern based on the moving object can be detected, and the detection accuracy of the regular marker can be improved.
［マーカ検出装置及びマーカ検出方法の第四実施形態］
次に、本発明のマーカ検出装置及びマーカ検出方法の第四の実施形態について、図３９を参照して説明する。
同図は、本実施形態のマーカ検出装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段、特徴抽出手段、マーカ記憶手段、報知手段を新たに備えるとともに、照合監視手段がマーカ非出現領域特定部を新たに有した点が相違する。他の構成要素は第一実施形態と同様である。
したがって、図３９において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
[Fourth Embodiment of Marker Detection Device and Marker Detection Method]
Next, a fourth embodiment of the marker detection device and the marker detection method of the present invention will be described with reference to FIG.
FIG. 2 is a block diagram showing the configuration of the marker detection device of this embodiment.
Compared with the first embodiment, the present embodiment is newly provided with video input means, feature extraction means, marker storage means, and notification means, and the verification monitoring means newly has a marker non-appearance area specifying unit. Is different. Other components are the same as those in the first embodiment.
Therefore, in FIG. 39, the same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
図３９に示すように、マーカ検出装置１ｄは、照合手段１０ｄと、照合監視手段２０ｄと、映像入力手段３０と、特徴抽出手段４０ｄと、マーカ記憶手段５０と、報知手段６０とを備えている。
ここで、照合監視手段２０ｄは、図４０に示すように、監視データ記憶部２１と、照合監視部２２と、マーカ非出現領域特定部２３とを有している。
マーカ非出現領域特定部２３は、照合監視部２２で非マーカ特徴点が抽出されると、この非マーカ特徴点を含む範囲を「マーカ非出現領域」として特定する。
As shown in FIG. 39, the marker detection device 1d includes a
Here, as shown in FIG. 40, the collation monitoring means 20d has a monitoring
When the non-marker feature point is extracted by the
また、マーカ非出現領域特定部２３は、「マーカ非出現領域特定テーブル」を作成する。
「マーカ非出現領域特定テーブル」は、図４１に示すように、「非マーカ特徴点のｘ座標」（ア）と、「非マーカ特徴点のｙ座標」（イ）と、「マーカ非出現領域」（ウ）とを項目として構成することができる。
「非マーカ特徴点のｘ座標」と「非マーカ特徴点のｙ座標」は、図９に示す「検出特徴点監視テーブル」における「ｘ座標」と「ｙ座標」のうち、非マーカ特徴点に関するものを挙げてある。
「マーカ非出現領域」は、「非マーカ特徴点のｘ座標」と「非マーカ特徴点のｙ座標」により特定される位置を含む範囲を示す。
Further, the marker non-appearance
As shown in FIG. 41, the “marker non-appearance area specifying table” includes “x coordinates of non-marker feature points” (A), “y coordinates of non-marker feature points” (A), and “marker non-appearance areas”. "(C)" can be configured as an item.
The “x coordinate of the non-marker feature point” and the “y coordinate of the non-marker feature point” relate to the non-marker feature point of the “x coordinate” and “y coordinate” in the “detected feature point monitoring table” shown in FIG. Things are listed.
The “marker non-appearance region” indicates a range including a position specified by “x coordinate of non-marker feature point” and “y coordinate of non-marker feature point”.
「マーカ非出現領域」は、次のように求めることができる。
例えば、予め「マーカ非出現領域」の大きさ（枠）を定めておき、非マーカ特徴点が中心にくるようにその枠を配置し、その配置した枠の範囲を「マーカ非出現領域」とする。
この方法は、例えば、図４２に示すように、複数の非マーカ特徴点が、特徴空間上で、それぞれ離れた位置にある場合に用いることができる。
これに対し、図４３に示すように、複数の非マーカ特徴点が非常に近い位置にある場合には、それら非マーカ特徴点のすべてを包含する範囲で、「マーカ非出現領域」を特定することもできる。
特定された「マーカ非出現領域」は、特徴空間における座標で表現され、「マーカ非出現領域特定テーブル」の「マーカ非出現領域」に示される。
The “marker non-appearance region” can be obtained as follows.
For example, the size (frame) of the “marker non-appearing area” is determined in advance, the frame is arranged so that the non-marker feature point is at the center, and the range of the arranged frame is referred to as the “marker non-appearing area”. To do.
For example, as shown in FIG. 42, this method can be used when a plurality of non-marker feature points are located at different positions on the feature space.
On the other hand, as shown in FIG. 43, when a plurality of non-marker feature points are very close to each other, a “marker non-appearance region” is specified in a range including all of the non-marker feature points. You can also.
The identified “marker non-appearing area” is expressed by coordinates in the feature space, and is indicated by “marker non-appearing area” in the “marker non-appearing area specifying table”.
監視データ記憶部２１は、「マーカ非出現領域特定テーブル」を記憶する。
また、マーカ非出現領域特定部２３は、「マーカ非出現領域特定テーブル」を特徴抽出手段４０ｄの特徴点調整部４３（後述）へ送る。
The monitoring
In addition, the marker non-appearance
特徴抽出手段４０ｄは、図４０に示すように、特徴抽出部４１と、特徴記憶部４２と、特徴点調整部４３とを有している。
特徴点調整部４３は、マーカ非出現領域特定部２３から「マーカ非出現領域特定テーブル」を受け取ると、特徴記憶部４２に記憶させる。
また、特徴点調整部４３は、特徴記憶部４２から「特徴点情報テーブル」（図３参照）を取り出す。そして、特徴点調整部４３は、「特徴点情報テーブル」の示す特徴点の中に、「マーカ非出現領域特定テーブル」が示す「マーカ非出現領域」に含まれるものがあるか否かを判断する。
判断の結果、「マーカ非出現領域」に含まれる特徴点があるときは、この特徴点に関するデータを「特徴点情報テーブル」から削除する。
例えば、「マーカ非出現領域」が図４３に示す範囲であって、図６に示す特徴点t91、t92、t93がその「マーカ非出現領域」に含まれるときは、特徴点調整部４３は、それら特徴点t91、t92、t93のデータを「特徴点情報テーブル」から削除する。
As shown in FIG. 40, the
When the feature
Further, the feature
If there is a feature point included in the “marker non-appearance region” as a result of the determination, data relating to this feature point is deleted from the “feature point information table”.
For example, when the “marker non-appearing region” is the range shown in FIG. 43 and the feature points t91, t92, and t93 shown in FIG. 6 are included in the “marker non-appearing region”, the feature
それら特徴点が削除された状態の特徴空間を図４４に示す。
図４４に示す特徴空間においては、特徴点t91、t92、t93が削除されている。このため、照合手段１０ｄでは、それら特徴点t91、t92、t93が照合の対象とされない。これにより、この「マーカ非出現領域」から誤ってマーカが検出されることがなくなる。
FIG. 44 shows a feature space in which these feature points have been deleted.
In the feature space shown in FIG. 44, feature points t91, t92, and t93 are deleted. For this reason, in the collation means 10d, these feature points t91, t92, t93 are not subjected to collation. This prevents a marker from being erroneously detected from the “marker non-appearance region”.
（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図４５を参照して説明する。
図４５は、本実施形態のマーカ検出方法の処理手順を示すフローチャートである。
図４５に示すように、照合監視手段２０ｄの照合監視部２２は、「検出特徴点監視テーブル」（図９参照）を作成し、非マーカ特徴点を特定する（ステップ７０）。監視データ記憶部２１は、その「検出特徴点監視テーブル」を記憶する。
マーカ非出現領域特定部２３は、監視データ記憶部２１から「検出特徴点監視テーブル」を取り出し、この「検出特徴点監視テーブル」が示す非マーカ特徴点が含まれるように「マーカ非出現領域」を特定する（ステップ７１）。
そして、マーカ非出現領域特定部２３は、その特定した「マーカ非出現領域」を表す「マーカ非出現領域特定テーブル」（図４１参照）を作成する。監視データ記憶部２１は、その「マーカ非出現領域特定テーブル」を記憶する。また、マーカ非出現領域特定部２３は、「マーカ非出現領域特定テーブル」を特徴抽出手段４０ｄへ送る。
(Marker detection method)
Next, the marker detection method of this embodiment will be described with reference to FIG.
FIG. 45 is a flowchart illustrating a processing procedure of the marker detection method of the present embodiment.
As shown in FIG. 45, the
The marker non-appearance
Then, the marker non-appearance
特徴抽出手段４０ｄの特徴点調整部４３は、マーカ非出現領域特定部２３から「マーカ非出現領域特定テーブル」を受け取る。特徴記憶部４２は、その「マーカ非出現領域特定テーブル」を記憶する。
また、特徴点調整部４３は、特徴記憶部４２から「特徴点情報テーブル」を取り出し、この「特徴点情報テーブル」に示されている各特徴点の位置が、「マーカ非出現領域特定テーブル」に示されている「マーカ非出現領域」の範囲内に含まれているか否かを判断する（特徴点の中から低出現範囲に位置するものを抽出、ステップ７２）。
The feature
Also, the feature
判断の結果、「マーカ非出現領域」の範囲内に含まれる特徴点があるときは、特徴点調整部４３は、この特徴点に関するデータを「特徴点情報テーブル」から削除する（ステップ７３）。特徴記憶部４２は、削除処理後の「特徴点情報テーブル」を記憶する。
一方、「マーカ非出現領域」の範囲内に含まれる特徴点がないときは、特徴点調整部４３は、「特徴点情報テーブル」からのデータの削除を行わない。
As a result of the determination, when there is a feature point included in the “marker non-appearance region”, the feature
On the other hand, when there is no feature point included in the “marker non-appearance region”, the feature
以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、非マーカ特徴点が表れた箇所を「マーカ非出現領域」として特定し、これらの範囲内に配置された特徴点を自動的に削除することとしたので、非マーカ特徴点を所望の物体に付されたマーカにもとづく特徴点であるとの誤った判断をなくして、マーカ検出の精度を高めることができる。 As described above, according to the marker detection device and the marker detection method of the present embodiment, a point where a non-marker feature point appears is identified as a “marker non-appearance region”, and the feature points arranged within these ranges Therefore, the accuracy of marker detection can be improved by eliminating the erroneous determination that a non-marker feature point is a feature point based on a marker attached to a desired object.
なお、本実施形態のマーカ検出装置においては、不変特徴変換手段を備えない構成について説明したが、これに限るものではなく、不変特徴変換手段を備えたものであってもよい。 In addition, in the marker detection apparatus of this embodiment, although the structure which is not provided with the invariant feature conversion means was demonstrated, it is not restricted to this, You may be provided with the invariant feature conversion means.
［マーカ検出装置及びマーカ検出方法の第五実施形態］
次に、本発明のマーカ検出装置及びマーカ検出方法の第五の実施形態について、図４６を参照して説明する。
同図は、本実施形態のマーカ検出装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段、特徴抽出手段、マーカ記憶手段、報知手段を新たに備えるとともに、照合監視手段がマーカ不存在領域特定部を新たに有した点が相違する。他の構成要素は第一実施形態と同様である。
したがって、図４６において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
[Fifth Embodiment of Marker Detection Device and Marker Detection Method]
Next, a fifth embodiment of the marker detection device and the marker detection method of the present invention will be described with reference to FIG.
FIG. 2 is a block diagram showing the configuration of the marker detection device of this embodiment.
Compared with the first embodiment, the present embodiment is newly provided with video input means, feature extraction means, marker storage means, and notification means, and the verification monitoring means newly has a marker non-existing area specifying unit. Is different. Other components are the same as those in the first embodiment.
Therefore, in FIG. 46, the same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
図４６に示すように、マーカ検出装置１ｅは、照合手段１０ｅと、照合監視手段２０ｅと、映像入力手段３０と、特徴抽出手段４０ｅと、マーカ記憶手段５０と、報知手段６０とを備えている。
ここで、照合監視手段２０ｅは、図４７に示すように、監視データ記憶部２１と、照合監視部２２と、マーカ不存在領域特定部２４とを有している。
マーカ不存在領域特定部２４は、照合監視部２２でマーカが検出されると、そのマーカにもとづく特徴点と一致した特徴空間における特徴点を包含する範囲を「一致検出領域」とし、それ以外を「マーカ不存在領域」として特定する。
As shown in FIG. 46, the marker detection device 1e includes a
Here, the
When the
「一致検出領域」は、次の手順で特定することができる。
第一実施形態におけるマーカ検出方法により、図６に示すように、特徴点t40、t53、t60、t61、t64、t65が検出特徴点として抽出されたものとする。
この場合は、図４８に示すように、それら検出特徴点を含む範囲を「一致検出領域」とすることができる。そして、「一致検出領域」以外の部分を「マーカ不存在領域」とする。
The “coincidence detection area” can be specified by the following procedure.
It is assumed that feature points t40, t53, t60, t61, t64, and t65 are extracted as detected feature points by the marker detection method in the first embodiment, as shown in FIG.
In this case, as shown in FIG. 48, a range including these detected feature points can be set as a “coincidence detection region”. Then, a portion other than the “match detection region” is set as a “marker non-existence region”.
また、検出特徴点が、特徴空間に点在した場合、図４９に示すように、点在した検出特徴点のそれぞれについて、「一致検出領域」を特定することができる。
さらに、検出特徴点が、図５０に示すように、広範囲に多数分布する場合は、すべての検出特徴点を含む範囲を「一致検出領域」とすることができる。そして、「一致検出領域」以外の部分を「マーカ不存在領域」とする。
なお、図５０に示すように検出特徴点が広範囲に分布する場合としては、例えば、マーカが付された物体がベルトコンベアで運ばれて移動しているところを撮影した場合などが想定される。この場合は、ベルトコンベアで物体が移動する範囲を「一致検出領域」とし、ベルトコンベアが設置されていない箇所やベルトコンベアがその物体を搬送しない範囲を「マーカ不存在領域」とするのが望ましい。
Further, when the detected feature points are scattered in the feature space, as shown in FIG. 49, the “coincidence detection region” can be specified for each of the scattered detected feature points.
Furthermore, when a large number of detected feature points are distributed over a wide range as shown in FIG. 50, a range including all detected feature points can be set as a “coincidence detection region”. Then, a portion other than the “match detection region” is set as a “marker non-existence region”.
In addition, as shown in FIG. 50, as a case where the detection feature points are distributed over a wide range, for example, a case where an object with a marker is carried by a belt conveyor and taken is photographed. In this case, it is desirable that the range in which the object moves on the belt conveyor is the “coincidence detection area”, and the area where the belt conveyor is not installed or the belt conveyor does not carry the object is the “marker-free area”. .
また、マーカ不存在領域特定部２４は、「一致検出領域」を特定すると、「マーカ検出領域設定テーブル」を作成する。
「マーカ検出領域設定テーブル」は、図５１に示すように、区画ごとに、「一致検出領域」であるか、あるいは、「マーカ不存在領域」であるかを示すテーブルである。区画は、図３２に示した複数の区画に対応させてある。
図５１において、「○」は、「一致検出領域」を示し、「×」は、「マーカ不存在領域」を示す。具体的には、区画(x1,y1)−(x64,y1)−(x64,y5)−(x1,y5)−(x1,y1)で囲まれる範囲と、区画(x1,y28)−(x64,y28)−(x64,y30)−(x1,y30)−(x1,y28)で囲まれる範囲が「マーカ不存在領域」であり、それ以外が、「一致検出領域」である。
マーカ不存在領域特定部２４は、「マーカ検出領域設定テーブル」を作成すると、特徴抽出手段４０ｅへ送る。
In addition, when the “no match detection area” is specified, the marker non-existence
As shown in FIG. 51, the “marker detection area setting table” is a table indicating whether each section is a “match detection area” or a “marker absence area”. The sections correspond to the plurality of sections shown in FIG.
In FIG. 51, “◯” indicates “match detection area”, and “x” indicates “marker non-existence area”. Specifically, the range surrounded by the partition (x1, y1) − (x64, y1) − (x64, y5) − (x1, y5) − (x1, y1) and the partition (x1, y28) − (x64 , y28) − (x64, y30) − (x1, y30) − (x1, y28) is a “marker non-existing region”, and the other range is a “match detection region”.
After creating the “marker detection area setting table”, the marker absence
特徴抽出手段４０ｅは、図４７に示すように、特徴抽出部４１と、特徴記憶部４２と、特徴点調整部４３とを有している。
特徴点調整部４３は、照合監視手段２０ｅのマーカ不存在領域特定部２４から送られてきた「マーカ検出領域設定テーブル」を受け取る。特徴記憶部４２は、その「マーカ検出領域設定テーブル」を記憶する。
また、特徴点調整部４３は、特徴記憶部４２から「特徴点情報テーブル」（図３参照）を取り出し、この「特徴点情報テーブル」に示されている各特徴点の位置が、「マーカ検出領域設定テーブル」に示されている「一致検出領域」の範囲内に含まれているか否かを判断する。
As shown in FIG. 47, the
The feature
Also, the feature
判断の結果、その特徴点が「一致検出領域」の範囲内に含まれているときは、特徴点調整部４３は、その特徴点をそのままにしておく。一方、「一致検出領域」の範囲内に含まれていない特徴点があるときは、特徴点調整部４３は、その特徴点を「特徴点情報テーブル」から削除する。
例えば、「一致検出領域」を図５０に示す範囲とし、図５２に示すように、「マーカ不存在領域」に特徴点が抽出されたとすると、特徴点調整部４３は、その「マーカ不存在領域」に位置する特徴点のデータを「特徴点情報テーブル」から削除する。
このように、「一致検出領域」以外のところで抽出された特徴点を削除することで、その「マーカ不存在領域」から誤ってマーカが検出されるのを回避できる。
なお、特徴記憶部４２は、削除処理後の「特徴点情報テーブル」を記憶する。
As a result of the determination, when the feature point is included in the range of the “matching detection area”, the feature
For example, assuming that the “match detection area” is in the range shown in FIG. 50 and feature points are extracted in the “marker absent area” as shown in FIG. 52, the feature
In this way, by deleting feature points extracted outside the “coincidence detection region”, it is possible to avoid erroneously detecting a marker from the “marker absence region”.
The
（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図５３を参照して説明する。
図５３は、本実施形態のマーカ検出方法の処理手順を示すフローチャートである。
図５３に示すように、照合監視手段２０ｅの照合監視部２２は、検出特徴点を抽出し、「検出特徴点監視テーブル」（図９参照）を作成する（ステップ８０）。監視データ記憶部２１は、その「検出特徴点監視テーブル」を記憶する。
マーカ不存在領域特定部２４は、監視データ記憶部２１から「検出特徴点監視テーブル」を取り出し、この「検出特徴点監視テーブル」が示す検出特徴点が含まれるように「一致検出領域」を特定する（ステップ８１）。また、マーカ不存在領域特定部２４は、「一致検出領域」以外の領域を「マーカ不存在領域」として特定する。
そして、マーカ不存在領域特定部２４は、その特定した「一致検出領域」を示す「マーカ検出領域設定テーブル」を作成する。監視データ記憶部２１は、その「マーカ検出領域設定テーブル」を記憶する。また、マーカ不存在領域特定部２４は、「マーカ検出領域設定テーブル」を特徴抽出手段４０ｅへ送る。
(Marker detection method)
Next, the marker detection method of this embodiment will be described with reference to FIG.
FIG. 53 is a flowchart showing a processing procedure of the marker detection method of the present embodiment.
As shown in FIG. 53, the
The marker non-existence
Then, the marker non-existence
特徴抽出手段４０ｅの特徴点調整部４３は、マーカ不存在領域特定部２４から「マーカ検出領域設定テーブル」を受け取る。特徴記憶部４２は、その「マーカ検出領域設定テーブル」を記憶する。
また、特徴点調整部４３は、特徴記憶部４２から「特徴点情報テーブル」を取り出し、この「特徴点情報テーブル」に示されている各特徴点の位置が、「マーカ検出領域設定テーブル」に示されている「一致検出領域」の範囲内に含まれているか否かを判断する（「一致検出領域」に含まれていない検出特徴点を抽出、ステップ８２）。
The feature
Also, the feature
判断の結果、その検出特徴点が「一致検出領域」の範囲内に含まれるときは、特徴点調整部４３は、そのままにしておく。
一方、「一致検出領域」の範囲内に含まれない検出特徴点があるときは、特徴点調整部４３は、その検出特徴点に関するデータを「特徴点情報テーブル」から削除する（ステップ８３）。
As a result of the determination, when the detected feature point is included in the range of the “coincidence detection region”, the feature
On the other hand, when there is a detected feature point that is not included in the range of the “match detection region”, the feature
以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、検出特徴点が表れた箇所を「一致検出領域」として特定し、この領域外に配置された特徴点を自動的に削除することとしたので、その領域外に配置された特徴点を所望の物体に付されたマーカにもとづく特徴点であると誤って判断することをなくして、マーカ検出の精度を高めることができる。 As described above, according to the marker detection device and the marker detection method of the present embodiment, the portion where the detected feature point appears is identified as the “matching detection region”, and the feature point arranged outside this region is automatically detected. Therefore, it is possible to improve the accuracy of marker detection without erroneously determining that a feature point arranged outside the region is a feature point based on a marker attached to a desired object. it can.
また、本実施形態によるマーカ検出は、第四実施形態におけるマーカ検出に比べて高速で行うことができる。その理由としては、第四実施形態のマーカ検出は、「非マーカ不変特徴」が検出されない限り「マーカ不存在領域」が設定されず、しかもその「マーカ不存在領域」が限られた範囲で設定されるため、省略される演算処理が少ないのに対し、本実施形態のマーカ検出は、「一致検出領域」以外の範囲を「マーカ不存在領域」として広く設定するため、省略される演算処理が多いからである。 In addition, marker detection according to the present embodiment can be performed at a higher speed than marker detection according to the fourth embodiment. The reason for this is that in the marker detection of the fourth embodiment, the “marker absent region” is not set unless the “non-marker invariant feature” is detected, and the “marker absent region” is set within a limited range. Therefore, while the arithmetic processing that is omitted is small, the marker detection according to the present embodiment sets a range other than the “match detection region” as a “marker non-existence region”, and thus the arithmetic processing that is omitted is omitted. Because there are many.
なお、本実施形態のマーカ検出装置においては、不変特徴変換手段を備えない構成について説明したが、これに限るものではなく、不変特徴変換手段を備えたものであってもよい。 In addition, in the marker detection apparatus of this embodiment, although the structure which is not provided with the invariant feature conversion means was demonstrated, it is not restricted to this, You may be provided with the invariant feature conversion means.
［マーカ生成装置及びマーカ生成方法］
（マーカ生成装置）
次に、本発明のマーカ生成装置の実施形態について、図５４、図５５を参照して説明する。
図５４は、本実施形態のマーカ生成装置の構成を示すブロック図である。図５５は、マーカ生成装置の詳細構成を示すブロック図である。
図５４に示すように、マーカ生成装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、不変特徴変換手段１３０と、特異特徴選択手段１４０と、マーカパターン生成手段１５０とを備えている。
[Marker generating apparatus and marker generating method]
(Marker generator)
Next, an embodiment of the marker generation device of the present invention will be described with reference to FIGS. 54 and 55.
FIG. 54 is a block diagram showing the configuration of the marker generation device of this embodiment. FIG. 55 is a block diagram illustrating a detailed configuration of the marker generation device.
As shown in FIG. 54, the
ここで、映像入力手段１１０は、図５５に示すように、映像入力部１１１と、映像記憶部１１２とを有している。
映像入力部１１１は、背景映像（マーカ生成用の画像）を入力する。
背景映像は、マーカ生成装置１００により生成されるマーカを使用する前の環境（マーカが存在しない環境）を撮影したものである。例えば、マーカが付された物体を搬送するベルトコンベアがある場合に、その物体を搬送していない状態のベルトコンベア及びその周辺を撮影した映像などが該当する。
この背景映像は、動画像（映像）であってもよく、また、所定時間間隔で撮影した複数枚の静止画像であってもよい。
さらに、背景映像には、ライブ映像、録画映像、配信映像などを含むことができる。
Here, the
The
The background video is an image of an environment (an environment in which no marker exists) before using the marker generated by the
The background video may be a moving image (video), or may be a plurality of still images taken at predetermined time intervals.
Furthermore, the background video can include live video, recorded video, distributed video, and the like.
この映像入力部１１１が撮影又は入力した背景映像の例を、図５６（i-11）〜（i-15）に示す。
同図は、撮影角度（カメラアングル）が同じであって、写し出されている物がすべて静止している場合に、どの撮影時刻においても、背景映像が同じになることを示している。なお、背景映像は、どの撮影時刻においても同じである必要はなく、異なっていてもよい。
56 (i-11) to (i-15) show examples of background images captured or input by the
The figure shows that the background video is the same at any shooting time when the shooting angle (camera angle) is the same and all the objects being projected are stationary. The background video does not have to be the same at any shooting time, and may be different.
映像記憶部１１２は、背景映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。背景映像を構成する静止画フレームとは、例えば、図５６（i-11）〜（i-15）に示す各画像の一枚一枚をいう。
また、映像記憶部１１２は、複数のフレーム画像のそれぞれに付されたシリアル番号（図５６においては、（i-11）、（i-12）、（i-13）、・・・）や、フレーム画像が撮影された時刻などを記憶することもできる。
The
The
特徴抽出手段１２０は、図５５に示すように、特徴抽出部１２１と、特徴記憶部１２２とを有している。
特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。そして、特徴抽出部１２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
特徴抽出部１２１は、画像特徴として、例えば、図形的に特徴的な特性を数値化したものを用いることができる。
これには、例えば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されているTommasiniらによる「Making good features track better」に記載されている方法を使用することができる。この方法は、画像中の物体形状に頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。例えば、図５６（i-11）のフレーム画像に対して、この方法で特徴点を抽出すると、図５７に示すように、特徴点が複数配置される。特徴点の一つ一つは、座標により管理することができる。
なお、特徴点が配置された空間を特徴空間という。この特徴空間は、二次元空間であってもよく、また、三次元空間であってもよい。本実施形態の特徴空間は、二次元空間とする。
The
The
The
For this, for example, the method described in “Making good features track better” by Tommasini et al. Published in the 1998 IEEE Computer Vision Pattern Recognition Conference Proceedings can be used. This method can extract vertices, intersections, end points and the like of object shapes in an image. A series of position coordinate information on the image of these points can be used as a graphic feature. For example, when feature points are extracted by this method for the frame image of FIG. 56 (i-11), a plurality of feature points are arranged as shown in FIG. Each feature point can be managed by coordinates.
A space in which feature points are arranged is called a feature space. This feature space may be a two-dimensional space or a three-dimensional space. The feature space of this embodiment is a two-dimensional space.
また、他の方法としては、例えば、Montanariによる１９７１年Communications of ACM、１４巻に掲載されている「On the option detection of curves in noisy pictures」に記載の方法がある。これは、基準点からの距離、相対角度を記憶するＲテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。
さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。
As another method, for example, there is a method described in “On the option detection of curves in noisy pictures” published in the 1971 Communications of ACM,
Further, as another feature extraction method, for example, there is a method characterized by the luminance value or color difference value of each pixel on the image.
次いで、特徴抽出部１２１は、図５８に示すように、特徴点のそれぞれにシリアル番号を付与する。このシリアル番号は、例えば、最も上に位置するものから順番に１、２、３、４、・・・のように付与することができる。
続いて、特徴抽出部１２１は、特徴点のそれぞれの座標を求める。座標は、図５８に示すように、特徴空間にＸ軸とＹ軸を設定し、Ｙ軸からの距離をＸ座標、Ｘ軸からの距離をＹ座標とすることができる。
そして、特徴抽出部１２１は、それら特徴点のシリアル番号や座標を特徴記憶部１２２に記憶させる。
Next, the
Subsequently, the
Then, the
特徴記憶部１２２は、所定のメモリ領域を保持している。この特徴記憶部１２２は、特徴抽出部１２１で実行された処理に関する各種データを記憶する。特に、特徴記憶部１２２は、特徴抽出部１２１で抽出された特徴点に関するデータを記憶する。
なお、特徴抽出手段１２０は、特徴点を抽出して所定の位置（特徴空間）に配置することから、「配置手段」としての機能を有している。
The
Note that the
不変特徴変換手段１３０は、図５５に示すように、不変特徴変換部１３１と、不変特徴記憶部１３２とを有している。
不変特徴変換部１３１は、特徴抽出手段１２０の特徴記憶部１２２から特徴点に関するデータを取り出し、その特徴点を不変量特徴空間に写像する。
この写像は、次の手順で行うことができる。
あるフレーム画像から抽出した特徴点は、図５７に示すように、特徴空間に配置されているものとする。また、各特徴点には、図５８に示すように、シリアル番号が付されているものとする。
As shown in FIG. 55, the invariant
The invariant
This mapping can be performed by the following procedure.
It is assumed that feature points extracted from a certain frame image are arranged in a feature space as shown in FIG. Each feature point is given a serial number as shown in FIG.
不変特徴変換部１３１は、一つの特徴点を基底として定め、この基底を不変量特徴空間の原点（0,0）に移動するのに伴って、その移動量と同じ移動量ですべての特徴点を移動させる処理を、各特徴点を順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。
この写像は、第三実施形態における不変特徴変換手段７０の不変特徴変換部７１が行う写像と同様の方法である。
The invariant
This mapping is the same method as the mapping performed by the
図５７に示す特徴点を不変量特徴空間に写像した結果は、図５９に示すようになる。これが、不変量特徴空間における不変特徴の配置された状態である。
なお、本実施形態において、基底の数は、一つとするが、その数は、一つに限るものではなく、二つ以上とすることもできる。
The result of mapping the feature points shown in FIG. 57 to the invariant feature space is as shown in FIG. This is a state in which invariant features are arranged in the invariant feature space.
In the present embodiment, the number of bases is one, but the number is not limited to one and may be two or more.
次いで、不変特徴変換部１３１は、図６０に示すように、不変量特徴空間に格子状のメッシュを付して、複数の区画に分ける。
続いて、不変特徴変換部１３１は、各区画ごとに不変特徴の数を求める。この算出結果を、図６１に示す。図６１は、不変量特徴空間において、不変特徴の数が１以上の区画にグレーを付した図である。
Next, as shown in FIG. 60, the invariant
Subsequently, the invariant
不変特徴記憶部１３２は、所定のメモリ領域を保持している。この不変特徴記憶部１３２は、不変特徴変換部１３１で求められた各種データを記憶する。各種データには、例えば、不変量特徴空間に配置された各不変特徴の座標、各区画の座標（範囲）、各区画ごとの不変特徴数などが含まれる。
なお、不変特徴変換手段１３０は、特徴点を所定の位置（不変量特徴空間）に配置することから、「配置手段」としての機能を有している。
The invariant
The invariant
特異特徴選択手段１４０は、図５５に示すように、特異特徴選択部１４１と、特異特徴記憶部１４２とを有している。
特異特徴選択部１４１は、図６２に示すように、不変量特徴空間の中で、マーカパターンの生成を行う範囲を、マーカパターン生成範囲として決定する。このマーカパターン生成範囲は、静止画フレームの大きさと同じ大きさとすることができる。
次いで、特異特徴選択部１４１は、そのマーカパターン生成範囲における各区画ごとの不変特徴数を、不変特徴記憶部１６２から取り出す。この取り出した各区画ごとの不変特徴数を図６３に示す。なお、図６３は、マーカパターン生成範囲において、不変特徴の数が１以上の区画にグレーを付した図である。
As illustrated in FIG. 55, the unique
As illustrated in FIG. 62, the singular
Next, the singular
続いて、特異特徴選択部１４１は、マーカパターン生成範囲における各区画ごとの不変特徴数のうち、０又は所定値以下のものを特異特徴として選択する。図６３においては、白色の区画が、不変特徴数が０の区画である。この不変特徴数が０の区画を特異特徴として選択することができる。
Subsequently, the unique
このように、特異特徴選択部１４１は、背景パターンと一致しない特徴、すなわち背景映像から抽出した特徴群が現れていない特徴空間の部位を特異特徴として選択することができる。事後に、意に反して特徴点の抽出誤差などにより、特異特徴が背景パターンと類似してしまうことを避けるために、特徴空間内で背景パターンの特徴が存在しないより大きな領域から特異特徴を選択するようにしてもよい。
In this way, the unique
この特異特徴の選択処理は、特徴空間中の特徴点の分布から大きな空白を見つける問題と同一視できるから、例えば、２００３年文書解析認識国際会議予稿集に掲載されている「An algorithm for Finding Maximal Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis」などのアルゴリズムを使用して、大きな空白領域を抽出しても良いし、得られた特徴点を含まない矩形領域の中心を特異特徴としても良い。 This singular feature selection process can be identified with the problem of finding a large blank from the distribution of feature points in the feature space. For example, “An algorithm for Finding Maximal” published in the 2003 Proceedings of International Conference on Document Analysis and Recognition An algorithm such as “Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis” may be used to extract a large blank area, or the center of a rectangular area that does not include the obtained feature points may be used as a unique feature.
その他の方法としては、特徴空間を特定の大きさのメッシュで量子化し、１次元もしくは多次元のヒストグラムを生成し、特徴点の発生頻度が０となるメッシュの中心を特異特徴とするなどしても良い。頻度が０となるメッシュが存在しない場合、メッシュの大きさを小さくして、ヒストグラムをとり、頻度が０となるメッシュが現れた場合、このときのメッシュから特異特徴を選択するようにしても良い。頻度が０となるメッシュが見つからない場合は、ヒストグラムを既定値で閾値処理し、既定値以下のメッシュから特異特徴を選択しても良い。 As another method, the feature space is quantized with a mesh of a specific size, a one-dimensional or multi-dimensional histogram is generated, and the center of the mesh where the occurrence frequency of feature points is 0 is set as a unique feature. Also good. If there is no mesh with a frequency of 0, the size of the mesh is reduced and a histogram is taken. If a mesh with a frequency of 0 appears, a unique feature may be selected from the mesh at this time. . If a mesh with a frequency of 0 is not found, the histogram may be thresholded with a default value, and singular features may be selected from meshes with a default value or less.
特異特徴選択部１４１が選択した特異特徴の例を、図６４、図６５に示す。図６４に示す特異特徴配置図においては、特異特徴とされた区画を白色で表し、特異特徴とされなかった区画をグレーの網掛けで表している。図６５は、図６４に示す特異特徴配置図にもとづき、特異特徴の中心と特異特徴配置図の中心点とを黒丸「●」で表した図である。
なお、図６３においては、特異特徴（特徴点数の累計数が０の区画）が４個存在するが、マーカパターンの生成処理の説明を容易にするため、特異特徴は、図６４、図６５に示すように選択されたものとする。
Examples of unique features selected by the unique
In FIG. 63, there are four singular features (sections in which the cumulative number of feature points is 0). In order to facilitate the description of the marker pattern generation process, singular features are shown in FIGS. It shall be selected as shown.
特異特徴選択部１４１は、選択した特異特徴の座標を求める。例えば、特異特徴選択部１４１は、図６４に示す特異特徴配置図において、特異特徴の座標を（2,6）、（5,2）、（5,4）、（5,5）、（7,6）とする。
特異特徴記憶部１４２は、特異特徴選択部１４１で選択された特異特徴の座標を記憶する。
The unique
The unique
マーカパターン生成手段１５０は、図５５に示すように、マーカパターン生成部１５１と、マーカ記憶部１５２とを有している。
マーカパターン生成部１５１は、特異特徴記憶部１４２から特異特徴の座標を取り出し、この特異特徴の座標にもとづいてマーカパターンを生成する。
As shown in FIG. 55, the marker
The marker
マーカパターンの生成方法には、種々の方法がある。
例えば、画像中の頂点、交差点、端点を特徴点として使用する場合を例に説明する。
前述した「On the option detection of curves in noisy pictures」に記載の方法などにもとづく場合、マーカパターンの生成に必要になる、特徴点群の検出は、特徴抽出手段１２０で使用している特徴点検出アルゴリズムに依存する。
There are various marker pattern generation methods.
For example, a case where vertices, intersections, and end points in an image are used as feature points will be described as an example.
When the method described in “On the option detection of curves in noisy pictures” is used, the feature point group detection required for generating the marker pattern is the feature point detection used by the
例えば、下記のようなマーカパターンの生成方法が例として挙げられる。
(1)特異特徴位置に交差点を配置したパターン（図１８（ｉ））
(2)特異特徴の凸包を求め、内部を特定の色で塗り潰す。さらに、凸包に使用されなかった特異特徴を用いて再度凸包を求め、内部を別の色で塗り潰す。このような処理を、すべての特徴が使用されるまで反復して生成されるパターン（図１８（ii））
(3)特異特徴位置を頂点にもつ、水平垂直の辺を有する、塗り潰した矩形の集合からなるパターン（図１８（iii））
(4)特異特徴点の最近傍点間を線分で結んだパターン（図１８（iv））
For example, the following marker pattern generation method is given as an example.
(1) Pattern in which intersections are arranged at unique feature positions (FIG. 18 (i))
(2) Find the convex hull with unique features and fill the inside with a specific color. Further, the convex hull is obtained again using a unique feature that has not been used for the convex hull, and the interior is filled with another color. A pattern generated by repeating such processing until all the features are used (FIG. 18 (ii))
(3) Pattern consisting of a set of filled rectangles with vertices at the singular feature positions and horizontal and vertical sides (Fig. 18 (iii))
(4) A pattern connecting the nearest points of singular feature points with line segments (Fig. 18 (iv))
なお、特徴抽出手段１２０が明度値又は色差値を使用して特徴を抽出した場合、マーカを物体に付する装置は、特異特徴に対応する明度値、色差値に対応する塗料でマーカを印刷してもよい。
また、頂点、交差点、端点を図形的な特徴として利用する方法と、明度値や色差値を特徴として利用する方法とを併用することも可能である。この場合、マーカパターン生成部１５１は、選定された特異特徴に対応する明度、色、形状に対応するマーカを生成すればよい。
When the
It is also possible to use a method of using vertices, intersections and end points as graphic features and a method of using lightness values and color difference values as features. In this case, the marker
マーカ記憶部１５２は、マーカパターン生成部１５１で生成されたマーカに関するデータを記憶する。
例えば、マーカパターンが図１８（ｉ）に示すような場合は、特異特徴の座標が記憶される。また、図１８（ii）に示すような場合は、特異特徴の座標の他に、凸包を構成する線分の座標が記憶される。
The
For example, when the marker pattern is as shown in FIG. 18 (i), the coordinates of the unique features are stored. Further, in the case shown in FIG. 18 (ii), the coordinates of the line segments constituting the convex hull are stored in addition to the coordinates of the unique features.
（マーカ生成方法）
次に、マーカ生成装置の動作手順（マーカ生成方法）について、図６６を参照して説明する。
図６６は、マーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１００において、映像入力手段１１０の映像入力部１１１は、背景映像を入力する（ステップ９０）。この背景映像は、複数枚のフレーム画像で構成される。映像入力手段１１０の映像記憶部１１２は、映像入力部１１１で入力された背景映像をフレーム画像として記憶する。
(Marker generation method)
Next, the operation procedure (marker generation method) of the marker generation device will be described with reference to FIG.
FIG. 66 is a flowchart showing the processing procedure of the marker generation method.
In the
特徴抽出手段１２０の特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ９１）。
また、特徴抽出部１２１は、抽出した特徴点の座標を算出する（ステップ９２）。この算出した座標は、特徴記憶部１２２に記憶される。
The
The
不変特徴変換手段１３０の不変特徴変換部１３１は、特徴記憶部１２２から特徴点の座標を取り出す。次いで、不変特徴変換部１３１は、取り出した特徴点の座標にもとづいて、各特徴点を不変量特徴空間に写像する（ステップ９３）。
続いて、不変特徴変換部１３１は、不変量特徴空間にメッシュを掛けて区画化する（ステップ９４）。
さらに、不変特徴変換部１３１は、各区画ごとに不変特徴数を算出する（ステップ９５）。
また、不変特徴変換部１３１は、複数のフレーム画像のそれぞれについて各区画ごとの不変特徴数を算出し、これらを累計する（ステップ９６）。
不変特徴記憶部１３２は、不変特徴変換部１３１で算出された各区画ごとの不変特徴数の累計を記憶する。
The invariant
Subsequently, the invariant
Further, the invariant
The invariant
The invariant
特異特徴選択手段１４０の特異特徴選択部１４１は、不変特徴記憶部１６２から各区画ごとの不変特徴数の累計を取り出す。このとき、マーカパターン生成範囲における各区画ごとの不変特徴数の累計を取り出すこともできる。
そして、特異特徴選択部１４１は、各区画ごとの不変特徴数の累計の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ９７）。
特異特徴記憶部１４２は、特異特徴選択部１４１で特異特徴とされた区画の座標を記憶する。
The singular
Then, the unique
The singular
マーカパターン生成手段１５０のマーカパターン生成部１５１は、特異特徴記憶部１４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部１５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ９８）。
マーカ記憶部１５２は、マーカパターン生成部１５１で生成されたマーカパターンに関するデータを記憶する。
The marker
The
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、背景映像に存在しないパターンをマーカパターンとして生成することができる。これにより、背景映像に存在するパターンをマーカと誤認することを回避するとともに、所望のマーカが現れたときには、確実にこれを検出できる。 As described above, according to the marker generation device and the marker generation method of the present embodiment, a pattern that does not exist in the background video can be generated as a marker pattern. As a result, it is possible to avoid misidentifying a pattern existing in the background image as a marker, and to reliably detect a desired marker when it appears.
なお、本実施形態においては、マーカの生成を不変量特徴空間において行なうこととしたが、マーカの生成は、不変量特徴空間に限るものではなく、例えば、特徴空間において行なうこともできる。この場合、特徴空間において特徴点が所定数以下の区画を特異特徴とし、この特異特徴を用いてマーカパターンを生成することができる。 In the present embodiment, the marker generation is performed in the invariant feature space. However, the marker generation is not limited to the invariant feature space, and can be performed in the feature space, for example. In this case, a section having a predetermined number or less of feature points in the feature space is set as a unique feature, and a marker pattern can be generated using this unique feature.
また、マーカパターンの生成において、物体色不変量やテクスチャ不変量を用いることができる。この場合、背景映像から物体色不変量やテクスチャ不変量を抽出し、この抽出した不変量を不変特徴として不変量特徴空間に配置し、この不変特徴が所定数以下の領域を特異特徴とすることができる。 Further, in the generation of the marker pattern, an object color invariant or a texture invariant can be used. In this case, an object color invariant or a texture invariant is extracted from the background video, and the extracted invariant is placed in the invariant feature space as an invariant feature. Can do.
［マーカ生成検出装置及びマーカ生成検出システム］
（マーカ生成検出装置）
次に、マーカ生成検出装置について、図６７を参照して説明する。
図６７は、マーカ生成検出装置の構成を示すブロック図である。
図６７に示すように、マーカ生成検出装置２００は、マーカ検出部２１０と、マーカ生成部２２０とを備えている。
[Marker generation detection device and marker generation detection system]
(Marker generation detection device)
Next, the marker generation detection device will be described with reference to FIG.
FIG. 67 is a block diagram illustrating a configuration of the marker generation detection device.
As illustrated in FIG. 67, the marker
ここで、マーカ検出部２１０は、前述した第一実施形態〜第五実施形態のいずれかにおけるマーカ検出装置１と同様の機能を有することができる。
マーカ生成部２２０は、前述した図５４に示すマーカ生成装置１００と同様の機能を有することができる。
このように、マーカ生成検出装置２００は、マーカ検出装置１の有する機能とマーカ生成装置１００の有する機能とを一体化した構成とすることができる。
Here, the
The
As described above, the marker
また、マーカ検出部２１０とマーカ生成部２２０とは、共有化できる機能があるため、図６８に示すような構成とすることもできる。
例えば、マーカ生成検出装置２００は、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段７０と、照合手段１０と、照合監視手段２０と、報知手段６０と、特異特徴選択手段１４０と、マーカパターン生成手段１５０とを有している。また、マーカパターン生成手段１５０は、マーカ生成部１５１と、マーカ記憶部１５２とを有している。
これらのうち、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段７０と、照合手段１０と、照合監視手段２０と、報知手段６０と、マーカ記憶部１５２が、マーカ検出装置としての機能を有している。
一方、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段７０と、特異特徴選択手段１４０と、マーカパターン生成手段１５０が、マーカ生成装置としての機能を有している。
そして、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段７０と、マーカ記憶部１５２が、マーカ生成装置とマーカ検出装置に共通している部分である。
Moreover, since the
For example, the marker
Among these, the video input means 30, the feature extraction means 40, the invariant feature conversion means 70, the collation means 10, the collation monitoring means 20, the notification means 60, and the
On the other hand, the video input means 30, the feature extraction means 40, the invariant feature conversion means 70, the unique feature selection means 140, and the marker pattern generation means 150 have a function as a marker generation device.
The
なお、マーカ検出部におけるマーカ検出方法は、前述した第一〜第五実施形態におけるマーカ生成方法と同様である。
また、マーカ生成部におけるマーカ生成方法は、前述した実施形態におけるマーカ検出方法と同様である。
The marker detection method in the marker detection unit is the same as the marker generation method in the first to fifth embodiments described above.
The marker generation method in the marker generation unit is the same as the marker detection method in the above-described embodiment.
（マーカ生成検出システム）
次に、本実施形態のマーカ生成検出システムについて、図６９を参照して説明する。
図６９に示すように、マーカ生成検出システム３００は、マーカ検出装置１と、マーカ生成装置１００とを備えている。これらマーカ検出装置１とマーカ生成装置１００は、通信ネットワーク又は通信ケーブル４００などで接続することができる。
(Marker generation detection system)
Next, the marker generation detection system of this embodiment will be described with reference to FIG.
As shown in FIG. 69, the marker generation detection system 300 includes a
マーカ検出装置１は、映像入力手段３０と、特徴抽出手段４０と、マーカ記憶手段５０と、照合手段１０と、照合監視手段２０と、報知手段６０と、通信手段８０とを有している。
通信手段８０は、マーカ生成装置１００から送信されてきたマーカに関するデータを受信する。また、通信手段１６０は、その受信したマーカに関するデータをマーカ記憶手段５０に記憶させる。
The
The
マーカ生成装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、不変特徴選択手段１３０と、特異特徴選択手段１４０と、マーカパターン生成手段１５０と、通信手段１７０とを有している。
通信手段１７０は、マーカパターン生成手段１５０のマーカ記憶部１５２に記憶されているマーカに関するデータを取り出し、これをマーカ検出装置１へ送信する。
The
The
以上説明したように、マーカ生成検出装置及びマーカ生成検出システムによれば、マーカ生成検出装置又はマーカ生成検出システムのマーカ検出機能において、検出特徴点の検出、「一致検出領域」，「マーカ非出現領域」，「マーカ検出領域」，「マーカ不存在領域」の特定、「マーカ非出現領域」や「マーカ不存在領域」に位置する特徴点の排除などを行うことができる。これにより、動体から抽出された特徴点にもとづくパターンを所望の物体に付されたマーカにもとづくパターンであるとの誤認識を回避して、マーカ検出の精度を高めることができる。 As described above, according to the marker generation detection device and the marker generation detection system, in the marker detection function of the marker generation detection device or the marker generation detection system, detection of detection feature points, “coincidence detection region”, “marker non-appearance” It is possible to specify “region”, “marker detection region”, “marker non-existing region”, and eliminate feature points located in “marker non-appearing region” or “marker non-existing region”. Accordingly, it is possible to avoid erroneous recognition that a pattern based on a feature point extracted from a moving object is a pattern based on a marker attached to a desired object, and to improve the accuracy of marker detection.
［マーカ生成プログラム及びマーカ検出プログラム］
次に、マーカ生成プログラム及びマーカ検出プログラムについて説明する。
上記の各実施形態におけるコンピュータ（マーカ生成装置、マーカ検出装置、マーカ生成検出装置、マーカ生成検出システム）のマーカ生成機能（マーカ生成方法を実行するための機能）やマーカ検出機能（マーカ検出方法を実行するための機能）は、記憶手段（例えば、ＲＯＭ（Read only memory）やハードディスクなど）に記憶されたマーカ生成プログラム又はマーカ検出プログラムにより実現される。
[Marker generation program and marker detection program]
Next, a marker generation program and a marker detection program will be described.
Marker generation function (function for executing marker generation method) and marker detection function (marker detection method) of the computer (marker generation device, marker detection device, marker generation detection device, marker generation detection system) in each of the above embodiments The function for execution) is realized by a marker generation program or a marker detection program stored in a storage means (for example, a ROM (Read Only Memory) or a hard disk).
マーカ生成プログラム及びマーカ検出プログラムは、コンピュータの制御手段（ＣＰＵ（Central Processing Unit）など）に読み込まれることにより、コンピュータの構成各部に指令を送り、所定の処理、たとえば、マーカ生成装置の映像入力処理、特徴抽出処理、特異特徴選択処理、マーカパターン生成処理、不変特徴変換処理、マーカ検出装置の映像入力処理、特徴抽出処理、照合処理、非マーカ特徴点検出処理、非マーカ不変特徴検出処理、「一致検出領域」特定処理、「マーカ非出現領域」特定処理、「マーカ検出領域」特定処理、「マーカ不存在領域」特定処理、報知処理などを行わせる。
これによって、マーカ生成機能又はマーカ検出機能は、ソフトウエアであるマーカ生成プログラムとハードウエア資源であるコンピュータ（マーカ生成手段（マーカ生成装置、マーカ生成サーバ、マーカ生成ネットワークorマーカ生成システム））の各構成手段とが協働することにより実現される。
The marker generation program and the marker detection program are read by a computer control means (CPU (Central Processing Unit) or the like) to send commands to each component of the computer and perform predetermined processing, for example, video input processing of the marker generation device , Feature extraction processing, unique feature selection processing, marker pattern generation processing, invariant feature conversion processing, video input processing of the marker detection device, feature extraction processing, matching processing, non-marker feature point detection processing, non-marker invariant feature detection processing, A “coincidence detection area” identification process, a “marker non-appearance area” identification process, a “marker detection area” identification process, a “marker absence area” identification process, a notification process, and the like are performed.
Thereby, the marker generation function or the marker detection function is performed by each of the marker generation program as software and the computer (marker generation means (marker generation device, marker generation server, marker generation network or marker generation system)) as hardware resources. This is realized by cooperation with the constituent means.
なお、マーカ生成機能又はマーカ検出機能を実現するためのマーカ生成プログラムは、コンピュータのＲＯＭやハードディスクなどに記憶される他、コンピュータ読み取り可能な記録媒体、たとえば、外部記憶装置及び可搬記録媒体等に格納することができる。
外部記憶装置とは、ＣＤ−ＲＯＭ（Compact disk−Read only memory）等の記憶媒体を内蔵し、マーカ生成装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、たとえば、フレキシブルディスク，メモリカード，光磁気ディスク等をいう。
The marker generation program for realizing the marker generation function or the marker detection function is stored in a computer ROM, hard disk or the like, or in a computer-readable recording medium such as an external storage device and a portable recording medium. Can be stored.
The external storage device is a memory expansion device that incorporates a storage medium such as a CD-ROM (Compact disk-Read only memory) and is externally connected to the marker generation device. On the other hand, the portable recording medium is a recording medium that can be mounted on a recording medium driving device (drive device) and is portable, and refers to, for example, a flexible disk, a memory card, a magneto-optical disk, and the like.
そして、記録媒体に記録されたプログラムは、コンピュータのＲＡＭ（Random access memory）等にロードされて、ＣＰＵ（制御手段）により実行される。この実行により、上述した各実施形態のマーカ生成装置の機能が実現される。
さらに、コンピュータでマーカ生成プログラムをロードする場合、他のコンピュータで保有されたマーカ生成プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされたマーカ生成プログラムも、ＣＰＵにより実行され、上記各実施形態のマーカ生成装置のマーカ生成機能を実現する。
The program recorded on the recording medium is loaded into a RAM (Random Access Memory) of a computer and executed by the CPU (control means). By this execution, the function of the marker generation device of each embodiment described above is realized.
Furthermore, when the marker generation program is loaded by a computer, the marker generation program held by another computer can be downloaded to its own RAM or external storage device using a communication line. The downloaded marker generation program is also executed by the CPU, and realizes the marker generation function of the marker generation device of each of the above embodiments.
以上説明したように、本実施形態のマーカ検出装置、マーカ生成検出装置、マーカ生成検出システム、マーカ検出方法及びマーカ検出プログラムによれば、複数のマーカ検出用の画像から特徴点を抽出し、これら特徴点を所定の空間に配置し、この配置された複数の特徴点の配置のうちマーカから抽出された特徴点の配置と一致するものがあるときは、その特徴点が位置する範囲を「一致検出領域」とし、この「一致検出領域」に配置された特徴点の数が所定数以下であるときは、これを「マーカ非出現領域」として検出することとしたので、検出対象映像の背景部分が変化したことにより新たに表れたパターンをマーカパターンとして過剰検出することを排除し、マーカ検出を適切に行なうことができる。 As described above, according to the marker detection device, marker generation detection device, marker generation detection system, marker detection method, and marker detection program of this embodiment, feature points are extracted from a plurality of marker detection images, and these When a feature point is placed in a predetermined space and there is a match with the feature point extracted from the marker among the placement of the plurality of feature points, the range in which the feature point is located When the number of feature points arranged in the “coincidence detection region” is equal to or less than a predetermined number, this is detected as a “marker non-appearance region”. It is possible to eliminate the excessive detection of a newly appearing pattern as a marker pattern due to the change of the marker, and to appropriately detect the marker.
以上、本発明のマーカ検出装置、マーカ生成検出装置、マーカ生成検出システム、マーカ検出方法及びマーカ検出プログラムの好ましい実施形態について説明したが、本発明に係るマーカ検出装置、マーカ生成検出装置、マーカ生成検出システム、マーカ検出方法及びマーカ検出プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態では、マーカパターン生成手段がマーカを一つのみ生成することとしたが、マーカを一つのみ生成することに限るものではなく、複数生成することもできる。
The preferred embodiments of the marker detection device, marker generation detection device, marker generation detection system, marker detection method, and marker detection program of the present invention have been described above. However, the marker detection device, marker generation detection device, and marker generation according to the present invention have been described. The detection system, the marker detection method, and the marker detection program are not limited to the above-described embodiments, and it goes without saying that various modifications can be made within the scope of the present invention.
For example, in the above-described embodiment, the marker pattern generation unit generates only one marker. However, the present invention is not limited to generating only one marker, and a plurality of markers can be generated.
また、上述した実施形態では、幾何学的な特徴点や不変特徴について説明したが、特徴点や不変特徴は、幾何学的なものに限るものではなく、種々の特徴を使用することができる。
例えば、物体の色を使用することができる。物体の色は、同一物体であっても撮影環境に存在する光源内に依存して、異なった色で撮影されてしまう。画像上から光源色変動の影響を分離して取り除くことができれば、実際の物体色を得ることができる。得られる実際の物体色を物体色不変量として使用してもよい。
鏡面反射している箇所は、光源色の影響が支配的で、輝度値が光源色成分において飽和しやすいため、これを光源色とみなして、飽和箇所に対応する色成分を不変特徴として選択しないようにしてもよい。
In the above-described embodiments, the geometric feature points and the invariant features have been described. However, the feature points and the invariant features are not limited to the geometric features, and various features can be used.
For example, the color of the object can be used. Even if the color of the object is the same, depending on the light source existing in the shooting environment, the color of the object will be shot with a different color. If the influence of the light source color variation can be separated and removed from the image, the actual object color can be obtained. The actual object color obtained may be used as the object color invariant.
The specularly reflected location is dominated by the influence of the light source color, and the luminance value is likely to be saturated in the light source color component. You may do it.
ほかにも、画像から物体色を推定する方法には、例えば、Robby T.Tan and Katsushi Ikeuchiによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 27、NO. 2、FEBRUARY 2005、pp.178-193に記載の「Separating Reflection Components of Textured Surfaces Using a Single Image」や、Graham D. Finlayson、Steven D. Hordley、Cheng Lu、 and Mark S. Drewによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 28、NO. 1、JANUARY 2006、pp.59-68に記載の「On the Removal of Shadows from Images」などを使用してもよい。 Other methods for estimating the object color from the image include, for example, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 27, NO. 2, FEBRUARY 2005, pp.178- by Robby T. Tan and Katsushi Ikeuchi. `` Separating Reflection Components of Textured Surfaces Using a Single Image '' described in 193, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 28 by Graham D. Finlayson, Steven D. Hordley, Cheng Lu, and Mark S. Drew. No. 1, JANUARY 2006, pp. 59-68, “On the Removal of Shadows from Images”, etc. may be used.
また、他の例として、テクスチャ不変量を使用することができる。
画像の部分領域の輝度分布に対して数値演算を施し得られた数値又はベクトルを特徴量とする。図形的不変量と同様にテクスチャ不変量は、カメラと撮影対象との相対位置関係を受けやすいため、この影響を受けにくい特徴量を算出し、テクスチャ不変量とする。
例えば、カメラと対象の距離やズームに不変な特徴量は、注目している部分画像を極座標変換し、動径方向にパワースペクトルをとることで実装可能である。さらに、そのパワースペクトルに対して、方位角方向に再度パワースペクトルを求めるとカメラの光軸周りの回転に対して不変な特徴量となる。
その他、Chi-Man Pun and Moon-Chuen LeeによるIEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 25、NO. 5、MAY 2003に記載の「Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification」などの方法を用いてもよい。
As another example, a texture invariant can be used.
A numerical value or vector obtained by performing numerical calculation on the luminance distribution of the partial region of the image is used as a feature amount. Similar to the graphical invariant, the texture invariant is susceptible to the relative positional relationship between the camera and the object to be imaged.
For example, a feature quantity that is invariant to the distance and zoom between the camera and the object can be implemented by converting the focused partial image into polar coordinates and taking the power spectrum in the radial direction. Further, when the power spectrum is obtained again in the azimuth direction with respect to the power spectrum, it becomes a feature quantity that is invariant to the rotation around the optical axis of the camera.
Others include `` Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification '' described by Chi-Man Pun and Moon-Chuen Lee in IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 25, NO. 5, MAY 2003 The method may be used.
また、幾何学的不変量についても、Richard Hartley and Andrew Zissermanによる「Multiple View Geometry in Computer Vision」などに記載されているような他の幾何学的不変量を使用してもよい。同一シーンを複数のカメラで観測する場合には、同文献に記載の方法により、距離もしくは深さ方向の相対位置関係の情報を得ることが可能となるが、この場合、同一平面にない４点を基底に選択し、例えば３次元の幾何学的不変量をつくることができる。この際には、特徴点群から選択した基底４点のうち１点を不変量空間の原点、その他の基底の特徴点を不変量空間における位置座標(1,0,0)および(0,1,0)、(0,0,1)に対応付ける変換写像を求め、その他特徴をこの変換写像を使用して不変量空間に写像するようにする。 As for geometric invariants, other geometric invariants as described in “Multiple View Geometry in Computer Vision” by Richard Hartley and Andrew Zisserman may be used. When observing the same scene with a plurality of cameras, it is possible to obtain information on the relative positional relationship in the distance or depth direction by the method described in the same document, but in this case, there are four points that are not on the same plane. Can be selected as a basis to create, for example, a three-dimensional geometric invariant. In this case, one of the four base points selected from the feature point group is the origin of the invariant space, and the other feature points are the position coordinates (1,0,0) and (0,1) in the invariant space. , 0) and (0,0,1) are obtained, and other features are mapped to the invariant space using this transformation map.
なお、本発明のマーカ検出装置は、第一実施形態〜第五実施形態のそれぞれにおけるマーカ生成装置を任意に組み合わせたものであってもよい。 The marker detection device of the present invention may be an arbitrary combination of the marker generation devices in each of the first to fifth embodiments.
本発明は、マーカの検出に関する発明であるため、マーカを検出する装置や機器、例えば、物体管理、フィジカルセキュリティをはじめとする映像モニタリング、ロボットビジョン、複合現実感ＵＩ、コンテンツ生成応用に利用可能である。 Since the present invention relates to marker detection, the present invention can be used for devices and devices that detect markers, for example, image management including object management and physical security, robot vision, mixed reality UI, and content generation applications. is there.
１ａ〜１ｅ マーカ検出装置
１０ａ〜１０ｅ 照合手段
２０ａ〜２０ｅ 照合監視手段
３０ 映像入力手段
４０ｂ〜４０ｅ 特徴抽出手段
５０ マーカ記憶手段
６０ 報知手段
７０ 不変特徴変換手段
１００ マーカ生成装置
２００ マーカ生成検出装置
３００ マーカ生成検出システム
DESCRIPTION OF SYMBOLS 1a-1e
Claims (16)
複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを備えた
ことを特徴とするマーカ検出装置。 A feature point is extracted from the image for generating a marker, the feature point is arranged in a predetermined space, a portion having a predetermined number or less of the feature points is selected as a unique feature, and a marker is generated using the unique feature, Feature points are extracted from the marker detection image, the feature points are arranged in a predetermined space, the plurality of arranged feature points are collated with the feature points extracted from the markers, and the marker detection points are detected. When there is a feature point that matches the feature point extracted from the marker among a plurality of feature points based on the image, a matching unit that uses a position where the feature point is arranged or a region including the position as a match detection region; ,
When there are feature points that are extracted from a plurality of marker detection images and placed in the match detection area among a plurality of feature points that are placed in a predetermined space, the number of feature points is equal to or less than a predetermined number. A marker detection apparatus comprising: a collation monitoring unit that detects a detection area as a marker non-appearance area where no marker appears.
ことを特徴とする請求項１記載のマーカ検出装置。 The matching monitoring unit is configured to detect a match when the number of feature points appearing in the match detection region among a plurality of feature points extracted from the plurality of marker detection images and arranged in a predetermined space is equal to or greater than a predetermined number. The marker detection apparatus according to claim 1, wherein the detection area is detected as a marker detection area.
ことを特徴とする請求項２記載のマーカ検出装置。 The marker detection apparatus according to claim 2, wherein the collation monitoring unit sets a range on the image not including the marker detection area as a marker non-existence area.
ことを特徴とする請求項３記載のマーカ検出装置。 The marker detection apparatus according to claim 3, further comprising an arrangement unit that extracts the feature point from a portion of the marker detection image excluding the marker non-existing region.
ことを特徴とする請求項１〜３のいずれかに記載のマーカ検出装置。 The marker detection apparatus according to any one of claims 1 to 3, further comprising an arrangement unit that extracts the feature point from a portion excluding the marker non-appearance region in the marker detection image.
ことを特徴とする請求項１〜５のいずれかに記載のマーカ検出装置。 When there is a feature point that matches the feature point extracted from the marker among the plurality of feature points arranged in the feature space, the matching unit sets the position where the feature point is arranged as the coincidence detection region. The marker detection device according to any one of claims 1 to 5, wherein
ことを特徴とする請求項１〜５のいずれかに記載のマーカ検出装置。 The collating unit arranges the feature points extracted from the marker in an invariant feature space, selects a portion where the arranged feature points are located as a unique feature, and outputs a plurality of points extracted from the marker detection image. The marker detection device according to claim 1, wherein when there is a feature point located in the unique feature among the feature points, the unique feature is used as the coincidence detection region.
この表示手段が、前記マーカ検出用の画像を表示するに際し、前記マーカ非出現領域以外の部分を表示する
ことを特徴とする請求項１〜７のいずれかに記載のマーカ検出装置。 A display means for displaying an image;
The marker detection device according to any one of claims 1 to 7, wherein the display means displays a portion other than the marker non-appearance region when displaying the marker detection image.
前記マーカ生成装置が、
マーカ生成用の画像から特徴点を抽出する抽出手段と、
前記特徴点を所定の空間に配置する配置手段と、
前記特徴点が配置されていない部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカパターン生成手段とを有し、
前記マーカ検出装置が、
マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点と前記マーカから抽出された特徴点とを照合し、前記マーカ検出用の画像にもとづく複数の特徴点のうち、前記マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、
複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを有した
ことを特徴とするマーカ生成検出システム。 A marker generation device and a marker detection device;
The marker generating device is
Extraction means for extracting feature points from an image for generating a marker;
Arrangement means for arranging the feature points in a predetermined space;
Singular feature selection means for selecting a portion where the feature points are not arranged as a singular feature;
Marker pattern generating means for generating a marker using the unique feature,
The marker detection device is
Feature points are extracted from the marker detection image, the feature points are arranged in a predetermined space, the plurality of arranged feature points are collated with the feature points extracted from the markers, and the marker detection points are detected. When there is a feature point that matches the feature point extracted from the marker among a plurality of feature points based on the image, a matching unit that uses a position where the feature point is arranged or a region including the position as a match detection region; ,
When there are feature points that are extracted from a plurality of marker detection images and placed in the match detection area among a plurality of feature points that are placed in a predetermined space, the number of feature points is equal to or less than a predetermined number. A marker generation detection system comprising: a collation monitoring unit that detects a detection region as a marker non-appearance region in which no marker appears.
ことを特徴とする請求項９記載のマーカ生成検出システム。 The matching monitoring unit is configured to detect a match when the number of feature points appearing in the match detection region among a plurality of feature points extracted from the plurality of marker detection images and arranged in a predetermined space is equal to or greater than a predetermined number. The marker generation detection system according to claim 9, wherein the detection area is detected as a marker detection area.
前記マーカ生成部が、
マーカ生成用の画像から特徴点を抽出する抽出手段と、
前記特徴点を所定の位置に配置する配置手段と、
前記特徴点が配置されていない部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカパターン生成手段とを有し、
前記マーカ検出部が、
マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点と前記マーカから抽出された特徴点とを照合し、前記マーカ検出用の画像にもとづく複数の特徴点のうち、前記マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、
複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを有した
ことを特徴とするマーカ生成検出装置。 A marker generation unit and a marker detection unit;
The marker generator
Extraction means for extracting feature points from an image for generating a marker;
Arrangement means for arranging the feature points at predetermined positions;
Singular feature selection means for selecting a portion where the feature points are not arranged as a singular feature;
Marker pattern generating means for generating a marker using the unique feature,
The marker detection unit is
Feature points are extracted from the marker detection image, the feature points are arranged in a predetermined space, the plurality of arranged feature points are collated with the feature points extracted from the markers, and the marker detection points are detected. When there is a feature point that matches the feature point extracted from the marker among a plurality of feature points based on the image, a matching unit that uses a position where the feature point is arranged or a region including the position as a match detection region; ,
When there are feature points that are extracted from a plurality of marker detection images and placed in the match detection area among a plurality of feature points that are placed in a predetermined space, the number of feature points is equal to or less than a predetermined number. A marker generation detection device comprising: a collation monitoring unit that detects a detection region as a marker non-appearance region where no marker appears.
ことを特徴とする請求項１１記載のマーカ生成検出装置。 The matching monitoring unit is configured to detect a match when the number of feature points appearing in the match detection region among a plurality of feature points extracted from the plurality of marker detection images and arranged in a predetermined space is equal to or greater than a predetermined number. The marker generation detection apparatus according to claim 11, wherein the detection area is detected as a marker detection area.
複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する工程とを有した
ことを特徴とするマーカ検出方法。 A feature point is extracted from the image for generating a marker, the feature point is arranged in a predetermined space, a portion having a predetermined number or less of the feature points is selected as a unique feature, and a marker is generated using the unique feature, Feature points are extracted from the marker detection image, the feature points are arranged in a predetermined space, the plurality of arranged feature points are collated with the feature points extracted from the markers, and the marker detection points are detected. When there is a feature point that matches the feature point extracted from the marker among a plurality of feature points based on the image, the step of setting the position where this feature point is arranged or a region including this position as a match detection region;
When there are feature points that are extracted from a plurality of marker detection images and placed in the match detection area among a plurality of feature points that are placed in a predetermined space, the number of feature points is equal to or less than a predetermined number. And a step of detecting the detection area as a marker non-appearance area where no marker appears.
ことを特徴とする請求項１３記載のマーカ検出方法。 When the number of feature points appearing in the coincidence detection area among a plurality of feature points extracted from the plurality of marker detection images and arranged in a predetermined space is greater than or equal to a predetermined number, the coincidence detection area is defined as a marker detection area. The marker detection method according to claim 13, further comprising:
複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する工程と
をマーカ検出装置に実行させる
ことを特徴とするマーカ検出プログラム。 A feature point is extracted from the image for generating a marker, the feature point is arranged in a predetermined space, a portion having a predetermined number or less of the feature points is selected as a unique feature, and a marker is generated using the unique feature, Feature points are extracted from the marker detection image, the feature points are arranged in a predetermined space, the plurality of arranged feature points are collated with the feature points extracted from the markers, and the marker detection points are detected. When there is a feature point that matches the feature point extracted from the marker among a plurality of feature points based on the image, the step of setting the position where this feature point is arranged or a region including this position as a match detection region;
When there are feature points that are extracted from a plurality of marker detection images and placed in the match detection area among a plurality of feature points that are placed in a predetermined space, the number of feature points is equal to or less than a predetermined number. A marker detection program for causing a marker detection device to execute a step of detecting a detection area as a marker non-appearance area where no marker appears.
ことを特徴とする請求項１５記載のマーカ検出プログラム。 When the number of feature points appearing in the coincidence detection area among a plurality of feature points extracted from the plurality of marker detection images and arranged in a predetermined space is greater than or equal to a predetermined number, the coincidence detection area is defined as a marker detection area. The marker detection program according to claim 15, wherein the marker detection apparatus executes the step of detecting as follows.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009171835A JP5272944B2 (en) | 2009-07-23 | 2009-07-23 | Marker detection device, marker generation detection system, marker generation detection device, marker detection method, and marker detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009171835A JP5272944B2 (en) | 2009-07-23 | 2009-07-23 | Marker detection device, marker generation detection system, marker generation detection device, marker detection method, and marker detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011028417A JP2011028417A (en) | 2011-02-10 |
| JP5272944B2 true JP5272944B2 (en) | 2013-08-28 |
Family
ID=43637115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009171835A Active JP5272944B2 (en) | 2009-07-23 | 2009-07-23 | Marker detection device, marker generation detection system, marker generation detection device, marker detection method, and marker detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5272944B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5874252B2 (en) * | 2011-09-07 | 2016-03-02 | 株式会社Ihi | Method and apparatus for measuring relative position with object |
| CN114683266A (en) * | 2020-12-29 | 2022-07-01 | 深圳市普渡科技有限公司 | Visual sign deployment prompting method and device, computer equipment and storage medium |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06348851A (en) * | 1993-04-12 | 1994-12-22 | Sony Corp | Object position detecting method |
-
2009
- 2009-07-23 JP JP2009171835A patent/JP5272944B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011028417A (en) | 2011-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6976270B2 (en) | Remote determination of the amount stored in a container in a geographic area | |
| CN105830062B (en) | System, method and apparatus for coded object formation | |
| JP4868186B2 (en) | Marker generation and marker detection system, method and program | |
| CN102663722B (en) | Split using the moving object of depth image | |
| JP5837508B2 (en) | Posture state estimation apparatus and posture state estimation method | |
| CN107851318A (en) | System and method for Object tracking | |
| JP5700219B2 (en) | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program | |
| US10204284B2 (en) | Object recognition utilizing feature alignment | |
| JP5794427B2 (en) | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program thereof | |
| Komorowski et al. | Deepball: Deep neural-network ball detector | |
| JP6547903B2 (en) | Image processing apparatus, image processing method and storage medium | |
| EP2458559A1 (en) | Marker judgment device, marker judgment detection system, marker judgment detection device, marker, marker judgment method, and program therefor | |
| JP5272944B2 (en) | Marker detection device, marker generation detection system, marker generation detection device, marker detection method, and marker detection program | |
| JP4550769B2 (en) | Image detection apparatus and image detection method | |
| JP2011054062A (en) | Apparatus and method for processing image, and program | |
| JP5767887B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4550768B2 (en) | Image detection method and image detection apparatus | |
| Aryan | Vision based automatic target scoring system for mobile shooting range | |
| CN115829839A (en) | Image splicing method, server and storage medium for airport foreign matter detection | |
| JP2010113562A (en) | Apparatus, method and program for detecting and tracking object | |
| JP6171786B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2011170554A (en) | Object recognition device, object recognition method, and object recognition program | |
| Pakizeh et al. | Building detection from aerial images using hough transform and intensity information | |
| Hwang et al. | Real-Time 2D Orthomosaic Mapping from Drone-Captured Images Using Feature-Based Sequential Image Registration | |
| JP5347797B2 (en) | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120612 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130429 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5272944 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |