JP5347797B2 - Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program - Google Patents
Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program Download PDFInfo
- Publication number
- JP5347797B2 JP5347797B2 JP2009171836A JP2009171836A JP5347797B2 JP 5347797 B2 JP5347797 B2 JP 5347797B2 JP 2009171836 A JP2009171836 A JP 2009171836A JP 2009171836 A JP2009171836 A JP 2009171836A JP 5347797 B2 JP5347797 B2 JP 5347797B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- marker
- invariant
- unit
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、マーカを生成するマーカ生成装置、このマーカ生成装置を備えたマーカ生成検出システム、マーカ生成機能を有したマーカ生成検出装置、そのマーカ生成装置で生成されるマーカ、そのマーカを生成するマーカ生成方法、及び、このマーカ生成方法を実行するためのマーカ生成プログラムに関する。 The present invention relates to a marker generation device that generates a marker, a marker generation detection system including the marker generation device, a marker generation detection device having a marker generation function, a marker generated by the marker generation device, and the marker generation The present invention relates to a marker generation method and a marker generation program for executing the marker generation method.
ある空間内に所望の物体が存在するか否かを判別する手法には、次のようなものがある。
例えば、マーカ生成段階で、マーカが存在しない空間の画像を背景映像として映像入力手段により撮影し、その背景映像から特徴点を抽出し、この特徴点を不変量特徴空間に写像して不変特徴とし、この不変特徴が表れなかった部分を特異特徴とし、この特異特徴にもとづいてマーカパターンを生成し、マーカ検出段階で、マーカが付された物体を含む空間の画像を検出対象映像として撮影し、この検出対象映像から特徴点を抽出し、この特徴点の配置の中にマーカパターンから抽出された特徴点の配置と一致するものがあるか否かを判断し、一致するものがあるときは、これをマーカとして検出する技術がある（例えば、特許文献１参照。）。
There are the following methods for determining whether or not a desired object exists in a certain space.
For example, in the marker generation stage, an image of a space in which no marker exists is taken as a background video by video input means, feature points are extracted from the background video, and the feature points are mapped to an invariant feature space to be invariant features. , A portion where this invariant feature does not appear as a unique feature, a marker pattern is generated based on this unique feature, and at the marker detection stage, an image of a space including the object with the marker is taken as a detection target video, Extract feature points from this detection target video, determine if there is a feature point arrangement that matches the feature point extraction extracted from the marker pattern, and if there is a match, There is a technique for detecting this as a marker (see, for example, Patent Document 1).
この技術によれば、マーカ生成段階において、背景映像に表れていないパターンをマーカパターンとして生成することができる。このため、マーカ検出段階においては、検出対象映像のうちマーカが存在しないところからマーカが誤って検出されることがなくなり、物体に付されたマーカを確実に検出することができる。 According to this technique, a pattern that does not appear in the background video can be generated as a marker pattern in the marker generation stage. For this reason, in the marker detection stage, the marker is not erroneously detected from the place where the marker does not exist in the detection target video, and the marker attached to the object can be reliably detected.
しかしながら、上述した特許文献１に記載の技術（以下、「文献技術」と称する）においては、次のような状況があった。 However, the technique described in Patent Document 1 (hereinafter referred to as “document technique”) has the following situation.
まず、同文献技術においては、映像入力手段として一台のカメラを想定しており、このカメラが撮影した一枚の背景映像（フレーム画像）にもとづいてマーカパターンを生成していた。
ところが、カメラは、一台だけで使用する場合もあれば、複数台設置して使用する場合もある。また、ワンシーンのみ撮影するものもあれば、長時間にわたって複数シーンを撮影するものもある。さらに、アクティブカメラや自走カメラなどのように、背景映像を様々な角度で撮影したり、時間を追って異なる被写体を撮影したりするものもある。
これらアクティブカメラ等を文献技術の映像入力手段に用いた場合において、マーカパターンを一枚の背景映像のみから生成すると、この生成に用いられなかった背景映像に対するマーカパターンの頑健性（マーカ検出の確実さ）が低いものとなってしまう。
このため、背景映像として複数枚のフレーム画像を撮影するカメラが映像入力手段として使用された場合でも、頑健性の高いマーカパターンを生成できる技術の提案が求められていた。
First, in the technique of the same literature, a single camera is assumed as a video input means, and a marker pattern is generated based on a single background video (frame image) taken by this camera.
However, there are cases where only one camera is used, and cases where a plurality of cameras are installed. Some shoot only one scene, while others shoot multiple scenes over a long period of time. In addition, there are cameras such as an active camera and a self-propelled camera that shoot a background video at various angles or shoot different subjects over time.
When these active cameras are used as video input means in the literature, if the marker pattern is generated from only one background video, the robustness of the marker pattern with respect to the background video that was not used for this generation (reliability of marker detection) A) is low.
Therefore, there has been a demand for a proposal of a technique that can generate a marker pattern with high robustness even when a camera that captures a plurality of frame images as a background video is used as video input means.
また、映像入力手段が撮影した背景映像には、様々な物体が映し出される。
ここで、それら映し出された物体がすべて固定したものであるときに生成されるマーカパターンと、同じ背景映像の中に動く物体（動体）が存在したときに生成されるマーカパターンとは、異なったものとなる。また、動体の有無だけでなく、動体の変形、動体と他の物体との交差など（以下、これらを「動体」と総称する）によっても、マーカパターンは異なってくる。
In addition, various objects are displayed on the background video captured by the video input means.
Here, the marker pattern generated when all the projected objects are fixed is different from the marker pattern generated when a moving object (moving object) exists in the same background image. It will be a thing. In addition to the presence or absence of a moving object, the marker pattern varies depending on the deformation of the moving object, the intersection of the moving object and another object (hereinafter collectively referred to as “moving object”), and the like.
ただし、動体は、一時的あるいは偶発的に発生するものである。つまり、マーカ生成段階で一時的あるいは偶発的に現れた動体が、マーカ検出段階で再び現れる可能性は低い。また、変形する動体の場合、この動体にもとづく特徴点の配置は終始変化するため、マーカ検出段階で同じ配置が出現する可能性は非常に低いと考えられる。マーカの生成にあたっては、背景パターンとの誤認を無くす必要があるが、背景に現れることのないパターンとの差異までも図る必要はない。つまり、マーカ検出段階で検出対象映像に現れる可能性のほとんどない動体をも考慮してマーカを生成する必要はないといえる。 However, the moving object is generated temporarily or accidentally. That is, it is unlikely that a moving object that appears temporarily or accidentally at the marker generation stage will appear again at the marker detection stage. Further, in the case of a moving body that deforms, the arrangement of feature points based on this moving body changes from beginning to end, so it is very unlikely that the same arrangement will appear at the marker detection stage. In generating the marker, it is necessary to eliminate misidentification with the background pattern, but it is not necessary to make a difference from the pattern that does not appear in the background. That is, it can be said that it is not necessary to generate a marker in consideration of a moving object that has little possibility of appearing in the detection target video at the marker detection stage.
しかも、背景映像に動体が映し出されると、この動体の存在により特徴点や不変特徴が増加することから、特異特徴が減少し、マーカパターンの頑健性が低下する。
そこで、背景映像に動体が映し出された場合でも、マーカパターンの頑健性の低下を抑制して、最適なマーカパターンを安定的に生成する技術の提案が求められていた。
In addition, when a moving object is displayed in the background image, feature points and invariant features increase due to the presence of the moving object, so that singular features decrease and the robustness of the marker pattern decreases.
Therefore, there has been a demand for a technique for stably generating an optimal marker pattern by suppressing a decrease in the robustness of the marker pattern even when a moving object is displayed in the background video.
本発明は、上記の状況にかんがみなされたものであり、複数枚の背景映像を撮影するカメラが映像入力手段として使用された場合でも、頑健性の高いマーカパターンを生成可能とするとともに、一時的又は偶発的に発生する物体や状態等の動体が背景映像に含まれる場合でも、マーカパターンの頑健性の低下を抑制しつつ、最適なマーカパターンを安定的に生成可能とするマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの提供を目的とする。 The present invention has been considered in view of the above situation, and even when a camera that captures a plurality of background images is used as an image input means, it is possible to generate a highly robust marker pattern and temporarily Alternatively, a marker generation device and a marker that can stably generate an optimal marker pattern while suppressing a decrease in the robustness of the marker pattern even when a moving object such as an accidentally generated object or state is included in the background video An object is to provide a generation detection system, a marker generation detection device, a marker, a marker generation method, and a marker generation program.
この目的を達成するため、本発明のマーカ生成装置は、複数の画像を入力する映像入力手段と、複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す配置手段と、空間における特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、特異特徴を用いてマーカを生成するマーカ生成手段と、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを備え、特異特徴選択手段が、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択する構成としてある。 In order to achieve this object, the marker generating device of the present invention includes a video input means for inputting a plurality of images, an arrangement for extracting feature points for each of the plurality of images, and representing these extracted feature points in a predetermined space. Means, a unique feature selection means for selecting a portion having a predetermined number or less of feature points in space as a unique feature, a marker generating means for generating a marker using a unique feature, and an object having a low appearance frequency in a plurality of images or Moving object detection means for detecting the state of an object as a low-appearance object, and the unique feature selection means selects a specific feature from a predetermined space from which feature points corresponding to the low-appearance object are excluded.
また、本発明のマーカ生成検出システムは、マーカ生成装置とマーカ検出装置とを備え、マーカ生成装置が、複数の画像を入力する第一映像入力手段と、この第一映像入力手段で入力された複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す第一配置手段と、空間における特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、特異特徴を用いてマーカを生成するマーカ生成手段と、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを有し、特異特徴選択手段が、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択し、マーカ生成手段が、特異特徴を用いてマーカを生成し、マーカ検出装置が、マーカを記憶するマーカ記憶手段と、画像を入力する第二映像入力手段と、この第二映像入力手段で入力された画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、所定の空間に表された特徴点群の配置の中に、マーカにもとづく特徴点の配置があるか否かを判断する照合手段とを有した構成としてある。 In addition, the marker generation detection system of the present invention includes a marker generation device and a marker detection device, and the marker generation device inputs a first video input unit that inputs a plurality of images, and the first video input unit. First arrangement means for extracting feature points for each of a plurality of images, and expressing the extracted feature points in a predetermined space; and unique feature selection means for selecting a portion having a predetermined number or less of feature points in the space as a unique feature A marker generating means for generating a marker using a unique feature, and a moving object detecting means for detecting an object or a state of an object having a low appearance frequency in a plurality of images as a low appearance object, and a unique feature selecting means, Marker storage means for selecting a singular feature from a predetermined space from which feature points corresponding to low appearance objects are excluded, a marker generating means generating a marker using the singular feature, and a marker detecting device storing the marker A second video input means for inputting an image, a second arrangement means for extracting feature points based on the image input by the second video input means, and representing the extracted feature points in a predetermined space; In the arrangement of the feature points represented in the space, there is a configuration having collation means for judging whether or not there is a feature point arrangement based on the marker.
また、本発明のマーカ生成検出装置は、複数の画像を入力する第一映像入力手段と、この第一映像入力手段で入力された複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す第一配置手段と、空間における特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、特異特徴を用いてマーカを生成するマーカ生成手段と、マーカを記憶するマーカ記憶手段と、画像を入力する第二映像入力手段と、この第二映像入力手段で入力された画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、所定の空間に表された特徴点群の配置の中に、マーカに対応する特徴点の配置があるか否かを判断する照合手段と、第一映像入力手段で入力された複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを有し、特異特徴選択手段が、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択する構成としてある。 Further, the marker generation detection device of the present invention extracts a feature point for each of a plurality of images input by the first image input means for inputting a plurality of images and the first image input means, and these extracted features First arrangement means for representing a point in a predetermined space, singular feature selection means for selecting a part having a predetermined number or less of feature points in the space as a singular feature, a marker generation means for generating a marker using the singular feature, and a marker A marker storage means for storing the image, a second video input means for inputting an image, a feature point is extracted based on the image input by the second video input means, and the extracted feature point is represented in a predetermined space. The second placement means, the collation means for judging whether or not the feature point group corresponding to the marker is located in the placement of the feature point group represented in the predetermined space, and the first video input means. Appearance frequency in multiple images Moving object detecting means for detecting an object or a state of an object as a low-appearance object, and the singular feature selection means selects a singular feature from a predetermined space from which feature points corresponding to the low-appearance object are excluded. is there.
また、本発明のマーカは、上記のマーカ生成装置を用いて生成されて、所定の物体に付されたマーカであって、複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表し、前記複数の画像への出現頻度が低い物又は物の状態を低出現物体とし、この低出現物体に対応する特徴点が排除された前記所定の空間において前記特徴点が所定数以下の部分を特異特徴として選択し、この選択した特異特徴を用いて、マーカ生成装置が図形として生成した構成としてある。 In addition, the marker of the present invention is a marker that is generated using the marker generation device and attached to a predetermined object, extracts feature points for each of a plurality of images, and extracts the extracted feature points. An object or a state of an object that is represented in a predetermined space and has a low appearance frequency in the plurality of images is defined as a low appearance object, and the feature point is predetermined in the predetermined space from which a feature point corresponding to the low appearance object is excluded. The configuration is such that a number of parts or less are selected as singular features, and the marker generating device generates a figure using the selected singular features.
また、本発明のマーカ生成方法は、複数の画像を入力する工程と、複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す工程と、空間における特徴点が所定数以下の部分を特異特徴として選択する工程と、特異特徴を用いてマーカを生成する工程とを有し、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する工程と、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択する工程とを有した方法としてある。 The marker generation method of the present invention includes a step of inputting a plurality of images, a step of extracting feature points for each of the plurality of images, a step of representing these extracted feature points in a predetermined space, and a feature point in the space. It has a step of selecting a predetermined number of parts or less as a unique feature and a step of generating a marker using the unique feature, and detects an object or a state of an object having a low appearance frequency in a plurality of images as a low appearance object. The method includes a step and a step of selecting a singular feature from a predetermined space from which feature points corresponding to low appearance objects are excluded.
また、本発明のマーカ生成プログラムは、複数の画像を入力する工程と、複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す工程と、空間における特徴点が所定数以下の部分を特異特徴として選択する工程と、特異特徴を用いてマーカを生成する工程とを有し、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する工程と、低出現物体に対応する特徴点が排除された所定の空間から特異特徴を選択する工程とをマーカ生成装置に実行させる構成としてある。 The marker generation program of the present invention includes a step of inputting a plurality of images, a step of extracting feature points for each of the plurality of images, a step of expressing these extracted feature points in a predetermined space, and a feature point in the space. It has a step of selecting a predetermined number of parts or less as a unique feature and a step of generating a marker using the unique feature, and detects an object or a state of an object having a low appearance frequency in a plurality of images as a low appearance object. The marker generating device is configured to execute a process and a process of selecting a singular feature from a predetermined space from which feature points corresponding to low appearance objects are excluded.
本発明のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムによれば、複数枚の背景映像を撮影するカメラが映像入力手段として使用された場合には、それら複数枚の背景映像を用いてマーカパターンを生成することとしたので、頑健性の高いマーカパターンを生成できる。
また、複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出し、これを排除したかたちでマーカを生成することとしたので、背景映像に動体が含まれる場合でも、マーカパターンの頑健性の低下を抑制しつつ、最適なマーカパターンを安定的に生成することができる。
According to the marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method, and marker generation program of the present invention, when a camera that shoots a plurality of background images is used as a video input means Since the marker pattern is generated using the plurality of background images, a highly robust marker pattern can be generated.
In addition, since an object with a low appearance frequency in multiple images or a state of an object is detected as a low appearance object and a marker is generated in a manner that excludes it, even if a moving object is included in the background video, the marker An optimal marker pattern can be stably generated while suppressing a decrease in pattern robustness.
以下、本発明に係るマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの好ましい実施形態について、図面を参照して説明する。 Hereinafter, preferred embodiments of a marker generation device, a marker generation detection system, a marker generation detection device, a marker, a marker generation method, and a marker generation program according to the present invention will be described with reference to the drawings.
［マーカ生成装置及びマーカ生成方法の第一実施形態］
まず、本発明のマーカ生成装置及びマーカ生成方法の第一実施形態について、図１を参照して説明する。
同図は、本実施形態のマーカ生成装置の構成を示すブロック図である。
[First Embodiment of Marker Generation Device and Marker Generation Method]
First, a first embodiment of a marker generation device and a marker generation method of the present invention will be described with reference to FIG.
FIG. 2 is a block diagram showing the configuration of the marker generation device of this embodiment.
図１に示すように、マーカ生成装置１ａは、映像入力手段１０と、配置手段である特徴抽出手段２０と、動体検出手段３０と、特異特徴選択手段４０と、マーカパターン生成手段５０とを備えている。 As shown in FIG. 1, the marker generation device 1 a includes a video input unit 10, a feature extraction unit 20 that is an arrangement unit, a moving object detection unit 30, a unique feature selection unit 40, and a marker pattern generation unit 50. ing.
ここで、映像入力手段１０は、図２に示すように、映像入力部１１と、映像記憶部１２とを有している。
映像入力部１１は、背景映像を入力する。
背景映像は、マーカ生成装置１ａにより生成されるマーカを使用する前の環境（マーカが存在しない環境）を撮影したものである。例えば、マーカが付された物体を搬送するベルトコンベアがある場合に、その物体を搬送していない状態のベルトコンベア及びその周辺を撮影した映像などが該当する。
この背景映像は、動画像（映像）であってもよく、また、所定時間間隔で撮影した複数枚の静止画像であってもよい。
さらに、背景映像には、ライブ映像、録画映像、配信映像などを含むことができる。
Here, the video input means 10 includes a video input unit 11 and a video storage unit 12, as shown in FIG.
The video input unit 11 inputs a background video.
The background video is an image of an environment (an environment in which no marker exists) before using the marker generated by the marker generating device 1a. For example, when there is a belt conveyor that conveys an object with a marker, a belt conveyor in a state in which the object is not conveyed and an image of the periphery of the belt conveyor are applicable.
The background video may be a moving image (video), or may be a plurality of still images taken at predetermined time intervals.
Furthermore, the background video can include live video, recorded video, distributed video, and the like.
また、映像入力部１１は、自身が撮像デバイスを有することができる。この場合、映像入力部１１は、当該マーカ生成装置１ａが設置された場所の周囲の様子を背景映像として撮影することができる。
さらに、映像入力部１１は、当該マーカ生成装置１ａ以外の装置で取り込まれた背景映像を、通信ネットワークや通信ケーブルなどを介して入力することもできる。
The video input unit 11 itself can have an imaging device. In this case, the video input unit 11 can shoot a state around the place where the marker generating device 1a is installed as a background video.
Furthermore, the video input unit 11 can also input a background video captured by a device other than the marker generation device 1a via a communication network or a communication cable.
この映像入力部１１が撮影又は入力した背景映像の例を、図３（i-11）〜（i-15）、図４（i-21）〜（i-25）に示す。
撮影角度（カメラアングル）が同じであって、写し出されている物がすべて静止している場合、背景映像は、図３（i-11）〜（i-15）に示すように、どの撮影時刻においても同じになる。これに対し、背景映像に動く物体（動体）が映し出された場合、その動体が写し出された画像（図４（i-23））と、他の画像（図４（i-21）、（i-22）、（i-24）、（i-25））とは、その動体がある部分で異なっている。
Examples of background images captured or input by the image input unit 11 are shown in FIGS. 3 (i-11) to (i-15) and FIGS. 4 (i-21) to (i-25).
When the shooting angle (camera angle) is the same and all the objects being projected are stationary, the background image is displayed at any shooting time as shown in FIGS. 3 (i-11) to (i-15). It becomes the same also in. On the other hand, when a moving object (moving object) is projected in the background image, an image (FIG. 4 (i-23)) in which the moving object is projected and another image (FIG. 4 (i-21), (i -22), (i-24), (i-25)) are different in the part where the moving body is.
ここで、動体とは、時間の経過とともに位置や形状、色、テクスチャなどの状態等が変化するもの、言い換えれば、特徴抽出手段２０で抽出される特徴点（後述）が時間の経過とともに変化するものをいう。
すなわち、この動体には、例えば、存在する位置が変わっていくもの、位置はそのままで形状などが変化するもの、存在する位置と形状等の両方が変化するもの、発生が短時間のものなどがある。
存在する位置が変わっていくものには、例えば、ベルトコンベアで運ばれている物、走行中の自動車、投げられたボールなどがある。
位置はそのままで形状などが変化するものには、例えば、風になびくカーテン、羽根が回転しながら首を振る扇風機、まわる回転灯、モニタに映し出された映像などがある。
存在する位置と形状等の両方が変化するものには、例えば、歩いている人、動いている動物、転がる石、落ちている葉、人などによって動かされている物（ランナーが持つ旗、コンベア搬送による製造過程にあるパン）などがある。
発生が短時間のものには、例えば、煙、土埃、打ち上げられた花火などがある。
Here, the moving object is one whose position, shape, color, texture, or the like changes with the passage of time, in other words, a feature point (described later) extracted by the feature extraction unit 20 changes with the passage of time. Say things.
In other words, for example, this moving object may change its position, change its shape without changing its position, change its existing position and shape, etc. is there.
Things that change their position include, for example, things carried on a belt conveyor, a running car, a thrown ball, and the like.
Examples of the shape that changes its position without changing the position include a curtain that flutters in the wind, a fan that swings its head while its blades rotate, a rotating lamp that rotates, and an image projected on a monitor.
Things that change both the position and shape of existing objects include, for example, walking people, moving animals, rolling stones, falling leaves, objects moved by people (runner flags, conveyors, etc. Bread in the manufacturing process by conveyance).
Examples of short-time occurrence include smoke, dust, and fireworks that have been launched.
また、特徴点を色相、明度、彩度によって抽出する場合、動体には、色相、明度、彩度が変化するものが含まれ、テクスチャが変化するものも含まれる。
さらに、動体には、非剛体が含まれる。非剛体とは、剛体でないもの、すなわち、外部又は内部からの力に対して変形するものをいう。この非剛体には、例えば、風になびくカーテン、指で抑えつけられたボールなどが含まれる。
When extracting feature points by hue, lightness, and saturation, moving objects include those that change hue, lightness, and saturation, and those that change texture.
Furthermore, the moving body includes a non-rigid body. A non-rigid body is a non-rigid body, that is, a body that deforms with respect to an external or internal force. Examples of the non-rigid body include a curtain that flutters in the wind and a ball that is held down by a finger.
映像記憶部１２は、背景映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。背景映像を構成する静止画フレームとは、例えば、図３（i-11）〜（i-15）に示す各画像の一枚一枚をいう。
また、映像記憶部１２は、複数のフレーム画像のそれぞれに付された番号（例えば、シリアル番号）を記憶する。この番号は、一枚のフレーム画像を一意に特定する。図３においては、（i-11）、（i-12）、（i-13）、・・・などの番号が該当する。
さらに、映像記憶部１２は、フレーム画像が撮影された時刻、フレーム画像を撮影した装置を特定する情報（フレーム画像が外部入力されたものである場合）などを記憶することもできる。
The video storage unit 12 stores still image frames constituting the background video as digitized frame images. The still image frame constituting the background video refers to each image shown in FIGS. 3 (i-11) to (i-15), for example.
The video storage unit 12 stores a number (for example, a serial number) assigned to each of the plurality of frame images. This number uniquely identifies one frame image. In FIG. 3, numbers such as (i-11), (i-12), (i-13),.
Furthermore, the video storage unit 12 can also store the time at which the frame image was captured, information for specifying the device that captured the frame image (when the frame image is input externally), and the like.
特徴抽出手段２０は、図２に示すように、特徴抽出部２１と、特徴記憶部２２とを有している。
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出す。そして、特徴抽出部２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
特徴抽出部２１は、画像特徴として、例えば、図形的に特徴的な特性を数値化したものを用いることができる。
これには、例えば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されているTommasiniらによる「Making good features track better」に記載されている方法を使用することができる。この方法は、画像中の物体形状に頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。例えば、図３（i-11）のフレーム画像に対して、この方法で特徴点を抽出すると、図５に示すように、特徴点が複数配置される。特徴点の一つ一つは、座標により管理することができる。
なお、特徴点が配置された空間を特徴空間という。この特徴空間は、二次元空間であってもよく、また、三次元空間であってもよい。本実施形態の特徴空間は、二次元空間とする。
As shown in FIG. 2, the feature extraction unit 20 includes a feature extraction unit 21 and a feature storage unit 22.
The feature extraction unit 21 extracts a frame image from the video storage unit 12. Then, the feature extraction unit 21 extracts image features including a characteristic pattern in the extracted frame image.
The feature extraction unit 21 can use, as the image feature, for example, a numerical characteristic of a graphically characteristic characteristic.
For this, for example, the method described in “Making good features track better” by Tommasini et al. Published in the 1998 IEEE Computer Vision Pattern Recognition Conference Proceedings can be used. This method can extract vertices, intersections, end points and the like of object shapes in an image. A series of position coordinate information on the image of these points can be used as a graphic feature. For example, when feature points are extracted by this method for the frame image of FIG. 3 (i-11), a plurality of feature points are arranged as shown in FIG. Each feature point can be managed by coordinates.
A space in which feature points are arranged is called a feature space. This feature space may be a two-dimensional space or a three-dimensional space. The feature space of this embodiment is a two-dimensional space.
また、他の方法としては、例えば、Montanariによる１９７１年Communications of ACM、１４巻に掲載されている「On the option detection of curves in noisy pictures」に記載の方法がある。これは、基準点からの距離、相対角度を記憶するＲテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。
さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。
As another method, for example, there is a method described in “On the option detection of curves in noisy pictures” published in the 1971 Communications of ACM, Volume 14 by Montanari. This can use the contents of the R table storing the distance from the reference point and the relative angle as features. At this time, by setting reference points for all feature positions and extracting features comprehensively, marker detection is robust against partial feature loss.
Further, as another feature extraction method, for example, there is a method characterized by the luminance value or color difference value of each pixel on the image.
次いで、特徴抽出部２１は、図６に示すように、特徴点のそれぞれにシリアル番号を付与する。このシリアル番号は、例えば、最も上に位置するものから順番に１、２、３、４、・・・のように付与することができる。
続いて、特徴抽出部２１は、特徴点のそれぞれの座標を求める。座標は、図６に示すように、特徴空間にＸ軸とＹ軸を設定し、Ｙ軸からの距離をＸ座標、Ｘ軸からの距離をＹ座標とすることができる。
Next, as shown in FIG. 6, the feature extraction unit 21 assigns a serial number to each feature point. This serial number can be given as 1, 2, 3, 4,... In order from the one located at the top.
Subsequently, the feature extraction unit 21 obtains the coordinates of the feature points. As shown in FIG. 6, the X-axis and the Y-axis can be set in the feature space, the distance from the Y-axis can be set as the X-coordinate, and the distance from the X-axis can be set as the Y-coordinate.
そして、特徴抽出部２１は、それら特徴点のシリアル番号や座標を特徴記憶部２２に記憶させる。特徴記憶部２２は、それらシリアル番号等を、図７に示すように、「特徴点情報テーブル」として記憶することができる。
「特徴点情報テーブル」は、同図に示すように、「フレーム画像のシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）と、「特徴点を位置する区画の座標」（オ）と、「特徴点に関する情報」（カ）を項目として構成することができる。
「フレーム画像のシリアル番号」は、特徴点を抽出したフレーム画像に付された番号を示す。
「特徴点に関する情報」は、例えば、特徴として認識された要素（エッジ、交差など）、特徴点が位置する画素の色相、明度、彩度などを含むことができる。
なお、「特徴点を位置する区画の座標」については、後述する。
Then, the feature extraction unit 21 stores the serial numbers and coordinates of these feature points in the feature storage unit 22. The feature storage unit 22 can store the serial number and the like as a “feature point information table” as shown in FIG.
As shown in the figure, the “feature point information table” includes a “frame image serial number” (a), a “feature point serial number” (b), a “feature point x coordinate” (c), “Y-coordinates of feature points” (d), “coordinates of sections where feature points are located” (e), and “information about feature points” (f) can be configured as items.
The “frame image serial number” indicates a number assigned to the frame image from which the feature points are extracted.
The “information about feature points” can include, for example, elements recognized as features (edges, intersections, etc.), hue, brightness, saturation, etc. of pixels where the feature points are located.
The “coordinates of the section where the feature point is located” will be described later.
次いで、特徴抽出部２１は、図８に示すように、特徴空間に格子状のメッシュを付して、複数の区画に分ける。
このとき、特徴抽出部２１は、各区画の座標を算出する。この各区画の座標は、各区画を仕切る線（区画線）の座標で表すことができる。
Next, as shown in FIG. 8, the feature extraction unit 21 attaches a lattice mesh to the feature space and divides it into a plurality of sections.
At this time, the feature extraction unit 21 calculates the coordinates of each section. The coordinates of each section can be expressed by the coordinates of a line (partition line) that partitions each section.
例えば、図９に示すように、仕切り線の座標を、ｘ１，ｘ２，ｘ３，・・・、ｙ１，ｙ２，ｙ３，・・・とする。
また、各区画の名称を、区画（1,1）、区画（1,2）、区画（1,3）、・・・、区画（2,1）、区画（2,2）、区画（2,3）、・・・とする。このうち、区画（1,1）は、座標（0,0）-（x1,0）-（x1,y1）-（0,y1）-（0,0）で囲まれた範囲となる。
ここで、x1は、Ｘ方向の第一本目の区画線のｘ座標である。また、y1は、Ｙ方向の第一本目の区画線のｙ座標である。これにより、区画（1,1）の座標は、図１０に示すように、（x1,y1）として表すことができる。
同様に、区画（2,1）の座標は、（x2,y1）、区画（3,1）の座標は、（x3,y1）、区画（1,2）の座標は、（x1,y2）、区画（2,2）の座標は、（x2,y2）として表すことができる。
これら各区画の名称と座標との関係を、図１０に示す。それら各区画の名称と座標は、区画座標テーブルとして、特徴記憶部２２に記憶させることができる。
For example, as shown in FIG. 9, the coordinates of the partition lines are x1, x2, x3,..., Y1, y2, y3,.
In addition, the name of each section is the section (1,1), section (1,2), section (1,3), ..., section (2,1), section (2,2), section (2 , 3), and so on. Among these, the partition (1,1) is a range surrounded by coordinates (0,0)-(x1,0)-(x1, y1)-(0, y1)-(0,0).
Here, x1 is the x coordinate of the first partition line in the X direction. Y1 is the y coordinate of the first partition line in the Y direction. Thereby, the coordinates of the section (1,1) can be expressed as (x1, y1) as shown in FIG.
Similarly, the coordinates of the partition (2,1) are (x2, y1), the coordinates of the partition (3,1) are (x3, y1), and the coordinates of the partition (1,2) are (x1, y2) The coordinates of the partition (2,2) can be expressed as (x2, y2).
The relationship between the names of these sections and the coordinates is shown in FIG. The names and coordinates of these sections can be stored in the feature storage unit 22 as a section coordinate table.
また、一つの区画の大きさは、任意に設定できる。ただし、一つの区画の大きさは、特徴点が存在しない区画が特徴空間の中で少なくとも２〜３個以上存在するように定めるのが望ましい。 The size of one section can be arbitrarily set. However, the size of one section is preferably determined so that there are at least two or more sections in the feature space where no feature points exist.
続いて、特徴抽出部２１は、各区画ごとに特徴点の数を求める。
この各区画ごとの特徴点の数の算出は、各区画の座標と、各特徴点の座標とを用いて行うことができる。
算出された各区画ごとの特徴点の数は、図１１に示すように、特徴点数分布図として表すことができる。この特徴点数分布図は、特徴記憶部２２に記憶される。
なお、図１１においては、わかりやすいように、特徴点が１つ以上存在した区画にグレーの網掛けを付して表示してある。
Subsequently, the feature extraction unit 21 obtains the number of feature points for each section.
The calculation of the number of feature points for each section can be performed using the coordinates of each section and the coordinates of each feature point.
The calculated number of feature points for each section can be expressed as a feature point number distribution diagram as shown in FIG. This feature point number distribution chart is stored in the feature storage unit 22.
In FIG. 11, for easy understanding, a section where one or more feature points exist is displayed with gray shading.
また、特徴抽出部２１は、特徴点ごとに、当該特徴点と、当該特徴点が位置する区画の座標を関連付ける。例えば、特徴点１が位置する区画の座標は、図８に示すように、（x7,y1）である。そこで、特徴抽出部２１は、図１２に示すように、特徴点情報テーブルの「特徴点が位置する区画の座標」において、特徴点１と、区画の座標（x7,y1）とを関連付け、これを特徴記憶部２２に記憶させる。 Moreover, the feature extraction unit 21 associates the feature point with the coordinates of the section where the feature point is located for each feature point. For example, the coordinates of the section where the feature point 1 is located are (x7, y1) as shown in FIG. Therefore, as shown in FIG. 12, the feature extraction unit 21 associates the feature point 1 with the coordinates (x7, y1) of the section in the “coordinates of the section where the feature point is located” in the feature point information table. Is stored in the feature storage unit 22.
さらに、特徴抽出部２１は、複数のフレーム画像について、各区画ごとの特徴点数を求め、各区画ごとに累計する。
この特徴抽出部２１が行う処理については、図１３を参照して説明する。
図１３に示すように、特徴抽出部２１は、フレーム画像（i-11）から特徴点を抽出すると（同図（ii-11））、この特徴空間にメッシュを掛け、区画毎の特徴点数を算出する（同図（iii-11））。
次いで、特徴抽出部２１は、次のフレーム画像（i-12）から特徴点を抽出すると（同図（ii-12））、この特徴空間にメッシュを掛け、区画毎の特徴点数を算出する（同図（iii-12））。そして、特徴抽出部２１は、フレーム画像（i-11）にもとづく区画毎の特徴点数（同図（iii-11），（iv-11））に、フレーム画像（i-12）にもとづく区画毎の特徴点数（同図（iii-12））を、区画毎に加算する（同図（iv-12））。
Furthermore, the feature extraction unit 21 obtains the number of feature points for each section for a plurality of frame images, and accumulates it for each section.
The processing performed by the feature extraction unit 21 will be described with reference to FIG.
As shown in FIG. 13, when the feature extraction unit 21 extracts feature points from the frame image (i-11) ((ii-11) in FIG. 13), the feature extraction unit 21 applies a mesh to this feature space, and calculates the number of feature points for each section. Calculate (Fig. (Iii-11)).
Next, when the feature extraction unit 21 extracts feature points from the next frame image (i-12) ((ii-12) in the figure), this feature space is multiplied by a mesh to calculate the number of feature points for each section ( (Fig. (Iii-12)). Then, the feature extraction unit 21 calculates the number of feature points for each section based on the frame image (i-11) ((iii-11) and (iv-11) in the figure) for each section based on the frame image (i-12). The number of feature points ((iii-12) in the figure) is added for each section ((iv-12) in the figure).
続いて、特徴抽出部２１は、次のフレーム画像（i-13）から特徴点を抽出すると（同図（ii-13））、この特徴空間にメッシュを掛け、区画毎の特徴点数を算出する（同図（iii-13））。そして、特徴抽出部２１は、フレーム画像（i-12）、（i-11）にもとづく区画毎の特徴点数の累計（同図（iv-12））に、フレーム画像（i-13）にもとづく区画毎の特徴点数（同図（iii-13））を、区画毎に加算する（同図（iv-13））。
このように、特徴抽出部２１は、１枚のフレーム画像にもとづく区画毎の特徴点数を算出すると、一つ前までのフレーム画像にもとづく区画毎の特徴点数の累計に加算していく。これにより、特徴抽出部２１は、映像入力部１１で入力された複数のフレーム画像のすべてについて特徴点を抽出し、区画毎の特徴点数の累計を算出する。
なお、図１３（iv-11）〜（iv-15）に示す特徴点数分布図を、特に「特徴点累計数分布図」という。
Subsequently, when the feature extraction unit 21 extracts feature points from the next frame image (i-13) ((ii-13) in the figure), the feature extraction unit 21 multiplies this feature space with a mesh to calculate the number of feature points for each section. (Fig. (Iii-13)). Then, the feature extraction unit 21 is based on the frame image (i-13) based on the cumulative number of feature points for each section based on the frame images (i-12) and (i-11) ((iv-12) in the figure). The number of feature points for each section (Fig. (Iii-13)) is added for each section (Fig. (Iv-13)).
As described above, when the feature extraction unit 21 calculates the number of feature points for each section based on one frame image, the feature extraction unit 21 adds it to the total number of feature points for each section based on the previous frame image. Thereby, the feature extraction unit 21 extracts feature points for all of the plurality of frame images input by the video input unit 11, and calculates the total number of feature points for each section.
The feature point distribution charts shown in FIGS. 13 (iv-11) to (iv-15) are particularly referred to as “feature point cumulative number distribution charts”.
ここまでの説明では、図１３を用いて、動体が映し出されていないフレーム画像について述べた。
しかしながら、フレーム画像には、図４（i-23）に示すように、動体が映し出されることがある。この場合、特徴抽出部２１は、図１４に示すように、その動体の存在にもとづいて特徴点を抽出する（同図（i-23）、（ii-23））。次いで、特徴抽出部２１は、区画毎の特徴点数を算出する際、動体にもとづく特徴点についても算出し（同図（iii-23））、一つ前までのフレーム画像にもとづく区画毎の特徴点数の累計に加算する（同図（iv-23））。
なお、その後に撮影されたフレーム画像において動体が映し出されていない場合でも、特徴点累計数分布図には、動体にもとづく特徴点の存在によりカウントされた特徴点数がそのまま累計数として記憶される（同図（iv-24）、（iv-25））。
In the description so far, the frame image in which the moving object is not projected has been described with reference to FIG.
However, as shown in FIG. 4 (i-23), a moving object may appear in the frame image. In this case, the feature extraction unit 21 extracts feature points based on the presence of the moving object as shown in FIG. 14 ((i-23) and (ii-23) in the figure). Next, when calculating the number of feature points for each section, the feature extraction unit 21 also calculates feature points based on the moving object ((iii-23) in the figure), and features for each section based on the previous frame image. It is added to the total score (Fig. (Iv-23)).
Even if the moving object is not projected in the frame image taken after that, the number of feature points counted due to the presence of the feature point based on the moving object is directly stored as the cumulative number in the feature point cumulative number distribution diagram ( (Fig. (Iv-24), (iv-25)).
特徴記憶部２２は、所定のメモリ領域を保持している。この特徴記憶部２２は、特徴抽出部２１で実行された処理に関する各種データを記憶する。特に、特徴記憶部２２は、「特徴点情報テーブル」、「フレーム画像−特徴空間対応テーブル」、「区画座標テーブル」、「特徴点数分布図」、「特徴点累計数分布図」を記憶することができる。
なお、特徴抽出手段２０は、特徴点を抽出して所定の空間（特徴空間）に配置することから、「配置手段」としての機能を有している。
The feature storage unit 22 holds a predetermined memory area. The feature storage unit 22 stores various data related to the processing executed by the feature extraction unit 21. In particular, the feature storage unit 22 stores a “feature point information table”, “frame image-feature space correspondence table”, “partition coordinate table”, “feature point number distribution diagram”, and “feature point cumulative number distribution diagram”. Can do.
Note that the feature extraction means 20 has a function as “placement means” because it extracts feature points and places them in a predetermined space (feature space).
動体検出手段３０ａは、所定のタイミングで、特徴記憶部２２から各区画ごとの特徴点の累計数（特徴点累計数分布図）を取り出す。次いで、動体検出手段３０ａは、各区画ごとの各特徴点の累計数の中から、１以上所定数以下の範囲に含まれるものがあるか否かを判断する。
判断の結果、各特徴点の累計数の中に１以上所定数以下の範囲に含まれるものがあった場合、動体検出手段３０ａは、その累計数を「０」にし、これを特徴記憶部２２に記憶させる。
The moving object detection unit 30a takes out the cumulative number of feature points (feature point cumulative number distribution map) for each section from the feature storage unit 22 at a predetermined timing. Next, the moving object detection unit 30a determines whether there is one included in the range of 1 or more and a predetermined number or less from the cumulative number of feature points for each section.
As a result of the determination, if there is a cumulative number of each feature point that is included in the range of 1 to a predetermined number, the moving object detection means 30a sets the cumulative number to “0”, and this is stored in the feature storage unit 22. Remember me.
具体的には、例えば、動体検出手段３０ａは、各区画ごとの特徴点の累計数として、図１４（iv-25）に示す累計数を特徴記憶部２２から取り出す（図１５（iv-25））。
次いで、動体検出手段３０ａは、図１５（iv-25）に示す特徴点累計数分布図において、各区画ごとの各特徴点の累計数の中から、１以上所定数以下（ここでは、１以上４以下）のものを選択する。同図においては、区画座標（7,6）、（7,7）、（8,6）、（8,7）の区画に示された各累計数が該当する。
続いて、動体検出手段３０ａは、その特徴点の累計数を「０」にする処理を行い（図１５（v-25））、処理結果である「０」を含む各区画ごとの各特徴点の累計数を特徴記憶部２２に記憶させる。
Specifically, for example, the moving object detection unit 30a extracts the cumulative number shown in FIG. 14 (iv-25) from the feature storage unit 22 as the cumulative number of feature points for each section (FIG. 15 (iv-25)). ).
Next, the moving object detecting means 30a has one or more and a predetermined number or less (here, one or more) out of the total number of feature points for each section in the feature point cumulative number distribution chart shown in FIG. 15 (iv-25). 4 or less). In the figure, the cumulative numbers shown in the sections of the section coordinates (7,6), (7,7), (8,6), and (8,7) correspond.
Subsequently, the moving object detection unit 30a performs processing for setting the cumulative number of feature points to “0” (FIG. 15 (v-25)), and each feature point for each section including “0” as the processing result. Are stored in the feature storage unit 22.
なお、動体検出手段３０ａは、特徴点累計数分布図における各区画ごとの各特徴点の累計数の中から、１以上所定数以下の範囲に含まれるものがあると、その累計数が動体にもとづく特徴点数を累計したものであると擬制して、その累計数を「０」にする処理を行うものである。これにより、動体検出手段３０ａは、フレーム画像に映し出された物体の中から動体を検出することができる。
この動体検出手段３０ａで検出された動体は、複数のフレーム画像への出現頻度が低い物又は物の状態であることから、「低出現物体」に相当する。
Note that the moving object detection unit 30a has a moving object that is included in a range of one or more and a predetermined number or less from the total number of feature points for each section in the feature point cumulative number distribution chart. It is assumed that the number of feature points based on the total is accumulated, and processing for setting the cumulative number to “0” is performed. Thereby, the moving body detection means 30a can detect a moving body from the objects projected on the frame image.
The moving object detected by the moving object detection means 30a is an object or a state of an object that appears at a low frequency in a plurality of frame images, and thus corresponds to a “low appearance object”.
特異特徴選択手段４０は、図２に示すように、特異特徴選択部４１と、特異特徴記憶部４２とを有している。
特異特徴選択部４１は、特徴記憶部２２から、各区画ごとの特徴点の累計数を取り出す。この取り出された各区画ごとの特徴点の累計数は、動体検出手段３０ａが動体にもとづく特徴点数を「０」にする処理を行った後の累計数である。具体的には、図１５（v-25）の特徴点累計数分布図に示す累計数が相当する。
続いて、特異特徴選択部４１は、取り出した特徴点の累計数のうち、０又は所定値以下のものを特異特徴として選択する。具体的には、図１５（v-25）の特徴点累計数分布図においては、「０」が記載された区画が選択される。これにより、特異特徴選択部４１は、映像入力手段１０で入力された背景映像に現れていない画像特徴を特異特徴として選択することができる。
As illustrated in FIG. 2, the unique feature selection unit 40 includes a unique feature selection unit 41 and a unique feature storage unit 42.
The unique feature selection unit 41 extracts the cumulative number of feature points for each section from the feature storage unit 22. The total number of feature points for each section thus taken out is the total number after the moving object detection unit 30a performs the process of setting the number of feature points based on the moving object to “0”. Specifically, the cumulative number shown in the feature point cumulative number distribution chart of FIG.
Subsequently, the unique feature selection unit 41 selects 0 or a predetermined value or less as the unique feature among the total number of extracted feature points. Specifically, in the feature point cumulative number distribution chart of FIG. 15 (v-25), a section in which “0” is described is selected. Thus, the unique feature selection unit 41 can select an image feature that does not appear in the background video input by the video input unit 10 as a unique feature.
このように、特異特徴選択部４１は、背景パターンと一致しない特徴、すなわち背景映像から抽出した特徴群が現れていない特徴空間の部位を特異特徴として選択することができる。事後に、意に反して特徴点の抽出誤差などにより、特異特徴が背景パターンと類似してしまうことを避けるために、特徴空間内で背景パターンの特徴が存在しないより大きな領域から特異特徴を選択するようにしてもよい。 As described above, the unique feature selection unit 41 can select a feature that does not match the background pattern, that is, a part of the feature space where the feature group extracted from the background video does not appear as the unique feature. After the fact, in order to avoid that the singular feature resembles the background pattern due to feature point extraction error, etc., the singular feature is selected from a larger area in the feature space where the feature of the background pattern does not exist You may make it do.
この特異特徴の選択処理は、特徴空間中の特徴点の分布から大きな空白を見つける問題と同一視できるから、例えば、２００３年文書解析認識国際会議予稿集に掲載されている「An algorithm for Finding Maximal Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis」などのアルゴリズムを使用して、大きな空白領域を抽出しても良いし、得られた特徴点を含まない矩形領域の中心を特異特徴としても良い。 This singular feature selection process can be identified with the problem of finding a large blank from the distribution of feature points in the feature space. For example, “An algorithm for Finding Maximal” published in the 2003 Proceedings of International Conference on Document Analysis and Recognition An algorithm such as “Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis” may be used to extract a large blank area, or the center of a rectangular area that does not include the obtained feature points may be used as a unique feature.
その他の方法としては、特徴空間を特定の大きさのメッシュで量子化し、１次元もしくは多次元のヒストグラムを生成し、特徴点の発生頻度が０となるメッシュの中心を特異特徴とするなどしても良い。頻度が０となるメッシュが存在しない場合、メッシュの大きさを小さくして、ヒストグラムをとり、頻度が０となるメッシュが現れた場合、このときのメッシュから特異特徴を選択するようにしても良い。頻度が０となるメッシュが見つからない場合は、ヒストグラムを既定値で閾値処理し、既定値以下のメッシュから特異特徴を選択しても良い。 As another method, the feature space is quantized with a mesh of a specific size, a one-dimensional or multi-dimensional histogram is generated, and the center of the mesh where the occurrence frequency of feature points is 0 is set as a unique feature. Also good. If there is no mesh with a frequency of 0, the size of the mesh is reduced and a histogram is taken. If a mesh with a frequency of 0 appears, a unique feature may be selected from the mesh at this time. . If a mesh with a frequency of 0 is not found, the histogram may be thresholded with a default value, and singular features may be selected from meshes with a default value or less.
特異特徴選択部４１が選択した特異特徴の例を、図１６、図１７に示す。図１６に示す特異特徴配置図においては、特異特徴とされた区画を白色で表し、特異特徴とされなかった区画をグレーの網掛けで表している。図１７は、図１６に示す特異特徴配置図にもとづき、特異特徴の中心と特異特徴配置図の中心点とを黒丸「●」で表した図である。
なお、図１５（v-25）においては、特異特徴（特徴点数の累計数が０の区画）が８２個存在するが、マーカパターンの生成処理の説明を容易にするため、特異特徴は、図１６、図１７に示すように選択されたものとする。
Examples of unique features selected by the unique feature selection unit 41 are shown in FIGS. In the specific feature arrangement diagram shown in FIG. 16, the sections designated as unique features are represented in white, and the sections not designated as unique features are represented by gray shading. FIG. 17 is a diagram in which the center of the unique feature and the center point of the unique feature layout diagram are represented by black circles “●” based on the unique feature layout diagram shown in FIG.
In FIG. 15 (v-25), there are 82 unique features (sections where the cumulative number of feature points is 0). 16 and selected as shown in FIG.
特異特徴選択部４１は、選択した特異特徴の座標を求める。例えば、特異特徴選択部４１は、図１６に示す特異特徴配置図において、特異特徴の座標を（2,6）、（5,2）、（5,4）、（5,5）、（7,6）とする。
特異特徴記憶部４２は、特異特徴の座標を記憶する。
The unique feature selection unit 41 obtains the coordinates of the selected unique feature. For example, the unique feature selection unit 41 sets the coordinates of the unique features to (2,6), (5,2), (5,4), (5,5), (7 , 6).
The unique feature storage unit 42 stores the coordinates of the unique features.
マーカパターン生成手段５０は、図２に示すように、マーカパターン生成部５１と、マーカ記憶部５２とを有している。
マーカパターン生成部５１は、特異特徴記憶部４２から特異特徴の座標を取り出し、この特異特徴の座標にもとづいてマーカパターンを生成する。
The marker pattern generation unit 50 includes a marker pattern generation unit 51 and a marker storage unit 52 as shown in FIG.
The marker pattern generation unit 51 takes out the coordinates of the unique features from the unique feature storage unit 42 and generates a marker pattern based on the coordinates of the unique features.
マーカパターンの生成方法には、種々の方法がある。
例えば、画像中の頂点、交差点、端点を特徴点として使用する場合を例に説明する。
前述した「On the option detection of curves in noisy pictures」に記載の方法などにもとづく場合、マーカパターンの生成に必要になる、特徴点群の検出は、特徴抽出手段２０で使用している特徴点検出アルゴリズムに依存する。
There are various marker pattern generation methods.
For example, a case where vertices, intersections, and end points in an image are used as feature points will be described as an example.
When the method described in “On the option detection of curves in noisy pictures” is used, the feature point group detection required for generating the marker pattern is performed by the feature extraction unit 20. Depends on the algorithm.
例えば、下記のようなマーカパターンの生成方法が例として挙げられる。
(1)特異特徴位置に交差点を配置したパターン（図１８（１））
(2)特異特徴の凸包を求め、内部を特定の色で塗り潰す。さらに、凸包に使用されなかった特異特徴を用いて再度凸包を求め、内部を別の色で塗り潰す。このような処理を、すべての特徴が使用されるまで反復して生成されるパターン（図１８（２））
(3)特異特徴位置を頂点にもつ、水平垂直の辺を有する、塗り潰した矩形の集合からなるパターン（図１８（３））
(4)特異特徴点の最近傍点間を線分で結んだパターン（図１８（４））
For example, the following marker pattern generation method is given as an example.
(1) Pattern in which intersections are placed at unique feature positions (Fig. 18 (1))
(2) Find the convex hull with unique features and fill the inside with a specific color. Further, the convex hull is obtained again using a unique feature that has not been used for the convex hull, and the interior is filled with another color. A pattern generated by repeating such processing until all the features are used (FIG. 18 (2))
(3) A pattern consisting of a set of filled rectangles with vertices at singular feature positions and horizontal and vertical sides ((3) in FIG. 18)
(4) Patterns connecting the nearest points of singular feature points with line segments (Fig. 18 (4))
なお、特徴抽出手段２０が明度値又は色差値を使用して特徴を抽出した場合、マーカを物体に付する装置は、特異特徴に対応する明度値、色差値に対応する塗料でマーカを印刷してもよい。
また、頂点、交差点、端点を図形的な特徴として利用する方法と、明度値や色差値を特徴として利用する方法とを併用することも可能である。この場合、マーカパターン生成部５１は、選定された特異特徴に対応する明度、色、形状に対応するマーカを生成すればよい。
When the feature extraction unit 20 extracts a feature using a brightness value or a color difference value, the device for attaching the marker to the object prints the marker with a paint corresponding to the brightness value and the color difference value corresponding to the unique feature. May be.
It is also possible to use a method of using vertices, intersections and end points as graphic features and a method of using lightness values and color difference values as features. In this case, the marker pattern generation unit 51 may generate a marker corresponding to the brightness, color, and shape corresponding to the selected unique feature.
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカに関するデータを記憶する。
例えば、マーカパターンが図１８（１）に示すような場合は、特異特徴の座標が記憶される。また、図１８（２）に示すような場合は、特異特徴の座標の他に、凸包を構成する線分の座標が記憶される。
The marker storage unit 52 stores data related to the marker generated by the marker pattern generation unit 51.
For example, when the marker pattern is as shown in FIG. 18A, the coordinates of the unique features are stored. In the case shown in FIG. 18 (2), the coordinates of the line segments constituting the convex hull are stored in addition to the coordinates of the unique features.
本実施形態のマーカ生成装置１ａは、以上のような構成を有しているが、主な特徴は、動体検出手段３０ａが、特徴点累計数分布図において、各区画ごとの各特徴点の累計数のうち１以上所定数以下の範囲に含まれるものを「０」にするところにある。
この「０」にする処理が実行されるにより、特徴点累計数分布図は、動体にもとづく特徴点が抽出されなかったときと同じ状態になる。
The marker generation device 1a of the present embodiment has the above-described configuration, but the main feature is that the moving object detection unit 30a accumulates the feature points for each section in the feature point cumulative number distribution diagram. The number included in the range from 1 to the predetermined number is set to “0”.
By executing the process of “0”, the feature point cumulative number distribution chart is in the same state as when the feature points based on the moving object are not extracted.
これは、次の理由による。
図１５（iv-25）に示す特徴点累計数分布図において、グレーの網掛けが付された区画は、フレーム画像から特徴点が抽出された区画である。
ここで、映像入力部１１のカメラアングルが常に一定であって、そのカメラアングルに収まる物体がすべて静止物体である場合（動体が存在しない場合）、映像入力部１１が撮影した複数枚のフレーム画像のすべてに、それら静止物体が映し出される。そして、各フレーム画像から抽出される特徴点の位置は、どのフレーム画像についても同じになる。これにより、特徴点累計数分布図において、静止物体にもとづく特徴点数の累計数は、同じ区画において、フレーム画像の数に比例して増加する。
This is due to the following reason.
In the feature point cumulative number distribution chart shown in FIG. 15 (iv-25), the shaded areas are the areas where feature points are extracted from the frame image.
Here, when the camera angle of the video input unit 11 is always constant and all objects that fall within the camera angle are stationary objects (when there is no moving object), a plurality of frame images taken by the video input unit 11 These still objects are projected on all of them. The position of the feature point extracted from each frame image is the same for every frame image. Thus, in the feature point cumulative number distribution diagram, the cumulative number of feature points based on the stationary object increases in proportion to the number of frame images in the same section.
これに対して、動体、特に、時間の経過とともに位置が移動するものは、一つの区画内に常時位置することがなく、時間の経過とともに他の区画へ移動し、いずれフレームの外に出てしまうことが多い。また、発生時間が短い動体は、一時的に発生し、その後は、消滅してしまう。このため、それらの動きを見せる動体は、複数枚のフレーム画像の一部にしか映し出されない。このことから、特徴点累計数分布図において、動体にもとづく特徴点数は、フレーム画像の数に比例して増加することはない。 In contrast, moving objects, especially those that move in position over time, are not always located in one section, move to other sections over time, and eventually go out of the frame. It often ends up. In addition, a moving object having a short generation time is temporarily generated and then disappears. For this reason, the moving object which shows those movements is projected only on some frame images. Therefore, in the feature point cumulative number distribution diagram, the feature point number based on the moving object does not increase in proportion to the number of frame images.
このように、静止物体にもとづく特徴点の数は、フレーム画像の数に応じて増加するのに対し、動体にもとづく特徴点の数は、フレーム画像の数に応じて増加することはない。このことから、各区画ごとの特徴点数の累計数の中から、フレーム画像の数よりも少ないもの（例えば、フレーム画像の数が５の場合、４以下の累計数のもの）を「０」にする処理を行うことにより、この特徴点数の累計数を動体にもとづく特徴点の累計数として特徴点累計数分布図から消去することができる。 As described above, the number of feature points based on a stationary object increases according to the number of frame images, whereas the number of feature points based on a moving object does not increase according to the number of frame images. From this, among the cumulative number of feature points for each section, the number smaller than the number of frame images (for example, when the number of frame images is 5, the cumulative number of 4 or less) is set to “0”. By performing the process, the cumulative number of feature points can be deleted from the cumulative feature point distribution chart as the cumulative number of feature points based on the moving object.
ところで、動体は、発生位置又は形状が常に変化する。このため、マーカ生成時に検出された動体が、マーカ検出時に同じ位置又は形状で検出される可能性は、非常に低い。よって、マーカ生成時に検出された動体がそもそも存在しなかったものと擬制しても、マーカ検出時に問題になることはほとんどない。
また、上述した「０」にする処理を仮に行わなかった場合、動体にもとづく特徴点数がカウントされた区画は、特異特徴として選択されない。つまり、この分、特異特徴の数が減ることになる。
特異特徴は、多い方が、マーカの頑健性が高まる。ところが、動体が検出されたために特異特徴の数が減ると、マーカの頑健性が低下する。
そこで、動体が検出された場合には、「０」にする処理を行って、動体がそもそも存在しなかったものと擬制する。これにより、特異特徴の数を増やして、マーカの頑健性を高めることができる。
By the way, as for a moving body, the generation | occurrence | production position or shape always changes. For this reason, the possibility that the moving object detected at the time of marker generation is detected at the same position or shape at the time of marker detection is very low. Therefore, even if it is assumed that the moving object detected at the time of marker generation does not exist in the first place, there is almost no problem at the time of marker detection.
Further, if the above-described process of setting “0” is not performed, the section in which the number of feature points based on the moving object is counted is not selected as a unique feature. That is, the number of singular features is reduced accordingly.
The more unique features, the more robust the marker. However, if the number of singular features decreases because a moving object is detected, the robustness of the marker decreases.
Therefore, when a moving object is detected, a process of setting “0” is performed to pretend that the moving object did not exist in the first place. Thereby, the robustness of a marker can be improved by increasing the number of unique features.
なお、静止物体と動体との配置によっては、同じ区画の中に、それら静止物体にもとづく特徴点と動体にもとづく特徴点が混在することがある。この場合、その区画の特徴点の累計数は、「０」にする必要はない。これは、その区画には、静止物体にもとづく特徴点が存在しているため、特異特徴として選択されるべきでないからである。 Depending on the arrangement of the stationary object and the moving object, feature points based on the stationary object and feature points based on the moving object may be mixed in the same section. In this case, the cumulative number of feature points in the section need not be “0”. This is because a feature point based on a stationary object exists in the section and should not be selected as a singular feature.
また、動体が一時的な出現ではなく、同じ箇所を何度も行き来するようなものである場合、この動体にもとづく特徴点の数を「０」にする必要はない。これは、その動体が背景映像の撮影範囲内に継続して存在する以上、その動体から形成されるパターンが、マーカの検出段階でも発生することが考えられ、このようなパターンがマーカであると誤って判断されるのを避ける必要があるからである。なお、動体が同じ箇所を何度も行き来するような場合は、特徴点数分布図においては、同じ区画で特徴点が定期的に増加していく。このため、動体検出手段３０ａは、動体から抽出された特徴点を「０」にする処理は行わない。 In addition, when the moving object does not appear temporarily, but moves around the same part many times, it is not necessary to set the number of feature points based on this moving object to “0”. As long as the moving object is continuously present in the shooting range of the background video, the pattern formed from the moving object may occur even at the marker detection stage. If such a pattern is a marker, This is because it is necessary to avoid misjudgment. In addition, when a moving body goes back and forth between the same places many times, feature points regularly increase in the same section in the feature point distribution diagram. For this reason, the moving object detection means 30a does not perform the process of setting the feature point extracted from the moving object to “0”.
さらに、動体が、例えば風になびくカーテンのように、背景映像の撮影範囲内に継続して存在するものの、常に形状を変化させるようなものの場合、この動体から抽出した特徴点は、その発生頻度の低いものを「０」にすることができる。
これは、発生頻度の低い特徴点は、マーカ検出段階においても発生する頻度が低く、これにもとづくパターンも発生しにくいことから、マーカとの誤認が生じにくいからである。このように、背景映像に偶発的に発生したマーカパターンについては、マーカの頑健性向上の観点から、発生しなかったものとしてマーカを生成するのが、本実施形態の目的の一つでもある。
Furthermore, if the moving object is continuously present in the shooting range of the background image, such as a curtain that flutters in the wind, but the shape always changes, the feature point extracted from this moving object is its frequency of occurrence. Can be set to “0”.
This is because a feature point having a low occurrence frequency is less likely to occur even at the marker detection stage, and a pattern based on the feature point is less likely to occur, so that a misidentification with a marker is less likely to occur. Thus, it is also one of the objects of the present embodiment that a marker pattern generated accidentally in the background video is generated as a non-occurrence marker from the viewpoint of improving the robustness of the marker.
次に、マーカ生成装置の動作手順（マーカ生成方法）について、図１９を参照して説明する。
図１９は、マーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ａにおいて、映像入力手段１０の映像入力部１１は、背景映像を入力する（ステップ１０）。この背景映像は、複数枚のフレーム画像で構成される。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
Next, the operation procedure (marker generation method) of the marker generation device will be described with reference to FIG.
FIG. 19 is a flowchart illustrating a processing procedure of the marker generation method.
In the marker generation device 1a, the video input unit 11 of the video input means 10 inputs a background video (step 10). This background video is composed of a plurality of frame images. The video storage unit 12 of the video input unit 10 stores the background video input by the video input unit 11 as a frame image.
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出し、これら特徴点を特徴空間に配置する（ステップ１１）。
また、特徴抽出部２１は、特徴空間における特徴点の座標を算出する（ステップ１２）。この算出した座標は、特徴記憶部２２に記憶される。
The feature extraction unit 21 of the feature extraction unit 20 extracts a frame image from the video storage unit 12, extracts feature points from the frame image, and places these feature points in the feature space (step 11).
Further, the feature extraction unit 21 calculates the coordinates of the feature points in the feature space (step 12). The calculated coordinates are stored in the feature storage unit 22.
次いで、特徴抽出部２１は、特徴空間に格子状のメッシュを付して、複数の区画に分ける（ステップ１３）。
続いて、特徴抽出部２１は、各区画ごとに特徴点の数を求める（ステップ１４）。
さらに、特徴抽出部２１は、複数のフレーム画像のそれぞれについて、特徴点の抽出、特徴空間への配置、区画ごとの特徴点数の算出を行い、これら算出した特徴点数を各区画ごとに累計する（ステップ１５）。
特徴記憶部２２は、それら区画及び区画線の座標、各区画毎の特徴点の数、各区画毎の特徴点の累計数を記憶する。
Next, the feature extraction unit 21 adds a lattice-like mesh to the feature space and divides it into a plurality of sections (step 13).
Subsequently, the feature extraction unit 21 obtains the number of feature points for each section (step 14).
Furthermore, the feature extraction unit 21 extracts feature points for each of the plurality of frame images, places them in the feature space, calculates the number of feature points for each section, and accumulates the calculated number of feature points for each section ( Step 15).
The feature storage unit 22 stores the coordinates of the partitions and the partition lines, the number of feature points for each partition, and the cumulative number of feature points for each partition.
動体検出手段３０ａは、所定のタイミングで、特徴記憶部２２から、各区画ごとの特徴点の累計数を取り出す。次いで、動体検出手段３０ａは、それら各区画ごとの特徴点の累計数の中から、１以上所定数以下の範囲に含まれているものがあるか否かを判断する（ステップ１６）。
判断の結果、１以上所定数以下の範囲に含まれている累計数を見つけたときは、動体検出手段３０ａは、その累計数を「０」にして特徴記憶部２２に記憶させる（ステップ１７）。
一方、１以上所定数以下の範囲に含まれている累計数が見つからなかったときは、動体検出手段３０ａは、累計数を「０」にする処理を行わない。
The moving body detection unit 30a takes out the cumulative number of feature points for each section from the feature storage unit 22 at a predetermined timing. Next, the moving object detection unit 30a determines whether or not there is one included in the range of 1 or more and a predetermined number or less from the cumulative number of feature points for each section (step 16).
As a result of the determination, when the cumulative number included in the range from 1 to the predetermined number is found, the moving object detection unit 30a sets the cumulative number to “0” and stores it in the feature storage unit 22 (step 17). .
On the other hand, when the cumulative number included in the range of 1 to the predetermined number is not found, the moving object detection unit 30a does not perform the process of setting the cumulative number to “0”.
続いて、特異特徴選択手段４０の特異特徴選択部４１は、特徴記憶部２２から各区画ごとの特徴点の累計数を取り出す。このとき、特異特徴選択部４１は、動体検出手段３０ａで「０」にする処理が行われた後の各区画ごとの特徴点の累計を取り出す。
そして、特異特徴選択部４１は、各区画ごとの特徴点の累計の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ１８）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
Subsequently, the unique feature selection unit 41 of the unique feature selection unit 40 extracts the cumulative number of feature points for each section from the feature storage unit 22. At this time, the singular feature selection unit 41 takes out the total number of feature points for each section after the moving object detection unit 30a performs the process of “0”.
Then, the unique feature selection unit 41 selects 0 or a predetermined number or less from the total of feature points for each section, and designates this as a unique feature (step 18).
The singular feature storage unit 42 stores the coordinates of the sections determined as the singular features by the unique feature selection unit 41.
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ１９）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
The marker pattern generation unit 51 of the marker pattern generation unit 50 takes out the coordinates of the unique features from the unique feature storage unit 42. Then, the marker pattern generation unit 51 generates a marker pattern based on the coordinates of the unique feature (step 19).
The marker storage unit 52 stores data related to the marker pattern generated by the marker pattern generation unit 51.
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力手段が背景映像として複数枚のフレーム画像を入力し、各フレーム画像から特徴点を抽出し、これらの特徴点を特徴空間に表し、この特徴空間における特徴点が所定数以下の部分を特異特徴として選択し、この特異特徴を用いてマーカパターンを生成することとしたので、アクティブカメラなどのように複数枚のフレーム画像を撮影するカメラを映像入力手段として用いた場合でも、それら複数のフレーム画像を用いてマーカパターンが生成されることから、それら複数のフレーム画像のいずれの背景パターンにも現れていないパターンによって、頑健性の高いマーカパターンを生成できる。 As described above, according to the marker generation device and the marker generation method of the present embodiment, the video input unit inputs a plurality of frame images as a background video, extracts feature points from each frame image, and these features. Since a point is represented in a feature space, a part with a predetermined number or less of feature points in this feature space is selected as a unique feature, and a marker pattern is generated using this unique feature. Even when a camera that captures a frame image is used as a video input means, a marker pattern is generated using the plurality of frame images, and therefore a pattern that does not appear in any background pattern of the plurality of frame images Thus, a highly robust marker pattern can be generated.
また、背景映像を長時間撮影して複数のフレーム画像を入力し、各フレーム画像から抽出した特徴点を区画ごとに累計し、各区画のうち特徴点の数が所定数以下のものについては、動体の変形、経時変化、複数物体の干渉などにより偶然に出現した低出現物体にもとづく特徴点であるとして選択し、この低出現物体にもとづく特徴点を排除してマーカパターンを生成するようにしたので、動体にもとづく特徴点の増加を抑えてマーカパターンの頑健性の低下を抑制しつつ、最適なマーカパターンを安定的に生成することができる。
さらに、映像入力手段が入力した背景映像が、変化の大きい複雑シーンの場合でも、その背景映像に現れた数多くの動体を排除したかたちでマーカパターンが生成されるため、マーカパターンの頑健性の低下を抑制しつつ、最適なマーカパターンを安定して生成できる。
In addition, the background video is taken for a long time, a plurality of frame images are input, and the feature points extracted from each frame image are accumulated for each section. Selected as a feature point based on a low-appearance object that appeared by chance due to deformation of a moving object, changes over time, interference of multiple objects, etc., and generated a marker pattern excluding the feature points based on this low-appearance object Therefore, an optimal marker pattern can be stably generated while suppressing an increase in feature points based on moving objects and suppressing a decrease in the robustness of the marker pattern.
Furthermore, even if the background video input by the video input means is a complex scene with a large change, the marker pattern is generated in the form of eliminating many moving objects that appeared in the background video, so the marker pattern's robustness is reduced. It is possible to stably generate an optimal marker pattern while suppressing.
しかも、本実施形態のマーカ生成装置及びマーカ生成方法は、特徴点数分布図において、動体（低出現物体）にもとづく特徴点のみが現れた区画の特徴点の数を「０」にすることにより、その区画が特異特徴として選択されるため、特異特徴を増やすことができ、マーカの頑健性を高めることができる。 Moreover, the marker generation device and the marker generation method of the present embodiment set the number of feature points of a section in which only feature points based on moving objects (low appearance objects) appear in the feature point number distribution diagram to “0”. Since the section is selected as the unique feature, the unique feature can be increased, and the robustness of the marker can be increased.
なお、マーカの頑健性とは、環境に左右されないマーカ検出の確実さをいう。
例えば、マーカ検出時において、そのマーカの一部が何らかの理由で遮られた場合を想定する。ここで、マーカから抽出される特徴点が３個のとき、うち２個が遮られると、このマーカの検出は、残り１個で判断することになる。一方、その特徴点が１０個のとき、うち２個が遮られても、他の８個で判断できる。このように、特徴点の数が異なるマーカが同様の環境下に置かれた場合、特徴点が多い方が、判断要素が多くなるので、マーカを確実に検出できる。このことから、特徴点の数が多いマーカは、少ないマーカに比べて頑健性が高いと言える。
本実施形態のマーカ生成装置は、動体（低出現物体）から抽出した特徴点が無いものとして、特異特徴を選択するため、特異特徴の数が増加する。このため、マーカの頑健性を高めることができる。
Note that the robustness of the marker means the certainty of marker detection that is not influenced by the environment.
For example, assume that a part of the marker is blocked for some reason when the marker is detected. Here, when there are three feature points extracted from the marker, if two of them are blocked, the detection of this marker is determined by the remaining one. On the other hand, when the number of feature points is 10, even if 2 of them are blocked, it can be determined by the other 8 points. In this way, when markers having different numbers of feature points are placed in the same environment, the number of determination points increases as the number of feature points increases, so that the markers can be reliably detected. From this, it can be said that a marker having a large number of feature points is more robust than a marker having a small number of feature points.
Since the marker generation device according to the present embodiment selects a unique feature on the assumption that there is no feature point extracted from a moving object (low appearance object), the number of unique features increases. For this reason, the robustness of a marker can be improved.
［マーカ生成装置及びマーカ生成方法の第二実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第二の実施形態について、図２０を参照して説明する。
図２０は、本実施形態のマーカ生成装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、動体の検出処理が相違する。すなわち、第一実施形態では、特徴点が動体から抽出したものか否かを判断していたのに対し、本実施形態では、背景映像において動体が映し出されているか否かを判断する。他の構成要素は第一実施形態と同様である。
したがって、図２０において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
[Second Embodiment of Marker Generation Device and Marker Generation Method]
Next, a second embodiment of the marker generation device and marker generation method of the present invention will be described with reference to FIG.
FIG. 20 is a block diagram showing the configuration of the marker generation device of this embodiment.
This embodiment is different from the first embodiment in moving object detection processing. That is, in the first embodiment, it is determined whether or not the feature point is extracted from the moving object, whereas in this embodiment, it is determined whether or not the moving object is displayed in the background video. Other components are the same as those in the first embodiment.
Therefore, in FIG. 20, the same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
図２０に示すように、マーカ生成装置１ｂは、映像入力手段１０と、特徴抽出手段２０と、動体検出手段３０ｂと、特異特徴選択手段４０と、マーカパターン生成手段５０とを備えている。
ここで、動体検出手段３０ｂは、映像入力手段１０の映像記憶部１２からフレーム画像を取り出し、動体が映し出されているか否かを判断する。
動体が映し出されているか否かの判断は、次のように行うことができる。
例えば、動体検出手段３０ｂは、映像記憶部１２から図３（i-11）〜（i-15）の五枚のフレーム画像を取り出したとする。
次いで、動体検出手段３０ｂは、それら図３（i-11）〜（i-15）について、各画素の色相を検出し、これらを比較する。
As shown in FIG. 20, the marker generation device 1 b includes a video input unit 10, a feature extraction unit 20, a moving object detection unit 30 b, a unique feature selection unit 40, and a marker pattern generation unit 50.
Here, the moving object detection unit 30b extracts the frame image from the video storage unit 12 of the video input unit 10, and determines whether or not the moving object is projected.
The determination as to whether or not a moving object is projected can be made as follows.
For example, it is assumed that the moving object detection unit 30b extracts the five frame images shown in FIGS. 3 (i-11) to (i-15) from the video storage unit 12.
Next, the moving body detection means 30b detects the hue of each pixel and compares them with respect to FIGS. 3 (i-11) to (i-15).
比較の結果、図３（i-11）〜（i-15）における同じ位置の画素において、出現頻度の低い色相がある場合には、その画素が位置する座標に動体が存在すると判断することができる。
具体的には、例えば、図３（i-11）〜（i-15）は、映し出されている物体がいずれも静止物体であるため、同じ位置の画素における色相に差異がないことから、動体が存在しないものと判断される。
これに対し、図４（i-21）〜（i-25）を映像記憶部１２から取り出して比較すると、同図（i-23）のフレーム画像における動体が存在する箇所で、この箇所に位置する画素の色相が他のフレーム画像における同じ位置の画素の色相と相違する。この場合、動体検出手段３０ｂは、出現頻度の低い色相を検出した画素の座標（動体検出座標）を求め、これを映像記憶部１２へ送って記憶させる。
As a result of the comparison, if there is a hue having a low appearance frequency in the pixels at the same position in FIGS. 3 (i-11) to (i-15), it may be determined that a moving object exists at the coordinates where the pixel is located. it can.
Specifically, for example, in FIGS. 3 (i-11) to (i-15), since all the projected objects are stationary objects, there is no difference in hue in pixels at the same position. Is determined not to exist.
On the other hand, when FIGS. 4 (i-21) to (i-25) are taken out from the video storage unit 12 and compared, a moving object in the frame image of FIG. The hue of a pixel to be different from the hue of a pixel at the same position in another frame image. In this case, the moving object detection unit 30b obtains the coordinates (moving object detection coordinates) of the pixel in which the hue having a low appearance frequency is detected, and sends the coordinates to the video storage unit 12 for storage.
特徴抽出手段（配置手段）２０は、図２０に示すように、特徴抽出部２１と、特徴記憶部２２とを有している。
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出す。このとき、映像記憶部１２に動体検出座標が記憶されているときは、特徴抽出部２１は、その動体検出座標も取り出す。
次いで、特徴抽出部２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。このとき、特徴抽出部２１は、動体検出座標が示す範囲においては、特徴点を抽出しないようにする。
As shown in FIG. 20, the feature extraction unit (arrangement unit) 20 includes a feature extraction unit 21 and a feature storage unit 22.
The feature extraction unit 21 extracts a frame image from the video storage unit 12. At this time, when moving object detection coordinates are stored in the video storage unit 12, the feature extraction unit 21 also extracts the moving object detection coordinates.
Next, the feature extraction unit 21 extracts image features including a characteristic pattern in the extracted frame image. At this time, the feature extraction unit 21 does not extract feature points in the range indicated by the moving object detection coordinates.
例えば、映像記憶部１２から取り出したフレーム画像が図１４（i-21）に示すような画像である場合、特徴抽出部２１は、このフレーム画像について動体検出座標が記憶されていなかったことから、そのフレーム画像にもとづいて、図１４（ii-21）に示すような特徴点を抽出する。
これに対し、映像記憶部１２から取り出したフレーム画像が図１４（i-23）に示すような画像である場合、特徴抽出部２１は、このフレーム画像についての動体検出座標を映像記憶部１２から取り出す。そして、特徴抽出部２１は、そのフレーム画像にもとづいて特徴点を抽出する際に、その動体検出座標に示される範囲においては特徴点を抽出しないようにする。このように、動体にもとづく特徴点を抽出しなかった場合の特徴空間は、図１４（ii-22）などに示すようになる。
これにより、動体にもとづく特徴点が抽出されないことから、特異特徴の選択において、動体にもとづく特徴点のみが表れるはずの区画に特徴点が表れなくなるため、この区画を特異特徴として選択できる。このように、動体にもとづく特徴点が除外されることから、マーカパターンを安定して生成できる。
For example, when the frame image extracted from the video storage unit 12 is an image as shown in FIG. 14 (i-21), the feature extraction unit 21 has not stored moving object detection coordinates for this frame image. Based on the frame image, feature points as shown in FIG. 14 (ii-21) are extracted.
On the other hand, when the frame image taken out from the video storage unit 12 is an image as shown in FIG. 14 (i-23), the feature extraction unit 21 sends the moving object detection coordinates for this frame image from the video storage unit 12. Take out. Then, when extracting the feature points based on the frame image, the feature extraction unit 21 does not extract the feature points in the range indicated by the moving object detection coordinates. Thus, the feature space when feature points based on moving objects are not extracted is as shown in FIG. 14 (ii-22).
As a result, since feature points based on moving objects are not extracted, feature points do not appear in a section where only feature points based on moving objects should appear in selection of singular features, so that these sections can be selected as singular features. Thus, since the feature points based on the moving object are excluded, the marker pattern can be generated stably.
なお、本実施形態において、特徴抽出部２１は、一つのフレーム画像の中で、動体検出座標により示された範囲において、特徴点を抽出しないこととしているが、この処理に限るものではなく、例えば、動体が検出されたフレーム画像の全体において特徴点を抽出しないようにすることもできる。この場合は、動体が検出されなかったフレーム画像にもとづいて特徴点が抽出され、この特徴点にもとづいて特異特徴が選択される。 In the present embodiment, the feature extraction unit 21 does not extract feature points in a range indicated by the moving object detection coordinates in one frame image, but is not limited to this processing. The feature points may not be extracted from the entire frame image in which the moving object is detected. In this case, feature points are extracted based on a frame image in which no moving object is detected, and unique features are selected based on the feature points.
次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図２１を参照して説明する。
同図は、本実施形態のマーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ｂにおいて、映像入力手段１０の映像入力部１１は、背景映像を入力する（ステップ２０）。この背景映像は、複数枚のフレーム画像で構成される。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
Next, the operation (marker generation method) of the marker generation device of this embodiment will be described with reference to FIG.
This figure is a flowchart showing the processing procedure of the marker generation method of the present embodiment.
In the marker generation device 1b, the video input unit 11 of the video input means 10 inputs a background video (step 20). This background video is composed of a plurality of frame images. The video storage unit 12 of the video input unit 10 stores the background video input by the video input unit 11 as a frame image.
動体検出手段３０ｂは、所定のタイミングで、映像記憶部１２からフレーム画像を複数取り出す。次いで、動体検出手段３０ｂは、取り出したフレーム画像のそれぞれについて、各画素ごとに色相を検出する。続いて、動体検出手段３０ｂは、複数のフレーム画像における同じ位置の画素の色相を比較して、出現頻度の低い色相があるか否かを判断する。これにより、動体検出手段３０ｂは、複数毎のフレーム画像における各画素の色相を用いることで、背景映像に動体が映し出されているか否かの判断を行うことができる（ステップ２１）。
判断の結果、出現頻度の低い色相があるときは、動体検出手段３０ｂは、その部分に動体が映し出されているとし、この画素の座標を動体検出座標として算出する（ステップ２２）。動体検出手段３０ｂは、出現頻度の低い色相を検出した画素の座標を動体検出座標として求め、これを映像記憶部１２へ送って記憶させる。
一方、出現頻度の低い色相がないときは、動体検出手段３０ｂは、動体検出座標の算出は行わない。
The moving object detection unit 30b extracts a plurality of frame images from the video storage unit 12 at a predetermined timing. Next, the moving object detection unit 30b detects the hue for each pixel in each of the extracted frame images. Subsequently, the moving object detection unit 30b compares the hues of pixels at the same position in a plurality of frame images, and determines whether there is a hue having a low appearance frequency. Thereby, the moving body detection means 30b can judge whether the moving body is projected on the background image | video by using the hue of each pixel in every frame image (step 21).
If there is a hue having a low appearance frequency as a result of the determination, the moving object detection means 30b assumes that a moving object is projected in that portion, and calculates the coordinates of this pixel as moving object detection coordinates (step 22). The moving object detection unit 30b obtains the coordinates of the pixel that has detected a hue with a low appearance frequency as the moving object detection coordinates, and sends the coordinates to the video storage unit 12 for storage.
On the other hand, when there is no hue with low appearance frequency, the moving object detection means 30b does not calculate moving object detection coordinates.
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ２３）。
このとき、特徴抽出部２１は、映像記憶部１２に動体検出座標が記憶されているときは、その動体検出座標を取り出す。そして、特徴抽出部２１は、その動体検出座標が示すフレーム画像内の指定範囲においては、特徴点の抽出を行わない。
The feature extraction unit 21 of the feature extraction unit 20 extracts a frame image from the video storage unit 12 and extracts feature points from the frame image (step 23).
At this time, when the moving object detection coordinates are stored in the video storage unit 12, the feature extraction unit 21 extracts the moving object detection coordinates. Then, the feature extraction unit 21 does not extract feature points in the designated range in the frame image indicated by the moving object detection coordinates.
次いで、特徴抽出部２１は、抽出した特徴点の座標を算出する（ステップ２４）。この算出した座標は、特徴記憶部２２に記憶される。
続いて、特徴抽出部２１は、特徴空間に格子状のメッシュを付して、複数の区画に分ける（ステップ２５）。
さらに、特徴抽出部２１は、各区画ごとに特徴点の数を求める（ステップ２６）。
また、特徴抽出部２１は、複数のフレーム画像から算出した各区画ごとの特徴点数を累計する（ステップ２７）。
特徴記憶部２２は、それらメッシュの座標、各区画毎の特徴点の数、各区画毎の特徴点の累計を記憶する。
Next, the feature extraction unit 21 calculates the coordinates of the extracted feature points (step 24). The calculated coordinates are stored in the feature storage unit 22.
Subsequently, the feature extraction unit 21 adds a grid-like mesh to the feature space and divides it into a plurality of sections (step 25).
Further, the feature extraction unit 21 obtains the number of feature points for each section (step 26).
Further, the feature extraction unit 21 accumulates the feature points for each section calculated from the plurality of frame images (step 27).
The feature storage unit 22 stores the coordinates of the meshes, the number of feature points for each partition, and the total number of feature points for each partition.
特異特徴選択手段４０の特異特徴選択部４１は、特徴記憶部２２から各区画ごとの特徴点の累計を取り出す。
そして、特異特徴選択部４１は、各区画ごとの特徴点の累計の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ２８）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
The singular feature selection unit 41 of the singular feature selection unit 40 extracts the total of feature points for each section from the feature storage unit 22.
Then, the unique feature selection unit 41 selects 0 or a predetermined number or less from the total of feature points for each section, and designates this as a unique feature (step 28).
The singular feature storage unit 42 stores the coordinates of the sections determined as the singular features by the unique feature selection unit 41.
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ２９）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
The marker pattern generation unit 51 of the marker pattern generation unit 50 takes out the coordinates of the unique features from the unique feature storage unit 42. Then, the marker pattern generation unit 51 generates a marker pattern based on the coordinates of the unique feature (step 29).
The marker storage unit 52 stores data related to the marker pattern generated by the marker pattern generation unit 51.
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力手段で入力された複数のフレーム画像のすべてから特徴点を抽出し、これら特徴点を用いてマーカパターンを生成することとしたので、いずれのフレーム画像においても背景パターンからのマーカ検出がない、頑健性の高いマーカパターンを生成できる。
また、背景映像に動体（低出現物体）が映し出されているときは、その映し出された動体から特徴点を抽出しないようにすることができる。これにより、特徴点数分布図において、その動体にもとづく特徴点が表れず除外される。このため、最適なマーカパターンを安定して生成できる。
As described above, according to the marker generation device and the marker generation method of the present embodiment, feature points are extracted from all of a plurality of frame images input by the video input unit, and a marker pattern is generated using these feature points. Because it is generated, it is possible to generate a highly robust marker pattern in which no marker is detected from the background pattern in any frame image.
In addition, when a moving object (low-appearance object) is projected in the background video, it is possible not to extract feature points from the projected moving object. Thereby, the feature points based on the moving object do not appear in the feature point number distribution diagram and are excluded. For this reason, an optimal marker pattern can be generated stably.
なお、本実施形態において、動体検出手段は、複数のフレーム画像を比較して動体の存在を検出し、特徴抽出手段は、検出された動体が位置する箇所から特徴点を抽出しないようにする。
ただし、動体にもとづく特徴点の排除は、この方法に限るものではなく、例えば、次の方法を用いることができる。
動体検出手段は、動体を検出した部分の座標を記憶しておく。特異特徴選択手段は、その座標を動体検出手段から受け取る。次いで、特異特徴選択手段は、特徴空間において、その座標に対応する区画の特徴点数を「０」にする。このような処理によれば、動体にもとづく特徴点を削除し、この区画を特異特徴として選択できる。
In the present embodiment, the moving object detecting unit detects the presence of a moving object by comparing a plurality of frame images, and the feature extracting unit does not extract a feature point from a location where the detected moving object is located.
However, the feature point elimination based on the moving object is not limited to this method, and for example, the following method can be used.
The moving object detection means stores the coordinates of the part where the moving object is detected. The unique feature selection means receives the coordinates from the moving object detection means. Next, the unique feature selection means sets the number of feature points of the section corresponding to the coordinates to “0” in the feature space. According to such processing, feature points based on moving objects can be deleted, and this section can be selected as a unique feature.
［マーカ生成装置及びマーカ生成方法の第三実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第三実施形態について、図２２を参照して説明する。
図２２は、本実施形態のマーカ生成装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、動体の検出処理が相違する。すなわち、第一実施形態では、特徴空間における特徴点が動体から抽出した特徴点であるか否かを判断していたのに対し、本実施形態では、不変量特徴空間における区画ごとの不変特徴が動体から抽出した特徴点にもとづくものであるか否かを判断する。他の構成要素は第一実施形態と同様である。
したがって、図２２において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
[Third embodiment of marker generating apparatus and marker generating method]
Next, a third embodiment of the marker generation device and marker generation method of the present invention will be described with reference to FIG.
FIG. 22 is a block diagram showing the configuration of the marker generation device of this embodiment.
This embodiment is different from the first embodiment in moving object detection processing. That is, in the first embodiment, it is determined whether or not the feature point in the feature space is a feature point extracted from the moving object. In the present embodiment, the invariant feature for each section in the invariant feature space is determined. It is determined whether or not it is based on a feature point extracted from the moving object. Other components are the same as those in the first embodiment.
Therefore, in FIG. 22, the same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
図２２に示すように、マーカ生成装置１ｃは、映像入力手段１０と、特徴抽出手段２０と、動体検出手段３０ｃと、特異特徴選択手段４０と、マーカパターン生成手段５０と、不変特徴変換手段６０とを備えている。
なお、本実施形態においては、特徴抽出手段２０と不変特徴変換手段６０が、「配置手段」に相当する。
As shown in FIG. 22, the marker generation device 1 c includes a video input unit 10, a feature extraction unit 20, a moving object detection unit 30 c, a unique feature selection unit 40, a marker pattern generation unit 50, and an invariant feature conversion unit 60. And.
In the present embodiment, the feature extraction unit 20 and the invariant feature conversion unit 60 correspond to “placement unit”.
ここで、不変特徴変換手段６０は、図２２に示すように、不変特徴変換部６１と、不変特徴記憶部６２とを有している。
不変特徴変換部６１は、特徴点を不変特徴に変換する。この不変特徴変換部６１は、特徴抽出手段２０の特徴記憶部２２から「特徴点情報テーブル」を取り出し、その特徴点を不変特徴に変換し、不変特徴記憶部６２に記憶させる。
画像の特徴的な部位を抽出しその画像上での位置座標情報の系列を図形的特徴とする場合（例えば、図１３（i-11）に示す背景映像から同図（ii-11）に示す特徴点を抽出する処理の場合）、それらの不変特徴への変換は、例えば、次のように行なうことができる。便宜的に、ここでは、位置座標情報の系列を特徴点群と呼ぶこととする。ここで、簡単のため、背景が遠方にある場合の幾何学的な不変特徴について説明する。ただし、光学歪みの影響で、画像が剪断変形歪みを被る場合も特徴量が不変となるように配慮する。なお、背景が遠方にない場合などより自由度の高い不変特徴に拡張することは容易である。幾何学的不変特徴すなわちカメラと撮影対象のシーンが相対的に回転、平行移動し、剪断変形歪みを被る場合に、その相対的な位置関係変化によらず、不変な特徴量を、特徴点群の位置関係から、生成する方法の一例を説明する。
Here, the invariant feature conversion means 60 includes an invariant feature conversion unit 61 and an invariant feature storage unit 62, as shown in FIG.
The invariant feature converter 61 converts the feature points into invariant features. The invariant feature conversion unit 61 extracts the “feature point information table” from the feature storage unit 22 of the feature extraction unit 20, converts the feature point into an invariant feature, and stores it in the invariant feature storage unit 62.
When a characteristic part of an image is extracted and a series of position coordinate information on the image is used as a graphic feature (for example, from the background video shown in FIG. 13 (i-11) to the same figure (ii-11) In the case of the process of extracting feature points), the conversion to the invariant features can be performed as follows, for example. For convenience, a series of position coordinate information is referred to as a feature point group here. Here, for simplicity, geometric invariant features when the background is far away will be described. However, consideration is given so that the feature amount remains unchanged even when the image is subjected to shear deformation due to the influence of optical distortion. It is easy to expand to invariant features with a higher degree of freedom, such as when the background is not far away. Geometrically invariant features, i.e., when the camera and the scene to be photographed rotate and translate relative to each other and suffer from shear deformation, feature points that are invariant regardless of their relative positional changes An example of a generation method based on the positional relationship will be described.
特徴点群から任意の３点の特徴点を選択する。他方で不変量特徴空間を直交する２軸の張る２次元平面として定義する。特徴点群から選択した特徴点のうちの一点を不変量特徴空間での原点に対応付ける。その他の２点を不変量特徴空間での、位置座標（１，０）及び（０，１）にそれぞれ対応付ける。これら３点を基底と呼ぶことにする。このとき、原画像空間から、不変量特徴空間への１対１線形写像がアフィン変換として定義できる。基底を除くすべての特徴点群を、基底により特徴付けられた同一のアフィン変換を用いて不変特徴空間へ写像すると、これら特徴点群はカメラとシーンの相対的位置関係によらず不変となる。ただし、実際には、シーンから常に同じ基底を選択できるとは限らないため、特徴点群のすべての３点の順列組み合わせから基底選択を行い、各基底に対する非基底特徴点を不変量特徴空間に写像する必要がある。 Arbitrary three feature points are selected from the feature point group. On the other hand, the invariant feature space is defined as a two-dimensional plane with two orthogonal axes. One of the feature points selected from the feature point group is associated with the origin in the invariant feature space. The other two points are associated with the position coordinates (1, 0) and (0, 1) in the invariant feature space, respectively. These three points are called bases. At this time, a one-to-one linear mapping from the original image space to the invariant feature space can be defined as an affine transformation. When all the feature point groups except the base are mapped to the invariant feature space using the same affine transformation characterized by the base, these feature point groups become invariant regardless of the relative positional relationship between the camera and the scene. In practice, however, it is not always possible to select the same base from the scene. Therefore, base selection is performed from a permutation combination of all three points of the feature point group, and the non-basis feature points for each base are set in the invariant feature space. Need to map.
こうして作られた全基底と、不変量特徴空間への全特徴点の写像は、不変特徴として、不変特徴記憶部６２に記憶される。これら特徴点群が幾何変形に対して不変である理由は、他の物体を含む映像中で、マーカから選択される基底により、得られる不変特徴は、常に一致するためである。 The whole base created in this way and the mapping of all feature points to the invariant feature space are stored in the invariant feature storage unit 62 as invariant features. The reason why these feature points are invariant with respect to geometric deformation is that invariant features obtained by a base selected from a marker always match in an image including other objects.
ここまで説明した手法は、基底を３点とした場合であるが、基底は３点に限るものではなく、１点、２点あるいは４点以上とすることができる。次に、基底を１点にした場合について説明する。 The method described so far is a case where the base is three points, but the base is not limited to three points, and can be one point, two points, or four points or more. Next, a case where the base is one point will be described.
あるフレーム画像から抽出した特徴点は、図５に示すように、特徴空間に配置されているものとする。また、各特徴点には、図６に示すように、シリアル番号が付されているものとする。
不変特徴変換部６１は、一つの特徴点を基底として定め、この基底が不変量特徴空間の座標（０，０）のところにくるように移動し、この移動量を求め、他のすべての特徴点についても、その移動量で不変量特徴空間に移動する。
例えば、図２３に示すように、シリアル番号５番の特徴点を基底とし、この５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動する。これにより、不変量特徴空間には、同図右に示すように特徴点が配置される。なお、不変量特徴空間に配置された特徴点を不変特徴という。
It is assumed that feature points extracted from a certain frame image are arranged in a feature space as shown in FIG. Each feature point is assumed to have a serial number as shown in FIG.
The invariant feature conversion unit 61 determines one feature point as a base, moves so that the base is located at the coordinates (0, 0) of the invariant feature space, obtains the amount of movement, and then sets all other features. The point also moves to the invariant feature space with the amount of movement.
For example, as shown in FIG. 23, all feature points are set so that the feature point of serial number 5 is the base and the feature point of number 5 is at the coordinate (0, 0) in the invariant feature space. Translate. As a result, feature points are arranged in the invariant feature space as shown on the right side of FIG. Note that feature points arranged in the invariant feature space are referred to as invariant features.
また、図２４に示すように、シリアル番号１５番の特徴点を基底とし、この１５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
さらに、図２５に示すように、シリアル番号８９番の特徴点を基底とし、この８９番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
そして、図２６に示すように、シリアル番号９１番の特徴点を基底とし、この９１番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
Further, as shown in FIG. 24, all feature points are set such that the feature point of serial number 15 is the base and the feature point of number 15 is at the coordinate (0, 0) in the invariant feature space. When translated, invariant feature groups are arranged as shown in the invariant feature space on the right side of the figure.
Further, as shown in FIG. 25, all feature points are set such that the feature point of serial number 89 is the base and the feature point of 89 is located at the coordinate (0, 0) in the invariant feature space. When translated, invariant feature groups are arranged as shown in the invariant feature space on the right side of the figure.
Then, as shown in FIG. 26, all feature points are set such that the feature point of serial number 91 is the base and the feature point of 91 is located at the coordinate (0, 0) in the invariant feature space. When translated, invariant feature groups are arranged as shown in the invariant feature space on the right side of the figure.
このように、一つの特徴点を基底として定め、この基底を不変量特徴空間の原点に移動するのに伴って、その移動量と同じ移動量ですべての特徴点を移動させる処理を、各特徴点を順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。
図５に示す特徴点を不変量特徴空間に写像した結果は、図２７に示すようになる。これが、不変量特徴空間における不変特徴の配置された状態である。
In this way, the process of determining one feature point as a base and moving all the feature points with the same amount of movement as the base is moved to the origin of the invariant feature space This is performed each time a point is determined as a basis, and the feature points are mapped onto the invariant feature space by superimposing these moved feature points.
The result of mapping the feature points shown in FIG. 5 to the invariant feature space is as shown in FIG. This is a state in which invariant features are arranged in the invariant feature space.
なお、本実施形態において、特徴点を不変量特徴空間へ写像する方法は、図２３〜図２７に示す方法とするが、写像方法は、この方法に限るものではなく、種々の方法を用いることができる。
例えば、複数の特徴点のうちの一つを第一基底、他の一つを第二基底として定め、第一基底を不変量特徴空間の座標（0,0）に移動し、第二基底を（0,1）に移動することにともない、この移動規則と同一の変換規則にしたがって、すべての特徴点を移動させ、不変量特徴空間における移動後の各特徴点（不変特徴）の座標を記憶する。続いて、他の二つの特徴点を第一基底及び第二基底として定め、これら第一及び第二基底の移動にともない同一変換規則にしたがってすべての特徴点を移動させ、不変量特徴空間における不変特徴の座標を記憶する。そして、すべての特徴点が第一及び第二基底として定められ、不変量特徴空間における不変特徴の座標の蓄積が完了すると、不変量特徴空間への写像が終了する。
In this embodiment, the method for mapping the feature points to the invariant feature space is the method shown in FIGS. 23 to 27. However, the mapping method is not limited to this method, and various methods are used. Can do.
For example, one of a plurality of feature points is defined as a first basis, the other as a second basis, the first basis is moved to the coordinates (0,0) of the invariant feature space, When moving to (0,1), all feature points are moved according to the same conversion rule as this transfer rule, and the coordinates of each moved feature point (invariant feature) in the invariant feature space are stored. To do. Subsequently, the other two feature points are defined as the first basis and the second basis, and all feature points are moved according to the same transformation rule as the first and second basis move, and the invariant feature space is invariant. Stores feature coordinates. When all feature points are defined as the first and second bases and the accumulation of the invariant feature coordinates in the invariant feature space is completed, the mapping to the invariant feature space is completed.
また、上述の説明は、幾何学的不変量に関するものであるが、幾何学的不変量のほかに種々の不変量を使用してもよい。
例えば、物体色を不変量として用いることができる。
物体の色は、同一物体であっても撮影環境に存在する光源色に依存して、異なった色で撮影されてしまう。画像上から光源色変動の影響を分離して取り除くことができれば、実際の物体色を得ることができる。得られる実際の物体色を物体色不変量として使用してもよい。鏡面反射している箇所は光源色の影響が支配的で、輝度値が光源色成分において飽和しやすいため、これを光源色とみなして、飽和箇所に対応する色成分を不変特徴として選択しないようにしてもよい。
In addition, the above description relates to geometric invariants, but various invariants may be used in addition to geometric invariants.
For example, the object color can be used as an invariant.
Even if the color of the object is the same, the color of the object is photographed with different colors depending on the light source color existing in the photographing environment. If the influence of the light source color variation can be separated and removed from the image, the actual object color can be obtained. The actual object color obtained may be used as the object color invariant. The specular reflection location is dominated by the influence of the light source color, and the luminance value is likely to be saturated in the light source color component. It may be.
他にも、画像から物体色を推定する方法には、Robby T. Tan and Katsushi Ikeuchiによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 27、NO. 2、FEBRUARY 2005、pp.178-193に記載の「Separating Reflection Components of Textured Surfaces Using a Single Image」や、Graham D. Finlayson、Steven D. Hordley、Cheng Lu、and Mark S. Drewによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENT、 VOL.28、NO.1、JANUARY ２００６、pp.59-68、に記載の「On the Removal of Shadows from Images」などを使用してもよい。 Other methods for estimating the object color from the image can be found in IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 27, NO. 2, FEBRUARY 2005, pp.178-193 by Robby T. Tan and Katsushi Ikeuchi. `` Separating Reflection Components of Textured Surfaces Using a Single Image '', IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENT, VOL.28, NO by Graham D. Finlayson, Steven D. Hordley, Cheng Lu, and Mark S. Drew .1, JANUARY 2006, pp.59-68, “On the Removal of Shadows from Images”, etc. may be used.
さらに、テクスチャを不変量として用いることができる。
画像の部分領域の輝度分布に対して数値演算を施し得られた数値またはベクトルを特徴量とする。図形的不変量と同様にテクスチャ不変量はカメラと撮影対象との相対位置関係に影響を受けやすいため、この影響を受けにくい特徴量を算出し、テクスチャ不変量とする。例えば、カメラと対象の距離やズームに不変な特徴量は、注目している部分画像を極座標変換し、動径方向にパワースペクトルをとることで実装可能である。さらに、上記パワースペクトルに対して方位角方向に再度パワースペクトルを求めるとカメラの光軸周りの回転に対して不変な特徴量となる。その他、Chi-Man Pun and Moon-Chuen LeeによるIEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 25、NO. 5、MAY 2003記載の「Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification」などの方法を用いてもよい。
Furthermore, texture can be used as an invariant.
A numerical value or vector obtained by performing numerical calculation on the luminance distribution of the partial region of the image is used as a feature amount. Similar to the graphical invariant, the texture invariant is easily affected by the relative positional relationship between the camera and the object to be photographed. Therefore, a feature amount that is not easily affected is calculated and set as the texture invariant. For example, a feature quantity that is invariant to the distance and zoom between the camera and the object can be implemented by converting the focused partial image into polar coordinates and taking the power spectrum in the radial direction. Further, when the power spectrum is obtained again in the azimuth direction with respect to the power spectrum, the feature amount is invariable with respect to the rotation around the optical axis of the camera. In addition, `` Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification '' described in IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 25, NO. 5, MAY 2003 by Chi-Man Pun and Moon-Chuen Lee A method may be used.
また、幾何学的不変量についても、Richard Hartley and Andrew Zissermanによる「Multiple View Geometry in Computer Vision」などに記載されているような他の幾何学的不変量を使用してもよい。同一シーンを複数のカメラで観測する場合には、同文献に記載の方法により、距離もしくは深さ方向の相対位置関係の情報を得ることが可能となるが、この場合、同一平面にない４点を基底に選択し、不変量特徴空間を３次元とすると、３次元の幾何学的不変量を作ることができる。この際には、特徴点群から選択した基底４点のうち１点を不変量空間の原点、その他の基底の特徴点を不変量空間における位置座標（１，０，０）および（０，１，０）、（０，０，１）に対応付ける変換写像を求め、その他特徴をこの変換写像を使用して不変量空間に写像するようにする。 As for geometric invariants, other geometric invariants as described in “Multiple View Geometry in Computer Vision” by Richard Hartley and Andrew Zisserman may be used. When observing the same scene with a plurality of cameras, it is possible to obtain information on the relative positional relationship in the distance or depth direction by the method described in the same document, but in this case, there are four points that are not on the same plane. Is selected as the basis, and the invariant feature space is three-dimensional, a three-dimensional geometric invariant can be created. In this case, one of the four base points selected from the feature point group is the origin of the invariant space, and the other base feature points are the position coordinates (1, 0, 0) and (0, 1) in the invariant space. , 0), (0, 0, 1), a transformation map is obtained, and other features are mapped to the invariant space using this transformation map.
特徴点を不変量特徴空間に写像した不変特徴変換部６１は、図２８に示すように、不変量特徴空間に格子状のメッシュを付して、複数の区画に分ける。
続いて、不変特徴変換部６１は、各区画ごとに不変特徴の数を求める。この算出結果を、図２９に示す。図２９は、不変量特徴空間において、不変特徴の数が１以上の区画にグレーを付した図である。
As shown in FIG. 28, the invariant feature conversion unit 61 that maps the feature points to the invariant feature space attaches a lattice mesh to the invariant feature space and divides it into a plurality of sections.
Subsequently, the invariant feature conversion unit 61 obtains the number of invariant features for each section. The calculation results are shown in FIG. FIG. 29 is a diagram in which gray is added to a section in which the number of invariant features is 1 or more in the invariant feature space.
不変特徴記憶部６２は、所定のメモリ領域を保持している。この不変特徴記憶部６２は、不変特徴変換部６１で求められた各種データを記憶する。各種データには、例えば、不変量特徴空間に配置された各不変特徴の座標、各区画の座標（範囲）、各区画ごとの不変特徴数などが含まれる。 The invariant feature storage unit 62 holds a predetermined memory area. The invariant feature storage unit 62 stores various data obtained by the invariant feature conversion unit 61. The various data includes, for example, the coordinates of each invariant feature arranged in the invariant feature space, the coordinates (range) of each section, the number of invariant features for each section, and the like.
動体検出手段３０ｃは、不変特徴記憶部６２から各区画ごとの不変特徴数を取り出す。次いで、動体検出手段３０ｃは、各区画ごとの各不変特徴数の中から、１以上所定数以下の範囲に含まれるものを選択する。
ここで、各不変特徴数の中に１以上所定数以下の範囲に含まれるものがあった場合、動体検出手段３０ｃは、その不変特徴数を「０」にする処理を行い、これを不変特徴記憶部６２に記憶させる。
この処理は、１以上所定数以下の範囲に含まれる不変特徴数が存在する区画について、この区画内に配置された不変特徴が、一時的にフレーム画像に写った動体等にもとづく不変特徴であると判断し、これを削除するものである。これにより、動体等を除外したかたちでマーカパターンを生成できる。
The moving object detection unit 30c extracts the invariant feature number for each section from the invariant feature storage unit 62. Next, the moving object detection unit 30c selects one included in the range of 1 or more and a predetermined number or less from the invariant feature numbers for each section.
Here, when each invariant feature number is included in the range of 1 or more and the predetermined number or less, the moving object detection means 30c performs a process of setting the invariant feature number to “0”, and converts this to the invariant feature. The data is stored in the storage unit 62.
This process is an invariant feature based on a moving object or the like in which the invariant feature arranged in the section has a number of invariant features included in the range of 1 to a predetermined number. It is judged that this is deleted. Thereby, a marker pattern can be generated in a form that excludes moving objects and the like.
特異特徴選択手段４０は、図２２に示すように、特異特徴選択部４１と、特異特徴記憶部４２とを有している。
特異特徴選択部４１は、図３０に示すように、不変量特徴空間の中で、マーカパターンの生成を行う範囲を、マーカパターン生成範囲として決定する。このマーカパターン生成範囲は、静止画フレームの大きさと同じ大きさとすることができる。
次いで、特異特徴選択部４１は、そのマーカパターン生成範囲における各区画ごとの不変特徴数を、不変特徴記憶部６２から取り出す。この取り出した各区画ごとの不変特徴数を図３１に示す。なお、図３１は、マーカパターン生成範囲において、不変特徴の数が１以上の区画にグレーを付した図である。
As illustrated in FIG. 22, the unique feature selection unit 40 includes a unique feature selection unit 41 and a unique feature storage unit 42.
As illustrated in FIG. 30, the unique feature selection unit 41 determines a marker pattern generation range as a marker pattern generation range in the invariant feature space. The marker pattern generation range can be the same size as the still image frame.
Next, the unique feature selection unit 41 extracts the invariant feature number for each section in the marker pattern generation range from the invariant feature storage unit 62. FIG. 31 shows the number of invariant features for each extracted section. Note that FIG. 31 is a diagram in which gray is added to sections where the number of invariant features is 1 or more in the marker pattern generation range.
続いて、特異特徴選択部４１は、マーカパターン生成範囲における各区画ごとの不変特徴数のうち、０又は所定値以下のものを特異特徴として選択する。これにより、特異特徴選択部４１は、記憶された特徴群から、シーンには現れていない画像特徴を特異特徴として選択することができる。
なお、図３１においては、白色の区画が、不変特徴数が０の区画である。
Subsequently, the unique feature selection unit 41 selects 0 or a predetermined value or less as the unique feature among the invariant feature numbers for each section in the marker pattern generation range. Accordingly, the unique feature selection unit 41 can select, as a unique feature, an image feature that does not appear in the scene from the stored feature group.
In FIG. 31, the white section is a section whose invariant feature number is zero.
特異特徴記憶部４２は、特異特徴選択部４１で選択された特異特徴の座標を記憶する。
マーカパターン生成手段５０は、第一実施形態におけるマーカパターン生成手段５０と同様の機能を有している。
The unique feature storage unit 42 stores the coordinates of the unique feature selected by the unique feature selection unit 41.
The marker pattern generation means 50 has the same function as the marker pattern generation means 50 in the first embodiment.
なお、映像入力手段１０が撮影した背景映像には、図４（i-23）に示すように、動体が映し出されることがある。
この場合のマーカパターンの生成処理は、次のように行われる。
特徴抽出手段２０の特徴抽出部２１は、図４（i-23）に示すフレーム画像にもとづいて、特徴点を抽出する。この抽出した特徴点の配置は、図１４（ii-23）に示すようになる。
In addition, as shown in FIG. 4 (i-23), a moving object may be projected on the background image captured by the image input means 10.
The marker pattern generation process in this case is performed as follows.
The feature extraction unit 21 of the feature extraction means 20 extracts feature points based on the frame image shown in FIG. 4 (i-23). The arrangement of the extracted feature points is as shown in FIG. 14 (ii-23).
不変特徴変換部６１は、図１４（ii-23）に示された特徴点を、不変量特徴空間に写像する。
次いで、不変特徴変換部６１は、その不変量特徴空間にメッシュを掛け、各区画ごとに特徴点を算出する。ここで、図４（i-23）に映し出された動体のみに着目し、その動体にもとづく特徴点が不変量特徴空間に写像されたときの各特徴点の頻度分布を図３２に示す。
さらに、図３２における不変量特徴空間のうち、マーカパターン生成範囲を取り出すと、図３３に示すようになる。
The invariant feature conversion unit 61 maps the feature points shown in FIG. 14 (ii-23) to the invariant feature space.
Next, the invariant feature conversion unit 61 multiplies the invariant feature space with a mesh and calculates feature points for each section. Here, focusing on only the moving object shown in FIG. 4 (i-23), FIG. 32 shows the frequency distribution of each feature point when the feature points based on the moving object are mapped to the invariant feature space.
Furthermore, when the marker pattern generation range is extracted from the invariant feature space in FIG. 32, it is as shown in FIG.
この図３３に示す特徴点数分布と、図３１に示す特異特徴の配置とを比較すると、区画座標（２０，２１）と（１８，２３）において、動体にもとづく不変特徴のみが現れている。
そして、同区画は、不変特徴数が１以上所定数以下であるため、動体検出手段３０ｃは、その不変特徴数を「０」にする。これにより、特異特徴選択部４１は、その区画を特異特徴として選択できる。
When the feature point number distribution shown in FIG. 33 is compared with the arrangement of unique features shown in FIG. 31, only the invariant features based on the moving object appear in the segment coordinates (20, 21) and (18, 23).
And since the invariant feature number is 1 or more and the predetermined number or less in the same section, the moving object detection means 30c sets the invariant feature number to “0”. Thus, the unique feature selection unit 41 can select the section as a unique feature.
なお、２種類以上の不変量を組み合わせた場合における不変特徴への変換から特異特徴の選択までの処理は、概略つぎのように動作することができる。
ここでは、幾何学的不変量と物体色不変量を併用する場合について説明する。
物体色不変量には、幾何学的不変量を求める際に抽出された特徴点群の近傍画素について、前述したTanらの方法により得た物体色の輝度値を使用するものとする。まず、前述した幾何学的不変量を求める手順と同様に、特徴点群から３点を基底として選択し、２次元平面で記述される幾何学的不変量空間に射影する。各特徴位置に対応する物体色不変量を求め、幾何学的不変量平面に直交する軸、すなわち物体色不変量座標を含めた３次元空間を想定する。３次元空間の各軸を量子化して既定の大きさの直方体メッシュに分割し、直方体ごとのヒストグラムを生成する。あらゆる基底の組み合わせに対して同様の計算を行ない、ヒストグラムが０となったメッシュの中心値を特異特徴とする。マーカの生成は、各特異特徴に対応する位置および色でマーカを生成すればよい。
Note that the processing from the conversion to an invariant feature to the selection of a singular feature when two or more types of invariants are combined can generally operate as follows.
Here, a case where a geometric invariant and an object color invariant are used together will be described.
As the object color invariant, the luminance value of the object color obtained by the above-described Tan et al. Method is used for the neighboring pixels of the feature point group extracted when obtaining the geometric invariant. First, in the same manner as the procedure for obtaining the geometric invariant described above, three points are selected from the feature point group as a basis and projected onto a geometric invariant space described by a two-dimensional plane. An object color invariant corresponding to each feature position is obtained, and an axis orthogonal to the geometric invariant plane, that is, a three-dimensional space including object color invariant coordinates is assumed. Each axis of the three-dimensional space is quantized and divided into rectangular parallelepiped meshes of a predetermined size, and a histogram for each rectangular parallelepiped is generated. The same calculation is performed for all combinations of bases, and the center value of the mesh having a histogram of 0 is set as a unique feature. The marker may be generated with a position and color corresponding to each unique feature.
次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図３４を参照して説明する。
同図は、本実施形態のマーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ｃにおいて、映像入力手段１０の映像入力部１１は、背景映像を入力する（ステップ３０）。この背景映像は、複数枚のフレーム画像で構成される。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
Next, the operation (marker generation method) of the marker generation device of this embodiment will be described with reference to FIG.
This figure is a flowchart showing the processing procedure of the marker generation method of the present embodiment.
In the marker generating device 1c, the video input unit 11 of the video input unit 10 inputs a background video (step 30). This background video is composed of a plurality of frame images. The video storage unit 12 of the video input unit 10 stores the background video input by the video input unit 11 as a frame image.
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ３１）。
また、特徴抽出部２１は、抽出した特徴点の座標を算出する（ステップ３２）。この算出した座標は、特徴記憶部２２に記憶される。
The feature extraction unit 21 of the feature extraction unit 20 extracts a frame image from the video storage unit 12 and extracts feature points from the frame image (step 31).
Also, the feature extraction unit 21 calculates the coordinates of the extracted feature points (step 32). The calculated coordinates are stored in the feature storage unit 22.
不変特徴変換手段６０の不変特徴変換部６１は、特徴記憶部２２から特徴点の座標を取り出す。次いで、不変特徴変換部６１は、取り出した特徴点の座標にもとづいて、各特徴点を不変量特徴空間に写像する（ステップ３３）。
続いて、不変特徴変換部６１は、不変量特徴空間にメッシュを掛けて区画化する（ステップ３４）。
さらに、不変特徴変換部６１は、各区画ごとに不変特徴数を算出する（ステップ３５）。
また、不変特徴変換部６１は、複数のフレーム画像のそれぞれについて各区画ごとの不変特徴数を算出し、これらを累計する（ステップ３６）。
不変特徴記憶部６２は、不変特徴変換部６１で算出された各区画ごとの不変特徴数の累計を記憶する。
The invariant feature converter 61 of the invariant feature converter 60 takes out the coordinates of the feature points from the feature storage unit 22. Next, the invariant feature conversion unit 61 maps each feature point to the invariant feature space based on the extracted feature point coordinates (step 33).
Subsequently, the invariant feature conversion unit 61 partitions the invariant feature space by applying a mesh (step 34).
Further, the invariant feature conversion unit 61 calculates the number of invariant features for each section (step 35).
The invariant feature conversion unit 61 calculates the invariant feature number for each section for each of the plurality of frame images, and accumulates them (step 36).
The invariant feature storage unit 62 stores the total number of invariant features calculated by the invariant feature conversion unit 61 for each section.
動体検出手段３０ｃは、不変特徴記憶部６２から、区画ごとの不変特徴数の累計を取り出す。そして、動体検出手段３０ｃは、区画ごとの不変特徴数の累計の中に、１以上所定数以下のものがあるか否かを判断する（ステップ３７）。
判断の結果、１以上所定数以下のものがあるときは、動体検出手段３０ｃは、その不変特徴数を「０」にする処理を行い、これを不変特徴記憶部６２に記憶させる（ステップ３８）。
一方、１以上所定数以下のものがないときは、動体検出手段３０ｃは、特徴点数を「０」にする処理は行わない。
The moving object detection unit 30c extracts the total number of invariant features for each section from the invariant feature storage unit 62. Then, the moving object detection means 30c determines whether there is one or more and a predetermined number or less in the total number of invariant features for each section (step 37).
As a result of the determination, if there is one or more and a predetermined number or less, the moving object detection means 30c performs a process of setting the invariant feature number to “0” and stores it in the invariant feature storage unit 62 (step 38). .
On the other hand, when there is no one greater than or equal to the predetermined number, the moving object detection unit 30c does not perform the process of setting the number of feature points to “0”.
特異特徴選択手段４０の特異特徴選択部４１は、不変特徴記憶部６２から各区画ごとの不変特徴数の累計を取り出す。このとき、特異特徴選択部４１は、動体検出手段３０ｃで不変特徴数を「０」にする処理が行われた後の各区画ごとの不変特徴数の累計を取り出す。このとき、マーカパターン生成範囲における各区画ごとの不変特徴数の累計を取り出すこともできる。
そして、特異特徴選択部４１は、各区画ごとの不変特徴数の累計の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ３９）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
The singular feature selection unit 41 of the singular feature selection unit 40 extracts the total number of invariant features for each section from the invariant feature storage unit 62. At this time, the singular feature selection unit 41 extracts the total number of invariant features for each section after the moving object detection unit 30c performs the process of setting the number of invariant features to “0”. At this time, the total number of invariant features for each section in the marker pattern generation range can be extracted.
Then, the unique feature selection unit 41 selects 0 or a predetermined number or less from the total number of invariant features for each section, and sets this as a unique feature (step 39).
The singular feature storage unit 42 stores the coordinates of the sections determined as the singular features by the unique feature selection unit 41.
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ４０）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
The marker pattern generation unit 51 of the marker pattern generation unit 50 takes out the coordinates of the unique features from the unique feature storage unit 42. Then, the marker pattern generation unit 51 generates a marker pattern based on the coordinates of the unique feature (step 40).
The marker storage unit 52 stores data related to the marker pattern generated by the marker pattern generation unit 51.
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力手段が複数のフレーム画像を入力し、これらフレーム画像のすべてから特徴点を抽出し、この特徴点を不変特徴として不変量特徴空間に写像し、この不変量特徴空間において特異特徴を選択し、この特異特徴にもとづいてマーカパターンを生成することとしたので、どのフレーム画像に対しての頑健性の高いマーカパターンを生成できる。 As described above, according to the marker generation device and the marker generation method of this embodiment, the video input unit inputs a plurality of frame images, extracts feature points from all of these frame images, and makes these feature points unchanged. Since a feature is mapped to an invariant feature space, a singular feature is selected in this invariant feature space, and a marker pattern is generated based on this singular feature, a robust marker for any frame image A pattern can be generated.
また、不変量特徴空間において、動体（低出現物体）にもとづく不変特徴のみ現れた区画の不変特徴の数を「０」にすることができる。このため、特異特徴選択手段は、特徴点累計数分布図において、その「０」にした区画についても特異特徴として選択することができる。このように、特徴点累計数分布図において、その動体にもとづく不変特徴が除外される。これにより、最適なマーカパターンを安定して生成できる。 Further, in the invariant feature space, the number of invariant features in a section where only invariant features based on moving objects (low appearance objects) appear can be set to “0”. For this reason, the unique feature selection means can select the section set to “0” as the unique feature in the feature point cumulative number distribution diagram. Thus, invariant features based on the moving object are excluded from the feature point cumulative number distribution diagram. Thereby, an optimal marker pattern can be generated stably.
［マーカ生成装置及びマーカ生成方法の第四実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第四実施形態について、図３５を参照して説明する。
図３５は、本実施形態のマーカ生成装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力制御手段を新たに備えた点が相違する。すなわち、第一実施形態では、動体検出手段が、動体にもとづく特徴点を検出すると、その検出結果を特徴抽出手段に返していたのに対し、本実施形態では、動体検出手段が、動体にもとづく特徴点を検出すると、映像入力制御手段が、その検出された特徴点にもとづいて映像入力手段における映像入力処理を制御する。他の構成要素は第一実施形態〜第三実施形態のいずれかと同様のものとすることができる。
したがって、図３５において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
[Fourth Embodiment of Marker Generation Device and Marker Generation Method]
Next, a fourth embodiment of the marker generation device and marker generation method of the present invention will be described with reference to FIG.
FIG. 35 is a block diagram showing the configuration of the marker generation device of this embodiment.
The present embodiment is different from the first embodiment in that a video input control unit is newly provided. That is, in the first embodiment, when the moving object detection unit detects the feature point based on the moving object, the detection result is returned to the feature extraction unit, whereas in this embodiment, the moving object detection unit is based on the moving object. When the feature point is detected, the video input control unit controls the video input process in the video input unit based on the detected feature point. Other components can be the same as those in any of the first to third embodiments.
Therefore, in FIG. 35, the same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
図３５に示すように、マーカ生成装置１ｄは、映像入力手段１０と、配置手段である特徴抽出手段２０と、動体検出手段３０ｄと、特異特徴選択手段４０と、マーカパターン生成手段５０と、映像入力制御手段７０ｄとを備えている。
ここで、映像入力手段１０は、映像入力部１１と、映像記憶部１２とを有している。
映像入力部１１は、映像入力制御手段７０ｄによる制御にもとづいて、背景映像を入力する。この映像入力制御手段７０ｄによる制御の内容については、後述する。
As shown in FIG. 35, the marker generation device 1d includes a video input unit 10, a feature extraction unit 20 that is an arrangement unit, a moving object detection unit 30d, a unique feature selection unit 40, a marker pattern generation unit 50, and a video. Input control means 70d.
Here, the video input means 10 includes a video input unit 11 and a video storage unit 12.
The video input unit 11 inputs a background video based on the control by the video input control means 70d. The contents of control by the video input control means 70d will be described later.
映像記憶部１２は、映像入力部１１で入力された背景映像をディジタイズしたフレーム画像を記憶する。
また、映像記憶部１２は、「フレーム画像関連データテーブル」と、「映像入力部データテーブル」とを記憶する。
「フレーム画像関連データテーブル」は、フレーム画像に関するデータと、このフレーム画像が撮影されたときの映像入力部１１の状態に関するデータとを関連付けたテーブルである。
The video storage unit 12 stores a frame image obtained by digitizing the background video input by the video input unit 11.
The video storage unit 12 stores a “frame image related data table” and a “video input unit data table”.
The “frame image related data table” is a table in which data related to a frame image is associated with data related to the state of the video input unit 11 when the frame image is captured.
この「フレーム画像関連データテーブル」は、図３６に示すように、「（フレーム画像の）シリアル番号」と、「撮影時刻」と、「動作設定」と、「撮影角度」と、「倍率」とを項目として構成することができる。
「（フレーム画像の）シリアル番号」は、フレーム画像の１枚１枚に付された通し番号である。
「撮影時刻」は、そのフレーム画像が撮影された時刻を示す。
「動作設定」は、映像入力部１１の動作に関する設定を示す。この設定には、例えば、固定、パン、チルト、ズームなどがある。
As shown in FIG. 36, this “frame image related data table” includes “(frame image) serial number”, “shooting time”, “operation setting”, “shooting angle”, and “magnification”. Can be configured as an item.
The “serial number (of frame image)” is a serial number assigned to each frame image.
“Shooting time” indicates the time when the frame image was taken.
“Operation setting” indicates a setting related to the operation of the video input unit 11. Examples of this setting include fixing, panning, tilting, and zooming.
「撮影角度」は、映像入力部１１がパン又はチルトを行いながら背景映像を撮影する場合において、そのフレーム画像を撮影したときの映像入力部１１（撮影カメラ）の角度を示す。例えば、映像入力部１１がパンを行いながら、横方向に「−９０°〜＋９０°」の範囲で背景映像を撮影する場合において、そのフレーム画像が撮影されたときの「撮影角度」は、「＋３０°」などとすることができる。この「撮影角度」は、他に「−９０°」、「−６０°」、「−３０°」、「±０°」、「＋４５°」、「＋６０°」などの角度によって表すことができる。
「倍率」は、動作設定が「ズーム」の場合に、そのズーム倍率を示す。
“Shooting angle” indicates the angle of the video input unit 11 (shooting camera) when the video input unit 11 captures a frame image while panning or tilting. For example, when the video input unit 11 pans a background video in the range of “−90 ° to + 90 °” while panning, the “shooting angle” when the frame image is shot is “ + 30 ° ”. The “photographing angle” can be expressed by other angles such as “−90 °”, “−60 °”, “−30 °”, “± 0 °”, “+ 45 °”, “+ 60 °”. .
“Magnification” indicates the zoom magnification when the operation setting is “zoom”.
映像入力部データテーブルは、映像入力部１１に関するデータで構成されたテーブルである。
この映像入力部データテーブルは、図３７に示すように、「撮影範囲」と、「往復時間」と、「動作速度」と、「撮影時間帯」と、「設定変更時刻」とを項目として構成することができる。
「撮影範囲」は、映像入力部１１の動作設定がパン又はチルトの場合に、その撮影される範囲を示す。例えば、パンの場合には、横方向に「−９０°〜＋９０°」などとすることができる。
The video input unit data table is a table composed of data related to the video input unit 11.
As shown in FIG. 37, the video input unit data table includes “shooting range”, “round-trip time”, “operation speed”, “shooting time zone”, and “setting change time” as items. can do.
The “shooting range” indicates a shooting range when the operation setting of the video input unit 11 is pan or tilt. For example, in the case of bread, the horizontal direction may be “−90 ° to + 90 °”.
「往復時間」は、映像入力部１１が撮影範囲を１往復するのに要する時間を示す。
「動作速度」は、映像入力部１１が自ら動いて（カメラアングルを変えながら）背景映像を撮影するときの動く速度を示す。例えば、映像入力部１１がアクティブカメラの場合には、「動作速度」は、その回転速度又は回動速度を示す。また、映像入力部１１が自走カメラの場合には、「動作速度」は、走行速度を示す。
「撮影時間帯」は、映像入力部１１が背景映像を撮影する時間帯を示す。例えば、１日中撮影する場合は、「撮影時間帯」は、「２４時間」となる。また、朝７時から夜１１時まで撮影する場合は、「撮影時間帯」は、「07:00〜23:00」となる。
「設定変更時刻」は、「撮影範囲」等の項目の内容が変更されたときの時刻を示す。
The “round trip time” indicates the time required for the video input unit 11 to make one round trip of the shooting range.
The “operation speed” indicates a speed at which the video input unit 11 moves by itself (while changing the camera angle) to capture a background video. For example, when the video input unit 11 is an active camera, the “operation speed” indicates the rotation speed or the rotation speed. Further, when the video input unit 11 is a self-running camera, the “operation speed” indicates a running speed.
The “shooting time zone” indicates a time zone in which the video input unit 11 takes a background video. For example, when shooting all day, the “shooting time zone” is “24 hours”. In addition, when shooting from 7:00 am to 11:00 pm, the “shooting time zone” is “07: 00-23: 00”.
“Setting change time” indicates the time when the content of an item such as “shooting range” is changed.
特徴抽出手段２０は、特徴抽出部２１と、特徴記憶部２２とを有している。
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する。
The feature extraction unit 20 includes a feature extraction unit 21 and a feature storage unit 22.
The feature extraction unit 21 extracts a frame image from the video storage unit 12 and extracts feature points from the frame image.
特徴記憶部２２は、所定のメモリ領域を保持している。この特徴記憶部２２は、特徴抽出部２１で実行された処理に関する各種データを記憶する。特に、特徴記憶部２２は、「フレーム画像−特徴空間対応テーブル」と、「特徴点情報テーブル」と、「区画座標テーブル」と、「特徴点数分布図」と、「特徴点累計数分布図」とを記憶する。
「フレーム画像−特徴空間対応テーブル」は、図３８に示すように、フレーム画像のシリアル番号と、特徴空間のシリアル番号とを一対一で対応付けしたテーブルである。
「特徴点情報テーブル」は、図７又は図１２に示すテーブルである。
「区画座標テーブル」は、図１０に示す図表である。
「特徴点数分布図」は、図１１に示す図表である。
「特徴点累計数分布図」は、例えば、図１３（iv-11）〜（iv-15）又は図１４（iv-21）〜（iv-25）に示す図表である。
The feature storage unit 22 holds a predetermined memory area. The feature storage unit 22 stores various data related to the processing executed by the feature extraction unit 21. In particular, the feature storage unit 22 includes a “frame image-feature space correspondence table”, a “feature point information table”, a “section coordinate table”, a “feature point number distribution diagram”, and a “feature point cumulative number distribution diagram”. And remember.
As shown in FIG. 38, the “frame image / feature space correspondence table” is a table in which the serial number of the frame image and the serial number of the feature space are associated one to one.
The “feature point information table” is a table shown in FIG.
The “section coordinate table” is a chart shown in FIG.
The “feature point number distribution chart” is a chart shown in FIG.
The “feature point cumulative number distribution chart” is, for example, a chart shown in FIGS. 13 (iv-11) to (iv-15) or FIGS. 14 (iv-21) to (iv-25).
さらに、特徴記憶部２２は、「フレーム画像関連データテーブル」（図３６参照）や「映像入力部データテーブル」（図３７参照）を記憶することができる。この場合、特徴抽出部２１は、それら「フレーム画像関連データテーブル」等を映像記憶部１２から取り出して特徴記憶部２２に記憶させることができる。 Furthermore, the feature storage unit 22 can store a “frame image related data table” (see FIG. 36) and a “video input unit data table” (see FIG. 37). In this case, the feature extraction unit 21 can extract the “frame image related data table” and the like from the video storage unit 12 and store them in the feature storage unit 22.
動体検出手段３０ｄは、図３９に示すように、データ記憶部３１と、動体検出部３２とを有している。
データ記憶部３１は、「動体検出データテーブル」を記憶する。
「動体検出データテーブル」は、図４０に示すように、「フレーム画像のシリアル番号」と、「特徴空間のシリアル番号」と、「動体から抽出された特徴点の座標」と、「動体検出区画」とを項目として構成することができる。
「フレーム画像のシリアル番号」と「特徴空間のシリアル番号」は、「フレーム画像−特徴空間対応テーブル」（図３８参照）を構成する各項目である。
「動体から抽出された特徴点の座標」は、動体検出部３２が動体から抽出された特徴点を検出したときの、この特徴点の座標を示す。
「動体検出区画」は、動体検出部３２が動体から抽出された特徴点を検出したときの、この動体が位置する区画の座標を示す。
As illustrated in FIG. 39, the moving object detection unit 30 d includes a data storage unit 31 and a moving object detection unit 32.
The data storage unit 31 stores a “moving object detection data table”.
As shown in FIG. 40, the “moving object detection data table” includes a “frame image serial number”, a “feature space serial number”, “the coordinates of feature points extracted from the moving object”, and “moving object detection section”. Can be configured as an item.
The “frame image serial number” and the “feature space serial number” are items constituting the “frame image-feature space correspondence table” (see FIG. 38).
“The coordinates of the feature points extracted from the moving object” indicate the coordinates of the feature points when the moving object detection unit 32 detects the feature points extracted from the moving object.
The “moving object detection section” indicates the coordinates of the section where the moving object is located when the moving object detection unit 32 detects a feature point extracted from the moving object.
動体検出部３２は、特徴記憶部２２から特徴点累計数分布図における各区画ごとの特徴点の累計数を取り出す。次いで、動体検出部３２は、各区画ごとの特徴点の累計数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、動体検出部３２は、その特徴点の累計数を「０」にする処理を行う（図１５参照）。一方、１以上所定数以下の範囲に含まれるものがないときは、動体検出部３２は、「０」にする処理を行わない。
The moving object detection unit 32 extracts the total number of feature points for each section in the feature point cumulative number distribution chart from the feature storage unit 22. Next, the moving object detection unit 32 determines whether or not there is one included in the range of 1 or more and a predetermined number or less in the cumulative number of feature points for each section.
As a result of the determination, when there is one included in the range of 1 to a predetermined number, the moving object detection unit 32 performs a process of setting the cumulative number of the feature points to “0” (see FIG. 15). On the other hand, when there is nothing included in the range of 1 or more and the predetermined number or less, the moving object detection unit 32 does not perform the process of “0”.
続いて、動体検出部３２は、その「０」にする処理を行った区画の座標を抽出し、その区画の特徴点数を「０」として、特徴記憶部２２に記憶させる。
また、動体検出部３２は、特徴記憶部２２から「フレーム画像−特徴空間対応テーブル」を取り出す。そして、動体検出部３２は、その「フレーム画像−特徴空間対応テーブル」に、動体から抽出された特徴点の座標を「動体から抽出された特徴点の座標」として加え、さらに、「０」にする処理を行った区画の座標を「動体検出区画」として加え、これを「動体検出データテーブル」として、データ記憶部３１に記憶させる。
さらに、動体検出部３２は、「動体検出データテーブル」を映像入力制御手段７０ｄへ送る。
Subsequently, the moving object detection unit 32 extracts the coordinates of the section that has been processed to be “0”, and stores the number of feature points of the section as “0” in the feature storage unit 22.
In addition, the moving object detection unit 32 extracts the “frame image-feature space correspondence table” from the feature storage unit 22. Then, the moving object detection unit 32 adds the coordinates of the feature points extracted from the moving object to the “frame image-feature space correspondence table” as “coordinates of the feature points extracted from the moving object”, and further sets the coordinates to “0”. The coordinates of the section that has been processed are added as a “moving object detection section” and stored in the data storage unit 31 as a “moving object detection data table”.
Further, the moving object detection unit 32 sends a “moving object detection data table” to the video input control means 70d.
なお、動体検出部３２は、特徴記憶部２２から「フレーム画像関連データテーブル」や「映像入力部データテーブル」を取り出してデータ記憶部３１に記憶させることができる。また、動体検出部３２は、そのデータを映像入力制御手段７０ｄへ送ることができる。 The moving object detection unit 32 can extract the “frame image related data table” and the “video input unit data table” from the feature storage unit 22 and store them in the data storage unit 31. The moving object detection unit 32 can send the data to the video input control means 70d.
映像入力制御手段７０ｄは、図４１に示すように、制御情報記憶部７１と、第一通信部７２と、第二通信部７３と、カメラ動作特定部７４と、動体範囲特定部７５と、カメラ制御特定部７６とを有している。
制御情報記憶部７１は、所定のメモリ領域を有している。この制御情報記憶部７１は、「動体検出データテーブル」と、「フレーム画像関連データテーブル」と、「映像入力部データテーブル」とを記憶する。
As shown in FIG. 41, the video input control means 70d includes a control information storage unit 71, a first communication unit 72, a second communication unit 73, a camera operation specifying unit 74, a moving object range specifying unit 75, and a camera. And a control specifying unit 76.
The control information storage unit 71 has a predetermined memory area. The control information storage unit 71 stores a “moving object detection data table”, a “frame image related data table”, and a “video input unit data table”.
第一通信部７２は、動体検出手段３０ｄから送られてきた「動体検出データテーブル」を受け取って制御情報記憶部７１に記憶させる。なお、第一通信部７２は、動体検出手段３０ｄから、「フレーム画像関連データテーブル」や「映像入力部データテーブル」が送られてきたときは、これらを受け取って制御情報記憶部７１に記憶させることができる。
第二通信部７３は、映像記憶部１２から「フレーム画像関連データテーブル」と「映像入力部データテーブル」とを取り出すと、これらを制御情報記憶部７１に記憶させる。
また、第二通信部７３は、カメラ制御特定部７６で特定された撮影範囲又は撮影時間を映像入力手段１０へ送る。
The first communication unit 72 receives the “moving object detection data table” sent from the moving object detection unit 30 d and stores it in the control information storage unit 71. The first communication unit 72 receives the “frame image related data table” and the “video input unit data table” from the moving object detection unit 30d and stores them in the control information storage unit 71. be able to.
When the second communication unit 73 extracts the “frame image related data table” and the “video input unit data table” from the video storage unit 12, the second communication unit 73 stores them in the control information storage unit 71.
Further, the second communication unit 73 sends the shooting range or shooting time specified by the camera control specifying unit 76 to the video input means 10.
カメラ動作特定部７４は、制御情報記憶部７１に記憶されている「動体検出データテーブル」を参照し、「動体検出区画」の項目に記憶されているデータを取り出す。
この「動体検出区画」のデータの中に、特定の区画を示す区画座標があるときは、その区画座標に関連付けられたフレーム画像のシリアル番号を「動体検出データテーブル」から取り出す。
具体的には、例えば、図４０に示す「動体検出データテーブル」においては、「動体検出区画」に「（7,6）、（7,7）、（8,6）、（8,7）」のデータが記憶されている。カメラ動作特定部７４は、このデータと、このデータに関連付けられたフレーム画像のシリアル番号「i-23」とを取り出す。
The camera operation specifying unit 74 refers to the “moving object detection data table” stored in the control information storage unit 71 and extracts the data stored in the item “moving object detection section”.
If the data of the “moving object detection section” includes section coordinates indicating a specific section, the serial number of the frame image associated with the section coordinates is extracted from the “moving object detection data table”.
Specifically, for example, in the “moving object detection data table” shown in FIG. 40, “(7,6), (7,7), (8,6), (8,7)” Is stored. The camera operation specifying unit 74 extracts this data and the serial number “i-23” of the frame image associated with this data.
次いで、カメラ動作特定部７４は、制御情報記憶部７１に記憶されている「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた、「動作設定」の項目に記憶されているデータを取り出す。
具体的には、カメラ動作特定部７４は、図３６に示す「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」である「i-23」に関連付けられた「動作設定」のデータ「パン」を取り出す。なお、第一実施形態においては、シリアル番号「i-23」のフレーム画像は、「動作設定」が「固定」になっているが、本実施形態においては、「動作設定」が「パン」であるものとする。
Next, the camera operation specifying unit 74 refers to the “frame image related data table” stored in the control information storage unit 71 and stores it in the “operation setting” item associated with the “frame image serial number”. Retrieve the stored data.
Specifically, the camera operation specifying unit 74 refers to the “frame image related data table” shown in FIG. 36, and sets the “operation setting” associated with “i-23” which is the “frame image serial number”. Retrieve the data “pan”. In the first embodiment, the frame number of serial number “i-23” has “fixed” in “operation setting”, but in this embodiment, “operation setting” is “pan”. It shall be.
続いて、カメラ動作特定部７４は、取り出した「動作設定」に関するデータにもとづいて、映像入力部１１の動作設定を特定する。
例えば、「フレーム画像関連データテーブル」の「動作設定」から取り出したデータが「固定」であるときは、カメラ動作特定部７４は、映像入力部１１の動作設定が「固定」であるとして特定する。
また、「動作設定」から取り出したデータが「パン」又は「チルト」であるときは、カメラ動作特定部７４は、映像入力部１１の動作設定が「パン」又は「チルト」であるとして特定する。
さらに、「動作設定」から取り出したデータが「ズーム」であるときは、カメラ動作特定部７４は、映像入力部１１の動作設定が「ズーム」であるとして特定する。
そして、カメラ動作特定部７４は、特定した「動作設定」と、「フレーム画像のシリアル番号」と、「動作検出区画」を動体範囲特定部７５へ送る。
Subsequently, the camera operation specifying unit 74 specifies the operation setting of the video input unit 11 based on the extracted data related to “operation setting”.
For example, when the data extracted from the “operation setting” in the “frame image related data table” is “fixed”, the camera operation specifying unit 74 specifies that the operation setting of the video input unit 11 is “fixed”. .
When the data extracted from the “operation setting” is “pan” or “tilt”, the camera operation specifying unit 74 specifies that the operation setting of the video input unit 11 is “pan” or “tilt”. .
Further, when the data extracted from the “operation setting” is “zoom”, the camera operation specifying unit 74 specifies that the operation setting of the video input unit 11 is “zoom”.
Then, the camera operation specifying unit 74 sends the specified “operation setting”, “serial number of frame image”, and “motion detection section” to the moving object range specifying unit 75.
動体範囲特定部７５は、「動作設定」が「パン」、「チルト」、「ズーム」である場合には、制御情報記憶部７１から所定のデータを取り出す。
例えば、「動作設定」が「パン」又は「チルト」であるときは、動体範囲特定部７５は、制御情報記憶部７１に記憶されている「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影角度」を取り出す。このとき、動体範囲特定部７５は、「撮影時刻」を取り出すこともできる。
また、「動作設定」が「パン」又は「チルト」であるときは、動体範囲特定部７５は、制御情報記憶部７１に記憶されている「映像入力部データテーブル」を参照し、「撮影範囲」を取り出す。このとき、動体範囲特定部７５は、「往復時間」や「動作速度」を取り出すこともできる。
さらに、「動作設定」が「ズーム」であるときは、動体範囲特定部７５は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「倍率」を取り出す。
When the “motion setting” is “pan”, “tilt”, or “zoom”, the moving object range specifying unit 75 retrieves predetermined data from the control information storage unit 71.
For example, when the “motion setting” is “pan” or “tilt”, the moving object range specifying unit 75 refers to the “frame image related data table” stored in the control information storage unit 71, and The “shooting angle” associated with the “serial number” is extracted. At this time, the moving object range specifying unit 75 can also extract the “shooting time”.
When the “motion setting” is “pan” or “tilt”, the moving object range specifying unit 75 refers to the “video input unit data table” stored in the control information storage unit 71 and sets the “shooting range”. "Is taken out. At this time, the moving object range specifying unit 75 can also extract “reciprocation time” and “operation speed”.
Further, when the “motion setting” is “zoom”, the moving object range specifying unit 75 refers to the “frame image related data table” and extracts the “magnification” associated with the “serial number of the frame image”.
次いで、動体範囲特定部７５は、各種データにもとづいて、映像入力部１１の最大撮影範囲における動体の出現範囲を特定する。
例えば、「動作設定」が「固定」の場合、図４２に示すように、映像入力部１１の撮影範囲は、フレーム画像の大きさと一致する。この場合、動体が出現する範囲は、「動体検出区画」と一致する。動体範囲特定部７５は、この「動体検出区画」を、撮影制限範囲とする。
Next, the moving object range specifying unit 75 specifies the appearance range of the moving object in the maximum shooting range of the video input unit 11 based on various data.
For example, when “operation setting” is “fixed”, as shown in FIG. 42, the shooting range of the video input unit 11 matches the size of the frame image. In this case, the range in which the moving object appears matches the “moving object detection section”. The moving object range specifying unit 75 sets this “moving object detection section” as a photographing restriction range.
また、「動作設定」が「パン」の場合、図４３に示すように、映像入力部１１の最大撮影範囲は、縦方向は、フレーム画像の高さと一致するが、横方向は、フレーム画像の横の長さよりもさらに長くなる。
ここで、映像入力部１１の最大撮影範囲におけるフレーム画像の範囲は、そのフレーム画像が撮影されたときの映像入力部１１の撮影角度によって決まる。例えば、映像入力部１１の最大撮影範囲が左右方向に「−９０°〜＋９０°」であって、フレーム画像が撮影されたときの映像入力部１１の撮影角度が「−３０°」であるときは、この「−３０°」を中心とする範囲がフレーム画像の範囲となる。
When the “operation setting” is “pan”, as shown in FIG. 43, the maximum shooting range of the video input unit 11 matches the height of the frame image in the vertical direction, but the horizontal direction indicates the frame image. Even longer than the horizontal length.
Here, the frame image range in the maximum shooting range of the video input unit 11 is determined by the shooting angle of the video input unit 11 when the frame image is shot. For example, when the maximum shooting range of the video input unit 11 is “−90 ° to + 90 °” in the left-right direction, and the shooting angle of the video input unit 11 when a frame image is shot is “−30 °”. The range centered on “−30 °” is the frame image range.
また、映像入力部１１の最大撮影範囲におけるフレーム画像の範囲は、そのフレーム画像が撮影された時刻によって決めることができる。例えば、映像入力部１１の最大撮影範囲を１往復するのに「２０秒」かかるものとし、フレーム画像の撮影時刻が往復動作の開始から「５秒」のところであるときは、この「５秒」のところを中心とした範囲がフレーム画像の範囲となる。なお、「５秒」については、「フレーム画像関連データテーブル」の「撮影時刻」又は「動作速度」を用いて算出することができる。
そして、動体が出現する範囲は、フレーム画像における動体検出区画の範囲と一致する。動体範囲特定部７５は、この動体検出区画を、撮影制限範囲とする。
The range of the frame image in the maximum shooting range of the video input unit 11 can be determined by the time when the frame image was shot. For example, it is assumed that it takes “20 seconds” to make one round trip of the maximum shooting range of the video input unit 11, and when the shooting time of the frame image is “5 seconds” from the start of the round trip operation, this “5 seconds”. The range centering on this is the frame image range. Note that “5 seconds” can be calculated using “shooting time” or “operation speed” of the “frame image related data table”.
The range in which the moving object appears matches the range of the moving object detection section in the frame image. The moving object range specifying unit 75 sets the moving object detection section as a photographing restriction range.
さらに、「動作設定」が「チルト」の場合、図４４に示すように、映像入力部１１の最大撮影範囲は、横方向は、フレーム画像の横の長さと一致するが、縦方向は、フレーム画像の高さよりもさらに長くなる。
ここで、映像入力部１１の最大撮影範囲におけるフレーム画像の範囲は、そのフレーム画像が撮影されたときの映像入力部１１の撮影角度によって決まる。例えば、映像入力部１１の最大撮影範囲が上下方向に「＋９０°〜−９０°」であって、フレーム画像が撮影されたときの映像入力部１１の撮影角度が「−３０°」であるときは、この「−３０°」を中心とする範囲がフレーム画像の範囲となる。
Further, when the “operation setting” is “tilt”, as shown in FIG. 44, the maximum shooting range of the video input unit 11 corresponds to the horizontal length of the frame image in the horizontal direction, but the vertical direction indicates the frame It becomes longer than the height of the image.
Here, the frame image range in the maximum shooting range of the video input unit 11 is determined by the shooting angle of the video input unit 11 when the frame image is shot. For example, when the maximum shooting range of the video input unit 11 is “+ 90 ° to −90 °” in the vertical direction, and the shooting angle of the video input unit 11 when a frame image is shot is “−30 °”. The range centered on “−30 °” is the frame image range.
また、映像入力部１１の最大撮影範囲におけるフレーム画像の範囲は、そのフレーム画像が撮影された時刻によって決めることができる。例えば、映像入力部１１の最大撮影範囲を１往復するのに「２０秒」かかるものとし、フレーム画像の撮影時刻が往復動作の開始から「５秒」のところであるときは、この「５秒」のところを中心とした範囲がフレーム画像の範囲となる。
そして、動体が出現する範囲は、フレーム画像における動体検出区画の範囲と一致する。動体範囲特定部７５は、この動体検出区画を、撮影制限範囲とする。
The range of the frame image in the maximum shooting range of the video input unit 11 can be determined by the time when the frame image was shot. For example, it is assumed that it takes “20 seconds” to make one round trip of the maximum shooting range of the video input unit 11, and when the shooting time of the frame image is “5 seconds” from the start of the round trip operation, this “5 seconds”. The range centering on this is the frame image range.
The range in which the moving object appears matches the range of the moving object detection section in the frame image. The moving object range specifying unit 75 sets the moving object detection section as a photographing restriction range.
また、「動作設定」が「ズーム」の場合、映像入力部１１の最大撮影範囲は、映像入力部１１の仕様によって決まる。
例えば、映像入力部１１のズーム倍率が１倍から１０倍まで可変であるとき、この最大撮影範囲は、倍率１倍のときに撮影される範囲となる。
また、映像入力部１１の最大撮影範囲におけるフレーム画像の範囲は、図４５に示すように、フレーム画像が撮影されたときの倍率によって決まる。
例えば、フレーム画像が撮影されたときの倍率が「３倍」であるときは、この「３倍」の倍率で撮影された範囲がフレーム画像の範囲となる。
そして、動体が出現する範囲は、フレーム画像における動体検出区画の範囲と一致する。動体範囲特定部７５は、この動体検出区画を、撮影制限範囲とする。
When “operation setting” is “zoom”, the maximum shooting range of the video input unit 11 is determined by the specifications of the video input unit 11.
For example, when the zoom magnification of the video input unit 11 is variable from 1 × to 10 ×, the maximum shooting range is a range that is shot when the magnification is 1 ×.
The range of the frame image in the maximum shooting range of the video input unit 11 is determined by the magnification when the frame image is shot, as shown in FIG.
For example, when the magnification when the frame image is captured is “3 ×”, the range captured at this “3 ×” magnification is the range of the frame image.
The range in which the moving object appears matches the range of the moving object detection section in the frame image. The moving object range specifying unit 75 sets the moving object detection section as a photographing restriction range.
なお、図４５は、（「ズーム」の場合の最大撮影範囲）（倍率１倍）と、（フレーム画像の範囲）（倍率３倍）とを表している。ここで、図４５に表している（「ズーム」の場合の最大撮影範囲）と（フレーム画像の範囲）とを比較すると、必ずしも「倍率１倍」に対する「倍率３倍」にはなっていない。図４５は、主として、（「ズーム」の場合の最大撮影範囲）の中に（フレーム画像の範囲）があり、さらにその中に「動体検出区画」があることを示したものである。 FIG. 45 shows (maximum photographing range in the case of “zoom”) (magnification 1 ×) and (frame image range) (magnification 3 ×). Here, when comparing (maximum shooting range in the case of “zoom”) and (frame image range) shown in FIG. 45, it is not necessarily “3 × magnification” with respect to “1 × magnification”. FIG. 45 mainly shows that (maximum imaging range in the case of “zoom”) includes (frame image range), and further includes “moving object detection section”.
また、動体範囲特定部７５は、カメラ動作特定部７４から送られてきた各種データにもとづいて、動体の出現時間を特定することができる。
この動体の出現時間の特定は、フレーム画像の「撮影時刻」を用いて行うことができる。例えば、１３時２５分５０秒に撮影されたフレーム画像に動体が映し出されている場合、動体の出現時間は、１３時２５分５０秒とすることができる。また、１３時２５分５０秒、１３時２５分５５秒、１３時２６分００秒にそれぞれ撮影されたフレーム画像に動体が映し出されている場合、動体の出現時間は、１３時２５分５０秒〜１３時２６分００秒とすることができる。さらに、１週間撮影を行った場合において、毎日同じ時刻（例えば、１３時２５分５０秒）に撮影したフレーム画像のいずれにも動体が映し出されていた場合、動体の出現時間は、１３時２５分５０秒とすることができる。
動体範囲特定部７５は、この動体の出現時間を、撮影制限時間とすることができる。
In addition, the moving object range specifying unit 75 can specify the appearance time of the moving object based on various data sent from the camera operation specifying unit 74.
The appearance time of the moving object can be specified using the “shooting time” of the frame image. For example, when a moving object is displayed in a frame image captured at 13:25:50, the appearance time of the moving object can be 13:25:50. In addition, when a moving object is displayed in the frame images captured at 13:25:50, 13:25:55, and 13:26:00, the appearance time of the moving object is 13:25:50 It can be set to ˜13: 26: 00. Furthermore, when shooting is performed for one week, if a moving object is displayed on any of the frame images taken at the same time (for example, 13:25:50) every day, the appearance time of the moving object is 13:25. It can be 50 minutes.
The moving object range specifying unit 75 can set the appearance time of this moving object as a photographing time limit.
カメラ制御特定部７６は、動体範囲特定部７５で算出された撮影制限範囲又は撮影制限時間を用いて、映像入力部１１の制御方法を特定する。
例えば、動体範囲特定部７５で算出された撮影制限範囲が図４２に示す範囲であった場合、カメラ制御特定部７６は、図４６に示すように、フレーム画像の範囲のうち、撮影制限範囲を含んだ部分を隠蔽範囲とし、この隠蔽範囲以外の部分を新たな撮影範囲として特定することができる。
また、動体範囲特定部７５で算出された撮影制限範囲が図４２に示す範囲であった場合、カメラ制御特定部７６は、図４７に示すように、撮影制限範囲を外すようにフレーム画像の範囲を移動して新たな撮影範囲を特定することができる。
The camera control specifying unit 76 specifies the control method of the video input unit 11 using the shooting limit range or the shooting limit time calculated by the moving object range specifying unit 75.
For example, when the shooting limit range calculated by the moving object range specifying unit 75 is the range shown in FIG. 42, the camera control specifying unit 76 sets the shooting limit range in the range of frame images as shown in FIG. The included portion can be used as a concealment range, and a portion other than the concealment range can be specified as a new photographing range.
Further, when the shooting limit range calculated by the moving object range specifying unit 75 is the range shown in FIG. 42, the camera control specifying unit 76, as shown in FIG. Can be moved to specify a new shooting range.
さらに、動体範囲特定部７５で算出された撮影制限範囲が図４３に示す範囲であった場合、カメラ制御特定部７６は、図４８に示すように、映像入力部１１の最大撮影範囲のうち、撮影制限範囲を含まない部分を新たな撮影範囲として特定する。これは、映像入力部１１の撮影範囲が撮影制限範囲に差し掛かると、映像入力部１１のパン動作をそのまま続けながら、映像入力を中止する。その後、映像入力部１１の撮影範囲が撮影制限範囲から外れると、映像入力を再開する。 Further, when the shooting limit range calculated by the moving object range specifying unit 75 is the range shown in FIG. 43, the camera control specifying unit 76, among the maximum shooting ranges of the video input unit 11, as shown in FIG. A portion that does not include the shooting limit range is specified as a new shooting range. When the shooting range of the video input unit 11 reaches the shooting limit range, the video input is stopped while continuing the pan operation of the video input unit 11 as it is. Thereafter, when the shooting range of the video input unit 11 is out of the shooting limit range, the video input is resumed.
また、動体範囲特定部７５で算出された撮影制限範囲が図４４に示す範囲であった場合、カメラ制御特定部７６は、図４９に示すように、映像入力部１１の最大撮影範囲のうち、撮影制限範囲を含まない部分を新たな撮影範囲として特定する。これは、映像入力部１１の撮影範囲が撮影制限範囲に差し掛かると、映像入力部１１のチルト動作をそのまま続けながら、映像入力を中止する。その後、映像入力部１１の撮影範囲が撮影制限範囲から外れると、映像入力を再開する。 If the shooting limit range calculated by the moving object range specifying unit 75 is the range shown in FIG. 44, the camera control specifying unit 76, as shown in FIG. 49, out of the maximum shooting range of the video input unit 11, A portion that does not include the shooting limit range is specified as a new shooting range. When the shooting range of the video input unit 11 reaches the shooting limit range, the video input is stopped while the tilt operation of the video input unit 11 is continued. Thereafter, when the shooting range of the video input unit 11 is out of the shooting limit range, the video input is resumed.
さらに、動体範囲特定部７５で算出された撮影制限範囲が図４５に示す範囲であった場合、カメラ制御特定部７６は、図５０に示すように、映像入力部１１の最大撮影範囲のうち、撮影制限範囲を含まない部分を新たな撮影範囲として特定する。この場合、新たな撮影範囲まで拡大したときの倍率を映像入力部１１に設定することになる。 Further, when the shooting limit range calculated by the moving object range specifying unit 75 is the range shown in FIG. 45, the camera control specifying unit 76, as shown in FIG. 50, out of the maximum shooting range of the video input unit 11, A portion that does not include the shooting limit range is specified as a new shooting range. In this case, the magnification when the image is expanded to a new shooting range is set in the video input unit 11.
また、動体範囲特定部７５で算出された撮影制限時間が「１３時２５分５０秒〜１３時２６分００秒」であった場合、カメラ制御特定部７６は、「１３時２５分５０秒〜１３時２６分００秒」以外の時間を新たな撮影時間として特定する。つまり、２４時間の撮影時間において、００時００分００秒から１３時２６分００秒までは撮影を行い、１３時２５分５０秒から１３時２６分００秒までは撮影を中止し、１３時２６分００秒から２４時００分００秒までは撮影を行うようにする。 When the photographing limit time calculated by the moving object range specifying unit 75 is “13:25:50 to 13:26:00”, the camera control specifying unit 76 sets “13:25:50 to A time other than “13:26:00” is specified as a new shooting time. That is, in the shooting time of 24 hours, shooting is performed from 00:00:00 to 13:26:00, and shooting is stopped from 13:25:50 to 13:26:00, and 13:00 Shooting is performed from 26:00 to 24:00:00.
次いで、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を制御情報記憶部７１に記憶させる。また、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を、第二通信部７３を介して映像入力手段１０へ送る。 Next, the camera control specifying unit 76 causes the control information storage unit 71 to store the specified shooting range or shooting time. In addition, the camera control specifying unit 76 sends the specified shooting range or shooting time to the video input means 10 via the second communication unit 73.
映像入力手段１０の映像入力部１１は、第二通信部７３から送られてきた撮影範囲又は撮影時間にしたがって、背景映像を撮影する。
映像記憶部１２は、第二通信部７３から送られてきた撮影範囲又は撮影時間を記憶する。
なお、第二通信部７３から送られてきた撮影範囲が、図４６に示すように、フレーム画像の一部を隠蔽するものであるときは、映像入力部１１は、撮影用レンズにおいて、その隠蔽範囲に対応する部分をマスクすることができる。また、映像入力部１１は、動体検出区画を含む背景映像を入力し、特徴抽出部２１は、隠蔽範囲について特徴点を抽出しないようにすることもできる。
The video input unit 11 of the video input means 10 shoots a background video according to the shooting range or shooting time sent from the second communication unit 73.
The video storage unit 12 stores the shooting range or the shooting time sent from the second communication unit 73.
In addition, when the imaging range sent from the second communication unit 73 is to conceal a part of the frame image as shown in FIG. 46, the video input unit 11 includes the concealment in the photographing lens. The part corresponding to the range can be masked. Further, the video input unit 11 can input a background video including a moving object detection section, and the feature extraction unit 21 can prevent the feature point from being extracted for the concealment range.
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出す。次いで、特徴抽出部２１は、その取り出したフレーム画像にもとづいて、特徴点を抽出する。続いて、特徴抽出部２１は、抽出した特徴点の座標を、特徴記憶部２２に記憶させる。
ここで、映像入力部１１の撮影範囲が変更されたときは、特徴抽出部２１は、特徴記憶部２２に記憶されている特徴点の座標を更新する。これは、背景映像が変更されることで、特異特徴が変わってしまうからである。
そして、特徴抽出部２１は、更新後の特徴点が配置された特徴空間を用いて、メッシュを掛け、各区画ごとに特徴点の数を算出する。
The feature extraction unit 21 of the feature extraction unit 20 extracts a frame image from the video storage unit 12. Next, the feature extraction unit 21 extracts feature points based on the extracted frame image. Subsequently, the feature extraction unit 21 stores the coordinates of the extracted feature points in the feature storage unit 22.
Here, when the shooting range of the video input unit 11 is changed, the feature extraction unit 21 updates the coordinates of the feature points stored in the feature storage unit 22. This is because the peculiar feature changes when the background video is changed.
Then, the feature extraction unit 21 multiplies the mesh using the feature space in which the updated feature points are arranged, and calculates the number of feature points for each section.
次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図５１を参照して説明する。
同図は、本実施形態のマーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ｄにおいて、映像入力部１１は、背景映像を入力する（ステップ５０）。映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
Next, the operation (marker generation method) of the marker generation device of this embodiment will be described with reference to FIG.
This figure is a flowchart showing the processing procedure of the marker generation method of the present embodiment.
In the marker generation device 1d, the video input unit 11 inputs a background video (step 50). The video storage unit 12 stores the background video input by the video input unit 11 as a frame image.
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ５１）。
また、特徴抽出部２１は、抽出した特徴点の座標を算出する（ステップ５２）。この算出した座標は、特徴記憶部２２に記憶される。
The feature extraction unit 21 extracts a frame image from the video storage unit 12 and extracts feature points from the frame image (step 51).
The feature extraction unit 21 calculates the coordinates of the extracted feature points (step 52). The calculated coordinates are stored in the feature storage unit 22.
特徴抽出部２１は、特徴空間にメッシュを掛けて区画化する（ステップ５３）。
次いで、特徴抽出部２１は、各区画ごとに特徴点の数を算出する（ステップ５４）。特徴記憶部２２は、特徴抽出部２１で算出された各区画ごとの特徴点数を記憶する。
The feature extraction unit 21 partitions the feature space by applying a mesh (step 53).
Next, the feature extraction unit 21 calculates the number of feature points for each section (step 54). The feature storage unit 22 stores the number of feature points for each section calculated by the feature extraction unit 21.
続いて、動体検出手段３０ｄは、特徴記憶部２２から、区画ごとの特徴点数を取り出す。そして、動体検出手段３０ｄは、区画ごとの特徴点数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する（ステップ５５）。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、その特徴点数を「０」にする処理を行う（ステップ５６）。そして、動体検出手段３０ｄは、特徴点数を「０」にしたときは、続いて、映像入力制御を行う（ステップ５７）。なお、映像入力制御の詳細については、後記の「映像入力制御の処理手順」で詳述する。
一方、１以上所定数以下の範囲に含まれるものがないときは、特徴点数を「０」にする処理は行わない。
Subsequently, the moving object detection unit 30d extracts the number of feature points for each section from the feature storage unit 22. Then, the moving object detection unit 30d determines whether or not there is one included in the range of 1 or more and a predetermined number or less among the number of feature points for each section (step 55).
As a result of the determination, if there is one included in the range of 1 to a predetermined number, the number of feature points is set to “0” (step 56). When the number of feature points is set to “0”, the moving object detection unit 30d subsequently performs video input control (step 57). The details of the video input control will be described in detail later in the “video input control processing procedure”.
On the other hand, when there is nothing included in the range from 1 to the predetermined number, the process of setting the number of feature points to “0” is not performed.
特異特徴選択手段４０の特異特徴選択部４１は、特徴記憶部２２から各区画ごとの特徴点を取り出す。このとき、特異特徴選択部４１は、動体検出手段３０ｄで特徴点数を「０」にする処理が行われた後の各区画ごとの特徴点を取り出す。
そして、特異特徴選択部４１は、各区画ごとの特徴点の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ５８）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
The singular feature selection unit 41 of the singular feature selection unit 40 extracts the feature points for each section from the feature storage unit 22. At this time, the singular feature selection unit 41 extracts the feature points for each section after the moving object detection unit 30d performs the process of setting the number of feature points to “0”.
Then, the unique feature selection unit 41 selects 0 or a predetermined number or less from the feature points for each section, and designates this as a unique feature (step 58).
The singular feature storage unit 42 stores the coordinates of the sections determined as the singular features by the unique feature selection unit 41.
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ５９）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
The marker pattern generation unit 51 of the marker pattern generation unit 50 takes out the coordinates of the unique features from the unique feature storage unit 42. Then, the marker pattern generation unit 51 generates a marker pattern based on the coordinates of the unique feature (step 59).
The marker storage unit 52 stores data related to the marker pattern generated by the marker pattern generation unit 51.
次に、映像入力制御の処理手順について、図５２を参照して説明する。
映像入力制御手段７０ｄの第一通信部７２は、動体検出手段３０ｄから送られてきた「動体検出データテーブル」を受け取って、制御情報記憶部７１に記憶させる。
第二通信部７３は、映像記憶部１２から「フレーム画像関連データテーブル」と「映像入力部データテーブル」とを取り出すと、これらを制御情報記憶部７１に記憶させる。
Next, the processing procedure of video input control will be described with reference to FIG.
The first communication unit 72 of the video input control unit 70d receives the “moving object detection data table” sent from the moving object detection unit 30d and stores it in the control information storage unit 71.
When the second communication unit 73 extracts the “frame image related data table” and the “video input unit data table” from the video storage unit 12, the second communication unit 73 stores them in the control information storage unit 71.
カメラ動作特定部７４は、「動体検出データテーブル」を参照して、データが記憶された「動体から抽出された特徴点の座標」と、「動体検出区画」と、これらに関連付けられた「フレーム画像のシリアル番号」とを取り出す。
次いで、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」を用いて、これに関連付けられた「動作設定」を取り出す。
カメラ動作特定部７４は、この取り出した「動作設定」にもとづいて、映像入力部１１の動作設定を特定する（ステップ６０）。
ここで、特定される動作設定には、「固定」、「パン」、「チルト」、「ズーム」などがある。
The camera motion identifying unit 74 refers to the “moving object detection data table”, stores “data of feature points extracted from the moving object”, “moving object detection section”, and “frame” associated with these. “Image serial number” is taken out.
Next, the camera operation specifying unit 74 refers to the “frame image related data table” and uses the “frame image serial number” to extract the “operation setting” associated therewith.
The camera operation specifying unit 74 specifies the operation setting of the video input unit 11 based on the extracted “operation setting” (step 60).
Here, the specified operation settings include “fixed”, “pan”, “tilt”, “zoom”, and the like.
続いて、カメラ動作特定部７４は、特定した動作設定にもとづいて、制御情報記憶部７１から所定のデータを取り出す（ステップ６１）。
例えば、動作設定が「パン」又は「チルト」の場合、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影角度」を取り出す。また、カメラ動作特定部７４は、「映像入力部データテーブル」を参照し、「撮影範囲」、「往復時間」、「動作速度」などを取り出す。
Subsequently, the camera operation specifying unit 74 extracts predetermined data from the control information storage unit 71 based on the specified operation setting (step 61).
For example, when the operation setting is “pan” or “tilt”, the camera operation specifying unit 74 refers to the “frame image related data table” and extracts the “shooting angle” associated with the “serial number of the frame image”. . Further, the camera operation specifying unit 74 refers to the “video input unit data table” and extracts “shooting range”, “round trip time”, “operation speed”, and the like.
さらに、例えば、動作設定が「ズーム」の場合、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「倍率」を取り出す。
また、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影時刻」を取り出すことができる。さらに、この場合、カメラ動作特定部７４は、「映像入力部データテーブル」を参照し、「撮影時間帯」を取り出すことができる。
そして、カメラ動作特定部７４は、制御情報記憶部７１から取り出した各種データを動体範囲特定部７５へ送る。
Further, for example, when the operation setting is “zoom”, the camera operation specifying unit 74 refers to the “frame image related data table” and extracts the “magnification” associated with the “serial number of the frame image”.
Further, the camera operation specifying unit 74 can retrieve the “shooting time” associated with the “serial number of the frame image” with reference to the “frame image related data table”. Further, in this case, the camera operation specifying unit 74 can retrieve the “shooting time zone” with reference to the “video input unit data table”.
Then, the camera operation specifying unit 74 sends various data extracted from the control information storage unit 71 to the moving object range specifying unit 75.
動体範囲特定部７５は、カメラ動作特定部７４から送られてきた各種データにもとづいて、映像入力部１１の最大撮影範囲における動体の出現範囲を特定する（ステップ６２）。また、動体範囲特定部７５は、カメラ動作特定部７４から送られてきた各種データにもとづいて、動体の出現時間を特定することができる。 The moving object range specifying unit 75 specifies the appearance range of the moving object in the maximum shooting range of the video input unit 11 based on the various data transmitted from the camera operation specifying unit 74 (step 62). In addition, the moving object range specifying unit 75 can specify the appearance time of the moving object based on various data sent from the camera operation specifying unit 74.
カメラ制御特定部７６は、動体範囲特定部７５で算出された撮影制限範囲又は撮影制限時間を用いて、映像入力部１１の新たな撮影範囲を特定する（ステップ６３）。
次いで、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を制御情報記憶部７１に記憶させる。また、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を、第二通信部７３を介して映像入力手段１０へ送る。
The camera control specifying unit 76 specifies a new shooting range of the video input unit 11 using the shooting limit range or the shooting limit time calculated by the moving object range specifying unit 75 (step 63).
Next, the camera control specifying unit 76 causes the control information storage unit 71 to store the specified shooting range or shooting time. In addition, the camera control specifying unit 76 sends the specified shooting range or shooting time to the video input means 10 via the second communication unit 73.
映像入力手段１０の映像入力部１１は、第二通信部７３から送られてきた撮影範囲又は撮影時間にしたがって、背景映像を撮影する（撮影入力制御、ステップ６４）。
また、映像入力部１１の撮影範囲が新たな撮影範囲に更新されると、特徴抽出部２１は、特徴記憶部２２に記憶されている特徴点の座標を更新する。
The video input unit 11 of the video input unit 10 shoots a background video according to the shooting range or shooting time sent from the second communication unit 73 (shooting input control, step 64).
When the shooting range of the video input unit 11 is updated to a new shooting range, the feature extraction unit 21 updates the coordinates of the feature points stored in the feature storage unit 22.
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力手段が入力した複数のフレーム画像のすべてを用いてマーカパターンを生成することとしたので、複数枚の背景映像を撮影するカメラが映像入力手段として使用された場合でも、頑健性の高いマーカパターンを生成できる。
また、映像入力制御手段が映像入力部を制御して、この映像入力部が動体（低出現物体）を撮影しないようにすることができる。これにより、動体等の影響を受けることなく、最適なマーカパターンを安定的に生成できる。
As described above, according to the marker generation device and the marker generation method of the present embodiment, the marker pattern is generated using all of the plurality of frame images input by the video input unit. Even when a camera that shoots video is used as video input means, a highly robust marker pattern can be generated.
Further, the video input control unit can control the video input unit so that the video input unit does not capture moving objects (low-appearance objects). Thereby, an optimal marker pattern can be stably generated without being affected by a moving body or the like.
なお、本実施形態においては、動体検出手段３０ｄが、特徴点累計数分布図における各区画ごとの特徴点数にもとづいて動体から抽出された特徴点を検出し、この特徴点が位置する区画の座標を算出し、この動体検出区画に関するデータを映像入力制御手段７０ｄへ送っていたが、この方法に限るものではなく、例えば、図５３に示すように、映像入力手段１０で入力されたフレーム画像にもとづいて動体検出手段３０ｅが動体を検出し、この動体に関するデータを映像入力制御手段７０ｅへ送ることもできる。 In the present embodiment, the moving object detection unit 30d detects the feature points extracted from the moving object based on the number of feature points for each section in the feature point cumulative number distribution map, and the coordinates of the section where the feature points are located. However, the present invention is not limited to this method. For example, as shown in FIG. 53, a frame image input by the video input unit 10 is added to the frame image input by the video input control unit 70d. On the basis of this, the moving object detection means 30e can detect a moving object, and data related to this moving object can be sent to the video input control means 70e.
また、例えば、図５４に示すように、不変特徴変換手段６０で作成された不変量特徴空間における各区画ごとの不変特徴数にもとづいて、動体検出手段３０ｆが、動体から抽出された不変特徴数を検出し、この不変特徴数が位置する区画の座標を算出し、この動体検出区画に関するデータを映像入力制御手段７０ｆへ送ることもできる。
さらに、例えば、図５５に示すように、不変特徴変換手段６０で作成された不変量特徴空間における各区画ごとの特徴点数にもとづいて、動体検出手段３０ｇが動体から抽出された特徴点を検出し、この特徴点が位置する区画の座標を算出し、この動体検出区画に関するデータを特徴抽出手段２０へ送ることもできる。この場合、特徴抽出手段２０は、動体検出区画において、特徴点の抽出を行わないようにすることができる。
For example, as shown in FIG. 54, based on the invariant feature number for each section in the invariant feature space created by the invariant feature conversion unit 60, the moving object detection unit 30f uses the invariant feature number extracted from the moving object. Can be detected, the coordinates of the section where the invariant feature number is located can be calculated, and data relating to the moving object detection section can be sent to the video input control means 70f.
Further, for example, as shown in FIG. 55, based on the number of feature points for each section in the invariant feature space created by the invariant feature conversion unit 60, the moving object detection unit 30g detects the feature points extracted from the moving object. It is also possible to calculate the coordinates of the section where the feature point is located and send data relating to the moving object detection section to the feature extraction means 20. In this case, the feature extraction unit 20 can prevent feature points from being extracted in the moving object detection section.
［マーカ生成装置及びマーカ生成方法の第五実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第五実施形態について、図５６を参照して説明する。
図５６は、本実施形態のマーカ生成装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段及び特徴抽出手段の数が相違するとともに、新たに不変特徴変換手段と不変特徴合成手段を備えた点が相違する。すなわち、第一実施形態では、映像入力手段と特徴抽出手段の数が一つずつであったのに対し、本実施形態では、映像入力手段等の数がそれぞれ複数ある。また、第一実施形態では、不変特徴変換手段と不変特徴合成手段が無かったのに対し、本実施形態では、不変特徴変換手段と不変特徴合成手段とを新たに設けた。他の構成要素は第一実施形態〜第四実施形態のいずれかと同様のものとすることができる。
したがって、図５６において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
[Fifth Embodiment of Marker Generation Device and Marker Generation Method]
Next, a fifth embodiment of the marker generation device and marker generation method of the present invention will be described with reference to FIG.
FIG. 56 is a block diagram showing the configuration of the marker generation device of this embodiment.
This embodiment is different from the first embodiment in that the number of video input means and feature extraction means is different, and a new invariant feature conversion means and invariant feature synthesis means are provided. That is, in the first embodiment, the number of video input means and feature extraction means is one, whereas in this embodiment, there are a plurality of video input means and the like. Further, in the first embodiment, there are no invariant feature converting means and invariant feature synthesizing means, whereas in this embodiment, invariant feature converting means and invariant feature synthesizing means are newly provided. Other components can be the same as those in any of the first to fourth embodiments.
Therefore, in FIG. 56, the same components as in FIG.
図５６に示すように、マーカ生成装置１ｈは、映像入力手段１０（１０−１〜１０−ｎ）と、特徴抽出手段２０（２０−１〜２０−ｎ）と、動体検出手段３０ｈと、特異特徴選択手段４０と、マーカパターン生成手段５０と、不変特徴変換手段６０（６０−１〜６０−ｎ）と、不変特徴合成手段８０とを備えている。
なお、本実施形態においては、特徴抽出手段２０と、不変特徴変換手段６０と、不変特徴合成手段８０が、「配置手段」に相当する。
As shown in FIG. 56, the marker generation device 1h includes a video input unit 10 (10-1 to 10-n), a feature extraction unit 20 (20-1 to 20-n), a moving object detection unit 30h, and a peculiarity. A feature selection unit 40, a marker pattern generation unit 50, an invariant feature conversion unit 60 (60-1 to 60-n), and an invariant feature synthesis unit 80 are provided.
In the present embodiment, the feature extraction unit 20, the invariant feature conversion unit 60, and the invariant feature synthesis unit 80 correspond to the “placement unit”.
ここで、映像入力手段１０は、図５６に示すように、複数備えられている。
これら映像入力手段１０は、図５７に示すように、それぞれが、映像入力部１１（１１−１〜１１−ｎ）と、映像記憶部１２（１２−１〜１２−ｎ）とを有している。
映像入力部１１は、撮像デバイスを有している。これにより、映像入力部１１は、当該マーカ生成装置１ｈが設置された場所の周囲の様子を背景映像として撮影することができる。
この映像入力部１１は、撮影範囲（カメラアングル）が固定されたものであってもよく、また、アクティブカメラのように、パン，チルト，ズームを自在に行えるものでもよく、さらに、自走カメラのように、映像入力部１１自体が移動可能なもの（走行可能なもの）であってもよい。
Here, as shown in FIG. 56, a plurality of video input means 10 are provided.
As shown in FIG. 57, each of these video input means 10 includes a video input unit 11 (11-1 to 11-n) and a video storage unit 12 (12-1 to 12-n). Yes.
The video input unit 11 has an imaging device. Thereby, the video input unit 11 can shoot a state around the place where the marker generating device 1h is installed as a background video.
The video input unit 11 may have a fixed shooting range (camera angle), or may be capable of freely panning, tilting, and zooming like an active camera. As described above, the video input unit 11 itself may be movable (movable).
また、映像入力部１１は、アクティブカメラや自走カメラのように、時間の経過とともに撮影対象が変化するものであってもよい。ただし、変化の範囲は一定とし、所定時間間隔で、同一範囲内を繰り返し撮影するように制御することが望ましい。
さらに、複数の映像入力部１１は、それぞれが共通した背景映像を撮影してもよく、あるいは、異なる背景映像を撮影してもよい。
In addition, the video input unit 11 may be an object whose shooting target changes as time passes, such as an active camera or a self-running camera. However, it is desirable that the range of change is constant and control is performed so that the same range is repeatedly photographed at predetermined time intervals.
Further, the plurality of video input units 11 may shoot a common background video, or may shoot different background videos.
複数の映像入力部１１の撮影例を図５８に示す。
同図に示すように、例えば、第一の映像入力部１１−１は、人を撮影し（i-111）、第二の映像入力部１１−２は、家を撮影し（i-121）、第三の映像入力部１１−３は、マンションを撮影することができる（i-131）。
ここで、撮影されたものがすべて静止している場合、背景映像は、どの撮影時間においても同じになる（同図（i-111）〜（i-113）、（i-121）〜（i-123））。
これに対し、背景映像に動く物体（動体）が映し出された場合、その動体が写し出された画像（同図（i-132））は、他の画像（同図（i-131）、（i-133））とを比較すると、その動体がある部分で異なっている。
An example of photographing by the plurality of video input units 11 is shown in FIG.
As shown in the figure, for example, the first video input unit 11-1 shoots a person (i-111), and the second video input unit 11-2 shoots a house (i-121). The third video input unit 11-3 can photograph the apartment (i-131).
Here, when all the shots are still, the background video is the same at any shooting time ((i-111) to (i-113), (i-121) to (i -one two Three)).
On the other hand, when a moving object (moving object) is projected in the background image, the image (i-132) in which the moving object is projected is another image (i-131), (i -133)), the moving object is different in some parts.
映像記憶部１２は、背景映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。背景映像を構成する静止画フレームとは、例えば、図５８（i-111）〜（i-113）、（i-121）〜（i-123）、（i-131）〜（i-133）に示す各画像の一枚一枚をいう。
また、映像記憶部１２は、「フレーム画像関連データテーブル」（図３６参照）と、「映像入力部データテーブル」（図３７参照）を記憶することができる。
The video storage unit 12 stores still image frames constituting the background video as digitized frame images. The still image frames constituting the background video are, for example, FIG. 58 (i-111) to (i-113), (i-121) to (i-123), (i-131) to (i-133) Each of the images shown in FIG.
The video storage unit 12 can store a “frame image related data table” (see FIG. 36) and a “video input unit data table” (see FIG. 37).
特徴抽出手段２０は、図５７に示すように、特徴抽出部２１（２１−１〜２１−ｎ）と、特徴記憶部２２（２２−１〜２２−ｎ）とを有している。
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出す。そして、特徴抽出部２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
この抽出された特徴点の例を図５９に示す。例えば、図５８（i-111）に示すフレーム画像から抽出された特徴点は、図５９（ii-111）に示すようになる。また、図５８（i-132）に示すフレーム画像から抽出された特徴点は、図５９（ii-132）に示すようになる。ここで、図５９（ii-132）には、動体から抽出された特徴点も配置されている。
As shown in FIG. 57, the feature extraction unit 20 includes a feature extraction unit 21 (21-1 to 21-n) and a feature storage unit 22 (22-1 to 22-n).
The feature extraction unit 21 extracts a frame image from the video storage unit 12. Then, the feature extraction unit 21 extracts image features including a characteristic pattern in the extracted frame image.
An example of the extracted feature points is shown in FIG. For example, feature points extracted from the frame image shown in FIG. 58 (i-111) are as shown in FIG. 59 (ii-111). Further, the feature points extracted from the frame image shown in FIG. 58 (i-132) are as shown in FIG. 59 (ii-132). Here, in FIG. 59 (ii-132), feature points extracted from the moving object are also arranged.
特徴記憶部２２は、特徴抽出部２１で抽出された特徴点の座標を「特徴点情報テーブル」（図７参照）として記憶する。なお、図７に示す「特徴点情報テーブル」には、「特徴点が位置する区画の座標」が項目として挙がっているが、本実施形態においては、必要としない。
また、特徴記憶部２２は、「フレーム画像−特徴空間対応テーブル」（図３８参照）を記憶することができる。
The feature storage unit 22 stores the coordinates of the feature points extracted by the feature extraction unit 21 as a “feature point information table” (see FIG. 7). In the “feature point information table” shown in FIG. 7, “coordinates of the section where the feature point is located” is listed as an item, but this is not necessary in the present embodiment.
The feature storage unit 22 can store a “frame image-feature space correspondence table” (see FIG. 38).
不変特徴変換手段６０は、図５７に示すように、不変特徴変換部６１（６１−１〜６１−ｎ）と、不変特徴記憶部６２（６２−１〜６２−ｎ）とを有している。
不変特徴変換部６１は、特徴抽出手段２０の特徴記憶部２２から特徴点の座標を取り出して、その特徴点を不変量特徴空間に写像する。
例えば、図５９（ii-111）〜（ii-133）に示す各特徴空間ごとに、特徴点を不変量特徴空間に写像する。この写像した結果を、図６０（iii-111）〜（iii-133）に示す。
As shown in FIG. 57, the invariant feature conversion means 60 includes an invariant feature conversion unit 61 (61-1 to 61-n) and an invariant feature storage unit 62 (62-1 to 62-n). .
The invariant feature conversion unit 61 takes out the coordinates of the feature points from the feature storage unit 22 of the feature extraction unit 20 and maps the feature points to the invariant feature space.
For example, for each feature space shown in FIGS. 59 (ii-111) to (ii-133), feature points are mapped to the invariant feature space. The mapped results are shown in FIGS. 60 (iii-111) to (iii-133).
なお、図５９に示す特徴空間の特徴点を不変量特徴空間に写像すると、この不変量特徴空間は、特徴空間の約４倍の面積を必要とする（図２３〜図２７に示す方法で写像を行った場合）。ただし、図６０に示す不変量特徴空間は、図５９に示す特徴空間に比べて、縮尺を小さくしてある。
また、図６０（iii-131）に示す不変量特徴空間と図６０（iii-132）に示す不変量特徴空間とを比較すると、不変特徴の配置が異なっている。これは、動体から抽出された特徴点が、図６０（iii-131）に示す不変量特徴空間には写像されていないものの、図６０（iii-132）に示す不変量特徴空間には写像されているからである。
Note that when the feature points of the feature space shown in FIG. 59 are mapped to the invariant feature space, the invariant feature space requires about four times the area of the feature space (the method shown in FIGS. 23 to 27 is used for mapping). ). However, the invariant feature space shown in FIG. 60 is made smaller in scale than the feature space shown in FIG.
Further, when the invariant feature space shown in FIG. 60 (iii-131) is compared with the invariant feature space shown in FIG. 60 (iii-132), the arrangement of the invariant features is different. This is because the feature points extracted from the moving object are not mapped to the invariant feature space shown in FIG. 60 (iii-131), but are mapped to the invariant feature space shown in FIG. 60 (iii-132). Because.
次いで、不変特徴変換部６１は、不変量特徴空間に配置された不変特徴の座標を算出する。
この算出は、写像の方法に応じて決めることができる。
例えば、写像の方法が、図２３〜図２６に示すように、各特徴点を順次基底とし、この基底を不変量特徴空間の座標（0,0）に移動させたときの移動量と同じ移動量で他の特徴点も移動させ、この移動処理を、各特徴点を順次基底として定めるごとに行い、それら移動後の各特徴点を積重ねて不変量特徴空間に配置するものである場合、不変特徴の座標は、特徴空間における座標から移動量を加算したときの座標となる。
Next, the invariant feature conversion unit 61 calculates the coordinates of the invariant features arranged in the invariant feature space.
This calculation can be determined according to the mapping method.
For example, in the mapping method, as shown in FIGS. 23 to 26, each feature point is set as a base sequentially, and the same movement as the movement amount when the base is moved to the coordinates (0, 0) of the invariant feature space. If other feature points are also moved by quantity, this movement process is performed each time the feature points are sequentially set as a base, and the feature points after the movement are stacked and placed in the invariant feature space. The feature coordinates are coordinates obtained by adding the movement amount from the coordinates in the feature space.
続いて、不変特徴変換部６１は、算出した不変特徴の座標を「不変特徴情報テーブル」として不変特徴記憶部６２に記憶させる。
「不変特徴情報テーブル」は、図６１に示すように、「不変量特徴空間のシリアル番号」（ア）と、「不変特徴のシリアル番号」（イ）と、「不変特徴のｘ座標」（ウ）と、「不変特徴のｙ座標」（エ）と、「不変特徴が位置する区画の座標」（オ）と、「特徴点のシリアル番号」（カ）とを項目として構成することができる。
「特徴点のシリアル番号」は、移動して不変特徴となる前の特徴点のシリアル番号を示す。なお、「特徴点のシリアル番号」の項目に同じ番号が存在するのは、一つの特徴点が不変量特徴空間に何度も写像されるからである。
Subsequently, the invariant feature conversion unit 61 stores the calculated invariant feature coordinates in the invariant feature storage unit 62 as an “invariant feature information table”.
As shown in FIG. 61, the “invariant feature information table” includes “invariant feature space serial number” (A), “invariant feature serial number” (A), and “invariant feature x-coordinate” (c). ), “Y-coordinate of invariant feature” (d), “coordinates of section where invariant feature is located” (e), and “serial number of feature point” (f).
“Serial number of feature point” indicates the serial number of the feature point before moving to become an invariant feature. Note that the same number exists in the item of “feature point serial number” because one feature point is mapped many times to the invariant feature space.
また、不変特徴変換部６１は、「フレーム画像−不変量特徴空間対応テーブル」を作成して、不変特徴記憶部６２に記憶させる。
「フレーム画像−不変量特徴空間対応テーブル」は、図６２に示すように、フレーム画像のシリアル番号と、不変量特徴空間のシリアル番号を一対一で対応付けしたテーブルである。
Further, the invariant feature conversion unit 61 creates a “frame image-invariant feature space correspondence table” and stores it in the invariant feature storage unit 62.
As shown in FIG. 62, the “frame image-invariant feature space correspondence table” is a table in which the serial number of the frame image and the serial number of the invariant feature space are associated one-to-one.
さらに、不変特徴変換部６１は、複数の不変量特徴空間について「不変特徴情報テーブル」を作成すると、これらを繋げて一の「不変特徴情報累積テーブル」を作成する。
「不変特徴情報累積テーブル」を構成する項目は、図６３に示すように、「不変特徴情報テーブル」と同じである。ただし、データ量は、不変量特徴空間の数に応じて決まる。
Furthermore, when the “invariant feature information table” is created for a plurality of invariant feature spaces, the invariant feature conversion unit 61 creates a “invariant feature information accumulation table” by connecting them.
The items constituting the “invariant feature information accumulation table” are the same as the “invariant feature information table” as shown in FIG. However, the amount of data is determined according to the number of invariant feature spaces.
不変特徴記憶部６２は、不変特徴変換部６１で実行される処理に関する各種データを記憶する。特に、不変特徴記憶部６２は、「不変特徴情報テーブル」と、「フレーム画像−不変量特徴空間対応テーブル」と、「不変特徴情報累積テーブル」とを記憶する。 The invariant feature storage unit 62 stores various data related to processing executed by the invariant feature conversion unit 61. In particular, the invariant feature storage unit 62 stores an “invariant feature information table”, a “frame image-invariant feature space correspondence table”, and an “invariant feature information accumulation table”.
不変特徴合成手段８０は、図５７に示すように、不変特徴合成部８１と、不変特徴合成記憶部８２とを有している。
不変特徴合成部８１は、複数の不変特徴記憶部６２−１〜６２−ｎのそれぞれから「不変特徴情報累積テーブル」と、「フレーム画像−不変量特徴空間対応テーブル」とを取り出す。
そして、不変特徴合成部８１は、複数の「不変特徴情報累積テーブル」を、一の「不変特徴情報合成テーブル」にまとめる。
As shown in FIG. 57, the invariant feature synthesis means 80 includes an invariant feature synthesis unit 81 and an invariant feature synthesis storage unit 82.
The invariant feature synthesis unit 81 extracts the “invariant feature information accumulation table” and the “frame image-invariant feature space correspondence table” from each of the plurality of invariant feature storage units 62-1 to 62-n.
Then, the invariant feature synthesis unit 81 combines a plurality of “invariant feature information accumulation tables” into one “invariant feature information synthesis table”.
「不変特徴情報合成テーブル」は、図６４に示すように、「不変特徴情報累積テーブル」を構成する項目と、「映像入力部特定データ」（キ）という項目によって構成されている。
「映像入力部特定データ」は、不変特徴の生成のもととなるフレーム画像を入力した映像入力部１１を特定するデータである。
As shown in FIG. 64, the “invariant feature information synthesis table” is composed of items that constitute the “invariant feature information accumulation table” and items that are “video input unit specifying data” (ki).
The “video input unit specifying data” is data for specifying the video input unit 11 that has input the frame image that is the basis for generating the invariant feature.
これら「不変特徴情報累積テーブル」と「不変特徴情報合成テーブル」にもとづいて不変量特徴空間に不変特徴を配置すると、図６５に示すようになる。
複数の「不変特徴情報累積テーブル」にもとづく不変量特徴空間での不変特徴の配置は、図６５（iv-111）〜（iv-131）に示すようになる。ここで、図６５（iv-111）は、図６０（iii-111）から同図（iii-113）までを累積したものである。また、図６５（iv-121）は、図６０（iii-121）から同図（iii-123）までを累積したものである。さらに、図６５（iv-131）は、図６０（iii-131）から同図（iii-133）までを累積したものである。
When invariant features are arranged in the invariant feature space based on these “invariant feature information accumulation table” and “invariant feature information synthesis table”, the result is as shown in FIG.
The arrangement of invariant features in the invariant feature space based on a plurality of “invariant feature information accumulation tables” is as shown in FIGS. 65 (iv-111) to (iv-131). Here, FIG. 65 (iv-111) is an accumulation of FIGS. 60 (iii-111) to (iii-113). FIG. 65 (iv-121) is an accumulation of FIG. 60 (iii-121) to FIG. Furthermore, FIG. 65 (iv-131) is an accumulation of FIG. 60 (iii-131) to FIG.
「不変特徴情報合成テーブル」にもとづく不変量特徴空間での不変特徴の配置は、図６５（v）に示すようになる。
この図６５（v）に示す不変量特徴空間での不変特徴の配置は、図６５（iv-111）〜（iv-131）のそれぞれに示す不変量特徴空間での不変特徴を、一つの不変量特徴空間に重ねて表示したものである。
なお、この図６５（v）に示す不変量特徴空間を、不変量特徴合成空間という。
The arrangement of invariant features in the invariant feature space based on the “invariant feature information synthesis table” is as shown in FIG.
The invariant feature arrangement in the invariant feature space shown in FIG. 65 (v) is the same as the invariant feature in the invariant feature space shown in FIGS. 65 (iv-111) to (iv-131). It is displayed superimposed on the variable feature space.
The invariant feature space shown in FIG. 65 (v) is referred to as an invariant feature synthesis space.
次いで、不変特徴合成部８１は、図６６（v）、（vi）に示すように、不変量特徴合成空間に、複数の区画線を格子状に付してメッシュをかける。これにより、不変量特徴合成空間が、複数の区画に分けられる。
続いて、不変特徴合成部８１は、付した区画線の座標を算出し、これを「区画座標テーブル」（図１０参照）として不変特徴合成記憶部８２に記憶させる。
Next, as shown in FIGS. 66 (v) and 66 (vi), the invariant feature synthesis unit 81 applies a mesh to the invariant feature synthesis space by attaching a plurality of partition lines in a grid pattern. As a result, the invariant feature synthesis space is divided into a plurality of sections.
Subsequently, the invariant feature synthesizer 81 calculates the coordinates of the attached lane markings and stores them in the invariant feature synthesizer memory 82 as a “division coordinate table” (see FIG. 10).
さらに、不変特徴合成部８１は、不変量特徴合成空間において、各区画ごとの不変特徴の数を算出する。なお、図６６（vii）においては、不変特徴の数が１以上となった区画をグレーの網掛けで表示してある。この各区画ごとの不変特徴数が表示された図を、「不変特徴合成数分布図」という。
そして、不変特徴合成部８１は、各不変特徴ごとに、その不変特徴が位置する区画の座標を求め、これを「不変特徴情報合成テーブル」の「不変特徴が位置する区画の座標」に記憶させる。
Further, the invariant feature synthesis unit 81 calculates the number of invariant features for each section in the invariant feature synthesis space. In FIG. 66 (vii), the section where the number of invariant features is 1 or more is displayed with gray shading. The figure in which the number of invariant features for each section is displayed is referred to as “invariant feature composition number distribution diagram”.
Then, for each invariant feature, the invariant feature synthesis unit 81 obtains the coordinates of the section where the invariant feature is located, and stores this in the “coordinates of the section where the invariant feature is located” of the “invariant feature information synthesis table”. .
不変特徴合成記憶部８２は、「不変特徴情報累積テーブル」、「フレーム画像−不変量特徴空間対応テーブル」、「不変特徴情報合成テーブル」、「区画座標テーブル」、「不変特徴合成数分布図」などを記憶することができる。 The invariant feature synthesis storage unit 82 includes “invariant feature information accumulation table”, “frame image-invariant feature space correspondence table”, “invariant feature information synthesis table”, “partition coordinate table”, and “invariant feature synthesis number distribution diagram”. Etc. can be stored.
動体検出手段３０ｈは、不変特徴合成記憶部８２に記憶されている「不変特徴合成数分布図」を参照し、各区画ごとの不変特徴の合計数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、動体検出手段３０ｈは、図６７に示すように、動体検出データテーブルを作成するとともに、図６６（vii）、（viii）に示すように、その不変特徴の合計数を「０」にする処理を行い、これを不変特徴合成記憶部８２に記憶させる。一方、１以上所定数以下のものがないときは、動体検出手段３０ｈは、「０」にする処理を行わない。
The moving object detection means 30h refers to the “invariant feature composition number distribution diagram” stored in the invariant feature composition storage unit 82, and in the total number of invariant features for each section, the range is from 1 to a predetermined number. Determine if any are included.
As a result of the determination, when there is one included in the range of 1 to a predetermined number, the moving object detection means 30h creates a moving object detection data table as shown in FIG. ), The total number of the invariant features is set to “0”, and this is stored in the invariant feature synthesis storage unit 82. On the other hand, when there is no one greater than or equal to the predetermined number, the moving object detection unit 30h does not perform the process of setting “0”.
この処理は、１以上所定数以下の範囲に含まれる数の不変特徴が存在する区画について、この区画内に配置された不変特徴が、一時的に背景映像に写った動体にもとづく不変特徴であると判断し、これを削除するものである。これにより、動体にもとづく不変特徴の存在により特異特徴の選択が制限されるのを回避して、マーカの頑健性を高めることができる。 This process is an invariant feature based on a moving object in which an invariant feature arranged in this section temporarily exists in a background image for a section in which a number of invariant features included in the range of 1 to a predetermined number exists. It is judged that this is deleted. Thereby, it is possible to avoid the restriction of the selection of the unique feature due to the presence of the invariant feature based on the moving object, and to improve the robustness of the marker.
「動体検出データテーブル」は、図６７に示すように、「フレーム画像のシリアル番号」と、「不変量特徴空間のシリアル番号」と、「動体にもとづく不変特徴の座標」と、「動体検出区画」とを項目として構成することができる。
「フレーム画像のシリアル番号」と「不変量特徴空間のシリアル番号」は、「フレーム画像−不変量特徴空間対応テーブル」を構成する各項目である。
「動体にもとづく不変特徴の座標」は、動体検出手段３０ｈが動体にもとづく不変特徴を検出したときの、この不変特徴の座標を示す。
「動体検出区画」は、動体検出手段３０ｈが動体にもとづく不変特徴を検出したときの、この不変特徴が位置する区画の座標を示す。
As shown in FIG. 67, the “moving object detection data table” includes a “frame image serial number”, “invariant feature space serial number”, “invariant feature coordinates based on moving object”, and “moving object detection section”. Can be configured as an item.
The “frame image serial number” and the “invariant feature space serial number” are items constituting the “frame image-invariant feature space correspondence table”.
The “invariant feature coordinates based on moving object” indicates the coordinates of the invariant feature when the moving object detection unit 30h detects the invariant feature based on the moving object.
The “moving object detection section” indicates the coordinates of the section where the invariant feature is located when the moving object detecting unit 30h detects the invariant feature based on the moving object.
なお、本実施形態は、第三実施形態と比較して、次の点で相違する。
第三実施形態は、一の特徴点累計数分布図に示された区画ごとの特徴点数にもとづいて特異特徴を選択しマーカを生成する。これに対し、本実施形態は、複数の特徴点累計数分布図を一の特徴点数合成分布図に合成し、この特徴点数合成分布図に示された区画ごとの特徴点合計数にもとづいて特異特徴を選択しマーカを生成する。
このように、本実施形態と第三実施形態は、特徴点数分布図の数などが相違するが、映像入力部１１は、本実施形態においても、また第三実施形態においても、同じ範囲を繰り返し撮影しているため、動体が進入しない限り、特異特徴は、常に同じになる。
This embodiment is different from the third embodiment in the following points.
In the third embodiment, a unique feature is selected on the basis of the number of feature points for each section shown in one feature point cumulative number distribution map, and a marker is generated. In contrast, in the present embodiment, a plurality of feature point cumulative number distribution charts are combined into a single feature point number distribution chart, and based on the total number of feature points for each section indicated in the feature point number distribution chart. Select features and generate markers.
As described above, the present embodiment and the third embodiment are different in the number of feature point distribution charts, but the video input unit 11 repeats the same range both in this embodiment and in the third embodiment. Since shooting, the unique features are always the same unless a moving object enters.
また、動体が進入してきた場合でも、本実施形態と第三実施形態は、基本的に同様の動作を行う。
すなわち、映像入力部１１は、同じ範囲を繰り返し撮影しているため、動体が撮影されない限り、特徴点数分布図及び特徴点数合成分布図においては、特徴点が複数の同じ区画に次々とアサインされていく。これに対し、動体は、その発生が一時的なものであるため、特徴点数分布図及び特徴点数合成分布図においては、その動体にもとづく特徴点が、一時的に付され、その後の増加がみられない。
このように、フレーム画像が増加するにしたがって、静止物体にもとづく特徴点は比例して増加するのに対し、動体にもとづく特徴点は増加しない。このことから、フレーム画像が所定枚数に達した時点で、特徴点数が所定数以下の区画における特徴点数を「０」にする処理を行うことで、動体にもとづく特徴点を削除できる。
Further, even when a moving object enters, the present embodiment and the third embodiment basically perform the same operation.
That is, since the video input unit 11 repeatedly captures the same range, unless a moving object is captured, the feature points are sequentially assigned to a plurality of the same sections in the feature point distribution diagram and the feature point composite distribution diagram. Go. On the other hand, since the occurrence of a moving object is temporary, the feature points based on the moving object are temporarily added to the feature point distribution chart and the feature point composite distribution chart, and the subsequent increase is observed. I can't.
As described above, as the number of frame images increases, the feature points based on the stationary object increase in proportion, while the feature points based on the moving object do not increase. Therefore, when the number of frame images reaches a predetermined number, the feature points based on the moving object can be deleted by performing the process of setting the number of feature points in the section having the number of feature points equal to or less than the predetermined number.
次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図６８を参照して説明する。
同図は、本実施形態のマーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ｈにおいて、複数の映像入力手段１０における映像入力部１１のそれぞれは、背景映像を入力する（ステップ７０）。これら背景映像は、複数枚のフレーム画像で構成される。映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
Next, the operation (marker generation method) of the marker generation device of this embodiment will be described with reference to FIG.
This figure is a flowchart showing the processing procedure of the marker generation method of the present embodiment.
In the marker generating device 1h, each of the video input units 11 in the plurality of video input means 10 inputs a background video (step 70). These background videos are composed of a plurality of frame images. The video storage unit 12 stores the background video input by the video input unit 11 as a frame image.
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ７１）。
また、特徴抽出部２１は、抽出した特徴点の座標を算出する（ステップ７２）。この算出した座標は、特徴記憶部２２に記憶される。
The feature extraction unit 21 of the feature extraction unit 20 extracts a frame image from the video storage unit 12 and extracts feature points from the frame image (step 71).
Also, the feature extraction unit 21 calculates the coordinates of the extracted feature points (step 72). The calculated coordinates are stored in the feature storage unit 22.
不変特徴変換手段６０の不変特徴変換部６１は、特徴記憶部２２から特徴点の座標を取り出す。次いで、不変特徴変換部６１は、取り出した特徴点の座標にもとづいて、各特徴点を不変量特徴空間に写像する（ステップ７３）。
次いで、不変特徴変換部６１は、複数の不変量特徴空間のそれぞれに配置された不変特徴を、一の不変量特徴空間に重ね合わせる（不変特徴の累積、ステップ７４）。不変特徴記憶部６２は、累積後の不変量特徴空間を記憶する。
The invariant feature converter 61 of the invariant feature converter 60 takes out the coordinates of the feature points from the feature storage unit 22. Next, the invariant feature conversion unit 61 maps each feature point to the invariant feature space based on the extracted feature point coordinates (step 73).
Next, the invariant feature conversion unit 61 superimposes the invariant features arranged in each of the plurality of invariant feature spaces on one invariant feature space (accumulation of invariant features, step 74). The invariant feature storage unit 62 stores the invariant feature space after accumulation.
不変特徴合成手段８０の不変特徴合成部８１は、複数の不変特徴記憶部６２から累積後の不変量特徴空間を取り出す。
次いで、不変特徴合成手段８０は、それら累積後の不変量特徴空間にそれぞれ配置された不変特徴を合成する（ステップ７５）。この合成後の不変量特徴空間を、不変量特徴合成空間をいう。
続いて、不変特徴合成部８１は、不変量特徴合成空間にメッシュを掛けて区画化する（ステップ７６）。そして、不変特徴合成部８１は、各区画ごとに不変特徴の数を算出する（ステップ７７）。
不変特徴合成記憶部８２は、不変特徴合成部８１で算出された各区画ごとの不変特徴数を記憶する。
The invariant feature synthesizer 81 of the invariant feature synthesizer 80 extracts the invariant feature space after accumulation from the plurality of invariant feature storage units 62.
Next, the invariant feature synthesis means 80 synthesizes the invariant features respectively arranged in the accumulated invariant feature space (step 75). The invariant feature space after synthesis is referred to as an invariant feature synthesis space.
Subsequently, the invariant feature composition unit 81 partitions the invariant feature composition space by applying a mesh (step 76). Then, the invariant feature synthesis unit 81 calculates the number of invariant features for each section (step 77).
The invariant feature synthesis storage unit 82 stores the number of invariant features for each section calculated by the invariant feature synthesis unit 81.
動体検出手段３０ｈは、不変特徴合成記憶部８２から、区画ごとの不変特徴数を取り出す。そして、動体検出手段３０ｈは、区画ごとの不変特徴数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する（ステップ７８）。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、動体検出手段３０ｈは、その不変特徴数を「０」にする処理を行う（ステップ７９）。このとき、動体検出手段３０ｈは、その検出した不変特徴の座標と、この不変特徴が位置する区画の座標を、「動体検出データテーブル」に表す。
一方、１以上所定数以下の範囲に含まれるものがないときは、動体検出手段３０ｈは、不変特徴数を「０」にする処理は行わない。
The moving object detection unit 30 h extracts the invariant feature number for each section from the invariant feature synthesis storage unit 82. Then, the moving object detection unit 30h determines whether or not the invariant feature number for each section is included in the range of 1 to a predetermined number (step 78).
As a result of the determination, when there is one included in the range of 1 to the predetermined number, the moving object detection unit 30h performs a process of setting the invariant feature number to “0” (step 79). At this time, the moving object detection unit 30h represents the detected invariant feature coordinates and the coordinates of the section where the invariant feature is located in the “moving object detection data table”.
On the other hand, when there is nothing included in the range of 1 or more and the predetermined number or less, the moving object detection unit 30h does not perform the process of setting the invariant feature number to “0”.
特異特徴選択手段４０の特異特徴選択部４１は、不変特徴合成記憶部８２から各区画ごとの不変特徴数を取り出す。このとき、特異特徴選択部４１は、動体検出手段３０ｄで不変特徴数の「０」にする処理が行われた後の各区画ごとの不変特徴数を取り出す。
そして、特異特徴選択部４１は、各区画ごとの不変特徴数の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ８０）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
The singular feature selection unit 41 of the singular feature selection means 40 extracts the invariant feature number for each section from the invariant feature synthesis storage unit 82. At this time, the singular feature selection unit 41 extracts the invariant feature number for each section after the moving object detection unit 30d performs the process of setting the invariant feature number to “0”.
Then, the singular feature selection unit 41 selects 0 or a predetermined number or less from the invariant feature numbers for each section, and designates this as a singular feature (step 80).
The singular feature storage unit 42 stores the coordinates of the sections determined as the singular features by the unique feature selection unit 41.
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ８１）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
The marker pattern generation unit 51 of the marker pattern generation unit 50 takes out the coordinates of the unique features from the unique feature storage unit 42. Then, the marker pattern generation unit 51 generates a marker pattern based on the coordinates of the unique feature (step 81).
The marker storage unit 52 stores data related to the marker pattern generated by the marker pattern generation unit 51.
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力部として複数のカメラを備えたことで、背景映像を網羅的に観測できる。そして、これら各カメラが撮影したフレーム画像のすべてを用いてマーカパターンを生成することとしたので、それら複数のカメラが撮影した映像のいずれに対しても頑健性の高いマーカパターンを生成できる。
また、複数のカメラによる観測の際、動体の存在、経時変化、複数物体の干渉などにより、偶然に出現するパターンをすべて記憶しておき、マーカ設計時にこれらすべてを除外したものからマーカパターンを生成するようにしたので、動体の存在による特徴点の増加を抑え、これにより特異特徴の増加を促して、頑健性の高いマーカパターンを生成することができる。
As described above, according to the marker generation device and the marker generation method of the present embodiment, the background video can be comprehensively observed by providing a plurality of cameras as the video input unit. And since it decided to produce | generate a marker pattern using all the frame images image | photographed by these each camera, a highly robust marker pattern can be produced | generated with respect to all of the image | video which those several cameras image | photographed.
Also, when observing with multiple cameras, all the patterns that appear by chance due to the presence of moving objects, changes over time, interference of multiple objects, etc. are stored, and marker patterns are generated from those that are excluded during marker design Therefore, it is possible to suppress an increase in feature points due to the presence of a moving object, and thereby promote an increase in unique features, thereby generating a highly robust marker pattern.
さらに、映像入力手段が入力した背景映像が、変化の大きい複雑シーンであっても、動体にもとづく特徴点又は不変特徴を削除してマーカパターンが生成されるため、最適なマーカパターンを安定して生成できる。
しかも、複数カメラ、複数の観測位置、複数の時間帯などで共通の不変量特徴空間を用いたので、マーカ生成にかかる計算機のメモリ消費量を低減できる。
Furthermore, even if the background video input by the video input means is a complex scene with a large change, a marker pattern is generated by deleting feature points or invariant features based on moving objects, so that the optimal marker pattern can be stably displayed. Can be generated.
In addition, since a common invariant feature space is used for a plurality of cameras, a plurality of observation positions, a plurality of time zones, etc., the memory consumption of the computer for marker generation can be reduced.
［マーカ生成装置及びマーカ生成方法の第六実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第六の実施形態について、図６９を参照して説明する。
図６９は、本実施形態のマーカ生成装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段及び特徴抽出手段の数が相違するとともに、不変特徴変換手段、不変特徴合成手段、映像入力制御手段の有無が相違する。すなわち、第一実施形態では、映像入力手段及び特徴抽出手段が一つずつであり、不変特徴変換手段等が無かったのに対し、本実施形態では、映像入力手段及び特徴抽出手段が複数あり、不変特徴変換手段等を有する。他の構成要素は第一実施形態〜第五実施形態のいずれかと同様のものとすることができる。
したがって、図６９において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
[Sixth Embodiment of Marker Generation Device and Marker Generation Method]
Next, a sixth embodiment of the marker generation device and marker generation method of the present invention will be described with reference to FIG.
FIG. 69 is a block diagram showing the configuration of the marker generation device of this embodiment.
This embodiment differs from the first embodiment in the number of video input means and feature extraction means, and in the presence or absence of invariant feature conversion means, invariant feature synthesis means, and video input control means. That is, in the first embodiment, there is one video input unit and one feature extraction unit, and no invariant feature conversion unit or the like, whereas in this embodiment, there are a plurality of video input units and feature extraction units. It has invariant feature conversion means and the like. Other components may be the same as those in any of the first to fifth embodiments.
Therefore, in FIG. 69, the same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
図６９に示すように、マーカ生成装置１ｋは、映像入力手段１０（１０−１〜１０−ｎ）と、特徴抽出手段２０（２０−１〜２０−ｎ）と、動体検出手段３０ｋと、特異特徴選択手段４０と、マーカパターン生成手段５０と、不変特徴変換手段６０（６０−１〜６０−ｎ）と、映像入力制御手段７０ｋと、不変特徴合成手段８０とを備えている。
なお、本実施形態においては、特徴抽出手段２０と、不変特徴変換手段６０と、不変特徴合成手段８０とが、「配置手段」に相当する。
As shown in FIG. 69, the marker generation device 1k includes a video input unit 10 (10-1 to 10-n), a feature extraction unit 20 (20-1 to 20-n), a moving object detection unit 30k, and a peculiarity. A feature selection unit 40, a marker pattern generation unit 50, an invariant feature conversion unit 60 (60-1 to 60-n), a video input control unit 70k, and an invariant feature synthesis unit 80 are provided.
In the present embodiment, the feature extraction unit 20, the invariant feature conversion unit 60, and the invariant feature synthesis unit 80 correspond to the “placement unit”.
ここで、映像入力手段１０は、映像入力部１１（１１−１〜１１−ｎ）と、映像記憶部１２（１２−１〜１２−ｎ）とを有している。
映像入力部１１は、映像入力制御手段７０ｋによる制御にもとづいて、背景映像を入力する。この映像入力制御手段７０ｋによる制御の内容については、後述する。
Here, the video input means 10 includes a video input unit 11 (11-1 to 11-n) and a video storage unit 12 (12-1 to 12-n).
The video input unit 11 inputs a background video based on the control by the video input control means 70k. The contents of control by the video input control means 70k will be described later.
映像記憶部１２は、映像入力部１１で入力された背景映像をディジタイズしたフレーム画像を記憶する。
また、映像記憶部１２は、「フレーム画像関連データテーブル」（図３６参照）と、「映像入力部データテーブル」（図３７参照）とを記憶する。
The video storage unit 12 stores a frame image obtained by digitizing the background video input by the video input unit 11.
The video storage unit 12 stores a “frame image related data table” (see FIG. 36) and a “video input unit data table” (see FIG. 37).
特徴抽出手段２０は、特徴抽出部２１（２１−１〜２１−ｎ）と、特徴記憶部２２（２２−１〜２２−ｎ）とを有している。
特徴記憶部２２は、「特徴点情報テーブル」（図７参照）と、「フレーム画像−特徴空間対応テーブル」（図３８参照）とを記憶する。
The feature extraction unit 20 includes a feature extraction unit 21 (21-1 to 21-n) and a feature storage unit 22 (22-1 to 22-n).
The feature storage unit 22 stores a “feature point information table” (see FIG. 7) and a “frame image-feature space correspondence table” (see FIG. 38).
不変特徴変換手段６０は、不変特徴変換部６１（６１−１〜６１−ｎ）と、不変特徴記憶部６２（６２−１〜６２−ｎ）とを有している。
不変特徴記憶部６２は、「不変特徴情報テーブル」（図６１参照）と、「フレーム画像−不変量特徴空間対応テーブル」（図６２参照）とを記憶する。
The invariant feature conversion means 60 includes an invariant feature conversion unit 61 (61-1 to 61-n) and an invariant feature storage unit 62 (62-1 to 62-n).
The invariant feature storage unit 62 stores an “invariant feature information table” (see FIG. 61) and a “frame image-invariant feature space correspondence table” (see FIG. 62).
不変特徴合成手段８０は、不変特徴合成部８１と、不変特徴合成記憶部８２とを有している。
不変特徴合成記憶部８２は、「不変特徴情報テーブル」（図６１参照）と、「フレーム画像−不変量特徴空間対応テーブル」（図６２参照）と、「不変特徴情報合成テーブル」（図６５参照）と、「区画座標テーブル」（図１０参照）と、「不変特徴合成数分布図」（図６６参照）とを記憶する。
The invariant feature synthesis means 80 includes an invariant feature synthesis unit 81 and an invariant feature synthesis storage unit 82.
The invariant feature synthesis storage unit 82 includes an “invariant feature information table” (see FIG. 61), a “frame image-invariant feature space correspondence table” (see FIG. 62), and an “invariant feature information synthesis table” (see FIG. 65). ), “Division coordinate table” (see FIG. 10), and “invariant feature composition number distribution diagram” (see FIG. 66).
動体検出手段３０ｋは、データ記憶部３１と、動体検出部３２とを有している。
データ記憶部３１は、「フレーム画像−不変量特徴空間対応テーブル」と、「不変特徴情報合成テーブル」と、「区画座標テーブル」と、「不変特徴合成数分布図」と、「動体検出データテーブル」（図６７参照）とを記憶する。
The moving object detection unit 30k includes a data storage unit 31 and a moving object detection unit 32.
The data storage unit 31 includes a “frame image-invariant feature space correspondence table”, an “invariant feature information synthesis table”, a “section coordinate table”, an “invariant feature synthesis number distribution map”, and a “moving object detection data table”. (See FIG. 67).
動体検出部３２は、不変特徴合成手段８０の不変特徴合成記憶部８２から「フレーム画像−不変量特徴空間対応テーブル」と、「不変特徴情報合成テーブル」と、「区画座標テーブル」と、「不変特徴合成数分布図」とを取り出す。
次いで、動体検出部３２は、「不変特徴合成数分布図」において、各区画ごとの不変特徴合計数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、動体検出部３２は、その特徴点合計数を「０」にする。一方、１以上所定数以下の範囲に含まれるものがないときは、動体検出部３２は、「０」にする処理を行わない。
The moving object detection unit 32 receives the “frame image-invariant feature space correspondence table”, “invariant feature information synthesis table”, “partition coordinate table”, “invariant” from the invariant feature synthesis storage unit 82 of the invariant feature synthesis unit 80. “Characteristic number distribution map” is extracted.
Next, the moving object detection unit 32 determines whether or not the total number of invariant features for each section is included in the range of 1 to a predetermined number in the “invariant feature composite number distribution diagram”.
As a result of the determination, when there is one included in the range of 1 to a predetermined number, the moving object detection unit 32 sets the total number of feature points to “0”. On the other hand, when there is nothing included in the range of 1 or more and the predetermined number or less, the moving object detection unit 32 does not perform the process of “0”.
続いて、動体検出部３２は、不変特徴合成記憶部８２に対し、その「０」にする処理を行った区画の座標を用いて、その区画の不変特徴合成数を「０」として記憶させる。
また、動体検出部３２は、「０」にする処理を行った区画の座標を含む「動体検出データテーブル」を作成する。
そして、動体検出部３２は、「動体検出データテーブル」と、「不変特徴情報合成テーブル」と、「区画座標テーブル」とを、映像入力制御手段７０ｋへ送る。
Subsequently, the moving object detection unit 32 causes the invariant feature composition storage unit 82 to store the invariant feature composition number of the section as “0” using the coordinates of the section that has been processed to be “0”.
In addition, the moving object detection unit 32 creates a “moving object detection data table” including the coordinates of the section subjected to the process of “0”.
Then, the moving object detection unit 32 sends the “moving object detection data table”, the “invariant feature information synthesis table”, and the “section coordinate table” to the video input control means 70k.
映像入力制御手段７０ｋは、図７０に示すように、制御情報記憶部７１と、第一通信部７２と、第二通信部７３と、カメラ動作特定部７４と、動体範囲特定部７５と、カメラ制御特定部７６と、カメラ特定部７７とを有している。
制御情報記憶部７１は、所定のメモリ領域を有しており、「動体検出データテーブル」と、「不変特徴情報合成テーブル」と、「区画座標テーブル」と、「フレーム画像関連データテーブル」と、「映像入力部データテーブル」とを記憶する。
As shown in FIG. 70, the video input control means 70k includes a control information storage unit 71, a first communication unit 72, a second communication unit 73, a camera operation specifying unit 74, a moving object range specifying unit 75, and a camera. A control specifying unit 76 and a camera specifying unit 77 are provided.
The control information storage unit 71 has a predetermined memory area, and includes a “moving object detection data table”, an “invariant feature information synthesis table”, a “section coordinate table”, a “frame image related data table”, The “video input unit data table” is stored.
第一通信部７２は、動体検出手段３０ｋから送られてきた「動体検出データテーブル」と、「不変特徴情報合成テーブル」と、「区画座標テーブル」とを受け取って制御情報記憶部７１に記憶させる。
第二通信部７３は、カメラ特定部７７で特定された映像入力手段１０の映像記憶部１２から「フレーム画像関連データテーブル」と「映像入力部データテーブル」とを取り出すと、これらを制御情報記憶部７１に記憶させる。
また、第二通信部７３は、カメラ制御特定部７６で特定された撮影範囲又は撮影時間を、カメラ特定部７７で特定された映像入力手段１０へ送る。
The first communication unit 72 receives the “moving object detection data table”, the “invariant feature information synthesis table”, and the “section coordinate table” sent from the moving object detection unit 30 k and stores them in the control information storage unit 71. .
When the second communication unit 73 extracts the “frame image related data table” and the “video input unit data table” from the video storage unit 12 of the video input unit 10 specified by the camera specifying unit 77, these are stored in the control information storage. Store in the unit 71.
Further, the second communication unit 73 sends the shooting range or shooting time specified by the camera control specifying unit 76 to the video input unit 10 specified by the camera specifying unit 77.
カメラ特定部７７は、制御情報記憶部７１に記憶されている「動体検出データテーブル」を参照し、「動体検出区画」の項目に記憶されているデータを取り出す。
この「動体検出区画」のデータの中に、特定の区画を示す区画座標があるときは、カメラ特定部７７は、その区画座標に関連付けられたフレーム画像のシリアル番号を「動体検出データテーブル」から取り出す。
The camera specifying unit 77 refers to the “moving object detection data table” stored in the control information storage unit 71 and extracts the data stored in the item “moving object detection section”.
When there is a section coordinate indicating a specific section in the data of the “moving object detection section”, the camera specifying unit 77 obtains the serial number of the frame image associated with the section coordinate from the “moving body detection data table”. Take out.
次いで、カメラ特定部７７は、制御情報記憶部７１に記憶されている「不変特徴情報合成テーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた、「映像入力部の特定番号」の項目に記憶されているデータを取り出す。
例えば、「フレーム画像のシリアル番号」が「i-132」である場合、「映像入力部の特定番号」は、「11-1」である。これにより、カメラ特定部７７は、映像入力部１１−１を特定する。
Next, the camera specifying unit 77 refers to the “invariant feature information synthesis table” stored in the control information storage unit 71, and is associated with the “serial number of the frame image” and the “specific number of the video input unit”. Retrieve the data stored in the item.
For example, when “the serial number of the frame image” is “i-132”, the “specific number of the video input unit” is “11-1”. Thereby, the camera specifying unit 77 specifies the video input unit 11-1.
カメラ動作特定部７４は、制御情報記憶部７１に記憶されている「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた、「動作設定」の項目に記憶されているデータを取り出す。 The camera operation specifying unit 74 refers to the “frame image related data table” stored in the control information storage unit 71, and is stored in the “operation setting” item associated with the “frame image serial number”. To retrieve the data.
次いで、カメラ動作特定部７４は、制御情報記憶部７１に記憶されている「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた、「動作設定」の項目に記憶されているデータを取り出す。
続いて、カメラ動作特定部７４は、取り出した「動作設定」に関するデータにもとづいて、映像入力部１１の動作設定を特定する。
そして、カメラ動作特定部７４は、特定した「動作設定」と、「フレーム画像のシリアル番号」と、「動作検出区画」を動体範囲特定部７５へ送る。
Next, the camera operation specifying unit 74 refers to the “frame image related data table” stored in the control information storage unit 71 and stores it in the “operation setting” item associated with the “frame image serial number”. Retrieve the stored data.
Subsequently, the camera operation specifying unit 74 specifies the operation setting of the video input unit 11 based on the extracted data related to “operation setting”.
Then, the camera operation specifying unit 74 sends the specified “operation setting”, “serial number of frame image”, and “motion detection section” to the moving object range specifying unit 75.
動体範囲特定部７５は、「動作設定」が「パン」、「チルト」、「ズーム」である場合には、制御情報記憶部７１から所定のデータを取り出す。
例えば、「動作設定」が「パン」又は「チルト」であるときは、動体範囲特定部７５は、制御情報記憶部７１に記憶されている「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影角度」を取り出す。このとき、動体範囲特定部７５は、「撮影時刻」を取り出すこともできる。
また、動体範囲特定部７５は、制御情報記憶部７１に記憶されている「映像入力部データテーブル」を参照し、「撮影範囲」を取り出す。このとき、動体範囲特定部７５は、「往復時間」や「動作速度」を取り出すこともできる。
さらに、「動作設定」が「ズーム」であるときは、動体範囲特定部７５は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「倍率」を取り出す。
When the “motion setting” is “pan”, “tilt”, or “zoom”, the moving object range specifying unit 75 retrieves predetermined data from the control information storage unit 71.
For example, when the “motion setting” is “pan” or “tilt”, the moving object range specifying unit 75 refers to the “frame image related data table” stored in the control information storage unit 71, and The “shooting angle” associated with the “serial number” is extracted. At this time, the moving object range specifying unit 75 can also extract the “shooting time”.
In addition, the moving body range specifying unit 75 refers to the “video input unit data table” stored in the control information storage unit 71 and extracts the “shooting range”. At this time, the moving object range specifying unit 75 can also extract “reciprocation time” and “operation speed”.
Further, when the “motion setting” is “zoom”, the moving object range specifying unit 75 refers to the “frame image related data table” and extracts the “magnification” associated with the “serial number of the frame image”.
動体範囲特定部７５は、各種データにもとづいて、映像入力部１１の最大撮影範囲における動体の出現範囲を特定し、これを撮影制限範囲とする。
また、動体範囲特定部７５は、各種データにもとづいて、撮影制限時間を算出することができる。
The moving object range specifying unit 75 specifies the appearance range of the moving object in the maximum shooting range of the video input unit 11 based on various data, and sets this as the shooting limit range.
In addition, the moving object range specifying unit 75 can calculate the photographing time limit based on various data.
カメラ制御特定部７６は、動体範囲特定部７５で算出された撮影制限範囲又は撮影制限時間を用いて、映像入力部１１の制御方法を特定する。
次いで、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を制御情報記憶部７１に記憶させる。また、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を、第二通信部７３を介して、カメラ特定部７７で特定された映像入力手段１０へ送る。
The camera control specifying unit 76 specifies the control method of the video input unit 11 using the shooting limit range or the shooting limit time calculated by the moving object range specifying unit 75.
Next, the camera control specifying unit 76 causes the control information storage unit 71 to store the specified shooting range or shooting time. In addition, the camera control specifying unit 76 sends the specified shooting range or shooting time to the video input unit 10 specified by the camera specifying unit 77 via the second communication unit 73.
映像入力手段１０の映像入力部１１は、第二通信部７３から送られてきた撮影範囲又は撮影時間にしたがって、背景映像を撮影する。
映像記憶部１２は、第二通信部７３から送られてきた撮影範囲又は撮影時間を記憶する。
The video input unit 11 of the video input means 10 shoots a background video according to the shooting range or shooting time sent from the second communication unit 73.
The video storage unit 12 stores the shooting range or the shooting time sent from the second communication unit 73.
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出す。次いで、特徴抽出部２１は、その取り出したフレーム画像にもとづいて、特徴点を抽出する。続いて、特徴抽出部２１は、抽出した特徴点の座標を、特徴記憶部２２に記憶させる。
ここで、映像入力部１１の撮影範囲が変更されたときは、特徴抽出部２１は、特徴記憶部２２に記憶されている特徴点の座標を更新する。これは、背景映像が変更されることで、特異特徴が変わってしまうからである。
そして、特徴抽出部２１は、更新後の特徴点が配置された特徴空間を用いて、メッシュを掛け、各区画ごとに特徴点の数を算出する。
The feature extraction unit 21 of the feature extraction unit 20 extracts a frame image from the video storage unit 12. Next, the feature extraction unit 21 extracts feature points based on the extracted frame image. Subsequently, the feature extraction unit 21 stores the coordinates of the extracted feature points in the feature storage unit 22.
Here, when the shooting range of the video input unit 11 is changed, the feature extraction unit 21 updates the coordinates of the feature points stored in the feature storage unit 22. This is because the peculiar feature changes when the background video is changed.
Then, the feature extraction unit 21 multiplies the mesh using the feature space in which the updated feature points are arranged, and calculates the number of feature points for each section.
次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図７１を参照して説明する。
同図は、本実施形態のマーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１ｅにおいて、複数の映像入力手段１０におけるそれぞれの映像記憶部１２は、「フレーム画像関連データテーブル」と、「映像入力部データテーブル」を記憶している。
Next, the operation (marker generation method) of the marker generation device of this embodiment will be described with reference to FIG.
This figure is a flowchart showing the processing procedure of the marker generation method of the present embodiment.
In the marker generating device 1e, each video storage unit 12 in the plurality of video input means 10 stores a “frame image related data table” and a “video input unit data table”.
複数の映像入力部１１は、それぞれ背景映像を入力する（ステップ９０）。これら背景映像は、複数枚のフレーム画像で構成される。映像記憶部１２は、映像入力部１１で入力された背景映像をフレーム画像として記憶する。
複数の特徴抽出手段２０における特徴抽出部２１のそれぞれは、対応する映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ９１）。
The plurality of video input units 11 each input a background video (step 90). These background videos are composed of a plurality of frame images. The video storage unit 12 stores the background video input by the video input unit 11 as a frame image.
Each of the feature extraction units 21 in the plurality of feature extraction means 20 extracts a frame image from the corresponding video storage unit 12 and extracts a feature point from the frame image (step 91).
また、特徴抽出部２１は、抽出した特徴点の座標を算出する（ステップ９２）。
特徴記憶部２２は、特徴抽出部２１で算出された座標を「特徴点情報テーブル」として記憶する。
さらに、特徴抽出部２１は、フレーム画像のシリアル番号と特徴空間のシリアル番号とを対応付けた「フレーム画像−特徴空間対応テーブル」を作成する。特徴記憶部２２は、その「フレーム画像−特徴空間対応テーブル」を記憶する。
Further, the feature extraction unit 21 calculates the coordinates of the extracted feature points (step 92).
The feature storage unit 22 stores the coordinates calculated by the feature extraction unit 21 as a “feature point information table”.
Furthermore, the feature extraction unit 21 creates a “frame image-feature space correspondence table” in which the serial number of the frame image is associated with the serial number of the feature space. The feature storage unit 22 stores the “frame image-feature space correspondence table”.
複数の不変特徴変換手段６０における不変特徴変換部６１のそれぞれは、対応する特徴記憶部２２から「特徴点情報テーブル」を取り出す。次いで、不変特徴変換部６１は、取り出した特徴点の座標にもとづいて、各特徴点を不変量特徴空間に写像する（ステップ９３）。
次いで、不変特徴変換部６１は、写像後の不変量特徴空間に配置された不変特徴の座標を求め、この座標を示す「不変特徴情報テーブル」を作成する。不変特徴記憶部６２は、「不変特徴情報テーブル」を記憶する。
Each of the invariant feature converters 61 in the plurality of invariant feature converters 60 extracts the “feature point information table” from the corresponding feature storage unit 22. Next, the invariant feature conversion unit 61 maps each feature point to the invariant feature space based on the extracted feature point coordinates (step 93).
Next, the invariant feature conversion unit 61 obtains the coordinates of the invariant features arranged in the invariant feature space after mapping, and creates an “invariant feature information table” indicating the coordinates. The invariant feature storage unit 62 stores an “invariant feature information table”.
続いて、不変特徴変換部６１は、複数の不変量特徴空間のそれぞれに配置された不変特徴を一の不変量特徴空間に重ね合わせる（不変特徴の累積、ステップ９４）。不変特徴記憶部６２は、累積後の不変量特徴空間に配置された不変特徴の座標を「不変特徴情報累積テーブル」として記憶する。
さらに、不変特徴変換部６１は、「フレーム画像−特徴空間対応テーブル」を用いて、フレーム画像のシリアル番号と不変量特徴空間のシリアル番号とを対応付けた「フレーム画像−不変量特徴空間対応テーブル」を作成する。不変特徴記憶部６２は、その「フレーム画像−不変量特徴空間対応テーブル」を記憶する。
Subsequently, the invariant feature conversion unit 61 superimposes the invariant features arranged in each of the plurality of invariant feature spaces on one invariant feature space (accumulation of invariant features, step 94). The invariant feature storage unit 62 stores invariant feature coordinates arranged in the invariant feature space after accumulation as an “invariant feature information accumulation table”.
Further, the invariant feature conversion unit 61 uses the “frame image-feature space correspondence table” to associate the “frame image-invariant feature space correspondence table” with the serial number of the frame image and the serial number of the invariant feature space. ". The invariant feature storage unit 62 stores the “frame image-invariant feature space correspondence table”.
不変特徴合成手段８０の不変特徴合成部８１は、複数の不変特徴記憶部６２のそれぞれから「不変特徴情報累積テーブル」と「フレーム画像−不変量特徴空間対応テーブル」を取り出す。不変特徴合成記憶部８２は、それら「不変特徴情報累積テーブル」と「フレーム画像−不変量特徴空間対応テーブル」を記憶する。
次いで、不変特徴合成部８１は、取り出した複数の「不変特徴情報累積テーブル」に示された不変特徴数の座標にもとづいて、累積後の複数の不変量特徴空間に配置された不変特徴を一の不変特徴合成空間に配置する（累積後の不変量特徴空間の合成、ステップ９５）。
The invariant feature synthesizer 81 of the invariant feature synthesizer 80 extracts an “invariant feature information accumulation table” and a “frame image-invariant feature space correspondence table” from each of the plurality of invariant feature storage units 62. The invariant feature synthesis storage unit 82 stores the “invariant feature information accumulation table” and the “frame image-invariant feature space correspondence table”.
Next, the invariant feature synthesizer 81 collects invariant features arranged in the plurality of invariant feature spaces after accumulation based on the coordinates of the number of invariant features indicated in the extracted “invariant feature information accumulation table”. In the invariant feature synthesis space (synthesis of the invariant feature space after accumulation, step 95).
続いて、不変特徴合成部８１は、不変量特徴合成空間にメッシュを掛けて区画化する（ステップ９６）。不変特徴合成記憶部８２は、区画の座標を「区画座標テーブル」として記憶する。
さらに、不変特徴合成部８１は、各区画ごとに不変特徴の数を算出する（ステップ９７）。
不変特徴合成記憶部８２は、不変特徴合成部８１で算出された各区画ごとの不変特徴数を「不変特徴合成数分布図」として記憶する。
Subsequently, the invariant feature composition unit 81 partitions the invariant feature composition space by applying a mesh (step 96). The invariant feature synthesis storage unit 82 stores the coordinates of the section as a “section coordinate table”.
Further, the invariant feature synthesis unit 81 calculates the number of invariant features for each section (step 97).
The invariant feature composition storage unit 82 stores the invariant feature number for each section calculated by the invariant feature composition unit 81 as an “invariant feature composition number distribution diagram”.
動体検出手段３０ｋは、不変特徴合成記憶部８２から、「不変特徴合成数分布図」と「区画座標テーブル」と「フレーム画像−不変量特徴空間対応テーブル」を取り出す。そして、動体検出手段３０ｋは、不変量特徴合成空間における各区画ごとの不変特徴数の中に、１以上所定数以下の範囲に含まれるものがあるか否かを判断する（ステップ９８）。
判断の結果、１以上所定数以下の範囲に含まれるものがあるときは、動体検出手段３０ｋは、その不変特徴数を「０」にする処理を行う（ステップ９９）。
一方、１以上所定数以下の範囲に含まれるものがないときは、動体検出手段３０ｋは、不変特徴数を「０」にする処理は行わない。
The moving object detection unit 30k extracts the “invariant feature composition number distribution diagram”, the “section coordinate table”, and the “frame image-invariant feature space correspondence table” from the invariant feature composition storage unit 82. Then, the moving object detection unit 30k determines whether or not the number of invariant features for each section in the invariant feature synthesis space is included in the range of 1 to a predetermined number (step 98).
As a result of the determination, when there is one included in the range of 1 or more and the predetermined number or less, the moving object detection unit 30k performs a process of setting the invariant feature number to “0” (step 99).
On the other hand, when there is nothing included in the range from 1 to the predetermined number, the moving object detection unit 30k does not perform the process of setting the invariant feature number to “0”.
また、動体検出手段３０ｋは、不変特徴数を「０」にする処理を行ったときは、その不変特徴があった区画の座標を検出し、これを「フレーム画像−不変量特徴空間対応テーブル」に加えた「動体検出データテーブル」を作成し、映像入力制御手段７０ｋへ送る。このとき、動体検出手段３０ｋは、そのフレーム画像を撮影した映像入力手段１０を特定する情報を映像入力制御手段７０ｋへ送ることができる。
映像入力手段７０ｋは、動体検出手段３０ｋから「動体検出データテーブル」等の所定のデータを受け取ると、映像入力制御を実行する（ステップ１００）。なお、映像入力制御の詳細については、後記の「映像入力制御の処理手順」で詳述する。
Further, when performing the process of setting the invariant feature number to “0”, the moving object detection unit 30k detects the coordinates of the section having the invariant feature, and uses this as the “frame image-invariant feature space correspondence table”. The “moving object detection data table” added to is generated and sent to the video input control means 70k. At this time, the moving body detection unit 30k can send information specifying the video input unit 10 that has captured the frame image to the video input control unit 70k.
When receiving predetermined data such as a “moving object detection data table” from the moving object detection means 30k, the image input means 70k executes image input control (step 100). The details of the video input control will be described in detail later in the “video input control processing procedure”.
特異特徴選択手段４０の特異特徴選択部４１は、不変特徴合成記憶部８２から「不変特徴合成数分布図」を取り出す。このとき、特異特徴選択部４１は、動体検出手段３０ｋで不変特徴数を「０」にする処理が行われた後の各区画ごとの不変特徴数を取り出す。
そして、特異特徴選択部４１は、各区画ごとの不変特徴数の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ１０１）。
特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。
The singular feature selection unit 41 of the singular feature selection unit 40 extracts the “invariant feature synthesis number distribution map” from the invariant feature synthesis storage unit 82. At this time, the singular feature selection unit 41 extracts the invariant feature number for each section after the moving object detection unit 30k performs the process of setting the invariant feature number to “0”.
Then, the singular feature selection unit 41 selects 0 or a predetermined number or less from the invariant feature numbers for each section, and designates this as a singular feature (step 101).
The singular feature storage unit 42 stores the coordinates of the sections determined as the singular features by the unique feature selection unit 41.
マーカパターン生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ１０２）。
マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカパターンに関するデータを記憶する。
The marker pattern generation unit 51 of the marker pattern generation unit 50 takes out the coordinates of the unique features from the unique feature storage unit 42. Then, the marker pattern generation unit 51 generates a marker pattern based on the coordinates of the unique feature (step 102).
The marker storage unit 52 stores data related to the marker pattern generated by the marker pattern generation unit 51.
次に、映像入力制御の処理手順について、図７２を参照して説明する。
映像入力制御手段７０ｋの第一通信部７２は、動体検出手段３０ｋから送られてきた「動体検出データテーブル」を受け取って、制御情報記憶部７１に記憶させる。
第二通信部７３は、映像記憶部１２から「フレーム画像関連データテーブル」と「映像入力部データテーブル」とを取り出すと、これらを制御情報記憶部７１に記憶させる。
Next, the video input control processing procedure will be described with reference to FIG.
The first communication unit 72 of the video input control unit 70k receives the “moving object detection data table” sent from the moving object detection unit 30k and stores it in the control information storage unit 71.
When the second communication unit 73 extracts the “frame image related data table” and the “video input unit data table” from the video storage unit 12, the second communication unit 73 stores them in the control information storage unit 71.
カメラ特定部７７は、制御情報記憶部７１に記憶されている「動体検出データテーブル」を参照し、「動体検出区画」の項目に記憶されているデータを取り出す。
この「動体検出区画」のデータの中に、特定の区画を示す区画座標があるときは、カメラ特定部７７は、その区画座標に関連付けられたフレーム画像のシリアル番号を「動体検出データテーブル」から取り出す。
The camera specifying unit 77 refers to the “moving object detection data table” stored in the control information storage unit 71 and extracts the data stored in the item “moving object detection section”.
When there is a section coordinate indicating a specific section in the data of the “moving object detection section”, the camera specifying unit 77 obtains the serial number of the frame image associated with the section coordinate from the “moving body detection data table”. Take out.
次いで、カメラ特定部７７は、制御情報記憶部７１に記憶されている「不変特徴情報合成テーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた、「映像入力部の特定番号」の項目に記憶されているデータを取り出す。このデータにより、カメラ特定部７７は、映像入力部１１を特定する（ステップ１１０）。 Next, the camera specifying unit 77 refers to the “invariant feature information synthesis table” stored in the control information storage unit 71, and is associated with the “serial number of the frame image” and the “specific number of the video input unit”. Retrieve the data stored in the item. Based on this data, the camera specifying unit 77 specifies the video input unit 11 (step 110).
カメラ動作特定部７４は、「動体検出データテーブル」を参照して、データが記憶された「動体から抽出された特徴点の座標」と、「動体検出区画」と、これらに関連付けられた「フレーム画像のシリアル番号」とを取り出す。
次いで、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」を用いて、これに関連付けられた「動作設定」を取り出す。
カメラ動作特定部７４は、この取り出した「動作設定」にもとづいて、映像入力部１１の動作設定を特定する（ステップ１１１）。
ここで、特定される動作設定には、「固定」、「パン」、「チルト」、「ズーム」などがある。
The camera motion identifying unit 74 refers to the “moving object detection data table”, stores “data of feature points extracted from the moving object”, “moving object detection section”, and “frame” associated with these. “Image serial number” is taken out.
Next, the camera operation specifying unit 74 refers to the “frame image related data table” and uses the “frame image serial number” to extract the “operation setting” associated therewith.
The camera operation specifying unit 74 specifies the operation setting of the video input unit 11 based on the extracted “operation setting” (step 111).
Here, the specified operation settings include “fixed”, “pan”, “tilt”, “zoom”, and the like.
続いて、カメラ動作特定部７４は、特定した動作設定にもとづいて、制御情報記憶部７１から所定のデータを取り出す（ステップ１１２）。
例えば、動作設定が「パン」又は「チルト」の場合、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影角度」を取り出す。また、カメラ動作特定部７４は、「映像入力部データテーブル」を参照し、「撮影範囲」、「往復時間」、「動作速度」などを取り出す。
Subsequently, the camera operation specifying unit 74 extracts predetermined data from the control information storage unit 71 based on the specified operation setting (step 112).
For example, when the operation setting is “pan” or “tilt”, the camera operation specifying unit 74 refers to the “frame image related data table” and extracts the “shooting angle” associated with the “serial number of the frame image”. . Further, the camera operation specifying unit 74 refers to the “video input unit data table” and extracts “shooting range”, “round trip time”, “operation speed”, and the like.
さらに、例えば、動作設定が「ズーム」の場合、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「倍率」を取り出す。
また、カメラ動作特定部７４は、「フレーム画像関連データテーブル」を参照し、「フレーム画像のシリアル番号」に関連付けられた「撮影時刻」を取り出すことができる。さらに、この場合、カメラ動作特定部７４は、「映像入力部データテーブル」を参照し、「撮影時間帯」を取り出すことができる。
そして、カメラ動作特定部７４は、制御情報記憶部７１から取り出した各種データを動体範囲特定部７５へ送る。
Further, for example, when the operation setting is “zoom”, the camera operation specifying unit 74 refers to the “frame image related data table” and extracts the “magnification” associated with the “serial number of the frame image”.
Further, the camera operation specifying unit 74 can retrieve the “shooting time” associated with the “serial number of the frame image” with reference to the “frame image related data table”. Further, in this case, the camera operation specifying unit 74 can retrieve the “shooting time zone” with reference to the “video input unit data table”.
Then, the camera operation specifying unit 74 sends various data extracted from the control information storage unit 71 to the moving object range specifying unit 75.
動体範囲特定部７５は、カメラ動作特定部７４から送られてきた各種データにもとづいて、映像入力部１１の最大撮影範囲における動体の出現範囲を特定する（ステップ１１３）。また、動体範囲特定部７５は、カメラ動作特定部７４から送られてきた各種データにもとづいて、動体の出現時間を特定することができる。 The moving object range specifying unit 75 specifies the appearance range of the moving object in the maximum shooting range of the video input unit 11 based on the various data sent from the camera operation specifying unit 74 (step 113). In addition, the moving object range specifying unit 75 can specify the appearance time of the moving object based on various data sent from the camera operation specifying unit 74.
カメラ制御特定部７６は、動体範囲特定部７５で算出された撮影制限範囲又は撮影制限時間を用いて、映像入力部１１の新たな撮影範囲を特定する（ステップ１１４）。
次いで、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を制御情報記憶部７１に記憶させる。また、カメラ制御特定部７６は、特定した撮影範囲又は撮影時間を、第二通信部７３を介して、カメラ特定部７７で特定された映像入力手段１０へ送る。
The camera control specifying unit 76 specifies a new shooting range of the video input unit 11 using the shooting limit range or the shooting limit time calculated by the moving object range specifying unit 75 (step 114).
Next, the camera control specifying unit 76 causes the control information storage unit 71 to store the specified shooting range or shooting time. In addition, the camera control specifying unit 76 sends the specified shooting range or shooting time to the video input unit 10 specified by the camera specifying unit 77 via the second communication unit 73.
映像入力手段１０の映像入力部１１は、第二通信部７３から送られてきた撮影範囲又は撮影時間にしたがって、背景映像を撮影する（撮影入力制御、ステップ１１５）。
また、映像入力部１１の撮影範囲が新たな撮影範囲に更新されると、特徴抽出部２１は、特徴記憶部２２に記憶されている特徴点の座標を更新する。
The video input unit 11 of the video input unit 10 shoots a background video according to the shooting range or shooting time sent from the second communication unit 73 (shooting input control, step 115).
When the shooting range of the video input unit 11 is updated to a new shooting range, the feature extraction unit 21 updates the coordinates of the feature points stored in the feature storage unit 22.
以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、映像入力手段を複数設けた場合でも、これら複数の映像入力手段が撮影したフレーム画像のすべてを用いてマーカパターンが生成されるため、それらフレーム画像のいずれに対しても頑健性の高いマーカパターンを生成できる。
また、映像入力制御手段を設けたことにより、映像入力部が動体（低出現物体）を写さないように制御することができる。これにより、動体を除外したかたちでマーカパターンを設計できることから、動体にもとづく特徴点や不変特徴の増加を抑え、特異特徴の増加を促して、頑健性の高いマーカパターンを生成でき、最適なマーカパターンを安定的に生成することができる。
As described above, according to the marker generation device and the marker generation method of the present embodiment, even when a plurality of video input units are provided, the marker pattern is generated using all the frame images captured by the plurality of video input units. Since it is generated, a marker pattern with high robustness can be generated for any of these frame images.
Further, by providing the video input control means, it is possible to control the video input unit so as not to capture a moving object (low appearance object). As a result, marker patterns can be designed in a form that excludes moving objects, so that the increase of feature points and invariant features based on moving objects can be suppressed, the increase of singular features can be promoted, and a highly robust marker pattern can be generated. A pattern can be generated stably.
［マーカ検出装置及びマーカ検出方法］
（マーカ検出装置）
次に、マーカ検出装置について、図７３、図７４を参照して説明する。
図７３は、マーカ検出装置の構成を示すブロック図である。図７４は、マーカ検出装置の詳細構成を示すブロック図である。
図７３に示すように、マーカ検出装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、マーカ記憶手段１３０と、照合手段１４０と、報知手段１５０とを備えている。
[Marker detection apparatus and marker detection method]
(Marker detection device)
Next, the marker detection device will be described with reference to FIGS. 73 and 74. FIG.
FIG. 73 is a block diagram illustrating a configuration of the marker detection device. FIG. 74 is a block diagram showing a detailed configuration of the marker detection device.
As shown in FIG. 73, the marker detection device 100 includes a video input unit 110, a feature extraction unit 120, a marker storage unit 130, a collation unit 140, and a notification unit 150.
ここで、映像入力手段１１０は、図７４に示すように、映像入力部１１１と、映像記憶部１１２とを有している。
映像入力部１１１は、マーカが存在する可能性のある環境を検出対象映像として撮影（入力）する。例えば、映像入力部１１１は、図７５に示すように、マーカを含む検出対象映像を入力することができる。
映像記憶部１１２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。
Here, the video input unit 110 includes a video input unit 111 and a video storage unit 112, as shown in FIG.
The video input unit 111 captures (inputs) an environment in which a marker may exist as a detection target video. For example, the video input unit 111 can input a detection target video including a marker as shown in FIG.
The video storage unit 112 stores still image frames constituting the detection target video as digitized frame images.
特徴抽出手段１２０は、図７４に示すように、特徴抽出部１２１と、特徴記憶部１２２とを有している。
特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。そして、特徴抽出部１２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
例えば、検出対象映像が図７５に示すような画像の場合、特徴抽出部１２１は、その検出対象映像から図７６に示すような特徴点を抽出する。
特徴記憶部１２２は、特徴抽出部１２１で抽出された特徴点の各座標を記憶する。
The feature extraction unit 120 includes a feature extraction unit 121 and a feature storage unit 122 as shown in FIG.
The feature extraction unit 121 extracts a frame image from the video storage unit 112. Then, the feature extraction unit 121 extracts image features including a characteristic pattern in the extracted frame image.
For example, when the detection target video is an image as shown in FIG. 75, the feature extraction unit 121 extracts feature points as shown in FIG. 76 from the detection target video.
The feature storage unit 122 stores the coordinates of the feature points extracted by the feature extraction unit 121.
マーカ記憶手段１３０は、マーカ生成装置１で生成されたマーカパターンに関するデータを記憶する。このマーカ記憶手段１３０は、例えば、マーカパターンにもとづく特徴点を記憶することもできる。 The marker storage unit 130 stores data related to the marker pattern generated by the marker generation device 1. The marker storage unit 130 can also store feature points based on a marker pattern, for example.
照合手段１４０は、図７４に示すように、照合部１４１と、照合結果記憶部１４２とを有している。
照合部１４１は、検出対象映像にもとづく特徴点の各座標を特徴記憶部１２２から取り出すとともに、マーカパターンにもとづく特徴点の各座標をマーカ記憶手段１３０から取り出し、それらを照合する。そして、照合部１４１は、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるか否かを判断する。
As shown in FIG. 74, the collation means 140 has a collation unit 141 and a collation result storage unit 142.
The collation unit 141 takes out the coordinates of the feature points based on the detection target video from the feature storage unit 122 and takes out the coordinates of the feature points based on the marker pattern from the marker storage unit 130 and collates them. Then, the matching unit 141 determines whether or not a feature point that matches the feature point based on the marker pattern is in the feature point based on the detection target video.
例えば、マーカパターンの特徴の一つと検出対象映像から生成された特徴の一つとを比較して、特徴空間でのユークリッド距離が既定値以下である場合には、それら特徴が一致したとして、一致した特徴の数をスコアとして累積し、スコアが閾値に達すると、マーカの検出を受諾するようにしても良い。また、前述のユークリッド距離の累積値が既定値以下である条件を付加しても良い。 For example, if one of the features of the marker pattern is compared with one of the features generated from the detection target video and the Euclidean distance in the feature space is less than or equal to the default value, the features match and are matched. The number of features may be accumulated as a score, and when the score reaches a threshold, marker detection may be accepted. In addition, a condition that the accumulated value of the Euclidean distance is equal to or less than a predetermined value may be added.
また、例えば、マーカ生成装置１ａの特徴抽出部２１が、特異特徴の決定を量子化した特徴空間で実行した場合、マーカ記憶手段１３０は、その特異特徴の座標を記憶しておく。そして、照合部１４１は、マーカ設計時に頻度が０であったメッシュに、検出対象映像からの特徴が１回でも投影されたときには、マーカパターンからの寄与であるとして検出を確定することができる。これによれば、マーカ検出は、高速に行える。
ノイズや特徴抽出計算の誤差による誤対応を避けるために、受諾する投影の頻度を１回以上の既定値に設定してもよい。または、量子化した特徴空間をマーカパターンから生成可能である場合には、これを利用しても良い。この場合、検出対象映像から得た特異特徴が、マーカパターンの投影される特徴空間メッシュに１回、又は既定回数一致した場合に、マーカパターン検出を受諾するようにしても良い。
For example, when the feature extraction unit 21 of the marker generation device 1a executes the determination of the singular feature in the quantized feature space, the marker storage unit 130 stores the coordinates of the singular feature. And the collation part 141 can confirm a detection as a contribution from a marker pattern, when the feature from a detection target image | video is projected even once on the mesh whose frequency was 0 at the time of marker design. According to this, marker detection can be performed at high speed.
In order to avoid erroneous correspondence due to noise or error in feature extraction calculation, the frequency of the accepted projection may be set to a predetermined value of one or more times. Alternatively, when the quantized feature space can be generated from the marker pattern, this may be used. In this case, the marker pattern detection may be accepted when the unique feature obtained from the detection target video matches the feature space mesh onto which the marker pattern is projected once or a predetermined number of times.
これら照合の結果、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるときは、照合部１４１は、検出対象映像における当該特徴点の座標を検出し、これを照合結果記憶部１４２に記憶させる。また、照合部１４１は、報知手段１５０へ報知信号を送る。
一方、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にないときは、照合部１４１は、特徴点の座標の検出及び報知信号の送出を行わない。
As a result of the collation, when a feature point that matches the feature point based on the marker pattern is in the feature point based on the detection target video, the collation unit 141 detects the coordinates of the feature point in the detection target video, This is stored in the verification result storage unit 142. In addition, the collation unit 141 sends a notification signal to the notification unit 150.
On the other hand, when there is no feature point that matches the feature point based on the marker pattern in the feature point based on the detection target video, the collating unit 141 does not detect the feature point coordinates and send out the notification signal.
具体的には、照合部１４１は、図７６に示す特徴点群の中から、マーカ記憶手段１３０から取り出したマーカパターンにもとづく特徴点と一致する特徴点を探し出す。このとき、照合部１４１は、マーカパターンにもとづく特徴点群を拡大又は縮小して、特徴空間における特徴点群と照合する。
その結果、図７６に示す特徴点群の中から、マーカ記憶手段１３０から取り出したマーカパターンにもとづく特徴点と一致する特徴点が見つかると、照合部１４１は、図７６に示す特徴空間における当該特徴点の座標を検出し、これを照合結果記憶部１４２に記憶させる。
Specifically, the matching unit 141 searches for a feature point that matches the feature point based on the marker pattern extracted from the marker storage unit 130 from the feature point group shown in FIG. At this time, the collation unit 141 enlarges or reduces the feature point group based on the marker pattern, and collates it with the feature point group in the feature space.
As a result, when a feature point matching the feature point based on the marker pattern extracted from the marker storage unit 130 is found from the feature point group shown in FIG. 76, the matching unit 141 searches for the feature in the feature space shown in FIG. The coordinates of the point are detected and stored in the matching result storage unit 142.
照合結果記憶部１４２は、照合部１４１で行われた照合に関するデータを記憶する。
例えば、照合結果記憶部１４２は、検出対象映像にもとづく特徴点のうち、マーカパターンにもとづく特徴点と一致する特徴点（図７６においては、左方の楕円で囲まれた特徴点）の各座標を記憶する。
The collation result storage unit 142 stores data related to the collation performed by the collation unit 141.
For example, the collation result storage unit 142 sets the coordinates of the feature points that match the feature points based on the marker pattern (the feature points surrounded by the left ellipse in FIG. 76) among the feature points based on the detection target video. Remember.
報知手段１５０は、照合部１４１から報知信号を受けると、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあったことを外部に報知する。この報知の方法には、例えば、音声出力や、画面表示などがある。 When the notification unit 150 receives the notification signal from the collating unit 141, the notification unit 150 notifies the outside that the feature point that matches the feature point based on the marker pattern was in the feature point based on the detection target video. Examples of the notification method include voice output and screen display.
（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図７７を参照して説明する。
マーカ記憶手段１３０は、マーカ生成装置１で生成されたマーカパターンに関するデータを予め記憶している（ステップ１１０）。このマーカ記憶手段１３０は、例えば、マーカパターンにもとづく特徴点を記憶することもできる。
(Marker detection method)
Next, the marker detection method of this embodiment will be described with reference to FIG.
The marker storage unit 130 stores data related to the marker pattern generated by the marker generation device 1 in advance (step 110). The marker storage unit 130 can also store feature points based on a marker pattern, for example.
映像入力手段１１０の映像入力部１１１は、マーカが存在する可能性のある環境を検出対象映像として入力する（ステップ１１１）。
映像記憶部１１２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。
The video input unit 111 of the video input unit 110 inputs an environment in which a marker may exist as a detection target video (step 111).
The video storage unit 112 stores still image frames constituting the detection target video as digitized frame images.
特徴抽出手段１２０の特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。そして、特徴抽出部１２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する（ステップ１１２）。
また、特徴抽出部１２１は、抽出した特徴点の座標を算出する（ステップ１１３）。
特徴記憶部１２２は、特徴抽出部１２１で算出された特徴点の各座標を記憶する。
The feature extraction unit 121 of the feature extraction unit 120 extracts a frame image from the video storage unit 112. Then, the feature extraction unit 121 extracts image features including a characteristic pattern in the extracted frame image (step 112).
The feature extraction unit 121 calculates the coordinates of the extracted feature points (step 113).
The feature storage unit 122 stores the coordinates of the feature points calculated by the feature extraction unit 121.
照合手段１４０の照合部１４１は、検出対象映像にもとづく特徴点の各座標を特徴記憶部１２２から取り出すとともに、マーカパターンにもとづく特徴点の各座標をマーカ記憶手段１３０から取り出し、それらを照合する（ステップ１１４）。そして、照合部１４１は、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるか否かを判断する。 The collation unit 141 of the collation unit 140 takes out the coordinates of the feature points based on the detection target video from the feature storage unit 122 and takes out the coordinates of the feature points based on the marker pattern from the marker storage unit 130 and collates them ( Step 114). Then, the matching unit 141 determines whether or not a feature point that matches the feature point based on the marker pattern is in the feature point based on the detection target video.
判断の結果、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあるときは、照合部１４１は、検出対象映像における当該特徴点の座標を検出し、これを照合結果記憶部１４２に記憶させる。また、照合部１４１は、報知手段１５０へ報知信号を送る。
一方、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にないときは、照合部１４１は、特徴点の座標の検出及び報知信号の送出を行わない。
As a result of the determination, when a feature point that matches the feature point based on the marker pattern is in the feature point based on the detection target video, the matching unit 141 detects the coordinates of the feature point in the detection target video, Is stored in the verification result storage unit 142. In addition, the collation unit 141 sends a notification signal to the notification unit 150.
On the other hand, when there is no feature point that matches the feature point based on the marker pattern in the feature point based on the detection target video, the collating unit 141 does not detect the feature point coordinates and send out the notification signal.
報知手段１５０は、照合部１４１から報知信号を受けると、マーカパターンにもとづく特徴点と一致する特徴点が、検出対象映像にもとづく特徴点の中にあったことを外部に報知する（ステップ１１５）。
その後は、終了するか否かが判断され（ステップ１１６）、終了しないときは、ステップ１１１〜ステップ１１６の処理が繰り返される。
When the notification unit 150 receives the notification signal from the collating unit 141, the notification unit 150 notifies the outside that the feature point that matches the feature point based on the marker pattern was in the feature point based on the detection target video (step 115). .
Thereafter, it is determined whether or not to end (step 116), and if not ended, the processing of step 111 to step 116 is repeated.
以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、マーカ生成装置で生成されたマーカパターンを用いて、検出対象映像に映し出されたマーカを確実に検出することができる。
また、本実施形態においては、マーカの検出を特徴空間において行なうこととしたが、マーカの検出は、特徴空間に限るものではなく、例えば、不変量特徴空間において行なうこともできる。この場合、マーカ生成段階で、特異特徴を選択した特異特徴配置図を記憶しておき、マーカ検出段階で、検出対象映像から特徴点を抽出し、この特徴点を不変量特徴空間に写像して不変特徴し、この不変量特徴空間と前述の特異特徴配置図とを重ね合わせ、特異特徴配置図に示された特異特徴に不変量特徴空間に示された不変特徴が現れたときは、この不変特徴をマーカにもとづく不変特徴として検出することができる。
As described above, according to the marker detection device and the marker detection method of the present embodiment, the marker displayed on the detection target video can be reliably detected using the marker pattern generated by the marker generation device. .
In the present embodiment, marker detection is performed in the feature space. However, marker detection is not limited to the feature space, and can be performed, for example, in the invariant feature space. In this case, the singular feature layout diagram in which the singular feature is selected is stored in the marker generation stage, the feature point is extracted from the detection target video in the marker detection stage, and the feature point is mapped to the invariant feature space. When this invariant feature space is superimposed on the above-mentioned singular feature layout diagram and the invariant feature shown in the invariant feature space appears in the singular feature shown in the singular feature layout diagram, this invariant feature The feature can be detected as an invariant feature based on the marker.
さらに、マーカパターンの生成において、物体色不変量やテクスチャ不変量を用いた場合には、マーカ検出において、それら物体色不変量やテクスチャ不変量を用いてマーカ検出を行なう。この場合、マーカ生成段階で、背景映像から物体色不変量やテクスチャ不変量を抽出し、これらにもとづく特異特徴を選択して記憶しておき、マーカ検出段階において、検出対象映像から物体色不変量やテクスチャ不変量を抽出し、これら物体色不変量やテクスチャ不変量が特異特徴と一致したときは、それら物体色不変量やテクスチャ不変量をマーカとして検出することができる。 Further, when an object color invariant or texture invariant is used in the generation of the marker pattern, marker detection is performed using the object color invariant or texture invariant in marker detection. In this case, in the marker generation stage, object color invariants and texture invariants are extracted from the background video, unique features based on these are selected and stored, and in the marker detection stage, the object color invariants are detected from the detection target video. Or texture invariants are extracted, and when these object color invariants and texture invariants coincide with singular features, these object color invariants and texture invariants can be detected as markers.
［マーカ生成検出装置及びマーカ生成検出システム］
（マーカ生成検出装置）
次に、マーカ生成検出装置について、図７８を参照して説明する。
図７８は、マーカ生成検出装置の構成を示すブロック図である。
図７８に示すように、マーカ生成検出装置１０００は、マーカ生成装置１と、マーカ検出装置１００とを備えている。
[Marker generation detection device and marker generation detection system]
(Marker generation detection device)
Next, a marker generation detection device will be described with reference to FIG.
FIG. 78 is a block diagram illustrating a configuration of the marker generation detection device.
As shown in FIG. 78, the marker generation detection device 1000 includes a marker generation device 1 and a marker detection device 100.
ここで、マーカ生成装置１は、前述した第一実施形態〜第六実施形態のいずれかにおけるマーカ生成装置１を用いることができる。
マーカ検出装置１００は、前述した図７３に示すマーカ検出装置１００を用いることができる。
このように、マーカ生成検出装置１０００は、マーカ生成装置１とマーカ検出装置１００とを一体化した構成とすることができる。
Here, the marker generation device 1 can use the marker generation device 1 in any one of the first to sixth embodiments described above.
As the marker detection device 100, the marker detection device 100 shown in FIG. 73 described above can be used.
As described above, the marker generation detection device 1000 can have a configuration in which the marker generation device 1 and the marker detection device 100 are integrated.
また、マーカ生成装置１とマーカ検出装置１００とは、共有化できる機能があるため、図７９に示すような構成とすることもできる。
例えば、マーカ生成検出装置１０００は、映像入力手段１０と、特徴抽出手段２０と、動体検出手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、照合手段１４０と、報知手段１５０とを有している。また、マーカ生成手段５０は、マーカ生成部５１と、マーカ記憶部５２とを有している。
これらのうち、映像入力手段１０と、特徴抽出手段２０と、動体検出手段３０と、特異特徴選択手段４０と、マーカ生成手段５０が、マーカ生成装置としての機能を有している。
一方、映像入力手段１０と、特徴抽出手段２０と、マーカ記憶部５２と、照合手段１４０と、報知手段１５０が、マーカ検出装置としての機能を有している。
そして、映像入力手段１０と、特徴抽出手段２０と、マーカ記憶部５２が、マーカ生成装置とマーカ検出装置に共通している部分である。
In addition, since the marker generation device 1 and the marker detection device 100 have a function that can be shared, a configuration as shown in FIG. 79 can be adopted.
For example, the marker generation detection apparatus 1000 includes a video input unit 10, a feature extraction unit 20, a moving object detection unit 30, a unique feature selection unit 40, a marker generation unit 50, a collation unit 140, and a notification unit 150. Have. The marker generation unit 50 includes a marker generation unit 51 and a marker storage unit 52.
Among these, the video input means 10, the feature extraction means 20, the moving object detection means 30, the unique feature selection means 40, and the marker generation means 50 have a function as a marker generation device.
On the other hand, the video input unit 10, the feature extraction unit 20, the marker storage unit 52, the collation unit 140, and the notification unit 150 have a function as a marker detection device.
And the video input means 10, the feature extraction means 20, and the marker memory | storage part 52 are parts which are common in a marker production | generation apparatus and a marker detection apparatus.
マーカ生成装置におけるマーカ生成方法は、前述した第一〜第六実施形態におけるマーカ生成方法と同様である。
また、マーカ検出装置におけるマーカ検出方法は、前述した実施形態におけるマーカ検出方法と同様である。
The marker generation method in the marker generation device is the same as the marker generation method in the first to sixth embodiments described above.
The marker detection method in the marker detection device is the same as the marker detection method in the above-described embodiment.
（マーカ生成検出システム）
次に、本実施形態のマーカ生成検出システムについて、図８０を参照して説明する。
同図に示すように、マーカ生成検出システム２０００は、マーカ生成装置１と、マーカ検出装置１００とを備えている。これらマーカ生成装置１とマーカ検出装置１００は、通信ネットワーク又は通信ケーブル３００などで接続することができる。
(Marker generation detection system)
Next, the marker generation detection system of this embodiment will be described with reference to FIG.
As shown in the figure, the marker generation detection system 2000 includes a marker generation device 1 and a marker detection device 100. The marker generation device 1 and the marker detection device 100 can be connected by a communication network or a communication cable 300 or the like.
マーカ生成装置１は、映像入力手段１０と、特徴抽出手段２０と、動体検出手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、通信手段９０とを有している。
通信手段９０は、マーカ記憶部５２に記憶されているマーカに関するデータを取り出し、これをマーカ検出装置１００へ送信する。
The marker generation device 1 includes a video input unit 10, a feature extraction unit 20, a moving object detection unit 30, a unique feature selection unit 40, a marker generation unit 50, and a communication unit 90.
The communication unit 90 retrieves data related to the marker stored in the marker storage unit 52 and transmits it to the marker detection device 100.
マーカ検出装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、マーカ記憶部１３０と、照合手段１４０と、報知手段１５０と、通信手段１６０とを有している。
通信手段１６０は、マーカ生成装置１から送信されてきたマーカに関するデータを受信する。また、通信手段１６０は、その受信したマーカに関するデータをマーカ記憶部１３０に記憶させる。
The marker detection device 100 includes a video input unit 110, a feature extraction unit 120, a marker storage unit 130, a collation unit 140, a notification unit 150, and a communication unit 160.
The communication unit 160 receives data related to the marker transmitted from the marker generation device 1. In addition, the communication unit 160 stores the received data regarding the marker in the marker storage unit 130.
以上説明したように、マーカ生成検出装置及びマーカ生成検出システムによれば、マーカ生成検出装置又はマーカ生成検出システムのマーカ生成機能において、動体（低出現物体）にもとづく特徴点を消去した後に、特異特徴を選択することができる。これにより、背景映像に一時的に表れた動体にもとづく特徴点の存在により特異特徴の選択が制限されるのを回避して、頑健性の高いマーカを生成できる。 As described above, according to the marker generation detection device and the marker generation detection system, in the marker generation function of the marker generation detection device or the marker generation detection system, after erasing feature points based on moving objects (low appearance objects), Features can be selected. Thereby, it is possible to generate a highly robust marker by avoiding that the selection of singular features is limited due to the presence of feature points based on moving objects that appear temporarily in the background video.
［マーカ生成プログラム及びマーカ検出プログラム］
次に、マーカ生成プログラム及びマーカ検出プログラムについて説明する。
上記の各実施形態におけるコンピュータ（マーカ生成装置、マーカ検出装置、マーカ生成検出装置、マーカ生成検出システム）のマーカ生成機能（マーカ生成方法を実行するための機能）やマーカ検出機能（マーカ検出方法を実行するための機能）は、記憶手段（例えば、ＲＯＭ（Read only memory）やハードディスクなど）に記憶されたマーカ生成プログラム又はマーカ検出プログラムにより実現される。
[Marker generation program and marker detection program]
Next, a marker generation program and a marker detection program will be described.
Marker generation function (function for executing marker generation method) and marker detection function (marker detection method) of the computer (marker generation device, marker detection device, marker generation detection device, marker generation detection system) in each of the above embodiments The function for execution) is realized by a marker generation program or a marker detection program stored in a storage means (for example, a ROM (Read Only Memory) or a hard disk).
マーカ生成プログラム及びマーカ検出プログラムは、コンピュータの制御手段（ＣＰＵ（Central Processing Unit）など）に読み込まれることにより、コンピュータの構成各部に指令を送り、所定の処理、たとえば、マーカ生成装置の映像入力処理、特徴抽出処理、特異特徴選択処理、マーカパターン生成処理、動体検出処理、不変特徴変換処理、不変特徴累計処理、不変特徴合成処理、映像入力制御処理、マーカ検出装置の映像入力処理、特徴抽出処理、照合処理、報知処理などを行わせる。
これによって、マーカ生成機能又はマーカ検出機能は、ソフトウエアであるマーカ生成プログラムとハードウエア資源であるコンピュータ（マーカ生成装置、マーカ検出装置、マーカ生成検出装置、マーカ生成検出システム）の各構成手段とが協働することにより実現される。
The marker generation program and the marker detection program are read by a computer control means (CPU (Central Processing Unit) or the like) to send commands to each component of the computer and perform predetermined processing, for example, video input processing of the marker generation device , Feature extraction processing, unique feature selection processing, marker pattern generation processing, moving object detection processing, invariant feature conversion processing, invariant feature accumulation processing, invariant feature synthesis processing, video input control processing, marker detection device video input processing, feature extraction processing , Collation processing, notification processing, and the like are performed.
As a result, the marker generation function or the marker detection function includes a marker generation program that is software and a computer (marker generation device, marker detection device, marker generation detection device, marker generation detection system) that is a hardware resource. Is realized through collaboration.
なお、マーカ生成機能又はマーカ検出機能を実現するためのマーカ生成プログラムは、コンピュータのＲＯＭやハードディスクなどに記憶される他、コンピュータ読み取り可能な記録媒体、たとえば、外部記憶装置及び可搬記録媒体等に格納することができる。
外部記憶装置とは、ＣＤ−ＲＯＭ（Compact disk−Read only memory）等の記憶媒体を内蔵し、マーカ生成装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、たとえば、フレキシブルディスク，メモリカード，光磁気ディスク等をいう。
The marker generation program for realizing the marker generation function or the marker detection function is stored in a computer ROM, hard disk or the like, or in a computer-readable recording medium such as an external storage device and a portable recording medium. Can be stored.
The external storage device is a memory expansion device that incorporates a storage medium such as a CD-ROM (Compact disk-Read only memory) and is externally connected to the marker generation device. On the other hand, the portable recording medium is a recording medium that can be mounted on a recording medium driving device (drive device) and is portable, and refers to, for example, a flexible disk, a memory card, a magneto-optical disk, and the like.
そして、記録媒体に記録されたプログラムは、コンピュータのＲＡＭ（Random access memory）等にロードされて、ＣＰＵ（制御手段）により実行される。この実行により、上述した各実施形態のマーカ生成装置の機能が実現される。
さらに、コンピュータでマーカ生成プログラムをロードする場合、他のコンピュータで保有されたマーカ生成プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされたマーカ生成プログラムも、ＣＰＵにより実行され、上記各実施形態のマーカ生成装置のマーカ生成機能を実現する。
The program recorded on the recording medium is loaded into a RAM (Random Access Memory) of a computer and executed by the CPU (control means). By this execution, the function of the marker generation device of each embodiment described above is realized.
Furthermore, when the marker generation program is loaded by a computer, the marker generation program held by another computer can be downloaded to its own RAM or external storage device using a communication line. The downloaded marker generation program is also executed by the CPU, and realizes the marker generation function of the marker generation device of each of the above embodiments.
以上説明したように、本実施形態のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムによれば、映像入力手段がフレーム画像を複数撮影した場合に、それら複数のフレーム画像を用いてマーカパターンを生成することとしたので、その映像入力手段が撮影対象とする背景に対して頑健性の高いマーカパターンを生成できる。この効果は、一台の映像入力手段が複数枚のフレーム画像を撮影する場合の他、一台の映像入力手段が背景映像を長時間撮影する場合、複数台の映像入力手段を設置して複数枚のフレーム画像を撮影する場合、映像入力手段がアクティブカメラや自走カメラなどの場合にも得ることができる。 As described above, according to the marker generation device, the marker generation detection system, the marker generation detection device, the marker, the marker generation method, and the marker generation program of the present embodiment, when the video input unit captures a plurality of frame images, Since the marker pattern is generated using the plurality of frame images, it is possible to generate a marker pattern having high robustness with respect to the background to be imaged by the video input unit. In addition to the case where a single video input means captures a plurality of frame images, a single video input means installs a plurality of video input means when shooting a background video for a long time. When shooting a single frame image, it can be obtained even when the video input means is an active camera or a self-propelled camera.
また、映像入力手段が複数のフレーム画像を入力し、この間、動体の変形、経時変化、複数物体の干渉などにより偶然に出現するパターンを、それら複数のフレーム画像とともにすべて記憶しておき、マーカ設計時にそれら動体にもとづく特徴点等を除外した上で、マーカパターンを設計するようにしたので、動体にもとづく特徴点又は不変特徴の増加を抑えて特異特徴の増加を促し、頑健性の高いマーカパターンを生成することができる。 Also, the video input means inputs multiple frame images, and during this time, all the patterns that appear by chance due to deformation of the moving object, change with time, interference of multiple objects, etc. are stored together with these multiple frame images, and the marker design The marker pattern is designed after sometimes excluding the feature points based on these moving objects, so that the increase of singular features is suppressed by suppressing the increase of feature points or invariant features based on the moving objects, and the robust marker pattern Can be generated.
さらに、映像入力手段が入力した背景映像が、変化の大きい複雑シーンであった場合でも、動体を排除したかたちでマーカパターンが生成されるため、最適なマーカパターンを安定して生成できる。 Furthermore, even when the background video input by the video input means is a complex scene with a large change, the marker pattern is generated in a form that excludes moving objects, so that the optimal marker pattern can be generated stably.
以上、本発明のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの好ましい実施形態について説明したが、本発明に係るマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態では、マーカパターン生成手段がマーカを一つのみ生成することとしたが、マーカを一つのみ生成することに限るものではなく、複数生成することもできる。
As described above, the marker generation device, the marker generation detection system, the marker generation detection device, the marker, the marker generation method, and the marker generation program according to the preferred embodiments of the present invention have been described. However, the marker generation device, the marker generation detection system according to the present invention, The marker generation detection device, the marker, the marker generation method, and the marker generation program are not limited to the above-described embodiments, and it goes without saying that various modifications can be made within the scope of the present invention.
For example, in the above-described embodiment, the marker pattern generation unit generates only one marker. However, the present invention is not limited to generating only one marker, and a plurality of markers can be generated.
なお、本発明のマーカ生成装置は、第一実施形態〜第六実施形態のそれぞれにおけるマーカ生成装置を任意に組み合わせたものであってもよい。 In addition, the marker production | generation apparatus of this invention may combine the marker production | generation apparatus in each of 1st embodiment-6th embodiment arbitrarily.
本発明は、マーカの生成に関する発明であるため、マーカの生成を行なう装置や機器、さらには、物品管理、フィジカルセキュリティをはじめとする映像モニタリング、ロボットビジョン、複合現実感ＵＩ、コンテンツ生成応用といった用途に利用可能である。 Since the present invention relates to the generation of a marker, it is an apparatus or device that generates a marker, and further uses such as article management, physical security and other video monitoring, robot vision, mixed reality UI, and content generation application. Is available.
１ａ〜１ｋ マーカ生成装置
１０ 映像入力手段
１１ 映像入力部
２０ 特徴抽出手段
３０ 動体検出手段
４０ 特異特徴選択手段
５０ マーカ生成手段
６０ 不変特徴変換手段
７０ 映像入力制御手段
８０ 不変特徴合成手段
１００ マーカ検出装置
１０００ マーカ生成検出装置
２０００ マーカ生成検出システム
DESCRIPTION OF SYMBOLS 1a-1k Marker production | generation apparatus 10 Image | video input means 11 Image | video input part 20 Feature extraction means 30 Moving body detection means 40 Singular feature selection means 50 Marker generation means 60 Invariant feature conversion means 70 Image | video input control means 80 Invariant feature synthesis means 100 Marker detection apparatus 1000 Marker generation detection device 2000 Marker generation detection system
Claims (33)
前記複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す配置手段と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカ生成手段と、
前記複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを備え、
前記特異特徴選択手段が、前記低出現物体に対応する特徴点が排除された前記所定の空間から前記特異特徴を選択する
ことを特徴とするマーカ生成装置。 Video input means for inputting a plurality of images;
An arrangement means for extracting feature points for each of the plurality of images and representing the extracted feature points in a predetermined space;
Singular feature selection means for selecting a portion having a predetermined number or less of the feature points in the space as a singular feature;
Marker generating means for generating a marker using the unique feature;
A moving object detecting means for detecting an object having a low appearance frequency in the plurality of images or a state of the object as a low-appearing object;
The singular feature selection unit selects the singular feature from the predetermined space from which feature points corresponding to the low-appearing object are excluded.
この特徴抽出部は、前記特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求め、
前記動体検出手段は、前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出する
ことを特徴とする請求項１記載のマーカ生成装置。 The arrangement means includes a feature extraction unit that represents the feature points extracted from the plurality of images in a feature space,
The feature extraction unit divides the feature space into a plurality of sections and obtains the number of feature points for each section.
The moving object detection means selects one or more and a predetermined number or less of feature points for each section, and detects a feature point located in the selected section as a feature point corresponding to the low appearance object. The marker generation device according to claim 1.
前記特異特徴選択手段は、前記特徴空間における特徴点の数が所定数以下の区画を特異特徴として選択し、
前記マーカ生成手段は、この選択された特異特徴を用いてマーカを生成する
ことを特徴とする請求項２記載のマーカ生成装置。 When the moving object detecting unit detects a feature point corresponding to the low-appearing object, the number of feature points of the section in which the feature point corresponding to the low-appearing object is arranged is set to 0,
The singular feature selection means selects a section having a predetermined number or less of feature points in the feature space as a singular feature,
The marker generation device according to claim 2, wherein the marker generation unit generates a marker using the selected unique feature.
この不変特徴変換部は、前記不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求め、
前記動体検出手段は、前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出する
ことを特徴とする請求項１記載のマーカ生成装置。 The arrangement means includes a feature extraction unit that represents the feature points extracted from the plurality of images in a feature space, and an invariant feature conversion unit that represents the feature points represented in the feature space as an invariant feature space. Have
The invariant feature conversion unit divides the invariant feature space into a plurality of sections and obtains the number of the invariant features for each section.
The moving object detection means selects one or more and a predetermined number or less of the number of invariant features for each section, and detects the invariant feature located in the selected section as an invariant feature corresponding to the low-appearing object. The marker generation device according to claim 1.
前記不変特徴変換部は、前記低出現物体に対応する不変特徴が配置された区画の不変特徴の数を０とし、
前記特異特徴選択手段は、前記不変量特徴空間における不変特徴の数が所定数以下の区画を特異特徴として選択し、
前記マーカ生成手段は、この選択された特異特徴を用いてマーカを生成する
ことを特徴とする請求項４記載のマーカ生成装置。 When the moving object detection means detects an invariant feature corresponding to the low appearance object,
The invariant feature conversion unit sets the number of invariant features of a section in which invariant features corresponding to the low-occurring object are arranged to 0,
The singular feature selection means selects a section having a predetermined number or less of invariant features in the invariant feature space as a singular feature,
The marker generation device according to claim 4, wherein the marker generation unit generates a marker using the selected unique feature.
ことを特徴とする請求項１〜５のいずれかに記載のマーカ生成装置。 The moving object detection means compares a plurality of images input by the video input means, and detects a portion different from other images as a portion where the low-appearance object is projected. The marker generation device according to any one of 5.
前記映像入力手段は、前記画像を形成するデータのうち前記低出現物体が映し出された部分を構成するデータを削除する
ことを特徴とする請求項６記載のマーカ生成装置。 When the moving object detection means detects the portion where the low appearance object is projected,
The marker generation device according to claim 6, wherein the video input unit deletes data constituting a portion where the low-appearance object is projected from data forming the image.
ことを特徴とする請求項１〜７のいずれかに記載のマーカ生成装置。 The marker generation device according to any one of claims 1 to 7, further comprising video input control means for controlling the video input means based on detection contents of the low appearance object.
前記映像入力制御手段は、前記画像の中で前記低出現物体が出現した箇所が撮影されないように前記映像入力手段を制御する
ことを特徴とする請求項８記載のマーカ生成装置。 The video input means inputs an image with a fixed camera angle,
The marker generation device according to claim 8, wherein the video input control unit controls the video input unit so that a portion where the low appearance object appears in the image is not captured.
前記映像入力制御手段は、前記パン又はチルトにより撮影される範囲内で前記低出現物体が出現した箇所が撮影されないように前記映像入力手段を制御する
ことを特徴とする請求項８又は９記載のマーカ生成装置。 The video input means inputs an image while panning or tilting,
The video input control means controls the video input means so that a portion where the low-appearance object appears within a range shot by the pan or tilt is not shot. Marker generator.
前記映像入力制御手段は、前記低出現物体が出現した箇所が撮影されないように前記映像入力手段の拡大率又は縮小率を制御する
ことを特徴とする請求項８〜１０のいずれかに記載のマーカ生成装置。 The video input means inputs an enlarged or reduced image,
The marker according to any one of claims 8 to 10, wherein the video input control unit controls an enlargement rate or a reduction rate of the video input unit so that a portion where the low appearance object appears is not captured. Generator.
ことを特徴とする請求項８〜１１のいずれかに記載のマーカ生成装置。 The marker generation device according to any one of claims 8 to 11, wherein the video input control unit controls the video input unit so as not to shoot in a time zone in which the low appearance object appears frequently. .
前記動体検出手段は、前記低出現物体を検出した画像を入力した映像入力手段を特定し、
前記映像入力制御手段は、前記動体検出手段で特定された映像入力手段に対して前記制御を行う
ことを特徴とする請求項８〜１２のいずれかに記載のマーカ生成装置。 A plurality of the video input means;
The moving object detection means identifies a video input means that has input an image in which the low appearance object is detected,
The marker generation device according to any one of claims 8 to 12, wherein the video input control means performs the control on the video input means specified by the moving object detection means.
ことを特徴とする請求項１３記載のマーカ生成装置。 The marker generating device according to claim 13, wherein the plurality of video input means include an active camera or a self-propelled camera.
前記マーカ生成装置が、
複数の画像を入力する第一映像入力手段と、
この第一映像入力手段で入力された前記複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す第一配置手段と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカ生成手段と、
前記複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを有し、
前記特異特徴選択手段が、前記低出現物体に対応する特徴点が排除された前記所定の空間から前記特異特徴を選択し、
前記マーカ生成手段が、前記特異特徴を用いてマーカを生成し、
前記マーカ検出装置が、
前記マーカを記憶するマーカ記憶手段と、
画像を入力する第二映像入力手段と、
この第二映像入力手段で入力された前記画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、
前記所定の空間に表された特徴点群の配置の中に、前記マーカにもとづく特徴点の配置があるか否かを判断する照合手段とを有した
ことを特徴とするマーカ生成検出システム。 A marker generation device and a marker detection device;
The marker generating device is
First video input means for inputting a plurality of images;
First arrangement means for extracting feature points for each of the plurality of images input by the first video input means, and representing the extracted feature points in a predetermined space;
Singular feature selection means for selecting a portion having a predetermined number or less of the feature points in the space as a singular feature;
Marker generating means for generating a marker using the unique feature;
A moving object detecting means for detecting an object having a low appearance frequency in the plurality of images or a state of the object as a low appearance object,
The singular feature selection means selects the singular feature from the predetermined space from which feature points corresponding to the low-appearing object are excluded;
The marker generating means generates a marker using the unique feature;
The marker detection device is
Marker storage means for storing the marker;
A second video input means for inputting an image;
Extracting a feature point based on the image input by the second video input means, and a second arrangement means for representing the extracted feature point in a predetermined space;
A marker generation detection system, comprising: collation means for determining whether or not there is an arrangement of feature points based on the marker in the arrangement of feature points represented in the predetermined space.
この特徴抽出部は、前記特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求め、
前記動体検出手段は、前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出する
ことを特徴とする請求項１５記載のマーカ生成検出システム。 The first arrangement means includes a feature extraction unit that represents the feature points extracted from the plurality of images in a feature space;
The feature extraction unit divides the feature space into a plurality of sections and obtains the number of feature points for each section.
The moving object detection means selects one or more and a predetermined number or less of feature points for each section, and detects a feature point located in the selected section as a feature point corresponding to the low appearance object. The marker generation detection system according to claim 15.
この不変特徴変換部は、前記不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求め、
前記動体検出手段は、前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出する
ことを特徴とする請求項１５記載のマーカ生成検出システム。 The first arrangement means includes a feature extraction unit that represents the feature points extracted from the plurality of images in a feature space, and an invariant feature conversion that represents the feature points represented in the feature space as an invariant feature space. And
The invariant feature conversion unit divides the invariant feature space into a plurality of sections and obtains the number of the invariant features for each section.
The moving object detection means selects one or more and a predetermined number or less of the number of invariant features for each section, and detects the invariant feature located in the selected section as an invariant feature corresponding to the low-appearing object. The marker generation detection system according to claim 15.
ことを特徴とする請求項１５〜１７のいずれかに記載のマーカ生成検出システム。 The marker generation according to any one of claims 15 to 17, wherein the marker generation device includes a video input control unit that controls the first video input unit based on a detection content of the low-appearance object. Detection system.
この第一映像入力手段で入力された前記複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す第一配置手段と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカ生成手段と、
前記マーカを記憶するマーカ記憶手段と、
画像を入力する第二映像入力手段と、
この第二映像入力手段で入力された前記画像にもとづいて特徴点を抽出し、この抽出した特徴点を所定の空間に表す第二配置手段と、
前記所定の空間に表された特徴点群の配置の中に、前記マーカに対応する特徴点の配置があるか否かを判断する照合手段と、
前記第一映像入力手段で入力された複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する動体検出手段とを有し、
前記特異特徴選択手段が、前記低出現物体に対応する特徴点が排除された前記所定の空間から前記特異特徴を選択する
ことを特徴とするマーカ生成検出装置。 First video input means for inputting a plurality of images;
First arrangement means for extracting feature points for each of the plurality of images input by the first video input means, and representing the extracted feature points in a predetermined space;
Singular feature selection means for selecting a portion having a predetermined number or less of the feature points in the space as a singular feature;
Marker generating means for generating a marker using the unique feature;
Marker storage means for storing the marker;
A second video input means for inputting an image;
Extracting a feature point based on the image input by the second video input means, and a second arrangement means for representing the extracted feature point in a predetermined space;
Collating means for determining whether or not there is an arrangement of feature points corresponding to the marker in the arrangement of the feature points represented in the predetermined space;
A moving object detecting means for detecting an object or a state of an object having a low appearance frequency in a plurality of images input by the first video input means as a low appearance object;
The marker generation detection device, wherein the singular feature selection unit selects the singular feature from the predetermined space from which feature points corresponding to the low-appearance object are excluded.
この特徴抽出部は、前記特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求め、
前記動体検出手段は、前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出する
ことを特徴とする請求項１９記載のマーカ生成検出装置。 The first arrangement means includes a feature extraction unit that represents the feature points extracted from the plurality of images in a feature space;
The feature extraction unit divides the feature space into a plurality of sections and obtains the number of feature points for each section.
The moving object detection means selects one or more and a predetermined number or less of feature points for each section, and detects a feature point located in the selected section as a feature point corresponding to the low appearance object. The marker generation detection apparatus according to claim 19.
この不変特徴変換部は、前記不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求め、
前記動体検出手段は、前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出する
ことを特徴とする請求項１９記載のマーカ生成検出装置。 The first arrangement means includes a feature extraction unit that represents the feature points extracted from the plurality of images in a feature space, and an invariant feature conversion that represents the feature points represented in the feature space as an invariant feature space. And
The invariant feature conversion unit divides the invariant feature space into a plurality of sections and obtains the number of the invariant features for each section.
The moving object detecting means selects one or more and a predetermined number or less of the number of invariant features for each section, and detects the invariant feature located in the selected section as an invariant feature corresponding to the low-appearing object. The marker generation detection apparatus according to claim 19.
ことを特徴とする請求項１９〜２１のいずれかに記載のマーカ生成検出装置。 The marker generation detection device according to any one of claims 19 to 21, further comprising video input control means for controlling the first video input means based on detection contents of the low appearance object.
複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表し、前記複数の画像への出現頻度が低い物又は物の状態を低出現物体とし、この低出現物体に対応する特徴点が排除された前記所定の空間において前記特徴点が所定数以下の部分を特異特徴として選択し、この選択した特異特徴を用いて、前記マーカ生成装置が図形として生成した
ことを特徴とするマーカ。 A marker generated by using the marker generation device according to any one of claims 1 to 14 and attached to a predetermined object,
Feature points are extracted for each of a plurality of images, the extracted feature points are represented in a predetermined space, and an object or a state of an object having a low appearance frequency in the plurality of images is set as a low appearance object. characterized in that said characteristic points in the corresponding said predetermined spatial feature point is excluded selects as a unique feature of the following portion a predetermined number, using the selected unique feature, the marker generator has generated as a figure Marker.
ことを特徴とする請求項２３記載のマーカ。 The feature points extracted from the plurality of images are represented in a feature space, the feature space is divided into a plurality of sections, the number of the feature points is obtained for each section, and one of the number of feature points in each section is calculated. The above-mentioned predetermined number or less is selected, the feature point located in the selected section is detected as the feature point corresponding to the low appearance object, and the feature point corresponding to the low appearance object is excluded in the feature space. 24. The marker according to claim 23, wherein a segment having feature points equal to or less than a predetermined number is selected as a unique feature, and the marker is generated using the selected unique feature.
ことを特徴とする請求項２３記載のマーカ。 The feature points extracted from the plurality of images are represented in a feature space, the feature points represented in the feature space are represented as invariant features in the invariant feature space, the invariant feature space is divided into a plurality of sections, The number of invariant features is obtained for each section, and one or more and a predetermined number or less of the number of invariant features for each section is selected, and the invariant feature located in the selected section is invariant corresponding to the low-appearing object. The invariant feature space that is detected as a feature and the invariant feature space from which the invariant feature corresponding to the low-appearing object is excluded is selected as a singular feature with a predetermined number or less of the sections, and is generated using the selected singular feature. 24. A marker according to claim 23, wherein
前記複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す工程と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する工程と、
前記特異特徴を用いてマーカを生成する工程とを有し、
前記複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する工程と、
前記低出現物体に対応する特徴点が排除された前記所定の空間から前記特異特徴を選択する工程とを有した
ことを特徴とするマーカ生成方法。 Inputting a plurality of images;
Extracting feature points for each of the plurality of images, and expressing the extracted feature points in a predetermined space;
Selecting a portion having a predetermined number or less of the feature points in the space as a unique feature;
Generating a marker using the unique feature,
Detecting an object having a low appearance frequency in the plurality of images or a state of the object as a low appearance object;
And a step of selecting the singular feature from the predetermined space from which feature points corresponding to the low appearance object are excluded.
前記特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求める工程と、
前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出する工程とを有した
ことを特徴とする請求項２６記載のマーカ生成方法。 Expressing the feature points extracted from the plurality of images in a feature space;
Dividing the feature space into a plurality of sections and determining the number of feature points for each section;
Selecting one or more and a predetermined number or less of the number of feature points for each section, and detecting a feature point located in the selected section as a feature point corresponding to the low appearance object. 27. The marker generation method according to claim 26, characterized in that:
前記特徴空間に表された特徴点を不変特徴として不変量特徴空間に表す工程と、
前記不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求める工程と、
前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出する工程とを有した
ことを特徴とする請求項２６記載のマーカ生成方法。 Expressing the feature points extracted from the plurality of images in a feature space;
Expressing the feature point represented in the feature space as an invariant feature in the invariant feature space;
Dividing the invariant feature space into a plurality of sections and determining the number of invariant features for each section;
Selecting one or more and a predetermined number or less of the number of invariant features for each section, and detecting the invariant feature located in the selected section as an invariant feature corresponding to the low-appearing object. 27. The marker generation method according to claim 26, characterized in that:
ことを特徴とする請求項２６〜２８のいずれかに記載のマーカ生成方法。 The marker generation method according to any one of claims 26 to 28, further comprising a step of controlling input of an image based on detection contents of the low appearance object.
前記複数の画像ごとに特徴点を抽出し、これらの抽出した特徴点を所定の空間に表す工程と、
前記空間における前記特徴点が所定数以下の部分を特異特徴として選択する工程と、
前記特異特徴を用いてマーカを生成する工程とを有し、
前記複数の画像への出現頻度が低い物又は物の状態を低出現物体として検出する工程と、
前記低出現物体に対応する特徴点が排除された前記所定の空間から前記特異特徴を選択する工程と
をマーカ生成装置に実行させる
ことを特徴とするマーカ生成プログラム。 Inputting a plurality of images;
Extracting feature points for each of the plurality of images, and expressing the extracted feature points in a predetermined space;
Selecting a portion having a predetermined number or less of the feature points in the space as a unique feature;
Generating a marker using the unique feature,
Detecting an object having a low appearance frequency in the plurality of images or a state of the object as a low appearance object;
A marker generation program that causes a marker generation device to execute the step of selecting the singular feature from the predetermined space from which feature points corresponding to the low-appearance object are excluded.
前記特徴空間を複数の区画で区切り、各区画ごとに前記特徴点の数を求める工程と、
前記区画ごとの特徴点の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する特徴点を前記低出現物体に対応する特徴点として検出する工程と
を前記マーカ生成装置に実行させる
ことを特徴とする請求項３０記載のマーカ生成プログラム。 Expressing the feature points extracted from the plurality of images in a feature space;
Dividing the feature space into a plurality of sections and determining the number of feature points for each section;
Selecting one or more and a predetermined number or less of the number of feature points for each section, and detecting a feature point located in the selected section as a feature point corresponding to the low-appearing object. The marker generation program according to claim 30, wherein the marker generation program is executed.
前記特徴空間に表された特徴点を不変特徴として不変量特徴空間に表す工程と、
前記不変量特徴空間を複数の区画で区切り、各区画ごとに前記不変特徴の数を求める工程と、
前記区画ごとの不変特徴の数のうち１以上所定数以下のものを選択し、この選択した区画に位置する不変特徴を前記低出現物体に対応する不変特徴として検出する工程と
を前記マーカ生成装置に実行させる
ことを特徴とする請求項３０記載のマーカ生成プログラム。 Expressing the feature points extracted from the plurality of images in a feature space;
Expressing the feature point represented in the feature space as an invariant feature in the invariant feature space;
Dividing the invariant feature space into a plurality of sections and determining the number of invariant features for each section;
Selecting one or more and a predetermined number or less of the number of invariant features for each section, and detecting the invariant feature located in the selected section as an invariant feature corresponding to the low-appearing object. The marker generation program according to claim 30, wherein the marker generation program is executed.
ことを特徴とする請求項３０〜３２のいずれかに記載のマーカ生成プログラム。 The marker generation program according to any one of claims 30 to 32, wherein the marker generation device executes a step of controlling input of an image based on detection contents of the low appearance object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009171836A JP5347797B2 (en) | 2009-07-23 | 2009-07-23 | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009171836A JP5347797B2 (en) | 2009-07-23 | 2009-07-23 | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011028418A JP2011028418A (en) | 2011-02-10 |
| JP5347797B2 true JP5347797B2 (en) | 2013-11-20 |
Family
ID=43637116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009171836A Active JP5347797B2 (en) | 2009-07-23 | 2009-07-23 | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5347797B2 (en) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06348851A (en) * | 1993-04-12 | 1994-12-22 | Sony Corp | Object position detecting method |
-
2009
- 2009-07-23 JP JP2009171836A patent/JP5347797B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011028418A (en) | 2011-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6948175B2 (en) | Image processing device and its control method | |
| US8655076B2 (en) | Marker generating and marker detecting system, method and program | |
| CN109035334B (en) | Pose determining method and device, storage medium and electronic device | |
| JP5700219B2 (en) | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program | |
| CN105701756A (en) | Image processing apparatus and image processing method | |
| CN107438173A (en) | Video process apparatus, method for processing video frequency and storage medium | |
| CN103593641B (en) | Object detecting method and device based on stereo camera | |
| JP6352208B2 (en) | 3D model processing apparatus and camera calibration system | |
| CN108362223B (en) | Portable 3D scanner, scanning system and scanning method | |
| WO2019225547A1 (en) | Object tracking device, object tracking method, and object tracking program | |
| CN108369091A (en) | Image processing apparatus and method, data and recording medium | |
| US20190073796A1 (en) | Method and Image Processing System for Determining Parameters of a Camera | |
| JP5700221B2 (en) | Marker determination device, marker determination detection system, marker determination detection device, marker, marker determination method and program thereof | |
| US20200193698A1 (en) | Robotic 3d scanning systems and scanning methods | |
| JP5794427B2 (en) | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program thereof | |
| JP5700220B2 (en) | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program thereof | |
| JP2010164440A (en) | Distance image processing device and photographing device | |
| JP6027952B2 (en) | Augmented reality image generation system, three-dimensional shape data generation device, augmented reality presentation device, augmented reality image generation method, and program | |
| JP5347797B2 (en) | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program | |
| Chew et al. | Panorama stitching using overlap area weighted image plane projection and dynamic programming for visual localization | |
| JP6763154B2 (en) | Image processing program, image processing device, image processing system, and image processing method | |
| CN111698412A (en) | Dual-spectrum panoramic image acquisition method and device, unmanned aerial vehicle and client | |
| JP5347798B2 (en) | Object detection apparatus, object detection method, and object detection program | |
| JP4902564B2 (en) | Marker detection and identification device and program thereof | |
| JP5272944B2 (en) | Marker detection device, marker generation detection system, marker generation detection device, marker detection method, and marker detection program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120612 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130805 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5347797 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |