JP3285567B2 - Three-dimensional position measuring device and method, and recording medium recording three-dimensional position measuring program - Google Patents
Three-dimensional position measuring device and method, and recording medium recording three-dimensional position measuring programInfo
- Publication number
- JP3285567B2 JP3285567B2 JP31114499A JP31114499A JP3285567B2 JP 3285567 B2 JP3285567 B2 JP 3285567B2 JP 31114499 A JP31114499 A JP 31114499A JP 31114499 A JP31114499 A JP 31114499A JP 3285567 B2 JP3285567 B2 JP 3285567B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement window
- measurement
- marker
- dimensional position
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、物体の動作中にこ
の物体の各箇所をリアルタイムに３次元位置計測する３
次元位置計測装置及び方法並びに３次元位置計測プログ
ラムを記録した記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for measuring a three-dimensional position of each part of an object in real time during the operation of the object.
The present invention relates to a three-dimensional position measuring device and method, and a recording medium on which a three-dimensional position measuring program is recorded.
【０００２】[0002]
【従来の技術】物体の動作中にこの物体の各箇所をリア
ルタイムに３次元位置計測したいという要求がある。こ
の要求を解決する方式の１つに複数のカメラを用いて、
画像を撮影し、その画像中のマーカー２次元位置を計測
し、この複数の２次元位置データを基にステレオ視の原
理を用いてそのマーカーの３次元位置を計測する光学式
がある。この光学式として、相異なる色の光を放射また
は反射するマーカーを動く物体に複数装着し、複数のカ
メラで撮影した画像からマーカーを検出することによ
り、動く物体の３次元位置を測定する技術として、特開
平１１−５１６１５号公報（動く対象物の３次元位置測
定装置及びその方法）がある。このような光学式ではマ
ーカーが小型であり、自由な動作が可能という利点があ
る。前記光学式による３次元位置計測方法において、マ
ーカーの２次元位置計測を行うために、それぞれのマー
カーごとに計測窓の設定を行う。2. Description of the Related Art There is a demand for real-time three-dimensional position measurement of each part of an object during operation of the object. One solution to this requirement is to use multiple cameras,
There is an optical system that captures an image, measures the two-dimensional position of the marker in the image, and measures the three-dimensional position of the marker based on the plurality of two-dimensional position data using the principle of stereo vision. As this optical type, as a technique for measuring the three-dimensional position of a moving object by attaching a plurality of markers that emit or reflect light of different colors to the moving object and detecting the marker from images taken by multiple cameras JP-A-11-51615 (a three-dimensional position measuring device and method for a moving object). Such an optical system has the advantage that the marker is small and free movement is possible. In the optical three-dimensional position measurement method, a measurement window is set for each marker in order to perform two-dimensional marker measurement.
【０００３】カメラで撮影した画像上にあるマーカーに
対して計測窓と呼ばれる計測範囲を設定する。計測シス
テムは計測窓が示す計測範囲内を探索し、マーカーを検
出した場合、検出した位置をマーカーの２次元位置とし
て出力する。同様の処理により複数の画像上でマーカー
の２次元位置を出力した場合、ステレオ視の原理を用い
て３次元位置を算出し、出力する。A measurement range called a measurement window is set for a marker on an image captured by a camera. The measurement system searches within the measurement range indicated by the measurement window, and when a marker is detected, outputs the detected position as a two-dimensional position of the marker. When the two-dimensional position of the marker is output on a plurality of images by the same processing, the three-dimensional position is calculated and output using the principle of stereo vision.
【０００４】具体的には計測前に、計測窓のサイズを予
め設定し、各マーカーが計測窓内に含まれるように設定
する。この処理は人間の手動で行う。この処理後、計測
システムはマーカーが計測窓の中心の位置になるよう調
整する。Specifically, before measurement, the size of the measurement window is set in advance, and each marker is set so as to be included in the measurement window. This process is manually performed by a human. After this processing, the measurement system adjusts the marker so that it is located at the center of the measurement window.
【０００５】計測時において、計測窓の位置は予測した
マーカーの２次元位置を中心として、設定する。マーカ
ーの２次元位置の予測例を図１１に示す。すなわち、時
間Ｔ−１のマーカーの２次元位置を（Ｘ１，Ｙ１）、時
間Ｔのマーカーの２次元位置を（Ｘ２，Ｙ２）とした場
合、等速で移動していると仮定して、時間Ｔ＋１のマー
カーの２次元位置を（２×Ｘ２−Ｘ１，２×Ｙ２−Ｙ
１）と予測する。予測したマーカー位置を中心に計測窓
を設定し、計測窓内でマーカーを探索する。この処理を
逐次行う。At the time of measurement, the position of the measurement window is set centering on the predicted two-dimensional position of the marker. FIG. 11 shows an example of predicting the two-dimensional position of the marker. That is, when the two-dimensional position of the marker at time T-1 is (X1, Y1) and the two-dimensional position of the marker at time T is (X2, Y2), it is assumed that the marker is moving at a constant speed. The two-dimensional position of the marker at T + 1 is (2 × X2-X1, 2 × Y2-Y
Predict 1). A measurement window is set around the predicted marker position, and a marker is searched for in the measurement window. This process is performed sequentially.
【０００６】しかし、計測時にマーカーが物体の陰に隠
れ、カメラに写らなくなると、計測窓はその位置に固定
され、マーカーが再度その窓内に入るまで計測不可にな
るという問題点がある。However, when the marker is hidden behind an object during measurement and cannot be captured by the camera, there is a problem that the measurement window is fixed at that position and measurement cannot be performed until the marker enters the window again.
【０００７】図２はカメラで撮影される物体の一例であ
る人間を示す。この図では背中上のマーカーＭ１〜Ｍ１
６およびマーカーの計測窓Ｗ１〜Ｗ１６の位置を示す。
これらの位置は全て、動作前に設定されている。FIG. 2 shows a human being, which is an example of an object photographed by a camera. In this figure, the markers M1 to M1 on the back
6 and the positions of marker measurement windows W1 to W16.
All of these positions have been set before the operation.
【０００８】図３は従来方法による動作中の状態を示
し、（ａ）は移動前の状態、（ｂ）は移動後の状態を示
している。すなわち、この図３では人間が右回りに９０
°回転することで横を向き、そのまま矢印方向に移動し
た場合を示す。体の陰になったマーカーの計測窓Ｗ１，
Ｗ４，Ｗ５，Ｗ６，Ｗ１１，Ｗ１２，Ｗ１３は、移動後
も同じ位置に固定されている。よって、そのマーカーＭ
１，Ｍ４，Ｍ５，Ｍ６，Ｍ１１，Ｍ１２，Ｍ１３が出現
した場合に再度、２次元位置および３次元位置を計測す
ることができない。FIGS. 3A and 3B show states during operation according to the conventional method, wherein FIG. 3A shows a state before the movement and FIG. 3B shows a state after the movement. That is, in this FIG.
This shows a case where the camera is turned sideways by rotating by degrees and moves in the direction of the arrow as it is. Measuring window W1, for the marker in the shadow of the body
W4, W5, W6, W11, W12, and W13 are fixed at the same position after the movement. Therefore, the marker M
When 1, M4, M5, M6, M11, M12, and M13 appear, the two-dimensional position and the three-dimensional position cannot be measured again.
【０００９】[0009]
【発明が解決しようとする課題】本発明は上記の事情に
鑑みてなされたもので、マーカーが隠れた位置に計測窓
を固定するのではなく、マーカーがカメラの前面に入る
と予測される位置にその計測窓を設定することにより、
マーカーの隠れが発生した後、再度カメラの前面にマー
カーが出現した場合に、即時に３次元位置計測を可能に
する３次元位置計測装置及び方法並びに３次元位置計測
プログラムを記録した記録媒体を提供することを目的と
する。SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and does not fix a measurement window at a position where a marker is hidden, but at a position where the marker is expected to enter the front of the camera. By setting the measurement window to
Provided is a three-dimensional position measuring device and method for enabling three-dimensional position measurement immediately when a marker appears again in front of a camera after the marker is hidden, and a recording medium on which a three-dimensional position measuring program is recorded. The purpose is to do.
【００１０】[0010]
【課題を解決するための手段】上記目的を達成するため
に本発明の３次元位置計測装置は、物体に装着された複
数のマーカーを複数台のカメラで撮影した画像が入力さ
れる画像入力手段と、前記画像入力手段から画像が入力
され、マーカーの２次元位置の計測可能範囲を示す計測
窓のサイズを設定する計測窓サイズ設定手段と、前記計
測窓サイズ設定手段によりサイズを設定した計測窓の位
置を各マーカーごとに設定する計測窓位置設定手段と、
前記計測窓位置設定手段により計測窓の位置を設定した
各計測窓間の相対的な方向、距離を算出する計測窓間情
報算出手段と、前記計測窓間情報算出手段により算出し
た各計測窓間の相対的な方向、距離を用いて１つもしく
は複数の計測窓から他の計測窓の位置を予測する条件を
算出する予測条件算出手段と、前記予測条件算出手段に
より算出した計測窓位置の予測条件を蓄積する予測条件
蓄積手段と、前記画像入力手段から画像が入力され、１
つのマーカーに対して、複数の画像上の計測窓内で２次
元位置データを計測可能か判別する判別手段と、前記判
別手段により判別した結果、複数の２次元位置データが
計測可能な場合に、計測した複数の２次元位置データを
基にマーカーの３次元位置を計測する３次元位置計測手
段と、前記判別手段により判別した結果、カメラからマ
ーカーが隠れて複数の２次元位置データが計測不可能な
場合に、前記予測条件蓄積手段により蓄積した計測窓の
予測条件を用いて、カメラから隠れていたマーカーが再
度出現した場合にマーカー位置が測定できる計測窓の位
置を予測する計測窓位置予測手段と、前記計測窓位置予
測手段により予測した位置に、計測窓を再設定する計測
窓位置再設定手段とを具備することを特徴とするもので
ある。In order to achieve the above object, a three-dimensional position measuring apparatus according to the present invention comprises an image input means for inputting an image obtained by photographing a plurality of markers attached to an object with a plurality of cameras. An image input from the image input means, a measurement window size setting means for setting a size of a measurement window indicating a measurable range of the two-dimensional position of the marker, and a measurement window having a size set by the measurement window size setting means. Measurement window position setting means for setting the position of each marker,
A measurement direction information calculating means for calculating the relative direction and distance between the measurement windows for which the measurement window positions are set by the measurement window position setting means, and a measurement direction information calculation means for calculating the distance between the measurement windows calculated by the measurement window information calculation means Prediction condition calculation means for calculating a condition for predicting the position of another measurement window from one or a plurality of measurement windows using the relative direction and distance of the measurement window, and prediction of the measurement window position calculated by the prediction condition calculation means An image is input from a prediction condition storage unit for storing conditions and the image input unit;
Determining means for determining whether two-dimensional position data can be measured in a measurement window on a plurality of images for one marker; and determining that a plurality of two-dimensional position data can be measured by the determining means, A three-dimensional position measuring means for measuring a three-dimensional position of a marker based on a plurality of measured two-dimensional position data, and as a result of the discrimination by the discriminating means, the marker is hidden from a camera and a plurality of two-dimensional position data cannot be measured. In such a case, using the prediction condition of the measurement window accumulated by the prediction condition accumulation means, a measurement window position estimation means for estimating the position of the measurement window at which the marker position can be measured when the marker hidden from the camera reappears. And a measurement window position resetting means for resetting the measurement window at the position predicted by the measurement window position prediction means.
【００１１】また本発明は、前記３次元位置計測装置に
おいて、予測条件蓄積手段として、予測する探索順序を
蓄積する予測条件蓄積手段を用い、計測窓位置予測手段
として、前記予測条件蓄積手段により蓄積した予測する
探索順序を用いて計測窓の位置を予測する計測窓位置予
測手段を用いることを特徴とするものである。The present invention also provides the three-dimensional position measuring device, wherein the prediction condition storage means uses prediction condition storage means for storing a search order to be predicted, and the measurement window position prediction means stores the prediction order storage means. It is characterized by using a measurement window position prediction means for predicting the position of the measurement window using the predicted search order.
【００１２】また本発明は、複数のマーカーを物体に装
着し、複数台のカメラでリアルタイムに撮影した画像上
でマーカーを追跡し、ステレオ視の原理を用いることに
よりリアルタイムに３次元位置を計測する３次元位置計
測方法において、前記カメラで撮影された画像が入力さ
れ画像上のマーカーの２次元位置の計測可能範囲を示す
計測窓のサイズを設定する計測窓サイズ設定過程と、前
記計測窓サイズ設定過程によりサイズを設定した計測窓
の位置を各マーカーごとに設定する計測窓位置設定過程
と、前記計測窓位置設定過程により計測窓の位置を設定
した各計測窓間の相対的な方向、距離を算出する計測窓
間情報算出過程と、前記計測窓間情報算出過程により算
出した各計測窓間の相対的な方向、距離を用いて１つも
しくは複数の計測窓から他の計測窓の位置を予測する条
件を算出する予測条件算出過程と、前記予測条件算出過
程により算出した計測窓位置の予測条件を蓄積する予測
条件蓄積過程と、前記カメラで撮影された画像が入力さ
れ画像上の１つのマーカーに対して、複数の画像上の計
測窓内で２次元位置データが計測可能か判別する判別過
程と、前記判別過程により判別した結果、複数の２次元
位置データが計測可能な場合に、計測した複数の２次元
位置データを基にステレオ視の原理を用いて、マーカー
の３次元位置を計測する３次元位置計測過程と、前記判
別過程により判別した結果、カメラからマーカーが隠れ
て複数の２次元位置データが計測不可能な場合に、前記
予測条件蓄積過程により蓄積した計測窓の予測条件を用
いて、カメラから隠れていたマーカーが再度出現した場
合にマーカー位置が測定できる計測窓の位置を予測する
計測窓位置予測過程と、前記計測窓位置予測過程により
予測した位置に、計測窓を再設定する計測窓位置再設定
過程とよりなることを特徴とする。Further, the present invention mounts a plurality of markers on an object, tracks the markers on an image photographed in real time by a plurality of cameras, and measures a three-dimensional position in real time by using the principle of stereo vision. In the three-dimensional position measuring method, an image captured by the camera is input, and a measurement window size setting step of setting a measurement window size indicating a measurable range of a two-dimensional position of a marker on the image; A measurement window position setting step of setting the position of the measurement window whose size has been set by the process for each marker, and a relative direction and distance between the measurement windows whose measurement window positions have been set in the measurement window position setting step. One or more measurements using the measurement window information calculation process to be calculated and the relative direction and distance between the measurement windows calculated in the measurement window information calculation process. A prediction condition calculating step of calculating a condition for predicting the position of another measurement window from the above, a prediction condition storing step of storing the prediction condition of the measurement window position calculated by the prediction condition calculating step, and an image captured by the camera. Is input to one marker on the image, and a determination process is performed to determine whether two-dimensional position data can be measured in measurement windows on a plurality of images. As a result of the determination process, a plurality of two-dimensional position data are determined. When the measurement is possible, the three-dimensional position measuring step of measuring the three-dimensional position of the marker based on the plurality of measured two-dimensional position data using the principle of stereo vision, When a plurality of two-dimensional position data cannot be measured because the marker is hidden from the camera, the marker hidden from the camera is used by using the prediction condition of the measurement window accumulated in the prediction condition accumulation process. A measurement window position prediction step of predicting the position of the measurement window at which the marker position can be measured when reappears, and a measurement window position resetting step of resetting the measurement window to the position predicted by the measurement window position prediction step. It is characterized by comprising.
【００１３】また本発明は、前記予測条件蓄積過程にお
いて、予測する探索順序を蓄積し、前記計測窓位置予測
過程において、前記予測条件蓄積過程により蓄積した予
測する探索順序を用いて計測窓の位置を予測することを
特徴とするものである。[0013] In the present invention, in the prediction condition accumulating step, a search order to be predicted is accumulated, and in the measurement window position estimating step, the position of the measurement window is estimated by using the predicted search order accumulated in the prediction condition accumulating step. Is predicted.
【００１４】また、本発明の３次元位置計測プログラム
を記録した記録媒体は、物体に装着された複数のマーカ
ーを複数台のカメラにより撮影した画像が入力される画
像入力手順、前記画像入力手順により入力された画像上
のマーカーの２次元位置の計測可能範囲を示す計測窓の
サイズを設定する計測窓サイズ設定手順、前記計測窓サ
イズ設定手順によりサイズを設定した計測窓の位置を各
マーカーごとに設定する計測窓位置設定手順、前記計測
窓位置設定手順により計測窓の位置を設定した各計測窓
間の相対的な方向、距離を算出する計測窓間情報算出手
順、前記計測窓間情報算出手順により算出した各計測窓
間の相対的な方向、距離を用いて１つもしくは複数の計
測窓から他の計測窓の位置を予測する条件を算出する予
測条件算出手順、前記予測条件算出手順により算出した
計測窓位置の予測条件を蓄積する予測条件蓄積手順、前
記画像入力手順により入力された画像上の１つのマーカ
ーに対して、複数の画像上の計測窓内で２次元位置デー
タが計測可能か判別する判別手順、前記判別手順により
判別した結果、複数の２次元位置データが計測可能な場
合に、計測した複数の２次元位置データを基にステレオ
視の原理を用いて、マーカーの３次元位置を計測する３
次元位置計測手順、前記判別手順により判別した結果、
カメラからマーカーが隠れて複数の２次元位置データが
計測不可能な場合に、前記予測条件蓄積手順により蓄積
した計測窓の予測条件を用いて、カメラから隠れていた
マーカーが再度出現した場合にマーカー位置が測定でき
る計測窓の位置を予測する計測窓位置予測手順、前記計
測窓位置予測手順により予測した位置に、計測窓を再設
定する計測窓位置再設定手順をコンピュータに実行させ
るためのものである。[0014] Further, the recording medium storing the three-dimensional position measurement program of the present invention includes an image input procedure in which images obtained by photographing a plurality of markers attached to an object by a plurality of cameras are input. A measurement window size setting procedure for setting the size of the measurement window indicating the measurable range of the two-dimensional position of the marker on the input image, and the position of the measurement window set in the measurement window size setting procedure for each marker. A measurement window position setting procedure to set, a measurement window information calculation procedure for calculating a relative direction and a distance between each measurement window in which the measurement window position is set by the measurement window position setting procedure, and the measurement window information calculation procedure A prediction condition calculation procedure for calculating a condition for predicting the position of another measurement window from one or more measurement windows using the relative direction and distance between the measurement windows calculated by A prediction condition accumulation procedure for accumulating the prediction condition of the measurement window position calculated by the prediction condition calculation procedure; A determination procedure for determining whether or not the two-dimensional position data can be measured. If a plurality of two-dimensional position data can be measured as a result of the determination procedure, the principle of stereo vision is used based on the plurality of measured two-dimensional position data. Measure the three-dimensional position of the marker
Dimensional position measurement procedure, the result of the discrimination by the discrimination procedure,
When the marker is hidden from the camera and a plurality of two-dimensional position data cannot be measured, the marker hidden from the camera reappears using the prediction condition of the measurement window accumulated by the prediction condition accumulation procedure. This is for causing a computer to execute a measurement window position prediction procedure for predicting the position of the measurement window at which the position can be measured, and a measurement window position reset procedure for resetting the measurement window to the position predicted by the measurement window position prediction procedure. is there.
【００１５】また本発明は、前記予測条件蓄積手順にお
いて、予測する探索順序を蓄積し、前記計測窓位置予測
手順において、前記予測条件蓄積手順により蓄積した予
測する探索順序を用いて計測窓の位置を予測することを
特徴とするものである。In the present invention, in the prediction condition accumulation procedure, a search order to be predicted is accumulated, and in the measurement window position prediction procedure, the position of the measurement window is estimated by using the prediction search order accumulated by the prediction condition accumulation procedure. Is predicted.
【００１６】本発明は、３次元位置計測前に、物体上に
設定する計測窓間の距離、方向を測定し、１つまたは複
数の計測窓により他の計測窓の位置を予測する条件を算
出し、蓄積する。２次元位置計測時に、計測窓内のマー
カーが消失した場合、蓄積した予測条件を用いてその計
測窓の位置を再度設定する。この処理により、マーカー
がカメラの前面に入った場合に、即時にマーカーの２次
元位置および３次元位置を計測することが可能である。According to the present invention, before measuring the three-dimensional position, the distance and direction between the measurement windows set on the object are measured, and the condition for predicting the position of another measurement window using one or more measurement windows is calculated. And accumulate. When the marker in the measurement window disappears during the two-dimensional position measurement, the position of the measurement window is set again using the accumulated prediction conditions. With this processing, when the marker enters the front of the camera, it is possible to immediately measure the two-dimensional position and the three-dimensional position of the marker.
【００１７】従来技術とは、マーカーの隠れが発生した
場合に、隠れが発生した位置に計測窓を固定するのでは
なく、予測条件に従って計測窓を再度設定する点が異な
る。The difference from the prior art is that when a marker is hidden, the measurement window is set again in accordance with the prediction condition, instead of fixing the measurement window at the position where the marker has been hidden.
【００１８】[0018]
【発明の実施の形態】以下図面を参照して本発明の実施
形態例を詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００１９】マーカーとして、高輝度ＬＥＤを使用する
場合が考えられる。但し、現状のデバイス技術では色の
数は赤、橙、黄、黄緑、緑、青の６色に限定される。よ
って人間の身体部位のうち、両方の耳、首、両肩、両
肘、両手、腹、両腰、両膝、両足の計１６箇所を計測し
ようとする場合、同色のＬＥＤマーカーを複数箇所に使
わざるを得ない。例として図１０を示す。It is conceivable to use a high-brightness LED as a marker. However, in the current device technology, the number of colors is limited to six colors of red, orange, yellow, yellow-green, green, and blue. Therefore, when trying to measure a total of 16 places of the human body parts, both ears, neck, both shoulders, both elbows, both hands, belly, both hips, both knees and both feet, the same color LED marker is used at multiple places. I have to use it. FIG. 10 is shown as an example.
【００２０】図１は本発明の実施形態例に係る３次元位
置計測装置を示すブロック図である。FIG. 1 is a block diagram showing a three-dimensional position measuring apparatus according to an embodiment of the present invention.
【００２１】すなわち、画像入力部１１は物体動作を認
識するために、物体に装着された複数のマーカーを複数
台のカメラで撮影した画像が入力される。計測窓サイズ
設定部１２は前記画像入力部１１から計測前の１回のみ
画像が入力され、マーカーの２次元位置の計測可能範囲
を示す計測窓のサイズを設定する。次に、計測窓位置設
定部１３は前記計測窓サイズ設定部１２によりサイズが
設定された計測窓の位置を各マーカーごとに設定する。
次に、計測窓間情報算出部１４は前記計測窓位置設定部
１３により計測窓の位置を設定した各計測窓間の相対的
な方向、距離を算出する。次に、予測条件算出部１５は
前記計測窓間情報算出部１４により算出した各計測窓間
の相対的な方向、距離を用いて１つもしくは複数の計測
窓から他の計測窓の位置を予測する条件を算出する。次
に、予測条件蓄積部１６は前記予測条件算出部１５によ
り算出した計測窓位置の予測条件を蓄積する。判別部１
７は前記画像入力部１１から計測時にリアルタイムで画
像が入力され、１つのマーカーに対して、複数の画像上
の計測窓内で計測可能か、すなわち複数の２次元位置デ
ータを計測可能か判別する。３次元位置計測部１８は前
記判別部１７により判別した結果、複数の２次元位置デ
ータが計測可能な場合に、計測した複数の２次元位置デ
ータを基にステレオ視の原理（画像上の２次元座標から
実空間上の３次元座標を求める）を用いてそのマーカー
の３次元位置を計測し、その３次元位置データを出力す
る。That is, the image input unit 11 receives an image obtained by photographing a plurality of markers attached to the object with a plurality of cameras in order to recognize the object movement. The measurement window size setting unit 12 receives the image only once before measurement from the image input unit 11 and sets the size of the measurement window indicating the measurable range of the two-dimensional position of the marker. Next, the measurement window position setting unit 13 sets the position of the measurement window whose size has been set by the measurement window size setting unit 12 for each marker.
Next, the measurement window information calculation unit 14 calculates the relative direction and distance between the measurement windows for which the measurement window positions have been set by the measurement window position setting unit 13. Next, the prediction condition calculation unit 15 predicts the position of another measurement window from one or more measurement windows using the relative direction and distance between each measurement window calculated by the measurement window information calculation unit 14. Calculate the conditions to perform. Next, the prediction condition storage unit 16 stores the prediction condition of the measurement window position calculated by the prediction condition calculation unit 15. Discriminator 1
Reference numeral 7 denotes whether an image is input in real time from the image input unit 11 at the time of measurement, and whether or not one marker can be measured in measurement windows on a plurality of images, that is, whether a plurality of two-dimensional position data can be measured. . When the three-dimensional position measurement unit 18 can determine a plurality of two-dimensional position data as a result of the determination by the determination unit 17, the principle of stereo vision (two-dimensional image The three-dimensional position of the marker is measured by using (determining three-dimensional coordinates in the real space from the coordinates), and the three-dimensional position data is output.
【００２２】尚、ステレオ視の原理とは、空間上の一点
が左右の二平面に投影された時、この二点を同一の点に
整合することであって、ステレオ整合により２次元画像
から３次元位置を得ることができる。図９は、同一対象
物に対して相異なる二画像の同一マーカーをステレオ整
合して、３次元位置を得る図であって、図９に示す第１
及び第２のカメラの位置と焦点距離は既に知られている
と仮定する。図９を参照するに、第１カメラ部３００に
よる第１画像３０４での対象物Ｗの位置（ｘ1、
ｙ1 ）、第２カメラ部３０２による第２画像３０６での
対象物Ｗの位置（ｘ2、ｙ2 ）からＷの３次元位置Ｗ
（ｘ、ｙ、ｚ）は次のように得られる。まず、第１カメ
ラ部３００の焦点距離をｆ1 とすれば、（ｘ1 、ｙ1 ）
は、 ｘ1 ＝ｆ1 ｘ／（ｆ1 −ｚ），ｙ1 ＝ｆ1 ｙ／（ｆ1 −
ｚ） となる。これより第１カメラ部３００から始まって、
（ｘ、ｙ、ｚ）を通過する直線Ｌ1 の式が得られる。次
に、第２カメラ部３０２の焦点距離をｆ2 とすれば、
（ｘ2 、ｙ2 ）は、 ｘ2 ＝ｆ2 ｘ／（ｆ2 −ｚ），ｙ2 ＝ｆ2 ｙ／（ｆ2 −
ｚ） となる。これより第２カメラ３０２から始まって、
（ｘ、ｙ、ｚ）を通過する直線Ｌ2 の式が得られる。こ
の二直線Ｌ1 とＬ2 とが交差する点、つまり、Ｌ1 ＝Ｌ
2 を満足する（ｘ、ｙ、ｚ）が得ようとした実際の３次
元位置となる。The principle of stereo vision is that when one point in space is projected on two planes on the left and right, these two points are matched to the same point. The dimensional position can be obtained. FIG. 9 is a diagram of obtaining a three-dimensional position by stereo-matching the same marker of two different images with respect to the same object, and shows the first position shown in FIG.
And the position and focal length of the second camera are already known. Referring to FIG. 9, the position of the target object W in the first image 304 by the first camera unit 300 (x 1 ,
y 1 ), the three-dimensional position W of W from the position (x 2 , y 2 ) of the object W in the second image 306 by the second camera unit 302
(X, y, z) is obtained as follows. First, if the focal length of the first camera unit 300 and f 1, (x 1, y 1)
Are x 1 = f 1 x / (f 1 −z) and y 1 = f 1 y / (f 1 −
z) Starting from the first camera section 300,
(X, y, z) is the formula of the straight line L 1 which passes through the resulting. Next, if the focal length of the second camera unit 302 is f 2 ,
(X 2 , y 2 ) is x 2 = f 2 x / (f 2 −z), y 2 = f 2 y / (f 2 −
z) Now, starting with the second camera 302,
(X, y, z) equation of the straight line L 2 passing through is obtained. The point where these two straight lines L 1 and L 2 intersect, that is, L 1 = L
(X, y, z) satisfying 2 is the actual three-dimensional position to be obtained.
【００２３】前記判別部１７により判別した結果、カメ
ラからマーカーが隠れて複数の２次元位置データが計測
不可能な場合に計測窓位置予測部１９は、前記予測条件
蓄積部１６により蓄積した計測窓の予測条件を用いて、
カメラから隠れていたマーカーが再度出現した場合にマ
ーカー位置が測定できる計測窓の位置を予測する。次
に、計測窓位置再設定部２０は前記計測窓位置予測部１
９により予測した位置に計測窓を再設定する。As a result of the discrimination by the discriminating unit 17, when the marker is hidden from the camera and a plurality of two-dimensional position data cannot be measured, the measuring window position predicting unit 19 uses the measuring window accumulated by the predicting condition accumulating unit 16. Using the prediction conditions of
When the marker hidden from the camera appears again, the position of the measurement window where the marker position can be measured is predicted. Next, the measurement window position resetting section 20 performs the measurement window position prediction section 1
The measurement window is reset to the position predicted by 9.
【００２４】図４は本発明による動作中の状態を示し、
（ａ）は移動前の状態、（ｂ）は移動後の状態を示して
いる。すなわち、図２の人間の動作前の背中を向けた状
態から、図４では人間が右回りに９０°回転することで
横を向き、そのまま矢印方向に移動した場合を示す。体
の陰になったマーカーの計測窓Ｗ１，Ｗ４，Ｗ５，Ｗ
６，Ｗ１１，Ｗ１２，Ｗ１３は、体の移動後もマーカー
が隠れた位置に固定するのではなく、予測条件に従っ
て、マーカーがカメラの前面に入ると予測される位置に
その計測窓Ｗ１，Ｗ４，Ｗ５，Ｗ６，Ｗ１１，Ｗ１２，
Ｗ１３を自動的に再設定することにより、マーカーの隠
れが発生した後、そのマーカーが体の陰でなく再度カメ
ラの前面にマーカーＭ１，Ｍ４，Ｍ５，Ｍ６，Ｍ１１，
Ｍ１２，Ｍ１３が出現した場合に、即時に２次元位置お
よび３次元位置を計測することができる。FIG. 4 shows an operating state according to the invention,
(A) shows the state before the movement, and (b) shows the state after the movement. That is, FIG. 4 shows a case in which the human turns 90 ° clockwise to turn sideways from the state in which the back of the human before turning is turned in FIG. 2 and moves in the arrow direction as it is. Measurement window W1, W4, W5, W of the marker in the shadow of the body
6, W11, W12, and W13 do not fix the marker at a hidden position even after the movement of the body, but measure the measurement windows W1, W4, and W4 at the position where the marker is predicted to enter the front of the camera according to the prediction condition. W5, W6, W11, W12,
By automatically resetting W13, after hiding of the marker occurs, the marker is again displayed on the front of the camera instead of the shadow of the body, instead of the marker M1, M4, M5, M6, M11,
When M12 and M13 appear, the two-dimensional position and the three-dimensional position can be measured immediately.
【００２５】図５（ａ），（ｂ）は本発明に係る計測窓
を自動設定するために必要な各計測窓間の情報の例を示
している。図５（ｂ）は図５（ａ）のＡ部を抜き出して
示した図である。すなわち、計測窓Ｗ１３に対しての計
測窓Ｗ１２からの距離Ｘ１および方向α、計測窓Ｗ１５
からの距離Ｘ２および方向β、計測窓Ｗ１６からの距離
Ｘ３および方向γである。図５（ｃ）は図５（ｂ）によ
り得られる計測窓Ｗ１３に対する各計測窓Ｗ１２，Ｗ１
５，Ｗ１６間の情報を示している。この情報により計測
窓Ｗ１３内のマーカーの隠れが発生した場合、各計測窓
Ｗ１２，Ｗ１５，Ｗ１６内にマーカーＭ１２，Ｍ１５，
Ｍ１６があるかを確認する。最初に、探索順序１とし
て、計測窓Ｗ１２内にマーカーＭ１２があるか判別す
る。ある場合、蓄積してある計測窓Ｗ１３との距離Ｘ１
と方向αにより位置を予測する。ない場合、探索順序２
として、計測窓Ｗ１５内にマーカーＭ１５があるか判別
する。ある場合、蓄積してある計測窓Ｗ１３との距離Ｘ
２と方向βにより位置を予測する。ない場合、探索順序
３として、計測窓Ｗ１６内にマーカーＭ１６があるか判
別する。ある場合、蓄積してある計測窓Ｗ１３との距離
Ｘ３と方向γにより位置を予測する。FIGS. 5A and 5B show examples of information between the measurement windows necessary for automatically setting the measurement windows according to the present invention. FIG. 5B is a diagram showing an extracted part A of FIG. 5A. That is, the distance X1 and the direction α from the measurement window W12 to the measurement window W13, and the measurement window W15
And the direction β from the measurement window W16. FIG. 5C shows the measurement windows W12 and W1 with respect to the measurement window W13 obtained in FIG. 5B.
5, information between W16. When the marker hides in the measurement window W13 based on this information, the markers M12, M15,
Check if there is M16. First, as the search order 1, it is determined whether or not the marker M12 exists in the measurement window W12. In some cases, the distance X1 from the accumulated measurement window W13
And the direction α. If not, search order 2
It is determined whether there is a marker M15 in the measurement window W15. If there is, the distance X from the accumulated measurement window W13
The position is predicted by 2 and the direction β. If not, it is determined whether or not the marker M16 exists in the measurement window W16 as the search order 3. In some cases, the position is predicted based on the distance X3 to the accumulated measurement window W13 and the direction γ.
【００２６】図６（ａ），（ｂ）は本発明に係る各マー
カー位置に対する探索順序の一例を示す説明図である。
すなわち、図６（ａ）はマーカー位置を示し、例えば
は左耳である。また、図６（ｂ）は各マーカー位置に対
する探索順序を示し、例えば左耳は→→の順序
で探索する。FIGS. 6A and 6B are explanatory diagrams showing an example of a search order for each marker position according to the present invention.
That is, FIG. 6A shows the marker position, for example, the left ear. FIG. 6B shows the search order for each marker position. For example, the left ear searches in the order of →→.
【００２７】尚、本発明では、例えば高輝度ＬＥＤを用
いたマーカーが使用可能であり、装着位置ごとに異なる
色を用いることによって、検出されたマーカーごとに装
着位置を特定することができる。In the present invention, for example, a marker using a high-brightness LED can be used, and by using a different color for each mounting position, the mounting position can be specified for each detected marker.
【００２８】図７は本発明の３次元位置計測方法に係る
計測窓の位置を予測する条件を蓄積するまでの一例を示
す流れ図である。すなわち、物体動作を認識するため
に、複数のマーカーを物体に装着し、複数台のカメラを
用いて前記マーカーを追跡撮影し、ステレオ視の原理を
用いることによりリアルタイムに３次元位置を計測する
３次元位置計測方法において、最初に、カメラから撮影
した画像を計測前の１回のみ入力する（ステップ３
１）。次に、前記カメラで撮影された画像が入力され画
像上のマーカーの２次元位置の計測可能範囲を示す計測
窓のサイズを設定する（ステップ３２）。次に、前記ス
テップ３２によりサイズを設定した計測窓の位置を画像
上の各マーカーごとに設定する（ステップ３３）。次
に、ステップ３３により計測窓の位置を設定した各計測
窓間の相対的な方向、距離を算出する（ステップ３
４）。次に、ステップ３４により算出した各計測窓間の
相対的な方向、距離を用いて１つもしくは複数の計測窓
から他の計測窓の位置を予測する条件を算出する（ステ
ップ３５）。次に、ステップ３５により算出した計測窓
位置の予測条件および予測する探索順序を蓄積する（ス
テップ３６）。FIG. 7 is a flow chart showing an example of accumulating conditions for estimating the position of the measurement window according to the three-dimensional position measuring method of the present invention. That is, in order to recognize the motion of the object, a plurality of markers are attached to the object, the markers are tracked and photographed using a plurality of cameras, and the three-dimensional position is measured in real time by using the principle of stereo vision. In the three-dimensional position measurement method, first, an image captured by a camera is input only once before measurement (step 3).
1). Next, an image captured by the camera is input, and the size of a measurement window indicating the measurable range of the two-dimensional position of the marker on the image is set (step 32). Next, the position of the measurement window whose size has been set in step 32 is set for each marker on the image (step 33). Next, the relative direction and distance between the measurement windows for which the positions of the measurement windows are set in step 33 are calculated (step 3).
4). Next, a condition for estimating the position of another measurement window from one or more measurement windows is calculated using the relative direction and distance between each measurement window calculated in step 34 (step 35). Next, the prediction condition of the measurement window position calculated in step 35 and the search order to be predicted are accumulated (step 36).
【００２９】図８は本発明の３次元位置計測方法に係る
マーカーの３次元位置を計測するまでの一例を示す流れ
図である。すなわち、最初に、カメラから撮影した画像
を計測時にリアルタイムで入力する（ステップ４１）。
次に、前記カメラで撮影された画像が入力され画像上の
１つのマーカーに対して、複数の画像上の計測窓内で２
次元位置データが計測可能か判別する（ステップ４
２）。ステップ４２により判別した結果、複数の２次元
位置データが計測可能な場合に、計測した複数の画像上
で求められるマーカーの２次元位置データを基にステレ
オ視の原理を用いて、マーカーの３次元位置を計測する
（ステップ４３）。ステップ４２により判別した結果、
カメラからマーカーが隠れて複数の２次元位置データが
計測不可能な場合に、ステップ３６により蓄積した探索
順序および計測窓の予測条件を用いて、カメラから隠れ
ていたマーカーが再度出現した場合にマーカー位置が測
定できる計測窓の２次元位置を予測可能か調べる（ステ
ップ４４）。ステップ４４により予測可能の場合、予測
した２次元位置に計測窓を再設定する（ステップ４
５）。FIG. 8 is a flowchart showing an example of a process for measuring the three-dimensional position of a marker according to the three-dimensional position measuring method of the present invention. That is, first, an image captured by the camera is input in real time at the time of measurement (step 41).
Next, an image captured by the camera is input, and one marker on the image is moved within a measurement window on a plurality of images.
It is determined whether the dimensional position data can be measured (Step 4)
2). If a plurality of two-dimensional position data can be measured as a result of the determination in step 42, the three-dimensional marker of the marker is used based on the two-dimensional position data of the marker obtained on the plurality of measured images, using the principle of stereo vision. The position is measured (step 43). As a result of the determination in step 42,
When the marker is hidden from the camera and a plurality of two-dimensional position data cannot be measured, the marker hidden from the camera appears again using the search order and the prediction condition of the measurement window accumulated in step 36 when the marker hidden from the camera appears again. It is checked whether the two-dimensional position of the measurement window whose position can be measured can be predicted (step 44). If the prediction is possible in step 44, the measurement window is reset to the predicted two-dimensional position (step 4).
5).
【００３０】尚、上記３次元位置計測方法は、具体的に
はパーソナルコンピュータ（ＰＣ）等のコンピュータに
より、予め所定の記録媒体に記録された３次元位置計測
プログラムに基づいて実行される。The three-dimensional position measurement method is specifically executed by a computer such as a personal computer (PC) based on a three-dimensional position measurement program recorded in a predetermined recording medium in advance.
【００３１】すなわち、物体に装着された複数のマーカ
ーを複数台のカメラにより撮影した画像が入力される画
像入力手順、前記画像入力手順により入力された画像上
のマーカーの２次元位置の計測可能範囲を示す計測窓の
サイズを設定する計測窓サイズ設定手順、前記計測窓サ
イズ設定手順によりサイズを設定した計測窓の位置を各
マーカーごとに設定する計測窓位置設定手順、前記計測
窓位置設定手順により計測窓の位置を設定した各計測窓
間の相対的な方向、距離を算出する計測窓間情報算出手
順、前記計測窓間情報算出手順により算出した各計測窓
間の相対的な方向、距離を用いて１つもしくは複数の計
測窓から他の計測窓の位置を予測する条件を算出する予
測条件算出手順、前記予測条件算出手順により算出した
計測窓位置の予測条件を蓄積する予測条件蓄積手順、前
記画像入力手順により入力された画像上の１つのマーカ
ーに対して、複数の画像上の計測窓内で２次元位置デー
タが計測可能か判別する判別手順、前記判別手順により
判別した結果、複数の２次元位置データが計測可能な場
合に、計測した複数の２次元位置データを基にステレオ
視の原理を用いて、マーカーの３次元位置を計測する３
次元位置計測手順、前記判別手順により判別した結果、
カメラからマーカーが隠れて複数の２次元位置データが
計測不可能な場合に、前記予測条件蓄積手順により蓄積
した計測窓の予測条件を用いて、カメラから隠れていた
マーカーが再度出現した場合にマーカー位置が測定でき
る計測窓の位置を予測する計測窓位置予測手順、前記計
測窓位置予測手順により予測した位置に、計測窓を再設
定する計測窓位置再設定手順をコンピュータに実行させ
る。That is, an image input procedure in which an image obtained by photographing a plurality of markers attached to an object by a plurality of cameras is input, and a measurable range of the two-dimensional position of the marker on the image input in the image input procedure The measurement window size setting procedure for setting the size of the measurement window, indicating the measurement window position setting procedure for setting the position of the measurement window whose size has been set by the measurement window size setting procedure for each marker, and the measurement window position setting procedure The relative direction between each measurement window where the position of the measurement window is set, the measurement window information calculation procedure for calculating the distance, and the relative direction between each measurement window calculated by the measurement window information calculation procedure, the distance Prediction condition calculation procedure for calculating a condition for predicting the position of another measurement window from one or a plurality of measurement windows using the same, and prediction of the measurement window position calculated by the prediction condition calculation procedure A prediction condition accumulation procedure for accumulating cases, a determination procedure for determining whether two-dimensional position data can be measured in a measurement window on a plurality of images for one marker on the image input by the image input procedure, If a plurality of two-dimensional position data can be measured as a result of the discrimination procedure, the three-dimensional position of the marker is measured using the principle of stereo vision based on the plurality of measured two-dimensional position data.
Dimensional position measurement procedure, the result of the discrimination by the discrimination procedure,
When the marker is hidden from the camera and a plurality of two-dimensional position data cannot be measured, the marker hidden from the camera reappears using the prediction condition of the measurement window accumulated by the prediction condition accumulation procedure. The computer is caused to execute a measurement window position prediction procedure for predicting the position of the measurement window at which the position can be measured, and a measurement window position reset procedure for resetting the measurement window to the position predicted by the measurement window position prediction procedure.
【００３２】前記予測条件蓄積手順において、予測する
探索順序を蓄積し、前記計測窓位置予測手順において、
前記予測条件蓄積手順により蓄積した予測する探索順序
を用いて計測窓の位置を予測するようにしてもよい。In the predicting condition storing procedure, a search order to be predicted is stored, and in the measuring window position predicting procedure,
The position of the measurement window may be predicted using the search order for prediction accumulated by the prediction condition accumulation procedure.
【００３３】[0033]
【発明の効果】以上述べたように本発明によれば、マー
カーの隠れが発生し、その後マーカーがカメラの前面に
入った場合に、即時に３次元位置計測が可能である。As described above, according to the present invention, three-dimensional position measurement can be immediately performed when the marker is hidden and the marker enters the front of the camera thereafter.
【図１】本発明の実施形態例に係る３次元位置計測装置
を示すブロック図である。FIG. 1 is a block diagram showing a three-dimensional position measuring device according to an embodiment of the present invention.
【図２】カメラで撮影される物体の一例である人間の動
作前の状態を示す説明図である。FIG. 2 is an explanatory diagram showing a state before an operation of a human being, which is an example of an object imaged by a camera.
【図３】従来の３次元位置計測方法による動作中の状態
を示し、（ａ）は移動前の状態を示す説明図、（ｂ）は
移動後の状態を示す説明図である。3A and 3B are diagrams illustrating a state during operation according to a conventional three-dimensional position measurement method, in which FIG. 3A is a diagram illustrating a state before movement and FIG. 3B is a diagram illustrating a state after movement.
【図４】本発明の実施形態例に係る３次元位置計測方法
による動作中の状態を示し、（ａ）は移動前の状態を示
す説明図、（ｂ）は移動後の状態を示す説明図である。FIGS. 4A and 4B show states during operation by the three-dimensional position measuring method according to the embodiment of the present invention, wherein FIG. 4A is an explanatory view showing a state before movement, and FIG. It is.
【図５】本発明の実施形態例に係る３次元位置計測方法
による人間上の計測窓間の情報を示す説明図である。FIG. 5 is an explanatory diagram showing information between measurement windows on a human by the three-dimensional position measurement method according to the embodiment of the present invention.
【図６】本発明の実施形態例に係る３次元位置計測方法
による計測窓の探索順序を示す説明図である。FIG. 6 is an explanatory diagram showing a search order of measurement windows by a three-dimensional position measurement method according to an embodiment of the present invention.
【図７】本発明の実施形態例に係る３次元位置計測方法
による計測窓の２次元位置を予測する条件を蓄積するま
での流れ図である。FIG. 7 is a flow chart until conditions for predicting a two-dimensional position of a measurement window by the three-dimensional position measurement method according to the embodiment of the present invention are accumulated.
【図８】本発明の実施形態例に係る３次元位置計測方法
による計測窓の３次元位置計測時の流れ図である。FIG. 8 is a flowchart at the time of measuring the three-dimensional position of the measurement window by the three-dimensional position measuring method according to the embodiment of the present invention.
【図９】本発明の実施形態例に係るステレオ視の原理を
説明するための説明図である。FIG. 9 is an explanatory diagram for explaining the principle of stereoscopic vision according to the embodiment of the present invention.
【図１０】本発明の実施形態例に係るＬＥＤマーカーの
配置例を示す説明図である。FIG. 10 is an explanatory diagram showing an example of the arrangement of LED markers according to the embodiment of the present invention.
【図１１】計測窓の設定方法に関する説明図である。FIG. 11 is an explanatory diagram related to a method of setting a measurement window.
【符号の説明】 １１ 画像入力部 １２ 計測窓サイズ設定部 １３ 計測窓位置設定部 １４ 計測窓間情報算出部 １５ 予測条件算出部 １６ 予測条件蓄積部 １７ 判別部 １８ ３次元位置計測部 １９ 計測窓位置予測部 ２０ 計測窓位置再設定部[Description of Signs] 11 Image input unit 12 Measurement window size setting unit 13 Measurement window position setting unit 14 Measurement window information calculation unit 15 Prediction condition calculation unit 16 Prediction condition storage unit 17 Judgment unit 18 3D position measurement unit 19 Measurement window Position prediction unit 20 Measurement window position resetting unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 石橋 聡 東京都千代田区大手町二丁目３番１号 日本電信電話株式会社内 (56)参考文献 特開 平10−124682（ＪＰ，Ａ) 特開2001−34759（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 - 11/30 102 G06T 1/00 G06T 7/00 G06T 7/20 H04N 13/00 - 17/04 ──────────────────────────────────────────────────続 き Continuation of front page (72) Inventor Satoshi Ishibashi 2-3-1 Otemachi, Chiyoda-ku, Tokyo Nippon Telegraph and Telephone Corporation (56) References JP-A-10-124682 (JP, A) JP-A 2001-34759 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G01B 11/00-11/30 102 G06T 1/00 G06T 7/00 G06T 7/20 H04N 13/00- 17/04
Claims (6)
台のカメラで撮影した画像が入力される画像入力手段
と、 前記画像入力手段から画像が入力され、マーカーの２次
元位置の計測可能範囲を示す計測窓のサイズを設定する
計測窓サイズ設定手段と、 前記計測窓サイズ設定手段によりサイズを設定した計測
窓の位置を各マーカーごとに設定する計測窓位置設定手
段と、 前記計測窓位置設定手段により計測窓の位置を設定した
各計測窓間の相対的な方向、距離を算出する計測窓間情
報算出手段と、 前記計測窓間情報算出手段により算出した各計測窓間の
相対的な方向、距離を用いて１つもしくは複数の計測窓
から他の計測窓の位置を予測する条件を算出する予測条
件算出手段と、 前記予測条件算出手段により算出した計測窓位置の予測
条件を蓄積する予測条件蓄積手段と、 前記画像入力手段から画像が入力され、１つのマーカー
に対して、複数の画像上の計測窓内で２次元位置データ
を計測可能か判別する判別手段と、 前記判別手段により判別した結果、複数の２次元位置デ
ータが計測可能な場合に、計測した複数の２次元位置デ
ータを基にマーカーの３次元位置を計測する３次元位置
計測手段と、 前記判別手段により判別した結果、カメラからマーカー
が隠れて複数の２次元位置データが計測不可能な場合
に、前記予測条件蓄積手段により蓄積した計測窓の予測
条件を用いて、カメラから隠れていたマーカーが再度出
現した場合にマーカー位置が測定できる計測窓の位置を
予測する計測窓位置予測手段と、 前記計測窓位置予測手段により予測した位置に、計測窓
を再設定する計測窓位置再設定手段とを具備することを
特徴とする３次元位置計測装置。1. An image input means for inputting an image obtained by photographing a plurality of markers attached to an object with a plurality of cameras, and an image input from the image input means, and a measurable range of a two-dimensional position of the marker. Measurement window size setting means for setting the size of the measurement window indicating: measurement window position setting means for setting, for each marker, the position of the measurement window whose size has been set by the measurement window size setting means; and Means for calculating the relative direction and distance between the measurement windows for which the position of the measurement window is set by the means; and the relative direction between the measurement windows calculated by the information for measuring window between the measurement windows. Prediction condition calculating means for calculating a condition for predicting the position of another measurement window from one or a plurality of measurement windows using a distance, and a prediction condition for the measurement window position calculated by the prediction condition calculation means. Predictive condition storing means for storing, determining means for determining whether two-dimensional position data can be measured within a measurement window on a plurality of images with respect to one marker when an image is input from the image input means, When a plurality of two-dimensional position data can be measured as a result of the determination by the means, the three-dimensional position measuring means for measuring the three-dimensional position of the marker based on the plurality of measured two-dimensional position data; As a result, when the marker is hidden from the camera and a plurality of two-dimensional position data cannot be measured, the marker hidden from the camera reappears using the prediction condition of the measurement window accumulated by the prediction condition accumulation means. A measurement window position estimating means for estimating the position of the measurement window at which the marker position can be measured, and resetting the measurement window to the position predicted by the measurement window position estimating means. Three-dimensional position measuring apparatus characterized by comprising a Hakamado position resetting means.
いて、予測条件蓄積手段として、予測する探索順序を蓄
積する予測条件蓄積手段を用い、計測窓位置予測手段と
して、前記予測条件蓄積手段により蓄積した予測する探
索順序を用いて計測窓の位置を予測する計測窓位置予測
手段を用いることを特徴とする３次元位置計測装置。2. The three-dimensional position measuring device according to claim 1, wherein the prediction condition storage means includes a prediction condition storage means for storing a search order to be predicted, and the measurement window position prediction means includes the prediction condition storage means. A three-dimensional position measuring apparatus characterized by using a measuring window position predicting means for predicting a position of a measuring window using the accumulated search order for prediction.
のカメラを用いて前記マーカーを追跡撮影し、ステレオ
視の原理を用いることによりリアルタイムに３次元位置
を計測する３次元位置計測方法において、 前記カメラで撮影された画像が入力され画像上のマーカ
ーの２次元位置の計測可能範囲を示す計測窓のサイズを
設定する計測窓サイズ設定過程と、 前記計測窓サイズ設定過程によりサイズを設定した計測
窓の位置を各マーカーごとに設定する計測窓位置設定過
程と、 前記計測窓位置設定過程により計測窓の位置を設定した
各計測窓間の相対的な方向、距離を算出する計測窓間情
報算出過程と、 前記計測窓間情報算出過程により算出した各計測窓間の
相対的な方向、距離を用いて１つもしくは複数の計測窓
から他の計測窓の位置を予測する条件を算出する予測条
件算出過程と、 前記予測条件算出過程により算出した計測窓位置の予測
条件を蓄積する予測条件蓄積過程と、 前記カメラで撮影された画像が入力され画像上の１つの
マーカーに対して、複数の画像上の計測窓内で２次元位
置データが計測可能か判別する判別過程と、 前記判別過程により判別した結果、複数の２次元位置デ
ータが計測可能な場合に、計測した複数の２次元位置デ
ータを基にステレオ視の原理を用いて、マーカーの３次
元位置を計測する３次元位置計測過程と、 前記判別過程により判別した結果、カメラからマーカー
が隠れて複数の２次元位置データが計測不可能な場合
に、前記予測条件蓄積過程により蓄積した計測窓の予測
条件を用いて、カメラから隠れていたマーカーが再度出
現した場合にマーカー位置が測定できる計測窓の位置を
予測する計測窓位置予測過程と、 前記計測窓位置予測過程により予測した位置に、計測窓
を再設定する計測窓位置再設定過程とよりなることを特
徴とする３次元位置計測方法。3. A three-dimensional position measuring method for mounting a plurality of markers on an object, tracking and photographing the markers using a plurality of cameras, and measuring a three-dimensional position in real time by using the principle of stereo vision. An image captured by the camera is input, a measurement window size setting step of setting a measurement window size indicating a measurable range of a two-dimensional position of a marker on the image; and a size is set by the measurement window size setting step. A measurement window position setting step of setting the position of the measurement window for each marker; and a measurement window information for calculating a relative direction and distance between the measurement windows in which the measurement window position is set in the measurement window position setting step. Calculating the position of another measurement window from one or more measurement windows using the relative direction and distance between the measurement windows calculated in the calculation process and the measurement window information calculation process. A predictive condition calculating step of calculating a condition to be performed; a predictive condition storing step of storing a predictive condition of the measurement window position calculated by the predictive condition calculating step; an image captured by the camera being input and one marker on the image A determination step of determining whether two-dimensional position data can be measured in a measurement window on a plurality of images; and, when a plurality of two-dimensional position data can be measured as a result of the determination in the determination step, measurement is performed. A three-dimensional position measurement process of measuring a three-dimensional position of a marker using the principle of stereo vision based on a plurality of two-dimensional position data; When the position data cannot be measured, using the prediction condition of the measurement window accumulated in the prediction condition accumulation process, the marker hidden from the camera reappears. A measurement window position prediction step of predicting the position of the measurement window at which the car position can be measured; and a measurement window position resetting step of resetting the measurement window to the position predicted by the measurement window position prediction step. 3D position measurement method.
索順序を蓄積し、計測窓位置予測過程において、前記予
測条件蓄積過程により蓄積した予測する探索順序を用い
て計測窓の位置を予測することを特徴とする請求項３記
載の３次元位置計測方法。4. A method for accumulating a search order to be predicted in a prediction condition accumulating step, and estimating a position of a measurement window using the predicted search order accumulated in the prediction condition accumulating step in the measurement window position estimating step. The method according to claim 3, wherein the three-dimensional position is measured.
台のカメラにより撮影した画像が入力される画像入力手
順、 前記画像入力手順により入力された画像上のマーカーの
２次元位置の計測可能範囲を示す計測窓のサイズを設定
する計測窓サイズ設定手順、 前記計測窓サイズ設定手順によりサイズを設定した計測
窓の位置を各マーカーごとに設定する計測窓位置設定手
順、 前記計測窓位置設定手順により計測窓の位置を設定した
各計測窓間の相対的な方向、距離を算出する計測窓間情
報算出手順、 前記計測窓間情報算出手順により算出した各計測窓間の
相対的な方向、距離を用いて１つもしくは複数の計測窓
から他の計測窓の位置を予測する条件を算出する予測条
件算出手順、 前記予測条件算出手順により算出した計測窓位置の予測
条件を蓄積する予測条件蓄積手順、 前記画像入力手順により入力された画像上の１つのマー
カーに対して、複数の画像上の計測窓内で２次元位置デ
ータが計測可能か判別する判別手順、 前記判別手順により判別した結果、複数の２次元位置デ
ータが計測可能な場合に、計測した複数の２次元位置デ
ータを基にステレオ視の原理を用いて、マーカーの３次
元位置を計測する３次元位置計測手順、 前記判別手順により判別した結果、カメラからマーカー
が隠れて複数の２次元位置データが計測不可能な場合
に、前記予測条件蓄積手順により蓄積した計測窓の予測
条件を用いて、カメラから隠れていたマーカーが再度出
現した場合にマーカー位置が測定できる計測窓の位置を
予測する計測窓位置予測手順、 前記計測窓位置予測手順により予測した位置に、計測窓
を再設定する計測窓位置再設定手順をコンピュータに実
行させるための３次元位置計測プログラムを記録した記
録媒体。5. An image input procedure for inputting an image obtained by photographing a plurality of markers attached to an object by a plurality of cameras, and a measurable range of a two-dimensional position of the marker on the image input by the image input procedure. A measurement window size setting procedure for setting the size of the measurement window indicating the measurement window position setting procedure for setting the position of the measurement window whose size has been set by the measurement window size setting procedure for each marker; The relative direction between each measurement window in which the position of the measurement window is set, the measurement window information calculation procedure for calculating the distance, the relative direction between each measurement window calculated by the measurement window information calculation procedure, the distance A prediction condition calculating step of calculating a condition for predicting the position of another measurement window from one or a plurality of measurement windows using the prediction condition of the measurement window position calculated by the prediction condition calculating step. A prediction condition accumulation procedure to be accumulated; a determination procedure for determining whether two-dimensional position data can be measured in a measurement window on a plurality of images with respect to one marker on the image input in the image input procedure; 3D position measurement procedure for measuring the 3D position of the marker using the principle of stereo vision based on the measured 2D position data, as a result of the determination of When the marker is hidden from the camera and a plurality of two-dimensional position data cannot be measured as a result of the determination in the determination procedure, the marker is hidden from the camera using the prediction condition of the measurement window accumulated in the prediction condition accumulation procedure. Window position prediction procedure for predicting the position of the measurement window at which the marker position can be measured when the marker that has reappeared is located at the position predicted by the measurement window position prediction procedure. A recording medium recording a three-dimensional position measuring program for executing a measurement window position reconfiguration procedure to reconfigure the measurement window to the computer.
索順序を蓄積し、計測窓位置予測手順において、前記予
測条件蓄積手順により蓄積した予測する探索順序を用い
て計測窓の位置を予測することを特徴とする請求項５記
載の３次元位置計測プログラムを記録した記録媒体。6. A prediction condition accumulation procedure, in which a search order to be predicted is stored, and in the measurement window position prediction procedure, a position of a measurement window is predicted using the predicted search order stored in the prediction condition storage procedure. A recording medium on which the three-dimensional position measurement program according to claim 5 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31114499A JP3285567B2 (en) | 1999-11-01 | 1999-11-01 | Three-dimensional position measuring device and method, and recording medium recording three-dimensional position measuring program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31114499A JP3285567B2 (en) | 1999-11-01 | 1999-11-01 | Three-dimensional position measuring device and method, and recording medium recording three-dimensional position measuring program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001133220A JP2001133220A (en) | 2001-05-18 |
| JP3285567B2 true JP3285567B2 (en) | 2002-05-27 |
Family
ID=18013653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31114499A Expired - Lifetime JP3285567B2 (en) | 1999-11-01 | 1999-11-01 | Three-dimensional position measuring device and method, and recording medium recording three-dimensional position measuring program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3285567B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4238586B2 (en) * | 2003-01-30 | 2009-03-18 | ソニー株式会社 | Calibration processing apparatus, calibration processing method, and computer program |
| US20080170750A1 (en) * | 2006-11-01 | 2008-07-17 | Demian Gordon | Segment tracking in motion picture |
| JP4960711B2 (en) * | 2007-01-16 | 2012-06-27 | ユニ・チャーム株式会社 | Wear displacement measurement method, displacement display method, follow-up evaluation method and wear comfort evaluation method |
-
1999
- 1999-11-01 JP JP31114499A patent/JP3285567B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001133220A (en) | 2001-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10417503B2 (en) | Image processing apparatus and image processing method | |
| JP6734940B2 (en) | Three-dimensional measuring device | |
| US10068344B2 (en) | Method and system for 3D capture based on structure from motion with simplified pose detection | |
| US7623676B2 (en) | Method and apparatus for tracking objects over a wide area using a network of stereo sensors | |
| EP2824417B1 (en) | Distance calculation device and distance calculation method | |
| CN104103030B (en) | Image analysis method, camera apparatus, control apparatus and control method | |
| JP2018189636A (en) | Imaging device, image processing method and program | |
| JP5554726B2 (en) | Method and apparatus for data association | |
| EP1857978A1 (en) | Method, system and computer product for deriving three-dimensional information progressivly from a streaming video sequence | |
| CN110007313A (en) | Obstacle detection method and device based on unmanned plane | |
| JPWO2005124687A1 (en) | Marker tracking method in optical motion capture system, optical motion capture method and system | |
| JPH09226490A (en) | Detector for crossing object | |
| JPH07262375A (en) | Mobile object detector | |
| US11004211B2 (en) | Imaging object tracking system and imaging object tracking method | |
| US20190138800A1 (en) | Position estimation system | |
| JP3285567B2 (en) | Three-dimensional position measuring device and method, and recording medium recording three-dimensional position measuring program | |
| KR102226372B1 (en) | System and method for object tracking through fusion of multiple cameras and lidar sensor | |
| KR20100013855A (en) | Method for tracking moving object on multiple cameras using probabilistic camera hand-off | |
| US20130142388A1 (en) | Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus | |
| JP3221384B2 (en) | 3D coordinate measuring device | |
| JP2001012946A (en) | Dynamic image processor and processing method | |
| JPH1096607A (en) | Object detector and plane estimation method | |
| JP2001133221A (en) | Device and method for measuring three-dimensional position, and recording medium recording three- dimensional position measurement program | |
| JPH08129025A (en) | Three-dimensional image processing flow velocity measuring method | |
| JP2001133222A (en) | Device for method for measuring three-dimensional position, and recording medium recording three- dimensional position measurement program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080308 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090308 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090308 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100308 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110308 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110308 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120308 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130308 Year of fee payment: 11 |