JP2014211404A - Motion capture method - Google Patents
Motion capture method Download PDFInfo
- Publication number
- JP2014211404A JP2014211404A JP2013089099A JP2013089099A JP2014211404A JP 2014211404 A JP2014211404 A JP 2014211404A JP 2013089099 A JP2013089099 A JP 2013089099A JP 2013089099 A JP2013089099 A JP 2013089099A JP 2014211404 A JP2014211404 A JP 2014211404A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- subject
- motion capture
- obtaining
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000003550 marker Substances 0.000 claims abstract description 78
- 238000001514 detection method Methods 0.000 claims description 19
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明はモーションキャプチャー方法に関し、被検体の一部に装着したマーカーを複数のカメラで撮影し、該複数のカメラで得られた撮影画像に基いてマーカーの３次元座標を求める際に好適なものである。 The present invention relates to a motion capture method, which is suitable for photographing a marker attached to a part of a subject with a plurality of cameras and obtaining three-dimensional coordinates of the marker based on photographed images obtained by the plurality of cameras. It is.
モーションキャプチャーシステムは、人物や物体等の被検体の動きをデジタル的に記録する技術であり、例えばスポーツ分野、医学分野などに適用されている。モーションキャプチャー方式のうち、光学式キャプチャーシステムでは被検体に複数のマークをマーキングし、角度の異なる複数のカメラで撮影し、カメラで得られた撮影情報よりマーカーの動きを三角測量の原理で計測し、３次元のデータを生成している（特許文献１，２）。 The motion capture system is a technique for digitally recording the movement of a subject such as a person or an object, and is applied to, for example, the sports field and the medical field. Among the motion capture methods, the optical capture system marks a subject with multiple marks, shoots with multiple cameras at different angles, and measures the marker movement based on the triangulation principle based on the shooting information obtained by the cameras. Three-dimensional data is generated (Patent Documents 1 and 2).
例えば被検体の各特徴点に複数のマーカーを設定し、複数のカメラ（トラッカー）で撮影したときに得られる画像より複数のマーカーを時系列的に受信して、マーカーの位置を３次元座標に変換して被検体の各特徴点の動きを３次元的に検出し、記録している。 For example, a plurality of markers are set for each feature point of a subject, and a plurality of markers are received in time series from images obtained by photographing with a plurality of cameras (trackers), and the positions of the markers are converted into three-dimensional coordinates. The motion of each feature point of the subject is converted and detected three-dimensionally and recorded.
光学式のモーションキャプチャーシステムによる被検体の３次元計測の多くでは、被検体に設けたマーカーの検出に際して時系列で検出するときマーカーの連続性が保証されないときがある。この為に時系列的にマーカーの入れ替わりが発生し、被検体の動作を正しく検出することができないという問題がある。 In many of the three-dimensional measurements of the subject by the optical motion capture system, the marker continuity may not be guaranteed when detecting the marker provided on the subject in time series. For this reason, the replacement of the markers occurs in time series, and there is a problem that the movement of the subject cannot be detected correctly.
モーションキャプチャーシステムを被検体の３次元計測における計測器として使用するにはこの問題を解決する必要がある。 In order to use the motion capture system as a measuring instrument in three-dimensional measurement of a subject, it is necessary to solve this problem.
従来の方法を図９を用いて説明する。被検体の１つの計測部位に対して複数のマーカーを取り付けてグループ化し、複数のマーカーの重心点を時刻ｔ１，ｔ２で計測部位の座標値として取り扱う。これによりグループを構成するマーカー群単位でマッチングすることで時系列の連続性を確保している。 A conventional method will be described with reference to FIG. A plurality of markers are attached to a single measurement site of the subject and grouped, and the center of gravity of the plurality of markers is handled as coordinate values of the measurement site at times t1 and t2. Thus, time series continuity is ensured by matching in units of marker groups constituting the group.
この手法のメリットは次のとおりである。
・被検体の計測部位（グループ）毎に複数のマーカーの取付け配置を変えることでユニークな形状を持ち、時系列のマッチングが容易となる。
・グループ内のマーカーの一部が認識できなくても相互補間して重心座標を取得することが出来るため、計測点が消失しにくい。
The advantages of this method are as follows.
-By changing the mounting arrangement of a plurality of markers for each measurement site (group) of the subject, it has a unique shape and time-series matching becomes easy.
-Even if some of the markers in the group cannot be recognized, the barycentric coordinates can be obtained by interpolating each other, so that the measurement points are not easily lost.
一方、この手法のデメリットは次のとおりである。
・１つの計測部位に関して多くのマーカーが必要となり、準備時間や構成が複雑になる。
・マーカーの数が多い為、被検体の取り付ける箇所が限定される。特に変形する箇所に取付けることが困難である。
・被検体の計測部位毎にマーカーの取付け配置（形状）が異なるように設定する必要がある。
・複数のマーカーの重心が計測点となる為、真の計測部位とずれる場合がある。
On the other hand, the demerits of this method are as follows.
-Many markers are required for one measurement site, and the preparation time and configuration are complicated.
-Since the number of markers is large, the location where the subject is attached is limited. In particular, it is difficult to attach to a location where deformation occurs.
-It is necessary to set the marker mounting arrangement (shape) to be different for each measurement site of the subject.
-Since the center of gravity of a plurality of markers is a measurement point, it may deviate from the true measurement site.
このように従来のモーションキャプチャーでは被検体の１つの位置情報を検出するのに被検体に設けた複数のマーカーを事前にグループ化し、瞬時におけるマーカーの位置情報からグループ毎にラベリングを行っている。この為、マーカー単体での時系列ラベルを行うことができなく計測を行うにあたり多くの制限があった。 As described above, in the conventional motion capture, in order to detect one position information of the subject, a plurality of markers provided on the subject are grouped in advance, and labeling is performed for each group from the instantaneous marker position information. For this reason, time-series labeling with a single marker cannot be performed, and there are many limitations on measurement.
また従来、光学式のモーションキャプチャーでは被検体の動きを３次元データ化し、ＣＧ等に用いるとき被検体の各部位が瞬時にどの位置にいたか（被検体がどのような姿
勢をしていたか）を検出していた。そこには時系列的な概念はなかった。
Conventionally, in the optical motion capture, the movement of the subject is converted into three-dimensional data, and when it is used for CG or the like, the position of each part of the subject is instantaneously (what posture the subject is in) Was detected. There was no chronological concept there.
マーカーのラベル情報は位置関係と可動域情報から得る方法もあるが、複雑な動きをするもの（たとえば被検体として人の指先）を計測する事は困難であった。 Although there is a method of obtaining marker label information from positional relationship and range of motion information, it has been difficult to measure a complex moving object (for example, a human fingertip as a subject).
本発明は、被検体の３次元的な複雑な動きを高精度に検知（ナンバリング）することができるモーションキャプチャー方法の提供を目的とする。 An object of the present invention is to provide a motion capture method capable of detecting (numbering) a three-dimensional complicated movement of a subject with high accuracy.
本発明のモーションキャプチャー方法は、複数のカメラを用い、被検体を撮影し、各カメラで得られた撮影画像よりモーションキャプチャーシステムを利用して、被検体に設けた複数のマーカーの３次元位置座標を時系列的（各時刻毎）に検出する３次元座標検出工程、
被検体に設けた複数のマーカーのうち１つのマーカー１の過去の２つの時刻ｔ１、ｔ２における３次元位置座標ｘ１、ｘ２を求める位置検出工程、
時刻ｔ１、ｔ２における位置座標ｘ１、ｘ２よりマーカー１の速度ベクトルを求める速度ベクトル検出工程、
求めた速度ベクトルを用いてマーカー１の次の時刻ｔ３における推定中心位置ｙ３を求め、推定中心位置ｘａを求める推定中心位置検出工程、
求めた推定中心位置に最も近いマーカーをマッチングして求め、これをマーカー１の位置座標として検出するマーカーの検出工程、
を有することを特徴としている。
The motion capture method of the present invention uses a plurality of cameras to photograph a subject, and uses a motion capture system from the captured images obtained by the cameras to use the three-dimensional position coordinates of a plurality of markers provided on the subject. A three-dimensional coordinate detection step of detecting time-sequentially (at each time),
A position detection step of obtaining three-dimensional position coordinates x1, x2 at two previous times t1, t2 of one marker 1 among a plurality of markers provided on the subject;
A velocity vector detecting step for obtaining a velocity vector of the marker 1 from the position coordinates x1, x2 at times t1, t2.
An estimated center position detection step for obtaining an estimated center position y3 by obtaining an estimated center position y3 at the next time t3 of the marker 1 using the obtained velocity vector;
A marker detection step of matching and obtaining a marker closest to the obtained estimated center position and detecting this as the position coordinates of the marker 1;
It is characterized by having.
この他、本発明のモーションキャプチャー方法は、複数のカメラを用い、被検体を撮影し、各カメラで得られた撮影画像よりモーションキャプチャーシステムを利用して、被検体に設けた複数のマーカーの３次元位置座標を時系列的（各時刻毎）に検出する３次元座標検出工程、
被検体に設けた複数のマーカーのうち１つのマーカー１の過去の２つの時刻ｔ１、ｔ２における３次元位置座標ｘ１、ｘ２を求める位置検出工程、
時刻ｔ１、ｔ２における位置座標ｘ１、ｘ２よりマーカー１の速度ベクトルと加速度ベクトルを求める速度ベクトル検出工程、
求めた速度ベクトルと加速度ベクトルを用いてマーカー１の次の時刻ｔ３における推定中心位置ｙ３を求め、推定中心位置ｘａを求める推定中心位置検出工程、
求めた推定中心位置に最も近いマーカーをマッチングして求め、これをマーカー１の位置座標として検出するマーカーの検出工程、
を有することを特徴としている。
In addition, the motion capture method of the present invention uses a plurality of cameras to photograph a subject, and uses a motion capture system from a photographed image obtained by each camera to use 3 of a plurality of markers provided on the subject. A three-dimensional coordinate detection step of detecting the dimensional position coordinates in time series (at each time);
A position detection step of obtaining three-dimensional position coordinates x1, x2 at two previous times t1, t2 of one marker 1 among a plurality of markers provided on the subject;
A velocity vector detection step for obtaining a velocity vector and an acceleration vector of the marker 1 from the position coordinates x1, x2 at times t1, t2.
An estimated center position detection step for obtaining an estimated center position xa by obtaining an estimated center position y3 at the next time t3 of the marker 1 using the obtained velocity vector and acceleration vector;
A marker detection step of matching and obtaining a marker closest to the obtained estimated center position and detecting this as the position coordinates of the marker 1;
It is characterized by having.
本発明によれば、被検体の３次元的な複雑な動きを高精度に検知（ナンバリング）することができるモーションキャプチャー方法が得られる。 According to the present invention, a motion capture method capable of detecting (numbering) a three-dimensional complicated movement of a subject with high accuracy is obtained.
以下、本発明のモーションキャプチャー方法の実施例について説明する。 Hereinafter, embodiments of the motion capture method of the present invention will be described.
本発明のモーションキャプチャー方法では、被検体に取り付けたマーカーの三次元座標を、時系列的に検出するとき過去時刻の情報を元にした位置の推定によってマーカー単位でマッチングする。そしてマーカーを時系列的に並べ換えることで時系列の連続性を確保する。 In the motion capture method of the present invention, when the three-dimensional coordinates of a marker attached to a subject are detected in time series, matching is performed in units of markers by estimating a position based on past time information. Then, time series continuity is ensured by rearranging the markers in time series.
図１は本発明に係るモーションキャプチャー方法を用いるモーションキャプチャーシステムの要部概略図である。図１において１は被検体であり、運動する人体を例にとり示している。２は被検体１の特徴点に装着されたマーカーである。３はマーカー２を時系列的に撮影するカメラ（撮像装置）であり、被検体１の可動範囲を囲むよう被検体１の周囲に複数台設けている。各カメラ３には撮像素子（撮影部）３ａと被検体１に光束を照射する照明装置３ｂが装着されている。３ｃはカメラ３に設けた撮影レンズである。 FIG. 1 is a schematic diagram of a main part of a motion capture system using a motion capture method according to the present invention. In FIG. 1, reference numeral 1 denotes a subject, which shows an example of a moving human body. Reference numeral 2 denotes a marker attached to a feature point of the subject 1. Reference numeral 3 denotes a camera (imaging device) that images the marker 2 in time series, and a plurality of cameras are provided around the subject 1 so as to surround the movable range of the subject 1. Each camera 3 is equipped with an imaging device (imaging unit) 3a and an illumination device 3b for irradiating the subject 1 with a light beam. Reference numeral 3 c denotes a photographing lens provided in the camera 3.
４はカメラ３で得られた撮影画像を時系列的に受信し、複数のカメラ３より得られた受信情報より被検体１に装着したマーカー２の各時間（フレーム毎）における３次元情報を演算し求める画像処理装置である。５は画像処理装置４で得られた被検体１のマーカー２に基づく特徴点の軌跡を表示する表示装置である。 4 receives the captured images obtained by the cameras 3 in time series, and calculates the three-dimensional information at each time (for each frame) of the marker 2 attached to the subject 1 from the received information obtained from the plurality of cameras 3. This is an image processing apparatus to be obtained. Reference numeral 5 denotes a display device that displays a trajectory of feature points based on the marker 2 of the subject 1 obtained by the image processing device 4.
本実施例においてカメラ３は三脚やクランプ等、カメラ間の関係を保持し続けることが出来る治具に固定されている。複数のカメラは被検体１に関する、計測空間を中心にしてカメラ３間の距離が最低１５度以上の角度になるように配置されている。 In this embodiment, the camera 3 is fixed to a jig such as a tripod or a clamp that can keep the relationship between the cameras. The plurality of cameras are arranged so that the distance between the cameras 3 with respect to the subject 1 is at least 15 degrees or more with the measurement space as the center.
また各カメラからの視野中心がほぼ同一になり、被検体１の移動に対して、カメラ３が水平に並ばないように配置されている。 Further, the visual field centers from the respective cameras are substantially the same, and the cameras 3 are arranged so as not to be aligned horizontally with respect to the movement of the subject 1.
被検体１に装着したマーカー２をトラッキングするためには、複数台のカメラ３を撮影視野が重複するように配置している。こうすることによって、「キャプチャーボリューム」と呼ばれるトラッキング可能な領域を作成している。カメラはしっかり固定し、動いてしまうことによるキャリブレーションのやり直しを防止している。また良好なキャリブレーションとトラッキング結果を得るために、すべてのカメラ３が同一平面上に配置されないようにしている。 In order to track the marker 2 attached to the subject 1, a plurality of cameras 3 are arranged so that the fields of view overlap. In this way, a trackable area called “capture volume” is created. The camera is firmly fixed and prevents re-calibration due to movement. In order to obtain good calibration and tracking results, all the cameras 3 are not arranged on the same plane.
カメラ３の撮像部３ａのセンサー（撮像素子）で受光した画像を用いて画像処理を行い被検体１に装着したマーカー２の座標を画像処理装置４で算出する。算出方法は二値化した画像に対してラベリングを行うことでマーカー２の３次元空間内の座標を算出する。３次元座標を算出する方法は、例えばエピポーラマッチングアルゴリズムを利用している。 Image processing is performed using an image received by a sensor (imaging device) of the imaging unit 3 a of the camera 3, and the coordinates of the marker 2 attached to the subject 1 are calculated by the image processing device 4. The calculation method calculates the coordinates of the marker 2 in the three-dimensional space by performing labeling on the binarized image. As a method for calculating the three-dimensional coordinates, for example, an epipolar matching algorithm is used.
尚、照明装置３ｂからの光束であって、マーカー２からの反射光のみが撮像部３ａで検出されるように撮像部３ａの光入射面には照明装置３ｂから放射される光束の分光特性に対応した光学フィルターが装着されている。 Note that the light incident surface of the imaging unit 3a has a spectral characteristic of the luminous flux emitted from the illumination device 3b so that only the reflected light from the marker 2 is detected by the imaging unit 3a. A compatible optical filter is installed.
本発明のモーションキャプチャー方法の特徴は、被検体に関し、算出されたマーカーに対し、それぞれ単体で同一マーカーを時系列にナンバリングするアルゴリズムにある。 A feature of the motion capture method of the present invention is an algorithm for numbering the same marker in a time series with respect to the calculated marker for each subject.
本発明では、光学式のモーションキャプチャーシステムを用いて、取得された全てのマーカーを時系列の移動ベクトル情報に変換する。そしてこの移動ベクトル情報を用いて、時系列にリアルタイムでラベリング（ラベル化）するアルゴリズムを用いて被検体の３次元計測を行っている。 In the present invention, an optical motion capture system is used to convert all acquired markers into time-series movement vector information. Then, using this movement vector information, three-dimensional measurement of the subject is performed using an algorithm that labels (labels) the time series in real time.
そしてラベル化されたマーカーの位置情報より、被検体の変位量、速度、加速度、点間距離、角度等の物理量を算出する。 Then, physical quantities such as the displacement, speed, acceleration, point-to-point distance, and angle of the subject are calculated from the labeled marker position information.
また本発明は、ロードセルや加速度計、変位計、温度等の計測機と同期計測を行い、荷重値に対する変位量や温度変化に対する角度変化等をリアルタイムでグラフ描写する。 In addition, the present invention performs synchronous measurement with a measuring device such as a load cell, an accelerometer, a displacement meter, and a temperature, and graphs the displacement amount with respect to the load value, the angle change with respect to the temperature change, and the like in real time.
この他、被検体に関する３次元座標からリアルタイムで算出された物理量を基に、他機器へリアルタイムで信号を発信し制御するようにしている。 In addition, based on the physical quantity calculated in real time from the three-dimensional coordinates related to the subject, signals are transmitted to other devices in real time for control.
この他、本発明は３次元座標の一部を指定し、原点変更する事により、指定された座標を固定した場合の相対変位をリアルタイムで計測する。 In addition, the present invention measures a relative displacement in real time when a designated coordinate is fixed by designating a part of three-dimensional coordinates and changing the origin.
次に本発明のモーションキャプチャー方法のアルゴリズムについて順次説明する。図２は本発明のモーションキャプチャー方法のフローチャートである。図３は本発明のモーションキャプチャー方法の概略を示す説明図である。 Next, the algorithm of the motion capture method of the present invention will be described sequentially. FIG. 2 is a flowchart of the motion capture method of the present invention. FIG. 3 is an explanatory diagram showing an outline of the motion capture method of the present invention.
本発明は、複数台のモーションキャプチャー専用のカメラで被検体の位置座標データを得る（ステップ１）。そして複数のカメラから出力された二元座標データを三次元座標データに計算した後（ステップ２）で、メモリに記憶する（ステップ３）。そして三次元空間内で時系列のマッチングを行う（ステップ４，５）。ステップ４，５を実現するための具体的な技術的内容は以下の通りである。 In the present invention, position coordinate data of a subject is obtained with a plurality of cameras dedicated to motion capture (step 1). Then, after calculating the binary coordinate data output from the plurality of cameras into the three-dimensional coordinate data (step 2), it is stored in the memory (step 3). Then, time-series matching is performed in the three-dimensional space (steps 4 and 5). Specific technical contents for realizing Steps 4 and 5 are as follows.
被検体に設けたマーカーの三次元座標の位置を推定する（ステップ４）。ステップ４の工程は次のとおりである。被検体１のマーカー１の過去時刻（時刻１）における既知の三次元座標Ｚ１を元に、現在の時刻２での三次元座標Ｚ１ａを推定し、その座標に最も近いものをマッチングさせる。このときマッチングしたマーカーはマーカー１ｂである。 The position of the three-dimensional coordinates of the marker provided on the subject is estimated (step 4). Step 4 is as follows. Based on the known three-dimensional coordinate Z1 of the marker 1 of the subject 1 at the past time (time 1), the three-dimensional coordinate Z1a at the current time 2 is estimated, and the one closest to the coordinate is matched. At this time, the matched marker is the marker 1b.
マーカー１の三次元座標の位置の推定の手法図４，図５を参照して説明する。 A method for estimating the position of the three-dimensional coordinates of the marker 1 will be described with reference to FIGS.
手法Ａ．過去の一時刻ｔ１の座標ｘ１を推定位置とする。 Method A. The coordinate x1 of the past one time t1 is set as the estimated position.
手法Ｂ．過去の二時刻ｔ１，ｔ２の座標ｘ１，ｘ２から速度ベクトルを求める。そして一時刻前（直前）ｔ２の座標ｘ２に速度ベクトルを加算した座標点を求め、推定中心位置として探査エリアＰａを決定する。ただし第二時刻においては過去時刻が一時刻しか存在しないときは、手法Ａを用いる。 Method B. A velocity vector is obtained from the coordinates x1, x2 of the past two times t1, t2. Then, a coordinate point obtained by adding the velocity vector to the coordinate x2 of t2 immediately before (immediately before) t2 is obtained, and the search area Pa is determined as the estimated center position. However, method A is used when there is only one past time at the second time.
手法Ｃ．過去の三時刻ｔ１，ｔ２，ｔ３の座標ｘ１，ｘ２，ｘ３から速度ベクトル及び、加速度ベクトルを求め、一時刻前ｔ３の座標ｘ３に速度ベクトル及び加速度ベクトルを加算した座標点ｘｂを求め、推定中心位置として探査エリアＰｂを決定する。ただし第二時刻ｔ２においては過去時刻が一時刻しか存在しないときは、手法Ａを用いる。また、第三時刻目においては過去時刻が二時刻しか存在しないときは、手法Ｂを用いる。 Method C. The velocity vector and the acceleration vector are obtained from the coordinates x1, x2, and x3 of the past three times t1, t2, and t3, the coordinate point xb obtained by adding the velocity vector and the acceleration vector to the coordinate x3 of the previous time t3 is obtained, and the estimated center The search area Pb is determined as the position. However, when there is only one past time at the second time t2, the method A is used. Further, when there are only two past times at the third time, the method B is used.
本実施例における探索エリアの設定を図６を用いて説明する。 Search area setting in the present embodiment will be described with reference to FIG.
マーカー１の推定位置ｘ３から最近傍のマーカーをマッチングさせる際に、推定位置を中心とした探索エリアＰｃを設定することで対象を絞り込む。探索エリアＰｃ内にマーカーがひとつも見つからなかった場合はマーカーの消失点とする。探索エリアＰｃの指定方法は、三次元座標空間の水平（Ｘ）、垂直（Ｙ）、奥行き（Ｚ）の各軸方向に対してそれぞれに範囲を設定する。 When matching the nearest marker from the estimated position x3 of the marker 1, the target is narrowed down by setting a search area Pc centered on the estimated position. If no marker is found in the search area Pc, the vanishing point of the marker is set. As a method for specifying the search area Pc, a range is set for each of the horizontal (X), vertical (Y), and depth (Z) axis directions of the three-dimensional coordinate space.
特定の方向へ動作する被検体（計測点）については、探索エリアＰｃを絞り込む事でミスマッチングを軽減させる。 For an object (measurement point) that moves in a specific direction, mismatching is reduced by narrowing down the search area Pc.
次に本実施例におけるマッチング対象の重複処理について説明する。 Next, the matching target duplication processing in this embodiment will be described.
複数のマーカーが、次時刻における同一のマーカーへ重複してマッチングした場合は、より近いものをマッチング対象とする。この場合に非マッチング対象となったマーカーは、推定位置から二番目に近いマーカーをマッチング候補とする。二番目に近いマーカーも非マッチング対象となった場合は、三番目に近いマーカーをマッチング候補とする。三番目の候補もマッチングしなかった場合は消失点となる。 When a plurality of markers are duplicated and matched to the same marker at the next time, a closer one is set as a matching target. In this case, a marker that is a non-matching target is a second closest marker from the estimated position as a matching candidate. If the second closest marker is also a non-matching target, the third closest marker is set as a matching candidate. If the third candidate also does not match, it becomes a vanishing point.
前述した手法において、マーカー１が認識できずに計測点が消失した場合、その前後自国の座標を用いて座標を補間演算する方法を図７，図８を用いて説明する。 In the above-described method, when the marker 1 cannot be recognized and the measurement point disappears, a method for performing interpolation calculation using the coordinates of the home country before and after that will be described with reference to FIGS.
座標の補間は以下の手法を用いる。 The following method is used for coordinate interpolation.
Ａ．消失点ｘｃの時系列ｔｃ上における前後の座標値ｘ１，ｘ２によって線形補間し、消失点の座標ｘｃとする。 A. The vanishing point xc is linearly interpolated by the front and rear coordinate values x1 and x2 on the time series tc to obtain the vanishing point coordinate xc.
Ｂ．消失点ｘｃの時系列ｔｃ上における前後の座標値ｘ１，ｘ２によってスプライン曲線で補間し、消失点ｘｃ’の座標とする。 B. The vanishing point xc is interpolated with the spline curve by the front and rear coordinate values x1 and x2 on the time series tc to obtain the coordinates of the vanishing point xc ′.
Ｃ．以上によりマーカー１の座標値ｘｃ’を求める。 C. As described above, the coordinate value xc ′ of the marker 1 is obtained.
以上により被検体に設けたマーカー１の３次元座標によりマーカー１の物理量を算出する（ステップ５）。ステップ５で得られたマーカー１の物理量を表示手段に表示する（ステップ６）。 Thus, the physical quantity of the marker 1 is calculated from the three-dimensional coordinates of the marker 1 provided on the subject (step 5). The physical quantity of the marker 1 obtained in step 5 is displayed on the display means (step 6).
以上のように本発明のモーションキャプチャー方法では、
・被検体に設けたマーカーＩＤを光学式のモーションキャプチャー技術を用いて３次元座標データとして取得後、時系列的に一括で並べ替えを行う
・マーカーＩＤの位置座標を光学式モーションキャプチャーにてリアルタイムで並べ替えを行いながらマーカーの位置に関する３次元座標を取得する
・光学式のモーションキャプチャーを行いながらリアルタイムで表示手段にマーカーの３次元座標を表示する
・光学式のモーションキャプチャーを行い取得された被検体の各位置の３次元情報を基に、他の計測器へトリガを発信する
こと等ができる。
As described above, in the motion capture method of the present invention,
・ After acquiring the marker ID provided on the subject as three-dimensional coordinate data using optical motion capture technology, rearrange the marker ID position coordinates in real time with optical motion capture 3D coordinates related to marker position are obtained while rearranging in order ・ Display 3D coordinates of marker on display means in real time while performing optical motion capture ・ Acquired object obtained by optical motion capture Based on the three-dimensional information of each position of the specimen, a trigger can be transmitted to another measuring instrument.
本発明によれば、
・被検体の１つの計測部位につき１つのマーカーを取り付けるだけで済む
・被検体の計測部位に１つのマーカーを取り付けるスペースがあれば良いため、計測対象の制限が少ない
・被検体に対する目的の計測部位とのズレが少ない
等の効果が得られる。
According to the present invention,
・ It is only necessary to attach one marker for each measurement part of the subject. ・ There is only a limited space for attaching one marker to the measurement part of the subject, so there are few restrictions on the measurement target. ・ Target measurement part for the subject An effect such as a small deviation from the above can be obtained.
以上のように本発明のモーションキャプチャー方法では、例えば振動している被検体を非接触で３次元計測するとき、振動しているその時刻で必要な物理量を確認しながら計測を行うことができる。また、座標から取得する事が困難な温度や荷重値等を他のセンサーから取得した複合計測を行うこともできる。 As described above, according to the motion capture method of the present invention, for example, when a vibrating object is three-dimensionally measured without contact, measurement can be performed while confirming a necessary physical quantity at the time of vibration. In addition, it is possible to perform combined measurement in which temperatures, load values, and the like that are difficult to obtain from coordinates are obtained from other sensors.
また、計測対象物としての被検体が計測開始地点で計測空間のどこから出現するか不明な計測においても計測を行う事ができる。 In addition, measurement can be performed even in a measurement in which it is unknown where the subject as the measurement object appears in the measurement space at the measurement start point.
この他、本発明に係るモーションキャプチャー方法では、例えば患者のリハビリ現場における歩行訓練の際、リハビリを行いながら瞬時の角度や高さ、速度を指導者と患者が認識することが最小限の負担で行う事が出来る。この結果、効果的な指導を行う事が容易となる。 In addition, in the motion capture method according to the present invention, for example, during walking training in a patient's rehabilitation site, it is a minimum burden that the instructor and the patient recognize the instantaneous angle, height, and speed while performing rehabilitation. Can be done. As a result, it is easy to provide effective guidance.
また、動作に呼応した形で筋肉等に刺激を与えるトリガとしての利用も行うことができる。 Further, it can be used as a trigger for stimulating muscles or the like in a form corresponding to the motion.
具体的には指先のわずかな動きを認識し、その動きに応じて必要な筋肉に自動的に刺激を与える診療器具を開発することが容易となる。 Specifically, it becomes easy to develop a medical instrument that recognizes a slight movement of a fingertip and automatically stimulates necessary muscles according to the movement.
１ 被検体
２ マーカー
３ カメラ
４ 画像処理装置
５ 表示装置
1 Subject 2 Marker 3 Camera 4 Image Processing Device 5 Display Device
Claims (2)
被検体に設けた複数のマーカーのうち１つのマーカー１の過去の２つの時刻ｔ１、ｔ２における３次元位置座標ｘ１、ｘ２を求める位置検出工程、
時刻ｔ１、ｔ２における位置座標ｘ１、ｘ２よりマーカー１の速度ベクトルを求める速度ベクトル検出工程、
求めた速度ベクトルを用いてマーカー１の次の時刻ｔ３における推定中心位置ｙ３を求め、推定中心位置ｘａを求める推定中心位置検出工程、
求めた推定中心位置に最も近いマーカーをマッチングして求め、これをマーカー１の位置座標として検出するマーカーの検出工程、
を有することを特徴とするモーションキャプチャー方法。 Using a plurality of cameras, the subject is photographed, and the three-dimensional position coordinates of the plurality of markers provided on the subject are time-sequentially (at each time) using the motion capture system from the captured images obtained by the cameras. 3D coordinate detection process to detect in
A position detection step of obtaining three-dimensional position coordinates x1, x2 at two previous times t1, t2 of one marker 1 among a plurality of markers provided on the subject;
A velocity vector detecting step for obtaining a velocity vector of the marker 1 from the position coordinates x1, x2 at times t1, t2.
An estimated center position detection step for obtaining an estimated center position y3 by obtaining an estimated center position y3 at the next time t3 of the marker 1 using the obtained velocity vector;
A marker detection step of matching and obtaining a marker closest to the obtained estimated center position and detecting this as the position coordinates of the marker 1;
A motion capture method characterized by comprising:
被検体に設けた複数のマーカーのうち１つのマーカー１の過去の２つの時刻ｔ１、ｔ２における３次元位置座標ｘ１、ｘ２を求める位置検出工程、
時刻ｔ１、ｔ２における位置座標ｘ１、ｘ２よりマーカー１の速度ベクトルと加速度ベクトルを求める速度ベクトル検出工程、
求めた速度ベクトルと加速度ベクトルを用いてマーカー１の次の時刻ｔ３における推定中心位置ｙ３を求め、推定中心位置ｘａを求める推定中心位置検出工程、
求めた推定中心位置に最も近いマーカーをマッチングして求め、これをマーカー１の位置座標として検出するマーカーの検出工程、
を有することを特徴とするモーションキャプチャー方法。 Using a plurality of cameras, the subject is photographed, and the three-dimensional position coordinates of the plurality of markers provided on the subject are time-sequentially (at each time) using the motion capture system from the captured images obtained by the cameras. 3D coordinate detection process to detect in
A position detection step of obtaining three-dimensional position coordinates x1, x2 at two previous times t1, t2 of one marker 1 among a plurality of markers provided on the subject;
A velocity vector detection step for obtaining a velocity vector and an acceleration vector of the marker 1 from the position coordinates x1, x2 at times t1, t2.
An estimated center position detection step for obtaining an estimated center position xa by obtaining an estimated center position y3 at the next time t3 of the marker 1 using the obtained velocity vector and acceleration vector;
A marker detection step of matching and obtaining a marker closest to the obtained estimated center position and detecting this as the position coordinates of the marker 1;
A motion capture method characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013089099A JP2014211404A (en) | 2013-04-22 | 2013-04-22 | Motion capture method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013089099A JP2014211404A (en) | 2013-04-22 | 2013-04-22 | Motion capture method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014211404A true JP2014211404A (en) | 2014-11-13 |
| JP2014211404A5 JP2014211404A5 (en) | 2016-03-31 |
Family
ID=51931258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013089099A Pending JP2014211404A (en) | 2013-04-22 | 2013-04-22 | Motion capture method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014211404A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017053739A (en) * | 2015-09-10 | 2017-03-16 | オプティトラック・ジャパン株式会社 | Motion capture method and motion capture system |
| JP6425847B1 (en) * | 2017-08-14 | 2018-11-21 | キヤノン株式会社 | Image processing apparatus, image processing method and program |
| WO2019176020A1 (en) * | 2018-03-14 | 2019-09-19 | 株式会社ソニー・インタラクティブエンタテインメント | Position estimation device, position estimation method, and program |
| JP2019215633A (en) * | 2018-06-11 | 2019-12-19 | オムロン株式会社 | Control system, control unit, image processing apparatus, and program |
| CN111210471A (en) * | 2018-11-22 | 2020-05-29 | 北京欣奕华科技有限公司 | Positioning method, device and system |
| CN111546331A (en) * | 2020-04-17 | 2020-08-18 | 上海工程技术大学 | Safety protection system and safety protection method for man-machine cooperative robot |
| JP2020182669A (en) * | 2019-05-08 | 2020-11-12 | 住友ゴム工業株式会社 | Swing analysis device |
| JP2020182670A (en) * | 2019-05-08 | 2020-11-12 | 住友ゴム工業株式会社 | Swing analysis device |
| JP2021105887A (en) * | 2019-12-26 | 2021-07-26 | 国立大学法人 東京大学 | Three-dimensional pose obtaining method and device |
| WO2021199177A1 (en) * | 2020-03-30 | 2021-10-07 | 株式会社ソニー・インタラクティブエンタテインメント | Motion determining device, learning device, motion determining method, learning method, and program |
| WO2024004190A1 (en) * | 2022-06-30 | 2024-01-04 | 富士通株式会社 | Three-dimensional position calculation method, device, and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002008040A (en) * | 2000-06-16 | 2002-01-11 | Matsushita Electric Ind Co Ltd | Three-dimensional information detecting device and three-dimensional information detecting method |
| JP2012215549A (en) * | 2011-04-01 | 2012-11-08 | Mitsubishi Electric Corp | Tracking device |
-
2013
- 2013-04-22 JP JP2013089099A patent/JP2014211404A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002008040A (en) * | 2000-06-16 | 2002-01-11 | Matsushita Electric Ind Co Ltd | Three-dimensional information detecting device and three-dimensional information detecting method |
| JP2012215549A (en) * | 2011-04-01 | 2012-11-08 | Mitsubishi Electric Corp | Tracking device |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017053739A (en) * | 2015-09-10 | 2017-03-16 | オプティトラック・ジャパン株式会社 | Motion capture method and motion capture system |
| US10726620B2 (en) | 2017-08-14 | 2020-07-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| JP6425847B1 (en) * | 2017-08-14 | 2018-11-21 | キヤノン株式会社 | Image processing apparatus, image processing method and program |
| JP2019036288A (en) * | 2017-08-14 | 2019-03-07 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| WO2019176020A1 (en) * | 2018-03-14 | 2019-09-19 | 株式会社ソニー・インタラクティブエンタテインメント | Position estimation device, position estimation method, and program |
| WO2019176150A1 (en) * | 2018-03-14 | 2019-09-19 | 株式会社ソニー・インタラクティブエンタテインメント | Position estimation device, position estimation method, and program |
| US11402897B2 (en) | 2018-03-14 | 2022-08-02 | Sony Interactive Entertainment Inc. | Position estimation apparatus, position estimation method, and program |
| JP2019215633A (en) * | 2018-06-11 | 2019-12-19 | オムロン株式会社 | Control system, control unit, image processing apparatus, and program |
| JP7078894B2 (en) | 2018-06-11 | 2022-06-01 | オムロン株式会社 | Control systems, controls, image processing devices and programs |
| CN111210471B (en) * | 2018-11-22 | 2023-08-25 | 浙江欣奕华智能科技有限公司 | Positioning method, device and system |
| CN111210471A (en) * | 2018-11-22 | 2020-05-29 | 北京欣奕华科技有限公司 | Positioning method, device and system |
| JP7283692B2 (en) | 2019-05-08 | 2023-05-30 | 住友ゴム工業株式会社 | Swing analysis device |
| JP2020182670A (en) * | 2019-05-08 | 2020-11-12 | 住友ゴム工業株式会社 | Swing analysis device |
| JP7283693B2 (en) | 2019-05-08 | 2023-05-30 | 住友ゴム工業株式会社 | Swing analysis device |
| JP2020182669A (en) * | 2019-05-08 | 2020-11-12 | 住友ゴム工業株式会社 | Swing analysis device |
| JP2021105887A (en) * | 2019-12-26 | 2021-07-26 | 国立大学法人 東京大学 | Three-dimensional pose obtaining method and device |
| JP7427188B2 (en) | 2019-12-26 | 2024-02-05 | 国立大学法人 東京大学 | 3D pose acquisition method and device |
| WO2021199177A1 (en) * | 2020-03-30 | 2021-10-07 | 株式会社ソニー・インタラクティブエンタテインメント | Motion determining device, learning device, motion determining method, learning method, and program |
| JPWO2021199177A1 (en) * | 2020-03-30 | 2021-10-07 | ||
| JP7334337B2 (en) | 2020-03-30 | 2023-08-28 | 株式会社ソニー・インタラクティブエンタテインメント | Motion determination device, learning device, motion determination method, learning method and program |
| CN111546331A (en) * | 2020-04-17 | 2020-08-18 | 上海工程技术大学 | Safety protection system and safety protection method for man-machine cooperative robot |
| WO2024004190A1 (en) * | 2022-06-30 | 2024-01-04 | 富士通株式会社 | Three-dimensional position calculation method, device, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2014211404A (en) | Motion capture method | |
| US11321817B2 (en) | Motion compensation in a three dimensional scan | |
| JP6690041B2 (en) | Method and device for determining point of gaze on three-dimensional object | |
| JP5583761B2 (en) | 3D surface detection method and apparatus using dynamic reference frame | |
| JP2019194616A (en) | Position detection method, device and equipment based upon image, and storage medium | |
| KR102268151B1 (en) | Method for three-dimensional measurement of moving objects during known movement | |
| US9208561B2 (en) | Registration method and registration device for a position detection system | |
| JP6485964B2 (en) | Motion capture method and motion capture system | |
| US11259000B2 (en) | Spatiotemporal calibration of RGB-D and displacement sensors | |
| KR20190063153A (en) | System and method for simultaneous reconsttuction of initial 3d trajectory and velocity using single camera images | |
| US20220215562A1 (en) | Registration method and setup | |
| RU2018125899A (en) | SYSTEM AND METHOD FOR TRACKING A MEDICAL DEVICE | |
| KR101184124B1 (en) | Method and apparatus for measuring depth using opposed camera | |
| KR20240079399A (en) | Motion tracking apparatus and method | |
| JP2019144024A (en) | Motion capture method and motion capture system | |
| Tsuruda et al. | Markerless 3D Pose Estimation System for Mouse Musculoskeletal Model Using DeepLabCut and Multiple RGB-D Cameras | |
| TW201124698A (en) | Three-dimensional coordinates measurement method. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160216 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170704 |