JP7395189B2 - モーションキャプチャ・カメラシステム及びキャリブレーション方法 - Google Patents
モーションキャプチャ・カメラシステム及びキャリブレーション方法 Download PDFInfo
- Publication number
- JP7395189B2 JP7395189B2 JP2020557612A JP2020557612A JP7395189B2 JP 7395189 B2 JP7395189 B2 JP 7395189B2 JP 2020557612 A JP2020557612 A JP 2020557612A JP 2020557612 A JP2020557612 A JP 2020557612A JP 7395189 B2 JP7395189 B2 JP 7395189B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- mounter
- coordinate system
- motion capture
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 107
- 238000000034 method Methods 0.000 title claims description 48
- 238000005259 measurement Methods 0.000 claims description 73
- 238000005457 optimization Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 description 24
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 239000003550 marker Substances 0.000 description 14
- 230000009466 transformation Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 239000004606 Fillers/Extenders Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
1つあるいは複数のカメラからなる複数のカメラユニットと、
各カメラユニットが搭載される複数のカメラマウンタと、
各カメラ画像を3次元再構成するためのカメラパラメータを取得するキャリブレーション手段と、
測角機能を備えた1つあるいは複数の測量機と、
を備え、
前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
前記キャリブレーション手段は、グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得するものであり、前記グローバル座標系におけるカメラマウンタの位置及び姿勢は、前記1つあるいは複数の測量機を用いて取得される。
1つの態様では、前記1つあるいは複数の測量機のうちの1つあるいは複数の測量機は、測距機能を備えている。
測角機能を備えた測量機としては、セオドライト、トータルステーションを例示することができる。
測角機能及び測距機能を備えた測量機としては、トータルステーションを例示することができる。
1つの態様では、1つのカメラマウンタがトータルステーションから構成され、残りのカメラマウンタがセオドライトから構成される。
カメラマウンタを構成する測量機は整準されている。
1つの態様では、全てのカメラマウンタが、マーカを備えたカメラマウンタである。
1つの態様では、前記カメラマウンタは、3つ以上のマーカ(例えば、4つの測量マーカ)を備えた平面を有している。
前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される。
1つの態様では、前記特徴点は、各カメラの撮像空間に位置する不動点であり、例えば、コート上のラインの交点(角部を含む)や交差部や、ゴールポスト上の点(ポストとクロスバーの交差部やポストの下端)を特徴点として利用することができる。
1つの態様では、前記特徴点の3次元位置情報及び2次元位置情報は、外部パラメータを取得する際の最適化計算に用いられる。
1つの態様では、前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得する手段を備える。
1つの態様では、前記カメラマウンタは前記測量機から構成されており、
前記カメラマウンタ座標系における前記カメラの位置及び姿勢の取得において、前記測量機が用いられる。
1つの態様では、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢は既知ないし予め取得されている。
1つの態様では、最適化計算において、前記グローバル座標系におけるカメラマウンタの位置及び姿勢、及び、前記特徴点の前記3次元位置情報及び前記2次元位置情報が用いられる。
1つの態様では、前記最適化計算において、グローバル座標系の位置情報が未知の1つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる。
光学パラメータ及び内部パラメータは、従来手法(キャリブレーション器具を用いる)によって取得してもよい。
例えば、前記カメラマウンタが前記測量機から構成されている場合には、光学パラメータ及び内部パラメータの取得において、前記測量機を用いてもよい。
外部パラメータの取得において、取得した光学パラメータ及び内部パラメータの一部あるいは全部を用いてもよい。
各カメラユニットが搭載される複数のカメラマウンタと、
を備えたモーションキャプチャ・カメラシステムにおいて、前記複数のカメラ画像を3次元再構成するためのカメラパラメータを取得するキャリブレーション方法であって、
前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
測角機能を備えた1つあるいは複数の測量機を用いて、グローバル座標系における各カメラマウンタの位置及び姿勢を取得すること、
グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得すること、
を含む。
1つの態様では、前記複数の計測点は、各測量機から測量可能な2つの特徴点A、B(間隔が既知、例えば、垂直の測量用ポール上の点Aと点B)と、各カメラマウンタ上の特徴点(例えば、振り子錘の下端)と、を含む。
測量機で前記2つの特徴点A、Bを測量することで、各カメラマウンタ座標系の原点から点A、点Bまでのベクトルを取得することができる。例えば、該ベクトルの水平角と同じ水平角の水平軸をz軸、垂直軸をx軸とする。
各測量機で他のカメラマウンタ上の特徴点を測量することで、各マウンタ座標系間の角度を取得することができる。
グローバル座標系のz軸とx軸を、1つのマウンタの座標系のz軸とx軸に一致させ、点Aと点B間の距離と上記設定情報を用いることで、三角法によって、各カメラマウンタのグローバル座標系における位置及び姿勢を取得する。
1つの態様では、前記カメラマウンタは、3つ以上のマーカ(例えば、4つの測量マーカ)を備えた平面を有している。
1つの態様では、3つ以上のマーカ間の距離が既知であり、かつ、これらのマーカが垂直面上に設けてあり、測量機(例えば、測角機能及び測距機能を備える)で3つのマーカを測量し、測量機の中心を原点としてグローバル座標系を設定することで、測量情報と三角法を用いることで、各カメラマウンタのグローバル座標系における位置及び姿勢を取得する。
前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される。
1つの態様では、前記特徴点は、各カメラの撮像空間に位置する不動点であり、例えば、コート上のラインの交点(角部を含む)や交差部や、ゴールポスト上の点(ポストとクロスバーの交差部やポストの下端)を特徴点として利用することができる。
1つの態様では、前記特徴点の3次元位置情報及び2次元位置情報は最適化計算に用いられる。
1つの態様では、前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得する手段を備える。
1つの態様では、前記カメラマウンタは前記測量機から構成されており、
前記カメラマウンタ座標系における前記カメラの位置及び姿勢は、前記測量機を用いて取得される。
1つの態様では、前記測量機を用いてカメラマウンタ座標系の位置が既知な複数の特徴点を設定し(図15参照)、
各カメラ画像における各特徴点の位置情報を取得し、
前記特徴点のカメラマウンタ座標系の位置情報とカメラ画像における位置情報を用いて、前記カメラマウンタ座標系における前記カメラの位置及び姿勢を取得する。
1つの態様では、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢は既知ないし予め取得されている。
1つの態様では、最適化計算において、前記グローバル座標系におけるカメラマウンタの位置及び姿勢、及び、前記特徴点の3次元位置情報及び2次元位置情報が用いられる。
1つの態様では、前記最適化計算において、グローバル座標系の位置情報が未知の1つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる。
1つの態様では、各カメラは同期されており、各カメラで異なる位置・姿勢にあるキャリブレーション器具を撮影し、キャリブレーショ器具上の複数の特徴点の各カメラ画像での位置情報が用いられる。
光学パラメータ及び内部パラメータは、従来手法(キャリブレーション器具を用いる)によって取得してもよい。
例えば、前記カメラマウンタが前記測量機から構成されている場合には、光学パラメータ及び内部パラメータの取得において、前記測量機を用いてもよい。
外部パラメータの取得において、取得した光学パラメータ及び内部パラメータの一部あるいは全部を用いてもよい。
したがって、屋内外スポーツフィールド、屋内外コート、アリーナ、ドーム、体育館等で行われるスポーツの試合を撮影することで、試合中の各選手の運動を3次元再構成してモーションキャプチャを行い、動作解析を行うことができる。
[A-1]全体構成
本実施形態に係るモーションキャプチャ・カメラシステムは、スポーツフィールドやアリーナ等の大空間で行われるチームスポーツを複数のカメラで撮影するものであり、各カメラで取得された撮影画像を用いて各選手のモーションキャプチャを行うものである。本実施形態で用いるモーションキャプチャは、ビデオモーションキャプチャ技術(非特許文献1)であり、その具体的な内容は後述する。
カメラマウンタの第1の実施形態では、1つあるいは複数のカメラからなる各カメラユニットのカメラマウンタは、セオドライトやトータルステーションの測量機から構成される。図1に示す態様では、カメラマウンタCM1、CM2、CM3、CM4は測量機から構成されている。各カメラユニットは、測量機の可動部に搭載されており、測角時に可動部と一体で水平方向及び縦方向に回動可能となっている。具体的には、1台あるいは複数のカメラを搭載したカメラ台を、セオドライトやトータルステーションに固定して設置する。セオドライトやトータルステーションは、例えば、整準した三脚に整準して搭載されており、その上にカメラユニットが搭載される(図4参照)。
カメラマウンタの第2の実施形態では、カメラマウンタには複数のマーカ(特徴点)が設けてあり、測量機によってマーカが測量可能となっている。より具体的には、カメラマウンタは、所定形状・寸法の平面を有するプレート(例えば、30cm×30cmないし40cm×40cmの正方形)を備え、プレートの平面部には、セオドライトやトータルステーションのターゲットとなる反射マーカを3個以上(例えば4個)設ける。図2に示す態様では、カメラマウンタCM1、CM2、CM3、CM4は、複数の反射マーカを有する平面を備えたプレートから構成されている。
大空間モーションキャプチャにおける3次元再構成のためのカメラキャリブレーションについて説明する。以下に第1手法、第2手法、第3手法の3つの手法について説明する。第1手法は公知の手法であるが、第3手法は、第1手法と第2手法を組み合わせたものであることから、カメラパラメータの説明と合わせて第1手法についても言及する。
本実施形態で用いるカメラシステムの各カメラのキャリブレーションについて説明する。ここで、バンドル調整とは、3次元特徴点からカメラへの光線の束(bundle)が、3次元特徴点とカメラの位置・姿勢の両方に対して最適に調整される(adjustment)ことをいう。この最適化は一般的に、特徴点の再投影誤差を最小化する非線形最適化問題として解かれる。
ここで、iはカメラ番号、行列X=(x1・・・xn)はn個の特徴点のグローバル座標系での位置xi=(xi yi zj 1)T、行列iY=(iy1・・・iyn)はn個の特徴点の画像平面でのピクセル単位の位置iyj=(iuj ivj 1)T、行列iS=diag{is1,・・・,isn}は画像平面に投影するためのスケールisj=(001)iAiBxjを指す。
ここで、ifx,ifyは画像平面上のx軸、y軸それぞれのピクセル単位の焦点距離、icx,icyは画像平面での主点(画像平面と光軸の交点)の位置、行列iRはカメラ座標系におけるグローバル座標系の姿勢、itはカメラ座標系におけるグローバル座標系の原点の位置を表す。コンピュータビジョンで一般的に使用される座標軸において、3次元空間から画像平面への投影を図11に示す。これにしたがい、次の式でカメラの内部パラメータ行列Aを定義する。
ここで、行列iAについては、ifx=ify=ifとし、icx,icyを画像平面の中心とすることで、最適化変数の数を減らすことができる。受光素子の大きさの縦横比は1:1、かつ、画像平面の中心で光軸と交わっている、と仮定できるからである。行列iRについては、オイラー角で表記する場合には、iR(iθα,iθβ,iθγ)として3変数として扱える。本明細書では、この回転行列の表記としてZYXオイラー角iR(iθα,iθβ,iθγ)= RZ(iθα)RY (iθβ)RX (iθγ) を採用する。
ここで、最適化変数である焦点距離ifx,ifyとカメラ位置itは、片方を固定しなければもう片方が定まらないような関係にある。そのため、片方を固定するか、それぞれに上限・下限を狭く設定するか、どちらかの必要がある。
ここで、上記非線形方程式系は、Levenberg-Marquardt法を用いて解くことができる。
キャリブレーションのために得られるデータが、コントロールポイント(グローバル座標系での位置が既知の特徴点の特徴点群、例えば測量機で計測したコート上特徴点など)のグローバル座標系での位置iXcontrolと、画像平面でのピクセル位置iYcontrol、そして、カメラのマウンタの位置・姿勢iBmの3つであったとする。測量機を用いて直接計測を行って、コントロールポイント、及び、カメラのマウンタの位置・姿勢iBmの値を得た。このとき、カメラ間に拘束がないため、カメラごとに最適化できる。このバンドル調整は次のように表せる。
ここで、上記非線形方程式は、Levenberg-Marquardt法、ないし、Trust-Region-Reflective法を用いて解くことができる。Trust-Region-Reflective法では、最適化変数に対して、
のような範囲制約を設定できる。得られたカメラのマウンタの位置・姿勢iBmを基準に、最適化変数の初期値と狭い範囲制約を設定することで、前述の焦点距離ifx,ifyとカメラ位置itの関係に対して測量的に妥当な制約を加えることができる。
キャリブレーションのために得られるデータが、タイポイントの画像平面でのピクセル位置iYtie、コントロールポイントのグローバル座標系での位置iXcontrol と画像平面でのピクセル位置iYcontrol、そして、カメラのマウンタの位置・姿勢iBmの4つであったとする。このバンドル調整は次のように表せる。
ここで、ntie, ncontrolはそれぞれ、タイポイント、コントロールポイントの個数、ktie, kcontrolはktie>0,kcontrol>0となる2種の特徴点群に対する重みを指す。本実施形態では、ktie=kcontrol=0.5とする。上記非線形方程式は、Levenberg-Marquardt法を用いて解くことができる。
バレーボールの試合におけるモーションキャプチャについて、以下の3種類のマルチカメラキャリブレーションを行った。
(a)位置が未知の特徴点群を用いた一般的なバンドル調整(第1手法)、
(b)測量機による直接計測に基づくバンドル調整(第2手法)、そして、
(c)位置が未知の特徴点群と測量機による直接計測を併用したバンドル調整(第3手法)。
これらの計測に用いた複数カメラの配置を図7に示す。実験では、10台のカメラのうち、6台のカメラに対してキャリブレーションを行った。
を最小化する問題として扱うことができる。
本実施形態に係るキャリブレーションは、カメラマンが焦点距離、パン・チルトなどをマニュアルで操る放送・記録用の複数台のカメラ映像からのビデオモーションキャプチャに適用することができる。この場合は、光学パラメータ(レンズ歪)、内部パラメータ(焦点距離)、外部パラメータがすべて手動により変動することになる。これらのパラメータを、スポーツフィールドないしコートを形成する要素上の不動特徴点(例えば、ライン上の点やゴール上の点)と、位置未知の特徴点(例えば、球技におけるボール)を用いて、各時刻の全てのパラメータを動的に最適化計算により取得する。
[C-1]測量機による直接計測
1) 角度測量による測量ポール上の計測点の相対位置・姿勢の定義:
整準されたi番目の角度測量計により、同様に整準された測量ポール上の計測点A、Bと角度測量計の相対位置・姿勢は、図12にしたがって次のように求まる。ここで、点O、A、Bはポール上の計測点(高位、低位)であり、点Oをグローバル座標系の原点(ポールと地面との交点)とする。点Tiはi番目の角度測量計のローカル座標系の原点、点Hiはポール上におけるTiからの垂線の足で、軸XTi、YTi、XTiは角度測量計のローカル座標系の各軸を指す。また、角度θi Aは角度
角度θi Bは角度
とする。各線分は次のようになる。
したがって、ベクトル
は、以下のようになる。
レーザ距離計により線分TiA、TiB の実測値がある場合には、その値も考慮して最適化によりベクトル
求める。
ベースとなる角度測量計T0とし、角度測量計T0のローカル座標系の姿勢をグローバル座標系の姿勢、測量ポール上の原点Oをグローバル座標系の原点とする。このとき、前節で得られたベクトル
を用いて、グローバル座標系に対する角度測量計T0のローカル座標系の同次変換行列O 0Hを図13にしたがい次のように定義できる。
また、グローバル座標系における他の角度測量計の位置・姿勢についても、次のように定める。
ここで、角度θ0 Tiは角度
角度θi T0は角度
とする。
図14において、測量マーカ付きカメラマウンタのローカル座標系の原点をFiとする。この座標系の、グローバル座標系に対する位置OpFiと姿勢O FiR を最適化により次のように求める。
ここで、OpiPj は各測量マーカの点(j=1,…,4)である。
wfrillはマーカ間距離の設計値、iLslopej、iLhorizontalj、iLverticaljは、レーザ距離計で測ったマーカへの斜距離・水平距離・高低差である。また、角度iθhorizontalj、iθverticaljは、角度距離計で測ったマーカへの方向角・高度角を指す。測量マーカ付きカメラマウンタトをカメラのマウンタとするとき、前節と同様に外部バラメータiBmは次のように定義される。
カメラの外部パラメータ行列iBに対して、カメラマウンタの外部パラメータ行列iBmのみが測量機で直接計測をすることができる。それらは相対外部パラメ―タ行列
を用いて次のように変換できる。
相対外部パラメ―タ行列を第2手法で最適化すると、次の問題になる。
測量機をカメラマウンタに用いた実施形態におけるキャリブレーションについて詳細に説明する。カメラシステムは、複数個(例えば、4個ないし2個)のカメラからなるカメラユニットを備え、各カメラユニットは測量機(セオドライトないしトータルステーション)に搭載されている。各カメラユニットは、測量機の可動部に搭載されており、測角時に可動部と一体で水平方向及び縦方向に回動可能となっている。1つの態様では、1つのカメラユニットがトータルステーションに搭載されており、他のカメラユニットがセオドライトに搭載されている。もちろん、複数のカメラユニットが複数のトータルステーションに搭載されていてもよい。本セクションの説明において、iはセオドライトの通し番号を示し、jはi番目のセオドライトに搭載されたj番目のカメラを示す。上記セクション[C]では、iはカメラの通し番号を示し、カメラのマウンタ(セオドライトである場合も含む)には、カメラの通し番号が割り当てある点に留意されたい。
ワールド座標系からのセオドライト座標系への同次変換行列の取得について説明する。先ず、セオドライト及びトータルステーションを三脚に搭載する。各三脚を、各カメラの視野に計測範囲が含まれるように立てる。セオドライト及びトータルステーションを、水準器を用いて整準する。計測範囲の中心に測量用ポールを立てる。測量用ポールは、測量で一般に用いられる周知のポールであり、例えば、赤と白のストライプが10cm幅で形成されている。ポール上の上側の計測点をA、下側の計測点をBとする。
カメラの内部パラメータの取得について説明する。各カメラユニットは、セオドライトないしトータルステーションのYaw回転と一体で回転可能な水平面上の固定された4つのカメラを備えている。カメラは、セクター角度22.5°で扇形状に軸
でセットされており、軸はz-x平面に対して対称である。各軸を軸
回りに9.65°で回転させる。
は、カメラ画像Iijにおいて、以下の形式で現れる。
歪みフリー画像Iij *は、Pijを用いてIijから以下のような形式で生成され、
歪みフリー画像は、カメラ座標系の3次元位置
を
で示す。
セオドライト座標系からのカメラ座標系への同次変換行列の取得について説明する。水準器を用いてポールを垂直に立てる。セオドライト/トータルステーション(i=0,…,M)について、座標系{i}のセオドライトないしトータルステーションを、水準器を用いて垂直に立てる。カメラの高さを水平面から例えば1.7mとし、ポールからカメラまでの距離を例えば10mとする。セオドライト/トータルステーションのpitch角度を0°(水平)に設定する。そして、Yawを調整してポールの中心を視準し、Yaw角度(0°)をリセットする。
として三角法で計算する。セオドライトないしトータルステーションの回転角度を、β0=-33.75°、β1=-11.25°、β2=11.25°、β3=33.75°、に設定する。カメラ(j=0,…,M)、及び、角度(k=0,…,20)について、座標系{i}のYawをγjkに設定し、ここで、
である。そして、角度(k=0,…,20)を変化させて、カメラ(i,j)の画像Iijkを取得する。
上記2つの式を満たすように最適化計算を行って、セオドライト座標系からのカメラ座標系への同次変換行列
を取得する。同様に、次のカメラjについて同時変換行列を取得し、次のセオドライトについて同様に計算を行って同時変換行列を取得する。
図16を参照しつつ、本実施形態に係るモーションキャプチャシステムについて説明する。モーションキャプチャシステムは、いわゆるビデオモーションキャプチャシステム(非特許文献1参照)であり、モーションキャプチャ・カメラシステムで取得された複数のカメラの映像から深層学習を用いて推定した関節位置から3次元再構成を行うものであり、対象は、いかなるマーカやセンサを装着する必要がなく、計測空間も限定されない。複数台のRGBカメラの映像から完全非拘束でモーションキャプチャを行うもので、屋内の居住空間から、屋外でのスポーツフィールドの広い空間まで、原理的には映像が取得できれば、動作計測が可能となる技術である。以下に述べるモーションキャプチャシステムは、例示であり、本発明に係るモーションキャプチャ・カメラシステムと共に用いるモーションキャプチャを限定するものではなく、他の手法を採用してもよい。
Claims (24)
- 1つあるいは複数のカメラからなる複数のカメラユニットと、
各カメラユニットが搭載される複数のカメラマウンタと、
各カメラ画像を3次元再構成するためのカメラパラメータを取得するキャリブレーション手段と、
測角機能を備えた1つあるいは複数の測量機と、
を備えたモーションキャプチャ・カメラシステムであって、
前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
前記キャリブレーション手段は、グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得するものであり、前記グローバル座標系におけるカメラマウンタの位置及び姿勢は、前記1つあるいは複数の測量機を用いて取得される、
モーションキャプチャ・カメラシステム。 - 前記1つあるいは複数の測量機のうちの1つあるいは複数の測量機は、測距機能を備えている、請求項1のモーションキャプチャ・カメラシステム。
- 前記複数のカメラマウンタの一部あるいは全部は、前記測量機である、請求項1、2いずれか1項に記載のモーションキャプチャ・カメラシステム。
- 前記複数のカメラマウンタの一部あるいは全部は、前記測量機によって測量可能な複数のマーカを備えている、請求項1、2いずれか1項に記載のモーションキャプチャ・カメラシステム。
- 前記カメラマウンタは、3つ以上のマーカを備えた平面を有している、請求項4に記載のモーションキャプチャ・カメラシステム。
- 前記キャリブレーション手段は、各カメラの撮像空間に位置する複数の特徴点のグローバル座標系での位置情報と、各カメラ画像での各特徴点の位置情報と、を用いるものであり、
前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される、
請求項1~5いずれか1項に記載のモーションキャプチャ・カメラシステム。 - 前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を用いる、
請求項1~6いずれか1項に記載のモーションキャプチャ・カメラシステム。 - 前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得する手段を備える、
請求項7に記載のモーションキャプチャ・カメラシステム。 - 前記カメラマウンタは前記測量機から構成されており、
前記カメラマウンタ座標系における前記カメラの位置及び姿勢は、前記測量機を用いて取得される、
請求項8に記載のモーションキャプチャ・カメラシステム。 - 前記キャリブレーション手段は、最適化計算によって前記外部パラメータを取得する、
請求項1~9いずれか1項に記載のモーションキャプチャ・カメラシステム。 - 前記最適化計算において、グローバル座標系の位置情報が未知の1つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる、
請求項10に記載のモーションキャプチャ・カメラシステム - 前記カメラパラメータは、光学パラメータと内部パラメータを含み、前記キャリブレーション手段は、最適化計算によって前記外部パラメータ及び前記光学パラメータと前記内部パラメータを取得する、請求項10、11いずれか1項に記載のモーションキャプチャ・カメラシステム。
- 1つあるいは複数のカメラからなる複数のカメラユニットと、
各カメラユニットが搭載される複数のカメラマウンタと、
を備えたモーションキャプチャ・カメラシステムにおいて、複数のカメラ画像を3次元再構成するためのカメラパラメータを取得するキャリブレーション方法であって、
前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
測角機能を備えた1つあるいは複数の測量機を用いて、グローバル座標系における各カメラマウンタの位置及び姿勢を取得すること、
グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得すること、
を含むキャリブレーション方法。 - 前記1つあるいは複数の測量機のうちの1つあるいは複数の測量機は、測距機能を備えている、請求項13に記載のモーションキャプチャ・カメラシステム。
- 前記複数のカメラマウンタの一部あるいは全部は、前記測量機であり、複数の測定点の測量データを用いてグローバル座標系における各カメラマウンタの位置及び姿勢を取得する、請求項13、14いずれか1項に記載のキャリブレーション方法。
- 前記複数のカメラマウンタの一部あるいは全部は、前記測量機によって測量可能な複数のマーカを備えており、複数のマーカの測量データを用いてグローバル座標系における当該カメラマウンタの位置及び姿勢を取得する、請求項13、14いずれか1項に記載のキャリブレーション方法。
- 前記カメラマウンタは、3つ以上のマーカを備えた平面を有している、請求項16に記載のキャリブレーション方法。
- 前記外部パラメータの取得において、各カメラの撮像空間に位置する複数の複数の特徴点のグローバル座標系での位置情報と、各カメラ画像での各特徴点の位置情報と、が用いられ、
前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される、
請求項13~17いずれか1項に記載のキャリブレーション方法。 - 前記外部パラメータの取得において、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を用いる、
請求項13~18いずれか1項に記載のキャリブレーション方法。 - 各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得することを含む、
請求項19に記載のキャリブレーション方法。 - 前記カメラマウンタは前記測量機から構成されており、
前記カメラマウンタ座標系における前記カメラの位置及び姿勢を、前記測量機を用いて取得する、
請求項20に記載のキャリブレーション方法。 - 最適化計算によって前記外部パラメータを取得する、請求項13~21いずれか1項に記載のキャリブレーション方法。
- 前記最適化計算において、グローバル座標系の位置情報が未知の1つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる、
請求項22に記載のキャリブレーション方法。 - 前記カメラパラメータは、光学パラメータと内部パラメータを含み、最適化計算によって前記外部パラメータ及び前記光学パラメータと前記内部パラメータを取得する、請求項22、23いずれか1項に記載のキャリブレーション方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862770766P | 2018-11-22 | 2018-11-22 | |
US62/770,766 | 2018-11-22 | ||
PCT/JP2019/045552 WO2020105697A1 (ja) | 2018-11-22 | 2019-11-21 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020105697A1 JPWO2020105697A1 (ja) | 2021-10-07 |
JP7395189B2 true JP7395189B2 (ja) | 2023-12-11 |
Family
ID=70774209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020557612A Active JP7395189B2 (ja) | 2018-11-22 | 2019-11-21 | モーションキャプチャ・カメラシステム及びキャリブレーション方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7395189B2 (ja) |
WO (1) | WO2020105697A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7489349B2 (ja) | 2021-03-30 | 2024-05-23 | Kddi株式会社 | 複数カメラ校正装置、方法およびプログラム |
CN113487726B (zh) * | 2021-07-12 | 2024-05-14 | 未来元宇数字科技(北京)有限公司 | 动作捕捉***和方法 |
CN115861592B (zh) * | 2023-02-16 | 2023-05-26 | 之江实验室 | 基于神经网络的动作捕捉***的速度精度优化方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004053374A (ja) | 2002-07-19 | 2004-02-19 | Jr Nishi Nippon Consultants Kk | 軌道狂い計測方法およびその方法に用いられる軌道狂い計測システム |
JP2004163292A (ja) | 2002-11-13 | 2004-06-10 | Topcon Corp | 測量装置と電子的記憶媒体 |
JP2011170487A (ja) | 2010-02-17 | 2011-09-01 | Kddi Corp | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム |
JP2011238222A (ja) | 2010-04-30 | 2011-11-24 | Liberovision Ag | 多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法、仮想画像をレンダリングするためのコンピュータ実行方法、およびソース画像セグメントのセグメント化を決定するためのコンピュータ実行方法 |
JP2016126425A (ja) | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3728900B2 (ja) * | 1997-10-17 | 2005-12-21 | ソニー株式会社 | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 |
-
2019
- 2019-11-21 WO PCT/JP2019/045552 patent/WO2020105697A1/ja active Application Filing
- 2019-11-21 JP JP2020557612A patent/JP7395189B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004053374A (ja) | 2002-07-19 | 2004-02-19 | Jr Nishi Nippon Consultants Kk | 軌道狂い計測方法およびその方法に用いられる軌道狂い計測システム |
JP2004163292A (ja) | 2002-11-13 | 2004-06-10 | Topcon Corp | 測量装置と電子的記憶媒体 |
JP2011170487A (ja) | 2010-02-17 | 2011-09-01 | Kddi Corp | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム |
JP2011238222A (ja) | 2010-04-30 | 2011-11-24 | Liberovision Ag | 多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法、仮想画像をレンダリングするためのコンピュータ実行方法、およびソース画像セグメントのセグメント化を決定するためのコンピュータ実行方法 |
JP2016126425A (ja) | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020105697A1 (ja) | 2021-10-07 |
WO2020105697A1 (ja) | 2020-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7395189B2 (ja) | モーションキャプチャ・カメラシステム及びキャリブレーション方法 | |
JP7427188B2 (ja) | 3dポーズ取得方法及び装置 | |
US8223208B2 (en) | Device and method for calibrating an imaging device for generating three dimensional surface models of moving objects | |
US7751651B2 (en) | Processing architecture for automatic image registration | |
CN108961395A (zh) | 一种基于拍照重建三维空间场景的方法 | |
KR101308744B1 (ko) | 항공촬영 영상의 지형대비 기준점 합성형 공간영상도화 시스템 | |
JP4758842B2 (ja) | 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム | |
US20080219509A1 (en) | Tracking an object with multiple asynchronous cameras | |
WO1994029670A1 (fr) | Appareil pour mesurer la position d'un objet en mouvement | |
CN113160325B (zh) | 基于进化算法的多摄像机高精度自动标定方法 | |
US11657578B2 (en) | Registration for augmented reality system for viewing an event | |
CN108050928A (zh) | 一种视觉测量仪以及一种视觉测量方法 | |
US11880953B2 (en) | Augmented reality system for viewing an event with distributed computing | |
JP4109075B2 (ja) | 球体の回転特性と飛行特性の測定方法及び球体の回転特性と飛行特性の測定装置 | |
US11645819B2 (en) | Augmented reality system for viewing an event with mode based on crowd sourced images | |
CN106447733A (zh) | 颈椎活动度及活动轴线位置的确定方法、***及装置 | |
US20230118280A1 (en) | Use of multiple registrations for augmented reality system for viewing an event | |
Kassebaum et al. | 3-D target-based distributed smart camera network localization | |
Teo | Video-based point cloud generation using multiple action cameras | |
US12003806B2 (en) | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model | |
JP2005270484A (ja) | キャリブレーション方法 | |
Rau et al. | Systematic calibration for a backpacked spherical photogrammetry imaging system | |
CN207456379U (zh) | 一种视觉测量仪 | |
Nocerino et al. | Low-cost human motion capture system for postural analysis onboard ships | |
CN112254678B (zh) | 一种室内3d信息采集设备及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7395189 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |