JP4245963B2

JP4245963B2 - 較正物体を用いて複数のカメラを較正するための方法およびシステム

Info

Publication number: JP4245963B2
Application number: JP2003112557A
Authority: JP
Inventors: ポール・ベアズリィー
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2002-04-24
Filing date: 2003-04-17
Publication date: 2009-04-02
Anticipated expiration: 2023-04-17
Also published as: US6917702B2; JP2004127239A; US20030202691A1

Description

【０００１】
【発明の属する技術分野】
本発明は、包括的には、スキャナの較正に関し、特にターンテーブルベースの３Ｄスキャナシステム用の複数のカメラの較正に関する。
【０００２】
【従来の技術】
多くのコンピュータグラフィクスシステムでは、任意のリアルな、しかし合成されたシーンを描画するのにリアルな３次元モデルが必要である。そのようなモデルは、アニメーション、ソリッドモデリング、視覚化、ロボット工学、ゲーム、科学研究、ＣＡＤ／ＣＡＭ、およびマルチメディア用に使用可能である。コンピュータグラフィクスシステムでは、３次元描画ソフトウェアとグラフィクス輝度モデルにより、典型的に３次元モデルが表示される。
【０００３】
多くの制限やモデル化される物理的な物体に関する不完全な情報のために、完全な数学モデルを導きだし、すべての必要なカメラパラメータを提供するのは非常に困難である。そのため、非常に複雑なモデルの生成は面倒で非常に時間がかかる。
【０００４】
レーザー走査と距離検出ハードウェアを使用して物体から３Ｄ情報を生成するシステムは、非常に高価で、そのためほとんどの人々は使用することができない。さらに、複雑なハードウェアは、修理や交換が困難である。レーザー走査方法とシステムはまた侵入型である。また、レーザーシステムによるカラーマップは、レーザー光の波長により制限され、そのため現実感に乏しい。
【０００５】
他の方法では、いくつかの別個の視点から物体の画像を取得する。画像は、１つに継ぎ合わされて、物体のパノラマ画面を形成する。しかし、モデルがまったく生成されてないため、物体を任意のシーン内に配置できず、物体は画像が取得された視点からのみで見ることができる。
【０００６】
多くのシステムは、幾何学的なカメラ較正を使用して、１組のカメラパラメータを求める。カメラパラメータは、物体の３次元座標と２次元画像座標との間のマッピングを記述する。既知の多数の較正技法は、通常は２つのグループ、すなわち、１回の高精度パラメータ計算方法とタスク志向の粗い非厳密較正方法とに分けられる。
【０００７】
高精度方法は、画像の特徴を正確に求めることに依存しており、通常は環境やカメラパラメータについての特定の仮定を使用して、より高い精度を達成する。これらの、計算的に高価な較正技法は、通常一回だけモデル取得プロセスの前処理ステップとして実施される。
【０００８】
１つの正確な較正技法が、Tsaiにより「A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf Cameras and Lenses」、IEEE Journal of Robotics and Automation, Vol.RA-3, No.4, 1987に記載されている。Tsaiのカメラモデルは、１次球面収差を持つ３Ｄ−２Ｄ中心射影のピンホールモデルに基づいている。Tsaiの技法は、ワールド座標系においてカメラの姿勢を３Ｄ回転と３Ｄ並進、スケーリング、焦点距離、および縦横比により説明する。
【０００９】
粗い較正技法は、通常は、複雑で対話的な環境で使用される。長所として、粗い較正では、連続した較正の更新、簡略さ、高速な計算、変化するカメラ座標とワールド座標への対応することができる。
【００１０】
物体に対するカメラ画像の三次元の位置と向きが任意に設定されるアプリケーションでは、物体は背景の較正パターンに対して撮像されることもある。通常は、パターンとして、既知の間隔を持つ多くの水平および垂直の格子線などがある。その他のパターンとしては、同様に既知の直交する関係に配列された点や他のマーカーがあり得る。そのようなシステムには多くの問題がある。
【００１１】
現実の物体の正確なモデルを得るには、ターンテーブルが使用可能である。ここで、物体は回転するターンテーブル上に配置され、物体はさまざまな方向から撮像される。Pfister他により２００１年４月２６日に出願された米国特許出願第０９／８４２，９７２号、「Image-Based 3D Digitizer」を参照されたい。単一カメラによるターンテーブルベースのスキャナは長い歴史を持つ。Szeliski著、「Shape from rotation」、Proc. Conf. Computer Vision and Pattern Recognition, 1990を参照されたい。しかし、複数のスキャナを使用するターンテーブルベースのシステムは、ほとんど注目を集めたことがなく、そのようなシステムの較正の仕事は困難である。
【００１２】
【発明が解決しようとする課題】
そのため、３Ｄモデル取得のために物体がターンテーブル上に配置されているモデリングシステム用の複数のカメラを較正する較正技法の提供が望まれている。
【００１３】
【課題を解決するための手段】
複数のカメラを較正する方法とシステムにおいて、較正物体がターンテーブル上に配置され、ターンテーブルを回転させながら各カメラで画像の組が取得される。
【００１４】
較正物体の可視の各平面上の頂点は、画像の各組内で位置を特定され、各カメラの内部パラメータが頂点を使用して求められる。それから、１つのカメラが固定カメラとして選択され、その他のすべてのカメラが浮動カメラとして指定される。ターンテーブルの回転軸に対する固定カメラの位置と向き、つまりカメラの外部パラメータは、頂点と内部パラメータを使用して推定される。
【００１５】
固定カメラと各浮動カメラとの間の並進ベクトルが求められ、並進ベクトルを使用して、すべてのカメラが並進ベクトルに従って共通の座標系内に配置される。
【００１６】
結果は較正物体のグローバル３Ｄジオメトリに依存しないが、これは各平面上の３Ｄ頂点が正確に知られた較正物体を構築するのが不便なためである。
【００１７】
【発明の実施の形態】
本発明は、ターンテーブルベースの３Ｄスキャナと共に使用される複数のカメラを較正するためのシステムと方法を提供する。本発明は、ターンテーブルの回転軸に対する正確なカメラ位置を取得する。したがって、ターンテーブルに対するカメラ位置は、任意の指定された回転角度について生成可能である。それらのカメラ位置と、ターンテーブル上の物理物体の対応する画像が与えられると、その物体の３Ｄモデルを取得できる。
【００１８】
本発明は、較正処理、つまり、複数のカメラの内部と外部のパラメータおよびユークリッド座標系内でのターンテーブルの回転軸の取得する完全な測定値の較正を扱う。システムが較正された後、物体のモデルをスキャナにより構築することができる。
【００１９】
システムの構造
図１は、本発明による複数のカメラの較正のためのシステム１００を示す。システム１００は、複数のカメラ（Ｃ１〜Ｃ６）１３０とターンテーブル１４０を含む。プロセッサ１６０は、カメラ１３０により取得された１組の較正画像１６１を受け取り、システム１００の較正パラメータ１７０を求める。
【００２０】
１３６０×１０３６ピクセルのカラーＣＣＤ撮像センサを持つ６台のＱＩｍａｇｉｎｇＱＩＣＡＭカメラが使用される。カメラは、１秒当たり１１フレームの最大解像度のＲＧＢ画像を取得することができる。カメラは、以下でより詳細に説明するように、光学的に較正されている。カメラは、ＦｉｒｅＷｉｒｅを介して、５１２ＭＢのＲＡＭを持つ７００ＭＨｚのＰｅｎｔｉｕｍ（登録商標）ＩＩＩＰＣのプロセッサ１６０に接続されている。カメラは、通常ターンテーブルに向けられた半球の仰角に沿って等間隔で配置されている。
【００２１】
システム動作
システムの動作を図２に示す。
【００２２】
較正画像の取得
較正方法は、既知の較正物体１５０をターンテーブル１４０に配置し、必要なら、各カメラ１３０の位置、焦点、絞りを調整することにより開始される。それから、既知のパターンを持つ立方体などの較正物体の１組の較正画像１６１がカメラ１３０などのスキャナ１３０により取得される（２１０）。これにより、さまざまな視点から較正物体のさまざまな視野の組が提供される。通常は、１０度の間隔の３６個の位置を経由する回転が行われ、全部で６×３６＝２１６画像が得られる。システム１００の回転軸１５５は固定されている。それから、内部および外部のカメラパラメータと回転軸、つまり較正パラメータ１７０を求めることができる。
【００２３】
自由度
システム１００には、５１個の自由度（ＤＯＦ）があり、それらは、以下のように分解する。各カメラ１３０の内部パラメータには３つのＤＯＦがあり、それらは、焦点距離と主点である。複数のカメラのうちの１つのカメラの外部パラメータは、３つの自由度、つまり、回転軸１５５に対する向きにより記述されるが、これは、３Ｄ座標系は任意の原点と尺度まで取得すればよいからである。そして、５つの残りのカメラの各々の外部パラメータについては、６つのＤＯＦ、つまり回転と並進がある。高品質レンズが使用されるときには、放射方向歪曲収差は無視できる。
【００２４】
好ましい実施形態では、各カメラの内部パラメータが最初に求められる。それから、各カメラ１３０の回転軸１５５に対する向きが独立して求められる。これは、単一カメラ較正２０１と呼ばれる。最後に、すべてのカメラが共通の座標系（ＣＣＦ）２７１に配置される。これは、複数カメラ較正２０２と呼ばれる。この情報により、任意の好ましい回転角度について、各カメラ１３０のターンテーブル１４０に対する位置が求められる。通常は、前述のように１組３６枚の画像１６１が各カメラにより取得され、全部で２１６枚の画像になる。もちろん、必要に応じて、回転についての任意の値と不規則な増分についてのカメラの位置を導き出すこともできる。
【００２５】
較正方法では、較正物体１５０の画像１６１のシーケンスの組を利用する。較正物体の目的は、画像内で非常に正確な点の位置を特定することである。しかし、その使用方法には実用的な問題がある。物体の異なる面上に図１に示したようなパターンを生成して、各面上のこれらの各々のパターンのローカルジオメトリを知るのは容易である。
【００２６】
しかし、特別な作成方法なしに、物体の異なる面上のパターンを正確に知られた相対位置に配置するのは困難である。本発明による較正処理はこの問題を考慮する。処理では、各面上の各々のパターンのローカルジオメトリが正確にわかっていると仮定する。処理の初期のステップでは、較正物体１５０全体のグローバルジオメトリがわかっているとも仮定する。しかし、最終ステップでは、このグローバルジオメトリへの依存が取り除かれ、処理は、物体の表面上にパターンを互いに対して配置する場合のあらゆる不正確さの影響を受けなくなる。
【００２７】
較正パターンの処理
このセクションでは、図１の較正物体１５０の各々の表面上のパターンのようなパターンの頂点の位置をどのようにして特定するか（２１０）を説明する。各パターンは、白い背景上に黒い長方形の縞１５１を持ち、８つの較正頂点、つまり、長方形の縞の外側境界上の４つの角の頂点と、縞の内側境界上の４つの角の頂点がある。パターンの中心は、特有の色が付いたマーカー１５３を含み、較正物体の各面の一意の色分けとして各面のそれぞれを識別する。
【００２８】
まず、よく知られたＣａｎｎｙエッジ検出処理が各画像に実施される。色付きマーカー１５３の自動検出を使用して、平面点対点平面射影Ｈ２１１の形式でパターンの画像位置の初期の手引きが得られる。平面射影Ｈは、標準座標系から画像座標系にパターンをマッピングする。Ｈの初期の推定値は、以下のようにして取得される。平面射影Ｈを使用して、パターンの８つの線分セグメント、つまり黒い縞の４つの外部と４つの内部の線分セグメントの画像位置の推定値を生成することができる。推定された線分セグメントごとに、適切な向きを持つ近くのエッジが識別され、直交回帰を使用して直線が副画素エッジ位置に当てはめられる。線分セグメントは、頂点で交差する。
【００２９】
それから、当てはめられた線を使用して、平面射影Ｈ２１１の新しい推定値が求められる。平面点対点平面射影Ｈは、Ｈ’＝Ｈ^Ｔにより同一の平面についての線分対線分平面射影Ｈ’に関連付けられるので、点または線の平面射影は、必要に応じて互換的に使うことができる。
【００３０】
エッジの収集処理と平面射影Ｈを求めること、繰り返される。繰り返しごとに、マッピングされた標準較正パターンとエッジマップとの間の一致が確認される。この測定値がさらに改善しないときに繰り返しが終了する。標準較正パターンの頂点は、Ｈの最終推定値を使用して画像座標系にマッピングされ、較正頂点の画像位置２１２の最終推定値が得られる。
【００３１】
単一カメラの較正
単一カメラの較正２０１は、６つのカメラ各々について別々に実施される。
【００３２】
目的は、ターンテーブル１４０の回転軸１５５に対する各カメラの向きを求めることである。４つのステップがあり、それらは、各カメラにより取得された３６の画像シーケンスの組の中の較正パターンの頂点の位置を求める（２１０）こと、各カメラの内部パラメータを求める（２２０）こと、回転軸１５５に対するカメラの向きの初期推定値Ｒ２３１を得るために３６枚の画像ごとに各カメラの位置を推定する（２３０）こと、最小化（２４０）により回転軸１５５に対するカメラの向きの最適な推定値を得ることである。
【００３３】
較正頂点の位置を特定する
図１に示すように、較正物体１５０は、その見ることのできる面に同様の外見のパターンを持っていて、自動追跡を可能にするために、パターンには特有の色付きマーカー１５３が追加され、物体の各面が１つの一意のマーカーを持つ。
【００３４】
画像シーケンス１６１全体での物体１５０の追跡を初期化するために、最初の２つの画像が処理され、色付きマーカーが検出される。検出されたマーカーは、各平面の平面射影Ｈ２１１の初期推定値となり、したがって、較正物体１５０上の頂点位置２１２を正確に求めるための「出発点になる」。
【００３５】
それから、較正オブジェクト１５０上の較正パターン１５１の既知の３Ｄローカルジオメトリとそれに対応する画像内の頂点を使用して、３×４中心射影行列Ｐが構築される。この行列Ｐは、そのユークリッド形式に分解される。さらに、最初の２つの画像の間の関係について基礎行列が構築され、この行列が分解されて、ターンテーブル１４０の回転軸１５５の画像投影が生じる。それから、較正パラメータが使用され、回転軸の３Ｄ座標の位置が特定される。
【００３６】
残りの画像については、色付きマーカー１５３の検出により同様に較正パターンを求めることが可能である。信頼性を最大にするために、前の段落で計算されたように情報をこのアプローチに追加することができる。２つの較正されたカメラのうちの１つと回転軸を使用することで、画像シーケンス内の３６の位置の各々について、物体１５０に対するカメラの位置を推定できる。位置が推定された各カメラは、較正物体の見えている面と、各々の較正パターンについて平面射影２１１の初期推定値とを求める。これにより、較正頂点の正確な位置２１２を求めるための出発点を設定するのに必要なすべての情報が得られ、すべての画像シーケンスについて較正頂点が自動的に得られる。
【００３７】
内部パラメータの決定
前のステップが完了すると、カメラに対するさまざまな向きの複数の較正平面の平面射影が得られ、Zhang著、「A flexible new technique for camera calibration」、IEEE Pattern Analysis and Machine Intelligence, 22:1330-1334, 1999に記載されているように、各カメラの内部パラメータ２１２、つまり焦点距離と主点を求めることが可能になる（２２０）。前述のように、放射方向歪曲収差は無視できると仮定され、計測されない。
【００３８】
回転軸の向きの推定
内部パラメータが得られた後、可視試験を使用して特定の画像シーケンスが選択される。選択された画像では２つ以上の較正パターンが見えている。可視試験は、カメラの視野方向と当該視野方向に対する平面法線との間の角度が６０度未満の較正平面を受け入れる。物体１５０の上面のパターンと少なくとも側面のパターンが見える上方のカメラについてはすべての画像が選択されるのに対して、この基準を使用して、物理的に下方のカメラについては約１６枚の画像が通常は使用される。
【００３９】
較正物体の既知のローカルジオメトリとそれに対応する画像の点を使用して、そのような画像ごとに３×４の中心射影行列Ｐが構築される。それから、内部パラメータ２１２の値を設定することで、行列Ｐはカメラの回転と並進の推定値に分解される。
【００４０】
これで個々のカメラからの情報が統合され、回転軸１５５に対するカメラの向きの推定値Ｒ２３１が得られる。平面を推定されたカメラの焦点に当てはめ、その法線をとることで回転軸の向きが推定される（２３０）。回転軸上の点は、画像シーケンスの中で直径について対向しているカメラのすべての対をとり、２つの焦点を結ぶ線を構築し、それからそのようなすべての線のなかで最適の交点を求めることで得られる。
【００４１】
回転軸の向きのグローバルジオメトリへの依存性の最小化
この時点で、ターンテーブルの回転軸の向きの最初の推定値Ｒ２３１は推定済みである。しかし、前述のように、較正処理は、較正物体のグローバルジオメトリのすべての正確な知識に依存している。較正物体１５０のグローバルジオメトリへのこの依存性がここで回転軸の新しい推定値Ｒ２４１を求める最小化処理（２４０）で取り除かれる。
【００４２】
最小化（２４０）は回転軸の３つのパラメータに対して行われ、これらのパラメータは、この目的のために回転軸の画像平面への投影により特徴づけられ、すなわち、それらのパラメータは画像平面上での回転軸の消失点（２パラメータ）と、この消失点を通過する画像線の方向（１パラメータ）である。最小化の各ステップで、内部パラメータ２２１と回転軸の現在の推定値２３１が与えられると、画像シーケンスについてすべての３６個のカメラ位置が求められる。
【００４３】
これらのカメラの画像を使用して、一対の画像で見える各点が使用されてエピポーラ誤差が生成される。すべての残差の組が集められ、９０パーセンタイルにより最小化のための費用関数が得られる。
【００４４】
複数カメラの較正
これまでの処理の結果は、回転軸１５５に対する各カメラ１３０の向きの独立した推定値である。各場合において、各カメラの座標系の原点と尺度は定義されないままである。ここでの目的は、すべてのカメラを共通の座標系（ＣＣＦ）２７１に配置する（２７０）ことである。
【００４５】
複数の中央のカメラのうちの１つ、たとえばＣ３またはＣ４が固定カメラに、つまりそのカメラが共通座標系を定義するように設定され、「固定カメラ」２６１と呼ばれる。残りの５つのカメラはそれぞれ「浮動カメラ」２６２と呼ばれ、各浮動カメラは以下のように独立して処理される。
【００４６】
回転軸１５５に対する各浮動カメラ２６２の向きは既知であり、その関係はさしあたり固定されていると仮定する。目的は、固定カメラ２６１と各浮動カメラ２６２間の並進ベクトルＴ２６９を求める（２６０）ことである。
【００４７】
ｊ＝０、．．．、３５のシーケンスのすべての画像について、固定カメラの画像ｊと浮動カメラ２６２の画像ｊ＋ｉの間のすべての対応点の集合はＭである。これは、固定カメラの画像と浮動カメラの画像との間のオフセットｉを持つ対応点の集合である。各集合Ｍ_ｉを使用して基礎行列Ｆ_ｉを構築することができる。Ｆ_ｉについての固定カメラのエピポールはｅ_ｉで、ｖ_ｉはｅ_ｉについての逆投影された３Ｄ光線である。
【００４８】
図３は、軸１５５の周囲の固定カメラのシーケンス３０１についてのこの計測の物理的な重要性を示す。ここで、３Ｄ光線ｖ_ｉ３０２は、オフセットＴ３０４、つまり固定カメラと各浮動カメラとの間の並進ベクトルＴ２６９を示す点３０３で交差する。
【００４９】
それから、これによりＴ２６９の３つのパラメータの非線形最小化のための初期推定値が得られる。固定カメラの画像と浮動カメラの画像間の各点の対応は、エピポーラ誤差を生成するのに使用される。それから、残差の完全な集合が集められ、９０パーセンタイルにより最小化のための費用関数が得られる
【００５０】
並進ベクトルの誤差が最小化された後、固定カメラ２６１の共通座標系２７１に浮動カメラ２６２を配置できる（２７０）。
【００５１】
追加の処理を実施して較正処理を改良することができる。前述のように、複数のカメラの較正処理は、すべてのカメラを共通の座標系に配置するために異なるシーケンスのカメラ間の並進を求めるだけである。より完全なアプローチでは、この段階でカメラの向きも更新する。この更新は、単一カメラに関連付けられたエピポーラジオメトリ誤差を増加する効果があるが、すべてのカメラのグローバル誤差が増大される。
【００５２】
【発明の効果】
ターンテーブルベースの３Ｄスキャナを較正するためのシステムと方法を説明した。本発明は、多数の視野のエピポーラジオメトリに関連する誤差の低減を達成する。較正により、複数カメラによる走査技法を使用して複雑なジオメトリを持つ現実の物体の正確な３Ｄモデルを取得できる。直径方向において２画素程度の構造を最終モデルにおいて正常に回復することができる。
【００５３】
本発明は、好ましい実施形態の例により記述されているが、本発明の精神と範囲内において、さまざまなその他の適合や修正が当然可能であることが理解されよう。そのため、本発明の真の精神と範囲に含まれるすべてのそのような修正および変更を網羅するのが併記の請求の範囲の目的である。
【図面の簡単な説明】
【図１】本発明による較正システムの概略図である。
【図２】本発明による較正方法の流れ図である。
【図３】本発明による、並進ベクトルを求めるための処理の概略図である。

Claims

ターンテーブル上に配置された較正物体を用いて複数のカメラを較正するための方法であって、
前記ターンテーブルを回転させながら各カメラにより前記較正物体の１組の画像を取得することと、
前記画像の各組内で較正パターンの頂点の位置を特定することと、
前記頂点から前記各カメラの内部パラメータを求めることと、
前記各カメラの前記内部パラメータからそれら各カメラの位置に対する前記ターンテーブルの回転軸の向きを推定することと、
前記較正パターンのグローバルジオメトリに対する前記各向きの依存性を最小化することと、
１つのカメラを固定カメラとして選択して、その他のすべてのカメラを浮動カメラとして指定することと、
前記固定カメラと前記各浮動カメラとの間の並進ベクトルを求めることと、
前記並進ベクトルに従って共通の座標系内に前記カメラを配置することと
を含む方法。
前記較正物体は立方体であり、前記較正パターンはその立方体の各面上の長方形の縞である請求項１に記載の方法。
前記位置を特定することは、
前記較正パターンの辺を検出することと、
線分セグメントを前記辺に対して反復して当てはめて前記頂点の位置を特定することと
をさらに含む請求項１に記載の方法。
前記線分セグメントは直交回帰により当てはめられる請求項３に記載の方法。
前記各長方形の縞は、前記画像の組の中の前記較正パターンを自動的に追跡するための異なる色を持つ請求項２に記載の方法。
前記回転軸の向きを推定するために前記内部パラメータの焦点に平面が当てはめられている請求項１に記載の方法。
較正物体を用いて複数のカメラを較正するためのシステムであって、
較正物体を配置するためのターンテーブルと、
前記ターンテーブルを回転させながら前記較正物体の１組の画像をそれぞれが取得する複数のカメラと、
前記画像の各組内で較正パターンの頂点の位置を特定する手段と、
前記頂点から前記各カメラの内部パラメータを求める手段と、
前記各カメラの前記内部パラメータからそれらの各カメラの位置に対する前記ターンテーブルの回転軸の向きを推定する手段と、
前記較正パターンのグローバルジオメトリに対する各向きの依存性を最小化する手段と、
１つのカメラを固定カメラとして選択して、その他のすべてのカメラを浮動カメラとして指定する手段と、
前記固定カメラと前記各浮動カメラとの間の並進ベクトルを求める手段と、
前記並進ベクトルに従って共通の座標系内に前記カメラを配置する手段と
を備えるシステム。