JP2005322128A - ステレオ３次元計測用キャリブレーション方法及び３次元位置算出方法 - Google Patents

Abstract

【課題】
ステレオ３次元計測において、ステレオカメラを利用して対象物体の３次元位置を計測するために必要なステレオカメラのキャリブレーションを簡単に行うことができるステレオ３次元計測用キャリブレーション方法を提供する。
【解決手段】
平行する第１のキャリブレーション平面と第２のキャリブレーション平面との間のキャリブレーション平面間距離を求め、前記第１のキャリブレーション平面に対するステレオカメラ間の第１の射影変換行列と前記第２のキャリブレーション平面に対するステレオカメラ間の第２の射影変換行列を求め、所定の基準キャリブレーション平面に固定されたワールド座標系における基準カメラの光学中心の３次元位置を求め、基準画像平面から前記基準キャリブレーション平面への第３の射影変換行列を求めるステップとを有する。
【選択図】 図１

Description

本発明は、ステレオカメラによる３次元計測（以下、ステレオ３次元計測又はステレオ計測とも呼ばれる）技術に関し、特に、ステレオ３次元計測をするためのステレオカメラのキャリブレーション方法及びそのキャリブレーション方法の結果を用いた対象物体の３次元位置算出方法に関する。

ステレオ３次元計測分野では、ステレオカメラを用いて、対象物体を計測し、対象物体の３次元位置（３次元座標）を求めるためには、一般に事前に、ステレオカメラのキャリブレーションを行う必要がある。

つまり、従来、ステレオ３次元計測において、カメラの焦点距離などのカメラの固有の特性を表すカメラの内部パラメータとカメラ間の位置関係を表すカメラの外部パラメータ、又は各カメラの透視投影行列が既知でなければ、対象物体の３次元位置を求めることができなかった。

しかし、上記のカメラの内部パラメータ・外部パラメータ、又は各カメラの透視投影行列といった情報を事前に正確に得るためには、非常に手間のかかるステレオカメラのキャリブレーション（以下、強キャリブレーションとも称する）が必要で、通常は工場出荷時に行われる。よく知られていた強キャリブレーション方法に、例えば、非特許文献１に開示されている、内部パラメータ・外部パラメータを直接に求めるTsaiの方法や、非特許文献２に開示されている、透視投影行列を求めた後に、内部パラメータ・外部パラメータに分解する方法などがある。

そのため、実際にステレオカメラを設置するステレオ３次元計測現場において、現場状況に合わせてカメラの焦点距離やフォーカス等の設定を変更する必要が生じても、このような設定の変更に伴って、もう一度ステレオカメラの強キャリブレーションを現場で行うことは困難である。

一方、ステレオ３次元計測分野において、もう１種類のステレオカメラのキャリブレーション方法として、例えば、非特許文献３に開示されているような３次元シーンの相対的な位置関係のみを計測可能とするステレオカメラのキャリブレーション方法（以下、弱キャリブレーション方法とも呼ばれる）が知られている。また、弱キャリブレーション方法の他の例として、例えば、非特許文献４と非特許文献５に開示されているような「２平面の射影変換行列を利用したキャリブレーション方法」がある。

このような弱キャリブレーション方法によれば、ステレオカメラのキャリブレーションを容易に行うことができるが、キャリブレーションの結果から得られる情報は、キャリブレーション平面に対する前後関係のみであり、対象物体の３次元位置情報（３次元座標）を得ることはできなかったといった問題がある。
アール．ワイ．ツァイ（R.Y.Tsai）著、「ア バーサトル カメラ キャリブレーション テクニック フォア ハイ−アキュラシ スリーデー マシン ビジョン ミトロジー ユージング オフ−ザ シェルフ ティーブイ カメラ アンド レンズ（A versatile camera calibration technique for high−accuracy ３D machine vision metrology using off−the shelf TV cameras and lenses）」、アイ・トリプル・イー ジャーナル オブ ロボテックス アンド オートメーション，アールエイ−３，ナンバー４（IEEE Journal of Robotics and Automation，RA−3,No.4）、p.323-344、1987年8月 オー．フォウゲラス（O.Faugeras）著、「スリー ディメンションナル コンピュータ ビジョン（Three dimensional computer vision）」、ザ エムアイティ プレス（The MIT Press）、1993年 ゼット．チャン（Z.Zhang），アール．デリシェ（R.Deriche），オー．フォウゲラス（O.Faugeras），キュー．ティー．ルオン（Q.T.Luong）共著、「ローバスト テクニック フォア マッチング ツー アンキャリブレーティッド イメージ スルー ザ リカバリー オブ ザ アンノウン エピポーラ ジオメトリー（A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry）、アイ・エヌ・アール・アイ・エイ テクニカル レポート，ナンバー２２７３（INRIA technical report,No.2273）、1994年5月 蚊野浩・金出武雄,「任意カメラ配置におけるステレオ視とステレオカメラ校正」,電子情報通信学会論文誌,1996年,第J79-D-II巻,第11号,p.1810-1818 蚊野浩・美濃導彦・安田昌司・大隅正人,「２平面を用いたステレオカメラの弱校正に関する幾何学的な性質」,電子情報通信学会論文誌,1999年,第J82-D-II巻,第3号,p.561-565

要するに、従来の強キャリブレーション方法では、３次元位置が既知の多数の参照点とそのカメラ座標の対応からカメラの内部パラメータと外部パラメータを求めるようにしており、精密な校正用パターンや正確な位置決め機構が必要であり、強キャリブレーション方法を用いて、ステレオカメラを強校正することが大変困難であるという問題があった。

また、従来の弱キャリブレーション方法で弱校正されたステレオカメラで計測される距離情報は、キャリブレーションに用いる２平面（つまり、キャリブレーション平面）からの相対的な距離であるため、対象物体の３次元位置情報（３次元座標）を得ることができないという問題があった。

本発明は、上述のような事情よりなされたものであり、本発明の目的は、ステレオ３次元計測において、ステレオカメラを利用して対象物体の３次元位置を計測するために必要なステレオカメラのキャリブレーションを簡単に行うことができるステレオ３次元計測用キャリブレーション方法、及びそのキャリブレーション方法の結果を利用して対象物体の３次元位置を算出することができる３次元位置算出方法を提供することにある。

本発明は、ステレオ３次元計測用キャリブレーション方法に関し、本発明の上記目的は、ステレオ３次元計測、即ち、ステレオカメラを利用した３次元計測を行うためのキャリブレーション方法であって、平行する第１のキャリブレーション平面と第２のキャリブレーション平面との間のキャリブレーション平面間距離を求め、前記第１のキャリブレーション平面に対するステレオカメラ間の第１の射影変換行列と前記第２のキャリブレーション平面に対するステレオカメラ間の第２の射影変換行列を求め、所定の基準キャリブレーション平面に固定されたワールド座標系における基準カメラの光学中心の３次元位置を求め、基準画像平面から前記基準キャリブレーション平面への第３の射影変換行列を求めるステップとを有することにより、或いは、前記基準キャリブレーション平面は、前記第１のキャリブレーション平面又は前記第２のキャリブレーション平面の何れかであることにより、或いは、前記第１の射影変換行列を求めるために必要な情報は、ステレオカメラから観察した３次元空間中の前記第１のキャリブレーション平面に存在する４点以上のステレオ画像間の対応点であり、また、前記第２の射影変換行列を求めるために必要な情報は、ステレオカメラから観察した３次元空間中の前記第２のキャリブレーション平面に存在する４点以上のステレオ画像間の対応点であることにより、或いは、第３の射影変換行列を求めるために必要な情報は、前記基準キャリブレーション平面上の４点以上のサンプル点のワールド座標値であることによって効果的に達成される。

また、本発明は３次元位置算出方法に関し、本発明の上記目的は、本発明のステレオ３次元計測用キャリブレーション方法を用いて得られた、前記キャリブレーション平面間距離と、前記基準カメラの光学中心の３次元位置と、前記第１の射影変換行列と、前記第２の射影変換行列と、前記第３の射影変換行列とに基づいて、対象物体のワールド座標（Ｘ_ｗ,Ｙ_ｗ,Ｚ_ｗ）を導出することにより、或いは、２平面射影変換行列を利用したステレオ３次元計測から、キャリブレーション平面に垂直な方向成分である前記ワールド座標成分Ｚ_ｗを導出するステップと、前記第３の射影変換行列と前記ワールド座標成分Ｚ_ｗとに基づいて、前記ワールド座標成分Ｘ_ｗ,Ｙ_ｗを求めるステップとを有することによって効果的に達成される。

本発明に係るステレオ３次元計測用キャリブレーション方法を用いれば、ステレオ３次元計測において、ステレオカメラのキャリブレーションを簡単に行うことができるといった優れた効果を奏する。

また、本発明に係るステレオ３次元計測用キャリブレーション方法で決められた４つのパラメータは、ステレオカメラの内部パラメータ・外部パラメータと直接関係ないパラメータであるために、実際にステレオカメラを設置するステレオ３次元計測現場において、ステレオカメラの焦点距離やフォーカス等の内部パラメータ・外部パラメータを計測現場状況に合わせて調整した上で、３次元計測を高精度に行うことができるといった優れた効果を奏する。

つまり、本発明のキャリブレーション方法でキャリブレーションを行ったステレオカメラを用いれば、様々な３次元計測現場で、その計測現場状況に合わせてステレオカメラの内部パラメータ・外部パラメータを調整しても、３次元位置計測に必要なキャリブレーションを現場で容易に行うことができ、大変実用的な３次元計測を実現できるといった顕著な効果を奏する。

更に、本発明に係る３次元位置算出方法では、本発明のキャリブレーション方法で決められたパラメータを利用して、対象物体の３次元位置を簡単に算出することができるといった優れた効果を奏する。

以下、本発明を実施するための最良の形態を図面を参照して説明する。なお、本発明を実際の３次元計測分野の一つである交通流計測（車両検出、トラッキング）に適用した実施例について以下のように説明するが、本発明はそれに限定されることはなく、様々な３次元計測分野で本発明を適用することが可能であることは、言うまでも無い。

＜１＞本発明に係るステレオ３次元計測用キャリブレーション方法
本発明に係るステレオ３次元計測用キャリブレーション方法（以下、単に本発明のキャリブレーション方法とも称する）は、ステレオ３次元計測において、ステレオカメラを利用して対象物体の３次元位置を計測するために、必要なステレオカメラのキャリブレーションを簡単に行うことができるキャリブレーション方法である。また、後述するように、本発明に係る３次元位置算出方法は、本発明のキャリブレーション方法の結果を用いて、対象物体の３次元位置を算出することができる方法である。

つまり、ステレオ３次元計測用キャリブレーション方法と３次元位置算出方法とから構成される本発明とは、対象物体の３次元座標を簡単に計測できる、且つ、強キャリブレーションを必要としない（つまり、ステレオカメラの内部パラメータ・外部パラメータが不要）３次元計測方法である。

本発明のキャリブレーション方法で求めておくものは、図１に示されている次の４つのパラメータである。なお、図１において、基準カメラと参照カメラは、ステレオ３次元計測用のステレオカメラを構成し、ステレオカメラから観察した、３次元空間に存在する互いに平行する平面Π_０と平面Π_１をキャリブレーション平面とする。
（１）キャリブレーション平面Π_０とキャリブレーション平面Π_１との間の距離Ｄ
（２）キャリブレーション平面Π_０に対するステレオカメラ間の射影変換行列Ｈ_０と、キャリブレーション平面Π_１に対するステレオカメラ間の射影変換行列Ｈ_１
（３）基準キャリブレーション平面に固定されたワールド座標系（Ｘ,Ｙ,Ｚ）における基準カメラの光学中心の３次元位置（Ｘ_ｃ,Ｙ_ｃ,Ｚ_ｃ）
なお、図１において、キャリブレーション平面Π_１を基準キャリブレーション平面としているが、本発明ではそれに限定されることがなく、キャリブレーション平面Π_０を基準キャリブレーション平面とすることが勿論可能である。また、本発明でいう基準キャリブレーション平面とは、ワールド座標系（Ｘ,Ｙ,Ｚ）を固定したキャリブレーション平面を意味する。
（４）基準画像平面から基準キャリブレーション平面（図１では、キャリブレーション平面Π_１）への射影変換行列Ｈ_ＩＣ
本発明のキャリブレーション方法に必要な情報は、上記４つのパラメータのみであり、従来の強キャリブレーション方法に必要なステレオ３次元計測に用いるステレオカメラの内部パラメータ・外部パラメータについては、一切知る必要が無い。

以下、本発明のキャリブレーション方法に必要な上記４つのパラメータの求め方を詳細に説明する。

＜１−１＞平行する２つのキャリブレーション平面間距離
まず、ステレオカメラから観察した３次元空間に存在し、且つ、平行する２つのキャリブレーション平面を設定して、そして、設定されたキャリブレーション平面間距離を計測する。

具体的には、まず、キャリブレーションに利用する２つの平面（キャリブレーション平面とも呼ばれる）は、平行すると仮定する。図２（Ａ）に示されるように、互いに平行するキャリブレーション平面Π_０とキャリブレーション平面Π_１を設定し、設定されたキャリブレーション平面Π_０,Π_１間の距離Ｄを実際に計測する。

なお、図２（Ａ）に示されるように、このキャリブレーション平面Π_０,Π_１間の距離をＤとすることは、図２（Ｂ）に示されるように、ステレオカメラペアを平面への光軸の向きを変化させずに距離Ｄ移動させていることと等価なことである。つまり、図２（Ｂ）において、平面Πに近い位置にあるステレオカメラペアから観察した平面Πをキャリブレーション平面Π_０とする場合に、そのステレオカメラペアを垂直方向に上に距離Ｄ移動させれば、その際にステレオカメラペアから観察した平面Πをキャリブレーション平面Π_１とすることができる。

＜１−２＞キャリブレーション平面に対するステレオカメラ間の射影変換行列
キャリブレーション平面に対するステレオカメラ間の射影変換行列を得るために必要な情報とは、ステレオカメラから観察した３次元空間中のキャリブレーション平面に存在する点を４点以上に決定し、決定された点のステレオ画像間（つまり、基準カメラが撮影した基準画像と参照カメラが撮影した参照カメラとの間）の対応関係である。

具体的には、例えば、図２（Ａ）に示されたようなキャリブレーション平面Π_０,Π_１が存在した場合に、そのキャリブレーション平面Π_０,Π_１を介したステレオ画像間（つまり、ステレオカメラ間）の射影変換行列Ｈ_０,Ｈ_１を求める。

図３は、ステレオ画像間の対応点の例で実際の場面に適用している図である。図３において、道路面をキャリブレーション平面と仮定しており、対応点１,２,３,４は選択されている。なお、図３（Ａ）は基準カメラが撮影した基準画像で、図３（Ｂ）は参照カメラが撮影した参照画像である。

図３（Ａ）及び図３（Ｂ）に示された対応点１,２,３,４の関係から、下記数１における射影変換行列Ｈを求める。ここで、

は基準画像の画像座標の斉次座標表示で、

は参照画像の画像座標の斉次座標表示である。また、数１を展開すると、数２になる。

ここで、射影変換行列Ｈは３×３の行列である。この射影変換行列Ｈは、定数倍の不定性を含むため、実際には未知数は８個存在する。

上記数２を変形すると、下記数３となり、一つの対応点の組から２個の式を立てることができる。

そこで、未知数が８個なので、図３に示されるような対応点の組を４点以上求めると、下記数４のようになり、

上記数４を下記数５の形に置き換えることができ、Ａの最小固有値に対応する固有ベクトルをｈとすることで、射影変換行列Ｈを求めることができる（つまり、最小２乗法を適用している事と等価）。

上述した射影変換行列Ｈの求め方を用いて、図２（Ａ）に示されるような平行する２つのキャリブレーション平面Π_０,Π_１に対するステレオカメラ間の射影変換行列Ｈ_０,Ｈ_１をそれぞれ導出する。

＜１−３＞基準キャリブレーション平面に固定されたワールド座標系における基準カメラの光学中心の３次元位置
図４はステレオカメラを真横から見た図である。図４において、下側のカメラを基準カメラ、上側のカメラを参照カメラとしているが、実際にはどちらを基準カメラとしても良い。また、図４において、下側に位置するキャリブレーション平面Π_１を基準キャリブレーション平面と呼ぶこととするが、それに限定されることがなく、例えば、上側に位置するキャリブレーション平面Π_０を基準キャリブレーション平面と呼ぶこともできる。

ここで、説明を簡便にするために、図４において、ワールド座標原点を基準カメラの光学中心から基準キャリブレーション平面へ降ろした垂線の足と置くこととしているが、ワールド座標原点の位置はそこに限定されることがなく、基準キャリブレーション平面上の任意の位置にワールド座標原点を置くことが可能であり、また、ワールド座標系のＺ軸をワールド座標原点から基準カメラの光学中心への方向へ取ることとし、更に、ワールド座標系のＸ軸とＹ軸は、基準キャリブレーション平面上にはる直交座標と定義する。

図４に示されたような前提条件の下で、基準キャリブレーション平面に固定されたワールド座標系における基準カメラの光学中心の３次元位置（３次元座標）を下記のように求める。

ここで、図４に示されたようなワールド座標系の置き方から、基準カメラの光学中心は、（０,０,Ｄ_１）のように置くことができる。従って、図４に示されるように、基準カメラの光学中心から基準キャリブレーション平面までの距離Ｄ_１のみを実際に計測すれば、ワールド座標系における基準カメラの光学中心の３次元座標が求まる訳である。つまり、ワールド座標系（Ｘ,Ｙ,Ｚ）における基準カメラの光学中心の３次元座標（Ｘ_ｃ,Ｙ_ｃ,Ｚ_ｃ）は（０,０,Ｄ_１）である。

また、図４に示されるように、基準カメラの光学中心とキャリブレーション平面Π_０との間の距離Ｄ_０は、キャリブレーション平面Π_０と基準キャリブレーション平面（ここでは、キャリブレーション平面Π_１）との間の距離Ｄが既知であるので、下記数６と表すことができる。

＜１−４＞基準画像平面から基準キャリブレーション平面への射影変換行列Ｈ_ＩＣ
基準画像平面から基準キャリブレーション平面への射影変換行列Ｈ_ＩＣを導出するのに必要な情報とは、基準キャリブレーション平面上の４点以上のサンプル点のワールド座標値である。

基準画像平面から基準キャリブレーション平面への射影変換行列Ｈ_ＩＣを導出するために、次の前提条件を仮定する。

まず、図４に示されるように、２つのキャリブレーション平面のうち、下側に位置するキャリブレーション平面Π_１を基準キャリブレーション平面とし、また、基準カメラの光学中心から基準キャリブレーション平面へ降ろした垂線の足をワールド座標の原点とし、更に、ワールド座標原点から基準カメラの光学中心への方向（つまり、基準キャリブレーション平面に垂直する方向）をワールド座標系のＺ軸とし、基準カメラの光軸を基準キャリブレーション平面へ正射影した方向をワールド座標系のＹ軸とする。また、図５（Ａ）に示されるように、ワールド座標系のＸ軸をワールド座標系のＹ軸,Ｚ軸に垂直するように取ると定義する。

また、図５において、点Ｍ_ｃｐ（Ｘ_ｃｐ,Ｙ_ｃｐ,０）とは、基準キャリブレーション平面上のサンプル点であり、点ｍ（ｕ,ｖ）とは、基準画像平面における点Ｍ_ｃｐ（Ｘ_ｃｐ,Ｙ_ｃｐ,０）の対応点である。

なお、本発明では、ワールド座標系のＺ軸について、その取り方が上述されたようになっているが、残りのワールド座標系の軸、つまり、ワールド座標系のＸ軸,Ｙ軸について、特にそれらの取り方に制限が無く、ワールド座標系のＸ軸とＹ軸は、基準キャリブレーション平面上にはる直交座標であれば良い訳である。

上述した前提条件の下で、基準画像平面から基準キャリブレーション平面への射影変換行列Ｈ_ＩＣを次のように導出する。

先ず、図６に示されるように、基準キャリブレーション平面上（図中では道路面上）のサンプル点のワールド座標を４点以上求める。図６（Ａ）において、選択されたサンプル点（つまり、図中の点１,点２,点３,点４,点５,点６,点７及び点８）のワールド座標は、図６（Ｂ）に示された表の通りである。

なお、図６（Ｂ）に示された表において、光学中心とは基準カメラの光学中心で、パラメータＸ_ｃｐ,Ｙ_ｃｐは、図５に示されたような基準キャリブレーション平面上のサンプル点Ｍ_ｃｐのワールド座標（Ｘ_ｃｐ,Ｙ_ｃｐ,０）のＸ_ｃｐ,Ｙ_ｃｐを表し、パラメータｕ,ｖは、図５に示されたような基準画像平面上の点ｍの２次元座標（ｕ,ｖ）のｕ,ｖを表す。

次に、図６に示された基準キャリブレーション平面上の８個のサンプル点から、図５に示されるような基準画像平面から基準キャリブレーション平面への射影変換行列Ｈ_ＩＣを下記数７に基づいて導出する。

ここで、行列Ｈ_ＩＣ（ここの_ＩＣは基準画像平面から基準キャリブレーション平面へを意味し、つまり、ImagePlane to CalibrationPlaneを意味する）は、基準画像平面から基準キャリブレーション平面への射影変換行列である。

＜２＞本発明に係る３次元位置算出方法
本発明に係る３次元位置算出方法とは、上述したような本発明に係るステレオ３次元計測用キャリブレーション方法によって得られた情報（つまり、＜１＞で述べられた４つのパラメータ）に基づいて、ステレオ３次元計測対象である対象物体を表す点の３次元位置（つまり、対象物体を表す点のワールド座標（Ｘ_ｗ,Ｙ_ｗ,Ｚ_ｗ））を導出する方法であって、その手順は次のようになっている。なお、本発明では、説明を簡単にするために、対象物体を表す点を単に対象物体とも称し、また、対象物体を表す点の３次元位置を単に対象物体の３次元位置とも称するようにしている。また、本発明でいう３次元座標は、ワールド座標を意味する。
ステップ１：
まず、２平面射影変換行列を利用したステレオ３次元計測から、対象物体の３次元座標のキャリブレーション平面の法線方向の成分Ｚ_ｗを導出する。
ステップ２：
そして、基準画像平面から基準キャリブレーション平面への射影変換行列Ｈ_ＩＣと、ステップ１で求められた３次元座標のキャリブレーション平面の法線方向の成分Ｚ_ｗとに基づいて、対象物体の３次元座標の残りの２つの成分Ｘ_ｗ,Ｙ_ｗを求める。

本発明の３次元位置算出方法の手順を以下のように更に詳細に説明する。

＜２−１＞ステップ１：対象物体の３次元座標の成分Ｚ_ｗの導出
２平面の射影変換行列を利用したステレオ３次元計測を行うことによって、対象物体のワールド座標のキャリブレーション平面に垂直な方向成分Ｚ_ｗを導出することができる。

一方、２平面の射影変換行列を利用したステレオ３次元計測を行う上で必要な情報とは、平行する２つのキャリブレーション平面Π_０,Π_１に関する射影変換行列Ｈ_０,Ｈ_１と、基準カメラの光学中心からキャリブレーション平面Π_０までの距離Ｄ_０と、基準カメラの光学中心からキャリブレーション平面Π_１までの距離Ｄ_１である。これらの情報は、上述したように、本発明のキャリブレーション方法によって求められる。なお、距離Ｄ_０と距離Ｄ_１について、図４を参照する。

ここで、図７に示されたような２つのキャリブレーション平面に関する射影変換行列を利用したステレオ３次元計測場面を想定する。図７において、平行する２つのキャリブレーション平面Π_０,Π_１に関する射影変換行列Ｈ_０,Ｈ_１が既知の時に、キャリブレーション平面Π_０,Π_１に内挿（又は、外挿）する平面Π_αに関する射影変換行列Ｈ_αは、下記数８のように表すことができる。

ステレオ計測を行うことにより、対象物体の奥行きと同一の位置にある平面Π_αを推定することができ、よって、上記数８から対象物体の奥行き係数αを導出することができる。

次に、図８に示されるように、２つのキャリブレーション平面Π_０,Π_１が平行で、それぞれ基準カメラの光学中心から各キャリブレーション平面へ降ろした垂線の距離Ｄ_０とＤ_１が既知であれば、上記数８で求められた対象物体の奥行き係数αに対応する対象物体の奥行きＤ_αを下記数９に基づいて求めることができる。

よって、下記数１０に基づいて、対象物体のワールド座標の射影平面（つまり、キャリブレーション平面）に垂直な方向成分Ｚ_ｗを求めることが可能になる。

＜２−２＞ステップ２：対象物体の３次元座標の残りの２つの成分Ｘ_ｗ,Ｙ_ｗの導出
対象物体の３次元座標（つまり、ワールド座標）の残りの２つの成分Ｘ_ｗ,Ｙ_ｗの導出には、基準画像平面から基準キャリブレーション平面への射影変換行列Ｈ_ＩＣ、ステップ１で得られた対象物体のワールド座標の成分Ｚ_ｗ、基準カメラの光学中心から基準キャリブレーション平面までの距離Ｄ_１（図９参照）といった情報を用いる。

ここで、図９において、基準画像平面上の点（より詳細に説明すると、基準カメラが撮影した基準画像上の対象物体を表す点）を射影変換行列Ｈ_ＩＣを用いて基準キャリブレーション平面上の点Ｍ_ｃｐ（Ｘ_ｃｐ,Ｙ_ｃｐ,０）へ投影する。本発明では、基準キャリブレーション平面（ここでは、道路面）への写像された点Ｍ_ｃｐ（Ｘ_ｃｐ,Ｙ_ｃｐ,０）から対象物体を表す点Ｍ_ｗのワールド座標成分Ｘ_ｗ,Ｙ_ｗを求める訳である。

図９に示されるように、三角形ＯＣＭ_ｃｐと三角形ＯＣＭ_ｗの相似関係を利用して、下記数１２、数１４に基づいて、未知である対象物体を表す点Ｍ_ｗのワールド座標成分Ｙ_ｗ,Ｘ_ｗを算出することができる。

つまり、下記数１１が成立するので、下記数１２が得られる。また、下記数１３が成立するので、下記数１４が得られる。

上述したように、本発明に係る３次元位置算出方法によれば、対象物体（つまり、対象物体を表す点Ｍ_ｗ）のワールド座標の全ての成分、つまり、（Ｘ_ｗ,Ｙ_ｗ,Ｚ_ｗ）を求めることができる。

本発明のキャリブレーション方法で求められるパラメータを説明するための模式図である。 本発明において、ステレオカメラとキャリブレーション平面を説明するための模式図である。 ステレオ画像間の対応点の例で実際の場面に適用している図である。 ステレオカメラを真横から見た図である。 基準画像平面の座標系からワールド座標系への変換を説明するための模式図である。 基準キャリブレーション平面上のサンプル点の取り方及びワールド座標値の一例を示す図である。 ２つのキャリブレーション平面に関する射影変換行列を利用した３次元計測を説明するための模式図である。 図７に示された３次元計測の場合において、ステレオカメラを真横から見た図である。 対象物体の３次元座標の残りの２つの成分Ｘ_ｗ,Ｙ_ｗの導出を説明するための模式図である。

Claims (6)

1. ステレオ３次元計測、即ち、ステレオカメラを利用した３次元計測を行うためのキャリブレーション方法であって、
   平行する第１のキャリブレーション平面と第２のキャリブレーション平面との間のキャリブレーション平面間距離を求め、前記第１のキャリブレーション平面に対するステレオカメラ間の第１の射影変換行列と前記第２のキャリブレーション平面に対するステレオカメラ間の第２の射影変換行列を求め、所定の基準キャリブレーション平面に固定されたワールド座標系における基準カメラの光学中心の３次元位置を求め、基準画像平面から前記基準キャリブレーション平面への第３の射影変換行列を求めるステップを有することを特徴とするステレオ３次元計測用キャリブレーション方法。
2. 前記基準キャリブレーション平面は、前記第１のキャリブレーション平面又は前記第２のキャリブレーション平面の何れかである請求項１に記載のステレオ３次元計測用キャリブレーション方法。
3. 前記第１の射影変換行列を求めるために必要な情報は、ステレオカメラから観察した３次元空間中の前記第１のキャリブレーション平面に存在する４点以上のステレオ画像間の対応点であり、また、前記第２の射影変換行列を求めるために必要な情報は、ステレオカメラから観察した３次元空間中の前記第２のキャリブレーション平面に存在する４点以上のステレオ画像間の対応点である請求項２に記載のステレオ３次元計測用キャリブレーション方法。
4. 第３の射影変換行列を求めるために必要な情報は、前記基準キャリブレーション平面上の４点以上のサンプル点のワールド座標値である請求項２に記載のステレオ３次元計測用キャリブレーション方法。
5. 請求項１乃至請求項４の何れかに記載のステレオ３次元計測用キャリブレーション方法を用いて得られた、前記キャリブレーション平面間距離と、前記基準カメラの光学中心の３次元位置と、前記第１の射影変換行列と、前記第２の射影変換行列と、前記第３の射影変換行列とに基づいて、対象物体のワールド座標（Ｘ_ｗ,Ｙ_ｗ,Ｚ_ｗ）を導出することを特徴とする３次元位置算出方法。
6. ２平面射影変換行列を利用したステレオ３次元計測から、キャリブレーション平面に垂直な方向成分である前記ワールド座標成分Ｚ_ｗを導出するステップと、
   前記第３の射影変換行列と前記ワールド座標成分Ｚ_ｗとに基づいて、前記ワールド座標成分Ｘ_ｗ,Ｙ_ｗを求めるステップと、
   を有する請求項５に記載の３次元位置算出方法。

Images