JP2016017913A - 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム - Google Patents
姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム Download PDFInfo
- Publication number
- JP2016017913A JP2016017913A JP2014142474A JP2014142474A JP2016017913A JP 2016017913 A JP2016017913 A JP 2016017913A JP 2014142474 A JP2014142474 A JP 2014142474A JP 2014142474 A JP2014142474 A JP 2014142474A JP 2016017913 A JP2016017913 A JP 2016017913A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- coordinate system
- posture information
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】設置場所の影響を低減可能であって、より正確に2つのカメラの相対姿勢情報を算出可能な手段を提供する。
【解決手段】相対姿勢情報作成システムは、第1のカメラ12と、撮影範囲が第1のカメラの撮影範囲と重ならないように配置される第2のカメラ14と、第1及び第2のカメラの相対的な姿勢情報を算出する相対姿勢情報作成装置22と、光源20が取り付けられた第1の姿勢情報作成用部材16と、を備える。相対姿勢情報作成装置22は、第2のカメラの撮影範囲に光源20からの光線の光スポットが生じるように第1のカメラ12の撮影範囲に配置された第1の姿勢情報作成用部材16を第1のカメラ12が撮影した画像と、第2のカメラ14で撮影された光スポットの像を含む画像とを、光源の位置情報及び前記光スポットの位置情報とによって関連づけることによって、第1及び第2のカメラの相対姿勢情報を算出する。
【選択図】図1
【解決手段】相対姿勢情報作成システムは、第1のカメラ12と、撮影範囲が第1のカメラの撮影範囲と重ならないように配置される第2のカメラ14と、第1及び第2のカメラの相対的な姿勢情報を算出する相対姿勢情報作成装置22と、光源20が取り付けられた第1の姿勢情報作成用部材16と、を備える。相対姿勢情報作成装置22は、第2のカメラの撮影範囲に光源20からの光線の光スポットが生じるように第1のカメラ12の撮影範囲に配置された第1の姿勢情報作成用部材16を第1のカメラ12が撮影した画像と、第2のカメラ14で撮影された光スポットの像を含む画像とを、光源の位置情報及び前記光スポットの位置情報とによって関連づけることによって、第1及び第2のカメラの相対姿勢情報を算出する。
【選択図】図1
Description
本発明は、撮影範囲が重複しない2つのカメラの姿勢情報を作成するための姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラムに関する。
撮影範囲が重複しない2つのカメラの画像を関連付けて使用するシステムでは、各カメラからの画像を関連付けるために、2つのカメラの相対姿勢情報を算出しておく必要がある。通常、2つのカメラの相対姿勢情報を算出する場合には、2つのカメラの撮影範囲の重複した部分を参照することによって行っている。しかしながら、上述したように、2つのカメラが、撮影範囲が重複しないように配置される場合には、従来の手法は使用できない。そこで、非特許文献1では、撮影範囲の異なるように配置された2つのカメラで同じシーンを撮影するためにミラーを利用した技術が開示されている。
Amit Agrawal, "Extrinsic Camera Calibration Without A Direct View UsingSpherical Mirror," IEEE, DOI 10.1109/ICCV.2013.294, pp2368-2375
非特許文献1記載の技術では、撮影範囲の異なるように配置された2つのカメラで同じシーンを撮影するためにミラーを配置しなければならない。この場合、例えば、車内状況、具体的には、運転手の状況を撮影するために車内に取り付けられるカメラと、車外状況を撮影するために、車外に取り付けられたカメラの相対姿勢情報を算出しようとした際、車体のフレームなどの関係でミラーが配置できない場合がある。また、一方のカメラはミラーによる虚像を撮影し、他方のカメラは実像を撮影しているので、2つのカメラの画像の重複部分を参照して上記相対姿勢情報を算出しても誤差が大きくなると考えられる。
そこで、本発明は、設置場所の影響を低減可能であって、より正確に2つのカメラの相対姿勢情報を算出可能な手段を提供することを目的とする。
本発明の一側面に係る相対姿勢情報作成システムは、第1のカメラと、撮影範囲が第1のカメラの撮影範囲と重ならないように配置される第2のカメラと、第1及び第2のカメラの相対的な姿勢情報を算出する相対姿勢情報作成装置と、光源が取り付けられた第1の姿勢情報作成用部材と、を備え、相対姿勢情報作成装置は、第1の姿勢情報作成用部材が、第2のカメラの撮影範囲に光源からの光線の光スポットが生じるように第1のカメラの撮影範囲に配置されている状態において、第1のカメラで撮影された第1の姿勢情報作成用部材を含む画像と、第2のカメラで撮影された光スポットの像を含む画像とを、光源の位置情報及び光スポットの位置情報によって関連づけることによって、第1及び第2のカメラの相対姿勢情報を作成する。
本発明の他の側面に係る相対姿勢情報作成方法は、撮影範囲が重ならないように配置される第1及び第2のカメラの相対姿勢情報を算出する相対姿勢情報作成方法であって、撮影範囲が重ならないように配置された第1及び第2のカメラによる画像取得工程であって、第1のカメラは、光源が取り付けられており第2のカメラの撮影範囲に光源からの光線の光スポットが生じるように配置された第1の姿勢情報作成用部材の像を含む画像を取得し、第2のカメラは光スポットの像を含む画像を取得する相対姿勢用画像取得工程と、第1のカメラで得られた第1の姿勢情報作成用部材の像を含む画像と、第2のカメラで得られた光スポットの像を含む画像とを、光源の位置情報及び光スポットの位置情報によって関連づけることによって、第1及び第2のカメラの相対姿勢情報を作成する相対姿勢情報作成工程と、を備える。
本発明の更に他の側面に係る相対姿勢作成プログラムは、撮影範囲が重ならないように配置された第1及び第2のカメラの相対姿勢情報を算出するための相対姿勢情報作成プログラムであって、コンピュータに、撮影範囲が重ならないように配置された第1及び第2のカメラのうち第1のカメラで取得された画像であって、光源が取り付けられており第2のカメラの撮影範囲に光源からの光線の光スポットが生じるように配置された第1の姿勢情報作成用部材の像を含む画像と、第2のカメラで撮影された光スポットの像を含む画像とを、光源の位置情報及び光スポットの位置情報によって関連づけることによって、第1及び第2のカメラの相対姿勢情報を作成する相対姿勢情報作成工程を、実行せしめる。
上記相対姿勢情報作成装置、相対姿勢情報作成方法及び相対姿勢情報作成プログラムでは、第1及び第2のカメラの撮影範囲が重なっていなくても、光源と光スポットの位置情報で、第1及び第2のカメラの画像を関連付けることができる。この場合、光源及び光スポットがそれぞれ第1及び第2のカメラの撮影範囲内にあればよく、光源の位置を固定できれば、光スポットの位置も固定されるので、光源及び光スポットの関係もより安定する。その結果、設置場所の影響を低減可能であって、より正確に2つのカメラの相対姿勢情報を算出可能である。
上記相対姿勢情報作成装置、相対姿勢情報作成方法及び相対姿勢情報作成プログラムにおいて、レーザ光を出力するレーザ光源であってもよい。
レーザ光は、指向性を有するので、光源と光スポットの位置情報で、第1及び第2のカメラの画像をより容易に関連付けることが可能である。
以下の種々の形態の説明では、第1のカメラに対して設定される3次元座標系を第1の座標系とし、第2のカメラに対して設定される3次元座標系を第2の座標系とし、第1の姿勢情報作成用部材に対して設定される3次元座標系を第3の座標系とする。第1及び第2のカメラの相対姿勢情報を、第2の座標系を第1の座標系に変換する第1の回転行列R及び第1の並進ベクトルTとし、第1の姿勢情報作成用部材と第1のカメラとの相対姿勢情報を、第3の座標系を第1の座標系に変換する第2の回転行列R1及び第2の並進ベクトルT1とする。
一実施形態に係る相対姿勢情報作成システムは、第2のカメラの撮影範囲内に配置される第2の姿勢情報作成用部材を更に備え、第1及び第2の姿勢情報作成用部材のそれぞれは、第1及び第2の姿勢情報作成用パターンを有しており、第2の姿勢情報作成用部材に対して設定される3次元座標系を第4の座標系とし、第2の姿勢情報作成用部材と第2のカメラとの相対姿勢情報を、第4の座標系を前記第2の座標系に変換する第3の回転行列R2及び第3の並進ベクトルT2としたとき、相対姿勢情報作成装置は、第1の座標系において、光源から出力される光線の方向ベクトルn1の方向と、光源の位置である点Pから光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、ベクトルPQ1と方向ベクトルn1との内積が1であり、第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、第1の回転行列R及び第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、第1の誤差関数の非線形解であるRENL及びTENLを第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定部を有し、ベクトルPQ1は、第1の座標系における点Pの位置ベクトルP1と、第2の座標系における点Qの位置ベクトルQ2と、第1の回転行列Rと、第1の並進ベクトルTとによって表され、方向ベクトルn1は、第3の座標系における光線の方向ベクトルn3と、第2の回転行列R1とによって算出され、位置ベクトルP1は、第1のカメラで撮影された画像内の光源の像に基づいて算出される第3の座標系における点Pの位置ベクトルP3と、第2の回転行列R1と、第2の並進ベクトルT1とによって算出され、位置ベクトルQ2は、第2のカメラで撮影された画像内の光スポットの像に基づいて算出される第4の座標系における点Qの位置ベクトルQ4と、第3の回転行列R2及び第3の並進ベクトルT2とによって算出され、第2の回転行列R1及び第2の並進ベクトルT1は、第1のカメラで撮影された画像内の第1の姿勢情報作成用パターンの像に基づいて算出され、第3の回転行列R2及び第3の並進ベクトルT2は、第2のカメラで撮影された画像内の第2の姿勢情報作成用パターンの像に基づいて算出されてもよい。
同様に、一実施形態に係る相対姿勢情報作成方法の相対姿勢用画像取得工程では、第2のカメラは、第2のカメラの撮影範囲内に配置され光スポットが生じている第2の姿勢情報作成用部材の像を含む画像を取得し、第1及び第2の姿勢情報作成用部材のそれぞれは、第1及び第2の姿勢情報作成用パターンを有しており、第2の姿勢情報作成用部材に対して設定される3次元座標系を第4の座標系とし、第2の姿勢情報作成用部材と第2のカメラとの相対姿勢情報を、第4の座標系を第2の座標系に変換する第3の回転行列R2及び第3の並進ベクトルT2としたとき、相対姿勢情報作成工程は、第1の座標系において、光源から出力される光線の方向ベクトルn1の方向と、光源の位置である点Pから光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、ベクトルPQ1と方向ベクトルn1との内積が1であり、第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、第1の回転行列R及び第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、第1の誤差関数の非線形解であるRENL及びTENLを第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程を有し、ベクトルPQ1は、第1の座標系における点Pの位置ベクトルP1と、第2の座標系におけるQの位置ベクトルQ2と、第1の回転行列Rと、第1の並進ベクトルTとによって表され、方向ベクトルn1は、第3の座標系における光線の方向ベクトルn3と、第2の回転行列R1とによって算出され、位置ベクトルP1は、第1のカメラで撮影された画像内の光源の像に基づいて算出される第3の座標系における点Pの位置ベクトルP3と、第2の回転行列R1と、第2の並進ベクトルT1とによって算出され、位置ベクトルQ2は、第2のカメラで撮影された画像内の光スポットの像に基づいて算出される第4の座標系における点Qの位置ベクトルQ4と、第3の回転行列R2及び第3の並進ベクトルT2によって算出され、第2の回転行列R1及び第2の並進ベクトルT1は、第1のカメラで撮影された画像内の第1の姿勢情報作成用パターンの像に基づいて算出され、第3の回転行列R2及び第3の並進ベクトルT2は、第2のカメラで撮影された画像内の第2の姿勢情報作成用パターンの像に基づいて算出されてもよい。
同様に、一実施形態に係る相対姿勢情報作成プログラムにおいて、第2のカメラが撮影した光スポットを含む画像は、第2の姿勢情報作成用部材の像を含む画像であり、第1及び第2の姿勢情報作成用部材のそれぞれは、第1及び第2の姿勢情報作成用パターンを有しており、第2の姿勢情報作成用部材に対して設定される3次元座標系を第4の座標系とし、第2の姿勢情報作成用部材と第2のカメラとの相対姿勢情報を、第4の座標系を第2の座標系に変換する第3の回転行列R2及び第3の並進ベクトルT2としたとき、相対姿勢情報作成工程は、第1の座標系において、光源から出力される光線の方向ベクトルn1の方向と、光源の位置である点Pから光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、ベクトルPQ1と方向ベクトルn1との内積が1であり、第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、第1の回転行列R及び第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、第1の誤差関数の非線形解であるRENL及びTENLを第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程を有し、ベクトルPQ1は、第1の座標系における点Pの位置ベクトルP1と、第2の座標系における点Qの位置ベクトルQ2と、第1の回転行列Rと、第1の並進ベクトルTとによって表され、方向ベクトルn1は、第3の座標系における光線の方向ベクトルn3と、第2の回転行列R1とによって算出され、位置ベクトルP1は、第1のカメラで撮影された画像内の光源の像に基づいて算出される第3の座標系における点Pの位置ベクトルP3と、第2の回転行列R1と、第2の並進ベクトルT1とによって算出され、位置ベクトルQ2は、第2のカメラで撮影された画像内の光スポットの像に基づいて算出される第4の座標系における点Qの位置ベクトルQ4と、第3の回転行列R2及び第3の並進ベクトルT2とによって算出され、第2の回転行列R1及び第2の並進ベクトルT1は、第1のカメラで撮影された画像内の第1の姿勢情報作成用パターンの像に基づいて算出され、第3の回転行列R2及び第3の並進ベクトルT2は、第2のカメラで撮影された画像内の第2の姿勢情報作成用パターンの像に基づいて算出されてもよい。
この場合、共線制約の元で、R及びTを算出できる。その結果、より正確にR及びTを算出可能である。
一実施形態に係る相対姿勢情報作成システムでは、第2のカメラは、撮影対象の2次元画像を取得する2次元カメラ部と、撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、を有しており、第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、相対姿勢情報作成装置は、第1の座標系において、光源から出力される光線の方向ベクトルn1の方向と、光源の位置である点Pから光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、ベクトルPQ1と方向ベクトルn1との内積が1であり、第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、第1の回転行列R及び第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、第1の誤差関数の非線形解であるRENL及びTENLを第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定部を有し、ベクトルPQ1は、第1の座標系における点Pの位置ベクトルP1と、第2の座標系における点Qの位置ベクトルQ2と、第1の回転行列Rと、第1の並進ベクトルTとによって表され、方向ベクトルn1は、第3の座標系における光線の方向ベクトルn3と、第2の回転行列R1とによって算出され、位置ベクトルP1は、第1のカメラで撮影された画像内の光源の像に基づいて算出される第3の座標系における点Pの位置ベクトルP3と、第2の回転行列R1と、第2の並進ベクトルT1とによって算出され、位置ベクトルQ2は、2次元カメラ部で撮影された画像と距離画像取得部で取得された距離画像とに含まれる光スポットの像とに基づいて算出され、第2の回転行列R1及び第2の並進ベクトルT1は、第1のカメラで撮影された画像内の第1の姿勢情報作成用パターンの像から算出されてもよい。
一実施形態に係る相対姿勢情報作成方法では、第2のカメラは、撮影対象の2次元画像を取得する2次元カメラ部と、撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、を有しており、第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、相対姿勢情報作成工程は、第1の座標系において、光源から出力される光線の方向ベクトルn1の方向と、光源の位置である点Pから光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、ベクトルPQ1と方向ベクトルn1との内積が1であり、第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、第1の回転行列R及び第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、第1の誤差関数の非線形解であるRENL及びTENLを第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程と、を有し、ベクトルPQ1は、第1の座標系において点Pの位置を示す位置ベクトルP1と、第2の座標系における点Qの位置ベクトルQ2と、第1の回転行列Rと、第1の並進ベクトルTとによって表され、方向ベクトルn1は、第3の座標系における光線の方向ベクトルn3と、第2の回転行列R1とによって算出され、位置ベクトルP1は、第1のカメラで撮影された画像内の光源の像に基づいて算出される第3の座標系における点Pの位置ベクトルP3と、第2の回転行列R1と、第2の並進ベクトルT1とによって算出され、位置ベクトルQ2は、2次元カメラ部で撮影された画像と距離画像取得部で取得された距離画像とに含まれる光スポットの像とに基づいて算出され、第2の回転行列R1及び第2の並進ベクトルT1は、第2の回転行列R1及び第2の並進ベクトルT1は、第1のカメラで撮影された画像内の第1の姿勢情報作成用パターンの像から算出されてもよい。
一実施形態における相対姿勢情報作成プログラムでは、第2のカメラは、撮影対象の2次元画像を取得する2次元カメラ部と、撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、を有しており、第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、相対姿勢情報作成工程は、第1の座標系において、光源から出力される光線の方向ベクトルn1の方向と、光源の位置である点Pから光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、ベクトルPQ1と方向ベクトルn1との内積が1であり、第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、第1の回転行列R及び第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、第1の誤差関数の非線形解であるRENL及びTENLを第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程を有し、ベクトルPQ1は、第1の座標系における点Pの位置ベクトルP1と、第2の座標系における点Qの位置ベクトルQ2と、第1の回転行列Rと、第1の並進ベクトルTとによって表され、方向ベクトルn1は、第3の座標系における光線の方向ベクトルn3と、第2の回転行列R1とによって算出され、位置ベクトルP1は、第1のカメラで撮影された画像内の光源の像に基づいて算出される第3の座標系における点Pの位置ベクトルP3と、第2の回転行列R1と、第2の並進ベクトルT1とによって算出され、位置ベクトルQ2は、2次元カメラ部で撮影された画像と距離画像取得部で取得された距離画像とに含まれる光スポットの像とに基づいて算出され、第2の回転行列R1及び第2の並進ベクトルT1は、第1のカメラで撮影された画像内の第1の姿勢情報作成用パターンの像から算出されてもよい。
上記相対姿勢情報作成システム、相対姿勢情報作成方法及び相対姿勢情報作成プログラムでは、第2のカメラによって距離画像を取得できるので、光スポットが第2のカメラの撮影範囲内に生じていれば、光スポットの位置を特定できる。そのため、簡易な構成で、共線制約を利用してR及びTを作成できることになる。
一実施形態に係る相対姿勢情報作成システムにおける相対姿勢情報作成装置は、上記共線制約を示す線形方程式を線形推定することによって、線形方程式の線形解であるREL及びTELを第1の回転行列Rと、第1の並進ベクトルTとして算出する線形推定部を更に有し、非線形推定部は、上記REL及びTELを初期値として使用して、第1の誤差関数を最適化してもよい。同様に、一実施形態に係る相対姿勢情報作成方法における相対姿勢情報作成工程は、共線制約を示す線形方程式を線形推定することによって、前記線形方程式の線形解としてのREL及びTELを前記第1の回転行列R及び第1の並進ベクトルTとして算出する線形推定工程を更に有し、非線形推定工程では、前記REL及びTELを初期値として使用して、前記第1の誤差関数を最適化してもよい。同様に、一実施形態に係る相対姿勢情報作成プログラムにおいて、相対姿勢情報作成工程は、共線制約を示す線形方程式を線形推定することによって、前記線形方程式の線形解であるREL及びTELを前記第1の回転行列R及び第1の並進ベクトルTとして算出する線形推定工程を更に有し、記非線形推定工程は、前記REL及びTELを初期値として使用して、前記第1の誤差関数を最適化してもよい。
上記相対姿勢情報作成システム、相対姿勢情報作成方法及び相対姿勢情報作成プログラムでは、第1の誤差関数を最適化する際に、共線制約を示す線形方程式の線形解を初期値として使用するので、より正確に、R及びTを作成可能である。
一実施形態に係る相対姿勢情報作成システムでは、前記第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、前記相対姿勢情報作成装置は、前記第1の座標系において、光源の位置である点Pから第2の座標系の原点O2に向かうベクトルPO2 1と、点Pから光スポットの位置である点Qに向かうベクトルPQ1と、原点O2から点Qに向かうベクトルO2Q1とが同じ平面上に位置するという共面制約に基づいた、第1の回転行列R及び第1の並進ベクトルTを変数とする第3の誤差関数を非線形推定することによって、第3の誤差関数の非線形解であるRENL及びTENLを第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定部を有し、ベクトルPO2 1は、第1の座標系における点Pの位置ベクトルP1と、第1の並進ベクトルTとによって表され、ベクトルPQ1は、第2の回転行列R1と、第1の座標系において、光源から出力される光線の方向ベクトルn1によって表され、ベクトルO2Q1は、第1の回転行列と、第2の座標系における点Qの位置ベクトルQ2とによって表され、方向ベクトルn1は、第3の座標系における光線の方向ベクトルn3と、第2の回転行列R1とによって算出され、位置ベクトルP1は、第1のカメラで撮影された画像内の光源の像に基づいて算出される第3の座標系における点Pの位置ベクトルP3と、第2の回転行列R1と、第2の並進ベクトルT1とによって算出され、位置ベクトルQ2は、第2のカメラで撮影された画像内の光スポットの像に基づいて算出され、第2の回転行列R1及び第2の並進ベクトルT1は、第1のカメラで撮影された画像内の第1の姿勢情報作成用パターンの像から算出されてもよい。
一実施形態に係る相対姿勢情報作成方法では、第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、相対姿勢情報作成工程は、第1の座標系において、光源の位置である点Pから第2の座標系の原点O2に向かうベクトルPO2 1と、点Pから光スポットの位置である点Qに向かうベクトルPQ1と、原点O2から点Qに向かうベクトルO2Q1とが同じ平面上に位置するという共面制約に基づいた、第1の回転行列R及び第1の並進ベクトルTを変数とする第3の誤差関数を非線形推定することによって、第3の誤差関数の非線形解であるRENL及びTENLを第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程、を有し、ベクトルPO2 1は、第1の座標系における点Pの位置ベクトルP1と、第1の並進ベクトルTとによって表され、ベクトルPQ1は、第2の回転行列R1と、第1の座標系において、光源から出力される光線の方向ベクトルn1によって表され、ベクトルO2Q1は、第1の回転行列と、第2の座標系における点Qの位置ベクトルQ2とによって表され、方向ベクトルn1は、第3の座標系における光線の方向ベクトルn3と、第2の回転行列R1とによって算出され、位置ベクトルP1は、第1のカメラで撮影された画像内の光源の像に基づいて算出される第3の座標系における点Pの位置ベクトルP3と、第2の回転行列R1と、第2の並進ベクトルT1とによって算出され、位置ベクトルQ2は、第2のカメラで撮影された画像内の光スポットの像に基づいて算出され、第2の回転行列R1及び第2の並進ベクトルT1は、第1のカメラで撮影された画像内の第1の姿勢情報作成用パターンの像から算出されてもよい。
一実施形態に係る相対姿勢情報作成プログラムは、第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、相対姿勢情報作成工程は、第1の座標系において、光源の位置である点Pから第2の座標系の原点O2に向かうベクトルPO2 1と、点Pから光スポットの位置である点Qに向かうベクトルPQ1と、原点O2から点Qに向かうベクトルO2Q1とが同じ平面上に位置するという共面制約に基づいた、第1の回転行列R及び第1の並進ベクトルTを変数とする第3の誤差関数を非線形推定することによって、第3の誤差関数の非線形解であるRENL及びTENLを第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程を有し、ベクトルPO2 1は、第1の座標系における点Pの位置ベクトルP1と、第1の並進ベクトルTとによって表され、ベクトルPQ1は、第2の回転行列R1と、第1の座標系において、光源から出力される光線の方向ベクトルn1によって表され、ベクトルO2Q1は、第1の回転行列と、第2の座標系における点Qの位置ベクトルQ2とによって表され、方向ベクトルn1は、第3の座標系における光線の方向ベクトルn3と、第2の回転行列R1とによって算出され、位置ベクトルP1は、第1のカメラで撮影された画像内の光源の像に基づいて算出される第3の座標系における点Pの位置ベクトルP3と、第2の回転行列R1と、第2の並進ベクトルT1とによって算出され、位置ベクトルQ2は、第2のカメラで撮影された画像内の光スポットの像に基づいて算出され、第2の回転行列R1及び第2の並進ベクトルT1は、第1のカメラで撮影された画像内の第1の姿勢情報作成用パターンの像から算出されてもよい。
上記相対姿勢情報作成システム、相対姿勢情報作成方法及び相対姿勢情報作成プログラムでは、光スポットが第2のカメラの撮影範囲内に生じていれば、共面制約に基づいて、R及びTを算出できる。そのため、簡易な構成で、R及びTを作成できることになる。
一実施形態に係る相対姿勢情報作成システムの相対姿勢情報作成装置は、光源からの光線が第1のカメラに入射するように、第1のカメラに対して第1の姿勢情報作成用部材が配置された状態において、第1のカメラで撮影して得られる第1の姿勢情報作成用部材の像を含む画像中の光源の像と、第2の回転行列R1と、第2の並進ベクトルT1とに基づいて、方向ベクトルn3及び位置ベクトルP3を算出する光源姿勢算出部と、第1の誤差関数において、方向ベクトルn3、位置ベクトルP3、第1の回転行列R及び第1の並進ベクトルTを変数とみなした第2の誤差関数を、光源姿勢算出部で算出された方向ベクトルn3及び位置ベクトルP3と、非線形推定部で算出されたRENL及びTENLとを、変数としての方向ベクトルn3及び位置ベクトルP3並びに第1の回転行列R及び第1の並進ベクトルTの初期値として使用しながら、第2の誤差関数を最適化することによって、第1の回転行列R及び第1の並進ベクトルTを精緻化する精緻化部と、を有してもよい。
この構成では、光源姿勢算出部で光源の姿勢を算出しているので、RENL及びTENLをより正確に算出可能である。更に、精緻化部で、光源姿勢算出部で、光源の姿勢情報も変数とした第2の誤差関数を最適化することによって、R及びTを精緻化しているので、光源の姿勢を算出する際の誤差を低減することも可能であり、結果として、より正確にR及びTを作成可能である。
一実施形態に係る相対姿勢情報作成用システムは、相対姿勢情報作成工程は、第1の座標系において、光源から出力される光線の方向ベクトルn1の方向と、光源の位置である点Pから光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約を示す線形方程式を解くことによって、第1の回転行列R及び第1の並進ベクトルTを線形推定し、R及びTの線形解としてのREL及びTELを算出する線形推定工程と、非線形推定工程では、誤差関数を、REL及びTELを初期値として最適化してもよい。
一実施形態に係る相対姿勢情報作成システムでは、第1の姿勢情報作成用部材には、複数の光源が取り付けられていてもよい。非線形推定する際に、光源と光スポットの位置情報が複数必要であっても、上記構成では、必要な情報を容易に取得可能である。
一実施形態に係る相対姿勢情報作成方法における相対姿勢用画像取得工程では、第1の座標系における点Pの位置ベクトルP1と、方向ベクトルn1と、第2の座標系における点Qの位置ベクトルQ2の組みが複数得られるように、第1及び第2のカメラで画像を取得してもよい。
このように第1及び第2のカメラの画像を取得することで、R及びTの作成に必要な情報を得ることができる。
一実施形態に係る相対姿勢情報作成方法における相対姿勢用画像取得工程では、第1の姿勢情報作成用部材の第1のカメラに対する相対姿勢を変更しながら、第1のカメラで、第1の姿勢情報作成用部材の像を含む画像を取得してもよい。
これにより、第1の座標系における点Pの位置ベクトルP1と、方向ベクトルn1と、第2の座標系における点Qの位置ベクトルQ2の組みを複数得ることできる。
一実施形態に係る相対姿勢情報作成方法では、第1の姿勢情報作成用部材には、複数の前記光源が取り付けられていてもよい。
これにより、前記第1の座標系における点Pの位置ベクトルP1と、方向ベクトルn1と、前記第2の座標系における点Qの位置ベクトルQ2の組みを複数得ることできる。
本発明によれば、設置場所の影響を低減可能であって、より正確に2つのカメラの相対姿勢情報を算出可能な手段を提供できる。
以下、図面を参照して本発明の実施形態について説明する。以下の説明においては、同一の要素には同一の符号を用いると共に、重複する説明を省略する。
(第1の実施形態)
図1は、一実施形態に係る相対姿勢情報作成システムの概略構成を示す図面である。図2(a)は、図1に示した相対姿勢情報システムが備える第1の姿勢情報作成用ボードの正面図であり、図2(b)は、第1の姿勢情報作成用ボードの側面図である。図3は、図1に示した相対姿勢情報システムが備える情報処理装置の機能ブロック図である。図4は、図1に示した相対姿勢情報作成システムの概念図である。
図1は、一実施形態に係る相対姿勢情報作成システムの概略構成を示す図面である。図2(a)は、図1に示した相対姿勢情報システムが備える第1の姿勢情報作成用ボードの正面図であり、図2(b)は、第1の姿勢情報作成用ボードの側面図である。図3は、図1に示した相対姿勢情報システムが備える情報処理装置の機能ブロック図である。図4は、図1に示した相対姿勢情報作成システムの概念図である。
図1に示した相対姿勢情報作成システム1は、車内、特に、運転手を撮影するために自動車(車両)10の車内に取り付けられた第1のカメラ12と、自動車10の前方を撮影するために車体の外面に取り付けられた第2のカメラ14とを備える。第1及び第2のカメラ12,14は、第1のカメラ12により撮影される運転手の顔画像と、第2のカメラ14により撮影される自動車10の前方画像とを関連づけることで、運転支援をするシステム(以下、運転支援システムと称す)の一部を構成している。相対姿勢情報作成システム1は、運転支援システムに使用される第1及び第2のカメラ12,14の画像を関連づけるために、第1及び第2のカメラ12,14の相対姿勢情報を作成するためのものである。換言すれば、相対姿勢情報作成システム1は、第1及び第2のカメラ12,14の相対姿勢情報を校正するためのシステムである。
相対姿勢情報作成システム1は、第1及び第2のカメラ12,14と、第1及び第2のカメラ12,14に対して配置される第1及び第2の姿勢情報作成用ボード(第1及び第2の姿勢情報作成用部材)16,18と、第1及び第2のカメラ12,14からの画像情報を処理する情報処理装置22とを、備える。第1の姿勢情報作成用ボード16には、レーザ光源としてのレーザポインタ(光源)20が固定されている。以下、第1及び第2の姿勢情報作成用ボード16,18のそれぞれを単に第1及び第2のボード16,18と称する。
第1のカメラ12は、運転手の顔を撮影できるように、車内(例えば、ダッシュボード上)に取り付けられている。第1のカメラ12はデジタルカメラであり、第1のカメラ12が有する撮像素子の例は、CCD又はCMOSイメージセンサなどである。第1のカメラ12が有するレンズは、運転手を撮影できるような画角を有するものであれば特に限定されないが、例えば、画角180度以下のレンズである。第1のカメラ12の一例は、マイクロソフト社製のKinect(登録商標)に搭載されているRGBカメラである。
第2のカメラ14は、自動車10の前方を撮影するために、車体外面に取り付けられている。第1のカメラ12は運転手の顔を撮影するように、自動車10の進行方向において後方を向くように配置されているのに対して、第2のカメラ14は自動車10の前方を撮影するために、上記進行方向において前方を向くように配置されている。そのため、第2のカメラ14は、その撮影範囲が、第1のカメラ12の撮影範囲と重ならないように配置されていることになる。第2のカメラ14はデジタルカメラであり、第2のカメラ14が有する撮像素子の例は、CMOSイメージセンサ又はCCDなどである。第2のカメラ14が有するレンズの例は、より広い範囲を撮影する観点から画角が180度以上の広角レンズである。ただし、第2のカメラ14のレンズは、画角が180度未満のレンズでもよい。第2のカメラ14の一例は、マイクロソフト社製のKinectに搭載されているRGBカメラである。
第1及び第2のボード16,18のそれぞれは、第1及び第2のカメラ12,14の姿勢情報を作成(或いは校正)するための第1及び第2の姿勢情報作成用パターン24,26が表面に設けられた板状部材である。第1及び第2の姿勢情報作成用パターン24,26のそれぞれを単に第1及び第2のパターン24,26と称す。第1及び第2のボード16,18は、第1及び第2のパターン24,26が図示された紙或いは薄板が板に貼付されたボードでもよいし、或いは、第1及び第2のパターン24,26を、板の表面に図示されたボードでもよい。
一実施形態において、第1及び第2のパターン24,26は、カメラの校正に使用され得る校正パターンであり得る。一実施形態において、第1及び第2のパターン24,26は、チェック模様(或いは、格子模様)を有してもよい(図3参照)。具体的には、互いに直交する2つの方向に正方形が複数連続して配置されており、隣接する2つの正方形の一方が白色で他方が黒色であるチェック模様を有してもよい。このようなチェック模様では、コーナーが2次元状に配置されており、姿勢情報作成過程においては、コーナーを特徴点として、画像を認識できる。図3では、黒色の正方形を、ハッチングを付して表している。第1のパターン24が有する正方形の一辺の長さと第2のパターン26が有する正方形の一辺の長さは同じでもよいし、異なっていてもよい。
図1及び図2に示すように、第1のボード16には、光源としてのレーザポインタ20が、第1のパターン24が配置されている表面から外側に向けて光を出力するように配置されている。レーザポインタ20は、例えば、第1のボード16の厚み方向に貫通する貫通孔20aに、第1のボード16の裏面側から挿入されることによって、第1のボード16に取り付けられている。
第1及び第2のボード16,18は、第1及び第2のカメラ12,14の撮影範囲内に配置されると共に、レーザポインタ20からのレーザ光が第2のボード18の第2のパターン26と交差するように、第2のカメラ14に対して配置されている。換言すれば、第2のパターン26にレーザスポット(光スポット)が形成されるように、第1及び第2のボード16,18は配置されている。
一実施形態において、第1のボード16は例えば紐を座席に掛け渡すことで、座席に対して固定されてもよい。一実施形態において、第2のボード18は、例えば、支持部材によって、第2のパターン26が第2のカメラ14と対面するように、地面に載置されていてもよい。
情報処理装置22は、第1及び第2のカメラ12,14で撮影された画像を処理する装置であり、CPU32を有するいわゆるコンピュータである。情報処理装置22は、車体内に配置されている。一実施形態において、第1及び第2のカメラ12,14と配線を介して電気的に接続されており、第1及び第2のカメラ12,14で取得された画像の画像データは配線を介して情報処理装置22に入力される。第1及び第2のカメラ12,14からの画像データは、例えば、無線通信を利用して、情報処理装置22に入力されてもよい。
図3は、情報処理装置の機能ブロック図である。図3に示すように、情報処理装置22は、外部からのデータ及び指示など受け付ける入力部28と、第1及び第2のカメラ12,14の相対姿勢情報を作成する相対姿勢情報作成部30と、情報処理装置22を制御するCPU32と、相対姿勢情報作成プログラムを含む各種プログラム及びデータを格納する記憶部34と、各種データ(画像データを含む)を出力する出力部36を有する。情報処理装置22は、記憶部34に格納された相対姿勢情報作成プログラムをCPU32が実行することで姿勢情報作成装置として機能する。
図1に示した情報処理装置22が有する各構成要素(入力部28、相対姿勢情報作成部30など)は、バスなどによって接続されて、データなどを通信可能である。情報処理装置22は、記憶部34に格納された相対姿勢情報作成プログラムを実行することによって、相対姿勢情報作成部30の機能が実現される。相対姿勢情報作成部30の機能が実現された情報処理装置22は、姿勢情報作成装置(或いは、姿勢情報校正装置)である。また、相対姿勢情報作成プログラムが実行されることによって、入力部28及び出力部36は、相対姿勢情報の作成に適した機能が適宜実現され得る。
以下の説明にために、次のように座標系を定義する。
第1のカメラ12に対して設定される3次元座標系(以下、第1の座標系と称す)S1を、原点をO1とし、互いに直交するx1軸、y1軸及びz1軸を有するO1―x1y1z1座標系と定義する。第1の座標系S1は、いわゆるカメラ座標系である。一実施形態において、原点O1は、第1のカメラ12の光学中心に設定される。
第2のカメラ14に対して設定される3次元座標系(以下、第2の座標系と称す)S2を、原点をO2とし、互いに直交するx2軸、y2軸及びz2軸を有するO2―x2y2z2座標系と定義する。第2の座標系S2は、いわゆるカメラ座標系である。一実施形態において、原点O2は、第2のカメラ14の光学中心に設定される。
第1のボード16に対して設定される3次元座標系(以下、第3の座標系と称す)S3を、原点をO3とし、互いに直交するx3軸、y3軸及びz3軸を有するO3―x3y3z3座標系と定義する。O3―x3y3z3座標系において、原点O3は、第1のパターン24上に位置しており、x3軸及びy3軸方向は、第1のパターン24を構成する正方形領域の配列方向に対応する。
第2のボード18に対して設定される3次元座標系(以下、第4の座標系と称す)S4を、原点をO4とし、互いに直交するx4軸、y4軸及びz4軸を有するO4―x4y4z4座標系と定義する。O4―x4y4z4座標系において、原点O4は、第2のパターン26上に位置しており、x4軸及びy4軸は、姿勢情報作成用パターンを構成する複数の正方形領域の配列方向(縦方向及び横方向)に対応する。
更に、説明のために、以下の表記を採用する。すなわち、カメラの画像平面上の点、すなわち、カメラで撮影された2次元の画像上の点をuとしたとき、点uの位置ベクトルをu=[ux,uy]Tと表し、3次元における点をUとしたとき、点Uの位置ベクトルをU=[Ux,Uy,Uz]Tと表す。ベクトル表現における上付きの「T」は、転置を表す。上記表記において、u及びUに付された下付のx,y,zは、点u及び点Uを表すために採用している座標系(例えば、第1〜第4の座標系S1〜S4等)での点u及び点Uの位置ベクトルのx軸方向、y軸方向、及びz軸方向の成分を表すためのものである。
上述した各座標系での表記を区別するために、必要に応じて、各第1〜第4の座標系S1〜S4を区別するための数字(1,2,3,4)を、文字に対して上付きで付す。例えば、点U1、U2、U3、U4のそれぞれは、第1の座標系S1(O1―x1y1z1座標系)、第2の座標系S2(O2―x2y2z2座標系)、第3の座標系S3(O3―x3y3z3座標系)及び第4の座標系(O4―x4y4z4座標系)において、点Uの位置を表していることを意味している。
また、第1のボード16におけるレーザポインタ20の位置、具体的には、レーザポインタ20の出力部(発光点)の位置を点Pと称する。レーザポインタ20からのレーザ光と、第2のボード18との交点(レーザスポット)を点Qと称する。そして、点Pと点Qとを結び点Pから点Qに向かうベクトルをベクトルPQと称す。
更に、図4に示すように、第2の座標系S2を第1の座標系S1に変換する回転行列及び並進ベクトルをそれぞれR及びTと表す。回転行列(第1の回転行列)R及び並進ベクトル(第1の並進ベクトル)Tが、第1及び第2のカメラ12,14の相対姿勢情報である。第3の座標系S3を第1の座標系S1に変換する回転行列及び並進ベクトルをそれぞれR1及びT1と表し、第4の座標系S4を第2の座標系S2に変換する回転行列及び並進ベクトルをそれぞれR2及びT2と表す。
上述した定義及び表記などを利用して、情報処理装置22について説明する。
入力部28は、第1及び第2のカメラ12,14からの画像データの入力を受け付ける。入力部28は、ユーザからの他の指示(コマンド)も受け付けてもよい。入力部28は、このような入力を受け付け得るインターフェースを有し得る。出力部36は、情報処理装置22内の各種データ、例えば、第1及び第2のカメラ12,14の相対姿勢情報を、必要に応じて情報処理装置22の外部機器に出力するためのものであり、例えば、各データを出力するために、外部機器との接続を可能とするインターフェースを有する。また、相対姿勢情報を作成した後、情報処理装置22が、例えば、作成した相対姿勢情報を利用して第1及び第2のカメラ12,14の画像を関連付けて運転支援をする運転支援プログラムを実施して、運転支援装置として機能する場合、画像データなどをディスプレイに等に出力する機能を有しても良い。
相対姿勢情報作成部30は、入力部28に入力された画像データに基づいて、第1及び第2のカメラ12,14の相対姿勢情報を作成する。相対姿勢情報作成部30は、ポインタ姿勢算出部(光源姿勢算出部)30A、線形推定部30B、非線形推定部30C及び精緻化部30Dを有する。
ポインタ姿勢算出部30Aは、第1のボード16に取り付けられたレーザポインタ20の姿勢を算出する。レーザポインタ20の姿勢は、図5に示したように、レーザポインタ20からのレーザ光が第1のカメラ12に入射するように、第1のカメラ12と、第1のボード16とが配置された状態で、第1のカメラ12によって撮影された画像の画像データを利用して算出される。
ポインタ姿勢算出部30Aによる姿勢情報の算出原理について説明する。レーザポインタ20の姿勢は、点Pの位置ベクトルP3及びレーザ光の方向ベクトルn3で表される。この場合、以下の関係式が得られる。
上記式において、ベクトルp1は、第1のカメラ12で撮影された画像内での点Pの投影点の位置ベクトルである。H1は、第1のカメラ12による像の投影を示す射影変換行列(Holography matrix)である。ベクトルprは、O3を原点とし、x3軸及びy軸を有する2次元座標系での点Pに対応する点の位置ベクトルである。位置ベクトルP1は、第1の座標系S1での点Pの位置ベクトルである。ベクトルn1は、第1の座標系S1におけるレーザ光の方向ベクトルである。
上記式において、ベクトルp1は、第1のカメラ12で撮影された画像内での点Pの投影点の位置ベクトルである。H1は、第1のカメラ12による像の投影を示す射影変換行列(Holography matrix)である。ベクトルprは、O3を原点とし、x3軸及びy軸を有する2次元座標系での点Pに対応する点の位置ベクトルである。位置ベクトルP1は、第1の座標系S1での点Pの位置ベクトルである。ベクトルn1は、第1の座標系S1におけるレーザ光の方向ベクトルである。
O3を原点とし、x3軸及びy3軸を有する2次元座標系は、第3の座標系S3において、z=0とした場合に対応するので、下記式が成立する。
ポインタ姿勢算出部30Aは、式(1a)〜(1d)及び式(2)並びに第1のカメラ12で撮影された第1の姿勢情報作成用パターンの画像に基づいて、レーザポインタ20の姿勢情報、すなわち、位置ベクトルP3及びレーザ光の方向ベクトルn3を算出する。
具体的には、ポインタ姿勢算出部30Aは、図5に示したような配置において、第1のカメラ12で撮影された第1のパターン24の画像に基づいて、第1のボード16の姿勢情報、すなわち、回転行列(第2の回転行列)R1及び並進ベクトル(第2の並進ベクトル)T1と、射影変換行列H1とを算出する。ただし、射影変換行列H1については、第1のカメラ12の設計上のH1を利用してもよい。上述したように、第1のカメラ12で撮影された第1のパターン24の画像に基づいて、射影変換行列H1を算出することは、第1のカメラ12の射影変換行列H1を校正していることに対応する。
回転行列R1及び並進ベクトルT1と、射影変換行列H1の算出は、例えば、下記参考文献1,2に示すZhangの手法によって算出され得る。
参考文献1:Z. Zhang, “A flexible new technique for camera calibration.” IEEETranscations on Pattern Analysis and Machine Intelligence, 2000, pp1330-1334.
参考文献2:Open source computer vision library.http://www.intel.com/research/mrl/research/opnecv/.
参考文献1:Z. Zhang, “A flexible new technique for camera calibration.” IEEETranscations on Pattern Analysis and Machine Intelligence, 2000, pp1330-1334.
参考文献2:Open source computer vision library.http://www.intel.com/research/mrl/research/opnecv/.
ベクトルp1も第1のカメラ12で撮影された第1のパターン24の画像から取得される。
ポインタ姿勢算出部30Aは、式(1a)〜式(1d)及び式(2)内のR1,T1,H1及びp1を、第1のカメラ12で撮影された第1のパターン24の画像に基づいて算出することによって、レーザポインタ20の姿勢情報、すなわち、位置ベクトルP3及びレーザ光の方向ベクトルn3を算出する。
一実施形態において、R1,T1,H1及びp1が事前に算出されている場合、ポインタ姿勢算出部30Aは、事前に算出されているR1,T1,H1及びp1を、式(1a)〜式(1d)及び式(2)に代入することによって、レーザポインタ20の姿勢情報を算出してもよい。或いは、一実施形態において、ポインタ姿勢算出部30Aは、第1のカメラ12で撮影された第1のパターン24の画像に基づいて、R1,T1,H1及びp1を算出する式が代入された式(1a)〜式(1d)及び式(2)を用いることによって、レーザポインタ20の姿勢情報を算出してもよい。
線形推定部30Bは、レーザ光の方向ベクトルn1の方向と、ベクトルPQ1の方向とが一致するという共線制約の下で、第1及び第2のカメラ12,14の相対姿勢情報を線形推定する。
線形推定部30Bは、図1に示したように、第1及び第2のカメラ12,14を実際の使用状態に配置すると共に、第1及び第2のカメラ12,14に対して第1及び第2のボード16,18を配置した状態において、第1及び第2のカメラ12,14で撮影した画像の画像データを利用して、第1及び第2のカメラ12,14の相対姿勢情報を線形推定する。第1及び第2のボード16,18は、対応する第1及び第2のカメラ12,14の撮影範囲内に配置され、且つ、レーザスポットが第2のボード18上に生じるように配置されていればよい。
第1及び第2のカメラ12,14の相対姿勢情報を線形推定の原理について説明する。上記共線制約は、下記式で表される。
式(3)において係数γは、任意定数である。
式(3)において係数γは、任意定数である。
各座標系で表される点P及び点Qに対して以下の関係式が成立する。
ベクトルPQ1及び方向ベクトルn1を式(5a)及び式(5b)のように定義した場合、式(3)より式(6)が得られる。
ここで、回転行列R、並進ベクトルT、位置ベクトルQ2及び位置ベクトルP1を式(7a)、(7b)、(7c)及び(7d)のように定義すると、式(6)は、式(4a)を利用して式(8)のように記載される。
回転行列R1及び並進ベクトルT1は、第1のパターン24の画像を利用して算出され得る。同様に、第2のカメラ14と第2のボード18の相対姿勢、すなわち、回転行列(第2の回転行列)R2及び並進ベクトル(第2の並進ベクトル)T2は、第2のパターン26の画像を利用して算出され得る。回転行列R1及び並進ベクトルT1の算出方法並びに回転行列R2及び並進ベクトルT2の算出方法は、レーザポインタ20の姿勢情報を算出する場合と同様の手法、すなわち、上述したZhangの手法で算出され得る。
点Qの第2のカメラ14の画像上の点をq2とすると、第2のカメラ14による射影変換を表す射影変換行列H2を利用して、以下の式が成立する。
式(9)において、q2は、O2を原点とし、x2軸及びy2軸を有する2次元座標系での点Qに対応する点の位置ベクトルである。qrは、O4を原点とし、x4軸及びy4軸を有する2次元座標系での点Qに対応する点の位置ベクトルである。一実施形態において、点qrは、例えば、レーザポインタ20からレーザ光の出力がONの場合の第2のボード18の画像から出力がOFFの場合の画像を差し引くことによって算出され得る。O4を原点とし、x4軸及びy4軸を有する2次元座標系は、第4の座標系S4において、z=0とした場合に対応するので、下記式が成立する。
レーザポインタ20の姿勢情報を算出する際のH1と同様に、射影変換行列H2は、第2のカメラ14で撮影された第2のパターン26の画像に基づいて算出され得る。そのため、位置ベクトルQ4も第2のカメラ14による画像から算出され得る。
式(9)において、q2は、O2を原点とし、x2軸及びy2軸を有する2次元座標系での点Qに対応する点の位置ベクトルである。qrは、O4を原点とし、x4軸及びy4軸を有する2次元座標系での点Qに対応する点の位置ベクトルである。一実施形態において、点qrは、例えば、レーザポインタ20からレーザ光の出力がONの場合の第2のボード18の画像から出力がOFFの場合の画像を差し引くことによって算出され得る。O4を原点とし、x4軸及びy4軸を有する2次元座標系は、第4の座標系S4において、z=0とした場合に対応するので、下記式が成立する。
レーザポインタ20の姿勢情報を算出する際のH1と同様に、射影変換行列H2は、第2のカメラ14で撮影された第2のパターン26の画像に基づいて算出され得る。そのため、位置ベクトルQ4も第2のカメラ14による画像から算出され得る。
更に、レーザポインタ20の姿勢情報である、位置ベクトルP3及び方向ベクトルn3は、ポインタ姿勢算出部30Aによって算出されている。
よって、第1及び第2のカメラ12,14によって第1及び第2のパターン24,26の画像が撮影されているとき、式(4b)、(4c)、(9)、(10)を利用して、方向ベクトルn1、位置ベクトルP1及び位置ベクトルQ2が計算され得る。すなわち、式(8)において、回転行列R及び並進ベクトルT(具体的には、その成分)のみが実質的に未知のパラメータであり、式(8)は、第1及び第2のカメラ12,14の相対姿勢情報に対する基本線形方程式である。
第1及び第2のパターン24,26の一つの相対姿勢に対して、方向ベクトルn1、位置ベクトルP1及び位置ベクトルQ2の組の実測データが得られる。以下、実測データの組を(n1,P1,Q2)とも表す。前述したように、方向ベクトルn1、位置ベクトルP1及び位置ベクトルQ2は、方向ベクトルn3、位置ベクトルP3及び位置ベクトルq2から算出される。従って、(n3,P3,q2)は実測データでもある。式(8)から示されるように、一組の実測データから2つの線形方程式が導かれる。回転行列R及び並進ベクトルTには、12個のパラメータが含まれているので、線形的に問題を解く、すなわち、回転行列R及び並進ベクトルTに含まれるパラメータを得るためには、少なくとも6個の実測データセットがあればよいことになる。換言すれば、少なくとも6個の実測データセットを用いることで、R及びTとして、式(8)の線形解であるREL及びTELが算出されることになる。
従って、線形推定部30Bは、少なくとも6個の実測データセットを用いることで、式(8)に基づいて、R及びTとしてのREL及びTELを算出する。
一実施形態において、線形推定部30Bは、制約過多の連立一次方程式、すなわち、未知数(又は変数)より方程式の数の方が多い系を用いて解を得る。具体的には、制約過多の連立一次方程式を解き、暫定的にR及びTを算出する。次に、Rが回転行列であるという制約の下で、特異値分解(SVD: singular value decomposition)を利用して、暫定的に算出された回転行列Rを、線形解としてのRELとする。次に、回転行列RELを固定し、式(8)に代入する。これにより、並進ベクトルTに関する制約過多の連立一次方程式を得る。そして、その連立一次方程式を、最小二乗法を利用してTに対して解くことによって、線形解としてのREL,TELを得る。
非線形推定部30Cは、線形推定部30Bで算出された線形解を利用して第1及び第2のカメラ12,14の相対姿勢情報の非線形推定を行う。
非線形推定部30Cによる非線形推定の原理について説明する。非線形推定では、共線制約と共に、回転行列Rの制約を考慮する。回転行列Rを四元数で表す。すなわち、R=(a;b,c,d)とする。共線制約及び回転行列Rの制約は式(11)のように表せる。
式(4a)を考慮すれば、誤差関数(第1の誤差関数)f(R,T)が、式(11)から式(12)のように導出される。式(12)の誤差関数は、上記共線制約と共に、ベクトルPQ1と方向ベクトルn1との内積が1であり、回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、回転行列R及び並進ベクトルTを変数とする誤差関数である。
式(12)において、Nは、実測回数である。Nは、本実施形態では6以上の整数である。jは、1〜Nの整数であり、各実測データを示すためのものである。
式(12)において、Nは、実測回数である。Nは、本実施形態では6以上の整数である。jは、1〜Nの整数であり、各実測データを示すためのものである。
従って、N個の実測データセット(n(j) 1,P(j) 1,Q(j) 2)を利用すれば、回転行列R及び並進ベクトルTのみが式(12)で未知である。
非線形推定部30Cは、線形推定部30Bで得たREL及びTELを初期値として使用し、式(12)の非線形最適化を行って相対姿勢情報を非線形推定する。一実施形態において、非線形推定部30Cは、誤差関数f(R,T)を、Levenberg-Marquardtを利用して最適化(或いは最小化)する。
精緻化部30Dは、第1及び第2のカメラ12,14の相対姿勢情報を精緻化する。式(13)に示した誤差関数(第2の誤差関数)を最適化することによって、第1及び第2のカメラ12,14の相対姿勢情報を精緻化する。式(13)の誤差関数は、式(12)の誤差関数において、位置ベクトルP3及び方向ベクトルn3も変数と見なした関数に対応する。
式(13)に示した誤差関数f(R,T,P3,n3)では、レーザポインタ20の姿勢である位置ベクトルP3と方向ベクトルn3及び第1及び第2のカメラ12,14の相対姿勢情報である回転行列R及び並進ベクトルTを変数としている。式(13)の誤差関数を最適化する際、R,T,P3,n3の初期値としてポインタ姿勢算出部30Aの算出結果及び非線形推定部30Cの算出結果を使用する。一実施形態において、精緻化部30Dは、Levenberg-Marquardtを利用して式(13)を最適化する。
式(13)に示した誤差関数f(R,T,P3,n3)では、レーザポインタ20の姿勢である位置ベクトルP3と方向ベクトルn3及び第1及び第2のカメラ12,14の相対姿勢情報である回転行列R及び並進ベクトルTを変数としている。式(13)の誤差関数を最適化する際、R,T,P3,n3の初期値としてポインタ姿勢算出部30Aの算出結果及び非線形推定部30Cの算出結果を使用する。一実施形態において、精緻化部30Dは、Levenberg-Marquardtを利用して式(13)を最適化する。
次に、一実施形態に係る相対姿勢情報作成システム1を利用した相対姿勢情報作成方法について説明する。図6は、一実施形態に係る相対姿勢情報作成方法のフローチャートである。
図6に示すように、まず、レーザポインタ20の姿勢情報を算出する(ステップS10)。レーザポインタ20の姿勢情報を算出する場合、図4に示したように、レーザポインタ20の姿勢の算出用に、第1のボード16を第1のカメラ12に対して配置する。その後、第1のカメラ12でレーザポインタ20からのレーザ光を撮影し(光源姿勢用画像取得工程)、撮影した画像の画像データを、入力部28を介して情報処理装置22に入力する。情報処理装置22が画像データを受け付けると、ポインタ姿勢算出部30Aが、式(1a)〜(1d)及び式(2)並びに第1のカメラ12で撮影された第1のパターン24の画像に基づいて、レーザポインタ20の姿勢情報、すなわち、位置ベクトルP3及びレーザ光の方向ベクトルn3を算出する(光源姿勢算出工程)。
次に、図6に示したように、実際の使用状態に配置された第1及び第2のカメラ12,14に対して第1及び第2のボード16,18を配置する。その後、第1及び第2のカメラ12,14で第1及び第2のパターン24,26を撮影する。これにより、相対姿勢情報作成用の画像が取得される(ステップS12,相対姿勢用画像取得工程)。この際、レーザポインタ20のスイッチをONにしておく。これにより、第2のパターン26内にレーザスポットとしての点Qが生じる。また、第1及び第2のパターン24,26を撮影する際には、第1及び第2のボード16,18の相対姿勢を少なくとも6回変化させて撮影する。一実施形態において、レーザポインタ20のスイッチをOFFにした状態での第2のパターン26を第2のカメラ14で撮影していてもよい。
その後、第1及び第2のカメラ12,14から第1及び第2のパターン24,26の画像データを情報処理装置22に入力部28を介して入力する(ステップS14)。
第1及び第2のカメラ12,14からの画像データを情報処理装置22が受け付けると、相対姿勢情報作成部30が、レーザポインタ20のレーザ光によって第1のカメラ12の画像データと、第2のカメラ14の画像データとを関連付けることによって、第1及び第2のカメラ12,14の姿勢情報を算出する。
具体的には、線形推定部30Bが、式(8)に基づいて、第1及び第2のカメラ12,14の姿勢情報を線形推定し、線形解としてのREL及びTELを算出する(ステップS16、線形推定工程)。その後、非線形推定部30Cが、線形推定部30Bで推定された姿勢情報としてのREL及びTELを初期値として使用して、式(12)に基づいて、第1及び第2のカメラ12,14の姿勢情報を非線形推定して、RENL及びTENLを算出する(ステップS18、非線形推定工程)。続いて、精緻化部30Dが、式(13)を利用して、第1及び第2のカメラ12,14の相対姿勢情報であるRENL及びTENLを精緻化する(ステップS20、精緻化工程)。この精緻化によって得られる回転行列R及び並進ベクトルTを、第1及び第2のカメラ12,14の相対姿勢情報として設定する、或いは、精緻化によって得られる回転行列R及び並進ベクトルTを、第1及び第2のカメラ12,14の相対姿勢情報として記憶部34に格納する。上記ステップS16〜S20が相対姿勢情報を作成する相対姿勢情報作成工程に対応する。
上記のように、レーザポインタ20を利用していることによって、撮影範囲の異なる第1及び第2のカメラ12,14の相対姿勢情報が算出され得る。具体的には、レーザポインタ20の第1のボード16上の位置情報と、レーザポインタ20からのレーザ光と第2のボード18との交点の位置情報とを利用することによって、第1及び第2のカメラ12,14の画像を関連付けることができ、その結果、第1及び第2のカメラ12,14の相対姿勢情報が算出され得る。
そのため、図1に示したように、第1及び第2のカメラ12,14が自動車の車載カメラである場合、第1のカメラ12で撮影される運転手の顔情報(例えば、視線情報)と、第2のカメラ14で撮影される車外情報(例えば、車線情報など)とを関連付けながら運転支援を行うことが可能である。この運転支援は、例えば、情報処理装置22の記憶部に運転支援プログラムを記録しておき、そのプログラムを実行することで行うことが可能である。
レーザポインタ20を利用していることによって、レーザ光が第2の姿勢情報作成用パターン26と交差するように、第1及び第2のボード16,18を配置すれば、第1及び第2のカメラ12,14の相対姿勢情報を作成(或いは校正)できる。その結果、第1及び第2のカメラ12,14が図1に示した様に自動車に搭載される車載カメラであっても、第1及び第2のカメラ12,14の配置位置の影響を低減しながら、第1及び第2のカメラ12,14の相対姿勢情報を作成(或いは校正)できる。
また、第1及び第2のカメラ12,14のそれぞれは第1及び第2のパターン24,26の実像を撮影しているので、例えば、ミラーを利用して第1及び第2のカメラ12,14の一方が虚像を撮影する場合より正確に第1及び第2のカメラ12,14の相対姿勢情報を作成(或いは校正)できる。
更に、レーザポインタ20は、第1のボード16に固定していることによって、レーザポインタ20の位置である点P及びレーザスポットの位置である点Qの特定に起因する誤差を低減できる。その結果、第1及び第2のカメラ12,14の相対姿勢情報の精度向上を実現可能である。
更に、第1及び第2のカメラ12,14の相対姿勢情報を、レーザポインタ20が取り付けられた第1のボード16と、第2のボード18とを用いて算出できるので、第1及び第2のカメラ12,14の相対姿勢情報を容易に算出できる。従って、例えば、図1に示した様に、自動車10に設置された第1及び第2のカメラ12,14の相対姿勢情報を算出する場合、自動車10の製造工場でカメラを設置した状態で、第1及び第2のカメラ12,14の相対姿勢情報を算出してもよいし、例えば、自動車10の販売会社においても、第1及び第2のカメラ12,14の相対姿勢情報を算出することも可能である。
更に、第1及び第2のボード16,18を利用しているために、前述したような共線制約を利用できる。この点でも、より正確に、第1及び第2のカメラ12,14の相対姿勢情報を算出できる。
線形推定部30Bを備え、式(8)に示した線形方程式を線形推定しているので、式(12)の誤差関数を非線形推定する際、R及びTの初期値として、線形解をREL及びTELを使用できる。その結果、より正確にR及びTを算出できる。
レーザポインタ20の初期姿勢を算出しているので、R及びTの算出の際に、より正確な初期姿勢を使用することができる。レーザポインタ20の初期姿勢の算出では、第1及び第2のカメラ12,14の光学中心をレーザ光が通っていることを仮定しているが、測定誤差が生じる場合がある。しかしながら、精緻化部30Dを備えることで、レーザポインタ20の姿勢を算出するためのパラメータの誤差も最小化されるので、第1及び第2のカメラ12,14の相対姿勢情報がより正確に算出可能である。
(第2の実施形態)
図7は、第2の実施形態に係る相対姿勢情報作成システムの構成の概念図である。図7に示す相対姿勢情報作成システム2は、第2のボード18を使用しない点で、第1の実施形態の相対姿勢情報作成システム1と相違する。第2の実施形態においても、座標系の定義、及び、位置又は位置ベクトルなどの表記は、第1の実施形態と同様の表記方法を採用する。
図7は、第2の実施形態に係る相対姿勢情報作成システムの構成の概念図である。図7に示す相対姿勢情報作成システム2は、第2のボード18を使用しない点で、第1の実施形態の相対姿勢情報作成システム1と相違する。第2の実施形態においても、座標系の定義、及び、位置又は位置ベクトルなどの表記は、第1の実施形態と同様の表記方法を採用する。
図7において、点Qは、レーザポインタ20から出力されるレーザ光と、第2のカメラ14の撮影範囲内の物体との交点(レーザスポット)である。点qは、第2のカメラ14の画像平面πにおける点Qの投影点である。
相対姿勢情報作成システム2では、第1の座標系S1において、ベクトルPO2 1、ベクトルPQ1、ベクトルO2Q1が同じ平面上に位置するという制約、すなわち、共面制約を利用して、第1及び第2のカメラ12,14の相対姿勢情報を算出する。この相違点を中心にして相対姿勢情報作成システム1及びそれを利用した相対姿勢情報の作成方法について説明する。
上記共面制約は、式(14)で表される。
更に、幾何学的関係から次の関係式が成立する。
更に、幾何学的関係から次の関係式が成立する。
上記式(15a)〜(15c)を考慮すると、式(14)は次のように表される。
ここで、交代行列としてSaを次式のように定義する。
この場合、ベクトルaと、ベクトルvの外積は、次式のように表される。
この表記を採用すると、式(16)は次のように表される。
方向ベクトルn1及び位置ベクトルP1について、式(20a)及び式(20b)の関係式が成立する。
更に、第2のカメラ14をピンホールカメラと仮定すると、3次元の点Q2とその投影点qとの関係は、次のようになる。
更に、第2のカメラ14をピンホールカメラと仮定すると、3次元の点Q2とその投影点qとの関係は、次のようになる。
式(21)は、M−1qとベクトルQ2とが同じ方向であることを示している。Mは、物理的座標を、画像座標に変換する、第2のカメラ14の内部パラメータ行列であり、焦点距離、及び、画像中心(光軸と、画像平面との交点)の情報を含む。式(20a)、式(20b)及び式(21)を、式(19)に代入すると、次式が成立する。
第1の実施形態の場合と同様に、位置ベクトルP3及び方向ベクトルn3並びに第1のパターン24の画像から算出される。従って、式(22)において、R及びTのみが未知のパラメータである。
従って、第1の実施形態の場合と同様に、N個のデータセットを複数使用し、式(23)で表される誤差関数(第3の誤差関数)を最適化(最小化)にすることによって、R及びTの非線形解としてのRENS及びTENSを算出し得る。なお、上記データセットは、(n1、P1、Q2)或いは(n3、P3、q)である。
一実施形態において、式(23)は、Levenberg-Marquardt 法を使用して最適化され得る。一実施形態において、式(23)を最適化する際、R及びTの初期値としては、第1及び第2のカメラ12、14の配置状態から推定されるR及びTを使用すればよい。
一実施形態において、式(23)は、Levenberg-Marquardt 法を使用して最適化され得る。一実施形態において、式(23)を最適化する際、R及びTの初期値としては、第1及び第2のカメラ12、14の配置状態から推定されるR及びTを使用すればよい。
更に、第1及び第2のカメラ12,14の相対姿勢情報は、式(24)に基づいて精緻化され得る。式(24)は、R及びTに加えて、レーザポインタ20の姿勢情報である方向ベクトルn3及び位置ベクトルP3を変数とした、共面制約に基づいた誤差関数(第4の誤差関数)である。第1の実施形態の場合と同様に式(24)に示した誤差関数は、式(23)に示した誤差関数において、方向ベクトルn3及び位置ベクトルP3を変数として見なした関数に対応する。
式(24)の誤差関数を最適化する際、R,T,P3,n3の初期値として、式(23)の算出結果としてのR及びTと式(23)の計算に使用したレーザポインタ20の姿勢情報を使用する。一実施形態において、式(24)はLevenberg-Marquardtを利用して最適化されてもよい。
図8は、相対姿勢情報作成システム2が有する相対姿勢情報作成装置の機能ブロック図である。情報処理装置38は、入力部28と、相対姿勢情報作成部40と、CPU32と、記憶部34と、出力部36を有する。情報処理装置22は、記憶部34に格納された相対姿勢情報作成プログラムをCPU32が実行することで姿勢情報作成装置として機能する。相対姿勢情報作成部の代わりに相対姿勢情報作成部を有する点以外は、情報処理装置22と同様であるので、入力部28、CPU32、記憶部34及び出力部36の説明は省略する。
相対姿勢情報作成部40は、ポインタ姿勢算出部40A、非線形推定部40B及び精緻化部40Cを有し、第1及び第2のカメラ12,14の相対姿勢情報を作成する。ポインタ姿勢算出部40Aは、情報処理装置22のポインタ姿勢算出部30Aと同様であるため説明を省略する。
非線形推定部40Bは、式(23)で示される誤差関数を最適化することによって、第1及び第2のカメラ12,14の相対姿勢情報としての回転行列R及び並進ベクトルTの非線形解としてのRENL及びTENLを算出する。非線形推定部40Bは、予め、ベクトルP3及びベクトルn3並びにR1及びT1を第1のパターン24の画像から算出していてもよいし、それらを第1のパターン24の画像に基づいて算出するための式を式(23)に代入しておき、式(23)の最適化を行ってもよい。
精緻化部40Cは、式(24)の誤差関数を最適化することによって、非線形推定部40Bで算出した第1及び第2のカメラ12,14の相対姿勢情報としての回転行列R及び並進ベクトルTを精緻化する。精緻化部40Cは、予め、R1及びT1を第1のパターン24の画像から算出していてもよいし、それらを第1のパターン24の画像に基づいて算出するための式を式(24)に代入しておき、式(24)の最適化を行ってもよい。
相対姿勢情報作成システム2を利用した姿勢情報作成方法は、第1の実施形態における姿勢情報作成方法において、図6に示したステップS16の工程を行わずに、ステップS18の工程において、非線形推定部40Bが、上述したようにして、第1及び第2のカメラ12,14の相対姿勢情報の非線形解としてのRENL及びTENLを算出する点、及び、ステップS20において、精緻化部40Cが、上述したようにして、第1及び第2のカメラ12,14の相対姿勢情報としての回転行列R及び並進ベクトルTを算出する点で、相違する。この相違点以外は、第1の実施形態の場合と同様である。
第2の実施形態では、第1の実施形態と同様に、レーザポインタ20を利用して、第1及び第2のカメラ12,14で取得される画像を関連付けることによって、第1及び第2のカメラ12,14の相対姿勢情報を算出している。そのため、相対姿勢情報作成システム2及びそのシステムを用いた相対姿勢情報作成方法は、第1の実施形態の場合と少なくとも同じ作用効果を有する。
第2の実施形態では、第2の姿勢情報作成用ボードを使用しないので、より簡易な構成で、第1及び第2のカメラ12,14の相対姿勢情報を算出可能である。
(第3の実施形態)
図9は、第3の実施形態に係る相対姿勢情報作成システム3の構成の概念図である。相対姿勢情報作成システム3は、第2のカメラ14として、深さ情報を取得可能なRGB−Dカメラ42を使用している点で、第1の実施形態の相対姿勢情報作成システム1と相違する。以下の説明では、座標系の定義及び位置又は位置ベクトルなどの表記は、第1の実施形態と同様の表記方法を採用する。
図9は、第3の実施形態に係る相対姿勢情報作成システム3の構成の概念図である。相対姿勢情報作成システム3は、第2のカメラ14として、深さ情報を取得可能なRGB−Dカメラ42を使用している点で、第1の実施形態の相対姿勢情報作成システム1と相違する。以下の説明では、座標系の定義及び位置又は位置ベクトルなどの表記は、第1の実施形態と同様の表記方法を採用する。
図9に示すように、相対姿勢情報作成システム3は、RGB−Dカメラ42を採用していることによって、第2のボード18を使用しない構成である。
RGB−Dカメラ42の例は、マイクロソフト社製のKinect(登録商標)である。RGB−Dカメラ42は、2次元画像としてのRGB画像と共に、距離情報を含む距離画像を取得可能なカメラである。
図10は、RGB−Dカメラ42の模式図である。図10に示すようにRGB−Dカメラ42は、2次元画像を撮影するRGBカメラ(2次元カメラ部)44と、距離画像を取得する距離画像取得部46とを有する。距離画像取得部46は、赤外線(IR)カメラ46Aと、所定のパターンを赤外線で投影するIRプロジェクタ46Bとを有する。
RGBカメラ44の座標系を第1の実施形態における第2のカメラ14の座標系、すなわち、第2の座標系とする。また、IRカメラ46Aの3次元座標系(以下、第5の座標系)S5を、原点をO5とし、互いに直交するx5軸、y5軸及びz5軸を有するO5―x5y5z5座標系と定義する。
また、第5の座標系S5を第2の座標系S2に変換する回転行列をR4と称し、並進ベクトルをT4と称す。RGB−Dカメラ42において、RGBカメラ44と、IRカメラ46Aの位置は固定配置されているので、R4及びT4は、RGB−Dカメラ42が製造されれば既知である。
RGB−Dカメラ42では、RGBカメラ44によって、RGB画像を取得する。また、IRプロジェクタ46BによってIRを使用して投影された所定のパターンをIRカメラ46Aが撮影することによって、所定パターンの歪み状態などに基づいて距離画像を取得する。
従って、RGB−Dカメラ42を使用することによって、第2のボード18を使用しなくても、点Qの位置が3次元的に決定される。そのため、第1の実施形態において、第2のボード18の画像を使用して決定した点Qの第2の座標系S2における位置ベクトルQ2の代わりに、RGB−Dカメラ42からの画像データによって得られる点Qの第2の座標系S2における位置ベクトルQ2を使用することによって、第1及び第2のカメラ12,14の相対姿勢情報を算出可能である。
図11を参照してRGB−Dカメラ42によるレーザスポットの深さ(距離)の推定原理について説明する。図11では、第1のカメラ12の図示を省略している。
図11に示すように、レーザスポットを点Qと表し、RGBカメラ44の画像平面をπRGBとし、IRカメラ46Aの画像平面をπIRとする。更に、点QのπRGB上への投影点をqRGBと称し、πIR上への投影点をqIRと称する。
点Qの深さ(距離)は、RGBカメラ44とIRカメラ46Aとをステレオシステムと見なして算出する。すなわち、πIRにおけるエピポーラ線L上の点をπRGB上に投影し、qRGBとの間の差が最小になるような、πIRからのπRGBへの投影点に対応するπIR上のqIRの深さを点Qの深さとして算出する。
具体的な推定方法の一例について説明する。エピポーラ線L上のM個の点をq(m) IR(ただし、mは、1以上M以下の任意の整数)とする。q(m) IRに対応する深さdmをdm=d(xIR,yIR)と表す。この場合、各q(m) IRに対応する3次元の点Q(m) IRは、次式で表される。
式(25)において、DIRは、IRカメラ46Aの歪みパラメータを示す行列である。disは、DIRに基づいた歪み処理を示している。すなわち、dis-1は、qIR iを、IRカメラ46A固有の歪みを解消した座標への変換を意味している。KIRは、IRカメラ46Aにおける投影を示す行列である。また、(1/(c1di+c0))は、深さ方向のバイアスを示しており、c1及びc0は、使用するKinectの特性に依存したパラメータであり、予め算出しておく。従って、(1/(c1di+c0))KIR −1をdis-1に作用させることによって、qIR iに対応する点Q(m) IRの3次元座標が得られる。
式(25)において、DIRは、IRカメラ46Aの歪みパラメータを示す行列である。disは、DIRに基づいた歪み処理を示している。すなわち、dis-1は、qIR iを、IRカメラ46A固有の歪みを解消した座標への変換を意味している。KIRは、IRカメラ46Aにおける投影を示す行列である。また、(1/(c1di+c0))は、深さ方向のバイアスを示しており、c1及びc0は、使用するKinectの特性に依存したパラメータであり、予め算出しておく。従って、(1/(c1di+c0))KIR −1をdis-1に作用させることによって、qIR iに対応する点Q(m) IRの3次元座標が得られる。
この点Q(m) IRに対応する第2の座標系(RGBカメラ44の座標系)での点Q(m) RGBは、次式で算出される。
点Q(m) RGBに対応するπRGB上の点q(m) RGBは、次式で表される。
そして、エピポーラ線L上の点q(m) IRを探索して、そのπRGB上の投影点であるq(m) RGBのうち、qRBGに最も近い点q(j) RGBを選択する。この処理は、次式で表される。
式(28)において、min_e=min|qRGB−q(m) RGB|であり、|qRGB−q(m) RGB|は、πRGBにおけるqRGBとq(m) RGBとの差(具体的には、画素数の差)である。
式(28)において、min_e=min|qRGB−q(m) RGB|であり、|qRGB−q(m) RGB|は、πRGBにおけるqRGBとq(m) RGBとの差(具体的には、画素数の差)である。
式(25)〜式(28)によって、qIR iが得られる。そして、Qj RGBの深さzjを、qj RGBの深さとする。
従って、RGBカメラ44の座標系におけるレーザスポットQの深さが決定されると、式(29)によって、点QRGBの3次元座標が得られる。ぱた
図12は、相対姿勢情報作成システム3が有する情報処理装置48の機能ブロック図である。情報処理装置48は、入力部28と、相対姿勢情報作成部50と、CPU32と、記憶部34と、出力部36を有する。情報処理装置48は、記憶部34に格納された相対姿勢情報作成プログラムをCPU32が実行することで姿勢情報作成装置として機能する。相対姿勢情報作成部30の代わりに相対姿勢情報作成部50を有する点以外は、情報処理装置22と同様であるので、入力部28,CPU32、記憶部34及び出力部36の説明は省略する。
相対姿勢情報作成部50は、ポインタ姿勢算出部50A、線形推定部50B、非線形推定部50C及び精緻化部50Dを有し、第1及び第2のカメラ12,14の相対姿勢情報を作成する。ポインタ姿勢算出部40Aは、相対姿勢情報作成部30のポインタ姿勢算出部30Aと同様であるため説明を省略する。
線形推定部50B、非線形推定部50C及び精緻化部50Dは、式(29)で算出される位置ベクトルQRGBを、式(4a)(又は式(8))、式(12)及び式(13)における位置ベクトルQ2として使用する。この点以外は、線形推定部50B、非線形推定部50C及び精緻化部50Dの構成(或いは機能)は、第1の実施形態の線形推定部30B、非線形推定部30C及び精緻化部50Dと同様の構成(或いは機能)を有する。
相対姿勢情報作成システム3を利用した姿勢情報作成方法は、第1の実施形態における姿勢情報作成方法において、図6に示したステップS16、ステップS18及びステップS20において、線形推定部50B、非線形推定部50C及び精緻化部50Dが、それぞれ、式(4a)(又は式(8))、式(12)及び式(13)における位置ベクトルQ2として、式(29)で算出される位置ベクトルQRGBを使用する点で相違する。この相違点以外は、第1の実施形態の場合と同様である。
第3の実施形態では、第1の実施形態と同様に、レーザポインタ20を利用して、第1及び第2のカメラ12,14で取得される画像を関連付けることによって、第1及び第2のカメラ12,14の相対姿勢情報を算出している。そのため、相対姿勢情報作成システム3及びそのシステムを用いた相対姿勢情報作成方法は、第1の実施形態の場合と少なくとも同じ作用効果を有する。
また、第3の実施形態では、第2の姿勢情報作成用ボードを使用しないので、より簡易な構成で、第1及び第2のカメラ12,14の相対姿勢情報を算出可能である。
RGB−Dカメラ42を使用した形態では、第2のボード18を使用しなくても、共線制約の元で、第1及び第2のカメラ12,14の姿勢情報を算出できる。その結果、第1及び第2のカメラ12,14の姿勢情報を、より簡易なシステムにおいて、高い精度で算出可能である。
以下、実験結果について説明する。以下の説明においても、第1〜第3の実施形態で説明した対応する構成要素には、同じ符号を付する。
まず、第1の実施形態で述べた手法、すなわち、共線制約の元で、回転行列R及び並進ベクトルTを作成する実験Aについて説明する。
実験Aでは、第1及び第2のカメラ12,14としてKinectに搭載されているRGBカメラを使用した。第1及び第2のカメラ12,14の分解能は、640×480画素に設定した。
第1及び第2のボード16,18として、図13(a)及び図13(b)に示すように、正方形の黒マス(又は白マス)を2次元的に所定の間隔で、9×6のコーナー点を有するように配置された第1及び第2のパターン24,26を有するボードを準備した。第1及び第2のパターン24,26では、第1のパターン24における各マスの一辺の長さは0.026mであり、第2のパターン26における各マスの一辺の長さは0.075mであった。図13(a)は、第1のボード16を第1のカメラ12で撮影した画像を示す図面であり、図13(b)は、第2のボード18を第1のカメラ12で撮影した画像を示す図面である。
実験Aでは、図6を利用して説明した方法で、レーザポインタ20の初期姿勢を算出した後、自動車10内に、第1のカメラ12及び第1のボード16を配置すると共に、第2のカメラ14及び第2のボード18を配置した。第1及び第2のカメラ12、14の距離は、約0.9mであった。そして、図6に示した方法に従って、第1及び第2のカメラ12,14の姿勢情報としてのR及びTを算出した。この際、第1のボード16の姿勢の変更回数を変えて実験を行った。変更回数の異なる実験Aをそれぞれ実験A1、実験A2及び実験A3と称す。具体的には、実験A1では、第1のボード16の姿勢を48回変更して、すなわち、レーザスポットを48点計測した。実験A2では、第1のボード16の姿勢を96回変更して、すなわち、レーザスポットを96点計測した。実験A3では、第1のボード16の姿勢を384回変更して、すなわち、レーザスポットを384点計測した。実験A1〜A3はそれぞれ11回行った。
実験Aでは、第1及び第2のカメラ12,14の姿勢情報の真値が不明であるため、統計的指標及び平均再投影誤差によって算出結果の正確性を評価した。平均再投影誤差の算出は、実験Aに対して、すなわち、レーザスポットの測定数が48の場合について行った。
平均投影誤差は次のように定義された誤差である。算出した姿勢情報としてのR及びTを用いて、第2の座標系S2でのレーザ光線の光線方程式を計算する。この光線方程式を用いて、第2のパターン26におけるレーザスポットの位置を算出できる。このようにして計算されたレーザスポットをQcと称す。一方、第2のパターン26の画像からレーザスポットである点Qの3次元的な位置が得られる。実験Aでは、レーザスポットを48点測定するので、各レーザスポットに対する点Qと点Qcとのユークリッド的な距離の平均値を平均再投影誤差と定義した。
実験A1〜実験A3で得られた姿勢情報を図14に示す。図14では、実験A1〜A3で算出された並進ベクトルTの大きさをカメラ間の距離とし、回転行列Rを、ロール、ピッチ、及びヨーで表した場合のロール、ピッチ及びヨーを示している。図14におけるカメラ間の距離及び回転行列の各成分の値は、11回行った実験の平均値及び標準偏差である。
図15に、実験毎の平均再投影誤差を示す。図15において、横軸は実験回数を示しており、縦軸は、平均再投影誤差(mm)を示している。
図14及び図15で誤差が算出できていることからも理解し得るように、第1の実施形態で説明した手法で第1及び第2のカメラ12,14の姿勢を算出できることが確認できた。更に、図14より、第1及び第2のカメラ12,14の実際の距離が約0.9m対して、標準偏差は、約0.01m(約1.25%)であった。更に、図15より、平均再投影誤差は、約2.1mmであった。更に、図14より、レーザスポットの測定点の数を増加させる程、より精度が向上することがわかる。
次に、第3の実施形態で述べた手法、すなわち、2次元カメラ部と、距離画像取得部を有するカメラを使用する手法で、回転行列R及び並進ベクトルTの算出の実験4について説明する。
実験Bでは、第1及び第2のカメラ12,14としてKinectを使用した。ただし、第1のカメラ12では、Kinectに搭載されているRGBカメラからのデータを使用し、IRカメラからのデータは使用しなかった。第1及び第2のカメラ12,14の分解能は、640×480画素に設定した。
第1のボード16として、実験Aの場合と同様にして、図13(a)に示したボードを使用した。実験Bでは、第1及び第2のカメラ12,14を、図16に示すように、車イス52に搭載した。図16は、実験モデルの模式図である。
実験Bでは、第3の実施形態で説明した方法で、レーザポインタ20の初期姿勢を算出した後、車イス52に、第1のカメラ12及び第1のボード16を配置すると共に、第2のカメラ14を配置した。この際、第1及び第2のカメラ12,14の間の距離は、約150mmであった。そして、第2のカメラ14をRGB−Dカメラとして使用し、第3の実施形態で説明した方法で、第1及び第2のカメラ12,14の姿勢情報としてのR及びTを算出した。この際、第1のボード16の姿勢を、48回、変更した。
実験Aの場合と同様に、第1及び第2のカメラ12,14の姿勢情報の真値が不明であるため、統計的指標及び平均再投影誤差によって算出結果の正確性を評価した。
平均投影誤差は次のように定義された誤差である。算出した姿勢情報としてのR及びTを用いて、第2の座標系S2でのレーザポインタの姿勢が決定される。そして、第2のカメラ14をRGB―Dカメラとして使用していることによって、第2のカメラ14のよる撮影シーンまでの距離(深さ)がわかるので、レーザスポットの位置が計算され得る。このようにして計算されたレーザスポットの位置を、実験Aと同様にQcと称す。一方、第2のカメラ14をRGB−Dカメラと使用していることによって、第3の実施形態で述べたようにして、点Qの3次元的な位置が得られる。実験Bでは、測定した各レーザスポットに対する点Qと点Qcとのユークリッド的な距離の平均を平均再投影誤差と定義した。
実験Bを11回行った。実験結果は、図17に示すとおりである。図17において、相対姿勢情報のうち「並進成分」として、算出された並進ベクトルTのx成分Tx、y成分Ty、z成分Tzの値を示している。並進ベクトルTの大きさをカメラ間の距離として示している。「回転成分」として、算出された回転行列Rを四元数で表した場合のa、b、c、及びdの値を示している。図17に示した数値は、実験Bの実験回数である11回の平均値と標準偏差である。図17に示すように、約150mm離して配置された第1及び第2のカメラ12,14に対して標準偏差は、7mm未満であった。
実験Cとして、実験Bにおける第2のカメラ14のRGBカメラ44からのデータを利用して、第2の実施形態で説明した手法で回転行列R及び並進ベクトルTを算出(推定)した。算出した姿勢情報としてのR及びTを用いて、第2の座標系S2でのレーザポインタの姿勢が決定される。ステレオ視の原理によって、第2のカメラ14のよる撮影シーンまでの距離(深さ)がわかるので、レーザスポットの位置が計算され得る。このようにして計算されたレーザスポットの位置を、実験A,Bと同様にQcと称す。一方、上記ステレオ視の原理によって、点Qの3次元的な位置も得られる。実験Cでは、測定した各レーザスポットに対する点Qと点Qcとのユークリッド的な距離の平均を平均再投影誤差と定義した。実験Cを11回行い、1回の実験におけるレーザスポットの測定回数は、実験Bの場合と同じである。
図18は、実験B,Cの平均再投影誤差を示す図面である。図18において、横軸は、実験回数を示しており、縦軸は、平均再投影誤差(mm)を示している。図18に示すように、実験Bでは、平均再投影誤差が、2.5mm以下でR及びTを算出できていることがわかる。また、実験Cにおいても、平均再投影誤差が、4.5mmより小さい範囲でR及びTを算出できていることがわかる。
また、図18に示している実験Bの結果と比較すると、より制限の厳しい共線制約を利用する実験Bの方が実験Cより正確にR及びTを算出し得ることが理解され得る。
以上、本発明の種々の実施形態及び実験例等について説明したが、本発明は、上述した種々の実施形態及び実験例等に限定されない。
第1〜第3の実施形態では、第1及び第2のカメラ12,14を、図1に例示したように自動車といった車両に取り付けられる車載カメラとして説明した。しかしながら、第1及び第2のカメラ12,14は、互いに撮影範囲が重ならないように配置されて使用されるシステムに適用されるカメラであればよい。例えば、上述したように、車イス52に対して取り付けられてもよい。この場合、車イス52に対しても自動車の運転支援システムと同様に第1及び第2のカメラ12,14を使用することが可能である。更に、自動移動ロボットに適用されてもよい。また、自動車といった車両、車イス及び自動移動ロボットなどの移動体への適用の他に、異なる方向を撮影する監視システムにも適用可能である。
更に、第1のボード16には、レーザポインタ20が複数固定されていてもよい。この場合、例えば、第1のカメラ12で第1のボード16を撮影し、第2のカメラ14で、複数のレーザポインタ20の光スポットを撮影することによって、一回の撮影で、複数の実測データセットを得ることが可能である。そのため、例えば、相対姿勢作成用画像の取得において、相対姿勢情報を作成するために必要な複数のデータセットを取得するための撮影回数、すなわち、第1及び第2のボード16,18の相対姿勢の変更回数或いは第1のボード16の第1のカメラ12に対する相対姿勢の変更回数を低減することができる。
また、第1の姿勢情報作成用部材は、レーザポインタ20が取り付けられたボード(板状部材)に限定されない。図19(a)は、第1の姿勢情報作成用部材の他の例を示す図面である。図19(a)に示した第1の姿勢情報作成用部材54は、互いに直交するように組み合わされた3つ棒状部材54A,54B,54Cを有する。一つの棒状部材54Bには、レーザポインタ20が、例えば、テープ56によって固定されている。各棒状部材54A,54B,54Cの端部には、マークとして、例えば、発光体(例えば、ダイオードなど)58が付けられていれば。この場合、各棒状部材54A,54B,54Cの端部に付けられたマークのパターンを第1の姿勢情報作成用パターンとして使用され得る。図19(a)に示した第1の姿勢情報作成用部材54では、第1のカメラ12に対する第1の姿勢情報作成用部材54の配置の自由度が向上する。
図19(b)は、第1の姿勢情報作成用部材の更に他の例を示す図面である。図19(b)に示した第1の姿勢情報作成用部材60は、立方体の各表面に第1の姿勢情報作成用パターンを設けると共に、一表面上に、複数のレーザポインタを取り付けたものである。立法体の内側は中空としておけば、レーザポインタを配置しやすい。第1の姿勢情報作成用部材60は、多面体であれば、特に限定されず、また、1の姿勢情報作成用パターンもすべての面に配置されていなくてもよい。更に、各面に設けられる第1の姿勢情報作成用パターンは、同じものでなくてもよい。また、一面に配置されるレーザポインタの数は、1〜3個でもよいし、5個以上でもよい。第1の姿勢情報作成用部材60を使用する場合、レーザポインタの初期位置を推定する際に、レーザポインタの取り付けられている面を利用すればよい。第1の姿勢情報作成用部材60の座標系において、レーザポインタの初期位置及び姿勢が推定されていれば、第1の姿勢情報作成用部材60の種々の面を利用して、第1及び第2のカメラ12,14の姿勢情報、すなわち、R及びTを計算できる。
また、情報処理装置22、38、48は、ポインタ姿勢算出部30A,38A、50Aを有しなくてもよい。この場合、レーザポインタ20の姿勢に関する情報、方向ベクトルn3及び位置ベクトルP3は、第1のボード16に対してレーザポインタ20を取り付けた場合の、第1のボード16に対するレーザポインタ20の角度及び位置を設計値として利用すればよい。また、精緻化部30D、38C、50Dも備え無くても良い。この場合、非線形解としてのRENL及びTENLを算出した第1の回転行列R及び第1の並進ベクトルTと設定すればよい。
更に、第1の実施形態では、相対姿勢情報作成部30は、線形推定部30Bを有していたが、線形推定部30Bを有さなくてもよい。この場合、非線形推定部30Cは、R及びTの初期値として、第1及び第2のカメラ12,14の配置状態から推定されるR及びTを使用すればよい。これは、第3の実施形態でも同様である。一方、第2の実施形態において、R及びTを線形推定する線形推定部及び線形推定工程を有してもよい。
例示した種々の実施形態などは、本発明の趣旨を逸脱しない範囲で適宜組み合わせられ得る。
1…相対姿勢情報作成システム、2…相対姿勢情報作成システム、3…相対姿勢情報作成システム、10…自動車(車両)、12…第1のカメラ、14…第2のカメラ、16…第1の姿勢情報作成用ボード(第1の姿勢情報作成用部材)、18…第2の姿勢情報作成用ボード(第2の姿勢情報作成用部材)、20…レーザポインタ(光源)、22…情報処理装置(相対姿勢情報作成装置)、24…第1の姿勢情報作成用パターン、26…第2の姿勢情報作成用パターン、30…相対姿勢情報作成部、30A…ポインタ姿勢算出部(光源姿勢算出部)、30B…線形推定部、30C…非線形推定部、30D…精緻化部、40…相対姿勢情報作成部、40A…ポインタ姿勢算出部(光源姿勢算出部)、40B…非線形推定部、40C…精緻化部、42…RGB−Dカメラ、44…RGBカメラ(2次元カメラ部)、46…距離画像取得部、46A…IRカメラ、46B…IRプロジェクタ、48…情報処理装置、50…相対姿勢情報作成部、50A…ポインタ姿勢算出部(光源姿勢算出部)、50B…線形推定部、50C…非線形推定部、50D…精緻化部、S1…第1の座標系、S2…第2の座標系、S3…第3の座標系、S4…第4の座標系。
Claims (23)
- 第1のカメラと、
撮影範囲が前記第1のカメラの撮影範囲と重ならないように配置される第2のカメラと、
前記第1及び第2のカメラの相対的な姿勢情報を算出する相対姿勢情報作成装置と、
光源が取り付けられた第1の姿勢情報作成用部材と、
を備え、
前記相対姿勢情報作成装置は、
前記第1の姿勢情報作成用部材が、前記第2のカメラの撮影範囲に前記光源からの光線の光スポットが生じるように前記第1のカメラの撮影範囲に配置されている状態において、前記第1のカメラで撮影された前記第1の姿勢情報作成用部材を含む画像と、前記第2のカメラで撮影された前記光スポットの像を含む画像とを、前記光源の位置情報及び前記光スポットの位置情報によって関連づけることによって、前記第1及び第2のカメラの相対姿勢情報を作成する、
相対姿勢情報作成システム。 - 前記光源は、レーザ光を出力するレーザ光源である、請求項1記載の相対姿勢情報作成システム。
- 前記第2のカメラの撮影範囲内に配置される第2の姿勢情報作成用部材を更に備え、
前記第1及び第2の姿勢情報作成用部材のそれぞれは、第1及び第2の姿勢情報作成用パターンを有しており、
前記第1のカメラに対して設定される3次元座標系を第1の座標系とし、
前記第2のカメラに対して設定される3次元座標系を第2の座標系とし、
前記第1の姿勢情報作成用部材に対して設定される3次元座標系を第3の座標系とし、
前記第2の姿勢情報作成用部材に対して設定される3次元座標系を第4の座標系とし、
前記第1及び第2のカメラの相対姿勢情報を、前記第2の座標系を前記第1の座標系に変換する第1の回転行列R及び第1の並進ベクトルTとし、
前記第1の姿勢情報作成用部材と前記第1のカメラとの相対姿勢情報を、前記第3の座標系を前記第1の座標系に変換する第2の回転行列R1及び第2の並進ベクトルT1とし、
前記第2の姿勢情報作成用部材と前記第2のカメラとの相対姿勢情報を、前記第4の座標系を前記第2の座標系に変換する第3の回転行列R2及び第3の並進ベクトルT2としたとき、
前記相対姿勢情報作成装置は、前記第1の座標系において、前記光源から出力される光線の方向ベクトルn1の方向と、前記光源の位置である点Pから前記光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、前記ベクトルPQ1と前記方向ベクトルn1との内積が1であり、前記第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、前記第1の回転行列R及び前記第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、前記第1の誤差関数の非線形解であるRENL及びTENLを前記第1の回転行列R及び前記第1の並進ベクトルTとして算出する非線形推定部を有し、
前記ベクトルPQ1は、前記第1の座標系における前記点Pの位置ベクトルP1と、前記第2の座標系における前記点Qの位置ベクトルQ2と、前記第1の回転行列Rと、前記第1の並進ベクトルTとによって表され、
前記方向ベクトルn1は、前記第3の座標系における前記光線の方向ベクトルn3と、前記第2の回転行列R1とによって算出され、
前記位置ベクトルP1は、前記第1のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第3の座標系における前記点Pの位置ベクトルP3と、前記第2の回転行列R1と、前記第2の並進ベクトルT1とによって算出され、
前記位置ベクトルQ2は、前記第2のカメラで撮影された画像内の前記光スポットの像に基づいて算出される前記第4の座標系における前記点Qの位置ベクトルQ4と、前記第3の回転行列R2及び第3の並進ベクトルT2とによって算出され、
前記第2の回転行列R1及び前記第2の並進ベクトルT1は、前記第1のカメラで撮影された画像内の前記第1の姿勢情報作成用パターンの像に基づいて算出され、
前記第3の回転行列R2及び前記第3の並進ベクトルT2は、前記第2のカメラで撮影された画像内の前記第2の姿勢情報作成用パターンの像に基づいて算出される、
請求項1又は2記載の相対姿勢情報作成システム。 - 前記第2のカメラは、
撮影対象の2次元画像を取得する2次元カメラ部と、
前記撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、
を有しており、
前記第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、
前記第1のカメラに対して設定される3次元座標系を第1の座標系とし、
前記第2のカメラに対して設定される3次元座標系を第2の座標系とし、
前記第1の姿勢情報作成用部材に対して設定される3次元座標系を第3の座標系とし、
前記第1及び第2のカメラの相対姿勢情報を、前記第2の座標系を前記第1の座標系に変換する第1の回転行列R及び第1の並進ベクトルTとし、
前記第1の姿勢情報作成用部材と前記第1のカメラとの相対姿勢情報を、前記第3の座標系を前記第1の座標系に変換する第2の回転行列R1及び第2の並進ベクトルT1とし、
前記相対姿勢情報作成装置は、前記第1の座標系において、前記光源から出力される光線の方向ベクトルn1の方向と、前記光源の位置である点Pから前記光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、前記ベクトルPQ1と前記方向ベクトルn1との内積が1であり、前記第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、前記第1の回転行列R及び前記第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、前記第1の誤差関数の非線形解であるRENL及びTENLを前記第1の回転行列R及び前記第1の並進ベクトルTとして算出する非線形推定部を有し、
前記ベクトルPQ1は、前記第1の座標系における点Pの位置ベクトルP1と、前記第2の座標系における前記点Qの位置ベクトルQ2と、前記第1の回転行列Rと、前記第1の並進ベクトルTとによって表され、
前記方向ベクトルn1は、前記第3の座標系における前記光線の方向ベクトルn3と、前記第2の回転行列R1とによって算出され、
前記位置ベクトルP1は、前記第1のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第3の座標系における前記点Pの位置ベクトルP3と、前記第2の回転行列R1と、前記第2の並進ベクトルT1とによって算出され、
前記位置ベクトルQ2は、前記2次元カメラ部で撮影された画像と前記距離画像取得部で取得された距離画像とに含まれる前記光スポットの像とに基づいて算出され、
前記第2の回転行列R1及び前記第2の並進ベクトルT1は、前記第1のカメラで撮影された画像内の前記第1の姿勢情報作成用パターンの像から算出される、
請求項1又は2に記載の相対姿勢情報作成システム。 - 前記相対姿勢情報作成装置は、前記共線制約を示す線形方程式を線形推定することによって、前記線形方程式の線形解であるREL及びTELを前記第1の回転行列Rと、前記第1の並進ベクトルTとして算出する線形推定部を更に有し、
前記非線形推定部は、前記REL及びTELを初期値として使用して、前記第1の誤差関数を最適化する、
請求項3又は4に記載の相対姿勢情報作成システム。 - 前記相対姿勢情報作成装置は、
前記光源からの前記光線が前記第1のカメラに入射するように、前記第1のカメラに対して前記第1の姿勢情報作成用部材が配置された状態において、前記第1のカメラで撮影して得られる前記第1の姿勢情報作成用部材の像を含む画像中の前記光源の像と、前記第2の回転行列R1と、前記第2の並進ベクトルT1とに基づいて、前記方向ベクトルn3及び前記位置ベクトルP3を算出する光源姿勢算出部と、
前記第1の誤差関数において、前記方向ベクトルn3、前記位置ベクトルP3、前記第1の回転行列R及び前記第1の並進ベクトルTを変数とみなした第2の誤差関数を、前記光源姿勢算出部で算出された前記方向ベクトルn3及び前記位置ベクトルP3と、前記非線形推定部で算出されたRENL及びTENLとを、変数としての前記方向ベクトルn3及び前記位置ベクトルP3並びに前記第1の回転行列R及び前記第1の並進ベクトルTの初期値として使用しながら、前記第2の誤差関数を最適化することによって、前記第1の回転行列R及び第1の並進ベクトルTを精緻化する精緻化部と、
を更に有する、
請求項3〜5の何れか一項に記載の相対姿勢情報作成システム。 - 前記第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、
前記第1のカメラに対して設定される3次元座標系を第1の座標系とし、
前記第2のカメラに対して設定される3次元座標系を第2の座標系とし、
前記第1の姿勢情報作成用部材に対して設定される3次元座標系を第3の座標系とし、
前記第1及び第2のカメラの相対姿勢情報を、前記第2の座標系を前記第1の座標系に変換する第1の回転行列R及び第1の並進ベクトルTとし、
前記第3の座標系を前記第1の座標系に変換する第2の回転行列R1及び第2の並進ベクトルT1とし、
前記相対姿勢情報作成装置は、前記第1の座標系において、前記光源の位置である点Pから前記第2の座標系の原点O2に向かうベクトルPO2 1と、前記点Pから前記光スポットの位置である点Qに向かうベクトルPQ1と、前記原点O2から前記点Qに向かうベクトルO2Q1とが同じ平面上に位置するという共面制約に基づいた、前記第1の回転行列R及び第1の並進ベクトルTを変数とする第3の誤差関数を非線形推定することによって、前記第3の誤差関数の非線形解であるRENL及びTENLを前記第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定部を有し、
前記ベクトルPO2 1は、前記第1の座標系における前記点Pの位置ベクトルP1と、前記第1の並進ベクトルTとによって表され、
前記ベクトルPQ1は、前記第2の回転行列R1と、前記第1の座標系において、前記光源から出力される光線の方向ベクトルn1によって表され、
前記ベクトルO2Q1は、前記第1の回転行列と、前記第2の座標系における前記点Qの位置ベクトルQ2とによって表され、
前記方向ベクトルn1は、前記第3の座標系における前記光線の方向ベクトルn3と、前記第2の回転行列R1とによって算出され、
前記位置ベクトルP1は、前記第1のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第3の座標系における前記点Pの位置ベクトルP3と、前記第2の回転行列R1と、前記第2の並進ベクトルT1とによって算出され、
前記位置ベクトルQ2は、前記第2のカメラで撮影された画像内の前記光スポットの像に基づいて算出され、
前記第2の回転行列R1及び前記第2の並進ベクトルT1は、前記第1のカメラで撮影された画像内の前記第1の姿勢情報作成用パターンの像から算出される、
請求項1又は2に記載の相対姿勢情報作成システム。 - 前記第1の姿勢情報作成用部材には、複数の前記光源が取り付けられている、請求項1〜7の何れか一項に記載の相対姿勢情報作成システム。
- 撮影範囲が重ならないように配置される第1及び第2のカメラの相対姿勢情報を算出する相対姿勢情報作成方法であって、
撮影範囲が重ならないように配置された前記第1及び第2のカメラによる画像取得工程であって、前記第1のカメラは、光源が取り付けられており前記第2のカメラの撮影範囲に前記光源からの光線の光スポットが生じるように配置された第1の姿勢情報作成用部材の像を含む画像を取得し、前記第2のカメラは前記光スポットの像を含む画像を取得する相対姿勢用画像取得工程と、
前記第1のカメラで得られた前記第1の姿勢情報作成用部材の像を含む画像と、前記第2のカメラで得られた前記光スポットの像を含む画像とを、前記光源の位置情報及び前記光スポットの位置情報によって関連づけることによって、前記第1及び第2のカメラの相対姿勢情報を作成する相対姿勢情報作成工程と、
を備える、相対姿勢情報作成方法。 - 前記光源は、レーザ光を出力するレーザ光源である、請求項9に記載の相対姿勢情報作成方法。
- 相対姿勢用画像取得工程では、前記第2のカメラは、前記第2のカメラの撮影範囲内に配置され前記光スポットが生じている第2の姿勢情報作成用部材の像を含む画像を取得し、
前記第1及び第2の姿勢情報作成用部材のそれぞれは、第1及び第2の姿勢情報作成用パターンを有しており、
前記第1のカメラに対して設定される3次元座標系を第1の座標系とし、
前記第2のカメラに対して設定される3次元座標系を第2の座標系とし、
前記第1の姿勢情報作成用部材に対して設定される3次元座標系を第3の座標系とし、
前記第2の姿勢情報作成用部材に対して設定される3次元座標系を第4の座標系とし、
前記第1及び第2のカメラの相対姿勢情報を、前記第2の座標系を前記第1の座標系に変換する第1の回転行列R及び第1の並進ベクトルTとし、
前記第1の姿勢情報作成用部材と前記第1のカメラとの相対姿勢情報を、前記第3の座標系を前記第1の座標系に変換する第2の回転行列R1及び第2の並進ベクトルT1とし、
前記第2の姿勢情報作成用部材と前記第2のカメラとの相対姿勢情報を、前記第4の座標系を前記第2の座標系に変換する第3の回転行列R2及び第3の並進ベクトルT2としたとき、
前記相対姿勢情報作成工程は、
前記第1の座標系において、前記光源から出力される光線の方向ベクトルn1の方向と、前記光源の位置である点Pから前記光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、前記ベクトルPQ1と前記方向ベクトルn1との内積が1であり、前記第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、前記第1の回転行列R及び前記第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、前記第1の誤差関数の非線形解であるRENL及びTENLを前記第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程を有し、
前記ベクトルPQ1は、前記第1の座標系における前記点Pの位置ベクトルP1と、前記第2の座標系における前記Qの位置ベクトルQ2と、前記第1の回転行列Rと、前記第1の並進ベクトルTとによって表され、
前記方向ベクトルn1は、前記第3の座標系における前記光線の方向ベクトルn3と、前記第2の回転行列R1とによって算出され、
前記位置ベクトルP1は、前記第1のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第3の座標系における前記点Pの位置ベクトルP3と、前記第2の回転行列R1と、前記第2の並進ベクトルT1とによって算出され、
前記位置ベクトルQ2は、前記第2のカメラで撮影された画像内の前記光スポットの像に基づいて算出される前記第4の座標系における前記点Qの位置ベクトルQ4と、前記第3の回転行列R2及び第3の並進ベクトルT2とによって算出され、
前記第2の回転行列R1及び前記第2の並進ベクトルT1は、前記第1のカメラで撮影された画像内の前記第1の姿勢情報作成用パターンの像に基づいて算出され、
前記第3の回転行列R2及び前記第3の並進ベクトルT2は、前記第2のカメラで撮影された画像内の前記第2の姿勢情報作成用パターンの像に基づいて算出される、
請求項9又は10に記載の相対姿勢情報作成方法。 - 前記第2のカメラは、
撮影対象の2次元画像を取得する2次元カメラ部と、
前記撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、
を有しており、
前記第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、
前記第1のカメラに対して設定される3次元座標系を第1の座標系とし、
前記第2のカメラに対して設定される3次元座標系を第2の座標系とし、
前記第1の姿勢情報作成用部材に対して設定される3次元座標系を第3の座標系とし、
前記第2の姿勢情報作成用部材に対して設定される3次元座標系を第4の座標系とし、
前記第1及び第2のカメラの相対姿勢情報を、前記第2の座標系を前記第1の座標系に変換する第1の回転行列R及び第1の並進ベクトルTとし、
前記第1の姿勢情報作成用部材と前記第1のカメラとの相対姿勢情報を、前記第3の座標系を前記第1の座標系に変換する第2の回転行列R1及び第2の並進ベクトルT1とし、
前記相対姿勢情報作成工程は、
前記第1の座標系において、前記光源から出力される光線の方向ベクトルn1の方向と、前記光源の位置である点Pから前記光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、前記ベクトルPQ1と前記方向ベクトルn1との内積が1であり、前記第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、前記第1の回転行列R及び第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、前記第1の誤差関数の非線形解であるRENL及びTENLを前記第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程と、
を有し、
前記ベクトルPQ1は、前記第1の座標系において前記点Pの位置を示す位置ベクトルP1と、前記第2の座標系における前記点Qの位置ベクトルQ2と、前記第1の回転行列Rと、前記第1の並進ベクトルTとによって表され、
前記方向ベクトルn1は、前記第3の座標系における前記光線の方向ベクトルn3と、前記第2の回転行列R1とによって算出され、
前記位置ベクトルP1は、前記第1のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第3の座標系における前記点Pの位置ベクトルP3と、前記第2の回転行列R1と、前記第2の並進ベクトルT1とによって算出され、
前記位置ベクトルQ2は、前記2次元カメラ部で撮影された画像と前記距離画像取得部で取得された距離画像とに含まれる前記光スポットの像とに基づいて算出され、
前記第2の回転行列R1及び前記第2の並進ベクトルT1は、前記第1のカメラで撮影された画像内の前記第1の姿勢情報作成用パターンの像から算出される、
請求項9又は10に記載の相対姿勢情報作成方法。 - 前記相対姿勢情報作成工程は、
前記共線制約を示す線形方程式を線形推定することによって、前記線形方程式の線形解としてのREL及びTELを前記第1の回転行列R及び第1の並進ベクトルTとして算出する線形推定工程を更に有し、
前記非線形推定工程では、前記REL及びTELを初期値として使用して、前記第1の誤差関数を最適化する、請求項11又は12に記載の相対姿勢情報作成方法。 - 前記相対姿勢用画像取得工程では、前記第1の座標系における点Pの位置ベクトルP1と、方向ベクトルn1と、前記第2の座標系における点Qの位置ベクトルQ2の組みが複数得られるように、前記第1及び第2のカメラで画像を取得する、請求項11〜13の何れか一項に記載の相対姿勢情報作成方法。
- 前記相対姿勢用画像取得工程では、前記第1の姿勢情報作成用部材の前記第1のカメラに対する相対姿勢を変更しながら、前記第1のカメラで、前記第1の姿勢情報作成用部材の像を含む画像を取得する、
請求項14に記載の相対姿勢情報作成方法。 - 前記第1の姿勢情報作成用部材には、複数の前記光源が取り付けられている、請求項14又は15に記載の相対姿勢情報作成方法。
- 前記第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、
前記第1のカメラに対して設定される3次元座標系を第1の座標系とし、
前記第2のカメラに対して設定される3次元座標系を第2の座標系とし、
前記第1の姿勢情報作成用部材に対して設定される3次元座標系を第3の座標系とし、
前記第1及び第2のカメラの相対姿勢情報を、前記第2の座標系を前記第1の座標系に変換する第1の回転行列R及び第1の並進ベクトルTとし、
前記第3の座標系を前記第1の座標系に変換する第2の回転行列R1及び第2の並進ベクトルT1とし、
前記相対姿勢情報作成工程は、
前記第1の座標系において、前記光源の位置である点Pから前記第2の座標系の原点O2に向かうベクトルPO2 1と、前記点Pから前記光スポットの位置である点Qに向かうベクトルPQ1と、前記原点O2から前記点Qに向かうベクトルO2Q1とが同じ平面上に位置するという共面制約に基づいた、前記第1の回転行列R及び第1の並進ベクトルTを変数とする第3の誤差関数を非線形推定することによって、前記第3の誤差関数の非線形解であるRENL及びTENLを前記第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程、
を有し、
前記ベクトルPO2 1は、前記第1の座標系における前記点Pの位置ベクトルP1と、前記第1の並進ベクトルTとによって表され、
ベクトルPQ1は、前記第2の回転行列R1と、前記第1の座標系において、前記光源から出力される光線の方向ベクトルn1によって表され、
ベクトルO2Q1は、前記第1の回転行列と、前記第2の座標系における前記点Qの位置ベクトルQ2とによって表され、
前記方向ベクトルn1は、前記第3の座標系における前記光線の方向ベクトルn3と、前記第2の回転行列R1とによって算出され、
位置ベクトルP1は、記第1のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第3の座標系における前記点Pの位置ベクトルP3と、前記第2の回転行列R1と、前記第2の並進ベクトルT1とによって算出され、
前記位置ベクトルQ2は、前記第2のカメラで撮影された画像内の前記光スポットの像に基づいて算出され、
前記第2の回転行列R1及び前記第2の並進ベクトルT1は、前記第1のカメラで撮影された画像内の前記第1の姿勢情報作成用パターンの像から算出される、
請求項9又は10に記載の相対姿勢情報作成方法。 - 撮影範囲が重ならないように配置された第1及び第2のカメラの相対姿勢情報を算出するための相対姿勢情報作成プログラムであって、
コンピュータに、
撮影範囲が重ならないように配置された前記第1及び第2のカメラのうち前記第1のカメラで取得された画像であって、光源が取り付けられており前記第2のカメラの撮影範囲に前記光源からの光線の光スポットが生じるように配置された第1の姿勢情報作成用部材の像を含む画像と、前記第2のカメラで撮影された前記光スポットの像を含む画像とを、前記光源の位置情報及び前記光スポットの位置情報によって関連づけることによって、前記第1及び第2のカメラの相対姿勢情報を作成する相対姿勢情報作成工程を、
実行せしめる、相対姿勢情報作成プログラム。 - 前記光源は、レーザ光を出力するレーザ光源である、請求項18に記載の相対姿勢情報作成プログラム。
- 前記第2のカメラが撮影した前記光スポットを含む画像は、第2の姿勢情報作成用部材の像を含む画像であり、
前記第1及び第2の姿勢情報作成用部材のそれぞれは、第1及び第2の姿勢情報作成用パターンを有しており、
前記第1のカメラに対して設定される3次元座標系を第1の座標系とし、
前記第2のカメラに対して設定される3次元座標系を第2の座標系とし、
前記第1の姿勢情報作成用部材に対して設定される3次元座標系を第3の座標系とし、
前記第2の姿勢情報作成用部材に対して設定される3次元座標系を第4の座標系とし、
前記第1及び第2のカメラの相対姿勢情報を、前記第2の座標系を前記第1の座標系に変換する第1の回転行列R及び第1の並進ベクトルTとし、
前記第1の姿勢情報作成用部材と前記第1のカメラとの相対姿勢情報を、前記第3の座標系を前記第1の座標系に変換する第2の回転行列R1及び第2の並進ベクトルT1とし、
前記第2の姿勢情報作成用部材と前記第2のカメラとの相対姿勢情報を、前記第4の座標系を前記第2の座標系に変換する第3の回転行列R2及び第3の並進ベクトルT2としたとき、
前記相対姿勢情報作成工程は、前記第1の座標系において、前記光源から出力される光線の方向ベクトルn1の方向と、前記光源の位置である点Pから前記光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、前記ベクトルPQ1と前記方向ベクトルn1との内積が1であり、前記第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、前記第1の回転行列R及び第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、前記第1の誤差関数の非線形解であるRENL及びTENLを前記第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程を有し、
前記ベクトルPQ1は、前記第1の座標系における前記点Pの位置ベクトルP1と、前記第2の座標系における前記Qの位置ベクトルQ2と、前記第1の回転行列Rと、前記第1の並進ベクトルTとによって表され、
前記方向ベクトルn1は、前記第3の座標系における前記光線の方向ベクトルn3と、前記第2の回転行列R1とによって算出され、
前記位置ベクトルP1は、前記第1のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第3の座標系における前記点Pの位置ベクトルP3と、前記第2の回転行列R1と、前記第2の並進ベクトルT1とによって算出され、
前記位置ベクトルQ2は、前記第2のカメラで撮影された画像内の前記光スポットの像に基づいて算出される前記第4の座標系における前記点Qの位置ベクトルQ4と、前記第3の回転行列R2及び第3の並進ベクトルT2とによって算出され、
前記第2の回転行列R1及び前記第2の並進ベクトルT1は、前記第1のカメラで撮影された画像内の前記第1の姿勢情報作成用パターンの像に基づいて算出され、
前記第3の回転行列R2及び前記第3の並進ベクトルT2は、前記第2のカメラで撮影された画像内の前記第2の姿勢情報作成用パターンの像に基づいて算出される、
請求項18又は19に記載の相対姿勢情報作成プログラム。 - 前記第2のカメラは、
撮影対象の2次元画像を取得する2次元カメラ部と、
前記撮影対象までの距離情報を含む距離画像を取得する距離画像取得部と、
を有しており、
前記第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、
前記第1のカメラに対して設定される3次元座標系を第1の座標系とし、
前記第2のカメラに対して設定される3次元座標系を第2の座標系とし、
前記第1の姿勢情報作成用部材に対して設定される3次元座標系を第3の座標系とし、
前記第1及び第2のカメラの相対姿勢情報を、前記第2の座標系を前記第1の座標系に変換する第1の回転行列R及び第1の並進ベクトルTとし、
前記第1の姿勢情報作成用部材と前記第1のカメラとの相対姿勢情報を、前記第3の座標系を前記第1の座標系に変換する第2の回転行列R1及び第2の並進ベクトルT1とし、
前記相対姿勢情報作成工程は、前記第1の座標系において、前記光源から出力される光線の方向ベクトルn1の方向と、前記光源の位置である点Pから前記光スポットの位置である点Qに向かうベクトルPQ1の方向とが一致するという共線制約と共に、前記ベクトルPQ1と前記方向ベクトルn1との内積が1であり、前記第1の回転行列Rを表す四元数の絶対値の2乗が1であるという制約に基づいた、前記第1の回転行列R及び第1の並進ベクトルTを変数とする第1の誤差関数を非線形推定することによって、前記第1の誤差関数の非線形解であるRENL及びTENLを前記第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程を有し、
前記ベクトルPQ1は、前記第1の座標系における前記点Pの位置ベクトルP1と、前記第2の座標系における前記点Qの位置ベクトルQ2と、前記第1の回転行列Rと、前記第1の並進ベクトルTとによって表され、
前記方向ベクトルn1は、前記第3の座標系における前記光線の方向ベクトルn3と、前記第2の回転行列R1とによって算出され、
前記位置ベクトルP1は、前記第1のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第3の座標系における前記点Pの位置ベクトルP3と、前記第2の回転行列R1と、前記第2の並進ベクトルT1とによって算出され、
前記位置ベクトルQ2は、前記2次元カメラ部で撮影された画像と前記距離画像取得部で取得された距離画像とに含まれる前記光スポットの像とに基づいて算出され、
前記第2の回転行列R1及び前記第2の並進ベクトルT1は、前記第1のカメラで撮影された画像内の前記第1の姿勢情報作成用パターンの像から算出される、
請求項18又は19に記載の相対姿勢情報作成プログラム。 - 前記相対姿勢情報作成工程は、
前記共線制約を示す線形方程式を線形推定することによって、前記線形方程式の線形解であるREL及びTELを前記第1の回転行列R及び第1の並進ベクトルTとして算出する線形推定工程を更に有し、
前記非線形推定工程は、前記REL及びTELを初期値として使用して、前記第1の誤差関数を最適化する、請求項20又は21に記載の相対姿勢情報作成プログラム。 - 前記第1の姿勢情報作成用部材は、第1の姿勢情報作成用パターンを有しており、
前記第1のカメラに対して設定される3次元座標系を第1の座標系とし、
前記第2のカメラに対して設定される3次元座標系を第2の座標系とし、
前記第1の姿勢情報作成用部材に対して設定される3次元座標系を第3の座標系とし、
前記第1及び第2のカメラの相対姿勢情報を、前記第2の座標系を前記第1の座標系に変換する第1の回転行列R及び第1の並進ベクトルTとし、
前記第3の座標系を前記第1の座標系に変換する第2の回転行列R1及び第2の並進ベクトルT1とし、
前記相対姿勢情報作成工程は、前記第1の座標系において、前記光源の位置である点Pから前記第2の座標系の原点O2に向かうベクトルPO2 1と、前記点Pから前記光スポットの位置である点Qに向かうベクトルPQ1と、前記原点O2から前記点Qに向かうベクトルO2Q1とが同じ平面上に位置するという共面制約に基づいた、前記第1の回転行列R及び第1の並進ベクトルTを変数とする第3の誤差関数を非線形推定することによって、前記第3の誤差関数の非線形解であるRENL及びTENLを前記第1の回転行列R及び第1の並進ベクトルTとして算出する非線形推定工程を有し、
前記ベクトルPO2 1は、前記第1の座標系における前記点Pの位置ベクトルP1と、前記第1の並進ベクトルTとによって表され、
前記ベクトルPQ1は、前記第2の回転行列R1と、前記第1の座標系において、前記光源から出力される光線の方向ベクトルn1によって表され、
前記ベクトルO2Q1は、前記第1の回転行列と、前記第2の座標系における前記点Qの位置ベクトルQ2とによって表され、
前記方向ベクトルn1は、前記第3の座標系における前記光線の方向ベクトルn3と、前記第2の回転行列R1とによって算出され、
前記位置ベクトルP1は、前記第1のカメラで撮影された画像内の前記光源の像に基づいて算出される前記第3の座標系における前記点Pの位置ベクトルP3と、前記第2の回転行列R1と、前記第2の並進ベクトルT1とによって算出され、
前記位置ベクトルQ2は、前記第2のカメラで撮影された画像内の前記光スポットの像に基づいて算出され、
前記第2の回転行列R1及び前記第2の並進ベクトルT1は、前記第1のカメラで撮影された画像内の前記第1の姿勢情報作成用パターンの像から算出される、
請求項18又は19に記載の相対姿勢情報作成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014142474A JP2016017913A (ja) | 2014-07-10 | 2014-07-10 | 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014142474A JP2016017913A (ja) | 2014-07-10 | 2014-07-10 | 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016017913A true JP2016017913A (ja) | 2016-02-01 |
Family
ID=55233216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014142474A Pending JP2016017913A (ja) | 2014-07-10 | 2014-07-10 | 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016017913A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019176118A1 (ja) * | 2018-03-16 | 2019-09-19 | 三菱電機株式会社 | 重畳表示システム |
WO2020175621A1 (ja) * | 2019-02-28 | 2020-09-03 | 日本電気株式会社 | カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体 |
RU2769303C2 (ru) * | 2017-08-08 | 2022-03-30 | Конинклейке Филипс Н.В. | Оборудование и способ для формирования представления сцены |
CN114615441A (zh) * | 2020-12-04 | 2022-06-10 | 株式会社日立制作所 | 校准装置以及校准方法 |
-
2014
- 2014-07-10 JP JP2014142474A patent/JP2016017913A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2769303C2 (ru) * | 2017-08-08 | 2022-03-30 | Конинклейке Филипс Н.В. | Оборудование и способ для формирования представления сцены |
WO2019176118A1 (ja) * | 2018-03-16 | 2019-09-19 | 三菱電機株式会社 | 重畳表示システム |
JPWO2019176118A1 (ja) * | 2018-03-16 | 2020-12-03 | 三菱電機株式会社 | 重畳表示システム |
JP7003219B2 (ja) | 2018-03-16 | 2022-01-20 | 三菱電機株式会社 | 重畳表示システム |
WO2020175621A1 (ja) * | 2019-02-28 | 2020-09-03 | 日本電気株式会社 | カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体 |
JPWO2020175621A1 (ja) * | 2019-02-28 | 2020-09-03 | ||
US11758110B2 (en) | 2019-02-28 | 2023-09-12 | Nec Corporation | Camera calibration information acquisition device, image processing device, camera calibration information acquisition method, and recording medium |
CN114615441A (zh) * | 2020-12-04 | 2022-06-10 | 株式会社日立制作所 | 校准装置以及校准方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4555876B2 (ja) | 車載カメラのキャリブレーション方法 | |
JP4814669B2 (ja) | 3次元座標取得装置 | |
WO2017135081A1 (ja) | 車載カメラ用校正システム | |
JP7002007B2 (ja) | カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム | |
US20130010070A1 (en) | Information processing apparatus and information processing method | |
CN111615443B (zh) | 信息处理装置、信息处理方法和信息处理*** | |
JP2016057108A (ja) | 演算装置、演算システム、演算方法およびプログラム | |
JP2009042162A (ja) | キャリブレーション装置及びその方法 | |
JP2015090298A (ja) | 情報処理装置、情報処理方法 | |
JP2012253758A (ja) | 車両視覚システムの較正方法および車両視覚システム | |
JP2011217233A (ja) | 車載カメラ校正システム及びコンピュータプログラム | |
EP2932191A2 (en) | Apparatus and method for three dimensional surface measurement | |
JP2022089269A (ja) | キャリブレーション装置およびキャリブレーション方法 | |
KR20220113781A (ko) | 환경의 지형을 측정하는 방법 | |
Schneider et al. | On the accuracy of dense fisheye stereo | |
JP2018189637A (ja) | カメラパラメータ算出方法、カメラパラメータ算出プログラム、カメラパラメータ算出装置、及びカメラパラメータ算出システム | |
CN110969665A (zh) | 一种外参标定方法、装置、***及机器人 | |
CN113744340A (zh) | 用轴向视点偏移的非中心相机模型校准相机并计算点投影 | |
JPH11160021A (ja) | 広域3次元位置計測方法及び装置 | |
JP2016017913A (ja) | 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム | |
CN113474819A (zh) | 信息处理装置、信息处理方法和程序 | |
CN111971956B (zh) | 用于动态立体校准的方法及*** | |
Zou et al. | Calibration of nonoverlapping in-vehicle cameras with laser pointers | |
CN114926538A (zh) | 单目激光散斑投影***的外参数标定方法和装置 | |
CN111145267B (zh) | 基于imu辅助的360度全景视图多相机标定方法 |