JP2012167944A - ステレオカメラ校正方法及び装置 - Google Patents
ステレオカメラ校正方法及び装置 Download PDFInfo
- Publication number
- JP2012167944A JP2012167944A JP2011027080A JP2011027080A JP2012167944A JP 2012167944 A JP2012167944 A JP 2012167944A JP 2011027080 A JP2011027080 A JP 2011027080A JP 2011027080 A JP2011027080 A JP 2011027080A JP 2012167944 A JP2012167944 A JP 2012167944A
- Authority
- JP
- Japan
- Prior art keywords
- stereo camera
- distance
- calibration
- calibration target
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
Abstract
【課題】複数の単眼カメラを備え、各単眼カメラから撮像された画像の視差から物体の距離を測定するステレオカメラにおいて、ステレオカメラから校正用ターゲットまでの距離を正確に測定できるようにして、ステレオカメラの校正精度を向上せしめる。
【解決手段】2つの単眼カメラ1,2と、該単眼カメラを連結するカメラステイ3でステレオカメラを構成する。該ステレオカメラの前方に校正用ターゲット30を、後方にレーザ距離計20を設置し、カメラステイの、算出距離方向と垂直に交わる面を基準面として、レーザ距離計により、基準面までの距離L1,及び校正用ターゲットまでの距離L2を測定する。そして、基準面が、算出する距離の原点と既知の位置関係にあることを利用して、測定した距離L1,L2から、ステレオカメラから校正用ターゲットまでの距離を正確に求めて、ステレオカメラのパラメータを校正する。
【選択図】図2
【解決手段】2つの単眼カメラ1,2と、該単眼カメラを連結するカメラステイ3でステレオカメラを構成する。該ステレオカメラの前方に校正用ターゲット30を、後方にレーザ距離計20を設置し、カメラステイの、算出距離方向と垂直に交わる面を基準面として、レーザ距離計により、基準面までの距離L1,及び校正用ターゲットまでの距離L2を測定する。そして、基準面が、算出する距離の原点と既知の位置関係にあることを利用して、測定した距離L1,L2から、ステレオカメラから校正用ターゲットまでの距離を正確に求めて、ステレオカメラのパラメータを校正する。
【選択図】図2
Description
本発明は、物体の距離や位置を測定するのに用いられるステレオカメラに関し、詳しくは、ステレオカメラの内部パラメータや外部パラメータを校正する方法及び装置に関する。
ステレオカメラの用途の一つに、複数の位置に設置された単眼カメラからの画像を取得し、各単眼カメラにおける像位置の差(視差)を用いて物体の距離や位置を測定する利用法がある。
近年、環境認識へのニーズが高まっており、例えば自動車にステレオカメラを搭載し、運転手に車間距離や周囲の歩行者の有無などの情報を提供して、運転を支援するシステムが実用化されつつある。そのため、測定範囲の遠距離化や測定の高精度化への要求が高まっている。
上述のように、ステレオカメラでは、各単眼カメラにおける像位置の差(視差)から距離を求めるが、視差と距離の関係はステレオカメラのパラメータに依存する。ステレオカメラのパラメータには、単眼カメラの画像中心位置や焦点距離などの内部パラメータと、単眼カメラ同士の相対位置・姿勢である外部パラメータとがある。
ステレオカメラのパラメータを同定するために事前に校正(キャリブレーション)が行われる。この校正の精度によって距離測定の精度が左右される。しかし、内部パラメータや外部パラメータは直接測定することが難しいため、一般的には各単眼カメラの撮影画像から各パラメータを推定する。
例えば、特許文献1では、既知の三次元座標を持つ校正用ターゲットを撮影することで校正を行っている。この場合、校正の精度は校正用ターゲットとカメラの距離の設置精度に依存する。しかし、カメラと校正用ターゲット間の正確な位置関係を測定するのは困難である。
本発明は、複数の単眼カメラを備え、各単眼カメラから撮像された画像の像位置の差から物体の距離を測定するステレオカメラにおいて、ステレオカメラから校正用ターゲットまでの距離を正確に測定できるようにすることで、ステレオカメラの内部パラメータや外部パラメータの校正精度を向上させることを目的とする。
本発明のステレオカメラは、複数の単眼カメラと、該単眼カメラを連結するカメラステイを具備する。該ステレオカメラの前方に校正用ターゲットを設置し、後方にレーザ距離計などの距離測定器を設置し、カメラステイの、算出する距離方向と垂直に交わる面を基準面として、距離測定器により、距離測定器から基準面までの距離L1,及び距離測定器から校正用ターゲットまでの距離L2を測定する。そして、基準面が、算出する距離の原点(ステレオカメラの光学中心)と既知の位置関係にあることを利用して、測定した距離L1,L2から、ステレオカメラから校正用ターゲットまでの距離を求めて、ステレオカメラのパラメータを校正する。
具体的には、物体の距離Zを次式
Z=B*f(d0+Δd)
で算出する場合(Bは基線長、fは焦点距離、d0は視差、Δdは視差のオフセット)、
ステレオカメラから校正用ターゲットまでの距離の異なる2以上の位置において、ステレオカメラから校正用ターゲットまでの距離を上記のようにして測定すると共に、ステレオカメラで校正用ターゲットを撮影して視差を算出し、測定した距離と視差の2以上の組み合わせから、上記式によりBf値とΔdを算出する。
具体的には、物体の距離Zを次式
Z=B*f(d0+Δd)
で算出する場合(Bは基線長、fは焦点距離、d0は視差、Δdは視差のオフセット)、
ステレオカメラから校正用ターゲットまでの距離の異なる2以上の位置において、ステレオカメラから校正用ターゲットまでの距離を上記のようにして測定すると共に、ステレオカメラで校正用ターゲットを撮影して視差を算出し、測定した距離と視差の2以上の組み合わせから、上記式によりBf値とΔdを算出する。
また、ステレオカメラは2つの単眼カメラとし、物体の距離Zを次式
Z=B*f0/d0
で算出する場合(B0は設計値の基線長、f0は設計値の焦点距離、d0は視差)
3次元座標が既知の複数の特徴点を有する校正用ターゲットを用いて、ステレオカメラから上記のようにして校正用ターゲットまでの距離を測定すると共に、ステレオカメラで校正用ターゲットを撮影し、
各単眼カメラについて、校正用ターゲット中央を原点とし、水平、垂直方向にそれぞれx,y軸をもつ座標系で、校正用ターゲット上の特徴点の位置(a,b,0)に対応する当該単眼カメラにおける特徴点の理想像位置(i0,j0)を次式
i0=(a±B0/2)*f0/Z
j0=b*f0/Z
で算出して、当該単眼カメラにおける特徴点の実際の像位置(i,j)と前記理想像位置(i0,j0)の差から、(i,j)に映った像を(i0,j0)に補正するルックアップテープルを作成する。
Z=B*f0/d0
で算出する場合(B0は設計値の基線長、f0は設計値の焦点距離、d0は視差)
3次元座標が既知の複数の特徴点を有する校正用ターゲットを用いて、ステレオカメラから上記のようにして校正用ターゲットまでの距離を測定すると共に、ステレオカメラで校正用ターゲットを撮影し、
各単眼カメラについて、校正用ターゲット中央を原点とし、水平、垂直方向にそれぞれx,y軸をもつ座標系で、校正用ターゲット上の特徴点の位置(a,b,0)に対応する当該単眼カメラにおける特徴点の理想像位置(i0,j0)を次式
i0=(a±B0/2)*f0/Z
j0=b*f0/Z
で算出して、当該単眼カメラにおける特徴点の実際の像位置(i,j)と前記理想像位置(i0,j0)の差から、(i,j)に映った像を(i0,j0)に補正するルックアップテープルを作成する。
本発明によれば、距離測定器を利用して、ステレオカメラから校正用ターゲットまでの距離を正確に測ることができるため、ステレオカメラのパラメータの校正精度が向上し、距離測定を高精度に行うことが可能になる。
以下、本発明の実施の形態について図面を参照して説明する。
図1は本発明の第一の実施形態(実施例1)におけるステレオカメラの構成を示したもので、図1(a)は分解斜視図、図1(b)は完成時の傾斜図を示している。本ステレオカメラの構成は、2つの単眼カメラ1,2と、これら単眼カメラ1,2を取り付けるカメラステイ3からなる。単眼カメラ1,2は、それぞれ光軸に直交する筐体前面を基準面としてカメラステイ3にネジ等で取りつけられている。カメラステイ3の該単眼カメラ1,2が取り付けられる位置には、それぞれ穴4,5が設けられている。図1中、x,yが基準面、これと垂直に交わるzが距離方向を示している。
図1では省略したが、処理系は、各単眼カメラ1,2で撮影された画像を補正処理する画像処理部、該画像処理部が出力する画像を用いて視差を求める視差演算部、該視差をもとに物体距離を算出する距離演算部などからなる。
本実施例では、各単眼カメラ1,2の歪キャリブレーション、基線長を除く外部パラメータのキャリブレーションは既に公知の方法(例えば、Zhang法;“A flexible new technique for camera calibration”IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11):1330-1334,2000)で求められているとする。画像処理部は、キャリブレーションにより求められた内部パラメータや外部パラメータをもとに、各単眼カメラ1,2で撮影された画像を補正する(歪み補正等)。視差演算部は、画像処理部で補正された各単眼カメラ1,2の撮影画像から視差を求め、距離演算部は該視差から物体の距離を計算する。
ここで、距離Zは式(1)で計算される。
Z=B0*f0/d0 (1)
B0は設計値の基線長(カメラの光軸間の長さ)、f0は設計値の焦点距離、d0は測定された視差である。
Z=B0*f0/d0 (1)
B0は設計値の基線長(カメラの光軸間の長さ)、f0は設計値の焦点距離、d0は測定された視差である。
ところで、実際の焦点距離や基線長は設計値とは異なっている。また、カメラのセンサ(CCDやCMOSセンサ)の理想位置からずれなどの要因により、測定された視差にも誤差がのる。
そのため、実際には、距離Zは次式の
Z=B*f/(d0+Δd) (2)
となる。ここで、Bは実際の基線長、fは実際の焦点距離、Δdは視差のオフセットである。
Z=B*f/(d0+Δd) (2)
となる。ここで、Bは実際の基線長、fは実際の焦点距離、Δdは視差のオフセットである。
ステレオカメラで高精度に測距を行うためには、BF値(Bとfの積)とΔdを事前に校正(キャリブレーション)しておく必要がある。本実施例は、以下のようにしてBf値とΔdを推定する。
図2に、本実施例のステレオカメラのBf値とΔdを推定するためのキャリブレーション装置構成例を示す。図2において、10は図1の構成のステレオカメラ、20はレーザ距離計(距離測定器)、30は校正用ターゲットである。本実施例では、カメラステイ3の背面が単眼カメラ1,2の取り付け面であり、また、基準面である。
図3に、本実施例のキャリブレーションの全体的流れを示す。また、図4にステレオカメラ10とレーザ距離計20と校正用ターゲット30の各距離関係を示す。
まず、ステレオカメラ10を構成するカメラステイ3の背面である基準面にミラー15を設置する(ステップ101)。図4に示すように、ミラー15の反射面はステレオカメラ10の後方側に向けられる。ここで、ミラーの両面は平行とみなせるとする。
次に、レーザ距離計20のレーザ光がミラー15に当たるように、ステレオカメラ10の後方にレーザ距離計20を設置し、基準面とレーザ距離計20の位置を調整する(ステップ102)。ミラー15からの反射光がレーザ距離計20の出射端に戻ってくるよう調整することで、ステレオカメラ10の基準面とレーザ距離計20を直交させ、レーザ距離計20の測定距離方向とステレオカメラ10の測定距離方向を一致させることができる。こうして、レーザ距離計20により、該レーザ距離計20からミラー反射面までの距離L1を測定する(ステップ103)。その後、ミラー15は取り外す。
次に、ステレオカメラ10の前方に、レーザ距離計20のレーザ光が当たる位置に校正用ターゲット30を設置する(ステップ104)。本実施例では、基線長、視差のオフセット以外はキャリブレーションされているので、校正用ターゲットが画面内のどこに映っていても視差は一定となる。そのため、校正用ターゲット30は、各単眼カメラ1,2に同時に映る特徴点を1点以上持っていればよい。しかし、特徴点までの距離を正確に測るという点において、レーザ距離計20のレーザ照射位置になるように設置することが望ましい。
校正用ターゲット30を設置した後、レーザ距離計20で、該レーザ距離計20から校正用ターゲット30までの距離L2を測定する(ステップ105)。そして、距離L1,L2をもとに、ステレオカメラ10の光学中心から校正用ターゲット30までの距離Zを求める(ステップ106)。
ここで、図4より、距離Zは、
Z=L2−L1−t+ΔL (3)
として求められる。tはミラーの厚さ、ΔLは光学中心(測距の原点)と基準面の距離で、いずれも既知であるとする。
Z=L2−L1−t+ΔL (3)
として求められる。tはミラーの厚さ、ΔLは光学中心(測距の原点)と基準面の距離で、いずれも既知であるとする。
次に、ステレオカメラ10で校正用ターゲット30を撮影する(ステップ107)。そして、各単眼カメラ1,2の撮影画像から校正用ターゲット30の特徴点の視差d0を算出する(ステップ108)。
その後、ステップ104に戻り、校正用ターゲット30を前回とはステレオカメラ10からの距離が異なる位置に設置して、ステップ105〜108を繰り返す。これを少なくとも、ステレオカメラ10と校正用ターゲット30の距離が互いに異なる2以上の位置について繰り返す(ステップ109)。
こうして求まった視差d0と距離Zの2つ以上の組みを用いて、式(2)によりBf値とΔdを算出する(ステップ110)。
本実施例では、ステレオカメラの距離方向に直交する基準面を設けておくことで、レーザ距離計(距離測定器)を利用し、ステレオカメラから校正用ターゲットまでの距離を正確に測ることができる。そのため、ステレオカメラのキャリブレーションとして、Bf値とΔdの推定精度が向上する。
図5は、本実施例のキャリブレーション時に適用される処理系のブロック図を示している。ステレオカメラ10の各単眼カメラ1,2は、それぞれ校正用ターゲット30を撮影して撮影画像を出力する。画像処理部1010は、予め求められた内部パラメータや外部パラメータをもとに、各単眼カメラ1,2の撮影画像を補正する(歪み補正等)。視差演算部1020は、画像処理部1010で補正された各単眼カメラ1,2の撮像画像をもとに、校正用ターゲット30の視差d0を算出する。視差計算には、例えば周知のパターンマッチング手法を利用する。図3で説明したように、視差d0は、ステレオカメラ10と校正用ターゲット30の距離が互いに異なる2以上の位置についてそれぞれ算出される。
一方、レーザ距離計20により、レーザ距離計20からミラー反射面までの距離L1、レーザ距離計20からの校正用ターゲットまでの距離L2が得られる。距離L2も、ステレオカメラ10と校正用ターゲット30の距離が互いに異なる2以上の位置について取得される。
校正演算部1030は、視差d0、距離L1,L2を入力して、次のようにBf値と視差オフセットΔdを算出する。カメラの光学中心と基準面の距離ΔL、ミラーの厚さtは予め与えられているとする。
まず、L1,L2,ΔL,tをもとに、式(3)により、ステレオカメラ10の光学中心から校正用ターゲット30までの距離Zを算出する。これをステレオカメラ10と校正用ターゲット30の距離が互い異なる2以上の位置について繰り返す。なお、距離Zは別途、あらかじめ計算しておくことでもよい。次に、視差d0と距離Zの2つ以上の組み合わせを用いて、式(2)によりBf値とΔdを算出する。具体的には、式(2)にd0、Zを代入し、連立方程式を解くことで算出する。算出されたBf値とΔdは、メモリ等に保持しておけばよい。
図6は、本実施例の通常使用時に適用される処理系のブロック図を示している。ここで、画像処理部1010と視差演算部1020はキャリブレーションの場合と兼用することができる。
ステレオカメラ10の各単眼カメラ1,2でそれぞれ被写体を撮影する。画像処理部1010は、各単眼カメラ1,2の撮影画像を補正する(歪み補正等)。視差演算部1020は、画像処理部1010で補正された各単眼カメラ1,2の撮像画像を入力して、周知のパターンマッチング手法等を利用して視差d0を算出する。距離演算部1040は、視差演算部1020からの視差d0、及び、先のキャリブレーションにより求めたBf値、Δdを入力して、式(2)により、被写体の距離Zを算出する。
なお、図5及び図6では、キャリブレーション時の処理系と通常使用時の処理系を別々に示したが、実際には、これらはCPUやメモリ等を用いて一体的に構成されることになる。
図7は本発明の第二の実施形態(実施例2)におけるステレオカメラの構成を示したもので、図7(a)は分解斜視図、図7(b)は完成時の傾斜図を示している。本ステレオカメラの構成は、先の実施例1と同様に、2つの単眼カメラ1,2と、これら単眼カメラ1,2を取り付けるカメラステイ3からなる。カメラステイ3の単眼カメラ1,2が取り付けられる位置には、それぞれ穴4,5が設けられ、さらに、ステレオカメラ位置の基準となる基準穴6がカメラステイ3の中央に、基準面に対して垂直にあけられている。2つの単眼カメラ1,2は、基準穴6に対して左右対称に、また、基準穴6と同じ高さの位置にネジ等で取りつけられている。
処理系は、先の実施例1と同様であり、各単眼カメラ1,2で撮影された画像を補正処理する画像処理部、該画像処理部で補正された各単眼カメラ1,2の撮影画像から視差を算出する視差算出部、該算出された視差により物体の距離を計算する距離計算部などからなる。
本実施例は、カメラの内部パラメータや外部パラメータのキャリブレーションは未実施で、画像処理部において内部パラメータや外部パラメータによるずれを補正するために、3次元座標が既知の複数の特徴点を有する校正用ターゲットを撮影して補正用ルックアップテーブルを作成するものである。
図8に、本実施例のステレオカメラのキャリブレーション装置構成例を示す。図8において、10は図7の構成のステレオカメラ、20はレーザ距離計、30は校正用ターゲットである。本実施例では、カメラステイ3の背面が単眼カメラ1,2の取り付け面であるが、基準面はカメラステイ前面になる。カメラステイ前面と背面は平行とみなせるものとする。カメラステイ3上の基準穴6の穴径は、レーザ距離計20のレーザ光束系とほぼ同等が少し大きいことが望ましい。校正用ターゲット30は、3次元座標が既知の格子状パターンが描かれた平面とみなせる板材とする。該校正用ターゲット30の中央には中央位置が分かるように特徴点が設けられている。
図9に、本実施例のキャブリレーションの全体的流れを示す。また、図10にステレオカメラ10とレーザ距離計20と校正用ターゲット30の必要な距離関係を示す。
まず、カメラステイ3の中央に、反射面が基準面に接するようにミラー15を設置する(ステップ201)。この時、図10に示すように、基準穴6がミラー15で塞がれる。
次に、ステレオカメラ10の後方にレーザ距離計20を設置する(ステップ202)。この時、レーザ距離計20のレーザ光が基準穴6を通ってミラー15の反射面に入射し、反射光がレーザ出射端に戻ってくるように調整することでステレオカメラ10の基準面とレーザ距離計20を垂直にし、また、ステレオカメラ10とレーザ距離計20の位置を合わせる。こうして、レーザ距離計20で、該レーザ距離計20からミラー反射面(基準面)までの距離L1を測定する(ステップ203)。その後、ミラー15を取り外す。
次に、ステレオカメラ10の前方に校正用ターゲット30を設置する(ステップ204)。この時、レーザ距離計20のレーザ光がカメラステイ3の基準穴6を通って校正用ターゲット30の中央に当たり、かつ、校正用ターゲット30に垂直に入射するように、校正用ターゲット30を調整する。先に述べたように、校正用ターゲット30には3次元座標が既知のパターン(格子状パターン)が描かれており、中央には中央位置が分かるように特徴点が設けられている。
校正用ターゲット30を設置した後、レーザ距離計20で、該レーザ距離計20から校正用ターゲット30までの距離L2を測定する(ステップ205)。そして、距離L1,L2をもとに、ステレオカメラ10の光学中心から校正用ターゲット30までの距離Zを求める(ステップ206)。
図10より、距離Zは
Z=L2−L1+ΔL (4)
として求められる。ΔLは光学中心と基準面の距離で、本実施例でも既知であるとする。本実施例では、ミラー15の厚さを考慮する必要はない。
Z=L2−L1+ΔL (4)
として求められる。ΔLは光学中心と基準面の距離で、本実施例でも既知であるとする。本実施例では、ミラー15の厚さを考慮する必要はない。
次に、ステレオカメラ10で校正用ターゲット30を撮影する(ステップ207)。そして、撮影して得られた校正用ターゲット30の像位置と理想位置の差からルックアップテーブルを作成する(ステップ208)。
いま、校正用ターゲット30の中央を原点とし、水平、垂直方向にそれぞれx,y軸を持つ座標系を考える。この場合、校正用ターゲット30上の特徴点(格子点)kが(a,b,0)の位置にあるとき、右の単眼カメラにおける特徴点Kの理想像位置(i0,j0)は、図11(a),(b)により、
i0=(a−B0/2)*f0/Z (5)
j0=b*f0/Z (6)
となる。また、左の単眼カメラにおける特徴点Kの理想位置(i0,j0)は、同じく図11(a),(b)より、
i0=(a+B0/2)*f0/Z (7)
j0=b*f0/Z (8)
となる。ここで、B0は設計値の基線長、f0は設計値の焦点距離である。
i0=(a−B0/2)*f0/Z (5)
j0=b*f0/Z (6)
となる。また、左の単眼カメラにおける特徴点Kの理想位置(i0,j0)は、同じく図11(a),(b)より、
i0=(a+B0/2)*f0/Z (7)
j0=b*f0/Z (8)
となる。ここで、B0は設計値の基線長、f0は設計値の焦点距離である。
しかしながら、ステレオカメラ10の各単眼カメラ1,2における特徴点kの実際の像位置(i,j)は、焦点距離ずれや歪、基線長のずれ等、各種の要因により、一般に理想像位置(i0,j0)と一致しない。
そこで、(i,j)に映った像を(i0,j0)に補正するルックアップテーブルを作成する。ルックアップテーブルは、各単眼カメラ1,2毎にそれぞれ作成する。
本実施例でも、ステレオカメラの距離方向に直交する基準面を設けておくことで、レーザ距離計(距離測定器)を利用し、ステレオカメラから校正用ターゲットまでの距離を正確に測ることができ、理想位置が高精度に得られる。そのため、校正用ターゲットの像位置と理想像位置の差から作成したルックアップテーブルをもとに、各単眼カメラの画像を理想画像に補正することで、ステレオカメラの距離測定を高精度に行うことができる。
図12は、本実施例のキャリブレーション時に適用される処理系のブロック図を示している。ステレオカメラ10の各単眼カメラ1,2は、それぞれ校正用ターゲット30を撮影して画像を出力する。画像処理部2010は、デフォルトの内部パラメータや外部パラメータをもとに、各単眼カメラ1,2の撮像画像を補正し、補正画像を出力する。特徴点抽出部2020は、画像処理部2010で補正された各単眼カメラ1,2の撮像画像について、各単眼カメラごとに、校正用ターゲット30の特徴点(格子点)を抽出し、その像位置(i,j)を出力する。特徴点は、校正用ターゲット30における各格子点について抽出して、その像位置を出力する。
LUT演算部2030は、特徴点抽出部2020からの校正用ターゲット30の特徴点(各格子点)に対応する像位置(i,j)、校正用ターゲット30上の特徴点(各格子点)の位置(a,b)、レーザ距離計20で得られた距離L1,L2、カメラの光学中心と基準面の距離ΔL、焦点距離f0を入力して、各単眼カメラ1,2毎に以下のようにしてルックアップテーブルを作成する。なお、校正用ターゲット30上の各格子点の位置(a,b)は既知である。
ここでは、右の単眼カメラについて説明する。まず、L1,L2,ΔLをもとに、式(4)により、ステレオカメラ10の光学中心から校正用ターゲット30までの距離Zを算出する。なお、距離Zは別途、あらかじめ計算しておくことでもよい。次に、校正用ターゲット30上の、ある格子点の位置(a,b)について、右の単眼カメラにおける該格子点の理想像位置(i0,j0)を、式(5),(6)により算出する。次に、当該格子点について、校正用ターゲット30の像位置(i,j)と理想像位置(i0,j0)の差を求め、(i,j)に映った像を(i0,j0)に補正する補正量とする。この補正量を、校正用ターゲット30の各格子点について求める。そして、各格子点の補正量をもとに、線型補間などにより各画素の補正量を計算することで、右の単眼カメラのルックアップテーブルが完成する。同様にして、右の単眼カメラのルックアップテーブルを作成する。作成したルックアップテーブルはメモリ等に保持する。
図13は、本実施例の通常使用時に適用される処理系のブロック図を示している。ステレオカメラ10の各単眼カメラ1,2で、それぞれ被写体を撮影する。画像処理部2010は、各単眼カメラ1,2の撮影画像について、それぞれルックアップテーブルを用いて補正する。すなわち、画素単位に、被写体の(i,j)に映った像を(i0,j0)に補正する。視差演算部2040は、画像処理部2010から出力される各単眼カメラ1,2の補正画像(理想画像)を入力して、周知のパターンマッチング手法等により視差d0を算出する。距離演算部2050は、視差演算部2040からの視差d0、及び、設計値の基線長B0、設計値の焦点距離f0を入力して、式(1)により、被写体の距離Zを算出する。
本実施例では、ルックアップテーブルをもとに、画像処理部2010が各単眼カメラ1,2の撮像画像を理想画像に補正するため、Bf値や視差のオフセットΔdなどを求めることなく、被写体の距離Zが高精度に得られる。
なお、本実施例においても、実際には、図12及び図13の処理系はCPUやメモリ等を用いて一体的に構成されることになる。
以上、本発明の実施の形態について説明したが、本発明は図示の構成に限られるものではない。例えば、単眼カメラは3つ以上でもよい。この場合、2つの単眼カメラの取りうる組み合わせについてそれぞれキャリブレーションを行って、その平均をとるなどすればよい。
1,2 単眼カメラ
3 カメラステイ
6 基準穴
10 ステレオカメラ
15 ミラー
20 レーザ距離計(距離測定器)
30 校正用ターゲット
1010 画像処理部
1020 視差演算部
1030 校正演算部
1040 距離演算部
2010 画像処理部
2020 特徴点抽出部
2030 LUT演算部
2040 視差演算部
2050 距離演算部
3 カメラステイ
6 基準穴
10 ステレオカメラ
15 ミラー
20 レーザ距離計(距離測定器)
30 校正用ターゲット
1010 画像処理部
1020 視差演算部
1030 校正演算部
1040 距離演算部
2010 画像処理部
2020 特徴点抽出部
2030 LUT演算部
2040 視差演算部
2050 距離演算部
Claims (7)
- 複数の単眼カメラと、前記単眼カメラを連結するカメラステイと、複数の単眼カメラからの撮像画像を補正する画像処理部と、前記画像処理部からの補正画像から視差を算出する視差演算部と、前記視差を利用して物体の距離を算出する距離演算部を備えるステレオカメラのパラメータを校正する方法であって、
ステレオカメラの前方に校正用ターゲットを設置し、ステレオカメラの後方に距離測定器を設置し、
前記カメラステイの、算出する距離方向と垂直に交わる面を基準面として、前記距離測定器により、距離測定器から基準面までの距離L1及び距離測定器から校正用ターゲットまでの距離L2を測定し、
前記基準面が、算出する距離の原点と既知の位置関係にあることを利用して、前記測定した距離L1,L2から、ステレオカメラから校正用ターゲットまでの距離を求めることで、ステレオカメラのパラメータを校正することを特徴とするステレオカメラ校正方法。 - 請求項1に記載のステレオカメラ校正方法において、
距離測定器にレーザ距離計を使用し、基準面とレーザ距離計のレーザ光が直交するように調整することを特徴とするステレオカメラ校正方法。 - 請求項1又は2に記載のステレオカメラ校正方法において、
物体の距離Zは次式
Z=B*f(d0+Δd)
ここで、Bは基線長、fは焦点距離、d0は視差、Δdは視差のオフセット
で算出する場合であって、
ステレオカメラから校正用ターゲットまでの距離の異なる2以上の位置において、ステレオカメラから校正用ターゲットまでの距離を測定すると共に、ステレオカメラで校正用ターゲットを撮影して視差を算出し、前記距離と視差の2以上の組み合わせから、前記式によりBf値とΔdを算出することを特徴とするステレオカメラ校正方法。 - 請求項1又は2に記載のステレオカメラ校正方法において、
ステレオカメラは2つの単眼カメラを有し、
物体の距離Zを次式
Z=B0*f0/d0
ここで、B0は設計値の基線長、f0は設計値の焦点距離、d0は視差、
で算出する場合であって、
3次元座標が既知の複数の特徴点を有する校正用ターゲットを用いて、ステレオカメラから前記校正用ターゲットまでの距離を測定すると共に、ステレオカメラで前記校正用ターゲットを撮影し、
各単眼カメラについて、校正用ターゲット中央を原点とし、水平、垂直方向にそれぞれx,y軸をもつ座標系で、校正用ターゲット上の特徴点の位置(a,b,0)に対応する当該単眼カメラにおける特徴点の理想像位置(i0,j0)を次式
i0=(a±B0/2)*f0/Z
j0=b*f0/Z
で算出して、当該単眼カメラにおける特徴点の実際の像位置(i,j)と前記理想像位置(i0,j0)の差から、(i,j)に映った像を(i0,j0)に補正するルックアップテープルを作成することを特徴とするステレオカメラ校正方法。 - 請求項3に記載のステレオカメラ校正方法を実施するステレオカメラ校正装置であって、
ステレオカメラから校正用ターゲットまでの距離の異なる2以上の位置にて、ステレオカメラで校正用ターゲットを撮影した画像からそれぞれ視差を算出する手段と、
ステレオカメラから校正用ターゲットまで距離の異なる2以上の位置にてそれぞれ測定された、ステレオカメラから校正用ターゲットまでの距離と、前記算出された視差を入力して、Bf値とΔdを算出する手段と、
を有することを特徴とするステレオカメラ校正装置。 - 請求項5に記載のステレオカメラ校正装置において、
前記校正用ターゲットを撮影した画像から視差を算出する手段は、画像処理部からの補正画像から視差を算出する視差演算部が兼ねることを特徴とするステレオカメラ校正装置。 - 請求項4に記載のステレオカメラ校正方法を実施するステレオカメラ校正装置であって、
ステレオカメラで校正用ターゲットを撮影した画像から、各単眼カメラごとに特徴点の像位置(i,j)を抽出する手段と、
各単眼カメラについて、前記抽出された校正用ターゲット上の特徴点の像位置(i,j)、校正用ターゲット上の特徴点の位置(a,b)、焦点距離f0、ステレオカメラから校正用ターゲットまでの距離Zを入力して、当該単眼カメラにおける特徴点の理想像位置(i0,j0)を算出し、像位置(i,j)と理想像位置(i0,j0)の差からルックアップテーブルを作成する手段と、
を有することを特徴とするステレオカメラ校正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011027080A JP2012167944A (ja) | 2011-02-10 | 2011-02-10 | ステレオカメラ校正方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011027080A JP2012167944A (ja) | 2011-02-10 | 2011-02-10 | ステレオカメラ校正方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012167944A true JP2012167944A (ja) | 2012-09-06 |
Family
ID=46972266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011027080A Withdrawn JP2012167944A (ja) | 2011-02-10 | 2011-02-10 | ステレオカメラ校正方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012167944A (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014052335A (ja) * | 2012-09-10 | 2014-03-20 | Ricoh Co Ltd | 画像処理装置及びステレオカメラ装置 |
EP2818826A1 (en) | 2013-06-27 | 2014-12-31 | Ricoh Company, Ltd. | Distance measuring apparatus, vehicle and method of calibration in distance measuring apparatus |
WO2015115669A1 (en) * | 2014-01-28 | 2015-08-06 | Ricoh Company, Limited | Calibration method and measurement tool |
CN105698737A (zh) * | 2016-01-29 | 2016-06-22 | 深圳市美好幸福生活安全***有限公司 | 用于安全预警产品的校准***和方法 |
JP2019053072A (ja) * | 2013-06-27 | 2019-04-04 | 株式会社リコー | 測距装置、車両、測距装置の校正方法 |
CN109634279A (zh) * | 2018-12-17 | 2019-04-16 | 武汉科技大学 | 基于激光雷达与单目视觉的物体定位方法 |
JP2019074535A (ja) * | 2014-01-28 | 2019-05-16 | 株式会社リコー | 校正方法、校正装置、及びプログラム |
US10546381B2 (en) | 2015-11-06 | 2020-01-28 | Fujifilm Corporation | Information processing device, information processing method, and program |
TWI712310B (zh) * | 2019-11-15 | 2020-12-01 | 大陸商南京深視光點科技有限公司 | 立體相機之校正品質的檢測方法及檢測系統 |
US20210033467A1 (en) * | 2018-04-17 | 2021-02-04 | Autel Inteligent Technology Corp., Ltd. | Calibration apparatus, system and method for in-vehicle camera |
CN113129386A (zh) * | 2020-12-23 | 2021-07-16 | 合肥工业大学 | 基于编码平面靶标的双目摄像机内外参数的智能标定方法 |
CN114152190A (zh) * | 2021-11-15 | 2022-03-08 | 苏州铸正机器人有限公司 | 一种工业相机精度和工作空间测试平台 |
CN114279334A (zh) * | 2021-12-01 | 2022-04-05 | 淮阴工学院 | 光学校准仪及其使用方法 |
CN114415464A (zh) * | 2021-12-30 | 2022-04-29 | 歌尔光学科技有限公司 | 光轴校准装置及*** |
EP4064698A1 (en) | 2021-03-22 | 2022-09-28 | Ricoh Industrial Solutions Inc. | Stereo camera device |
WO2024058009A1 (ja) * | 2022-09-16 | 2024-03-21 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2011
- 2011-02-10 JP JP2011027080A patent/JP2012167944A/ja not_active Withdrawn
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014052335A (ja) * | 2012-09-10 | 2014-03-20 | Ricoh Co Ltd | 画像処理装置及びステレオカメラ装置 |
US9866819B2 (en) | 2013-06-27 | 2018-01-09 | Ricoh Company, Ltd. | Distance measuring apparatus, vehicle and method of calibration in distance measuring apparatus |
EP2818826A1 (en) | 2013-06-27 | 2014-12-31 | Ricoh Company, Ltd. | Distance measuring apparatus, vehicle and method of calibration in distance measuring apparatus |
JP2015028469A (ja) * | 2013-06-27 | 2015-02-12 | 株式会社リコー | 測距装置、車両、測距装置の校正方法 |
JP2019053072A (ja) * | 2013-06-27 | 2019-04-04 | 株式会社リコー | 測距装置、車両、測距装置の校正方法 |
JP2020030221A (ja) * | 2014-01-28 | 2020-02-27 | 株式会社リコー | 校正方法、校正装置、計測用具及びプログラム |
US10972716B2 (en) | 2014-01-28 | 2021-04-06 | Ricoh Company, Limited | Calibration method and measurement tool |
CN108921906B (zh) * | 2014-01-28 | 2022-09-02 | 株式会社理光 | 校准方法和测量工具 |
KR101893180B1 (ko) | 2014-01-28 | 2018-08-29 | 가부시키가이샤 리코 | 교정 방법 및 계측 용구 |
CN108921906A (zh) * | 2014-01-28 | 2018-11-30 | 株式会社理光 | 校准方法和测量工具 |
JP2016006406A (ja) * | 2014-01-28 | 2016-01-14 | 株式会社リコー | 校正方法、校正装置、計測用具及びプログラム |
KR20160103076A (ko) * | 2014-01-28 | 2016-08-31 | 가부시키가이샤 리코 | 교정 방법 및 계측 용구 |
US10277887B2 (en) | 2014-01-28 | 2019-04-30 | Ricoh Company, Limited | Calibration method and measurement tool |
JP2019074535A (ja) * | 2014-01-28 | 2019-05-16 | 株式会社リコー | 校正方法、校正装置、及びプログラム |
WO2015115669A1 (en) * | 2014-01-28 | 2015-08-06 | Ricoh Company, Limited | Calibration method and measurement tool |
US10546381B2 (en) | 2015-11-06 | 2020-01-28 | Fujifilm Corporation | Information processing device, information processing method, and program |
US11727585B2 (en) | 2015-11-06 | 2023-08-15 | Fujifilm Corporation | Information processing device, information processing method, and program |
US11074705B2 (en) | 2015-11-06 | 2021-07-27 | Fujifilm Corporation | Information processing device, information processing method, and program |
CN105698737A (zh) * | 2016-01-29 | 2016-06-22 | 深圳市美好幸福生活安全***有限公司 | 用于安全预警产品的校准***和方法 |
US20210033467A1 (en) * | 2018-04-17 | 2021-02-04 | Autel Inteligent Technology Corp., Ltd. | Calibration apparatus, system and method for in-vehicle camera |
CN109634279B (zh) * | 2018-12-17 | 2022-08-12 | 瞿卫新 | 基于激光雷达与单目视觉的物体定位方法 |
CN109634279A (zh) * | 2018-12-17 | 2019-04-16 | 武汉科技大学 | 基于激光雷达与单目视觉的物体定位方法 |
TWI712310B (zh) * | 2019-11-15 | 2020-12-01 | 大陸商南京深視光點科技有限公司 | 立體相機之校正品質的檢測方法及檢測系統 |
CN113129386B (zh) * | 2020-12-23 | 2022-07-29 | 合肥工业大学 | 基于编码平面靶标的双目摄像机内外参数的智能标定方法 |
CN113129386A (zh) * | 2020-12-23 | 2021-07-16 | 合肥工业大学 | 基于编码平面靶标的双目摄像机内外参数的智能标定方法 |
EP4064698A1 (en) | 2021-03-22 | 2022-09-28 | Ricoh Industrial Solutions Inc. | Stereo camera device |
US11805234B2 (en) | 2021-03-22 | 2023-10-31 | Ricoh Industrial Solutions Inc. | Stereo camera device |
CN114152190A (zh) * | 2021-11-15 | 2022-03-08 | 苏州铸正机器人有限公司 | 一种工业相机精度和工作空间测试平台 |
CN114152190B (zh) * | 2021-11-15 | 2023-10-24 | 苏州铸正机器人有限公司 | 一种工业相机精度和工作空间测试平台 |
CN114279334A (zh) * | 2021-12-01 | 2022-04-05 | 淮阴工学院 | 光学校准仪及其使用方法 |
CN114415464A (zh) * | 2021-12-30 | 2022-04-29 | 歌尔光学科技有限公司 | 光轴校准装置及*** |
CN114415464B (zh) * | 2021-12-30 | 2024-03-08 | 歌尔光学科技有限公司 | 光轴校准装置及*** |
WO2024058009A1 (ja) * | 2022-09-16 | 2024-03-21 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012167944A (ja) | ステレオカメラ校正方法及び装置 | |
CN111243002A (zh) | 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法 | |
US9734419B1 (en) | System and method for validating camera calibration in a vision system | |
KR102085228B1 (ko) | 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 | |
US8120755B2 (en) | Method of correcting a volume imaging equation for more accurate determination of a velocity field of particles in a volume | |
EP2751521B1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
JP6041513B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN109827521B (zh) | 一种快速多线结构光视觉测量***标定方法 | |
WO2011013301A1 (en) | Position and orientation calibration method and apparatus | |
US20110157373A1 (en) | System and method for runtime determination of camera miscalibration | |
CN106875435B (zh) | 获取深度图像的方法及*** | |
JP2017139612A (ja) | 車載カメラ用校正システム | |
ES2894935T3 (es) | Aparato de medición de distancias tridimensionales y procedimiento para el mismo | |
JP2003130621A (ja) | 3次元形状計測方法およびその装置 | |
CN107808398B (zh) | 摄像头参数算出装置以及算出方法、程序、记录介质 | |
KR20160121509A (ko) | 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭 | |
JP2012189324A (ja) | ステレオカメラ | |
JP6282377B2 (ja) | 3次元形状計測システムおよびその計測方法 | |
JP2015049200A (ja) | 計測装置、方法及びプログラム | |
JP3913901B2 (ja) | カメラの内部パラメータ決定装置 | |
KR101597163B1 (ko) | 스테레오 카메라 교정 방법 및 장치 | |
Belhedi et al. | Non-parametric depth calibration of a tof camera | |
JP2013050352A (ja) | ステレオカメラの取り付け調整方法及びステレオカメラ | |
US20210256729A1 (en) | Methods and systems for determining calibration quality metrics for a multicamera imaging system | |
JP2007225403A (ja) | 距離計測装置の調整機構およびそれを備えた立体形状認識システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130801 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130826 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130826 |
|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |