JP4825980B2 - 魚眼カメラの校正方法。 - Google Patents
魚眼カメラの校正方法。 Download PDFInfo
- Publication number
- JP4825980B2 JP4825980B2 JP2007056228A JP2007056228A JP4825980B2 JP 4825980 B2 JP4825980 B2 JP 4825980B2 JP 2007056228 A JP2007056228 A JP 2007056228A JP 2007056228 A JP2007056228 A JP 2007056228A JP 4825980 B2 JP4825980 B2 JP 4825980B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parameter
- camera
- calibration
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000004364 calculation method Methods 0.000 claims description 92
- 239000013598 vector Substances 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 27
- 238000012916 structural analysis Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000003696 structure analysis method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 102220517403 DNA excision repair protein ERCC-6_S10A_mutation Human genes 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 102220517404 DNA excision repair protein ERCC-6_S10D_mutation Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 102200082907 rs33918131 Human genes 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Description
本発明は、魚眼カメラの校正方法に関するものであり、特に、移動ロボット等に好適に利用される距離算出装置、距離算出方法、構造解析装置及び構造解析方法に対して好適に適用できる魚眼カメラの校正方法に関するものである。
移動ロボットや車両等の移動体をナビゲーションするためには、移動体周囲の詳細な3次元情報が必要である。この3次元情報を得るため、一対のカメラによって取得されたステレオ画像が利用されている(非特許文献1参照)。より具体的には、ピンホールカメラモデルに基づいてステレオ画像を構成する一対の画像の対応点間の視差を算出し、その視差を利用して移動体と周囲の情景内の構造物までの距離を算出する。
R. Yang and M. Pollefeys , "Multi-Resolution Real-Time Stereo onCommodity Graphics Hardware," 2003 Conference on Computer Vision and PatternRecognition (CVPR ’03) ,Volume 1, pp211-217, ,2003
R. Yang and M. Pollefeys , "Multi-Resolution Real-Time Stereo onCommodity Graphics Hardware," 2003 Conference on Computer Vision and PatternRecognition (CVPR ’03) ,Volume 1, pp211-217, ,2003
ところで、近年、周囲の視覚監視には、より広い(例えば、半球以上の)視野を持つ魚眼レンズを利用した視覚センサーが用いられてきている。このような視覚センサーでは、魚眼レンズを利用して被写体像を取得しているため、半球以上の視野内の情景が一度に取得される。そして、魚眼レンズによって取得された被写体像を画像空間での球面上に投影することで球面画像を形成することができる。
しかしながら、ステレオ画像から距離を算出する従来の手法は、前述したようにピンホールカメラモデルに基づいたものであるため、一対の魚眼レンズを利用して取得された一対の球面画像を利用して距離を求めることは困難であった。
そこで、本発明は、一対の球面画像を利用して被写体までの距離を容易に算出することができる距離算出装置、距離算出方法、構造解析装置、及び構造解析方法に対して好適に適用できる魚眼カメラの校正方法を提供することを目的とする。
本発明に係る魚眼カメラの校正方法は、魚眼レンズ特性を有する魚眼カメラの校正方法であって、魚眼カメラにより校正部材を被写体として撮像する撮像工程と、撮像された校正部材の被写体像を基に内部パラメータの初期値を算出する第1の初期値算出工程と、算出された内部パラメータの初期値を基に、魚眼カメラの画像平面での被写体像上の各像点の座標を極座標変換することで、魚眼カメラのカメラ座標系で表される被写体像の球面画像を形成する球面画像形成工程と、世界座標系における校正部材上の各物点と各物点に対応する球面画像上の像点との間で内部パラメータ及び魚眼カメラの外部パラメータを含んで表される変換式群において、内部パラメータの初期値を変換式群に代入して線形推定することによって外部パラメータの初期値を算出する第2の初期値算出工程と、変換式群を基に決定される第1の目的関数に、外部パラメータの初期値を代入して第1の目的関数を最小化することによって外部パラメータの第1推定値を算出すると共に、算出された外部パラメータの推定値を第1の目的関数に代入して最小化することによって内部パラメータの第1推定値を算出する推定値算出工程と、画像平面における被写体像の像点と、物点の画像平面への投影点との間の二乗距離の合計を示す第2の目的関数に、内部パラメータ及び外部パラメータの第1推定値を代入し、最小化することによって、内部パラメータ及び外部パラメータの校正用の値としての校正用パラメータ値を算出するカメラパラメータ算出工程と、を備え、内部パラメータは、画像平面の原点と、被写体像の視界領域のアスペクト比と、被写体像上の像点の原点に対する放射歪みを表す放射歪みパラメータとを含んでおり、放射歪みパラメータは、魚眼カメラの射影方式を示す式としての射影方程式を入射角を中心にテーラー展開した場合の各項の係数であり、第1の初期値算出工程では、楕円を示す式で校正部材の被写体像をフィッティングすることで、楕円の中心を原点の初期値とし、楕円のアスペクト比を視界領域のアスペクト比の初期値とし、テーラー展開された射影方程式を基に放射歪みパラメータの初期値を算出することを特徴とする。
上記校正方法によれば、放射歪みを含めて内部パラメータや外部パラメータが校正されているので、放射歪みを有する撮像画像に対してもより正確な球面画像が形成され、被写体までのより正確な距離が算出される。そのため、球面画像を利用して被写体までの距離を算出する距離算出装置および構造解析装置に対して好適に適用することができる。
また、上記作用を好適に奏する射影方程式および第1の初期値算出工程は、具体的には、以下の方式が挙げられる。すなわち、魚眼カメラにおいて射影方式に基づいた画像平面における像点と原点との距離をrとし、入射角をθとし、Nを0以上の整数としたとき、テーラー展開された射影方程式は、
により表され、式(1)における各項の係数としてのk2j+1が放射歪みパラメータであり、第1の初期値算出工程では、楕円を示す式を、
として式(2)で被写体像をフィッティングして得られる(x0,y0)を原点の初期値とし、d/cを視界領域のアスペクト比の初期値とし、魚眼カメラの最大視野角θmaxの半分を入射角θとした場合に成立する
を基に取得される式(3)における各項の係数をそれぞれ放射歪みパラメータの初期値とする。
また、上記作用を好適に奏する変換式群および第1の目的関数としては、具体的には、以下の式が挙げられる。すなわち、 外部パラメータは、世界座標系をカメラ座標系に変換するための回転行列R及び並進ベクトルTを含んでおり、回転行列Rを[r1,r2,r3]とし、並進ベクトルTを[tx,ty,tz]とし、世界座標系における校正部材上の各物点の位置ベクトルをMwiとし、各物点に対応しており内部パラメータを利用して表される球面画像上の像点の位置ベクトルmiを[ui,vi,si]としたとき、変換式群は、
であり、第1の目的関数η2は、
である。
本発明に係る魚眼カメラの校正方法は、内部パラメータが、被写体像の像点の接線歪みを表す接線歪みパラメータを更に含んでおり、第1の初期値算出工程では、接線歪みパラメータを0として、画像平面の原点、視界領域のアスペクト比及び放射歪みパラメータの初期値を算出し、推定値算出工程では、接線歪みパラメータを0とした場合の第1の目的関数を基に内部パラメータ及び外部パラメータの第1推定値を算出し、カメラパラメータ算出工程は、接線歪みパラメータを0とした場合の第2の目的関数を基に内部パラメータのうち原点、アスペクト比及び放射歪みパラメータ並びに外部パラメータの校正用パラメータ値を算出する工程と、接線歪みパラメータを含んでおり、算出された原点、アスペクト比及び放射歪みパラメータ及び外部パラメータの校正用パラメータ値を代入して得られる第2の目的関数を最小化することによって接線パラメータの校正用パラメータ値を算出する工程と、を有することを特徴としてもよい。
上記校正方法によれば、接線歪みも含めて内部パラメータや外部パラメータが校正されているので、接線歪みを有する撮像画像に対しても正確な球面画像が形成され、被写体までのより正確な距離が算出される。そのため、球面画像を利用して被写体までの距離を算出する距離算出装置および構造解析装置に対して好適に適用することができる。
また、上記作用を好適に奏する校正部材としては、具体的には、市松模様のボックスパターンが挙げられる。
本発明の魚眼カメラの校正方法によれば、魚眼カメラの内部パラメータ及び外部パラメータをより正確に求められるので、被写体までの距離をより正確に算出できる。そのため、一対の球面画像を利用して被写体までの距離を容易に算出することができる距離算出装置、距離算出方法、構造解析装置、及び構造解析方法に対して好適に適用することが可能である。
(第1の実施形態)
図1は、本発明に係る構造解析装置の一実施形態を適用したナビゲーションシステムのの構成を示すブロック図である。ナビゲーションシステム1は、車両や移動ロボットなどの移動体に適用される。ナビゲーションシステム1は、移動体周囲の情景(シーン)を被写体として撮影し、撮影によって取得された被写体の画像を利用して被写体の3次元構造を抽出する構造解析装置100を備える。また、ナビゲーションシステム1は、構造解析装置100で抽出された被写体の3次元構造を表示する表示部200と、操作者が各種指示を入力するための入力部300とを有する。
表示部200は、例えばディスプレイであって、構造解析装置100で抽出した被写体の3次元構造を表示して操作者に示す。また、入力部300は、例えば、表示部200に設けられたタッチパネルやボタンなどであって、操作者が指示コマンドを入力するためのものである。入力部300は、入力された指示を構造解析装置100に入力する。
構造解析装置100は、車両や移動ロボット等の移動体において周囲の情景を取得できる位置(例えば、自動車等の車両ではボンネット上)に取り付けられているステレオカメラ部10を有する。ステレオカメラ部10は、カメラ(第1のカメラ部)11l及びカメラ(第2のカメラ部)11rを含んで構成されている。
カメラ11lは、魚眼レンズ(第1の魚眼レンズ)12lと、魚眼レンズ12lの結像面(画像平面)に配置されたCCDカメラ(第1の撮像部)13lとを有し、魚眼レンズ12lで結像された像をCCDカメラ13lで撮像する。カメラ11rも同様に、魚眼レンズ(第2の魚眼レンズ)12rと、CCDカメラ(第2の撮像部)13rとを有し、魚眼レンズ12rで結像された像をCCDカメラ13rで撮像する。カメラ11l,11rは、魚眼レンズ12l,12rの光軸が互いに略平行になるように配置されている。魚眼レンズ12l,12rの画角は例えば約185°であり、その射影方式は等距離射影方式である。魚眼レンズ12l,12rは必ずしも1枚のレンズを意味するものではなく、魚眼レンズ特性を有するレンズ系も含む意味である。
図2(a)は、カメラ11lで取得される被写体像(第1の被写体像)2lの一例を示す模式図であり、図2(b)は、カメラ11rで取得される被写体像(第2の被写体像)2rの一例を示す模式図である。図2に示すように、カメラ11l,11rは、魚眼レンズ特性を有するので、取得された画像の視野範囲は略円形になる。また、魚眼レンズ12l,12rを利用していることから、カメラ11l,11r周囲のより広い視野内の環境情報を一度に取得できる。
構造解析装置100は、被写体像2lに対応する球面画像(第1の球面画像)及び被写体像2rに対応する球面画像(第2の球面画像)を利用して各カメラ11l,11rから点Pまでの距離ρl,ρrを算出する。点Pは、被写体のうちカメラ11l,11rの視野の重なり領域に位置する実空間上の点である。カメラ11l,11rから点Pまでの距離とは、魚眼レンズ12l,12rの焦点から点Pまでの距離の意味であり、図1では模式的に示している。
構造解析装置100において利用する球面画像について説明する。図3は、球面画像の斜視図である。
図3に示すように、空間に半径fを有する球と、球の外側に点Pがあるとする。点Pと球の中心を結ぶ直線R1と球面3との交点をpとしたとき、点pを点Pの球面3への投影点と呼ぶ。このように球の周りの点から球面3への投影によって得られる画像を球面画像とする。すなわち、球面画像とは焦点が球の中心にある球面3である。この場合、半径fは、点Pを結像するために用いられるレンズなどの結像手段の焦点距離に相当する。以下、球面3を球面画像3とも表記する。このような球面画像3は、全天周を表示することが可能である。なお、本明細書では、球面射影に従って得られた部分的な球面も球面画像とする。
図3に示すように、球の中心を原点Ocとしたカメラ座標系Scをとり、点Pの球面3への投影線R1の天頂角をθとし、Xc軸に対する方位角をφとし、点Pのカメラ座標系Scにおける位置ベクトルMcを、
とすると、実空間上の点Pの投影点pの位置ベクトルmは、
と表される。ここで、スケールパラメータρを、
とし、λを(f/ρ)とすると、式(6)と式(7)とから、
が成り立つ。これはスケールパラメータρを除けば、mとMcとは等しいことを意味する。更に、f=1としたときの球面画像を正規球面画像とも称す。以下では、特に断らない限り、球面画像3は、正規球面画像で表されるものとする。
この球面画像を魚眼レンズによって結像された被写体像から形成する方法について説明する。図4(a)は、魚眼レンズの結像特性を示す図であり、図4(b)は、図4(a)に示した魚眼レンズの画像平面の平面図である。魚眼レンズの光軸をZc軸とし、魚眼レンズの焦点を通りZc軸に直交する平面をXcYc平面とする3次元座標系をカメラ座標系Scとする。また、魚眼レンズの光軸と画像平面との交点である画像中心を原点としたxy平面を画像座標系とする。画像座標系のx軸は、―Xc軸方向に延びており、y軸は、―Yc軸方向に延びている。
実空間上の点Pは、魚眼レンズによってxy平面上の点q(r,φ)で表される点qに投影される。この画像座標系の原点(画像中心)oからの距離rは、魚眼レンズの射影方式を等距離射影方式とすると、
と表される。ここで、天頂角θは、魚眼レンズに入射する入射光線と魚眼レンズの光軸とのなす角度である。なお、魚眼レンズに入射する入射光線は、図1における投影線R1に相当する。
式(10)よりrが分かれば天頂角θが算出できるので、式(7)に示すように、点pの位置ベクトルmが算出されることになる。本明細書では、平面画像としての被写体像の画素位置としての点q(r,φ)を式(7)を利用して変換することを球面画像に変換すると称す。
ところで、画像平面とカメラ座標系ScのXcYc平面とは、互いに平行であって焦点距離fだけ離れている。そのため、球面画像では、画像中心を原点oとした3次元座標系としての画像座標系で表した点pの座標と、カメラ座標系Scで表した点pの座標とは一致する。よって、以下では、特に断らない限り、焦点を原点としたカメラ座標系Scで説明する。
図1に示すように、構造解析装置100は、球面画像及びステレオ法を利用して距離ρl,ρrを算出する解析装置20を有する。解析装置20は、例えば、パーソナルコンピュータであり、球面画像形成部21と、メモリ部22と、パラメータ算出部23と、校正部24と、経緯度画像形成部25と、対応点探索部26と、距離算出手段27と構造解析部28とを有する。また、解析装置20は、入力部300に接続されており、入力部300によって入力された操作者からの指示に応じて球面画像形成部21、パラメータ算出部23、校正部24、経緯度画像形成部25、対応点探索部26、距離算出手段27及びCCDカメラ13l,13rを制御する制御部29を有する。メモリ部22は、例えば、不揮発性メモリである。
球面画像形成部21は、メモリ部22に記憶された第1のテーブルを参照して、被写体像2lに対応する球面画像(第1の球面画像)3l、及び、被写体像2rに対応する球面画像(第2の球面画像)3rを形成する(図8参照)。第1のテーブルには、各被写体像2l,2rの画素位置としての点qの座標と、球面画像3l,3r上の画素位置としての点pの座標との対応関係が登録されている。各球面画像3l,3rは、メモリ部22に記憶されており魚眼レンズ12l,12rの焦点を原点Ol,Orとし各魚眼レンズ12l,12rの光軸をZl軸、Zr軸とするカメラ座標系Sl,Srで表示される。
メモリ部22に記録されているカメラ座標系Sl,Srの情報としては、カメラ11l,11rの内部パラメータの一部を構成する焦点距離f及び焦点Ol,Or(又は各魚眼レンズの画像中心)の他、外部パラメータとして、所定の世界座標系Swに対する各カメラ座標系Sl,Srの姿勢を示す回転行列Rl,Rr及び並進ベクトルTl,Trが例示される。カメラ11l,11rの内部パラメータ及び外部パラメータは、初期値として構造解析装置100の設計時のものが記録されているが、パラメータ算出部23によって校正される。
パラメータ算出部23は、カメラ11l,11rの内部パラメータ及び外部パラメータを算出した後にメモリ部22に入力する。これによってメモリ部22内の内部パラメータ及び外部パラメータが校正されることになる。
パラメータ算出部23は、例えば、図5に示すようなストライプを含む校正パターン4Aがカメラ11l,11rによって撮影されると、魚眼レンズ12l,12rによって結像された被写体像2l,2rに現れる消失点対の交点として魚眼レンズ12l,12rの焦点を算出し、各被写体像2l,2rに現れる一対の消失点間の距離をπで除することで魚眼レンズ12l,12rの焦点距離fを算出する。ここでは、校正パターン4Aを利用して内部パラメータを算出するとしたが、例えば、被写体に含まれる任意の平行線群の消失点対を利用してもよい。
また、パラメータ算出部23は、回転行列Rl,Rr及び並進ベクトルTl,Trを次の方法によって算出する。カメラ座標系Sl,Srを「カメラ座標系Sc」と表し、回転行列Rl,Rr及び並進ベクトルTl,Trを「回転行列R及び並進ベクトルT」、カメラ11l,11rを「カメラ11」と表して説明する。以下、カメラ11l,11rをまとめて説明するときには同様とする。
点Pに対するカメラ座標系Scでの位置ベクトルMcは、式(6)と同様である。
世界座標系Swは、ベクトルr1,r2,r3を含む回転行列R=[r1,r2,r3]と、並進ベクトルT=[tx,ty,tz]とでカメラ座標系Scに変換できるので、
が成り立つ。そして、式(9)より
となる。ただし、
である。
ここで、カメラ11が図7に示すような市松模様(又はチェスパターン)を有する校正パターン4Bを撮影すると、校正パターン4B上の格子点(コーナー点)P(Xw,Yw)と、点Pの球面画像3上への投影点p(u,v,s)に対して、
が成り立つ。式(15)では、校正パターン4Bを含む平面をXwYw平面とし、校正パターン4Bに直交する方向をZw軸方向とする世界座標系(所定の世界座標系)Swを設定している。
パラメータ算出部23は、カメラ11l,11rによって校正パターン4Bが撮像されると、校正パターン4Bの画像に含まれる複数の格子点Piを抽出した後、式(17)によって外部パラメータの初期値を推定する。その後、式(18)を利用して微調整を行い、外部パラメータを算出する。なお、球面画像座標、すなわち、u,v,sをカメラ11l,11rの内部パラメータで表していれば、内部パラメータと外部パラメータとを同時に算出することも可能である。
構造解析装置100は、球面画像形成部21で形成された球面画像を利用して点Pに対応する各球面画像3l,3r上の対応点間の視差を算出し、更にその視差を利用して距離ρl,ρrを算出する。ここで、球面画像3l,3rにおける視差について説明する。
図8に示すように、実空間上の点Pに対する球面画像3lでの対応点(第1の対応点)をplとし、点Pに対する球面画像3rでの対応点(第2の対応点)をprとする。カメラ座標系Sl,Srの原点Ol,Or及び対応点pl,prを含むエピポーラ平面5と、球面画像3l,3rとの交線がエピポーラ線である。そのため、球面画像3l,3rではエピポーラ線は大円となる。従って、点Pに対する視差は、エピポーラ線上におけるXl軸から対応点plまでの円弧Cl(図中、エピポールe1lから点plまでの円弧)の長さと、エピポーラ線上におけるXr軸から対応点prまでの円弧Cr(図中、エピポールe1rから点prまでの円弧)の長さの差と定義する。これは、点plを第2のカメラ座標系Srで表した点pmと、点prとの間の円弧の長さに相当する。
図1に示すように、解析装置20は、上記視差を利用して距離ρl,ρrを算出するために、校正部24と、経緯度画像形成部25と、対応点探索部26と、距離算出手段27とを有する。
校正部24は、球面画像3l,3rを校正する。球面画像3l,3rの校正とは、図8に示すように、カメラ座標系SlのXl軸(X軸)とカメラ座標系SrのXr軸(X軸)とが同一直線上であって、カメラ座標系SlのZl軸とカメラ座標系SrのZr軸とが平行且つカメラ座標系SlのYl軸とカメラ座標系SrのYr軸とが平行になるようにカメラ座標系Sl及びカメラ座標系Srを変換し、その変換されたカメラ座標系Sl,Srで球面画像3l,3rを表すことである。
なお、この校正部24で校正されたカメラ座標系Sl,Srでは、カメラ座標系SrをXr方向に平行移動させることでカメラ座標系Srはカメラ座標系Slに重なることになる。そこで、校正部24でのカメラ座標系Sl,Srの変換をカメラ座標系の平行化とも称す。
校正部24でのカメラ座標系Sl,Srの変換では、カメラ座標系Sl,Srが互いに平行であってXl軸、Xr軸が球面画像3l,3rの中心(原点Ol,Or)を通るように新しい回転行列Raを決定する。この回転行列Raによって校正後の空間の点Pと投影点pl,prとの関係は、
と表される。この回転行列Raは次のようにして決定される。回転行列Raを
とする。校正後のXl軸及びXr軸は2つの原点Ol,Orを通る直線R2と平行であることから、次式が成り立つ。
式(23)〜式(25)によってra1〜ra3が算出され、回転行列Raが決定される。
次に、校正前の球面画像3l(3r)上の点と、校正後の球面画像3l(3r)上の点との対応関係について説明する。
実空間の点Pに対応する校正前の球面画像3l上の対応点をploとし、校正後の球面画像3l上の対応点をplnとし、それらの位置ベクトルをmlo,mlnとすると、
となる。また、点Pと点ploとを通る直線の方程式及び点Pと点plnを通る直線の方程式は、次のように表される。
校正前後において原点位置及び半径は変わらないことから、λoとλnは等しい。ここでは、球面画像3lについて説明しているが、球面画像3rについても同様であり、
が成り立つ。式(27)及び式(28)より、
が成り立つ。
校正部24は、メモリ部22に記録されている校正前の球面画像3l,3rの点pの座標を式(29)で変換することで球面画像3l(3r)を校正する。以下の説明では、校正前後において球面画像3l(3r)を区別する場合には、校正前の球面画像3l(3r)上の点をpo(uo,vo,so)とし、校正後の球面画像3l(3r)上の点をpn(un,vn,sn)とも表す。
経緯度画像形成部25は、図9に示すように、メモリ部22に記録されている第2のテーブルを参照して被写体像2lに対応する経緯度画像(第1の経緯度画像)6l及び被写体像2rに対応する経緯度画像(第2の経緯度画像)6rを形成する。経緯度画像6l(6r)とは、球面画像3l(3r)を、それらに含まれるエピポールe1l(e1r)及びエピポールe2l(e2r)を両極として球面画像3l(3r)での経度及び緯度が直交するように展開した図である。経緯度画像6l(6r)では、図9に示すように、経緯度画像6l(6r)に含まれる複数のエピポーラ線7l(7r)は互いに平行になる。
メモリ部22に記録されている第2のテーブルには、被写体像2l(2r)の点qの座標と、校正された球面画像3l(3r)に対応する経緯度画像の点pnの座標との対応関係が示されている。より具体的に説明する。
図9に示したように、経緯度画像6l(6r)を含む平面をxeye平面とし、経緯度画像6l(6r)に含まれておりエピポーラ線7l(7r)上に位置する点をL(i,j)(i=0,1,・・・M0;j=0,1,・・・N0)としたとき、校正された正規球面画像における点Lに対応する点pn(un,vn,sn)の座標は、
式(30)では、説明の便宜のため、経緯度画像6l又は経緯度画像6rに含まれる点をまとめて点Lで表している。以下では、各経緯度画像6lに含まれる点Lに対応する点pの各座標には「l」を付し、各経緯度画像6rに含まれる点Lに対応する点pの各座標には「r」を付して表す。
式(7)、式(10)、式(29)、式(30)等により、経緯度画像の点L(i,j)と、被写体像2l,2rの点q(x,y)とは、
で対応づけられており、第2のテーブルには点qの座標と点Lの座標との対応関係が示されている。これによって、経緯度画像形成部25では、校正部24で校正された球面画像3l(3r)を展開した経緯度画像6l(6r)が形成されることになる。従って、経緯度画像6lに含まれるエピポーラ線7lと経緯度画像6rに含まれるエピポーラ線7rとが平行になっている。
なお、経緯度画像形成部25は、上記第2のテーブルを形成する機能も有し、例えば、構造解析装置20の組立時に第2のテーブルを作成しメモリ部22に記録せしめる。
対応点探索部26は、経緯度画像形成部25で形成された一対の経緯度画像6l,6rに対して相関法を適用することによって対応点pl,prを特定する。前述したように、エピポーラ線7lとそれに対応するエピポーラ線7rとが平行になっていることから、対応点pl,prの探索が容易である。
図1に示すように、距離算出手段27は、視差算出部27Aと距離算出部27Bとを有する。視差算出部27Aは、2つの球面画像3l,3rに含まれる対応点pl,pr間の視差を算出する。図10に示すように、エピポーラ平面5における円弧Clと円弧Crとの差が視差dである。点plと原点Olとを通る直線(投影線)R1lと原点Ol,Orを通る直線R2とのなす第1の角度をθlとし、点prと原点Orとを通る直線(投影線)R1rと直線R2とのなす第2の角度をθrとして、距離算出手段27は、
に基づいて視差dを算出する。
また、視差算出部27Aは、被写体像2l,2rに対して(又は経緯度画像6l,6rに対して)視差dをマッピングすることで視差図を作成し、視差に応じて濃淡を付けて表示部200に表示させることも好適である。表示部200で表示される画像の濃淡でカメラ11l,11rに対する被写体の配置関係が分かる。
距離算出部27Bは、カメラ11l,11rから実空間上の点Pまでの距離ρl,ρrを視差算出部27Aで算出された視差dを利用して算出する。距離算出部27Bは、距離ρl,ρrを、
に基づいて算出する。ここで、bsは、カメラ部間距離であり、校正されたカメラ座標系Sl,Srの原点Ol,Or間の距離である。
構造解析部28は、距離算出手段27によって算出された距離ρl,ρrを利用して情景内の3次元形状を復元する。また、カメラ11l,11rで取得された被写体像2l,3r(又は球面画像3l,3r)を利用して各点Pに対応する対応点pl,prでの色情報や領域分割、パターン認識などの画像情報と、復元された3次元形状とにより3次元構造を抽出する。構造解析部28は、抽出した3次元構造の情報を制御部29に入力する。
制御部29は、入力部300から入力された指示に基づいてCCDカメラ13l,13r及び解析装置20を制御する。
例えば、被写体像2l,2rを取得する旨の指示が入力部300を通して入力されると、制御部29は、CCDカメラ13l,13rを駆動して被写体像2l,2rを球面画像形成部21に入力せしめる。また、制御部29は、被写体像2l,2rの取得を停止する(又はナビゲーションを停止する)旨の指示が入力されると、CCDカメラ13l,13rから球面画像形成部21への被写体像2l,2rの画像データの入力を停止せしめる。
更に、制御部29は、内部パラメータ及び外部パラメータを算出する旨の指示が入力されると、パラメータ算出部23によって内部パラメータ及び外部パラメータを算出し、メモリ部22に入力せしめる。また、制御部29は、球面画像3l,3rを校正する旨の指示が入力されると、校正部24によって球面画像3l,3rを校正する。
また、制御部29は、構造解析部28で抽出した3次元構造及び距離算出手段27に基づいて、カメラ11l,11rの周囲の3次元構造までの距離ρl,ρrが所定の距離よりも短くなれば、ナビゲーションシステム1が搭載される移動体のブレーキなどを作動させる制御信号を移動体の制御装置(不図示)に向けて発信する。制御信号としては、前述のようにブレーキなどを作動させるものでもよいし、アラーム信号を発するものなども有効である。
上述した解析装置20は、パーソナルコンピュータとしたが、CCDカメラ13l,13rから入力される画像データ等を一時記憶するRAM(Random Access Memory)、上記球面画像形成部21、パラメータ算出部23、校正部24、経緯度画像形成部25、対応点探索部26、距離算出手段27、構造解析部28及び制御部29で実施される各処理のためのプログラムやデータが格納されたROM(Read Only Memory)、このROMに格納されたプログラムを実行することにより、ROMおよびRAMに記憶されたデータに基づいて各種の演算処理を行うCPU(Central Processing Unit)などのハードウェアを備えていればよい。
次に、図11及び図12を利用して上記ナビゲーションシステムの動作について説明する。図11は、ナビゲーションシステムの動作のフローチャートを示す図である。
先ず、S10において、前処理1としてカメラ11l,11rの内部パラメータ及び外部パラメータを校正する。この内部パラメータ及び外部パラメータの校正方法を、図12を利用して具体的に説明する。図12は、内部パラメータ及び外部パラメータの校正方法のフローチャートを示す図である。
先ず、S10Aにおいて、操作者は、図5に示した校正パターン4Aをカメラ11l,11rの視野内に配置する。その後、操作者によって入力部300を介して制御部29に撮影を指示する指示が入力されると、制御部29は、CCDカメラ13l,13rを制御して、被写体としての校正パターン4Aの像(すなわち、被写体像)を取得する。
S10Bにおいて、パラメータ算出部23は、CCDカメラ13l,13rからの画像データを受けると、被写体像2l,2rに含まれる消失点対を算出後、それらの消失点から焦点位置(画像中心位置)を算出する。また、一対の消失点間の距離をπで除することによって焦点距離fを算出する。パラメータ算出部23は、算出した焦点距離f及び焦点(画像中心)をメモリ部22に入力することによって内部パラメータを校正する。
更に、S10Cにおいて操作者は、S10Aと同様にして図7に示した校正パターン4Bをカメラ11l,11rで撮影する。そして、S10Dにおいて、球面画像形成部21は、CCDカメラ13l,13rからの画像データを受けると、撮影して取得された被写体像2l,2rを球面画像3l,3rに変換する。次いで、S10Eにおいて、パラメータ算出部23は、式(16)〜式(18)によってカメラ11l,11rの外部パラメータRl,Rr,Tl,Trを算出し、メモリ部22に入力することによってカメラ11l,11rの外部パラメータを校正する。
図11に示すように、S10での内部パラメータ及び外部パラメータの算出後、S11の処理を実行する。すなわち、前処理2として、カメラ11l,11rで取得された各被写体像2l,2rから形成された一対の球面画像3l,3rを校正する。より具体的には、校正部24は、式(23)〜式(25)により回転行列Raを算出し、式(29)を利用して第1のテーブルを校正する。そして、経度画像形成部25は、校正された球面画像3l,3rを経緯度画像6l,6rに展開して、第2のテーブルを作成し、メモリ部22に記録せしめる。
これにより、以降の工程において、経緯度画像形成部25が経緯度画像を形成する場合には、校正された球面画像3l,3rに対応する経緯度画像6l,6rが形成されることになる。
次に、S12において、カメラ11l,11rを駆動してステレオカメラ部10の周囲の情景を被写体として撮影せしめる。S13において、経緯度画像形成部25は、メモリ部22に記録されている第2のテーブルを参照して、取得された被写体像2l,2rから経緯度画像6l,6rを形成する。続いて、S14において、対応点探索部26は、経緯度画像6l,6rに相関法を適用することで、ステレオカメラ部10の周囲の情景内の点P(実空間上の点P)に対応する対応点pl,prを特定する。S15において、距離算出手段27は、対応点pl,pr間の視差dを式(32)によって算出し、更に、式(34)及び式(35)によって距離ρl,ρrを算出する。
このように距離ρl,ρrが算出された後、S16において、構造解析部28は、原画像である被写体像2l,2rと距離ρl,ρrとに基づいてステレオカメラ部10の周囲の情景の3次元形状を復元し、被写体像2l,2rが有する画像情報に基づいて被写体の3次元構造を抽出する。S17において、表示部200は、構造解析部28で解析された3次元構造を操作者に表示し、S18において、制御部29は、構造解析部28によって抽出されたステレオカメラ部10の周囲の3次元構造及び距離ρl,ρrに基づいてナビゲーションシステム1が搭載されている車両などの移動体を制御する。移動体の制御の例としては、例えば、ステレオカメラ部10の周囲の3次元構造物までの距離ρl,ρrが予め設定してある所定の距離よりも短い場合には、移動体の移動を停止せしめる制御信号(例えば、ブレーキを作動させる信号)を発信する。
次に、S19において、制御部29は、入力部300から撮影を停止する旨(言い換えれば、ナビゲーションを停止する旨)の指示が入力されたか否かを判断する。停止する旨の指示に対応する停止コマンドが入力されていない場合には(S19で「No」)、S12に戻る。また、停止コマンドが入力された場合には(S19で「Yes」)、ナビゲーションを終了する。
なお、上記方法では、カメラ11l,11rの内部パラメータ、外部パラメータ及び球面画像3l,3rの校正や、第2のテーブルの作成を実施しているが、これらは、例えば、構造解析装置100を組み立てた際に一度実施しておけばよく、次にステレオカメラ部10の周囲の3次元構造を抽出する場合には、S12から実施すればよい。
上記構造解析装置100を備えたナビゲーションシステム1では、被写体の撮影に画角の大きい魚眼レンズ12l,12rを利用していることから、より広い視野内の情景を一度に取得することができる。また、カメラ11l,11rで取得された被写体像2l,2rを球面画像3l,3rに変換することで、投影点を一様に表現できている。更に、球面画像3l,3rを利用していることから、従来の平面画像に対してステレオ法を適用するときのように奥行きで表現せずに、実空間上の点Pからカメラ11l,11rまでの距離ρl,ρrで表現される。これにより、カメラ11l,11rと、カメラ11l,11rが取り付けられている車体や移動ロボットとの相対位置が分かれば、車両や移動ロボットからの距離を計算でき、衝突の予測などに利用できる。
更にまた、経緯度画像6l,6rを利用して対応点pl,prを特定しているので、球面画像3l,3r上のエピポーラ線を利用して対応点探索を実施する場合よりも早く且つ容易に対応点pl,prを特定可能である。よって、車両や移動ロボットなどの移動体に好適に適用可能である。
上記ナビゲーションシステム1は、構造解析装置100を備えるとしたが、図13に示すように、距離算出装置110を備えたナビゲーションシステム8としても良い。図13に示した距離算出装置110は、解析装置120が構造解析部を備えていない点で、構造解析装置100の構成と相違する。
この場合、制御部29は、距離算出手段27で算出された距離ρl,ρrが所定の距離より短くなった場合に、例えば、車両などの移動体を停止するように制御すればよい。この距離算出装置110が有するカメラ11l,11rの内部パラメータ及び外部パラメータの算出方法は、構造解析装置100の場合と同様である。
更に、距離算出装置110を備えたナビゲーションシステム8の動作は、図11に示したS10〜S17の工程と同様の工程を実施した後に、S18において、制御部29が、距離算出手段27で算出された距離ρl,ρrに基づいて移動体を制御する。次いで、S19において停止コマンドが入力されたか否かを構造解析装置100の場合と同様に判断し、停止する旨の指示コマンドである停止コマンドが入力されていない場合には(S19で「No」)、S12に戻る。また、停止コマンドが入力された場合には(S19で「Yes」)、ナビゲーションを終了する。
(第2の実施形態)
次に、パラメータ算出部23が、カメラ11l,11rが有する他のパラメータを更に校正する場合の実施形態について説明する。カメラ11lの校正方法とカメラ11rの校正方法とは同じであるので、カメラ11l,11rを区別する符合「l」、「r」は付さずに説明する。
魚眼レンズ12には、式(10)で示す射影方式の他に
で示される射影方式がある。魚眼レンズ12の製造誤差などを考慮すると、式(10)、及び、式(36)〜式(38)は、
として表されるが、パラメータ算出部23では、近似式として
を利用する。k1、k3、k5は、焦点距離fに依存しており、画像平面の原点である画像中心に対する結像点の径方向の歪みを表す放射歪み(radial distortion)パラメータである。
図14は、校正された画像座標系で表された画像平面の平面図である。原点Cは、画像中心を表しており、点qは、魚眼レンズ12による実空間上の点Pの結像点である。校正前の画像座標系において、点Cの座標を(x0,y0)とし、点qの座標を(xq,yq)とし、αをx方向及びy方向の単位距離あたりの画素数の比とする。この場合、校正後の画像座標系での点qのx座標及びy座標は、
によって算出され、校正後の画像座標系での点qと原点Cとの距離rq、及び、x軸からの方位角φqは、
となる。
ところで、魚眼レンズ12の光軸が画像平面(結像平面)に対して垂直になっていない場合、decentering distortionとして知られる歪みが生じる。この歪みは、点qにおける接線方向の歪みとして表れる。以下、このdecentering distortionとして知られる歪みを接線歪みと称す。
画像平面上の点qにおけるx方向及びy方向の接線歪みの成分は、
となる(例えば、A. Conrady, “Decentering lens system”, Monthly Notices of the RoyalAstronomical Soc. Vol. 79, pp.384-390, 1919、R. Swaminathan, et. al., “Nonmetric calibrationof wide-angle lenses and polycameras”, IEEE. PAMI, vol.22, No.10, 2000参照)。式(43)及び式(44)を極座標で表示すると、
となる。
従って、放射歪み及び接線歪みを含めた場合、校正前の画像座標系での点qの原点からの距離r及び方位角φは、
であり、校正すべきカメラ11の内部パラメータは(x0,y0,α,k1,k3,k5,J1,J2)である。
この場合、実空間上の点Pに対応する球面画像3上の対応点pの座標は、前述したカメラ11の内部パラメータを利用して表されることになる。
パラメータ算出部23を利用して内部パラメータ及び外部パラメータを校正するときには、図15に示すような校正用部材としてのボックスパターン9を利用する。ボックスパターン9は、市松模様(又はチェスパターン)を有する3つの校正パターン9A,9B,9Cからなり、互いに直交する2つの校正パターン9A,9Bを他の1つの校正パターン9C上に設けたものである。
上記ボックスパターン9を利用してカメラ11の内部パラメータ及び外部パラメータを校正する場合、(1)内部パラメータの初期化を行ったのち、(2)カメラ11の姿勢を表す外部パラメータ(R,T)の初期推定を行う。更に(3)内部パラメータの微調整を実施してから、(4)投影誤差の最小化を図る。そして、最後に、(5)接線歪みを含んだ目的関数の最小化を実施することによって、内部パラメータ及び外部パラメータを校正する。以下、順に説明する。
先ず、前述したように、(1)内部パラメータの初期化をする。図16は、図15に示したボックスパターン9をカメラ11で撮影して取得された被写体像の図である。撮影には、ソニー製のビデオカメラ(DCR−HC30)にオリンパス製の魚眼レンズ(FCON−02)を取り付けたものをカメラ11として利用している。この被写体像の視野領域を、楕円でフィッティングする。楕円は、次式
で表されるので、フィッティングによって得られた楕円の中心を画像中心(x0,y0)の初期値とし、
で表される被写体像のアスペクト比をαの初期値とする。
そこで、接線歪みを0として、式(52)及び式(53)より放射歪みの初期値を決める。すなわち、式(53)より焦点距離fを算出し、式(52)におけるθ、θ3、θ5の各係数をk1,k3、k5の初期値とする。
次に、(2)カメラ11の外部パラメータ(R,T)の初期推定を実施する。ここでは、世界座標系Swを、図15及び図16に示すように、ボックスパターン9の角部を原点とした3次元座標系とする。ボックスパターン9での格子点Pwの位置ベクトルMwと、その点Pwの球面画像3上の投影点pの位置ベクトルmとの間には、式(9)が成り立っているので、
が得られる。1つの格子点Pから式(54)及び式(55)に示すように2つの式が得られることからN点を観測すると、2N個の方程式が得ることができる。内部パラメータを既知とすると、式(54)及び式(55)を利用してカメラ11の外部パラメータ(R,T)を算出できる。パラメータ算出部23は、6点以上の格子点Pを抽出し、式(54)及び式(55)を利用して線形推定でR,Tを算出する。
この式(56)の最後の自乗の項は、式(54)及び式(55)の2式を差し引いて得られたものである。
そして、パラメータ算出部23は、式(54)及び式(55)を利用して算出したR、Tを初期値として、式(56)を利用してカメラ11の初期姿勢を算出する。
続いて、(3)内部パラメータの微調整を実施する。ここでは、R、Tを既知として、式(56)を利用して、ボックスパターン9に含まれる全ての格子点を利用してカメラ11の内部パラメータの微調整を実施する。
更に、(4)投影誤差の最小化を行う。(3)によって算出されたカメラ11の内部パラメータ及び外部パラメータを利用することで、次に示すように、実空間におけるボックスパターン9上の格子点を結像した被写体像2における点qの座標を得ることができる。
実際にCCDカメラ13で得られた被写体像2上の点qiの位置ベクトルniと、格子点の世界座標Swの座標から算出された点qiの位置ベクトルnqiとの間の二乗距離d(ni,nqi)2の合計を最小化し、内部パラメータ及び外部パラメータを調整する。すなわち、目的関数η3として、
を設定し、その最小化を実施することで、内部パラメータ及び外部パラメータを調整する。
最後に、(5)接線歪みを含んだ目的関数η2の最小化を実施する。ここでは、接線歪みを表すパラメータを含めた式(58)の目的関数η3を設定し、(4)までで得られた内部パラメータ及び外部パラメータを利用して、目的関数η2を再計算し、接線歪みパラメータも校正する。本実施形態では、パラメータ算出部23は、カメラ11の内部パラメータ及び外部パラメータを算出するために、ボックスパターン9が撮影されると、上述した(1)〜(5)を実行することによって、内部パラメータ及び外部パラメータを算出し、メモリ部22に入力する。
構造解析装置(又は距離算出装置)の動作は、パラメータ算出部23によるカメラ11l,11rの内部パラメータ及び外部パラメータの校正方法以外は、第1の実施形態の場合と同様である。この場合、放射歪みや接線歪みなども含めて内部パラメータ及び外部パラメータが校正されているので、カメラ11l,11rからの距離ρl,ρrをより正確に算出できる。なお、接線歪みパラメータの校正(すなわち、上記(5)の処理)は、必ずしも実施しなくてもよいが、接線歪みパラメータを校正することで更に距離ρl,ρrが正確になる傾向にある。
以上の説明では、魚眼レンズ12の射影方式を式(37)で表される立体射影としているが、式(10)、式(36)及び式(38)で表される各射影方式に対して本実施形態で示したカメラ11の校正方法は適用できる。例えば、式(10)で表される等距離射影方式を有する魚眼レンズに対しては、式(40)の第1項以外を0とすると、
が成り立つ。これは立体射影を用いたときの式(53)に対応する。従って、放射歪みの初期値値を次式から決定すればよい。
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、カメラ11lは、1つの魚眼レンズ12lを有するとしたが、1つのカメラ11lに対して2つの魚眼レンズ12l,12lを有することは好適である。2つの魚眼レンズ12l,12lを、光の入射面が互いに反対側を向くように配置することで、全天周の情景を一度に取得することができる。これは、カメラ11rに対しても同様である。この場合、ステレオカメラ部10の周囲の構造物までの距離をカメラ11l,11rの方向を変えずに求めることが可能であり、周辺監視装置に好適に利用できる。
更に、前述したように校正部24は、パラメータ算出部23の一部としてもよい。更にまた、上記では、距離算出手段27は、視差算出部27Aと距離算出部27Bとを有するとしたが、この場合に限られない。式(32)、式(34)及び式(35)より
が成り立つので、距離算出手段27は、視差dを算出せずに、第1及び第2の角度θl,θr及び距離bsから式(61)及び式(62)を利用して距離ρl,ρrを算出してもよい。
また、構造解析装置100及び距離算出装置110では、例えば、メモリ部22に予め校正された球面画像3l,3rに対応した第1のテーブル及び第2のテーブルが記憶されている場合等には、パラメータ算出部23、球面画像形成部21及び校正部24を必ずしも備えなくてもよい。更に、ステレオカメラ部10は、2つのカメラ11l,11rから構成されているとしたがこれに限定されない。魚眼レンズ特性を有する第1及び第2のカメラ部が1つの筐体内に収容されているものとしてもよい。
以下に、本発明に係る構造解析装置を、実施例に基づいてより具体的に説明する。なお、本発明は、以下の実施例に限定されるものではない。
図17は試作した構造解析装置100で利用したカメラ11l,11rの図である。カメラ11l,11rは、ソニー製のビデオカメラ(DCR−HC30)にオリンパス製の魚眼レンズ(FCON−02)を取り付けたものとし、三脚上に互いに平行に配置した。なお、カメラ11l,11rは、その内部パラメータが校正されているものを用いた。
カメラ11l,11rの外部パラメータを校正するために、図7に示した校正パターン4Bをカメラ11l,11rで同時に撮影した。図18(a),(b)は、校正パターン4Bをカメラ11l,11rで撮影したときの被写体像の図である。図18(a)は、カメラ11lで取得された被写体像の図を示しており、図18(b)は、カメラ11rで取得された被写体像の図を示している。図18(a),(b)に示した被写体像の図に対して、LKオペレータにより格子点Pを抽出した。図18(c)は、図18(a)の被写体像の図から格子点Pを抽出した図である。図18(c)中、白丸で囲んでいる部分が抽出した点を示している。図18(c)に示すように校正パターン4Bの格子点Pが確実に抽出されていることが分かる。
このようにコーナ点Pを抽出した後に、パラメータ算出部23によって外部パラメータを算出し、メモリ部22に入力することでカメラ11l,11rの外部パラメータを校正した。
このようにカメラ11l,11rの内部パラメータ及び外部パラメータが校正された構造解析装置100を利用して戸外で実際にカメラ11l,11r周囲の情景を撮影した。撮影対象のモデルとしてカメラ11l,11r側に頭を近づけている人物を撮影した。
図19(a),(b)は、図17に示したカメラ11l,11rを利用して戸外で撮影して取得された被写体像の図である。図19(a)は、カメラ11lで取得された被写体像の図であり、図19(b)は、カメラ11rで取得された被写体像の図である。
図20(a)は、被写体像をカメラ11lによって取得した後に、S13(図11参照)の工程によって形成された経緯度画像の図である。また、図20(b)は、被写体像をカメラ11rによって取得した後に、S13の工程によって形成された経緯度画像の図である。図20(a),(b)中に示した水平線がエピポーラ線7l,7rである。構造解析装置100では、校正された球面画像3l,3rに対応する経緯度画像6l,6rが作成されるので、図20(a),(b)に示すように、経緯度画像6lでのエピポーラ線7lに対応する経緯度画像6rのエピポーラ線7r上に同じ特徴が確かにのっている。
図20(a),(b)に示した経緯度画像6l,6rに対して更にS14(図11参照)における対応点探索を実施し、特定された対応点間の視差dを算出した。
図20(c)は、視差dを図20(a)に示した経緯度画像6lにマッピングして得られる視差図である。図20(c)において、明るい点が大きな視差を有する部分であり、図20(a),(b)に表示されていた人物の頭部の部分がより大きな視差を有していることがわかる。これにより、図20(a),(b)に表示されていた人物がカメラ11l,11r側に頭を近づけている状態が確かに表されていることが分かる。
なお、距離算出装置および構造解析装置の例としては、以下に示すものが挙げられる。
例えば、距離算出装置は、(1)魚眼レンズ特性を有する第1のカメラ部と、(2)魚眼レンズ特性を有しており第1のカメラ部とステレオカメラ部を構成する第2のカメラ部と、(3)第1のカメラ部から出力される第1の被写体像に対応する第1の球面画像内の一対のエピポールを両極として展開される平面画像としての第1の経緯度画像を第1の被写体像から形成すると共に、第2のカメラ部から出力される第2の被写体像に対応する第2の球面画像内の一対のエピポールを両極として展開される平面画像としての第2の経緯度画像を第2の被写体像から形成する経緯度画像形成部と、(3)第1及び第2のカメラ部の視野内に含まれる実空間上の点に対応する第1及び第2の経緯度画像内の対応点を特定する対応点探索部と、(4)第1の球面画像での上記対応点である第1の対応点及び第1の球面画像の中心を通る直線と第1及び第2の球面画像の中心を通る直線とのなす第1の角度、第2の球面画像での上記対応点である第2の対応点及び第2の球面画像の中心を通る直線と第1及び第2の球面画像の中心を通る直線とのなす第2の角度、及び、第1のカメラ部と第2のカメラ部との間のカメラ部間距離に基づいて前述した実空間上の点から第1及び第2のカメラ部までの距離を算出する距離算出手段と、
を備えることが考えられる。
を備えることが考えられる。
上記構成によれば、魚眼レンズ特性を有する第1及び第2のカメラ部はステレオカメラ部を構成しており、第1の被写体像及び第2の被写体像を一度に取得する。第1及び第2の経緯度画像形成部は上記第1及び第2の被写体像から第1及び第2の経緯度画像を形成し、対応点探索部は実空間上の点に対応する第1及び第2の経緯度画像内での対応点を探索して特定する。距離算出手段が、第1及び第2の球面画像での上記対応点に対応する第1及び第2の対応点で決まる第1及び第2の角度、第1及び第2のカメラ部間のカメラ部間距離に基づいて上記実空間上の点から第1及び第2のカメラ部までの距離を算出する。
上記構成では、第1及び第2のカメラ部が魚眼レンズ特性を有することから、ステレオカメラ部周囲のより広い領域を被写体として撮像できる。また、エピポーラ線は、各第1及び第2の経緯度画像では互いに平行な直線であるので、例えば、エピポーラ線が大円となる第1及び第2の球面画像上で対応点を探索するより容易且つ早く対応点を探索し特定できる。その結果として、被写体に含まれる実空間上の点までの距離をより早く容易に算出することが可能である。
また、上記距離算出装置が有する距離算出手段は、第1のカメラ部の焦点距離、第2のカメラ部の焦点距離、第1の角度及び第2の角度を利用して第1及び第2の対応点間の視差を算出する視差算出部と、第1の角度、第2の角度、カメラ部間距離、及び、前述した視差に基づいて上記実空間上の点から第1及び第2のカメラ部までの距離を算出する距離算出部と、を有することが好ましい。
球面画像ではエピポーラ線は大円であるため、第1及び第2の対応点間の視差は次のように表される。すなわち、視差は、第1の球面画像でのエピポーラ線における第1の対応点とエピポールとの間の円弧の長さと、第2の球面画像でのエピポーラ線上における第2の対応点とエピポール間の円弧の長さの差として表される。この円弧の長さは、円弧が含まれる第1及び第2の球面画像の半径と円弧の中心角から求められる。上記構成では、第1及び第2の球面画像の半径は第1及び第2のカメラ部の焦点距離に対応し、円弧の中心角は第1及び第2の角度から得られる。そこで、視差算出部が、第1及び第2のカメラ部の焦点距離と第1及び第2の角度とによって第1及び第2の対応点間の視差を算出する。そして、距離算出部が、算出された視差とカメラ部間距離と第1及び第2の角度とに基づいて、対応点に対する実空間上の点から第1及び第2のカメラ部までの距離を算出する。このように一度視差を算出することによって、その視差を、例えば、第1の被写体像の図にマッピングすることで視差図を形成することが可能である。
更に、上記距離算出装置では、第1の被写体像から第1の球面画像を形成すると共に、第2の被写体像から第2の球面画像を形成する球面画像形成部と、球面画像形成部で形成される第1及び第2の球面画像を校正する校正部と、を更に備え、校正部は、第1の球面画像を表示する第1のカメラ座標系と第2の球面画像を表示する第2のカメラ座標系とを、互いのZ軸が平行であり且つ互いのY軸が平行であって互いのX軸が同一直線上に位置するように変換することによって第1及び第2の球面画像を校正し、経緯度画像形成部は、校正部によって校正された第1及び第2の球面画像に対応する第1及び第2の経緯度画像を形成することが好適である。
この場合、球面画像形成部で形成された第1及び第2の球面画像を校正部によって校正することで、被写体に対する第1及び第2のカメラ座標系の姿勢が同じになる。そして、校正部によって校正された第1及び第2の球面画像に対応する第1及び第2の経緯度画像を経緯度画像形成部が形成する。これにより、第1の経緯度画像に含まれるエピポーラ線と第2の経緯度画像に含まれるエピポーラ線とが平行なるので、対応点の探索がより容易になる。
また、上記の構造解析装置は、(1)前述した距離算出装置と、(2)その距離算出装置で算出された上記距離と、第1及び第2の被写体像とからステレオカメラ部の周囲の3次元構造を抽出する構造解析部と、を備えることが考えられる。
この構造解析装置では、上記距離算出装置を備えているので、第1及び第2のカメラ部からその周囲の情景内の3次元構造物上の点までの距離を算出できる。従って、距離算出に利用した対応点の第1及び第2の被写体像上の点と算出された距離とから3次元構造を復元することが可能である。
そして、上記構造解析装置では、構造解析部で抽出されたステレオカメラ部の周囲の3次元構造を表示する表示部を更に備えることが好ましい。これにより、表示部にはステレオカメラ部周囲の3次元構造が表示されるので、例えば、それを見ながら車両の運転を実施することが可能である。
また、上記距離算出装置において適用される距離算出方法は、(1)ステレオカメラ部を構成しており魚眼レンズ特性を有する第1及び第2のカメラ部によって被写体像を取得する像取得工程と、(2)第1のカメラ部から出力される第1の被写体像に対応する第1の球面画像内の一対のエピポールを両極として展開される平面画像としての第1の経緯度画像を第1の被写体像から形成すると共に、第2のカメラ部から出力される第2の被写体像に対応する第2の球面画像内の一対のエピポールを両極として展開される平面画像としての第2の経緯度画像を第2の被写体像から形成する経緯度画像形成工程と、(3)第1及び第2のカメラ部の視野内に位置する実空間上の点に対応する第1及び第2の経緯度画像内の対応点を特定する対応点探索工程と、(4)第1の球面画像での対応点である第1の対応点及び第1の球面画像の中心を通る直線と第1及び第2の球面画像の中心を通る直線とのなす第1の角度をθl、第2の球面画像での対応点である第2の対応点及び第2の球面画像の中心を通る直線と第1及び第2の球面画像の中心を通る直線とのなす第2の角度をθr、第1のカメラ部と第2のカメラ部との間のカメラ部間距離をbsとしたとき、前述した実空間上の点から第1のカメラ部までの距離ρl及び第2のカメラ部までの距離ρrを、
によって算出する距離算出工程と、を備えることが考えられる。
この場合、ステレオカメラ部を構成する第1及び第2のカメラ部で第1及び第2の被写体像を一度に取得すると、それらから第1及び第2の経緯度画像が形成される。そして、第1及び第2の経緯度画像を利用して、実空間上の点に対応する対応点が特定された後、第1の角度、第2の角度及びカメラ部間距離に基づいて対応点に対する実空間上の点から第1及び第2のカメラ部までの距離ρl,ρrが算出されることになる。
上記方法では、第1及び第2のカメラ部が魚眼レンズ特性を有することから、より広い視野内の情景を一度に撮影できる。また、第1及び第2の被写体像から形成される第1及び第2の球面画像では大円となるエピポーラ線は、各第1及び第2の経緯度画像では、互いに平行な直線であるので、例えば、第1及び第2の球面画像上で探索するより容易且つ早く対応点を探索し特定可能である。その結果として、被写体に含まれる実空間上の点までの距離を早く且つ容易に算出することが可能である。
球面画像ではエピポーラ線は大円であるため、第1の球面画像でのエピポーラ線上における第1の対応点とエピポール間の円弧の長さと、第2の球面画像でのエピポーラ線上における第2の対応点とエピポール間の円弧の長さの差として表される。この円弧の長さは、円弧が含まれる第1及び第2の球面画像の半径と円弧の中心角から求められる。そして、第1及び第2の球面画像の半径は第1及び第2のカメラ部の焦点距離に対応し、円弧の中心角は第1及び第2の角度から得られる。
そこで、上記方法では、第1及び第2のカメラ部の焦点距離、第1及び第2の角度によって第1及び第2の対応点間の視差を算出し、その算出された視差、カメラ部距離、第1の角度及び第2の角度に基づいて、対応点に対する実空間上の点から第1及び第2のカメラ部までの距離を算出する。このように一度視差を算出することによって、その視差を、例えば、第1の被写体像の図にマッピングした視差図を形成することが可能である。
更にまた、上記の距離算出方法では、第1の被写体像から第1の球面画像を形成すると共に、第2の被写体像から第2の球面画像を形成する球面画像形成工程と、球面画像形成工程で形成される第1及び第2の球面画像を校正する校正工程と、を更に有し、第1の球面画像を表示する第1のカメラ座標系と第2の球面画像を表示する第2のカメラ座標系とを、互いのZ軸が平行且つ互いのY軸が平行であって互いのX軸が同一直線上になるように変換することよって第1及び第2の球面画像を校正し、経緯度画像形成工程では、校正工程によって校正された第1及び第2の球面画像に対応する第1及び第2の経緯度画像を形成することが好適である。
この場合、球面画像形成工程で形成された第1及び第2の球面画像を校正工程によって校正することで、第1及び第2のカメラ座標系の被写体に対する姿勢が同じになる。そして、校正された第1及び第2のカメラ座標系で表される第1及び第2の球面画像に対応する第1及び第2の経緯度画像が経緯度画像形成工程で形成される。これにより、第1の経緯度画像に含まれるエピポーラ線と第2の経緯度画像に含まれるエピポーラ線とが平行になるので、対応点の探索がより容易になる。
また、上記の構造解析装置において適用される構造解析方法は、前述の距離算出方法によって算出された距離ρr及び距離ρlと第1及び第2の被写体像とからステレオ部周囲の3次元構造を抽出する構造解析工程を備えることが考えられる。
この構造解析方法では、第1及び第2のカメラ部からそれらの周囲の情景を構成する3次元構造物上の点までの距離が算出できる。従って、距離算出に利用した対応点の第1及び第2の被写体像上の点と算出された距離とから3次元構造を復元することが可能である。
上記の距離算出装置、距離算出方法によれば、一対の球面画像を利用して被写体までの距離を容易に算出することができる。また、上記の構造解析装置及び構造解析方法によれば、一対の球面画像を利用して被写体までの距離を容易に算出できるので、被写体の3次元構造を抽出することが可能である。
本発明に係る校正方法を適用することによって、例えば、距離算出装置、距離算出方法、構造解析装置及び構造解析方法は、車両や移動ロボットなどのナビゲーションシステムや周辺監視システムに利用することが可能である。
3l…球面画像(第1の球面画像)、3r…球面画像(第2の球面画像)、5…エピポーラ平面、6l…経緯度画像(第1の経緯度画像)、6r…経緯度画像(第2の経緯度画像)、7l,7r…エピポーラ線、10…ステレオカメラ部、11l…カメラ(第1のカメラ部)、11r…カメラ(第2のカメラ部)、21…球面画像形成部、22…メモリ部、23…パラメータ算出部、24…校正部、25…経緯度画像形成部、26…対応点探索部、27…距離算出手段、27A…視差算出部、27B…距離算出部、28…構造解析部、100…構造解析装置、110…距離算出装置、Cl…円弧、Cr…円弧、d…視差、e1l,e2l…第1の球面画像の一対のエピポール、e1r,e2r…第2の球面画像の一対のエピポール、f…第1及び第2のカメラ部の焦点距離、Ol…原点(第1のカメラ座標系の原点、第1の魚眼レンズの焦点、第1の球面画像の中心)、Or…原点(第2のカメラ座標系の原点、第2の魚眼レンズの焦点、第2の球面画像の中心)、pl…対応点(第1の対応点)、pr…対応点(第2の対応点)、Sc…カメラ座標系(第1のカメラ座標系)、Sl…カメラ座標系(第2のカメラ座標系)、Sw…世界座標系(所定の世界座標系)、R1l…実空間上の点と第1の対応点を通る直線、R1r…実空間上の点と第2の対応点を通る直線、R2…第1及び第2の球面画像の中心を通る直線。
Claims (6)
- 魚眼レンズ特性を有する魚眼カメラの校正方法であって、
前記魚眼カメラにより校正部材を被写体として撮像する撮像工程と、
撮像された前記校正部材の被写体像を基に内部パラメータの初期値を算出する第1の初期値算出工程と、
算出された前記内部パラメータの初期値を基に、前記魚眼カメラの画像平面での前記被写体像上の各像点の座標を極座標変換することで、前記魚眼カメラのカメラ座標系で表される前記被写体像の球面画像を形成する球面画像形成工程と、
世界座標系における前記校正部材上の各物点と各前記物点に対応する前記球面画像上の像点との間で前記内部パラメータ及び前記魚眼カメラの外部パラメータを含んで表される変換式群において、前記内部パラメータの前記初期値を前記変換式群に代入して線形推定することによって前記外部パラメータの初期値を算出する第2の初期値算出工程と、
前記変換式群を基に決定される第1の目的関数に、前記外部パラメータの前記初期値を代入して前記第1の目的関数を最小化することによって前記外部パラメータの第1推定値を算出すると共に、算出された前記外部パラメータの推定値を前記第1の目的関数に代入して最小化することによって前記内部パラメータの第1推定値を算出する推定値算出工程と、
前記画像平面における前記被写体像の像点と、前記物点の前記画像平面への投影点との間の二乗距離の合計を示す第2の目的関数に、前記内部パラメータ及び前記外部パラメータの前記第1推定値を代入し、最小化することによって、前記内部パラメータ及び前記外部パラメータの校正用の値としての校正用パラメータ値を算出するカメラパラメータ算出工程と、
を備え、
前記内部パラメータは、前記画像平面の原点と、前記被写体像の視界領域のアスペクト比と、前記被写体像上の像点の前記原点に対する放射歪みを表す放射歪みパラメータとを含んでおり、
前記放射歪みパラメータは、前記魚眼カメラの射影方式を示す式としての射影方程式を入射角を中心にテーラー展開した場合の各項の係数であり、
前記第1の初期値算出工程では、
楕円を示す式で前記校正部材の前記被写体像をフィッティングすることで、前記楕円の中心を前記原点の初期値とし、前記楕円のアスペクト比を前記視界領域のアスペクト比の初期値とし、前記テーラー展開された前記射影方程式を基に前記放射歪みパラメータの初期値を算出することを特徴とする魚眼カメラの校正方法。
- 前記魚眼カメラにおいて前記射影方式に基づいた画像平面における像点と原点との距離をrとし、前記入射角をθとし、Nを0以上の整数としたとき、テーラー展開された前記射影方程式は、
前記楕円を示す式を、
前記魚眼カメラの最大視野角θmaxの半分を前記入射角θとした場合に成立する
- 前記内部パラメータは、前記被写体像の像点の接線歪みを表す接線歪みパラメータを更に含んでおり、
前記第1の初期値算出工程では、前記接線歪みパラメータを0として、前記画像平面の原点、前記視界領域のアスペクト比及び放射歪みパラメータの初期値を算出し、
前記推定値算出工程では、前記接線歪みパラメータを0とした場合の前記第1の目的関数を基に前記内部パラメータ及び前記外部パラメータの第1推定値を算出し、
前記カメラパラメータ算出工程は、
前記接線歪みパラメータを0とした場合の前記第2の目的関数を基に前記内部パラメータのうち前記原点、前記アスペクト比及び前記放射歪みパラメータ並びに前記外部パラメータの前記校正用パラメータ値を算出する工程と、
前記接線歪みパラメータを含んでおり、算出された前記原点、前記アスペクト比及び前記放射歪みパラメータ及び外部パラメータの前記校正用パラメータ値を代入して得られる前記第2の目的関数を最小化することによって前記接線パラメータの校正用パラメータ値を算出する工程と、
を有することを特徴とする請求項1に記載の魚眼カメラの校正方法。
- 前記校正部材は、市松模様を有する校正パターンであり、
前記物点は、前記校正パターンの格子点であることを特徴とする請求項1〜4の何れか一項に記載の魚眼カメラの校正方法。
- 前記校正部材は、市松模様を有する3つの校正パターンを互いに略直交するように組み合わせてなるボックスパターンであり、
前記物点は、前記ボックスパターンの格子点であり、
前記世界座標系は、前記ボックスパターンの角部を原点としていることを特徴とする請求項1〜4の何れか一項に記載の魚眼カメラの校正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007056228A JP4825980B2 (ja) | 2007-03-06 | 2007-03-06 | 魚眼カメラの校正方法。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007056228A JP4825980B2 (ja) | 2007-03-06 | 2007-03-06 | 魚眼カメラの校正方法。 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005206034A Division JP4825971B2 (ja) | 2005-07-14 | 2005-07-14 | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007192832A JP2007192832A (ja) | 2007-08-02 |
JP4825980B2 true JP4825980B2 (ja) | 2011-11-30 |
Family
ID=38448614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007056228A Active JP4825980B2 (ja) | 2007-03-06 | 2007-03-06 | 魚眼カメラの校正方法。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4825980B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930548A (zh) * | 2012-11-19 | 2013-02-13 | 云南大学 | 利用两个相同的相交椭圆线性求解摄像机内参数 |
CN104408730A (zh) * | 2014-12-08 | 2015-03-11 | 北京市新技术应用研究所 | 鱼眼镜头的标定装置 |
US10872432B2 (en) | 2018-01-05 | 2020-12-22 | Panasonic Intellectual Property Management Co., Ltd. | Disparity estimation device, disparity estimation method, and program |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4975592B2 (ja) * | 2007-11-19 | 2012-07-11 | アルプス電気株式会社 | 撮像装置 |
JP2009123131A (ja) * | 2007-11-19 | 2009-06-04 | Alps Electric Co Ltd | 撮像装置 |
MY146158A (en) * | 2007-11-27 | 2012-06-29 | Mimos Berhad | Method for image geometric transformation |
JP5305750B2 (ja) * | 2008-06-18 | 2013-10-02 | アルパイン株式会社 | 車両周辺表示装置およびその表示方法 |
JP2011064566A (ja) * | 2009-09-17 | 2011-03-31 | Fujitsu Ltd | 距離推定装置 |
JP5455124B2 (ja) * | 2010-04-01 | 2014-03-26 | 国立大学法人鳥取大学 | カメラ姿勢パラメータ推定装置 |
JP5645556B2 (ja) * | 2010-09-02 | 2014-12-24 | 三菱電機株式会社 | 画像処理方法および画像処理装置 |
CN102081798B (zh) * | 2010-12-24 | 2012-09-26 | 北京控制工程研究所 | 一种鱼眼立体相机对的极线校正方法 |
KR101265667B1 (ko) * | 2011-06-21 | 2013-05-22 | ㈜베이다스 | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 |
JP6525195B2 (ja) * | 2015-06-09 | 2019-06-05 | 学校法人 中央大学 | 魚眼カメラの内部パラメータの、推定方法、推定装置、及び推定プログラム |
JP6624562B2 (ja) * | 2016-02-23 | 2019-12-25 | パナソニックIpマネジメント株式会社 | 寸法測定装置 |
EP3396310B1 (en) * | 2015-12-25 | 2020-11-25 | Panasonic Intellectual Property Management Co., Ltd. | Dimension measurement device, parcel locker system and dimension measurement method |
JP6624563B2 (ja) * | 2016-02-23 | 2019-12-25 | パナソニックIpマネジメント株式会社 | 寸法測定方法 |
CN108074267B (zh) | 2016-11-18 | 2023-08-11 | 松下知识产权经营株式会社 | 交点检测装置及方法、摄像头校正***及方法及记录介质 |
WO2018179039A1 (ja) * | 2017-03-27 | 2018-10-04 | 日本電気株式会社 | カメラパラメータ推定装置、方法およびプログラム |
US11122195B2 (en) | 2017-03-27 | 2021-09-14 | Nec Corporation | Camera parameter estimation device, method, and program |
CN110021044B (zh) * | 2018-01-10 | 2022-12-20 | 华晶科技股份有限公司 | 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置 |
JP7447403B2 (ja) * | 2018-07-27 | 2024-03-12 | 大日本印刷株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP7321947B2 (ja) * | 2020-01-20 | 2023-08-07 | 日立Astemo株式会社 | 画像補正装置及び画像補正方法 |
JP6800506B1 (ja) * | 2020-02-04 | 2020-12-16 | 株式会社Mujin | 自動カメラキャリブレーションを実施する方法及びシステム |
CN111862051B (zh) * | 2020-02-04 | 2021-06-01 | 牧今科技 | 执行自动相机校准的方法和*** |
US11508088B2 (en) | 2020-02-04 | 2022-11-22 | Mujin, Inc. | Method and system for performing automatic camera calibration |
CN115147268A (zh) * | 2021-03-31 | 2022-10-04 | 影石创新科技股份有限公司 | 实时取景方法、全景相机及计算机可读存储介质 |
CN113587895B (zh) * | 2021-07-30 | 2023-06-30 | 杭州三坛医疗科技有限公司 | 双目测距方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4048511B2 (ja) * | 1998-03-13 | 2008-02-20 | 富士通株式会社 | 魚眼レンズカメラ装置及びその画像歪み補正方法 |
JP3704494B2 (ja) * | 2001-10-19 | 2005-10-12 | 歐普羅科技股▲ふん▼有限公司 | カメラのビューポイント及び焦点距離を調べる方法 |
JP3793100B2 (ja) * | 2002-02-14 | 2006-07-05 | キヤノン株式会社 | 情報処理方法、装置および記録媒体 |
JP2004020398A (ja) * | 2002-06-18 | 2004-01-22 | Nippon Telegr & Teleph Corp <Ntt> | 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体 |
KR100552691B1 (ko) * | 2003-09-16 | 2006-02-20 | 삼성전자주식회사 | 이동로봇의 자기위치 및 방위각 추정방법 및 장치 |
-
2007
- 2007-03-06 JP JP2007056228A patent/JP4825980B2/ja active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930548A (zh) * | 2012-11-19 | 2013-02-13 | 云南大学 | 利用两个相同的相交椭圆线性求解摄像机内参数 |
CN102930548B (zh) * | 2012-11-19 | 2016-01-06 | 云南大学 | 利用两个相同的相交椭圆线性求解摄像机内参数 |
CN104408730A (zh) * | 2014-12-08 | 2015-03-11 | 北京市新技术应用研究所 | 鱼眼镜头的标定装置 |
CN104408730B (zh) * | 2014-12-08 | 2018-08-07 | 北京市新技术应用研究所 | 鱼眼镜头的标定装置 |
US10872432B2 (en) | 2018-01-05 | 2020-12-22 | Panasonic Intellectual Property Management Co., Ltd. | Disparity estimation device, disparity estimation method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2007192832A (ja) | 2007-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4825980B2 (ja) | 魚眼カメラの校正方法。 | |
JP4825971B2 (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
US11748906B2 (en) | Gaze point calculation method, apparatus and device | |
JP5739584B2 (ja) | 車両周辺視角化のための3次元映像合成装置およびその方法 | |
JP5872818B2 (ja) | 測位処理装置、測位処理方法、および画像処理装置 | |
WO2018163898A1 (ja) | 自由視点移動表示装置 | |
JP2874710B2 (ja) | 三次元位置計測装置 | |
CN111062873A (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
JP2008096162A (ja) | 3次元距離計測センサおよび3次元距離計測方法 | |
CN113841384B (zh) | 校准装置,用于校准的图表和校准方法 | |
CN107809610B (zh) | 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质 | |
CN109618108B (zh) | 电子设备和移动平台 | |
US20200294269A1 (en) | Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
CN110419208B (zh) | 成像***、成像控制方法、图像处理设备和计算机可读介质 | |
WO2019176690A2 (en) | Imaging device, image processing apparatus, and image processing method | |
Li et al. | Spherical stereo for the construction of immersive VR environment | |
Li | Real-time spherical stereo | |
JP2005275789A (ja) | 三次元構造抽出方法 | |
Alouache et al. | An adapted block-matching method for optical flow estimation in catadioptric images | |
GB2560301A (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
KR20200030205A (ko) | 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110816 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |