JP5811327B2 - カメラキャリブレーション装置 - Google Patents
カメラキャリブレーション装置 Download PDFInfo
- Publication number
- JP5811327B2 JP5811327B2 JP2011130745A JP2011130745A JP5811327B2 JP 5811327 B2 JP5811327 B2 JP 5811327B2 JP 2011130745 A JP2011130745 A JP 2011130745A JP 2011130745 A JP2011130745 A JP 2011130745A JP 5811327 B2 JP5811327 B2 JP 5811327B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- vehicle
- calibration
- stop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
特に、カメラで撮像した画像を俯瞰処理し、運転者に提示すると、車両周辺環境の認識を容易にすることができる。このような座標系の変換をするには、カメラ画像の車両に対する位置を明確かつ正確に測定しておく必要がある。
カメラのキャリブレーションでは、例えば、大きさの分かっているパターンを路面に敷き、これを撮像し、画像上でのパターンの位置及び大きさとワールド座標系での実際の位置及び大きさとを対応させることで、ワールド座標系でのカメラの撮像面の座標を算出する手法が知られている(例えば、非特許文献1)。
外部パラメータは、ワールド座標系と、設計上の理想的な取付での位置及び姿勢(回転角度)でのカメラの座標系との対応関係を与えるパラメータ群である。カメラ10の組付けの位置や角度には、ばらつきが生じることがあり、そして使用中に位置がずれてしまう可能性もある。すると、カメラの外部パラメータは、理想的な設置位置による外部パラメータとは異なる値となる。この場合、カメラ10の取付誤差を外部パラメータに反映させるか、取付誤差に応じた補正値等を適用しなければ、カメラ座標系とワールド座標系との対応関係が不正確となってしまう。
座標系の対応関係が不正確となると、各種の画像処理がその性能を発揮できなくなる。すると、ドライバへの表示が不適切となり、また、画像の表示が見苦しくなってしまう。
そして、この特許文献1には、測定時の車両位置について、ターゲットに対して「所定の相対関係にある位置」に停車させる旨(段落0047)が開示されている。またこの文献1には、ターゲットとして、所定位置に停車した車両の車体中心を挟んで車幅方向に対向し(段落0045,図4)、ディスプレイ上では左右対称な位置関係(段落0049,図5)とする旨が開示されている。
さらに、車両の走行により取付位置にずれが生ずる可能性もある。キャリブレーションに大規模な設備を必要とすると、車両の移動容易な近隣の比較的小規模な設備ではキャリブレーションの実施不能となってしまう。
すなわち、上記特許文献1及び2手法の記載では、車両の近隣で簡易にキャリブレーションを実行することができない、という不都合があった。
上記特許文献2及び4には、俯瞰画像を用いる手法が開示されているが、理想的な取付パラメータからの修正の方法であって、修正は処理画像のシフトまたは回転のみであり、そして、キャリブレーションの実施には大規模な設備が必要となってしまう。
上記特許文献3記載の手法では、画像中自車が撮像される部分に基づいてキャリブレーションを実行するため、画像の中心から上部など、画像処理及び運転者への情報提供で重要な領域をキャリブレーションの対象外としてしまう。すなわち、上記特許文献3記載の手法では、カメラ画像の下部周辺領域を使ってキャリブレーションを行うことになり、車両後方を監視する用途のカメラでは一般的な、歪の大きなカメラを用いた場合、歪パラメータのわずかなずれが、キャリブレーション精度に影響する。
また、上記特許文献4記載の手法では、車両をおおよその位置に停車させつつも(段落0029)、停車位置と設置パターンとの関係を測定していないため、設置パターンに対する車両の停車誤差が、カメラの設置誤差に混入してしまう。すなわち、特許文献4の図3に示されるフローチャートの各工程に示される処理をしても、設置パターンの座標系に対して、車両の停車位置が傾いているのか、車両に設置されたカメラが傾いているのかを区別することができず、車両の停車誤差がカメラの取付誤差に含まれてしまう。特に、本文献の図11に示されるθyawc2の測定法、算出法は何ら開示されていない。
そして、この特許文献4には、単一のカメラについて車両の停車誤差を除外してカメラの取付誤差を外部パラメータに反映させる手法は、なんら開示されていない。
[課題2]さらに、上記従来例では、単一のカメラにて車両の停車誤差を除外して当該カメラの取付誤差のキャリブレーションをすることができない、という不都合があった。
そして、前記測定領域は、前記自車の形状に対応した2点と交わる線を含み、当該カメラの撮像範囲内となる前記測定領域に少なくとも2本配置される参照線と、前記測定領域内で前記2本の前記参照線の間に予め定められたパターン形状を有する校正用パターンとを備えている。
さらに、本発明は、前記画像処理部が、前記カメラで前記校正用パターン及び前記参照線が配置される測定領域を撮影することで前記測定用画像を生成する撮像処理と、前記2本の前記参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する停車誤差算出処理と、当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する外部パラメータ算出処理とを備えた、という構成を採っている。
これにより、上記課題1及び2を解決した。
画像処理部の停車誤差算出処理は、この関係を利用して、この2本の参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する。そして、外部パラメータ算出処理は、停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する。従って、校正用パターンを自車の停車方向に対して厳密に平行等の方向に設置しなくとも、逆に、校正用パターンに対して厳密な方向で停車しなくとも、停車誤差の影響を除外して外部パラメータを算出することができる。
従って、車両の停車誤差の影響を排除できるキャリブレーションを簡易な設備で実施することができる。
<1.1 車両側方の参照線>
ここで、本実施形態の実施例を開示する。本実施例は、カメラ10のキャリブレーションを簡易な設備で簡易に実施するために、自車12の停車位置を厳密とすることなく外部パラメータを測定可能なキャリブレーションの技術に関する。
そして、校正用パターンPP(パターンマット)の原点(パターン座標原点OP)を中心とする二次元の直交座標をパターンマット座標系(xp, yp)とする。
すなわち、図示する例では、カメラ10の撮像方向は図中上下方向の上向きとなっており、参照線RLは、この上向き方向より若干図中左右の外側に広がっている。すなわち、2本の参照線RLは、平行としても良いが、平行とする必要はない。
カメラ10が側方を撮像する例では、撮像方向は自車12の側方であり、自車12の外周形状16は自車12の前後となり、参照線RLは車幅方向に延びる。
参照線RLは、画像処理により停車誤差24を決定するものであるため、カメラ10で撮像される測定用画像IMで明瞭に認識できるものであることが望ましい。画像処理に際して2値化する場合は、路面(背景)に対して反対の輝度をもつ材料で直線を引くと良く、光線、テープ、又は棒など路面との輝度差が生ずるものであれば、様々な部材を採用することができる。また、カメラ10の解像度に対して細すぎる線ではカメラ10に写らなくなるため、ある程度の太さが必要となる。
図3を参照すると、参照線RLとして、自車12の前後フェンダー16a,16bを基準として、これを延長する直線を採用することができる。フェンダー16a,16bは、車両の最大幅となっていることが多く、平面部分があり測定容易である。また、フェンダー16a,16bではなく、タイヤ、ホイールとしても良いが、その場合、ステアリングを直進方向としておく必要がある。
レーザー墨出し器は、地面に垂直な平面方向にレーザー光を出力するため、これと車体側面がちょうど当たるように墨出し器の位置を調整し、その地墨点に印をする。
また、前後方向の測定位置は左右でほぼ同じにする必要があるところ、フェンダー16a,16bのような平らな面がある場所を使うと、それほど精密な測定とせずに一定の精度を確保することができる。
そして、本実施例では、このキャリブレーションを実行するに際して、自車12を校正用パターンPPに対して精密な位置に停車させる必要がないため、大規模な設備を使用することなく、参照線RLを配置可能な通常の駐車スペースを使用して外部パラメータを算出することができる。また、複数のカメラ10を使用せず、単一のカメラ10について停車誤差24を除外して取付誤差を算出することができる。
本実施例では、まず、車載するカメラ10について、別途、内部パラメータと歪パラメータを測定しておく。内部パラメータはカメラ10のレンズ系等の影響を補正するものでカメラ10に固有のパラメータであり、カメラ10の取付姿勢とは無関係である。歪みパラメータは、例えば、広角レンズなど非線形の状態を表すパラメータであり、内部パラメータと一体化しても良い。
図2に示すように、校正用パターンPPは、市松模様とすることができ、市松模様の白黒の交点(格子点)の位置及び格子点間の距離はパターンマット座標系(xp, yp)で表される。
図3に示すように、自車12の外周形状16として、フェンダー16a,16bを採用することで、簡易に参照線RLを設置することができる。
図4(A)に示すように、ワールド座標系(x, y, z)は、地面上にxy平面をとり、車両軸後方をy軸、鉛直上向きをz軸、y-z面に垂直な車両横幅方向にx軸をとる。ワールド座標系(x, y, z)の原点は、車両後端中心とする。
図4(B)に示すように、カメラ10の画像素子上に俯瞰画像座標系(u, v)を定義する。カメラ座標系(xc, yc, zc)は焦点位置fを原点として光軸方向がzc軸となるようにとる。座標系としては、図4に示す他、図2に示すパターンマット座標系(xp, yp)がある。
なお、Lはワールド座標原点を車体後端中央に設定するために使用するパラメータであるので、画像処理からLを算出する場合、パターンマット座標系におけるカメラ位置(x,y)のyに、車体後端中央とカメラ取り付け位置の水平距離のy軸成分を加えたものをLとして設定する。
本実施例では、校正用パターンPPを撮像した測定用画像IMから、カメラ10の外部パラメータを計算する。
図6から図15に示す例では、説明を簡易とするために、参照線RLをワールド座標系(x, y, z)のy軸と平行とした。停止基準線SLはパターンマット座標系(xp, yp)のyp軸と平行であり、自車12の理想的な停止位置の基準となる線である。図6に示す例では、参照線RLをy軸と平行としたため、参照線RLと停止基準線SLとの成す角は停止角誤差θzとなる。
また、測定用画像IMを対象とする画像処理により停車誤差24等を算出することもできるが、ここでは、本実施例の利点を簡易に説明するために俯瞰画像BIを対象とする画像処理例を説明する。
この停車誤差24のうち停車角誤差θzは、カメラ10の取付角度の誤差に起因するものではない。一方、この停車誤差24を取り除かずにカメラ10の取付誤差に関するキャリブレーションを実行すると、この停車誤差24に起因する画像の回転及び並進の誤差をもカメラ10の取付誤差に含めてしまうことになる。すなわち、停車誤差24があると、カメラ10の取付誤差についてのキャリブレーションを正確に実行することができなくなる。すなわち、停車誤差24の影響を排除できないままのキャリブレーションでは、カメラ10の外部パラメータを正確に算出することができない。
このように、停車誤差算出処理20は、前記2本の前記参照線RLに基づいて前記自車12の停車位置とパターン形状との座標関係を停車角誤差θzとして算出することができる。
カメラ設置ズレ角θcは、バックカメラの場合、自車12の中心軸(ワールド座標系のy軸)に平行な線とカメラ10の光軸zcとの成す角である。
図中、直線ya及び直線xaはカメラ座標系(zc, yc, zc)の原点を通り、それぞれワールド座標系のy軸及びx軸と平行な直線である。従って、光軸zcと直線yaとの成す角はカメラ設置ズレ角θcである。
図12に示す例では、y軸と参照線RLとが平行であるため、参照線RLとu軸に平行な線との成す角はカメラ設置ズレ角θcと等しい。
図12中、直線ULaはカメラ座標系の光軸zcと平行な直線で、図12に示す状態ではu軸と平行であり、参照線RLとの成す角がカメラ設置ズレ角θcである。
そして、図13に示す俯瞰画像BIを対象として、参照線RLに基づいた補正をすると、図14に示すように、u軸とy軸とが平行となる。この参照線RLに基づいた補正の補正角度(回転角)は、停車角誤差θzとなる(停車誤差算出処理20)。
まず、車外環境を撮像するカメラ10が取付られた自車12を予め定められた測定領域MAにて所定方向に停車させる(ステップS1,停車工程)。例えば、図11に示す状態で自車12を停車させる。
次に、前記自車12の形状に対応した2点と交わる線を、参照線RLとして、前記カメラ10の撮像範囲内となる前記測定領域MAに少なくとも2本配置する(ステップS2,参照線配置工程)。図11に示す例では、参照線RLは自車12の外周形状16と関係し、前後方向の中心を中心軸として対称となっている。
そして、前記測定領域MA内で前記2本の前記参照線RLの間に予め定められたパターン形状を有する校正用パターンPPを設置すると共に当該校正用パターンPPと前記参照線RLとを撮影することで測定用画像IMを生成する(ステップS3,撮像工程)。図12に示す例では俯瞰画像BIとしているが、測定用画像IMは図12に示す角度の関係を有する画像となる。
さらに、前記測定用画像IMに基づいて前記カメラ10のキャリブレーションを実行する(ステップS4からS6,画像処理工程)。
この画像処理工程は、まず、前記2本の前記参照線RLに基づいて前記自車12の停車位置と前記パターン形状との座標関係を停車誤差24として算出する(ステップS4)。例えば、図13に示すような校正用パターンPPを基準として補正を測定用画像IM(図示せず)に対して行い、これを基準としてさらに図14に示すような参照線RLに基づく補正をすることで、校正用パターンPPと参照線RLとの間の誤差(回転角や並進量)を停車誤差24とすることができる。
この停車誤差24の算出では、校正用パターンPPで補正をした図17(A)に示す参照線RLが画像中心線CLを基準に非対称の状態から、図17(B)に示すように対象となるまでの回転角を停車角誤差θzとすることができる。
次に、図15に示すように、当該停車誤差24をキャンセルし(ステップS5)、この状態で前記パターン形状に基づいて前記カメラ10の取付姿勢に対応する外部パラメータを算出する(ステップS6)。
画像処理工程は、測定用画像IMを直接の対象として停車誤差24の算出をする他、停車誤差24の算出をし易い座標系への変換をしてから、停車誤差24を求めるようにしても良い。
上述のように、本実施例では、少なくとも2本の参照線RLからカメラ座標の外部パラメータDを求めるため、車体と校正用パターンPPの正確な位置合わせが不要となり小規模の設備で迅速に校正することができる。すなわち、校正用パターンPPと2本の参照線RLを用いると、校正用パターンPPの精密な配置を不要とすることができる。
そして、2本の参照線RLを自車12の車体中心軸に対して対称とすると、車体軸を使用した校正と同じ効果を得ることができる。
また、参照線RLを撮像した測定用画像IMを俯瞰処理し、画面中心に対称とすると、画像処理により外部パラメータDを決定することができる。
さらに、車両特徴点FPと校正用パターンPPのパターン座標原点OPの距離を測定することで、校正用パターンPPの精密な配置を不要とすることができる。
このように、参照線RLを用いて停車誤差24を求めるため、小規模な設備でも精度の良いキャリブレーションを実行することができる。
次に、俯瞰画像BIでの参照線RLの対称性に基づいて停車誤差24を算出する例を説明する。この例では、パターンマット座標系(xp, yp)をワールド座標系(x, y, z)に変換する座標系変換行列に、停車誤差24である停車角誤差θzと停車位置誤差L, Xの値を反映させることで、停車誤差24をキャンセルしつつ外部パラメータDを求める。
停車誤差算出処理20のこの処理は、図16に示す例では、ステップS4にて実行すると良い。
ここで、式(1b)に示す行列Aが個別のカメラ10に固有のパラメータとなっており、内部パラメータAと呼ぶ。
実際のカメラ10には、歪が存在するため、歪のない俯瞰画像座標系(u, v)と現実に得られる歪のある画像座標(ud, vd)の関係式を導入する。例えば、放射歪曲で4次の項まで考慮した場合は、原点(u0, v0)からの距離をr、各次数の計数をk1, k2とすると、次式(2)となる。
具体的には、図15に示す停車角誤差θzを次式(4b)に与え、図6に示す停車位置誤差X, Lを次式(4c)及び次式(4d)に与えて、パターンマット座標系からワールド座標系への変換行列Pを得る。
但し、Rz, Tx, Tyはそれぞれz軸周りの回転行列、x軸方向の並進行列、y軸方向の並進行列である。
たとえば、車両特徴点FPとの水平距離Lの計測について、図6に示したように車両特徴点FPから車両軸に沿った距離を計測する代わりに、x軸との距離を計測した場合は、停車位置誤差X, Lを決定する際の俯瞰パラメータでy=0としていたのを、y=-Lとして、X,θzのパラメータ停車位置誤差X, Lを決定し、パターンマット座標系からワールド座標系への変換行列の算出は、x,y軸の並進→回転の順に変更すれば同じ結果を得ることができる。
図18を参照すると、まず、自車12を測定領域MAに停車する(ステップS11)。そして、自車12の車両後方に図2に示す市松模様の校正用パターンPP(パターンマット)を敷く。市松模様のパターンはひとつ50 [cm] 四方で、4 x 4 個程度となる。そして、外部パラメータDを算出するため、校正用パターンPPと自車12の後端との水平距離Lを人手により測定する(ステップS12)。続いて、カメラ10で校正用パターンPPが設置された測定領域MAを撮影し、第1の測定用画像IMaとする。さらに、この測定用画像IMaの広角歪みを補正する(ステップS13)。
この測定用領域を撮影して第2の測定用画像IMbとし、広角歪みを補正する(ステップS15)。
そして、求まった仮の外部パラメータD (Rx, Ry, Rz, Tx, Ty, Tz)からパターンマット座標系(xp, yp)に対応する俯瞰画像BIを得ることができる(ステップS23)。
Lと停車角誤差θzは、自車12の停車方向を基準とするワールド座標系(x, y, z)のy軸と、パターンマット座標系(xp, yp)のyp軸との俯瞰画像BI上での成す角で、自車12の校正用パターンPPに対する停車誤差24から導かれる値である。
このパターンマット座標系からワールド座標系への変換行列Pをパターンマット座標系(xp, yp)の格子点座標データに掛けると、各格子点のワールド座標系(x, y, z)での座標値が求まる(ステップS26)。
パターンマットの格子点の俯瞰画像BI上での位置データと、ワールド座標系で対応する格子点の座標値データとを用いて、再度キャリブレーションを行う(ステップS27)。ここで算出される外部パラメータDが求めるべき外部パラメータDとなる。このステップS27で算出される外部パラメータDは、パターンマット座標系からワールド座標系への変換行列Pに与えられた停車位角誤差θz等の値に応じて停車誤差24の影響がキャンセルされ、一方、カメラ10の取付誤差の影響を補正できるパラメータ値となる。
求まった停車角誤差θz と、停車位置誤差Xを−1倍した値と、校正用パターンPPの座標原点と車両特徴点FPの水平距離Lをパラメータとするパターンマット座標系からワールド座標系への変換行列P(式4)を算出し、その行列を用いて校正用パターンPPの座標を新たな座標系での値に変換する。
さらに、校正用パターンPPを写した画像を用い、変換した座標位置を適用し、再度カメラキャリブレーションを行い、外部パラメータDを算出する。これが求めるべき外部パラメータDとなる。
上述のように、本実施例では、校正用パターンPPを用いた最初のキャリブレーションでは外部パラメータDのうち、z、θx, θyのみを決定するのに使用し、yは、実測から与え、x、θzは2本の参照線RLから決定する手法とした。
上述のように、本実施例では、停車誤差算出処理20が、俯瞰画像BI中の参照線RLの対称性に基づいて、停車誤差24(例えば、停車角誤差θz及び停車位置誤差X)を算出する。このため、停車誤差算出処理20は、俯瞰画像BIにて参照線RLが対称となるまで回転及び並進の画像処理を繰り返し、参照線RLが対称となった際にそれまでの回転量及び移動量を俯瞰画像BIの座標系での停車誤差24とすることができる。
このため、参照線RLを撮像した画像から、画像処理により自動的に停車誤差24を算出することができる。そして、校正用パターンPPに対する停車誤差24の算出を他の様々な誤差等の影響から独立させて算出することができる。
このように、校正用パターンPPを精密に配置する必要があった問題に対して、本実施例では、校正用パターンPPを正確に配置しなくとも、精度良くキャリブレーションを実施することができる。校正用パターンPPを正確に配置しなくとも良いという利点は、すなわち、自車12を予め定められた測定領域MAに正確に停車しなくても良いという利点と等しい。
そして、車両の位置を正確に計測する、もしくは車両を正確に所定の位置に配置する必要があった問題に対して、本実施例では、車両の中心軸に対称な参照線RLの測定だけで済む。
次に、参照線RLの対称性を画像処理により自動的に評価する手法を説明する。この例では、前記停車誤差算出処理20が、直線の抽出、重ね合わせ、この重ね合わせた形状についてマッチング度を算出する等の情報処理により、参照線RLの対称性を自動的に判定する。
停車誤差算出処理20は、具体的には、まず、前記俯瞰画像BI中の直線を抽出する(抽出処理)。続いて、俯瞰画像BI中の前記カメラ10の撮像方向を中心として前記抽出した最長2本の前記直線を反転させて重ね合わせる(重ね合わせ処理)。さらに、前記俯瞰画像BIを繰り返し回転させてマッチング度を繰り返し算出する(算出処理)。この算出したマッチング度は回転角と対応させつつ一時的に記憶する。そして前記マッチング度が最大となった前記回転角に基づいて前記停車誤差24を算出する(比較処理)。
これにより、参照線RLを撮像した画像から、x軸停車位置誤差Xと、z 軸まわりの回転のパラメータθzを算出する。
図20(A)に示すように、俯瞰画像BIに2本の参照線RLが撮影されており、図中左の参照線RLaと右の参照線RLbとがある。停車誤差算出処理20の抽出処理は、画像を2値化するなどして、この直線を抽出する。直線の抽出は、例えば俯瞰画像BIをハフ変換すると直線である参照線RLを探し出すことができる。ハフ変換は、画像中から直線を探索するよく知られた画像処理の手法である。直線を抽出したら、参照線RL付近以外の領域を以降の画像処理から除外すると良い。
停車誤差算出処理20は、このマッチング度の算出を繰り返す。具体的には、俯瞰画像BIを回転又は並進させて、再度、直線を抽出し、重ね合わせをし、マッチング度を算出する。停車誤差算出処理20は、予め定められた条件が満たされるまで回転又は並進させてマッチング度を算出し、このマッチング度が最大となるパラメータ(停車誤差24に相当)を探す。
ウインドウWDの大きさが、Mt x Ntピクセルであるとき、相関係数Rは、次式(5)で表される。
但し、左右画像の画素値をそれぞれT(i,j), I(i,j)とし、i,jはウインドウWD内での座標値(俯瞰画像BIのuvと平行な座標値)である。また、平均値I, Tを次式(6a, 6b)とする。
上述したように対称性を自動算出する例では、停車誤差算出処理20が、重ね合わせやマッチング度(例えば相関係数)の算出により自動的に停車誤差24に相当する回転角及び並進量を求めるため、測定負荷を大幅に軽減することができる。
また、この重ね合わせた際のマッチング度を比較する手法では、参照線RLが平行でも平行でなくても同一の精度で処理することができる。
参照線RLを平行に置くためには、平行になっていることが保証されている場所を使うか、平行であることを別途の測定により確認する必要があるが、それでは簡易なキャリブレーションを実現できなくなってしまう。この点、本実施例では、今回は平行条件を満たさなくとも一定の精度を確保することができるため、車種に限定されず精度を確保することができる。
12 自車
14 画像処理部
16 外周形状
16a、16b フェンダー
18 撮像処理
20 停車誤差算出処理
22 外部パラメータ算出処理
24 停車誤差
MA 測定領域
IM、IMa、IMb 測定用画像
RL、RLa、RLb 参照線
PP 校正用パターン
BA 俯瞰領域
BI 俯瞰画像
FP 車両特徴点
OP パターン座標原点
SL 停止基準線
zc 光軸
f 焦点位置
L、X 停車位置誤差
θz 停車角誤差
θc カメラ設置ズレ角
WD ウインドウ
CL 画像中心線
Claims (5)
- 車外環境を撮像するカメラが取付られた自車を予め定められた測定領域にて所定方向に停車させる停車工程と、
前記自車の形状に対応した2点と交わる線を、参照線として、前記カメラの撮像範囲内となる前記測定領域に少なくとも2本配置する参照線配置工程と、
前記測定領域内で前記2本の前記参照線の間に予め定められたパターン形状を有する校正用パターンを設置すると共に当該校正用パターンと前記参照線とを撮影することで測定用画像を生成する撮像工程と、
前記測定用画像に基づいて前記カメラのキャリブレーションを実行する画像処理工程とを備え、
この画像処理工程は、
前記2本の前記参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する工程と、
当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する工程と、
を備えたことを特徴とするカメラキャリブレーション方法。 - 車外環境を撮像するカメラを有する自車が所定方向に停車する測定領域と、
前記カメラで撮影する測定用画像に基づいて前記カメラのキャリブレーションを実行する画像処理部とを備え、
前記測定領域が、
前記自車の形状に対応した2点と交わる線を含み、当該カメラの撮像範囲内となる前記測定領域に少なくとも2本配置される参照線と、
前記測定領域内で前記2本の前記参照線の間に予め定められたパターン形状を有する校正用パターンとを備え、
前記画像処理部が、
前記カメラで前記校正用パターン及び前記参照線が配置される測定領域を撮影することで前記測定用画像を生成する撮像処理と、
前記2本の前記参照線に基づいて前記自車の停車位置と前記パターン形状との座標関係を停車誤差として算出する停車誤差算出処理と
当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出する外部パラメータ算出処理と、
を備えたことを特徴とするカメラキャリブレーション装置。 - 前記少なくとも2本の前記参照線は、前記自車の中心軸に対して対称であって、
前記停車誤差算出処理は、
前記測定用画像中の前記カメラの撮像方向を中心とした前記少なくとも2本の前記参照線の対称性に基づいて前記停車誤差を算出する処理、
を備えたことを特徴とする請求項2記載のカメラキャリブレーション装置。
- 前記少なくとも2本の前記参照線は、前記自車の中心軸に対して対称であって、
前記停車誤差算出処理は、
仮の外部パラメータを用いて前記測定用画像を俯瞰画像に変換すると共に、当該俯瞰画像中の前記少なくとも2本の前記参照線の対称性に基づいて前記停車誤差を算出する処理、
を備えたことを特徴とする請求項2記載のカメラキャリブレーション装置。
- 前記少なくとも2本の前記参照線は、直線であって、
前記停車誤差算出処理は、
前記俯瞰画像中の直線を抽出する処理と、
前記俯瞰画像中の前記カメラの撮像方向を中心として前記抽出した最長2本の前記直線を反転させて重ね合わせる処理と、
前記俯瞰画像を繰り返し回転させてマッチング度を繰り返し算出する処理と、
前記マッチング度が最大となった回転角に基づいて前記停車誤差を算出する処理と、
を備えたことを特徴とする請求項4記載のカメラキャリブレーション装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011130745A JP5811327B2 (ja) | 2011-06-11 | 2011-06-11 | カメラキャリブレーション装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011130745A JP5811327B2 (ja) | 2011-06-11 | 2011-06-11 | カメラキャリブレーション装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013002820A JP2013002820A (ja) | 2013-01-07 |
JP5811327B2 true JP5811327B2 (ja) | 2015-11-11 |
Family
ID=47671564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011130745A Active JP5811327B2 (ja) | 2011-06-11 | 2011-06-11 | カメラキャリブレーション装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5811327B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI502985B (zh) * | 2013-04-08 | 2015-10-01 | Omnivision Tech Inc | 一種校準360度照相機系統之系統及方法 |
JP6036601B2 (ja) | 2013-08-09 | 2016-11-30 | 株式会社デンソー | 画像処理装置及び画像処理方法 |
US10670725B2 (en) * | 2017-07-25 | 2020-06-02 | Waymo Llc | Determining yaw error from map data, lasers, and cameras |
JP7166582B2 (ja) * | 2017-10-16 | 2022-11-08 | 独立行政法人自動車技術総合機構 | 車両周囲認識センサ検査システム、車両周囲認識センサ検査方法 |
EP3702806A4 (en) | 2017-10-26 | 2021-07-21 | Pioneer Corporation | CONTROL DEVICE, CONTROL PROCESS, PROGRAM, AND STORAGE MEDIA |
CN109242956B (zh) * | 2018-08-19 | 2023-05-23 | 雅派朗迪(北京)科技发展股份有限公司 | 3d人体扫描数字建模车 |
KR102277828B1 (ko) * | 2019-08-13 | 2021-07-16 | (주)베이다스 | 복수의 카메라들을 캘리브레이션하는 방법 및 장치 |
WO2021044549A1 (ja) * | 2019-09-04 | 2021-03-11 | 日本電気株式会社 | 位置推定方法、位置推定システム、及び位置推定装置 |
CN111524192B (zh) * | 2020-04-20 | 2023-10-03 | 阿波罗智能技术(北京)有限公司 | 车载相机外参的标定方法、装置、***及存储介质 |
JP7149990B2 (ja) * | 2020-07-13 | 2022-10-07 | 三菱ロジスネクスト株式会社 | 人検知装置、産業車両、及び人検知方法 |
CN111784783B (zh) * | 2020-08-14 | 2022-05-17 | 支付宝(杭州)信息技术有限公司 | 相机外参标定的***和方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4015051B2 (ja) * | 2002-04-22 | 2007-11-28 | 松下電器産業株式会社 | カメラ補正装置 |
JP4454257B2 (ja) * | 2003-06-23 | 2010-04-21 | パナソニック株式会社 | 車載カメラ校正治具及び車載カメラ校正方法 |
JP5124147B2 (ja) * | 2007-02-01 | 2013-01-23 | 三洋電機株式会社 | カメラ校正装置及び方法並びに車両 |
JP4874280B2 (ja) * | 2008-03-19 | 2012-02-15 | 三洋電機株式会社 | 画像処理装置及び方法、運転支援システム、車両 |
JP5405809B2 (ja) * | 2008-12-04 | 2014-02-05 | アルパイン株式会社 | 車両周辺監視装置およびカメラ位置・姿勢判定方法 |
-
2011
- 2011-06-11 JP JP2011130745A patent/JP5811327B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013002820A (ja) | 2013-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5811327B2 (ja) | カメラキャリブレーション装置 | |
JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
KR101892595B1 (ko) | 서라운드뷰 시스템 카메라 자동 보정 전용 외부 변수 | |
WO2017135081A1 (ja) | 車載カメラ用校正システム | |
US8452568B2 (en) | Method for calibrating cameras installed on vehicle | |
JP4690476B2 (ja) | 車載カメラの校正装置 | |
WO2010109730A1 (ja) | カメラ校正装置 | |
WO2014034064A1 (ja) | 画像処理装置、及び記憶媒体 | |
EP3032818B1 (en) | Image processing device | |
US20130002861A1 (en) | Camera distance measurement device | |
JP6602982B2 (ja) | 車載カメラ、車載カメラの調整方法、車載カメラシステム | |
KR101583663B1 (ko) | 차량용 카메라의 교정판 제공 방법 | |
KR20110120301A (ko) | 차량 탑재 카메라의 교정에 사용할 수 있는 교정 지표와, 교정 지표를 사용한 차량 탑재 카메라의 교정 방법, 및 교정 지표를 사용한 차량 탑재 카메라의 교정 장치를 위한 프로그램 | |
JP6186431B2 (ja) | キャリブレーション装置、キャリブレーションシステム、及び撮像装置 | |
JP4454257B2 (ja) | 車載カメラ校正治具及び車載カメラ校正方法 | |
KR101597163B1 (ko) | 스테레오 카메라 교정 방법 및 장치 | |
TWI424259B (zh) | 相機擺置角度校正法 | |
JP4873272B2 (ja) | カメラ校正装置 | |
JP2009168461A (ja) | カメラ校正装置 | |
JP5964093B2 (ja) | 車両サイズ測定装置、車両サイズ測定方法、およびプログラム | |
JP5330341B2 (ja) | 車載カメラを用いた測距装置 | |
JP6890293B2 (ja) | カメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラム | |
JP2010232852A (ja) | カメラ校正装置 | |
JP2021099722A (ja) | 較正装置、撮像装置、移動体及び較正方法 | |
JP2015020551A (ja) | 車両に設けられたステレオカメラ用のキャリブレーションターゲットを車両に設置する治具及びそれを用いたキャリブレーションシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150819 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150901 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5811327 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |