JP2016200557A - 校正装置、距離計測装置及び校正方法 - Google Patents

Abstract

【課題】移動体が移動中で、計測データが少なくても精度良く安定して視差オフセットを求めることができる校正装置及び校正方法並びに距離計測装置を提供する。【解決手段】基準画像１の中の立体物上の少なくとも２つの特徴点を抽出し、各特徴点の画面座標１を求める立体物特徴点抽出部と、比較画像１を用いて各特徴点の視差１を算出する視差算出部と、所定の時間経過した後に撮像された基準画像２及び比較画像２を用いて基準画像２の中での各特徴点の画面座標２及び視差２を算出する移動検出部と、画面座標１、視差１、画面座標２及び視差２を用いて視差オフセットを算出する視差オフセット算出部を備え、視差オフセット算出部は、基準画像の画面座標を三次元座標に変換する変換式を用いて三次元座標での２点の移動量の差を表わした差分式に基づいて定義された、視差オフセットを未知数とした評価関数により視差オフセットを算出する。【選択図】図３

Description

本発明は、車両等の移動体に搭載されるステレオカメラによる距離計測装置をリアルタイムで校正する校正装置、その校正装置を搭載した距離計測装置及びその校正方法に関する。

近年、自動車の安全性向上をアシストする装置として衝突防止装置や車間距離制御装置等を搭載した自動車が販売されており、さらに進んで自動運転の実現を目指した研究開発が盛んに行われている。これらの装置は、前方の自動車等までの距離を自動で計測し、車間距離が短くなると運転者への警告発報等を行い、さらに短くなると衝突回避のためにブレーキやステアリング等の制御を行うものである。つまり、これらの装置において車間距離の自動計測は必須であり、自動運転においても必須な処理である。

車間距離の自動計測では、レーダーやステレオカメラ等が使用されているが、ステレオカメラは、複数の立体物の大きさ、位置、速度等を瞬時に検出し、さらに走行領域の境界となる側壁、路肩、白線等の路面のマークまで的確に検出することができるという利点を有している。

ステレオカメラは複数（通常は２つ）のカメラを１つに纏めたようなもので、複数のレンズで被写体を撮像し、撮像された複数の画像から被写体までの距離を計測する。

ここで、ステレオカメラによる距離の計測について説明する。図１は平行等位に設置された２台のカメラで構成されるステレオカメラによる距離計測の原理を説明するための図である。カメラ１１及び１２は平行等位に距離Ｂだけ離して設置されており（即ち基線長はＢ）、焦点距離は同じｆである。光軸方向は図の真上方向で、カメラ１１，１２の設置面から光軸方向に距離Ｚだけ離れた位置に被写体Ａを置いた場合、被写体Ａの像は、カメラ１１では光学中心Ｏ_１と被写体Ａを結ぶ直線と撮像面１３との交点であるＰ_１に、カメラ１２では光学中心Ｏ_２と被写体Ａを結ぶ直線と撮像面１４との交点であるＰ_２にそれぞれ結像する。そして、直線ＡＰ_２と平行で光学中心Ｏ_１を通る直線を引き、その直線と撮像面１３との交点をＰ_２’とすると、Ｐ_２’はカメラ１２でのＰ_２と同じ位置であり、Ｐ_１とＰ_２’のずれが視差となる。通常、視差は方向の差を意味し角度で表されることが多いが、ここではＰ_１とＰ_２’の距離Ｄを視差と呼ぶことにする。この距離Ｄ（視差Ｄ）を計測することにより、三角形ＡＯ_２Ｏ_１と三角形Ｏ_１Ｐ_２’Ｐ_１が相似であることから、被写体Ａまでの距離Ｚは下記数１で求めることができる。

数１が成立するためには、２つのカメラを図１に示されるように正確に平行等位に設置し、画像にずれが生じないようにしなければならない。しかし、２つのカメラを強固に固定することによりずれを生じないようにしようとするとコストがかかってしまうので、撮像後の画像を補正して調整するのが現実的な解決策となっている。画像補正による調整はステレオカメラの出荷前にも実施されているが、ステレオカメラを自動車に搭載して使用していくにしたがい、振動や温度変化等の影響を受けてずれが生じてしまうことがあるので、ステレオカメラを使用中にも自動的に調整されることが望まれている。

ずれには光軸回りの回転（ロール）による回転ずれ、上下方向の動き（チルト又はピッチ）による縦ずれ及び左右方向の動き（パン又はヨー）による横ずれがある。このうち、カメラを平行等位に設置した場合、回転ずれ及び縦ずれは、ステレオマッチングがうまくいかなくなるので検出しやすいが、横ずれはステレオマッチングが正常に行えるので、ステレオマッチングでは検出されず、さらにそのずれが視差に直接加わるので、算出される距離に及ぼす影響が大きい。特に、遠距離にある被写体の距離の計測ではその影響が大きい。よって、この横ずれによる視差の誤差（視差オフセット）を検出し、視差を補正する必要がある。

視差オフセットの検出として、無限遠と見做せる位置にある物体に対する視差は０となるはずであるが、０ではない場合、その視差の値が視差オフセットとなることから、月のように無限遠と見做せる位置にある物体の視差を計測することにより視差オフセットを算出することができる。しかし、そのような物体は常に撮影できるわけではない。そこで、走行中の周囲にある物体を用いて視差オフセットを算出し、視差を補正する方法が提案されている。

特開平９−１２６７５９号公報（特許文献１）では、自車両近傍の左右の白線を認識し、最小二乗法により左右それぞれの白線を直線近似し、近似直線の交点を無限遠点とすることによりカメラ間の相対ずれ角を算出し、補正を行っている。特開２００１−１６９３１０号公報（特許文献２）では、信号機や電柱のようにサイズ等が既知の静止対象物の視差を２つの時刻において算出し、その２つの時刻間の車両移動量を車速より算出し、算出した視差と車両移動量に基づいて視差オフセットを算出し、視差を補正している。

特許文献１及び特許文献２では白線や信号機等の特定の対象物を使用して補正を行っているので、特定の対象物がない環境では補正ができない。即ち、白線がない又は片側にしか白線がない環境では特許文献１の方法は使用できず、信号機や電柱がない高速道路等では特許文献２の方法は使用できない。

特許第４８９４７７１号公報（特許文献３）では、特定の対象物の認識処理を行わずに視差オフセットを算出する方法を提供している。特許文献３では、入力画像中の複数の特徴点の視差と２次元のオプティカルフロー（物体の動きをベクトルで表したもの）を算出し、平坦な道路面上の特徴点においては、その特徴点の垂直成分及び視差並びに視差オフセットで校正された視差の２乗及びオプティカルフローの垂直成分はそれぞれ特定の関係を有することを利用して、視差オフセットを算出している。これにより、特定の対象物を認識することなく視差を補正できるが、入力画像に平坦な道路面が含まれていなければならず、建物や電柱等の立体物を有効利用することができず、道路面の大部分が隠されてしまう渋滞時等では補正の精度が劣化する。

特許第５４４０４６１号公報（特許文献４）及び特開２０１３−２２４９１９号公報（特許文献５）では、上記の問題を解決すべく、特定の形状物に依存せず、走行中に撮影される様々な画像を利用した視差オフセットの検出方法が提案されている。特許文献４及び特許文献５では、地面に対して静止している複数の被写体を利用して視差オフセットを算出している。つまり、同一の被写体を走行中の２地点からステレオカメラで撮影した画像に対して、視差オフセットの影響をキャンセルするために、特許文献４では視差と視差の差分を２軸とした空間で計測データをモデル化し、特許文献５では視差の差分の代わりに視差の比又は視差の逆数の差を使用して計測データをモデル化する。そして、モデルを表す関数のパラメータから視差オフセットを算出している。

特開平９−１２６７５９号公報 特開２００１−１６９３１０号公報 特許第４８９４７７１号公報 特許第５４４０４６１号公報 特開２０１３−２２４９１９号公報

西久保直輝、押田康太郎、岡雄平、実吉敬二、「ＦＰＧＡによるステレオカメラの自動校正」、第２９回日本ロボット学会学術講演会予稿集、東京都、２０１１年９月

しかしながら、特許文献４及び特許文献５の方法が適用できるのは静止物体に限られ、さらに、モデル化による手法を利用しているので、高い精度で視差オフセットを算出するためには多くの計測データが必要であり、演算量が増大となる。

本発明は上述のような事情よりなされたものであり、本発明の目的は、移動体が移動中での視差オフセットの算出において、白線や信号機等の特定の対象物や平坦な道路等の特定の形状物の存在が必要であるとか、適用範囲は静止物体に限られる等の制約条件を設定する必要がなく、ステレオカメラ（ステレオ画像撮像装置）で撮像される様々な画像を利用でき、計測データが少なくても精度良く安定して視差オフセットを求めることができる校正装置及び校正方法並びにその校正装置を搭載してリアルタイムに高精度で視差を補正し、正確な距離計測を行う距離計測装置を提供することにある。

本発明は、移動体に搭載されて距離計測を行う距離計測装置にて用いられるステレオ画像撮像装置のパラメータを校正する校正装置に関し、本発明の上記目的は、前記ステレオ画像撮像装置で撮像された基準画像１の中の立体物上の少なくとも２つの特徴点を抽出し、前記各特徴点の画面座標１を求める立体物特徴点抽出部と、前記ステレオ画像撮像装置で撮影された比較画像１を用いて前記各特徴点の視差１を算出する視差算出部と、前記基準画像１及び前記比較画像１を撮像した時刻より所定の時間経過した後に前記ステレオ画像撮像装置で撮像された基準画像２及び比較画像２を入力し、前記基準画像２又は前記比較画像２を用いて前記各特徴点のオプティカルフローを検出し、前記基準画像２及び前記比較画像２を用いて前記基準画像２の中での前記各特徴点の画面座標２及び視差２を算出する移動検出部と、前記画面座標１、前記視差１、前記画面座標２及び前記視差２を用いて前記ステレオ画像撮像装置のパラメータの校正に使用する視差オフセットを算出する視差オフセット算出部を備え、前記視差オフセット算出部は、前記ステレオ画像撮像装置で撮像される画像の画面座標を三次元座標に変換する変換式を用いて前記三次元座標での２点の移動量の差を表わした差分式に基づいて定義された、視差オフセットを未知数とした評価関数により前記視差オフセットを算出することにより達成される。

また、本発明の上記目的は、前記評価関数は前記移動量の差の二乗和として定義され、前記画面座標１、前記視差１、前記画面座標２及び前記視差２を用いて数値解析により前記評価関数を最小とする視差オフセットを求めることにより、或いは、前記評価関数は前記差分式で構成され、前記画面座標１、前記視差１、前記画面座標２及び前記視差２を用いて前記各差分式を０とする個別視差オフセットを算出し、前記個別視差オフセットの代表値を前記視差オフセットとすることにより、或いは、前記視差オフセット算出部は、前記画面座標１及び前記視差１より前記各特徴点の三次元座標１を算出し、前記画面座標２及び前記視差２より前記各特徴点の三次元座標２を算出し、前記三次元座標１及び前記三次元座標２より算出される移動量の差が所定の閾値より大きい特徴点の組合せは前記視差オフセットの算出には使用しないことにより、或いは、前記移動検出部は、前記基準画像１及び前記比較画像１を撮像した時刻後の所定の時間間隔で所定の数の基準画像及び比較画像を入力し、最後に入力した基準画像Ｎ及び比較画像Ｎ以外の基準画像及び比較画像に対してはオプティカルフローの検出のみを行い、前記基準画像Ｎ及び比較画像Ｎに対してのみ前記各特徴点の視差２の算出まで行うことにより、より効果的に達成される。

また、上記校正装置を搭載することにより、リアルタイムに高精度で視差を補正し、正確な距離計測を行う距離計測装置を達成できる。

本発明の校正装置によれば、立体物上の特徴点を用いて視差オフセットを算出しており、移動している立体物でも利用できるので、ステレオ画像撮像装置で撮像されるほぼ全ての画像を利用することができる。また、少なくとも２つの特徴点があれば視差オフセットを算出できるので、計測データが少なくても精度良く視差オフセットを算出することができる。

また、本発明の校正装置を搭載した距離計測装置によれば、リアルタイムに高精度で視差を補正できるので、正確な距離計測を行うことができる。

ステレオカメラによる距離の計測の原理を示す概略図である。 画面座標及び三次元座標の座標軸の設定を示す図である。 本発明の構成例（第１実施形態）を示すブロック図である。 本発明の動作例（第１実施形態）を示すフローチャートである。 ステレオマッチングでのマッチング領域の例を示すイメージ図である。 サブピクセル精度での算出方法を示すイメージ図である。 オプティカルフロー検出でのマッチング領域の例を示すイメージ図である。 本発明のシミュレーション結果を示す図である。 本発明の構成例（第２実施形態）を示すブロック図である。 本発明の動作例（第２実施形態）の一部（視差オフセット算出部での動作）を示すフローチャートである。 本発明の構成例（第３実施形態）を示すブロック図である。 本発明の動作例（第３実施形態）を示すフローチャートである。

本発明では、移動体に搭載されたステレオ画像撮像装置が移動しても、撮像される立体物の形状は変わらないので、立体物上の点（特徴点）の移動距離及び移動方向は同じであるということを利用して、視差オフセットを算出する。つまり、撮像された画像（撮像画像）上での特徴点の位置は二次元の座標（画面座標）で定義されるので、ステレオ画像撮像装置が移動した場合、撮像画像上での特徴点が動いた距離は特徴点が最初にどの位置にあるかにより異なるが、三次元の座標（三次元座標）で位置が定義される実際の特徴点が動いた距離は、立体物の形状は変わらないので、特徴点の最初の位置に関係なく同じである。さらには、動いた方向も同じである。そして、画面座標での特徴点の位置から三次元座標での特徴点の位置の算出において視差を使用するので、その視差に視差オフセットを加味し、画面座標から三次元座標への変換式を用いて三次元座標での移動距離を定式化すれば、移動距離は同じであるという条件の下、複数の特徴点の画面座標の値から視差オフセットの最適解を求めることができる。

なお、本発明では、ステレオ画像撮像装置において、撮像画像に対してシェーディング補正、カメラ間感度差補正、歪み補正等が実施されるものとする。シェーディングとは、撮像画像の画面の端にいくほど明るさが減衰してしまう現象のことである。カメラ間感度差とは、同一製品のカメラでも個体差があるので、輝度の検出のされ方に差が生じてしまうことを言う。シェーディング及びカメラ間感度差は、後述のステレオマッチング等での誤検出の原因となるので、ステレオ画像撮像装置において補正しておく。また、カメラから得られる画像は、カメラのレンズの影響を受け、画像中心から離れるほど歪み量が大きくなるので、この歪みも補正しておく。さらに、回転ずれ及び縦ずれについてもステレオ画像撮像装置において検出し、校正しておく。

計測の対象となる特徴点の抽出は、例えば非特許文献１に記載されている「特徴点検出」の方法で行う。即ち、撮像画像の中から、互いに直角な２方向にエッジの強い領域を特徴点として抽出する。

次に、画面座標から三次元座標への変換について説明する。

図２は、画面座標及び三次元座標の座標軸の設定を示す図で、図１でのカメラ１１に対応している。図２に示されるように、カメラ１１の光学中心Ｏ_１を通り、カメラ１１の光軸と垂直に交わる平面上において、光学中心Ｏ_１を原点として、水平方向を三次元座標のｘ軸、垂直方向を三次元座標のｙ軸、光軸方向を三次元座標のｚ軸とする。また、カメラ１１の光軸は撮像面１３の中心を通り、撮像面１３は光軸と垂直に交わるように設定されているとして、撮像面１３上において、中心を原点として、三次元座標のｘ軸と平行で反対方向を画面座標のｉ軸、三次元座標のｙ軸と平行で反対方向を画面座標のｊ軸とする。撮像面では被写体は逆さまに映るので、撮像された画像において、被写体から見るとｉ軸及びｊ軸はｘ軸及びｙ軸とそれぞれ同じ方向となる。このような座標軸の設定において、被写体Ａの三次元座標での位置（座標）が（Ｘ，Ｙ，Ｚ）で、画面座標での位置（座標）が（Ｉ，Ｊ）の場合、Ｘ及びＹは下記数２及び数３で、Ｚは前述の数１でそれぞれ求めることができる。

ここで、図１の場合と同様に、Ｂは基線長、Ｄは視差である。

計測された視差Ｄに誤差（視差オフセット）がなければ、被写体Ａの三次元座標での座標が画面座標の座標より数１〜３を用いて算出できるが、視差オフセットＤ_０が加算されている場合、三次元座標での座標（Ｘ，Ｙ，Ｚ）は下記数４〜６のようになる。

撮像画像から抽出された特徴点α_ｍ及びα_ｎの時刻ｔでの画面座標の値をそれぞれ（Ｉ_ｍ（ｔ），Ｊ_ｍ（ｔ））及び（Ｉ_ｎ（ｔ），Ｊ_ｎ（ｔ））とし、計測された視差をそれぞれＤ_ｍ（ｔ）及びＤ_ｎ（ｔ）とすると、時刻ｔ_１からｔ_２までの三次元座標での特徴点α_ｍとα_ｎの座標の変化量（移動量）の差は下記数７〜９のようになる。

ここで、Ｅｘ_ｍｎ，Ｅｙ_ｍｎ及びＥｚ_ｍｎは、それぞれｘ座標での変化量の差、ｙ座標での変化量の差及びｚ座標での変化量の差である。

特徴点α_ｍ及びα_ｎが同一の立体物上に存在する場合、特徴点α_ｍ及びα_ｎそれぞれの三次元座標での移動距離は同じであり、さらに移動方向も同じであるから、Ｅｘ_ｍｎ，Ｅｙ_ｍｎ及びＥｚ_ｍｎは全て０となる。よって、Ｅｘ_ｍｎ＝Ｅｙ_ｍｎ＝Ｅｚ_ｍｎ＝０を満たすＤ_０を算出することにより、視差オフセットを求めることができるが、Ｅｘ_ｍｎ＝０、Ｅｙ_ｍｎ＝０及びＥｚ_ｍｎ＝０それぞれから算出されるＤ_０が同じ値になるとは限らない。実測データには計測精度や演算精度等の様々な要因により誤差が混入するからである。同様に、特徴点が３点以上の場合、特徴点の複数の組合せから算出されるＤ_０でも不一致は生じる。そこで、実測データから最適解を求める手法にて最適なＤ_０を求め、その最適なＤ_０を視差オフセットとする。

まずは数値解析の手法にてＤ_０の最適解を求める方法について説明する。

Ｌ個の特徴点α_１，α_２，…，α_Ｌに対して下記数１０で表わされる目的関数（評価関数）を定義する。

ここで、ｍ，ｎは１以上Ｌ以下の整数で、
はｍ＜ｎを満たすｍ，ｎの各組合せでの二乗和の総和を意味する。そして、この評価関数を最小とするＤ_０を算出し、そのＤ_０を視差オフセットとする。数値解析の手法としては、最急降下法、ニュートン法等を用いる。

次に、代表値の算出により視差オフセットを算出する方法について説明する。つまり、複数の視差オフセット（個別視差オフセット）Ｄ_０を算出し、個別視差オフセットの代表値（平均値、最頻値等）を視差オフセットとする。

ｍ＜ｎを満たすｍ，ｎの組合せにてＥｘ_ｍｎ＝０、Ｅｙ_ｍｎ＝０及びＥｚ_ｍｎ＝０を満たすＤ_０をそれぞれ算出し、算出された全てのＤ_０の代表値を視差オフセットとする。代表値の算出において、不適と推測される個別視差オフセットを除外して算出しても良い。例えば、個別視差オフセットの平均値を算出し、平均値との偏差の絶対値が所定の値以上の個別視差オフセットを除いて再度算出した平均値を視差オフセットとする。或いは、単純に絶対値が所定の値以上の個別視差オフセットを除いて代表値を算出しても良い。このような個別視差オフセットは、対象とした特徴点が異なる移動物体上に存在している等、条件を満たしていない可能性があるからである。

数値解析による方法と個別視差オフセット算出による方法を組み合わせた方法で視差オフセットを算出しても良い。例えば、数１０の代わりに、下記数１１の３式を評価関数として、各評価関数を最小とする視差オフセット（個別視差オフセット）Ｄ_０を算出し、個別視差オフセットの代表値を視差オフセットとする。

ｍとｎの組合せを複数のグループに分け、各グループにて数１０を評価関数として個別視差オフセットを算出し、算出された個別視差オフセットの代表値を視差オフセットとしても良い。例えば、特徴点が撮像画像上で複数箇所に固まって存在していたら、各固まりを１つのグループとする。この組み合わせた方法においても、不適と推測される個別視差オフセットを除外しても良い。

なお、最適な視差オフセットの算出において、ｘ座標、ｙ座標及びｚ座標全てのデータを使用せずに、少なくとも１つの座標のデータを使用して算出しても良い。

ステレオ画像撮像装置は所定の時間間隔で画像を撮像し、出力する。視差オフセットも所定の時間間隔で算出（更新）されるが、視差オフセット算出の時間間隔は画像撮像の時間間隔と同じでも良いが、画像撮像の時間間隔よりも長くても良い。例えば、視差オフセットの算出に必要な処理時間が画像撮像の時間間隔より長い場合、視差オフセット算出の時間間隔は長くなる。

このように、本発明の校正装置では、視差オフセット算出の対象となる特徴点は立体物上に存在すれば良く、特徴点の抽出は自動で行うので、ステレオ画像撮像装置で撮像されるほぼ全ての画像を利用することができる。また、少なくとも２つの特徴点が存在すれば良く、特徴点の３つの座標（ｘ座標、ｙ座標、ｚ座標）を使用して視差オフセットを算出できるので、計測データが少なくても精度良く視差オフセットを算出することができる。

以下に、本発明の実施の形態を、図面を参照して詳細に説明する。

図３は本発明の構成例（第１実施形態）を示すブロック図である。本構成例では、校正装置２０は、メモリ２１０、立体物特徴点抽出部２２０、視差算出部２３０、移動検出部２４０及び視差オフセット算出部２５０より構成され、ステレオ画像撮像装置１０から出力される基準画像及び比較画像を入力し、視差オフセットを算出する。

ステレオ画像撮像装置１０は２台のカメラを備え、２台のカメラの焦点距離は同じｆで、カメラ間の距離（基線長）はＢで、光軸が平行になるように事前に調整されている。この２台のカメラが平行等位になるようにステレオ画像撮像装置１０は車両等の移動体に設置される。移動体の進行方向に向かって右側（図１においてカメラ１１の位置に相当）のカメラが基準画像を撮像し、左側（図１においてカメラ１２の位置に相当）のカメラが比較画像を撮像する。基準画像及び比較画像は同じタイミングで所定の時間間隔で撮像され、前述のように、補正（シェーディング補正、カメラ間感度差補正、歪み補正等）並びに回転ずれ及び縦ずれの校正が施されて、出力される。

ステレオ画像撮像装置１０から出力された基準画像及び比較画像はメモリ２１０に格納される。立体物特徴点抽出部２２０は、メモリ２１０に格納された基準画像（基準画像１）から複数の特徴点（特徴点１）を抽出する。視差算出部２３０は、メモリ２１０に格納された基準画像１とそれに対応した比較画像（比較画像１）を用いて、特徴点１の視差（視差１）をステレオマッチングにて算出する。移動検出部２４０はオプティカルフロー検出部２４１及び視差検出部２４２より構成され、オプティカルフロー検出部２４１は、基準画像１より後に撮像された基準画像（基準画像２）をメモリ２１０から読み出し、オプティカルフローの検出手法により基準画像２から特徴点１に対応する特徴点（特徴点２）を検出し、視差算出部２４２は、基準画像２とそれに対応した比較画像（比較画像２）を用いて、特徴点２の視差（視差２）をステレオマッチングにて算出する。視差オフセット算出部２５０は、特徴点１及び特徴点２の画面座標の値並びに視差１及び視差２から数値解析により視差オフセットを算出する。

このような構成の校正装置２０の動作例を図４のフローチャートを参照して説明する。

ステレオ画像撮像装置１０が所定の時間間隔で撮像して出力した基準画像及び比較画像は、順次、メモリ２１０に格納される。メモリ２１０には、同じタイミングで撮像された基準画像と比較画像が対応付くように格納される。

立体物特徴点抽出部２２０は、時刻ｔ１に撮像された基準画像ＳＰ１をメモリ２１０より読み出し、非特許文献１に記載されている「特徴点検出」の方法により複数の特徴点（特徴点１）を抽出する（ステップＳ１０）。基準画像には、図２で示されている撮像面と同様の座標軸（ｉ軸、ｊ軸）をもつ二次元の座標（画面座標）が設定されており、抽出された各特徴点１の画面座標での座標値（Ｉ１_ｋ，Ｊ１_ｋ）（ｋ＝１，２，…，Ｋ、Ｋは特徴点の数）を要素とした画面座標データ（画面座標）ＴＣ１が出力される。

画面座標データＴＣ１は視差算出部２３０、オプティカルフロー検出部２４１及び視差オフセット算出部２５０に入力される。

視差算出部２３０は、基準画像ＳＰ１及び基準画像ＳＰ１に対応付けられた時刻ｔ１に撮像された比較画像ＣＰ１をメモリ２１０より読み出し、画面座標データＴＣ１を用いて、ステレオマッチングの手法により、各特徴点１の視差を算出する。ステレオマッチングの手法としては画像を小領域（ウィンドウ）に分けてマッチングする領域ベース法を使用し、マッチングの評価関数としてはＳＡＤ（Sum of Absolute Difference）関数を使用する。まず、画面座標データＴＣ１により基準画像ＳＰ１における特徴点１の位置（基準位置１）を特定する。基準位置１を特定した後、比較画像ＣＰ１において、図５に示されるような、基準位置１より水平方向の右側の領域の画像データ(輝度)と基準画像ＳＰ１での基準位置１の画像データ（輝度）とのマッチングを行う（ステップＳ２０）。即ち、両方の画像データのＳＡＤ値をＳＡＤ関数より算出し、マッチング領域内でＳＡＤ値が最小となる箇所を比較画像ＣＰ１での特徴点１の位置（比較位置１）とする。ステレオ画像撮像装置１０内での２台のカメラの位置より、マッチング領域を図４に示される領域に限定している。そして、基準位置１と比較位置１のずれから視差を算出するが、ずれの精度を上げるために、サブピクセル精度の視差を求める（ステップＳ３０）。図６は、図５に示されるマッチング領域での一部のＳＡＤ値を模擬化した図で、ｓ２において最小のＳＡＤ値になっているとする。図６において、ＳＡＤ関数は最小値付近では線形近似できると仮定し、ＳＡＤ値が最小となる位置のｓ２とその前後の位置のＳＡＤ値のうちＳＡＤ値が大きい方の位置（図６ではｓ３）を直線で結び（図６では直線ｓ２ｓ３）、さらに傾きがその直線の傾きと逆符号でＳＡＤ値が小さい方の位置（図６ではｓ１）を通る直線を引き、２つの直線の交点を真の比較位置１とする。この真の比較位置１と基準位置１のずれを視差とする。なお、最小値付近でのＳＡＤ関数を線形近似ではなく、二次曲線等で近似しても良い。算出された各特徴点１の視差Ｄ１_ｋ（ｋ＝１，２，…，Ｋ）は視差データＰＡ１として視差オフセット算出部２５０に出力される。

画面座標データＴＣ１を入力したオプティカルフロー検出部２４１は、メモリ２１０より基準画像ＳＰ１と時刻ｔ２（ｔ２＞ｔ１）に撮像された基準画像ＳＰ２を読み出し、オプティカルフローの検出手法により基準画像ＳＰ２から特徴点１に対応する特徴点（特徴点２）を検出する。まず、画面座標データＴＣ１により基準画像ＳＰ１における特徴点１の位置（基準位置１）を特定する。基準位置１を特定した後、ステレオマッチングの手法と同様に、ＳＡＤ関数を評価関数として、基準画像ＳＰ２において、基準位置１以外の領域の画像データと基準画像ＳＰ１での基準位置１の画像データとのマッチングを行う（ステップＳ４０）。即ち、両方の画像データのＳＡＤ値をＳＡＤ関数より算出し、ＳＡＤ値が最小となる箇所を特徴点２の仮の位置とする。この際、マッチング領域を、図７に示されるように、特徴点１の移動先として予測される領域に限定しても良い。特徴点２の仮の位置を検出したら、視差検出部２３０と同様に、仮の位置を基にサブピクセル精度で特徴点２の位置（基準位置２）を求める（ステップＳ５０）。即ち、仮の位置の上下左右の位置のＳＡＤ値を基に、ｉ軸方向及びｊ軸方向の両方向で線形近似等により基準位置２を求める。求められた基準位置２の座標値（Ｉ２_ｋ，Ｊ２_ｋ）（ｋ＝１，２，…，Ｋ）は画面座標データＴＣ２として視差算出部２４２及び視差オフセット算出部２５０に出力される。

視差算出部２４２は、基準画像ＳＰ２及び基準画像ＳＰ２に対応付けられた時刻ｔ２に撮像された比較画像ＣＰ２をメモリ２１０より読み出し、画面座標データＴＣ２を用いて、視差算出部２３０と同様にステレオマッチングの手法により、各特徴点２の視差を算出する（ステップＳ６０、Ｓ７０）。動作内容は視差算出部２３０と同様である。算出された各特徴点２の視差Ｄ２_ｋ（ｋ＝１，２，…，Ｋ）は視差データＰＡ２として視差オフセット算出部２５０に出力される。

視差オフセット算出部２５０は、入力された画面座標データＴＣ１、視差データＰＡ１、画面座標データＴＣ２及び視差データＰＡ２を用いて、下記数１２で定義される評価関数Ｆ（Ｄ０）を最小とする視差オフセットＤ０を数値解析の手法（最急降下法、ニュートン法等）により求める（ステップＳ８０）。

ここで、ａ，ｂは１以上Ｋ以下の整数で、
はａ＜ｂを満たすａ，ｂの各組合せでの二乗和の総和を意味する。

算出された視差オフセットＤ０は校正装置２０を搭載した距離計測装置での距離計測に用いられる視差の補正に使用される。

ステレオ画像撮像装置１０が画像を撮像する時間間隔と同じ時間間隔で視差オフセットの算出を行う場合は、基準画像２を基準画像１とし、比較画像２を比較画像１として、次の時刻に撮像された画像を基準画像２及び比較画像２として、ステップＳ１０〜Ｓ８０を繰り返す。この場合、立体物特徴点抽出部２２０の特徴点抽出（ステップＳ１０）及び視差算出部２３０の視差算出（ステップＳ２０、Ｓ３０）を省略し、オプティカルフロー検出部２４１が検出した基準位置２及び視差算出部２４２が算出した視差を流用しても良い。

視差オフセットＤ０の算出は、前述のように、数値解析の手法ではなく、ＥＸ_ａｂ＝０、ＥＹ_ａｂ＝０及びＥＺ_ａｂ＝０（ａ＜ｂ）を満たす個別視差オフセットを算出し、算出された全ての個別視差オフセットの代表値（平均値、最頻値等）を視差オフセットＤ０とする方法で行っても良い。この方法において、前述のように、不適と推測される個別視差オフセットを除外しても良い。数値解析による方法と個別視差オフセット算出による方法を組み合わせた方法で視差オフセットを算出しても良い。

なお、第１実施形態では、視差算出部２３０及び２４２でのステレオマッチング並びにオプティカルフロー検出部２４１でのオプティカルフロー検出における評価関数としてＳＡＤ関数を使用しているが、ＳＳＤ（Sum of Squared Difference）関数を使用しても良い。または、ＳＡＤ関数又はＳＳＤ関数を使用した方法ではなく、位相限定相関法によりずれを算出しても良い。また、サブピクセル精度で位置を求めているが、精度よりも処理時間を優先する場合等では、サブピクセル精度まで求めなくても良い。

また、オプティカルフロー検出部２４１は、基準画像ＳＰ２から特徴点２を検出しているが、比較画像ＣＰ２から検出しても良い。この場合においてマッチング領域を限定する場合は、視差算出部２３０が出力した視差データＰＡ１を利用することになり、視差算出部２４２は、基準画像ＳＰ２において特徴点２の検出を行い、視差Ｄ２_ｋ（ｋ＝１，２，…，Ｋ）を算出することになる。

第１実施形態での動作例では、立体物特徴点抽出部２２０、視差算出部２３０、オプティカルフロー検出部２４１及び視差算出部２４２は、それぞれ全ての特徴点に対する処理が完了した後にデータを出力しているが、立体物特徴点抽出部２２０が特徴点１を抽出するたびに座標値を出力し、視差算出部２３０、オプティカルフロー検出部２４１及び視差算出部２４２の処理を実行するようにしても良い。即ち、ステップＳ１０〜Ｓ７０を特徴点単位で実行し、全ての特徴点に対する処理が完了した後に、ステップＳ８０を実行する。

図８は、本発明のシミュレーション結果を示す図である。

移動体の前方１０ｍと２０ｍに立体物を置き、移動体を５ｍ前進させ、前進前と前進後の２地点でそれぞれ基準画像と比較画像を撮像する。Ｂ×ｆ＝１００、視差オフセットＤ０＝５と設定し、それぞれの立体物に特徴点を１点ずつ設定した場合（２ｐｏｉｎｔｓ）、２点ずつ設定した場合（４ｐｏｉｎｔｓ）及び３点ずつ設定した場合（６ｐｏｉｎｔｓ）でシミュレーションを行った。なお、視差の測定精度は０．２ｐｘ（ピクセル）である。図８において、横軸は視差オフセットＤ０、縦軸は評価関数のDensity（深さ）である。図８で示されるように、３つの場合全てにおいてＤ０＝５近辺にピークがあり、高精度に視差オフセットが検出されていることがわかる。

第１実施形態において、視差オフセット算出部が視差オフセットを算出する前に、不適切な特徴点の組合せを検出し、視差オフセットの算出ではその組合せは使用しないことにより、視差オフセットの算出の精度を上げることができる。具体的には、２つの特徴点の三次元座標におけるｘ座標、ｙ座標及びｚ座標での時刻ｔ１からｔ２までの変化量（移動量）の差を算出し、その差が所定の閾値以上の特徴点の組合せは視差オフセットの算出では使用しない。このような特徴点は異なる移動物体上に存在している等の可能性があるので、条件を満たさないのである。

上述の不適切な特徴点の組合せを除外する機能を追加した構成例（第２実施形態）のブロック図を図９に示す。視差オフセット算出部３５０を除いて、第２実施形態の構成は、図３に示される第１実施形態の構成と同じであるため、同一構成についての説明は省略する。

視差オフセット算出部３５０は、移動量検査部３５１、視差オフセット推定部３５２及びメモリ３５３より構成される。移動量検査部３５１は、特徴点１及び特徴点２の画面座標の値、視差１及び視差２、さらにメモリ３５３に格納された視差オフセットを用いて各特徴点の三次元座標におけるｘ座標、ｙ座標及びｚ座標での時刻ｔ１からｔ２までの変化量を算出し、変化量の差（絶対値）が所定の閾値以上の特徴点の組合せを抽出する。視差オフセット推定部３５２は、移動量検査部３５１が抽出した特徴点の組合せを除いた組合せで、特徴点１及び特徴点２の画面座標の値並びに視差１及び視差２から数値解析等により視差オフセットを算出する。算出された視差オフセットは出力されるとともに、メモリ３５３に格納され、次の視差オフセット算出での移動量検査部３５１の変化量算出に使用される。なお、変化量算出で使用する視差オフセットの初期値としては０を使用する。

視差オフセット算出部３５０の動作例を図１０のフローチャートを参照して説明する。

移動量検査部３５１は、画面座標データＴＣ１、視差データＰＡ１、画面座標データＴＣ２及び視差データＰＡ２を入力し、メモリ３５３に格納された視差オフセットＤ０を読み出し、各特徴点の三次元座標におけるｘ座標、ｙ座標及びｚ座標での時刻ｔ１からｔ２までの変化量ＶＸ_ｋ、ＶＹ_ｋ及びＶＺ_ｋ（ｋ＝１，２，…，Ｋ）を下記数１３より算出する（ステップＳ８１０）。

そして、下記数１４より算出される２つの特徴点の変化量の差（絶対値）ΔＶＸ_ａｂ、ΔＶＹ_ａｂ及びΔＶＺ_ａｂ（ａ，ｂは１以上Ｋ以下の整数、ａ＜ｂ）の少なくとも１つが所定の閾値θ以上である特徴点の組合せを抽出し（ステップＳ８２０）、除外組合せデータＥＰとして出力する。

なお、所定の閾値θはΔＶＸ_ａｂ、ΔＶＹ_ａｂ及びΔＶＺ_ａｂに対して共通ではなく、異なる閾値を用いても良い。

視差オフセット推定部３５２は、画面座標データＴＣ１、視差データＰＡ１、画面座標データＴＣ２、視差データＰＡ２及び除外組合せデータＥＰを入力し、除外組合せデータＥＰに含まれる特徴点の組合せ以外の特徴点の組合せで、画面座標データＴＣ１、視差データＰＡ１、画面座標データＴＣ２及び視差データＰＡ２を用いて、第１実施形態での視差オフセット算出部２５０と同様に、数値解析の手法等により視差オフセットＤ０を求める（ステップＳ８３０）。

なお、第２実施形態では、不適切な特徴点の組合せの抽出と視差オフセットの算出を分けて行っているが、視差オフセットの算出の中で不適切な特徴点の組合せの抽出を行い、抽出された組合せを視差オフセットの算出に使用しないようにしても良い。即ち、ステップＳ８２０及びＳ８３０を特徴点の組合せ単位で実行しても良い。

視差オフセットの算出において、特徴点の移動距離が短すぎると、算出される視差オフセットの精度が落ちる可能性があり、特徴点の移動距離が長い方が精度を上げることができる。しかし、移動距離が長いと、移動後の特徴点を画像から検出するのに時間がかかり、特徴点を正確に検出できないおそれもある。そこで、特徴点を抽出した後、ステレオ画像撮像装置から出力される所定の数の画像に対しては特徴点の検出（オプティカルフローの検出）のみを行い、その後の画像に対して視差オフセットの算出まで行うことにより、特徴点の検出の精度を落とすことなく、算出される視差オフセットの精度を上げることができる。

このような処理を行う本発明の構成例（第３実施形態）のブロック図を図１１に示す。図３に示される第１実施形態に対して、第３実施形態にはスイッチ４１０〜４１５が追加され、さらに移動検出部にメモリ４４３が追加されている。なお、第１実施形態と同一構成には同一符号を付して説明は省略する。

第３実施形態の動作例を図１２のフローチャートを参照して説明する。なお、第３実施形態では、時刻ｔ_１に撮像された画像から特徴点の抽出を行い、時刻ｔ_２，ｔ_３，…，ｔ_Ｎに撮像された画像は特徴点の検出のみを行い、時刻ｔ_Ｎ＋１に撮像された画像に対して視差オフセットの検出まで行うとする。

立体物特徴点抽出部２２０が時刻ｔ_１に撮像された画像を基準画像ＳＰ１及び比較画像ＣＰ１としてメモリ２１０より読み出す時、スイッチ４１０，４１１はＯＮで、スイッチ４１２，４１３，４１４，４１５はＯＦＦとなる（ステップＳ１００）。立体物特徴点抽出部２２０は特徴点の抽出を行い、視差算出部２３０は視差の算出を行い、画面座標データＴＣ１及び視差データＰＡ１が視差オフセット算出部２５０に出力される（ステップＳ１１０）。画面座標データＴＣ１はオプティカルフロー検出部４４１にも出力され、オプティカルフロー検出部４４１は第１実施形態でのオプティカルフロー検出部２４１と同様に、時刻ｔ_２に撮像された基準画像ＳＰ２をメモリ２１０より読み出して、基準画像ＳＰ１も用いて特徴点を検出し、画面座標データＴＣ２を出力する（ステップＳ１２０）。出力された画面座標データＴＣ２はメモリ４４３に格納される。

次に、スイッチ４１０，４１１，４１２，４１３，４１４はＯＦＦで、スイッチ４１５のみＯＮとなる（ステップＳ１３０）。そして、オプティカルフロー検出部４４１の特徴点検出のみが実施される。即ち、オプティカルフロー検出部４４１は、時刻ｔ_２に撮像された画像を基準画像ＳＰ１としてメモリ２１０より読み出し、時刻ｔ_３に撮像された画像を基準画像ＳＰ２として読み出し、さらにメモリ４４３より画面座標データＴＣ２を読み出し、基準画像ＳＰ２より特徴点を検出する（ステップＳ１４０）。この際、基準画像ＳＰ１における特徴点の位置の特定を、画面座標データＴＣ２を用いて行う。検出された特徴点の座標値は画面座標データＴＣ２として出力され、メモリ４４３に格納される。格納された画面座標データＴＣ２は、次の時刻での特徴点の位置の特定に使用される。

その後、時刻ｔ_Ｎ−１に撮像された画像を基準画像ＳＰ１としてメモリ２１０より読み出すまで、各時刻に撮像された画像に対してステップＳ１４０を繰り返す。

時刻ｔ_Ｎに撮像された画像を基準画像ＳＰ１としてメモリ２１０より読み出す時、スイッチ４１０，４１１はＯＦＦで、スイッチ４１２，４１３，４１４，４１５はＯＮとなる（ステップＳ１５０）。そして、ステップＳ１４０と同様の処理によりオプティカルフロー検出部４４１は特徴点の検出を行い、画面座標データＴＣ２を出力する（ステップＳ１６０）。画面座標データＴＣ２は視差算出部２４２及び視差オフセット算出部２５０に入力される。視差算出部２４２は、メモリ２１０より時刻ｔ_Ｎ＋１に撮像された画像を基準画像ＳＰ２及び比較画像ＣＰ２として読み出し、入力した画面座標データＴＣ２を用いて視差を算出し、視差データＰＡ２として視差オフセット算出部２５０に出力する（ステップＳ１７０）。視差オフセット算出部２５０は、入力された画面座標データＴＣ１、視差データＰＡ１、画面座標データＴＣ２及び視差データＰＡ２を用いて、視差オフセットＤ０を求める（ステップＳ１８０）。

なお、第３実施形態では、撮像された画像に対する処理の切り替えをスイッチにて行っているが、時刻に関する情報等を画像に付加し、その情報を基に各部にて行う処理を切り替えるようにしても良い。

以上、本発明に係る校正装置について説明したが、本発明は上述の実施形態に限らず、本発明の要旨を逸脱することなく、その他種々の構成、方法を採り得ることは勿論である。また、本発明に係る校正装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアにより実装されることも勿論できる。

１１、１２ カメラ
１０ ステレオ画像撮像装置
２０、３０、４０ 校正装置
２１０、３５３、４４３ メモリ
２２０ 立体物特徴点抽出部
２３０、２４２、 視差検出部
２４０、４４０ 移動検出部
２４１、４４１ オプティカルフロー検出部
２５０、３５０ 視差オフセット算出部
３５１ 移動量検査部
３５２ 視差オフセット推定部
４１０、４１１、４１２、４１３、４１４、４１５ スイッチ

Claims (11)

1. 移動体に搭載されて距離計測を行う距離計測装置にて用いられるステレオ画像撮像装置のパラメータを校正する校正装置において、
   前記ステレオ画像撮像装置で撮像された基準画像１の中の立体物上の少なくとも２つの特徴点を抽出し、前記各特徴点の画面座標１を求める立体物特徴点抽出部と、
   前記ステレオ画像撮像装置で撮影された比較画像１を用いて前記各特徴点の視差１を算出する視差算出部と、
   前記基準画像１及び前記比較画像１を撮像した時刻より所定の時間経過した後に前記ステレオ画像撮像装置で撮像された基準画像２及び比較画像２を入力し、前記基準画像２又は前記比較画像２を用いて前記各特徴点のオプティカルフローを検出し、前記基準画像２及び前記比較画像２を用いて前記基準画像２の中での前記各特徴点の画面座標２及び視差２を算出する移動検出部と、
   前記画面座標１、前記視差１、前記画面座標２及び前記視差２を用いて前記ステレオ画像撮像装置のパラメータの校正に使用する視差オフセットを算出する視差オフセット算出部を備え、
   前記視差オフセット算出部は、前記ステレオ画像撮像装置で撮像される画像の画面座標を三次元座標に変換する変換式を用いて前記三次元座標での２点の移動量の差を表わした差分式に基づいて定義された、視差オフセットを未知数とした評価関数により前記視差オフセットを算出することを特徴とする校正装置。
2. 前記評価関数は前記移動量の差の二乗和として定義され、前記画面座標１、前記視差１、前記画面座標２及び前記視差２を用いて数値解析により前記評価関数を最小とする視差オフセットを求める請求項１に記載の校正装置。
3. 前記評価関数は前記差分式で構成され、前記画面座標１、前記視差１、前記画面座標２及び前記視差２を用いて前記各差分式を０とする個別視差オフセットを算出し、前記個別視差オフセットの代表値を前記視差オフセットとする請求項１に記載の校正装置。
4. 前記視差オフセット算出部は、前記画面座標１及び前記視差１より前記各特徴点の三次元座標１を算出し、前記画面座標２及び前記視差２より前記各特徴点の三次元座標２を算出し、前記三次元座標１及び前記三次元座標２より算出される移動量の差が所定の閾値より大きい特徴点の組合せは前記視差オフセットの算出には使用しない請求項１乃至３のいずれかに記載の校正装置。
5. 前記移動検出部は、前記基準画像１及び前記比較画像１を撮像した時刻後の所定の時間間隔で所定の数の基準画像及び比較画像を入力し、最後に入力した基準画像Ｎ及び比較画像Ｎ以外の基準画像及び比較画像に対してはオプティカルフローの検出のみを行い、前記基準画像Ｎ及び比較画像Ｎに対してのみ前記各特徴点の視差２の算出まで行う請求項１乃至４のいずれかに記載の校正装置。
6. 請求項１乃至５のいずれかに記載の校正装置を搭載していることを特徴とする距離計測装置。
7. 移動体に搭載されて距離計測を行う距離計測装置にて用いられるステレオ画像撮像装置のパラメータを校正する校正方法において、
   前記ステレオ画像撮像装置で撮像された基準画像１の中の立体物上の少なくとも２つの特徴点を抽出し、前記各特徴点の画面座標１を求める立体物特徴点抽出ステップと、
   前記ステレオ画像撮像装置で撮影された比較画像１を用いて前記各特徴点の視差１を算出する視差算出ステップと、
   前記基準画像１及び前記比較画像１を撮像した時刻より所定の時間経過した後に前記ステレオ画像撮像装置で撮像された基準画像２及び比較画像２を入力し、前記基準画像２又は前記比較画像２を用いて前記各特徴点のオプティカルフローを検出し、前記基準画像２及び前記比較画像２を用いて前記基準画像２の中での前記各特徴点の画面座標２及び視差２を算出する移動検出ステップと、
   前記画面座標１、前記視差１、前記画面座標２及び前記視差２を用いて前記ステレオ画像撮像装置のパラメータの校正に使用する視差オフセットを算出する視差オフセット算出ステップを有し、
   前記視差オフセット算出ステップは、前記ステレオ画像撮像装置で撮像される画像の画面座標を三次元座標に変換する変換式を用いて前記三次元座標での２点の移動量の差を表わした差分式に基づいて定義された、視差オフセットを未知数とした評価関数により前記視差オフセットを算出することを特徴とする校正方法。
8. 前記評価関数は前記時間変化量の二乗和として定義され、前記画面座標１、前記視差１、前記画面座標２及び前記視差２を用いて数値解析により前記評価関数を最小とする視差オフセットを求める請求項７に記載の校正方法。
9. 前記評価関数は前記差分式で構成され、前記画面座標１、前記視差１、前記画面座標２及び前記視差２を用いて前記各差分式を０とする個別視差オフセットを算出し、前記個別視差オフセットの代表値を前記視差オフセットとする請求項７に記載の校正方法。
10. 前記視差オフセット算出ステップは、前記画面座標１及び前記視差１より前記各特徴点の三次元座標１を算出し、前記画面座標２及び前記視差２より前記各特徴点の三次元座標２を算出し、前記三次元座標１及び前記三次元座標２より算出される移動量の差が所定の閾値より大きい特徴点の組合せは前記視差オフセットの算出には使用しない請求項７乃至９のいずれかに記載の校正方法。
11. 前記移動検出ステップは、前記基準画像１及び前記比較画像１を撮像した時刻後の所定の時間間隔で所定の数の基準画像及び比較画像を入力し、最後に入力した基準画像Ｎ及び比較画像Ｎ以外の基準画像及び比較画像に対してはオプティカルフローの検出のみを行い、前記基準画像Ｎ及び比較画像Ｎに対してのみ前記各特徴点の視差２の算出まで行う請求項７乃至１０のいずれかに記載の校正方法。