JP2010537331A - ビデオ画像のオンライン較正方法およびシステム - Google Patents

Abstract

【課題】ビデオ画像の一部を、道路標識、橋、レーンマーク等と認識し、車線からのはみ出しに対する警告等の種々の機能をもつ、ビデオカメラを利用する運転支援システムに用いられるオンライン較正方法およびシステムを提供する。
【解決手段】路面上のレーンマークその他の側線を含む画面フレーム内でバニッシングポイントを推定するオンライン較正方法において、車線の左側および右側の少なくとも一方のレーンマークを捉えるか、または遠方において互いに交わるように外挿することによって、バニッシングポイントの位置を特定し、所定の時刻における所与の画面フレームにおいて、レーンマークの片側だけしか捉えられない場合でも、一連の画像を時間フィルタにかけて、長時間にわたるバニッシングポイントの平均座標を求め、このバニッシングポイントの平均座標から、ぶれの影響を除去したビデオカメラのヨー角度とピッチ角度を割り出す。破線状に繰返し規則的に現れるレーンマークを捉え、または遠方において互いに交わるように推測することによって、あるいは路面の特性の出現頻度の変化を用いて、ビデオカメラのピッチ角度を割り出し、かつバニッシングポイントの平均座標を算出する。
【選択図】図１ｂ

Description

本発明は、ビデオ画像のオンライン較正方法およびシステム、特に車両から視た道路形状を写し出す画像処理方法およびシステムに利用しうる、ビデオ画像のオンライン較正方法およびシステム関する。

本発明に係るビデオ画像のオンライン較正方法およびシステムにおいては、ビデオカメラによって撮影される対象物の位置測定も行われる。この位置測定は、ビデオカメラの向きを設定する過程（カメラの焦点を道路のまっすぐ前方に合わせるか、または道路の左寄りもしくは右寄りに合わせるか等）も包含している。

車両の前部および後部の少なくとも一方に設けられた単一または複数のビデオカメラで撮影されたビデオ画像を用いる、いわゆる運転支援システム（「運転アシスタント」とも呼ばれる）がいくつか知られている。ここで用いられるビデオカメラは、駐車する場合、特に後向き駐車や縦列駐車をする場合に、自動車の前方または後方におけるレーンマーク（車線境界線）、路肩を示す車道外側線、障害物、他の車両、歩行者等（以下、本明細書および特許請求の範囲を通じて、単に「レーンマーク」という）を検知して表示する。

特許文献１に記載されているように、ビデオカメラおよびビデオ画像は、自動車の周囲の状況を検知する画像評価システム、または運転支援システムとともに用いられる。この画像評価システムにおいては、障害物やレーンマーク等が検知されるだけでなく、これらと自動車間の距離も推定しうる。この際には画像センサが用いられ、この画像センサにおける複数または一群の画素が、適当なデータ処理手段を用いて、強度、コントラスト、色彩、その他のパラメータを基に、自動車の周囲の状況を表示する。

非特許文献１には、もう１つの運転支援システムが記載されている。このシステムは、レーンマーク、車線外側線、その他道路上で目印となるものを発見すること、およびレーンマークと道路の外側線が交わって道路が画面上から消失する点（バニッシングポイント）を推測することに基礎を置いている。

特許文献２に記載されている発明においては、上記のバニッシングポイントを求めるために、車線の両側にあるレーンマークの直線的な外挿線を用いている。特許文献３記載の発明においても、同様の手法を用いているが、後者の発明が、前者の発明と違う点は、必ずしも車線両側のレーンマークを用いる必要がないということである。さらに、後者の発明においては、道路がカーブを描いている場合にも、バニッシングポイントを設定することができる。

欧州特許出願第１４００４０９号サーチレポート 米国特許第７２０９８３２号明細書 米国特許第７０９５４３２号明細書

ＩＥＥＥ Transactions on Vehicular Technology, 第５３巻，第６号，２００４年１１月

本発明は、上記事情に鑑みてなされたものであり、車載ビデオカメラによる位置測定システム（車両の走行中に、道路形状を推定するために用いられるシステムであって、車両とレーンマークとの位置関係を容易に推定しうる）に利用されるビデオ画像のオンライン較正方法およびシステムを提供することを目的としている。本発明は、ビデオカメラ付きの運転支援システムを搭載している車両に有用である。

本発明は、上記課題を解決するために、車載ビデオカメラを介して、車線内の走行を保つ運転支援システムを有する車両において、路面上のレーンマークその他の側線を含む画面フレーム内でバニッシングポイントの位置を特定するオンライン較正方法を提供するものである。
本発明の方法においては、車線の左側および右側の少なくとも一方のレーンマークを捉えるか、または遠方において互いに交わるように外挿することによって、バニッシングポイントの位置を特定するようになっており、所定の時刻における所与の画面フレームにおいて、レーンマークの片側だけしか捉えられない場合でも、一連の画像を時間フィルタにかけて、長時間にわたるバニッシングポイントの平均座標を求めることができ、かつこのバニッシングポイントの平均座標から、ぶれの影響を除去したビデオカメラのヨー角度とピッチ角度を求めうるようになっている。

より詳しくいうと、本発明の方法においては、前記バニッシングポイントの位置特定のために、最初の推定値を設定するようになっており、第１の画面フレームにおいて第１のレーンマークが道路の片側に捉えられた場合には、前記バニッシングポイントの最初の推定値を、前記レーンマークに向かって、レーンマークからの垂直距離に比例し、かつ時間の経過に従って逓減する値でウェート付けされた距離だけ直線的に動かし、第２の画面フレームにおいて第２のレーンマークが捉えられた場合には、前記第１の画面フレームにおけるバニッシングポイントの位置を基に、より正確な位置に新しいバニッシングポイントを定めるという手順を繰返し、バニッシングポイントの最初の推定値は、時間が経過するにつれて、段々に小さい修正量で、真の値に近づくようになっている。

前記バニッシングポイントの逐次的な修正システムは、再帰的な平均化フィルタリングによって、ビデオカメラによる測定値が、従前の値よりも著しくずれているとされた場合には、この測定値を採用しないようになっているのが好ましい。

多項式モデルに沿ってレーンマークを推定し、レーンマークに接近したバニッシングポイントの修正値の不確実さは、そのレーンマークからの垂直距離における、道路が写し出されたフレームの画素の大きさに関係するようになっているのが好ましい。

レーンマークの前方への推測線に基づいて、画像上でバニッシングポイントを特定する際には、推測線を形成する前に、画面上においても実際の路面上においても、レーンマークを外挿するのに十分なだけ離間した複数の点を選ぶこと、十分な車速の下で測定すること、複数のレーンマークが互いに十分な角度を保って延びていること、およびレーンマークの位置についての確かさを含む所定の条件を満たすか否かを判断するようになっているのが好ましい。

本発明はまた、車載ビデオカメラを介して、車線内の走行を保つ運転支援システムを有する車両において、路面上のレーンマークその他の側線が現れた画面フレーム内でバニッシングポイントを推定するオンライン較正方法であって、破線状に繰返し規則的に現れるレーンマークを捉えるか、または遠方において互いに交わるように推定することによって、ビデオカメラのピッチ角度を割り出し、一連の画像を時間フィルタにかけて、長時間にわたるバニッシングポイントの平均座標を算出するようになっている。

さらに本発明は、車載ビデオカメラを介して、車線内の走行を保つ運転支援システムを有する車両において、路面の特性が現れた画面フレーム内でバニッシングポイントを推定するオンライン較正方法であって、路面の特性の出現頻度の変化を用いてビデオカメラのピッチ角度を割り出し、かつ一連の画像を時間フィルタにかけて、長時間にわたるバニッシングポイントの平均座標を算出するようになっていることを特徴とするオンライン較正方法にも関する。

上記様相においては、車両前方の路面を検証するための画像処理装置と、コンピュータを含む電気回路とを備え、前記コンピュータを含む電気回路は、ビデオカメラおよび光軸のぶれを含む、バニッシングポイントのおおよその位置を特定し、このバニッシングポイントの位置から、レーンマークその他の側線の外挿線を用いて、連続的な修正のための時間フィルタリングにかけ、一画素の範囲内の正確さで、ビデオカメラのピッチ角度とヨー角度を導出しうるようになっているのが好ましい。

前記バニッシングポイントは、車両に載せる貨物の重量に関連づけられた変数と結び付けられ、前記貨物の重量が大きくなれば、車両が車線から外れるのを抑制する効果が働き、かつピッチ角度およびヨー角度の正確な値を求めうるようになっているのが好ましい。

この態様においては、ヨー角度の変化率、ホイールの回転速度、ステアリング角を含む車両から送られるシグナルを基に道路の局所的な曲率を算出し、画面上でレーンマークをまっすぐなものに修正した後に、バニッシングポイントの位置とビデオカメラの向きを推定するための推定線を用いるようになっているのが好ましい。

本発明は、前記オンライン較正方法またはオンライン較正システムを実行するためのコンピュータが読み取り可能な媒体に格納されたコンピュータプログラムも提供する。

本発明のオンライン較正方法によれば、バニッシングポイントの位置特定のために、最初の推定値を設定するようになっており、第１の画面フレームにおいて第１のレーンマークが道路の片側に捉えられた場合には、前記バニッシングポイントの最初の推定値を、前記レーンマークに向かって、レーンマークからの垂直距離に比例し、かつ時間の経過に従って逓減する値でウェート付けされた距離だけ直線的に動かし、第２の画面フレームにおいて第２のレーンマークが捉えられた場合には、前記第１の画面フレームにおけるバニッシングポイントの位置を基に、より正確な位置に新しいバニッシングポイントを定めるという手順を繰返し、バニッシングポイントの最初の推定値は、時間が経過するにつれて、段々に小さい修正量で、真の値に近づくことができる。

ビデオカメラの搭載箇所を示す車両の模式的平面図である。 図１に示すビデオカメラで撮影され、レーンマークがバニッシングポイントで収斂するようになっている道路の画像である。 ビデオカメラのピッチ角、バニッシングポイント、および光軸の位置関係を水平方向から視た模式図である。 ビデオカメラのヨー角度、バニッシングポイント、および光軸の位置関係を垂直方向から視た模式図である。 バニッシングポイントの位置が推定される手順を示す模式図である。 バニッシングポイントの位置を逐次修正する手順を示すフロー図である。

本発明の上記目的ならびに上記以外の目的、特徴および技術的効果は、添付の図面を参照して行う以下の好ましい実施形態の説明から明らかになると思う。

図１ａは、ビデオ画像処理システムを搭載し、かつ道路２を矢印３で示す方向に前進する車両１を模式的に示す。車両１のビデオ画像処理システムは、破線５と６に挟まれた道路範囲を捉えうる、画像センサとしてのデジタル式ビデオカメラ４を備えている。コンピュータを含む電気回路８は、ビデオカメラ４のデジタルデータによって構成される入力信号９を受け取る。他方、車両１のリアルタイムの車速も、入力信号１０として与えられる。

ビデオカメラ４で捉えられた道路２の範囲は、ビデオ画像処理システムを介して、図１ｂに示すような画像として表示される。特に図１ｂには、地平線１３上に、レーンマーク１４，１５が収斂して道路１２が画面から消失するバニッシングポイント１１が示されている。車両がバニッシングポイント１１に接近すると、それまで見えなかった対象物が現れ、他方、車両がバニッシングポイント１１から遠ざかると、対象物は、バニッシングポイント１１と一体になる。

画面上におけるバニッシングポイント１１の位置は、ビデオカメラ４のピッチ角度（上下の振れ角度）およびヨー角度（左右の振れ角度）と関連づけられている。特に、画面上に現れるバニッシングポイント１１の高さは、ビデオカメラ４のピッチ角度（上向きか、または下向きか）と関連づけられている。ビデオカメラ４が下向きになればなるほど、バニッシングポイント１１の画面上に現れる位置は高くなる。

他方、バニッシングポイント１１の画面の水平方向における位置は、ビデオカメラ４のヨー角度（左に振れているか、または右に振れているか）と関連づけられている。ビデオカメラ４が左に振れると、バニッシングポイント１１は、画像上で右側に移動する。したがって、画面上に現れるバニッシングポイントの位置から、ビデオカメラのピッチ角度およびヨー角度を導き出すことができる。なお、これらの角度度は、上記以外の方法や手段によって割り出すこともできる。

バニッシングポイント１１の位置、およびビデオカメラ４が捉えている範囲が分かると、ビデオカメラ４の向きを継続的に調整することができる。この際、道路１２は、少なくともビデオカメラ４の近傍においては平坦であると仮定する。これは、道路１２が実際に水平に延びていることを意味するものではなく、局所的には概ね平坦であると仮定するものである。

本発明においては、バニッシングポイント１１の位置を決定するために、レーンマーク、路肩等の道路１２や車線の両側を区画する目印となるものを発見する必要はない。さらに、本発明においては、カーブを曲がって走行する場合にも、バニッシングポイント１１を画面上に再現することができる。

ビデオカメラのピッチ角度と関連づけられたバニッシングポイントの垂直位置
バニッシングポイント１１は、地平線１３上に位置している。本実施形態の方法は、ビデオカメラの撮像範囲内で、バニッシングポイント１１の垂直位置を発見しつつ進行する。ビデオカメラの光軸の垂直面内における向きは、直前の向きを較正することによって知ることができる。したがって、これら２つのビデオカメラの光軸の向きの差を積み重ねることもできる。これらの差の長時間にわたる平均は、静的な環境下におけるビデオカメラのピッチ角度と直接に関連づけられている。車両が動くことによる（動的な環境下での）ビデオカメラのピッチ角度の変化は、経時的に均せば０と想定されるため（仮にそうでないならば、車両は、下り坂または上り坂を進んでいることになる）、ビデオカメラの光軸の垂直面内における向きを割り出すことについて、影響を与えることはない。

図２は、ビデオカメラ４の撮像範囲の幾何学的な関係を模式的に示す。ここでは、ビデオカメラ４（車両と一体であり、独立には動かないものと想定されている）は、未知の角度αで下方を向いている。地平線は、ビデオ画面における１本の画素行２３上に投影される。角度αは、地平線に対応する光線１３と、光軸に対応する光線２０によって定められる。地平線に対応する画素行２３と、ピッチ角度αとの間には、下記数１で示す関係がある。

ここで、ｎは、光軸に対応する画素行と地平線に対応する画素行２３との間にある画素行の数、ｋｙは、１つの画素の垂直方向の長さ、ＦＬは、焦点距離２１を示す。光線２０（光軸の方向に延びる）と光線１３（地平線に向かって延びる）は、ビデオカメラの焦点２２において交わる。

ビデオカメラのヨー角度と関連づけられたバニッシングポイントの水平位置
図３は、平坦な道路におけるビデオカメラ４の平面図である。ビデオカメラ４を搭載している車両１（図１ａ参照）は、レーンマーク３０，３１と平行に走行している。バニッシングポイントは、光線３３の延長上に位置し、ビデオ画面上の１本の画素列３２に写し出される。光線３３は、道路のレーンマーク３０，３１と平行に延び、レンズ（ピンホールと同等）を通過し、ビデオカメラの光軸に対応する光線３４と角度Ψで交差しつつ、バニッシングポイントとして写し出される。

レーンマーク３０，３１と平行に延びる光線３３は、ビデオカメラ４が捉えているバニッシングポイント１１（図１ｂ参照）から入射する。画素列３２に至る光線３３以外の光線は、バニッシングポイント１１から入射するものではない。したがって、角度Ψ（光軸３４に対応する光線とバニッシングポイント１１に対応する光線がなす角度）は、ビデオカメラのヨー角度Ψと等しい。また、光軸３４の延長上にある画素列とバニッシングポイントに対応する画素列３２とが相違することにより、ヨー角度Ψについて、次のような関係が成立する。

ここで、ｍは、光軸３４の延長上にある画素列とバニッシングポイントに対応する画素列３２との間に位置する画素列の数、ｋｘは、１つの画素の水平方向の長さ、ＦＬは、焦点距離３６を示す。また、車両１は、レーンマーク３０，３１と平行に走行すると仮定する。

この仮定が成立しないならば、車両は、走行するにつれて道路から側方に外れることになる。したがって、上記数２についての仮定は、ヨー角度の長時間にわたる変動の期待値が０であることを意味している。この期待値が０からずれていると、ビデオカメラ（すなわち車両）は道路の側方を向いていることになる。

この外、道路のレーンマーク３０，３１は、平均してまっすぐに延びていると仮定する。すなわち、サーキットを概ね楕円形を描くように試験走行する場合を想定しているのではない。画面の水平方向におけるバニッシングポイントの位置の経時的な平均をとると、まっすぐに前方に延びているのでなければならない。したがって、バニッシングポイントの水平位置の長時間にわたる平均からのずれ（光軸３４と、バニッシングポイントに対応する画素列３２との間における変動）は、車両１が静止しているときのビデオカメラ４のヨー角度の範囲内に止まる。

長時間にわたる平均は０になると仮定すると、ビデオカメラのヨー角度のずれにより、ビデオカメラが向いている方向（道路の側方を向いているか否か）を推定することが可能になる。特に、光軸上の画素列３４とバニッシングポイントに対応する画素列とがなすビデオカメラの内角Ψの測定結果を累積すると、車両の走行がヨー角度の変動に及ぼす効果は、平均して０となる。ｎ個のサンプルの平均ヨー角度をΨ(ｎ)とすると、この値は、ビデオカメラ４の経時的な静的ヨー角度（ビデオカメラの車両の進行方向に対する振れ角度）に収斂する。

車両１が走行することによるピッチ角度とヨー角度の変動の平均値が０であると仮定して、ピッチ角度とヨー角度を長時間にわたって計測すると、バニッシングポイントの位置の測定値を基に、ビデオカメラ４の向きをオンラインで較正するシステムを構築することができる。

つぎに、図１ｂに示すようなバニッシングポイント１１の位置を確定する方法について説明する。ここでは、本発明に係るバニッシングポイントの位置を推定するための４つのアプローチについて説明する。

第１のアプローチ：道路上に２つまたはこれを超える数のレーンマークを探し、これらのレーンマークを互いに交わるまで推定する（交点がバニッシングポイントとなる）。
第２のアプローチ：レーンマークが１つしか捉えられない場合に、バニッシングポイントの位置を特定する。
第３のアプローチ：生地の織り目を辿るような過程を踏んで、バニッシングポイントの位置を特定する。
第４のアプローチ：道路がカーブを描いている場合に、バニッシングポイントの位置を再設定する。
以下に、これら４つのアプローチを詳細について、説明する。

第１のアプローチ：推定線によるバニッシングポイントの位置設定とビデオカメラの向きの較正
レーンマークを、画像フィルタにかけて割り出す。すなわち、画像フィルタを介して、バックグラウンドと対比することにより、一定の大きさを有するとともに、車両の走行によっても変動せず、かつ車両の走行方向を示す一貫した指標となりうる対象物を探し出す。例えば、レーンマークは、ビデオカメラを用いるレーンマーク検知方法、および画像処理方法を利用して見出すことができる。以下においては、レーンマークが発見されたことを前提として説明を進める。

レーンマークのバニッシングポイントの位置は、ビデオ画面上でｘｙ座標を用いて表すことができる。バニッシングポイントの位置は、１つの画素全体、または１つの画素の一部にとどまる範囲内の正確さをもって再現される。いずれにしても、レーンマークａに対して(x_a1・x_an,y_a1・y_an)、レーンマークｂに対して(x_b1・x_bm,y_b1・y_bm)等の座標を割り当てることができる。各レーンマークに対して割り当てる座標の数（レーンマークａに対してはｎ個、レーンマークｂに対してはｍ個）は、同じである必要はない。

２以上の点があれば、直線は定まる（したがって、画像上で、片側に２つ以上の点があれば、その側におけるレーンマークを定めることができる）。また、同一平面にあって互いに平行でない２本の直線は交わる。したがって、ビデオ画面上で互いに一定の角度をなす２つのレーンマークは、交差する。このビデオ画面上におけるレーンマークの交点は、バニッシングポイントの近傍である。レーンマークを定める複数の点については、実際に使用する前に、時間フィルタリングと通常の条件設定を施し、バニッシングポイントの長時間にわたる正確な平均的位置を算出する。こうすれば、すでに説明したように、バニッシングポイントから、ビデオカメラの向きを割り出すことができる。

バニッシングポイントを推定するための２本の直線は、次のようにして定められる。レーンマーク上のポイントを(ｘ，ｙ)座標で表す。この座標は、１つの画素の全部または一部の範囲内に位置する。いずれの場合であっても、逆レンズモードを用いて、ビデオカメラレンズの歪みを取り除くことができる。逆レンズモードを用いるには、レンズの歪みのタイプと程度だけでなく、ビデオ画面上におけるレンズの光軸の位置も分からなければならない。レンズの歪みを取り除くと、従前と同一の画素の範囲内で、新しい(ｘ，ｙ)座標が得られる。例えば、(100, 200)であった座標が、レンズの歪みを取り除いた後には、(98.23, 202.65)となることもある。

このようにして、従前の各ポイントの座標値を、レンズの歪みを除去したものに正し、ビデオ画面上で、これらのポイントを通る直線を定める。これらのポイントが３つを超えて存在する場合には、最小二乗法によって、回帰線を定める。ノイズマークや低画質マークが検知される場合には、メジアン（中央値）についての最小二乗法も用いることができる。レーンマークとなる直線を定めるための２つのポイントは、できるだけ離れているのが好ましい。

２つまたはこれを超える数のポイントから定まる２つの直線は、バニッシングポイントの近傍に交点をもつ。レーンマークの発見および回帰線の決定には不確かさも伴うため、バニッシングポイントの位置の正確さを向上させるために、経時的な平均をとる。

各直線を３つ以上のポイントを基に描く場合、２以上の交点が生じる場合があるが、このような複数の交点は、１つにまとめることができる。実際に用いられるのは、バニッシングポイントの近傍に位置する１つまたは高々２つのポイントである。ノイズを減らすために、ウェート付けされた１群のポイントが用いられることもある。
このようなアプローチとして最も簡単なシステムにおいては、バニッシングポイントの位置を特定するために、道路の最も左側および右側のレーンマークを用いる（これ以外に、位置が最も確かなレーンマークを用いることもできる）。

バニッシングポイントの位置の経時的な平均座標から、上記のようなビデオカメラの静的なヨー角度とピッチ角度を推定することができる。これらの角度の静的な値（ビデオカメラのぶれがない状態における値）からのずれは、ビデオカメラを搭載している車両が動くことによる。このようなピッチ角度の静的な値からのずれは、ビデオカメラの現在のピッチ角度は何度かというような問いに対して答える際にも必要となる。

レーンマークを推定するためには、各側のレーンマークを描くための最も近いポイントと最も遠いポイントとが、十分に離れていることが必要である。また、道路の局所的な曲率がゼロであること、および車両が、ある程度の大きさの一定の速度で走行していることも必要である（車速が小さすぎると、ヨー角度が広くなりすぎる）。
ピッチ角度を推定した場合には、バニッシングポイントの長時間にわたる平均値を求めるために使用する前に、大きく外れた値を除去する。

第２のアプローチ：ある時点において片側のレーンマークしか見えない場合におけるバニッシングポイントの位置の特定

図４は、このアプローチの一例において、リアルタイムのバニッシングポイント４０を、最終的な推定値まで導く過程を要約して示している。車両がレーンから外れることに対して警告をするためのオンライン較正は、バニッシングポイントを発見することにかかっている。

バニッシングポイントは、左側および右側のレーンマークが交差する点を発見または推定することによって定められる。オンライン較正は、所定の画面フレーム内にレーンマークが１つ（左側または右側のレーンマーク）しか捉えられない場合にも実行することができる。レーンマークは、運転支援システムが作動している間、２つ捉えられることが要求されるが、一時的に１つしか捉えられないこともある。以下に、このような場合に、オンライン較正がいかにして行われるかについて説明する。

バニッシングポイントは、一時的に画面フレーム内に片側のレーンマークしか捉えることができない場合でも、一連の画像（画像シーケンス）から求めることができる。ただし、この画像シーケンス内（同一の画面フレームでなくともよい）における複数のポイントで、両側のレーンマークを捉えうることが必要である。いずれかの画面フレームにおいて、片側のレーンマークしか捉えられなくても許容されるが、バニッシングポイントの位置の正確さを高めることはできない。

バニッシングポイントとは、ビデオ画像上において、レーンマークの外挿線が概ね通過すると想定される位置である。図４に示すように、バニッシングポイント４０を求める際には、最初の想定位置が用いられる。この最初の想定位置とは、簡単にいえば、ビデオ画像の中心点、またはビデオカメラが搭載されている車両についてのデフォルト値である。

画面フレームの片側にレーンマーク４１が捉えられたときには、画面フレームの周縁またはこの推定線から、画面上でレーンマーク４１と直交するように、想定線を矢印４２で示す方向に延ばす。この想定線は、時間に依存する値でウェート付けされており、時間とともに、レーンマーク４１またはレーンマーク４３（レーンマーク４１に係る第ｎフレームよりも時間的に遅れた第ｍフレームにおいて得られる推定線）に接近する程度が減少する。
その結果、第ｎフレームにおいては、より正確さの高い座標位置において、新規なバニッシングポイント４０'を得ることができ、さらに、第ｍフレームにおいては、より正確さの高い座標位置において、新規なバニッシングポイント４０''を得ることができる。

レーンマーク４１，４３が、それぞれバニッシングポイントを通過する頃には、バニッシングポイントは、当初想定したバニッシングポイント４０から、経時的に若干の補正を行いつつ、最終的な値（真の位置）に到達する。

したがって、どのフレームにおいても、推定線が交わるようになっている２本のレーンマークは必要ないにも拘わらず、バニッシングポイントの位置を推定することができる。

バニッシングポイントの位置を調整するためにローパスフィルタを用いる場合には、バニッシングポイントは、経時的に変化しない値でウェート付けされた、路肩からの距離に比例する距離で更新される。この平均化の過程においては、経時的に減少する値でウェート付けする。（繰り返し平均フィルタの場合、平均化の過程においては、徐々に増大する値でウェート付けするが、新規な測定値に係るウェートは、測定の回数が増大するにつれて小さくする。）

このアプローチにおける本発明の特徴が明らかになるよう、以下に、簡単な実施例を示す。最終的な目標は、２つの直線の交点（簡単のため、座標を（０，０）とし、一方の直線ｘ軸、他方の直線をｙ軸とする（いずれか一方の直線の位置は変化しない））を求めることである。一方の直線は、他方の直線が捉えられなくても、所与の時間にアルゴリズムに使用される。この場合、２直線の交点を求めることはできない。この条件下で、最初に推定される交点の正確さを高めることが課題である。

最初の交点の推定座標を、任意に（−８、−８）とする。バニッシングポイントの推定位置を高める際のルールは、「リアルタイムの推定ポイントを、一方の直線上で、それまでの距離（これと直交する直線との交点によって示される）の半分の距離に移動させる。」である。このルールをｘ軸に適用し、その度にｙ軸を与えると、ｘ座標は次のように変化する。
ｘ座標を−８から始める。
ｘ座標を−４へ移動させる。
ｘ座標を−２へ移動させる。
ｘ座標を−１へ移動させる。
ｘ座標を−０．５へ移動させる。
以下、同様。このようにすれば、正確な交点のｘ座標に近づくことは分かると思う。

このプロセスをｘ軸だけでなく、ｙ軸にも拡張する。ｘ軸、ｙ軸等の数（次元）によらず、最初のスタートポイントを正確な座標値（０，０）に向けて動かしていくことに変わりはない。正確な値への漸近は、各軸について独立に、かつスタートポイントの位置とは拘りなく、同じように行う。バニッシングポイントは、任意のスタートポイントから、その正確な値に向けて引き寄せられる。

システムには、ノイズを加えることもできる。簡単のため、レーンマークが１本だけの場合を再度考える。これは互いに直交する軸が２本存在する場合にも拡張しうることは明らかである。このノイズの値は、任意に、−０．２，−０．４，−０．１，−０．４，０，＋０．４，−０．３，＋０．１，……（これらの値の長時間にわたる平均値は０である）とすることができる。簡単のため、ここでは、第１の値（−０．２）を例にとって説明する。

座標（−８）から、（−８−（−０．２））／２（すなわち３．９単位）動かして、座標を（−４．１）とする。
座標（−４．１）から、（−４．１−（−０．４））／２動かして、座標を（−２．２５）とする。
座標（−２．２５）から、（−２．２１−（−０．１））／２動かして、座標を（−１．１７５）とする。
この過程を繰り返すと、−０．７８７５、−０．３９３７５、０．００３１２５……と続いていく。
こうして、加えるノイズの大きさに拘わらず、正確な値である０に接近していく（ノイズの数列が発散していく場合を除く）。

上記のノイズを加える過程は、互いに直交する二次元座標の場合にも拡張しうることは明らかである。また、この過程は、ビデオカメラを搭載している車両が移動する場合に、バニッシングポイントを移動させる過程を、部分的に模倣している。

このようなアプローチにおいて最後に残された課題は、レーンマークの延びる角度が変化する場合である。実際のレーンマークは、道路幅に応じて、ビデオ画面上で、角度を変化させつつ、運転者の視界へ入ってくる。
簡単にするため、１本のレーンマークだけが、角度を変化させた状態で捉えられるものとする。これは、２本のレーンマークが角度を変化させた状態で捉えられる場合に拡張しうる。
レーンマークの角度を、上記のノイズに類似した態様（−２０°，−４０°−１０°，−４０°，０，＋４０°等の任意の数列）で変化させる。バニッシングポイントの推定値の較正は、常にレーンマークと直交する方向に行う。
レーンマークの推定は２次元的に行うため、較正の手順は複雑である。そこで、簡単のため、最初の過程のみ説明する。
傾きｍ、ｙ切片ｂ_mark、およびリアルタイムのバニッシングポイントの座標(ｘ_n，ｙ_n)を用いる線形方程式で表されるバニッシングポイントの新規な較正位置を与える基本的な方程式は、下記数３および数４の通りである。

バニッシングポイントの最初の推定位置を座標（−８，−８）から始める。すると、上記数３および数４に従い、ｘ座標は、−１．７４，−３．１９と移動し，ｙ座標は、−０．５９，−１．３７と移動する。その結果、この較正手順によっても、バニッシングポイントは、真の値（０，０）へと移動する。

上記の手順は、レーンマークの曲がり角度が種々に変化する場合には複雑になる。しかし、２本のレーンマークがともに種々の角度でカーブしている場合にも、上記の手順によれば、バニッシングポイントは、原点（０，０）に向かって移動する。

いずれの場合にも、上記アプローチによれば、バニッシングポイントが、どのようなポイント（ノイズを含む）を通過する場合にも、種々の角度で変化するレーンマークの延長上にある場合にも、その最初の推定座標は、真の値に向かう。これは、実際の道路上のレーンマークの位置と角度が、同時に変化する場合にも当てはまる。

図４に示す例においては、簡単にするため、互いに直交する２つの軸を用いている。しかし、一般的には、これらの軸はそうではなく、またバニッシングポイントの真の値を推定するための各軸の移動も互いに独立に行われるわけではない。上記の軸を用いるルールの優れているところは、最初の推定ポイントを真の値へ向かわせることができる点にある。ただし、上記バニッシングポイントの位置の修正を行うためには、２本のレーンマークは、互いに重なってはならない。

図４における距離４４のように、最初の推定ポイントから原点まで、順次半分の距離だけ接近させていくというルールは、修正することができる。このルール(half-distance rule)とは、常に、変数が最終的な真の値の近傍にあるときでも、リアルタイムのノイズの値の少なくとも半分の距離は移動させることを意味する。ノイズに対する感度は、繰返し平均の関係を用いて、ステップの大きさを小さくすることによって、改善することができる。この結果、第ｎ番目の過程の長さは１／ｎとなる。ｎが大きな値になれば、１／ｎは、ますます小さくなる。したがって、ノイズが最終的な真の値に及ぼす影響は、徐々に小さくなる。

以上を要約すると、道路のバニッシングポイントを発見する通常のプロセスにおいては、２本のレーンマーク（右側のレーンマークと左側のレーンマーク）を、１つの画面フレーム中に捉えうることが必要である。２本のレーンマークは、バニッシングポイントの近傍で交わる。

図５は、バニッシングポイントの推定について、ビデオカメラで捉えられたレーンマークの数に応じて、種々の経路が採られることを示すフロー図である。ただし、単一のフレームにおいて、２つのレーンマークが同時に捉えられなければならないわけではない。右側のレーンマークと左側のレーンマークが時々現れる限り、上述のアプローチにより、バニッシングポイントの最初の推定ポイントを、最終的な真の値に収斂するよう修正することができる。

図５に示すプロセスは、ブロック５０から開始し、ついでビデオカメラ４（図１ｂ参照）から画像を受け取る（ブロック５１）。道路上にレーンマークが捉えられた場合（ブロック５３：位置探知過程）には、次の位置決定過程（ブロック５４）に進む。ここで、バニッシングポイントの位置の正確さが満足されうるものである場合には、次のブロック５５に進む。そうでない場合には、再度ブロック５１へ戻り、ビデオカメラ４から新たな画像を受け取る。

レーンマークが１つしか捉えられない場合には（ブロック５５）、バニッシングポイントは、レーンマークの外挿位置に向かい（ブロック５６）、修正されたバニッシングポイントが出力される（ブロック５７）。さらに、これまでのプロセスを繰り返すために、ビデオカメラから画像を受け取る過程（ブロック５１）に戻る。
他方、レーンマークが２本捉えられ（ブロック５８）、コンピュータによって、これら２本のレーンマークの外挿線の交点が導出されたときは（ブロック５９）、バニッシングポイントを、その交点に向かって移動させる。こうして、修正されたバニッシングポイントは、ブロック５７に向かい、このプロセスを繰返すために、ブロック５１へ移動して、ビデオカメラから画像データを受け取る。

仮に２本を超えるレーンマークが捉えられ（ブロック５８）、コンピュータによって、これらのレーンマークの外挿線の交点が導出され（ブロック６１）、さらに一点に集約された場合には（ブロック６２）、バニッシングポイントを、その集約点に向かって移動させる（ブロック６３）。こうして、修正されたバニッシングポイントが、ブロック５７に向かい、このプロセスを繰返すために、ブロック５１へ移動して、ビデオカメラから画像データを受け取る。

第３のアプローチ：織り目を辿るような過程を踏むバニッシングポイントの特定
このアプローチでは、上述のバニッシングポイントに接近するように逐次距離を狭めていくアプローチで説明した距離よりも近接した距離で、規則的に離間したパターン（織り目模様）を用い、ビデオカメラの傾斜角を割り出すために、この離間の規則性を利用する。レーンマークが破線として描かれている場合は、この規則的に離間したパターンに該当する。この技術的思想は、後述するように、アスファルトの粗い粒条の路面にも拡張しうる。

一例として、ビデオカメラの１ｍ先に始まって（このスタートポイントを、パターンの位相と呼ぶ）、３ｍ間隔で破線状に延びるレーンマークのパターンを取り上げる。また、ビデオカメラは、路面から１．５ｍの高さにあって、３．６°下向きであるとする。その外、ビデオカメラのレンズの焦点距離は、５．７mmとする。

ピッチ角度＋レーンマークに対応する光線が光軸となす角度（内角）＝tan^-1（ビデオカメラの高さ(ｍ単位)／ビデオカメラの位相(ｍ単位)＋破線状レーンマークの繰返し回数（ｎ））とすると、このパターンの第１の単位（レーンマークの最初の破線）ついては、位相１(ｍ)、かつｎ＝０となる。

したがって、ビデオカメラは、３．６(ピッチ角度)＋内角＝tan^-1（１．５／１．０）≧５２．７１６°下向きとなる。

次の破線状レーンマークについては、位相は１で変わらず、ｎ＝１となるため、内角は、１５．９５８°下向きとなる。

最後にｎ＝２の場合には、内角は、８．４９６°下向きとなる。

次に、位相、繰返しパターン間の距離、またはビデオカメラのピッチ角度のいずれかが未知の場合を考える。ビデオカメラの設定高さも内角も不明の場合には（いずれも光軸に関わる）、３つの未知の値について３つの方程式（いずれも数値計算によって解くことができる））を立てて、ピッチ角度を求めることができる。測定値が多数得られる場合には、方程式は、誤差を最小にするように解く。

以上、破線が規則的に繰返す単純なレーンマークの場合を取り扱ってきたが、このアプローチは、ビデオカメラ前方の路面について第１順序統計量が不動である過程すれば、アスファルトの路面が粗い道路の場合に拡張することができる（すなわち、路面アスファルトの粒と粒の間の距離の平均は、対象区間内では一定と仮定する）。

バニッシングポイントに向かって路面上で明確に捉えうるアスファルト粒間の距離の平均の変化（すなわち、画面にアスファルト粒が現れる頻度の変化）を観察すると、方程式を立てることができ、再びビデオカメラのピッチ角度を導出することができる。ビデオ画面は、通常１cm未満のアスファルト粒を捉えうるよう、十分な解像度を有していなければならない。このようなアプローチによるビデオカメラのピッチ角度の推定は、上述の破線状レーンマークからピッチ角度を推定するアプローチを拡張したものである。

第４のアプローチ：道路がカーブしている場合のバニッシングポイントの特定
道路がカーブしている場合には、レーンマークの推定線の交点に当たるバニッシングポイントは、左右へ移動する。したがって、道路がカーブしているということは、バニッシングポイントの真の値に偏りを生じさせる原因となる。しかし、この偏りを除去し、道路が、実際とは異なり、まっすぐに延びるものと再構成して、バニッシングポイントの真の値に到達することができる。このためには、走行中の車両から送られる、道路のリアルタイム曲率半径についてのシグナルを利用する。このシグナルは、ヨー角度の変化率、ホイールの回転速度、ステアリング角等である。道路の曲率半径が分かれば、レーンマークの画像を、道路がまっすぐであれば位置すべきポイントへ復帰させ、すでに説明したように、推定線を前方へ延ばすことによって、バニッシングポイントの真の座標を得ることができる。

１ 車両
２,12 道路
４ ビデオカメラ
８ 電気回路
９,10 入力信号
11 バニッシングポイント
13 地平線
14,15 レーンマーク

Claims (12)

1. 車載ビデオカメラを介して、車線内の走行を保つ運転支援システムを有する車両において、路面上のレーンマークその他の側線を含む画面フレーム内でバニッシングポイントを推定するオンライン較正方法であって、車線の左側および右側の少なくとも一方のレーンマークを捉えるか、または遠方において互いに交わるように推測することによって、バニッシングポイントの位置を特定するようになっており、所定の時刻における所与の画面フレームにおいてレーンマークの片側だけしか捉えられない場合でも、一連の画像を時間フィルタにかけて、長時間にわたるバニッシングポイントの平均座標を求めることができ、かつこのバニッシングポイントの平均座標から、ぶれの影響を除去したビデオカメラのヨー角度とピッチ角度を求めることを特徴とするオンライン較正方法。
2. 前記バニッシングポイント(40)の位置特定のために、最初の推定値を設定するようになっており、第１の画面フレーム(ｎ)において第１のレーンマーク(41)が道路(２)の片側に捉えられた場合には、前記バニッシングポイントの最初の推定値を、前記レーンマーク(41)に向かって、レーンマーク(41)からの垂直距離に比例し、かつ時間の経過に従って逓減する値でウェート付けされた距離だけ直線的に動かし、第２の画面フレーム(ｍ)において第２のレーンマーク(43)が捉えられた場合には、前記第１の画面フレーム(ｎ)におけるバニッシングポイントの位置を基に、より正確な位置に新しいバニッシングポイント(40')を定めるという手順を繰返し、バニッシングポイントの最初の推定値は、時間が経過するにつれて、段々に小さい修正量で、真の値に近づくようになっていることを特徴とする請求項１記載のオンライン較正方法。
3. 前記バニッシングポイントの逐次的な修正システムは、再帰的な平均化フィルタリングによって、ビデオカメラによる測定値が、従前の値よりも著しくずれているとされた場合には、この測定値を採用しないようになっていることを特徴とする請求項１または２記載のオンライン較正方法。
4. 多項式モデルに沿ってレーンマークを外挿し、レーンマークに接近したバニッシングポイントの修正値の不確実さは、前記レーンマーク(41)(43)に接近したバニッシングポイントの修正値の不確実さは、そのレーンマークからの垂直距離における、道路が写し出されたフレームの画素の大きさに関係するようになっていることを特徴とする請求項１〜３のいずれかに記載のオンライン較正方法。
5. レーンマークの前方への外挿線に基づいて、画像上でバニッシングポイントを特定する際、外挿線を形成する前に、画面上においても実際の路面上においても、レーンマークを外挿するのに十分なだけ離間した複数の点を選ぶこと、十分な車速の下で測定すること、複数のレーンマークが互いに十分な角度を保って延びていること、およびレーンマークの位置についての確かさを含む所定の条件を満たすか否かを判断することを特徴とする請求項１〜４のいずれかに記載のオンライン較正方法。
6. 車載ビデオカメラを介して、車線内の走行を保つ運転支援システムを有する車両において、路面上のレーンマークその他の側線が現れた画面フレーム内でバニッシングポイントを推定するオンライン較正方法であって、破線状に繰返し規則的に現れるレーンマークを捉え、または遠方において互いに交わるように外挿することによって、ビデオカメラのピッチ角度を割り出し、一連の画像を時間フィルタにかけて、長時間にわたるバニッシングポイントの平均座標を算出することを特徴とするオンライン較正方法。
7. 車載ビデオカメラを介して、車線内の走行を保つ運転支援システムを有する車両において、路面の特性が現れた画面フレーム内でバニッシングポイントを推定するオンライン較正方法であって、路面の特性の出現頻度の変化を用いてビデオカメラのピッチ角度を割り出し、かつ一連の画像を時間フィルタにかけて、長時間にわたるバニッシングポイントの平均座標を算出することを特徴とするオンライン較正方法。
8. 請求項１〜５に係る方法、請求項６に係る方法、請求項７に係る方法を組み合わせたことを特徴とする方法。
9. 車載ビデオカメラを介して、車線内の走行を保つ運転支援システムを有する車両において、路面上のレーンマークその他の側線、または路面の特性が現れた画面フレーム内でバニッシングポイントを推定する請求項１〜８のいずれかに記載のオンライン較正方法を実施しうる、車両前方の路面を検証するための画像処理装置と、コンピュータを含む電気回路とを備えるオンライン較正システムであって、前記コンピュータを含む電気回路は、ビデオカメラおよび光軸のぶれを含む、バニッシングポイントのおおよその位置を特定し、このバニッシングポイントの位置から、レーンマークその他の側線の外挿線を用いて、連続的な修正のための時間フィルタリングにかけ、一画素の範囲内の正確さで、ビデオカメラのピッチ角度とヨー角度を導出しうるようになっていることを特徴とするオンライン較正システム。
10. 前記バニッシングポイントは、車両に載せる貨物の重量に関連づけられた変数と結び付けられ、前記貨物の重量が大きくなれば、車両が車線から外れるのを抑制する効果が働き、かつピッチ角度およびヨー角度の正確な値を求めうるようになっていることを特徴とする請求項９記載のオンライン較正システム。
11. ヨー角度の変化率、ホイールの回転速度、ステアリング角を含む車両から送られるシグナルを基に道路の局所的な曲率を算出し、画面上でレーンマークをまっすぐなものに修正した後に、バニッシングポイントの位置とビデオカメラの向きを推定するための外挿線を用いるようになっていることを特徴とする請求項９または１０記載のオンライン較正システム。
12. 請求項１〜８のいずれかに記載のオンライン較正方法、または請求項９または１０記載のオンライン較正システムを実行するためのコンピュータが読み取り可能な媒体に格納されたコンピュータプログラム。

Images