JP4801821B2 - 道路形状推定装置 - Google Patents

Description

本発明は、所定の時間間隔で自車前方の画像を撮像する撮像手段と、前記画像内に存在する立体物を抽出する立体物抽出手段と、前記立体物に基づいて道路形状を推定する道路形状推定手段とを備えた道路形状推定装置に関する。

例えばテレビカメラで撮像した自車前方の画像から道路の白線を検出し、左右の白線に挟まれたレーンから自車が逸脱しないように運転者のステアリング操作をアシストするレーンキーピングシステムが知られている。

また路側に沿って等間隔で配置された円形反射板を有する標識（デリニエータ）を車載のテレビカメラで撮像することで、自車前方の道路形状や道路勾配を認識するものが、下記特許文献１により公知である。
特開平１１−２０３４５８号公報

しかしながら、白線を検出して道路形状を認識するものでは、白線が存在しない道路や白線がかすれた道路では道路形状を認識することができず、またデリニエータを検出して道路形状を認識するものでは、デリニエータが存在しない道路では道路形状を認識することができないという問題があった。そこで、種々の路側物をテレビカメラで検出して道路形状を認識することが考えられるが、路側物は一定の間隔で存在するとは限らず、その間隔がまばらな部分で道路形状の認識が不可能になる可能性がある。

本発明は前述の事情に鑑みてなされたもので、不定間隔で存在する路側の立体物を利用して道路形状を精度良く推定することを目的とする。

上記目的を達成するために、請求項１に記載された発明によれば、所定の時間間隔で自車前方の画像を撮像する撮像手段と、前記画像内に存在する立体物を抽出する立体物抽出手段と、前記立体物に基づいて道路形状を推定する道路形状推定手段とを備えた道路形状推定装置において、自車の走行状態を検出する走行状態検出手段と、前記立体物が地表面に接する位置を特徴点として抽出する特徴点抽出手段と、自車の走行状態に応じた前記特徴点の位置ずれを補正する特徴点補正手段と、前回撮像した画像から抽出した位置ずれ補正後の特徴点と自車の走行状態とから前記特徴点の残像を生成する残像生成手段と、前記画像を分割した複数の領域の各々において、相互に対応する前記特徴点および前記残像を通る複数の直線が交差する消失点を算出する消失点算出手段とを備え、前記道路形状推定手段は、前記複数の領域の各々において前記消失点を通る直線のうちで自車の左右両側に最も近いものを選択し、前記選択した直線を繋ぎ合わせることで道路形状を推定することを特徴とする道路形状推定装置が提案される。

請求項１の構成によれば、撮像手段で所定の時間間隔で自車前方の画像を撮像し、立体物抽出手段で前記画像内に存在する立体物を抽出し、特徴点抽出手段で前記立体物が地表面に接する位置を特徴点として抽出し、走行状態検出手段で検出した自車の走行状態に応じて特徴点補正手段で前記特徴点の位置ずれを補正し、残像生成手段で前記位置ずれ補正後の特徴点と自車の走行状態とから該特徴点の残像を生成し、消失点算出手段で画像を分割した複数の領域の各々において、相互に対応する前記特徴点および前記残像を通る複数の直線が交差する消失点を算出し、道路形状推定手段で前記複数の領域の各々において、前記消失点を通る線分のうちで自車の左右両側に最も近いものを選択し、前記選択した直線を繋ぎ合わせることで道路形状を推定するので、道路に白線が存在しない場合や前記白線が不明瞭な場合、あるいは立体物の間隔がまばらな場合であっても、道路形状を精度良く推定することができる。

以下、本発明の実施の形態を添付図面に基づいて説明する。

図１〜図７は本発明の実施の形態を示すもので、図１は道路形状推定装置の電子制御ユニットのブロック図、図２は特徴点補正手段の作用説明図、図３は残像生成手段および消失点算出手段の作用説明図、図４は撮像から領域設定までの作用説明図、図５は複数の直線から消失点を算出する手法を示す図、図６は各領域において道路の輪郭を示す直線を選択する手法を示す図、図７は選択した直線から道路の形状を推定する手法を示す図である。

図１に示すように、道路形状推定装置の電子制御ユニットＵは、立体物抽出手段Ｍ１と、特徴点抽出手段Ｍ２と、特徴点補正手段Ｍ３と、残像生成手段Ｍ４と、消失点算出手段Ｍ５と、道路形状推定手段Ｍ６とを備える。

立体物抽出手段Ｍ１には、所定の時間間隔で自車前方の画像を撮像するテレビカメラ等で構成される撮像手段Ｃが接続される。立体物抽出手段Ｍ１は、撮像手段Ｃで撮像した自車の進行方向周辺の画像から路側に沿って離散的に存在する照明灯のポール、電柱、ガードレール、植栽、建築物等の立体物を抽出する。立体物は路面が存在する地表面に対して高さを有する物体であり、路面に引かれた白線等は除外される。特徴点抽出手段Ｍ２は、高さを有する立体物が地表面に接する部分を特徴点として抽出する。立体物の抽出および立体物の特徴点の抽出は、自車の走行に伴う撮像手段Ｃと被写体との位置関係の変化を利用する、公知のモーションステレオの技法を用いて行われる。

特徴点補正手段Ｍ３は、自車が車線の中央から左右方向に平行移動した場合や、自車が車線の方向に対して傾斜した場合の、撮像手段Ｃの画像のずれを補正する。自車が直線的な道路の左車線の中央を真っ直ぐ走っているとき、図２（Ａ）に示すように、道路は無限遠方において自車軸線上に重なり、かつ道路の左側の白線とセンターラインとは自車軸線の左右に対称に写ることになる。

この状態から、図２（Ｂ）に示すように、自車が左車線の中央からセンターラインに向かって右方向に平行移動したと仮定すると、自車に搭載した撮像手段Ｃの位置も右方向に平行移動するため、その画像における左右の白線およびセンターラインの位置が自車軸線に対して相対的に左側にずれることになる。従って、この場合には、画像における左右の白線およびセンターラインの位置を右側に移動させ、図２（Ａ）の状態に補正する必要がある。

また図２（Ｃ）に示すように、自車軸線が道路の方向に対して右方向に傾斜したと仮定すると、撮像手段Ｃの画像は左方向に回転することになる。従って、この場合には、撮像手段Ｃの画像を右方向に回転させて図２（Ａ）の状態に補正する必要がある。上述した特徴点補正手段Ｍ３による補正により、自車が蛇行しながら走行した場合でも、得られる画像は自車が左車線の中央を真っ直ぐに走行した場合の画像（図２（Ａ）参照）と同等のものとなる。

このような特徴点補正手段Ｍ３による補正には、車線上における自車の左右方向位置やヨー角のデータが必要となるが、そのデータは特徴点補正手段Ｍ３に接続された走行状態検出手段Ｓで検出した自車の走行状態、つまり車速、ヨーレート、操舵角等から得ることができる。

自車が走行する道路に沿って多数の立体物が短い間隔で整列していれば、それらの立体物から道路形状を検出することができるが、実際には利用できる立体物の間隔がまばらなため、道路形状を検出するのが困難な場合が多い。そこで、残像生成手段Ｍ４は、撮像手段Ｃで撮像した画像上に、各立体物の特徴点に加えて、その特徴点の残像を生成する。

図３（Ａ）は、自車が一定速度で走行する直線路の左右の路側にポールよりなる立体物Ｏが存在する場合を示している。撮像手段Ｃは所定時間間隔で撮像を行うもので、図３（Ａ）は今回画像であるとする。図３（Ｂ）は前回画像を示すもので、立体物Ｏは今回画像よりも遠くに写っている。図３（Ｃ）は前々回画像を示すもので、立体物Ｏは前回画像よりも更に遠くに写っている。

つまり、自車が道路を走行すると、立体物Ｏは遠方から自車に向かって相対的に接近してくる。立体物Ｏが地表面に接する点である特徴点Ｐが写った今回画像上に、前回画像の特徴点Ｐおよび前々回画像の特徴点Ｐを残像Ｐ′として重ね合わせたものが、図３（Ｄ）に示される。但し、今回画像、前回画像、前々回画像…が撮像された間に自車は一定速度で直線走行しているとは限らず加減速や旋回をするため、走行状態検出手段Ｓで検出した自車の運動状態に応じて今回画像上の残像Ｐ′の位置は補正される。

つまり、図３では自車が直線路を一定速度で走行している例を示したが、道路がカーブしている場合や、自車が加減速している場合には、今回画像の特徴点Ｐと前回画像の特徴点Ｐとの位置関係に、車速、ヨーレート、操舵角のような自車の走行状態を考慮することで、今回画像上の残像Ｐ′の位置が決定される。

Ｘを入力（特徴点）、Ｙを出力（残像）、ｔを画像のフレームナンバーの今回、ｔ−１を画像のフレームナンバーの前回、ωを定数とすると、残像Ｐ′は次式により算出される。

Ｙ_t ＝ωＸ_t ＋（１−ω）Ｙ_t-1
ここまでの説明を纏めると、図４（Ａ）は、撮像手段Ｃにより撮像した自車前方の画像であって、左にカーブする道路は地平線Ｈに向かって延びており、その所々に存在するポールよりなる立体物Ｏが立体物抽出手段Ｍ１により抽出される。図４（Ｂ）は、特徴点抽出手段Ｍ２で画像中の立体物Ｏの下端の特徴点Ｐを抽出し、特徴点補正手段Ｍ３で自車の蛇行の影響を補償すべく前記特徴点Ｐの位置を補正したものである。図４（Ｃ）は、残像生成手段Ｍ４で生成した残像Ｐ′を特徴点Ｐに重ね合わせたものである。

続いて、図４（Ｄ）に示すように、図４（Ｃ）の画像を、水平方向に延びる複数本（実施の形態の３本）の横線で複数（実施の形態では３個）の領域Ｒ１，Ｒ２，Ｒ３に分割する。

道路がカーブしているときには、画像上の道路を複数の横線により複数の領域Ｒ１，Ｒ２，Ｒ３に分割すると、各領域Ｒ１，Ｒ２，Ｒ３に含まれる道路は直線であると見做すことができる。図５に示すように、消失点算出手段Ｍ５が、各領域Ｒ１，Ｒ２，Ｒ３に含まれる道路の右側および左側の各々において、相互に対応する特徴点Ｐおよび残像Ｐ′を結ぶ複数の直線を引くと、それらの直線は同一点で交差し、その交差点が消失点Ｖ１，Ｖ２，Ｖ３として定義される。検出誤差等によって前記複数の直線が同一点で交差しない場合は、最も交差の頻度が高い点を消失点Ｖ１，Ｖ２，Ｖ３として選択する。

最も手前の領域Ｒ１では、実線で示す２本の直線Ｌ１ａ，Ｌ１ｂが引かれ、それら２本の直線Ｌ１ａ，Ｌ１ｂは消失点Ｖ１で交差する。手前から２番めの領域Ｒ２では、一点鎖線で示す４本の直線Ｌ２ａ，Ｌ２ｂ，Ｌ２ｃ，Ｌ２ｄが引かれ、それら４本の直線Ｌ２ａ，Ｌ２ｂ，Ｌ２ｃ，Ｌ２ｄは消失点Ｖ２で交差する。手前から３番めの領域Ｒ３では、二点鎖線で示す２本の直線Ｌ３ａ，Ｌ３ｂが引かれ、それら２本の直線Ｌ３ａ，Ｌ３ｂは消失点Ｖ３で交差する。

画像を分割した各領域Ｒ１，Ｒ２，Ｒ３において、相互に対応する特徴点Ｐおよび残像Ｐ′を結ぶ直線には、自車の側縁に近い立体物Ｏ、つまり道路の側縁に近い立体物Ｏに対応する直線や、自車の側縁から遠い立体物Ｏ、つまり道路の側縁から遠い立体物Ｏに対応する直線が含まれるが、図６に示すように、道路形状推定手段Ｍ６は、それらの直線のうち道路の右側および左側で道路の側縁に最も近いものを選択する。具体的には、領域Ｒ１では２本の直線Ｌ１ａ，Ｌ１ｂのうちの直線Ｌ１ａが選択されて直線Ｌ１ｂが削除され、領域Ｒ２では４本の直線Ｌ２ａ，Ｌ２ｂ，Ｌ２ｃ，Ｌ２ｄのうちの直線Ｌ２ａ，Ｌ２ｂが選択されて直線Ｌ２ｃ，Ｌ２ｄが削除され、領域Ｒ３では２本の直線Ｌ３ａ，Ｌ３ｂの両方が選択される。

そして、各領域Ｒ１，Ｒ２，Ｒ３において選択された直線Ｌ１ａ，Ｌ２ａ，Ｌ２ｂ，Ｌ３ａ，Ｌ３ｂを、Ｈｏｕｇｈ変換や最小二乗法を用いて滑らかに繋ぎ合わせることにより、図７に破線で示すように、道路全体の形状を推定することができる。

以上のように、道路に車線を仕切る白線が引かれていない場合や、白線がかすれて検知不可能な場合であっても、路側の立体物Ｏを利用して道路形状を支障なく推定することができる。しかも立体物Ｏの間隔がまばらな場合であっても、その立体物Ｏの特徴点Ｐが過去に検知された残像Ｐ′を算出し、それら特徴点Ｐおよび残像Ｐ′の両方を利用して道路形状を推定するので、どのような環境の道路であっても、その形状を精度良く推定することができる。しかも特徴点抽出手段Ｍ２は立体物Ｏが路面に接する位置を特徴点Ｐとして抽出するので、道路形状をより高精度に推定することができる。

以上、本発明の実施の形態を詳述したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。

例えば、実施の形態では画像を３つの領域Ｒ１，Ｒ２，Ｒ３に分割しているが、領域の数は３つに限定されるものではない。

道路形状推定装置の電子制御ユニットのブロック図 特徴点補正手段の作用説明図 残像生成手段および消失点算出手段の作用説明図 撮像から領域設定までの作用説明図 複数の直線から消失点を算出する手法を示す図 各領域において道路の輪郭を示す直線を選択する手法を示す図 選択した直線から道路の形状を推定する手法を示す図

Ｃ 撮像手段
Ｍ１ 立体物抽出手段
Ｍ２ 特徴点抽出手段
Ｍ３ 特徴点補正手段
Ｍ４ 残像生成手段
Ｍ５ 消失点算出手段
Ｍ６ 道路形状推定手段
Ｏ 立体物
Ｐ 特徴点
Ｐ′ 残像
Ｒ１〜Ｒ３ 領域
Ｓ 走行状態検出手段
Ｖ１〜Ｖ３ 消失点

Claims (1)

1. 所定の時間間隔で自車前方の画像を撮像する撮像手段（Ｃ）と、
   前記画像内に存在する立体物（Ｏ）を抽出する立体物抽出手段（Ｍ１）と、
   前記立体物（Ｏ）に基づいて道路形状を推定する道路形状推定手段（Ｍ６）と、
   を備えた道路形状推定装置において、
   自車の走行状態を検出する走行状態検出手段（Ｓ）と、
   前記立体物（Ｏ）が地表面に接する位置を特徴点（Ｐ）として抽出する特徴点抽出手段（Ｍ２）と、
   自車の走行状態に応じた前記特徴点（Ｐ）の位置ずれを補正する特徴点補正手段（Ｍ３）と、
   前回撮像した画像から抽出した位置ずれ補正後の特徴点（Ｐ）と自車の走行状態とから前記特徴点（Ｐ）の残像（Ｐ′）を生成する残像生成手段（Ｍ４）と、
   前記画像を分割した複数の領域（Ｒ１，Ｒ２，Ｒ３）の各々において、相互に対応する前記特徴点（Ｐ）および前記残像（Ｐ′）を通る複数の直線が交差する消失点（Ｖ１，Ｖ２，Ｖ３）を算出する消失点算出手段（Ｍ５）と、
   を備え、
   前記道路形状推定手段（Ｍ６）は、前記複数の領域（Ｒ１，Ｒ２，Ｒ３）の各々において前記消失点（Ｖ１，Ｖ２，Ｖ３）を通る直線のうちで自車の左右両側に最も近いものを選択し、前記選択した直線を繋ぎ合わせることで道路形状を推定することを特徴とする道路形状推定装置。

Images