JP3424334B2 - 走行路検出装置 - Google Patents
走行路検出装置Info
- Publication number
- JP3424334B2 JP3424334B2 JP16305294A JP16305294A JP3424334B2 JP 3424334 B2 JP3424334 B2 JP 3424334B2 JP 16305294 A JP16305294 A JP 16305294A JP 16305294 A JP16305294 A JP 16305294A JP 3424334 B2 JP3424334 B2 JP 3424334B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- road
- vehicle
- lane
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 241
- 238000012545 processing Methods 0.000 claims description 89
- 230000014509 gene expression Effects 0.000 claims description 72
- 238000000034 method Methods 0.000 claims description 46
- 230000008859 change Effects 0.000 claims description 34
- 238000013459 approach Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 52
- 238000004364 calculation method Methods 0.000 description 49
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000005259 measurement Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Instructional Devices (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Description
における走行道路領域を画像処理によって認識する走行
路検出装置に関する。
避のための補助的な警報発生」、「人間の判断操作の補
助」、「全面的な自動運転」等を目的として、種々の形
式の走行路検出装置が研究されている。走行路検出装置
の一例は、走行路面の画像を採取し、画像処理して白線
部分を際立たせる撮像入力手段と、路面画像の座標系を
用いて路面画像上の白線の位置を記述する白線検出手段
と、路面画像の座標系で記述された白線の位置情報に基
づいて道路の三次元形状を推定する推定演算手段とを含
む。走行路検出装置では、刻々の車両前方の路面の三次
元形状を1/10〜1/100秒と言ったごく短い時間
で割り出す必要がある。しかし、路面画像から道路の三
次元関数を厳密に割り出すには膨大な演算処理が必要で
ある。従って、画像処理から三次元形状の推定に至る各
段階の処理について種々の近似や簡略化を施している。
出装置が、第7回「産業における画像センシングシンポ
ジウム(平成4年7月7日)」において発表された「連
続道路画像からの道路構造と車両姿勢の実時間推定」と
いう論文に記載されている。この論文は、路面画像から
抽出した白線の画像データから、道路曲率、勾配、さら
には車両姿勢(ピッチ角、ヨー角、ロール角)を同時に
推定する手法について述べている。その手法の概念図を
図37に示す。白線モデルとしては、道路座標系(X、
Y、Z)によって記述される多次曲線を用いる。入力さ
れた画像から白線候補を抽出し、画像座標(x、y)か
らカメラ座標(U、V、W)へ、カメラ座標(U、V、
W)からさらに道路座標(X、Y、Z)へという2段階
の座標変換を経て、白線候補を道路座標系(X、Y、
Z)上に投影したものと、前時刻の白線候補に基づく道
路モデルとを比較する。比較結果に基づいて多次曲線式
のパラメータの各数値が確定される。これらの数値で道
路モデルの多次曲線式を更新しつつ、上述の走行路と車
両姿勢を認識する。
出装置は、(1)白線の関数で道路形状を記述し、白線
のみを補足する、(2)白線上の限定された個数の白線
候補のみについて座標値を決定し、演算に供する、
(3)道路モデルの関数を一定とし、関数に含まれるパ
ラメータ部分のみを順次更新する、等の手法を採用して
おり、従来の処理に比較すれば必要な演算数を大幅に削
減している。これにより、やや特殊な演算装置を必要と
するものの、毎秒30画面を取り込んでリアルタイムに
道路形状、車両位置、および車両姿勢を演算して出力す
ることが可能である。
載する実用化の観点からは、さらに低速かつ小容量で、
より一般的な構造の演算装置を利用して、同等以上の速
度で演算出力できることが望まれる。また、車両に搭載
される演算装置には、道路の三次元形状の認識にとどま
らず、認識結果に基づく他の演算処理を割り込み処理で
きることが望まれる。例えば、路面画像上での先行車両
の認識、車線変更に対する警報等である。この観点から
見れば、従来例の走行路検出装置は、道路モデルと画像
から得られた白線候補との比較に際して、画像座標系か
ら道路座標系への2段階の座標変換を行わなければなら
ないため、計算が非常に複雑になるという問題があっ
た。
い高速道路等は、300R以上の曲率一定の緩やかなカ
ーブや勾配によって構成されるため、道路モデルを従来
例のような多次式で近似しなくても実用的な結果が得ら
れる可能性がある。また、高速道路では、車両のロール
角は無視し得る。結局のところ、従来例の走行路検出装
置では、画像処理から求める位置座標の誤差から見て、
高速道路等では不必要なほどの厳密な近似を行っている
問題があった。
少ない演算能力でも高速かつ高精度に道路の三次元形状
等を出力できる走行路検出装置を提供することを目的と
している。
置は、車両前方の路面画像を採取し、画像処理して路面
の白線を抽出する撮像入力手段を有し、前記路面画像上
の白線を検出して、路面の三次元形状と路面に対する車
両の相対位置関係とを識別する走行路検出装置におい
て、前記白線の二次曲線近似式を路面画像の座標系に変
換したパラメータ記述式における、走行車線内の車両位
置、道路の平面曲率、車線に対する車両の傾き、道路の
傾斜、道路幅にそれぞれ関連付けた複数のパラメータを
保持する検出パラメータ保持手段と、路面画像上の前記
白線に沿った複数の白線候補点について、路面画像の座
標系を用いた位置情報を求める白線候補点検出手段と、
前記検出パラメータ保持手段に保持した過去の複数のパ
ラメータから演算した仮想的な白線候補点に対して、路
面画像から求めた最新の白線候補点の前記位置情報を比
較して、前記複数のパラメータの最新値を求めて、前記
検出パラメータ保持手段の前記複数のパラメータを更新
させるパラメータ補正手段と、を有するものとした。
載の走行路検出装置において、前記パラメータ補正手段
は、前記仮想的な白線候補点と最新の白線候補点とのず
れ量を算出するずれ量算出手段と、前記ずれ量に基づい
て前記複数のパラメータの変動量を算出するパラメータ
変動量算出手段と、を含み、かつ、前記パラメータ変動
量算出手段は、最小二乗法を用いて前記パラメータ変動
量を算出するものとした。
たは2記載の走行路検出装置において、前記パラメータ
補正手段は、更新した最新の前記複数のパラメータに基
づいて、道路の平面曲率、車線に対する車輌の傾き、道
路の傾斜を算出して出力する道路形状出力手段を含むも
のとした。
2、または3記載の走行路検出装置において、前記パラ
メータ記述式は、走行車線内の車両位置、道路の平面曲
率、車線に対する車両の傾き、道路の傾斜、道路幅に関
連付けた複数のパラメータをそれぞれa、b、c、d、
eとし、路面画像の座標系をx、yとし、kを整数とし
て、x=(a+ke)(y−d)+b/(y−d)+c
であるものとした。
路面画像を採取し、画像処理して路面の白線を抽出する
撮像入力手段と、前記白線の検出結果に基づいて、少な
くとも走行車線の幅と自車線内の自車両位置とにそれぞ
れ関連付けられた2つの道路パラメータを刻々の前記路
面画像について算出する道路パラメータ推定手段と、を
有する走行路検出装置において、前記白線の推定位置に
沿って前記路面画像上に設定した複数の小領域のそれぞ
れについて、前記画像処理手段が抽出した白線の通過位
置座標を求める白線候補点検出手段と、前記路面画像上
で前記小領域を設定すべき前記白線の本数と、それぞれ
の前記白線に対する小領域の割り当て数とを決定して、
前記白線候補点検出手段に設定する白線候補点検出領域
設定手段と、前記道路パラメータに基づいて自車線内の
自車両位置を識別する自車偏位判断手段と、を有し、か
つ、前記白線候補点検出領域設定手段は、前記自車両位
置に基づいて、前記小領域を設定すべき白線の本数と、
それぞれの白線に対する前記小領域の割り当て数とを変
更し、車両が一方の白線に接近した際には、接近方向の
別の1本の白線にも前記小領域を割り当てるものとし
た。
載の走行路検出装置において、前記白線候補点検出領域
設定手段は、走行車線の幅と自車線内の自車両位置との
差を検知し、車両が一方の白線に接近して前記差が所定
の判定基準値範囲をはみだした場合には、その白線と両
側の2本の白線を含む3本の白線に対して前記小領域を
割り当てるものとした。
載の走行路検出装置において、前記白線候補点検出領域
設定手段は、走行車線の幅と自車線内の自車両位置との
差を検知し、車両が一方の白線を越えた後に前記差が所
定の判定基準値範囲の中に入った場合には、新しい自車
線の両側の2本の白線のみに対して前記小領域を割り当
てるものとした。
6、または7記載の走行路検出装置において、前記白線
候補点検出領域設定手段は、走行車線の幅に関連付けて
予め設定した定数を保持しており、前記走行車線の幅に
ついては、前記パラメータ推定手段と無関係に、一定の
値を用いて前記差の検知を行うものとした。
6、7、または8記載の走行路検出装置において、前記
白線候補点検出領域設定手段は、前記小領域を設定すべ
き白線の本数が変化しても、前記小領域の割り当ての合
計数を変化させずに小領域を設定するものとした。
5、6、7、8、または9記載の走行路検出装置におい
て、前記白線候補点検出領域設定手段は、3本の白線に
対して前記小領域を割り当てる際に、接近した白線に対
して、両側の他の2本の白線のいずれに割り当てるより
も多くの前記小領域を割り当てるものとした。
の路面画像を採取し、画像処理して路面の白線を抽出す
る撮像入力手段と、前記白線の検出結果に基づいて、少
なくとも走行車線の幅と自車線内の自車両位置とにそれ
ぞれ関連付けられた2つの道路パラメータを刻々の前記
路面画像について算出する道路パラメータ推定手段と、
を有する走行路検出装置において、前記白線の推定位置
に沿って前記路面画像上に設定した複数の小領域のそれ
ぞれについて、前記画像処理手段が抽出した白線の通過
位置座標を求める白線候補点検出手段と、前記路面画像
上で前記小領域を設定すべき前記白線の本数と、それぞ
れの前記白線に対する小領域の割り当て数とを決定し
て、前記白線候補点検出手段に設定する白線候補点検出
領域設定手段と、前記道路パラメータに基づいて自車線
内の自車両位置を識別する自車偏位判断手段と、を有
し、かつ、前記白線候補点検出領域設定手段は、前記自
車両位置に基づいて、前記小領域を設定すべき白線の本
数と、それぞれの白線に対する前記小領域の割り当て数
とを変更し、車両が一方の白線に接近した際には、接近
方向の別の1本の白線にも前記小領域を割り当て、か
つ、自車両の方向指示器が操作されているか否かを識別
する方向指示判別手段と、自車両が一方の前記白線に接
近した際に、方向指示判別手段によって方向指示器の非
操作が識別された場合には、運転者に対して警報を出力
する警報発生手段と、を設けたものとした。
の路面画像を採取し、画像処理して路面の白線を抽出す
る撮像入力手段と、前記白線の検出結果に基づいて、少
なくとも走行車線の幅と自車線内の自車両位置とにそれ
ぞれ関連付けられた2つの道路パラメータを刻々の前記
路面画像について算出する道路パラメータ推定手段と、
を有する走行路検出装置において、前記白線の推定位置
に沿って前記路面画像上に設定した複数の小領域のそれ
ぞれについて、前記画像処理手段が抽出した白線の通過
位置座標を求める白線候補点検出手段と、前記路面画像
上で前記小領域を設定すべき前記白線の本数と、それぞ
れの前記白線に対する小領域の割り当て数とを決定し
て、前記白線候補点検出手段に設定する白線候補点検出
領域設定手段と、前記道路パラメータに基づいて自車線
内の自車両位置を識別する自車偏位判断手段と、を有
し、かつ、前記白線候補点検出領域設定手段は、前記自
車両位置に基づいて、前記小領域を設定すべき白線の本
数と、それぞれの白線に対する前記小領域の割り当て数
とを変更し、車両が一方の白線に接近した際には、接近
方向の別の1本の白線にも前記小領域を割り当て、か
つ、前記路面画像上の自車線領域を認識する車線領域認
識手段と、前記車線領域認識手段で認識される車線領域
について前方の障害物を検出する障害物検出手段と、前
記障害物検出手段で検出される障害物と車両との衝突の
可能性を判断する衝突可能性判断手段と、衝突の可能性
が肯定された場合に運転者に対して警報を出力する警報
発生手段と、を有するものとした。
の路面画像を採取し、画像処理して路面の白線を抽出す
る撮像入力手段と、前記白線の検出結果に基づいて、少
なくとも走行車線の幅と自車線内の自車両位置とにそれ
ぞれ関連付けられた2つの道路パラメータを刻々の前記
路面画像について算出する道路パラメータ推定手段と、
を有する走行路検出装置において、前記白線の推定位置
に沿って前記路面画像上に設定した複数の小領域のそれ
ぞれについて、前記画像処理手段が抽出した白線の通過
位置座標を求める白線候補点検出手段と、前記路面画像
上で前記小領域を設定すべき前記白線の本数と、それぞ
れの前記白線に対する小領域の割り当て数とを決定し
て、前記白線候補点検出手段に設定する白線候補点検出
領域設定手段と、前記道路パラメータに基づいて自車線
内の自車両位置を識別する自車偏位判断手段と、を有
し、かつ、前記白線候補点検出領域設定手段は、前記自
車両位置に基づいて、前記小領域を設定すべき白線の本
数と、それぞれの白線に対する前記小領域の割り当て数
とを変更し、車両が一方の白線に接近した際には、接近
方向の別の1本の白線にも前記小領域を割り当て、か
つ、前記白線候補点検出領域設定手段が定めた白線の検
出本数によって認識する領域を変化させる車線領域認識
手段と、車両が白線に接近して外側の白線に前記小領域
が割り当てられた際に隣接車線領域の障害物の有無を識
別する隣接車線障害物検出手段と、前記障害物が存在す
る場合に、その障害物に衝突することなく車線変更が可
能か否かを判断する車線変更可否判断手段と、を有する
ものとした。
の路面画像を採取し、画像処理して路面の白線を抽出す
る撮像入力手段を有し、前記路面画像上の白線を検出し
て、路面の三次元形状と路面に対する車両の相対位置関
係とを識別する走行路検出装置において、前記白線の近
似式を路面画像の座標系に変換したパラメータ記述式に
おける複数のパラメータを保持する検出パラメータ保持
手段と、路面画像上の前記白線に沿った複数の白線候補
点について、路面画像の座標系を用いた位置情報を求め
る白線候補点検出手段と、前記検出パラメータ保持手段
に保持した過去の複数のパラメータから演算した仮想的
な白線候補点に対して、路面画像から求めた最新の白線
候補点の前記位置情報を比較して、前記複数のパラメー
タの最新値を求めて、前記検出パラメータ保持手段の前
記複数のパラメータを更新させるパラメータ補正手段
と、を有するとともに、自車線の先行車両によって前記
白線が遮断される範囲を求める白線遮蔽範囲検出手段
と、前記パラメータ記述式として、白線を二次曲線で近
似した第1パラメータ記述式と、前記白線が遮蔽された
場合に適合させて第1パラメータ記述式を簡略化した第
2パラメータ記述式とを記憶させた複数の白線モデル記
憶手段と、前記白線遮蔽範囲検出手段の検出状態に応じ
て前記複数の白線モデル記憶手段における複数のパラメ
ータ記述式を選択し、前記白線が遮蔽された場合には、
前記パラメータ補正手段に第2パラメータ記述式による
処理を実行させる白線モデル切り換え手段と、を設けた
ものとした。
4記載の走行路検出装置において、前記白線遮蔽範囲検
出手段は、前記路面画像から自車線上の先行車両を識別
して先行車両の位置を求める車両位置検出手段と、求め
られた車両位置に基づいて白線が遮蔽される範囲を推定
する遮蔽範囲推定手段と、を有するものとした。
5記載の走行路検出装置において、前記車両位置検出手
段は、前記路面画像から先行車両の両側端座標を求めて
先行車両の位置を計算するものとした。
5記載の走行路検出装置において、前記車両位置検出手
段は、前記路面画像から先行車両の下端座標を求めて先
行車両の位置を計算するものとした。
4記載の走行路検出装置において、前記白線遮蔽範囲検
出手段は、複数の指向性方向で先行車両を検知して、そ
れぞれの方向で障害物までの距離を計測可能な車間距離
検出手段と、前記パラメータに基づいて自車線の先行車
両が前記複数の指向性のいずれに相当しているかを識別
する自車走行レーン認識手段と、自車走行レーン認識手
段の識別結果に基づいて、前記車間距離検出手段が求め
た複数の車間距離から自車線上の先行車両の車間距離を
選択する車間距離値選択手段と、を含むものとした。
4、15、16、17、または18記載の走行路検出装
置において、第1パラメータ記述式は、走行車線内の車
両位置、道路の平面曲率、車線に対する車両の傾き、道
路の傾斜、道路幅にそれぞれ関連付けた5つのパラメー
タを含み、一方、第2パラメータ記述式は、道路の平面
曲率に関連つけた1つを除く4つのパラメータを含むも
のとした。
4、15、16、17、18、または19記載の走行路
検出装置において、第1パラメータ記述式は二次曲線
式、一方、第2パラメータ記述式は一次直線式であるも
のとした。
4、15、16、17、18、19、または20記載の
走行路検出装置前記において、パラメータ補正手段は、
選択されたパラメータ記述式による仮想的な白線候補点
と前記路面画像から求めた最新の白線候補点とのずれ量
を算出するずれ量算出手段と、前記ずれ量に基づいて前
記複数のパラメータの変動量を算出するパラメータ変動
量算出手段と、を含み、かつ、前記パラメータ変動量算
出手段は、最小二乗法を用いて前記パラメータ変動量を
算出するものとした。
4、15、16、17、18、19、20、または21
記載の走行路検出装置において、前記パラメータ補正手
段は、更新した前記複数のパラメータに基づいて道路の
三次元形状を算出し、直ちに出力する道路形状出力手段
を含むものとした。
4、15、16、17、18、19、20、21、また
は22記載の走行路検出装置において、走行車線内の車
両位置、道路の平面曲率、車線に対する車両の傾き、道
路の傾斜、道路幅にそれぞれ関連付けたパラメータを
a、b、c、d、eとし、前記路面画像の座標系をx、
yとし、iを整数とするとき、第1パラメータ記述式
は、x=(a+ie)(y−d)+b/(y−d)+c
であり、一方、第2パラメータ記述式は、x=(a+i
e)(y−d)+cであるものとした。
記述式による前時刻の白線候補点」と「路面画像から求
めた現時刻の白線候補点」とを、路面画像の座標系で比
較する演算操作だけで、座標変換の演算を一切行うこと
なく、パラメータ記述式の複数のパラメータの最新の値
を求める。白線は、平面的には「並行する複数本の二次
曲線」、高さ方向には傾斜一定の坂道として近似式化さ
れ、この近似式を路面画像の座標系に変換してパラメー
タ記述式としている。従って、路面画像の座標系を用い
た演算操作だけで複数のパラメータを直接求めることが
でき、求めた白線候補点の数値自体の座標変換は行わな
いで済む。パラメータおよびパラメータ記述式の設定の
詳細、パラメータを決定する演算手法、パラメータから
道路の三次元形状を導き出す演算手法等については、実
施例中に詳しく説明する。
の白線候補点」と「現時刻の白線候補点」のずれ量から
複数のパラメータの変動量を求める際に、最小二乗法を
用いる。請求項3の走行路検出装置では、決定された最
新のパラメータから、車両の進行につれて刻々と変化す
る前方の道路の平面曲率、車線に対する車輌の傾き、道
路の傾斜が算出されて、直ちに出力される。これらの数
値を用いて種々の機能、例えば、道路のカーブに追従し
た自動的なステアリング、先行車両の検出と組み合わせ
た危険評価、運転者の居眠りや不注意に対する警告等の
機能を組み立て得る。請求項4の走行路検出装置では、
x=(a+ke)(y−d)+b/(y−d)+cなる
パラメータ記述式を用いてパラメータの変動量を求め
る。
の中に小領域(ウインドウ)を設定して白線候補点の位
置情報を求める。小領域は、「パラメータ記述式による
前時刻の白線候補点」に対応させて、検知すべきそれぞ
れの白線について複数個づつが設定される。そして、こ
の設定の際に、「路面画像中のどの白線に何個づつの小
領域を割り当てるかを定める操作」が実行される。車両
が走行車線の一方の白線に接近すると、反対側の白線か
ら求める白線候補点の位置情報の質が低下する(求めた
パラメータの誤差が増大する)から、この白線を踏み越
えた次の車線の白線についても小領域を設定して、反対
側の白線の白線候補点の位置情報がパラメータ決定に関
与する割合を下げる。
タから求めた走行車線の幅について2つのしきい値が設
定される。このしきい値を越えて車両が一方の白線に接
近した際には、それまでの走行車線を挟む2本の白線か
ら、接近する白線を中心にした3本の白線に改めて小領
域を割り当てる。請求項7の走行路検出装置では、パラ
メータから求めた走行車線の幅について2つのしきい値
が設定される。車両が白線を踏み越えて隣接車線のこの
しきい値を越えた際には、それまでの3本の白線から新
しい走行車線の2本の白線に改めて小領域を割り当て
る。請求項8の走行路検出装置では、走行車線の幅を定
数として保持しており、少なくとも小領域の設定操作に
ついては、走行車線の幅に関連したパラメータが変動し
ても、走行車線の幅を終始一定として演算処理する。請
求項9の走行路検出装置では、2本の白線を検知する場
合でも3本の白線を検知する場合でも同数の白線候補点
を用いてパラメータを決定する。請求項10の走行路検
出装置では、3本の白線を検知する場合に路面画像の中
央の白線に対して、両側の白線よりも多くの小領域を割
り当てる。中央の白線は、両側の白線よりも路面画像上
で直線性が高く、撮像視点からも近いため、白線候補点
の位置情報の質が高いからである。
や不注意によって車線変更の方向指示無しに白線を踏み
越えようとした場合に、運転者にその旨の警告を行う。
えようとする白線を越えた隣接車線について、先行車両
等の障害物を検知して、衝突の可能性が高いと判断され
た場合には、運転者にその旨の警告を行う。隣接車線の
障害物の検知は、走行車線の一方の白線に近付いた際
に、その白線を越えた隣接車線について開始される。請
求項13の走行路検出装置では、走行車線の2本の白線
のみに小領域を割り当てている場合には隣接車線の障害
物検知を行わないが、車両が一方の白線に接近して3本
の白線に小領域を割り当てている場合には隣接車線の障
害物を検知して、障害物があれば衝突の可能性を評価す
る。
両によって車両前方の白線が限度を越えて遮蔽された場
合に、第1パラメータ記述式を第2パラメータ記述式に
置き換える。車両に近くて遮蔽を逃れた短い部分的な白
線しか路面画像上に補足できない場合、遮蔽された部分
からは白線候補点の位置情報を採取する利益が無いから
である。
像から前方の先行車両を検出し、先行車両までの距離を
見積もり、白線の遮蔽範囲を評価して、使用すべきパラ
メータ記述式を決定する。請求項16の走行路検出装置
では、路面画像に対して縦エッジを強調する画像処理を
行って、先行車両の両側端の位置を際立たせる。ここか
ら先行車両の両側端の座標値を求めて先行車両の位置を
計算する。請求項17の走行路検出装置では、路面画像
に対して横エッジを強調する画像処理を行って先行車両
の下端(例えば影部分)を際立たせる。ここから先行車
両の下端座標を求めて先行車両の位置を計算する。
像から自車線の先行車両の車間距離を求める手段に代え
て(あるいは共存させて)、レーダー電波、レーザー
光、超音波等のビームを車両前方に放射して車間距離を
計測する車間距離計測手段を備える。複数の指向性の方
向は、路面画像から認識された自車線や隣接車線に対応
させる形式で、自車走行レーン認識手段によって管理さ
れる。車間距離数値選択手段によって、単なる自車前方
一定方向の障害物でなく、道路の曲り形状に左右されな
い自車線上の先行車両が補足される。
像上で白線が十分に補足できる場合のパラメータ記述式
が5つのパラメータを含む一方で、遮蔽が著しい場合の
パラメータ記述式が4つのパラメータを含み、道路の平
面曲率に関連したパラメータを含まない。請求項20の
走行路検出装置では、路面画像上で白線が十分に補足で
きる場合のパラメータ記述式が二次の曲線式であるのに
対して、遮蔽が著しい場合のパラメータ記述式が一次の
直線式である。請求項21の走行路検出装置では、パラ
メータの変動量を算出する際に最小二乗法を用いる。請
求項22の走行路検出装置では、更新した最新のパラメ
ータに基づいて、道路の三次元形状を算出して出力す
る。請求項23の走行路検出装置では、路面画像上で白
線が十分に補足できる場合のパラメータ記述式がx=
(a+ie)(y−d)+b/(y−d)+cであるの
に対して、遮蔽が著しい場合のパラメータ記述式がx=
(a+ie)(y−d)+cである。
図1は設定座標系の説明図、図2はカメラ座標系におけ
る白線モデルの説明図、図3は画像座標系における新旧
白線対応点の説明図、図4は構成の説明図、図5は処理
全体のフローチャート、図6はウインドウ更新のための
フローチャート、図7は白線候補点の検出のフローチャ
ート、図8は白線候補点の検出方法の説明図、図9はウ
インドウ設定位置の説明図である。第1実施例は、路面
画像から白線モデルのパラメータを決定する基本的な機
能を持つ走行路検出装置であり、以下の他の実施例にも
共通に応用されている。
モデルは、白線の三次元形状を表現する近似式である。
白線モデルを路面画像の座標系に座標変換して、第1実
施例のパラメータ記述式が作成される。パラメータ記述
式は、路面画像上の白線の関数表現である。路面画像の
座標系(x、y)とカメラ座標系(X、Y、Z)の関係
を図1に示す。図1において、道路24上を自車両とと
もに原点が移動するカメラ座標系23によって白線25
の近似式を設定する。ここでは、車両進行方向とカメラ
光軸のなす角、および車両静止時のカメラ光軸と路面の
なす角がそれぞれ0となるようにカメラが車体に取り付
けられる。第1実施例の白線モデルは、主として高速道
路を対象としており、Z軸回りの回転(ロール角)、路
面の勾配、バンク角を無視している。大地に固定された
座標系の代わりに、刻々の車両位置(カメラ位置)を原
点とする道路座標系を用いたから、道路構造を簡単な二
次式で近似しても、必要な計測項目に対応する複数の道
路パラメータについて、実用的に十分な検出精度を確保
できた。
置、車両姿勢をそれぞれ表す道路パラメータを用いて、
白線25を、水平面(X−Z)では二次式、垂直面(X
−Y)では一次式で近似する。図2のように道路パラメ
ータを定めて、次の(1)式のように近似式を設定し
た。図2中、(a)は水平面、(b)は垂直面を示す。
を0、1、2、・・i番とする。0〜i番の白線が共通
の(1)式で記述される。カメラ座標系(X、Y、Z)
の原点は、車両の進行とともに刻々と前方に移動し、
(1)式中のA〜Eのパラメータをそれぞれ変化させ
る。パラメータAは車両の左側に位置する白線と車両中
心(撮像装置の取り付け位置)との距離(以下偏位)、
パラメータBは車両前方の道路曲率、パラメータCはZ
=0における白線の接線方向に対する車両のヨー角、パ
ラメータDは道路平面に対する車両のピッチ角(道路と
Z軸の相対角度)、パラメータEは白線間距離(直線路
やZ=0では車線幅)にそれぞれ相当する。この白線モ
デルに三次元から二次元への透視変換を行って、路面画
像の座標系(x、y)で記述された路面画像上の白線モ
デル、すなわち第1実施例のパラメータ記述式を作成す
る。
標系が、焦点距離fの光学レンズを通して、xy座標系
の平面的な画面に投影されるとき、三次元空間のXYZ
座標は、次の(2)式の透視変換を通じてx、y座標に
変換される。XYZ座標系で記述される道路上の構造物
は、路面画像上に射影されて、(2)式によって変換さ
れたxy座標系の画像となる。
路面画像上の白線モデルに変換される。ここで、定めた
パラメータa〜eは、(3)式の記述を簡略にするため
に、前述のパラメータA〜Eにそれぞれ関連付けて新た
に定義したパラメータである。
した後、XYZ座標系に変換することなく(3)式のパ
ラメータa〜eを直接に推定する。パラメータa〜eが
確定すれば、道路曲率ρ、ヨー角tanβ、ピッチ角t
anαの各道路パラメータは次の(4)式によって求め
得る。なお、車両の偏位と車線幅に相当するパラメータ
が含まれる道路モデルであれば、(3)式以外の道路モ
デルを利用しても、第1実施例と同様の効果が得られ
る。
て説明する。路面画像上の道路構造は時間軸に対して滑
らかに変化すると仮定する。図3は、前時刻の路面画像
と現時刻の路面画像との間の白線部分の移動を示す。こ
こで、添字new は現在のフレーム、添字old は1フレー
ム前を意味する。第1実施例では、1/30秒間隔で路
面画像のフレームを取り込み、路面画像の白線上から複
数の白線部分を取り出してxy座標値を求め、リアルタ
イムにパラメータを推定する。パラメータの推定は、1
フレーム前の路面画像から求めた前回の白線位置に対し
て、現在のフレームの白線位置を比較する手法による。
図3に示すように、前回求めたパラメータa〜eからの
変動量をΔa〜Δeと仮定すると、路面画像(x、y)
におけるi番の白線のj個目の点xijの微小変動量Δx
ijは、2次以上の項を無視すればTaylorの定理に
よって、次の(5)、(6)式で表される。
用いる。そのための評価誤差関数として、次の(7)〜
(9)式を定義する。
されたxijとの差によって定義される評価誤差関数であ
り、(7)式中のpijは白線候補点の確からしさを表
す。また、(8)式は、パラメータが時間軸方向に滑ら
かに移動するという仮定を表現した評価誤差関数であっ
て、Sは重み係数である。以上に示した評価誤差関数の
和が(9)式の和etotal で示され、和etotal を最小
とならしめるΔa〜Δeを求めることにより、次の式
(10)のごとくパラメータを更新する。
連立方程式(11)を解くことによって求める。なお、
行列中、XijYijZijの形式の各要素は、二重の総和記
号を省略して記述している。すなわち、ΣΣXijYijZ
ij(1番目のΣはi、2番目のΣはjについての総和記
号)を意味する。
式を使用して、刻々の白線部分の検出結果から(11)
式を解いて、刻々のパラメータa〜eを推定する。図4
に第1実施例の機能構成を示す。撮像部11は、車両前
方の路面を撮像して、入力画像を取り込む。入力画像に
対して、前処理のエッジ検出が実行されて白線の特徴が
際立たせられる。白線候補点検出部12は、路面画像の
座標系で記述された複数の白線候補点の位置情報を抽出
する。ここでは、後述するように、路面画像上の白線が
想定される位置に小領域(ウインドウ)を複数個設定し
て、ウインドウ内の白線部分を検出しているが、「白線
上の複数の点の画像座標系による位置座標」は他の手法
で求めてもよい。前回の白線モデル(曲線式)上の点列
を計算する算出部17は、前回の入力画像から求めたパ
ラメータに基づいて、前回の路面画像における白線候補
点の仮想的な位置をそれぞれ演算する。白線候補点と白
線モデル点列とのずれ量算出部13は、白線候補点検出
部12による現時刻の白線候補点位置と算出部17によ
る前回の白線候補点位置とを比較し、車両の前進に伴う
前回から現時刻までの白線候補点の移動量を演算する。
点と白線モデル点列とのずれ量算出部13における比較
結果から、前述の(11)式を解いて、(7)〜(9)
式の最小二乗法によるパラメータ変動量Δa〜Δeを推
定する。変動量に基づいて前回のパラメータを補正する
補正部15は、式(10)に、パラメータ変動量算出部
14で求めたパラメータ変動量Δa〜Δeを代入して、
最新のパラメータa〜e(new )を計算し、検出パラメ
ータ保持部16の前回のパラメータa〜e(old )を置
き換える。また、最新のパラメータから道路パラメータ
(曲率等、道路構造の定数)を算出して出力する。検出
パラメータ保持部16は、最新のパラメータを保持し
て、白線候補点と白線モデル点列とのずれ量算出部13
における次画面の処理に供する。以上の操作で1画面の
処理を終了する。
図5に示される。図5のフローチャートにおけるステッ
プ122の詳細なフローチャートが図6に、ステップ1
16の詳細なフローチャートが図7に示される。また、
図7のフローチャートにおけるステップ152の詳細な
フローチャートが図8の(b)に示される。図4の構成
における1画面の処理は、1個の演算装置を時分割し
て、図5のステップ116〜123のループを通じて順
番に実行される。
は、白線候補点の位置情報を検出するための初期値を取
り込む。これらの初期値は運転者のキーボード操作を通
じて設定されるが、例えば、真直ぐな道路の車線中央を
直進している状態に相当する一定のデータとしてROM
に保持しておいてもよい。第1実施例では、刻々の白線
候補点検出結果に基づいてパラメータを演算する際や、
白線候補点を路面画像上で検出(ウインドウ設定)する
際に、パラメータを代入済みのパラメータ記述式が不可
欠であるから、ステップ116〜123のループを開始
する前に、初期値を与えてパラメータ記述式を完成させ
ておく。また、路面画像上の白線に対応させて初回のウ
インドウ位置と配置を設定する。すなわち、ステップ1
11ではパラメータa〜e、ステップ112では路面画
像上で検知すべき白線の本数m、ステップ113では路
面画像上のウインドウ初期設定位置、ステップ114で
は前述の(8)式の重み付け定数、ステップ115では
白線1本当たりのウインドウ設定数nがそれぞれ初期値
として設定される。
部12に対応する。ステップ116では、初回は初期
値、2回目からは前画面の処理結果に基づいて、路面画
像上に複数の小領域(ウインドウ)を設定する。そし
て、複数のウインドウのそれぞれについて、白線候補点
の位置情報を検出する。この位置情報は、それぞれの白
線候補点の位置座標x1ij、x2ijと確からしさPijと
で構成される。ステップ116における処理の詳細を、
図7、図9を参照して説明する。図7はウインドウ設定
処理のフローチャート、図9は画面に白線が撮像されて
いる様子である。図9中、(a)は路面画像、(b)は
1個のウインドウにおける白線部分の検出を示す。
は、道路24G上の白線25Gが捕捉されている。道路
24Gの左端の白線25Gからi=0、1、2・・と番
号が付され、i=0、1の2本の白線に対して4個づつ
のウインドウ21が設置されている。ウインドウ21
は、パラメータ記述式から位置を定めて、路面画像上の
白線に沿って複数個が設定される。パラメータ記述式に
対して初回は初期値、2回目からは前回の入力画像から
求めたパラメータが代入される。ウインドウの設定は、
白線候補点の検出に関与する画素(明るさデータ)数を
削減し、また、路面と白線という明白なコントラストの
判別だけで白線部分の検出を可能にする。路面画像上の
所定の高さ位置(y1、y2)に定めたウインドウで白
線部分を取り出す。ウインドウの上辺と下辺を白線が横
切るx座標(x1、x2)を求めて、2つの白線候補点
の位置座標(x1、y1)、(x2、y2)を確定させ
る。
21は、上端の中心点(x1Wij、y1ij)、下端の中
心点(x2Wij、y2ij)、および幅W1ij、W2ijを
定めることにより位置と大きさを定める。ウインドウの
高さ位置(y1、y2)は所定の値として与えられ、水
平位置(x1Wij、x2Wij)がパラメータ記述式によ
り演算される。ここでは、ウインドウ高さをdy=一定
としている。1個のウインドウ21から得られる2つの
白線候補点の確からしさp1ij、p2ijは、次の式(1
2)により定義する。
群によって検出される濃度値の和の最大値である。
ローで白線候補点を検出する。図7において、ステップ
151で処理の初期化が行われ、ステップ152〜15
5を通じて、路面画像上の同じ高さ位置yのm本の白線
に対応するn個のウインドウについて、順番に白線候補
点のx座標x1ij、x2ijと「ウインドウ内における白
線候補点の確からしさpij」を検出する。n個のウイン
ドウを処理し終わると、ステップ157を通過して、右
隣に位置する白線に対応するウインドウにおける白線候
補点の検出に移行する。このようにして、ステップ15
2〜159の処理をm本の白線に対して完了するまで繰
り返す。図9の(a)に示すウインドウ設定例で言え
ば、i=0の4個のウインドウ21でj=0、1、2、
3と順番に処理し、続いてi=1の4個のウインドウ2
1でj=0、1、2、3と順番に処理する。
の詳細を図8を参照して説明する。図8は1個のウイン
ドウ内における白線候補点の検出処理の説明図である。
図8中、(a)は1個のウインドウ、(b)は白線候補
点検出処理のフローチャートである。白線候補点の検出
処理では、演算装置に取り込まれた路面画像のメモリデ
ータから、ウインドウの範囲に該当するデータを呼び出
して識別と演算を実行する。このとき、図9の(a)の
ように、モニター画面に表示された路面画像26の上に
重ねてウインドウ21の範囲が表示される。図8の
(a)において、ウインドウ21は、その上底が[x=
x1i(i=0〜n)、y=y1 ]の座標値を占め、その
下底が[x=x2j(j=0〜m)、y=y2 =y1 +d
y]の座標値を占める台形ウインドウである。ウインド
ウ21が切り取る白線部分の両端が白線候補点である。
ウインドウの高さ位置(y1、y2)は所定の値として
与えられているので、水平位置(x1ij、x2ij)のみ
を求める。
各値を初期化後、上辺の1個の画素と下辺の1個の画素
を結ぶ線分の画素群を順番に呼び出して画素の濃度値の
和pを算出する。ループ105で「上辺の1個の画素と
下辺のm個の画素の組み合わせが試され(j=0〜
m)、ループ106で上辺のn個の画素が網羅される
(i=0〜n)。ステップ107の条件に達すると1つ
のウインドウの処理が完了する。すなわち、ステップ1
02で点(x1i、y1 )と点(x2j、y2 )を結ぶ直線
上の画素の濃度値の和pを算出し、ステップ103で濃
度和pの過去の最大値pmax と比較する。ステップ10
3の条件が成立すれば、ステップ104でpmax 、x1
、x2 の各値を更新する。ステップ109では、濃度
和pmax が最大となるときの(x1i、x2j)を白線候補
点のx座標値として出力する。このとき得られる濃度和
pmax が白線候補点の確からしさである。
白線候補点と白線モデル点列とのずれ量算出部13に相
当する。ステップ117〜119では、ステップ116
における白線候補点の検出結果から(11)式の演算が
実行される。ステップ120は、パラメータ変動量算出
部14に対応する。ステップ120では、(10)式に
より最新のパラメータa〜eが確定される。ステップ1
21は、図4の変動量に基づいて前回のパラメータを補
正する補正部15に対応する。ステップ121では古い
パラメータa〜eが最新のパラメータに置き換えられ
る。ステップ122は、図4の白線候補点検出部12に
含まれる。ステップ122では、最新のパラメータに基
づいて次の路面画像でウインドウを設定すべき位置を求
める。ステップ123は図4の変動量に基づいて前回の
パラメータを補正する補正部15に含まれる。ステップ
123では、最新のパラメータから(6)式の道路パラ
メータの各値を求めて出力する。
は、図6のフローチャートに従って実行される。図6に
おいて、ステップ131では、図9の(a)のi=0、
1の白線における路面画像26上で最も高い(自車両か
ら最も遠い)位置の白線候補点を検出するj=0のウイ
ンドウ21について、ウインドウ21を設定すべき高さ
位置yが設定される。ステップ132で処理の初期化が
行われ、ステップ133〜136を通じて、図9の
(a)のウインドウ21の高さ位置y1ijを初めに与え
て、高さ位置y1ij、y2ijで白線が通過すべきx座標
x1wij、x2wijが計算される。路面画像上のx座標
x1wij、x2wijを中心とする所定の幅(図9の
(b)に置けるw1ij、W2IJの2倍)をウインドウが
占める。ステップ133〜137を繰り返して、検出す
べきm本の白線に対する同じ高さ位置yのウインドウの
設定位置を定めた後に、路面画像上で一段低い隣接位置
のウインドウを設定する。ステップ133〜139を通
じて、m本の白線のそれぞれにn個づつのウインドウが
設定される。
出パラメータ保持手段はステップ121に、発明の白線
候補点検出手段はステップ116に、発明のパラメータ
補正手段はステップ117〜120にそれぞれ対応す
る。
では、最新のパラメータ記述式でウインドウを更新しつ
つ、白線を連続的に追従して必要な道路パラメータを出
力し続ける。このとき、路面画像の座標系における線形
演算処理のみで道路パラメータが直接に求まり、データ
の座標変換に関する演算を必要としないから、従来例の
走行路検出装置に比較して、演算負荷が軽減される。ま
た、自車両とともに原点が移動する座標系で白線の三次
元形状の近似式を記述したので、簡単な二次曲線式によ
る近似でも、道路パラメータの推定結果に十分に実用的
な精度を確保できる。そして、この近似式によれば、自
動運転や種々の警報に関して高い精度が要求される「自
車両に近い部分」について、道路パラメータを精度高く
求めることができる。また、最小二乗法を採用したか
ら、比較的に少ない数の白線候補点でも道路パラメータ
の実用的な精度を確保できる。従って、最小二乗法のマ
トリクス演算を含むにもかかわらず、データ数を少なく
して、必要な演算数をあまり多くしないで済む。さら
に、白線位置の推定によってウインドウを無駄なく白線
に割り当てるから、少ない数のウインドウでもデータ不
足によって道路パラメータを決定し損なうことが無い。
白線候補点の確からしさを加味してパラメータを決定す
るから、ウインドウから白線が外れた場合にはそのウイ
ンドウの検出結果が無視され、そのウインドウによる間
違いデータが道路パラメータの推定結果に悪影響を及ぼ
さない。また、白線候補点の確からしさによって、自車
両に近くて路面画像上で明確な白線部分から求めた精度
の高いデータが重く用いられることになり、求めた道路
パラメータの精度が高まる。また、急激な車線変更等で
自車両に近い位置のウインドウから白線が外れた場合で
も、遠方の白線部分はウインドウから外れないから、遠
方の白線部分の検出結果に基づいて道路モデルが次第に
修正され、遠い位置の白線部分から順次ウインドウ内に
自動復帰して、自車両に近い位置のウインドウも白線を
再度捕捉できる。そして、その復帰の期間中、出力され
る道路パラメータの精度が向上し続ける。
する。図10は構成の説明図、図11は白線検出本数切
り替えのフローチャート、図12は道路白線検出の例を
示した説明図、図13はウインドウの設定を示した説明
図である。ここでは、車線幅内の自車両位置に応じてウ
インドウ設定を変更している。なお、道路モデルの設
定、ウインドウ処理、道路パラメータの推定方法等につ
いては第1実施例と共通しており、重複する説明を省略
している。
方風景を撮影して路面画像を採取する。画像処理部42
は、撮影した路面画像から走行レーンを表す白線や前方
の先行車両の特徴を抽出する。白線候補点検出部43
は、画像処理部42によって処理された路面画像の画面
中に直線検出用の小領域(ウインドウ)をいくつか設定
して、各々の領域内で最も路面上の白線らしい線分を検
出して、その端点の座標と白線候補点の確からしさとを
求める。道路パラメータ推定部44は、白線候補点検出
部43によって検出された白線候補点の位置情報から、
道路モデルのパラメータを算出する。また、道路の三次
元形状を記述する道路パラメータを演算して出力する。
自車偏位判断部45は、道路パラメータ推定部44によ
って算出されたパラメータと既知の定数から自車両が走
行レーンのどの位置を走行しているのかを判断する。白
線検出本数設定部46は、自車偏位判断部45によって
検出された自車両の走行位置から、次画面の白線検出に
おいて検出すべき白線の本数を設定する。白線候補点検
出領域設定部47は、道路パラメータ推定部44によっ
て算出される道路パラメータと、白線検出本数設定部4
6によって設定される白線検出本数から次画面の白線候
補点検出のための小領域(ウインドウ)の数や位置を設
定する。
ャートを示す。第1実施例の場合と同様に、図10の各
機能は、1個の演算装置を時分割して順番に実行され
る。以下、図11のフローチャートに従って説明する。
像から自車両走行レーンを表す2本の白線25A、25
Bを検出している例である。ステップ401は、図10
の撮像部41に対応する。ステップ401では、CCD
カメラ等の撮像装置によって撮影された入力画像が演算
装置のメモリに取り込まれる。ステップ402は図10
の画像処理部42に対応する。ステップ402では、入
力画像データに対して例えば「sobelオペレータ」
等による縦横エッジ検出の画像加工を実行し、白線や先
行車両の特徴を強調するような処理が施される。ステッ
プ403は、図10の白線候補点検出領域設定部47に
含まれる。ステップ403では、前画面での処理結果に
基づいて、図12の(a)または(b)に示すように、
白線検出の小領域(以下ウインドウ21A、21Bとす
る)を設定する。ステップ404、405は、図10の
白線候補点検出部43に対応する。ステップ404でそ
れぞれのウインドウ21A、21Bについて直線検出を
実行し、ステップ405で最も白線らしい線分の端点の
座標(図2のx1ij、x2ij)と、その白線としての確
からしさ(図8のPmax )とを検出する。
直線検出は、図8を用いて説明した第1実施例の場合と
同様な手順で実行される。図8の(a)に示すように、
ウインドウ21の形状として台形を設定し、上底の一点
と下底の一点とを結んでできるすべての線分について、
図8の(b)に示す手順で、線分上の画素のエッジ画像
での濃度値の和を算出する。そして、その和が最も大き
い線分をそのウインドウ内の検出直線とする。なお、こ
こでは、濃度値の和が最も小さい線分を検出直線として
も白線候補点の位置情報を求めることが可能である。そ
して、次のステップ405では、この線分の端点の座標
と、濃度値の和(図8のPmax )を検出結果として保持
する。濃度値の和は、白線としての確からしさのパラメ
ータとなる。
パラメータ推定部44に対応する。図12の(a)のす
べてのウインドウ21A、21Bについて検出結果が求
められたら、ステップ406において、これらをもとに
道路モデルのパラメータa〜eの変動量Δa〜Δeを最
小二乗法により算出する。そして、ステップ407で
は、求められた変動量Δa〜Δeにより、パラメータa
〜eを前述の(10)式のように更新する。このよう
に、道路パラメータを更新することで道路白線を追従検
出できる。また、図2に示すように、更新するパラメー
タは、すべての検出白線に共通なパラメータであるの
で、白線検出本数mが増えても白線候補点の個数が変化
しなければ、処理速度は変化しない。
る。前述したように、パラメータaは走行中の車線の左
端から自車両までの距離、パラメータeは車線幅に関連
付けられているので、両者の和(a+e)は、自車両が
走行レーンのどの位置を走行しているかを示す。そし
て、自車両が車線中央を走行していれば図12の(a)
のように2本の白線25A、25Bを検知するが、自車
両が車線の端を走行していれば、図12の(b)のよう
に3本の白線25A、25B、25Cを検知させる。具
体的には、ステップ408で現在の白線検出本数mを判
別し、2本の場合にはステップ409で次の(13)式
のようなしきい値th1、th2を設定し、このしきい
値を越えたらステップ410で、図12の(b)に示す
ように、白線検出本数mを3本に改める。ステップ40
9、410は、図10の自車偏位判断部45および白線
検出本数設定部46に含まれる。
この値を越えると撮像位置が車線を越えてしまい、自車
両の一部が隣のレーンに入ってから3本検出に切り替わ
るようになってしまうからである。このように、0より
大きくeより小さいしきい値を用いることで、自車両の
一部が隣のレーンに入る前に3本検出に切り替えられ、
自車両走行レーンと車線変更後の走行レーンの2つの領
域を認識することができる。
偏位判断部45および白線検出本数設定部46に含まれ
る。図12の(b)のように白線検出本数mを3本とし
ている場合に、ステップ411で次の(14)式のよう
なしきい値th3、th4を設定し、このしきい値を越
えたら、ステップ412で、図12の(a)のように白
線検出本数mを2本にする。
もこの値を越えると自車両は完全に車線変更を完了して
いるからである。以上の設定により、自車両が車線を変
更しようとした際に、自車両が走行レーンの片側に寄っ
た時点で変更先の車線領域を認識するようになるので、
例えば、前方障害物の検出等を行う場合に、危険度の判
定に遅れを生じることがなくなる。ステップ413は、
図10の白線候補点検出領域設定部47に対応する。最
後に、ステップ413では、今回の検出結果をもとに次
回の画面に対するウインドウの数、位置、大きさを決定
し、ウインドウ設定を更新する。
法について説明する。図13の(a)は白線検出本数m
が2本のときのウインドウ設定方法の説明図である。路
面画像の画面における消失点50の近くは画素による量
子化誤差が大きくなるので、道路モデルより求められた
消失点のy座標より数画素(例えば6画素)下の領域か
らウインドウ51を設定する。また、消失点から遠ざか
る位置にウインドウ51を設定するに従って、ウインド
ウ51のy方向の長さが長くなるように設定する。これ
は、画面の下側ほど自車両の近くの画像になるので明瞭
に映っているからである。前述したように、ウインドウ
51内の直線検出において、線分上のエッジ画像の画素
の濃度和がその端点の白線候補点の確からしさとして用
いられるので、ウインドウ51を長くすれば線分も長く
なり、長いウインドウ51で検出したほうが短いウイン
ドウ51で検出するよりも白線候補点の確からしさは大
きくなる。従って、明瞭に映っている部分の白線候補点
の確からしさを大きくするために、このようなウインド
ウ設定を行う。
mが3本のときのウインドウ設定の説明図である。路面
画像の画面における消失点50の近くは図13の場合と
同じ理由でウインドウを設定せず、数画素下から設定す
る。3本の白線を検出対象とする場合は、両側の2本の
白線は水平に近くなり、自車両から見て遠くの地点の白
線を検出することになるので、ウインドウ52のy方向
の長さを短くする。反対に、中央の1本は自車両近くの
地点の白線であるので、ウインドウ53のy方向も長く
とって中央の白線の白線候補点の重み付けを大きくす
る。以上のようにウインドウ52、53の大きさと位置
を設定することで、より確からしい道路形状推定が行え
るようになる。
る。前述したように、道路モデルのパラメータとしてす
べての検出白線に共通な道路曲率や車線幅、自車両の姿
勢等に相当するものを用いているので、道路モデル算出
の処理速度は白線検出本数ではなく、白線候補点の数に
依存する。従って、白線検出本数が増えても1画面中の
ウインドウ設定数が大きく変化しなければ、処理速度は
影響を受けない。図13の(a)と(b)を比較する
と、(a)の画面ではウインドウの数が白線1本につき
6つであるのに対し、(b)の画面では白線1本につき
4つである。従って、検出すべき白線の本数は3/2倍
になっているが、1画面あたりの合計のウインドウ数は
変化していないので、両者の処理時間は等しくなる。
撮像入力手段はステップ401〜402に、道路パラメ
ータ推定手段はステップ406〜407に、発明の白線
候補点検出手段はステップ403〜405に、発明の白
線候補点検出領域設定手段はステップ403に、発明の
自車偏位判断手段はステップ409、411に、発明の
白線候補点検出領域設定手段はステップ413にそれぞ
れ対応する。以上説明した第2実施例の走行路検出装置
では、車線幅内の自車両位置に応じて白線検出本数を切
り替え、さらに、3本の場合には中央の白線を重視した
ウインドウ設定を行うから、遠ざかる側の白線に設定し
たウインドウから得た「精度の低い検出データ」が道路
パラメータの推定結果に悪影響を及ぼさない。これによ
り、出力される道路パラメータの精度が高く維持され
る。また、白線検出本数が増しても画面中のウインドウ
数が変化しないように1本の白線ごとのウインドウを設
定することで、演算装置の処理速度に影響を与えない。
する。図14は第3実施例の構成を示すブロック図、図
15は第3実施例の作用、図16は車線逸脱の警報の説
明図である。ここでは、第2実施例と同等の機能に2つ
の警報機能が付加される。1つは車線変更時の運転者の
不注意に対する警報であり、他の1つは車線変更しよう
とする隣接車線の前方障害物に対する衝突の可能性の警
報である。
しないCCDカメラが撮影した路面画像を取り込む。エ
ッジ抽出部62は、路面画像をエッジ画面に変換して白
線や先行車両の特徴を際立たせる。直線検出領域設定部
63は、前画面の処理結果による道路パラメータと白線
検出本数設定に基づいて、エッジ画面上に複数のウイン
ドウを設定する。白線候補点検出部64は、それぞれの
ウインドウについて直線検出を実行して、複数の白線候
補点の座標値と確からしさのパラメータを保持する。道
路パラメータ算出部65では、白線候補点のデータから
道路モデルのパラメータを更新し、更新されたパラメー
タは、直ちに直線検出領域設定部63、車線変更判断部
66、車線領域認識部69へと送出される。
のうち車線幅に相当するものと自車両の偏位に相当する
ものとを用いて、自車両が車線変更の動作をしている否
かを判断する。このとき、方向指示判断部73はドライ
バーが方向指示器を操作しているか否かを判断し、自車
両が方向指示器を出さずに白線を跨ごうとしている場合
には、警報発生部75を起動してドライバーに対して警
報を出力させる。
り、白線検出本数設定部67は、第2実施例の場合と同
様に、次画面での白線の検出本数を設定し、設定値を直
線検出領域設定部63に送る。さらに、白線検出本数設
定部67における白線の検出本数の設定値に応じて、認
識車線数判断部68は、車線領域認識部69が次画面の
車線認識において認識すべき車線領域の数を判断する。
白線の検出本数が2本の場合には、認識すべき車線は自
車線の1本のみであるが、白線の検出本数が3本の場合
には、認識すべき車線は自車線と隣接車線の2本とされ
る。この判断結果が車線領域認識部69に送出される。
と、認識車線数が2車線であれば設定された隣接車線の
領域とをエッジ画面上で認識する。そして、各々の領域
について、自車線については自車線上障害物検出部70
が、隣接車線については隣車線上障害物検出部71がそ
れぞれ先行車両等の障害物を検出する。自車線上障害物
検出部70で障害物が検出された場合、衝突可能性判断
部74において、自車両が検出された障害物と衝突する
かどうかを判断し、衝突する可能性が高いと判断したと
きは、警報発生部75からドライバーに対して警報を出
力させる。
ると、白線検出本数が3本となるとともに、隣車線上障
害物検出部71によって、車線変更しようとする隣接車
線の前方の障害物が検出されるようになる。隣接車線に
先行車両等の障害物が検出された場合、車線変更可否判
断部72において、車間距離、自車両および先行車両の
相対速度等を加味して、自車両が検出された障害物と衝
突するかどうかを判断する。そして、衝突する可能性が
高いと判断したときは警報発生部75に警報を出力させ
る。なお、警報発生部75では、(1)方向指示の無い
車線変更、(2)自車線の先行車両との衝突可能性の増
大、(3)車線変更の不可能、という警報すべき3つの
状態のいずれに相当するかによって警報内容を変えてお
り、どの状態の警報が発生しているかをドライバーが瞬
時に判別できる。
61およびエッジ抽出部62に対応し、発明のパラメー
タ推定手段は道路パラメータ算出部65に対応する。発
明の白線候補点検出手段は白線候補点検出部64、発明
の白線候補点検出領域設定手段は白線検出本数設定部6
7および直線検出領域設定部、発明の自車偏位判断手段
は車線変更判断部66に対応する。発明の方向指示判断
手段は方向指示判断部73、発明の警報発生手段は警報
発生部75に対応する。発明の車線領域認識手段は車線
領域認識部69、発明の自車線障害物検出手段は自車線
上障害物検出部70、発明の衝突可能性判断手段は衝突
可能性判断部74に対応する。発明の隣接車線障害物検
出手段は隣接車線上障害物検出部71、発明の車線変更
可否判断手段は、車線変更可否判断部72に対応する。
イバーの意思によらない車線逸脱の警報と、車線変更に
も対応した前方障害物警報が実現できる。図15の
(a)は自車両が走行レーンL1のほぼ中央を走行して
いる場合の前方風景であり、自車両の走行レーンL1を
表わす2本の白線を検出対象としている。ここで、走行
レーンL1領域のみ認識している場合には、車両76が
走行レーンL1の前方を走行している車両であることは
認識できる。しかし、他の車両77については、走行レ
ーンL1にいないことは判るが、図15の(b)に示す
ように隣のレーンL2を走行しているのか、図15の
(c)に示すようにさらに外側のレーンL3を走行して
いるのかは判別できない。しかし、この第3実施例にお
いては、隣の走行レーンL2へ車線変更しようとした場
合、自車両が走行レーンL1の右側白線にある程度寄っ
た時点で隣のレーンL2を認識できるので、自車両の一
部が隣のレーンL2に入る前に車両77が隣のレーンL
2に存在しているかどうかが判断できる。従って、車線
変更やレーン逸脱の危険度を早期に判定できる。
ここでは、自車両が車線を逸脱しそうになった場合の路
面画像の状態が示される。運転者の異常(例えば居眠り
等)を検出した場合で、なおかつ車線を逸脱しそうな場
合に警報を発生させる。図16の(a)は自車両が走行
車線の中央を走行している場合、(b)は自車両が走行
車両の左端をはみ出しかかった状態である。(a)の状
態から自車両が矢印のように移動して、(b)の状態に
移行し、自車両の走行位置が白線に所定の限度を越えて
接近したと判断された場合、自動的に警報が出力され
る。この左側の白線については、白線モデルのパラメー
タaと、車線幅W、カメラ搭載位置(高さH0 、車体中
心)によって、次の(15)式の(W/2)+aH0 >
0の関係が成り立つときに車線を逸脱したと判断する。
これにより、運転者の不注意や居眠りに起因する事故発
生を予防できる。
る。ここでは、画像処理システムとマルチビーム型距離
センサを組み合わせて、図14の自車線上障害物検出部
70および隣接車線上障害物検出部71を構成する。画
像処理システムによって検出された路面画像上の複数の
車両位置に対して、マルチビームが計測した複数の車間
距離をそれぞれ対応させる。
マルチビーム型距離センサを搭載して追突警報装置を構
成した車両において、自車両の車線変更時に前方車両と
の車間距離を計測した場合、自車両の車線に対するヨー
角が変化するので自車線の先行車両が自車両の正面前方
に存在しなくなり、左右どちらかのビームで計測される
距離が前方車両との車間距離になる可能性がある。この
とき、図17の(a)のように計測されている測距範囲
(エリア)A1の隣のレーンL1、L3にも車両76、
78が存在すると、測距データがどちらの車両を検出し
たものか判らなくなる。このような場合、測距センサの
受光部と撮像装置が車両に固定されていれば、図17の
(b)に示すように、画面上で測距センサの測距範囲A
1、A2、A3はそれぞれ限定できる。そして、この限
定関係に基づいて、自車両が自車線から隣接車線に車線
変更しようとする場合には、入力画面上の自車線と車線
変更先の隣接車線とを同時に認識して、入力画面上のど
の測距範囲に隣接車線の先行車両が属するかを識別す
る。そして、マルチビーム型距離センサによる複数の測
距データから必要な隣接車線の先行車両の測距データが
自動的に選択される。
による先行車両77の測距データが選択され、第3実施
例と同様な車線変更可否の判断と警報の処理が実行され
る。第3実施例の変形例によれば、路面画像から車間距
離を割り出す場合に比較して、はるかに正確な車間距離
の計測を実行でき、警報の信頼性が向上する。また、路
面画像から車間距離を割り出すプログラムを省略できる
から、演算装置の演算負荷が軽くなる。
の近似状態の説明図である。(a)は路面画像、(b)
は、白線モデルの式(3)において、曲線か直線かを規
定するパラメータbを約300Rのときと、直線のとき
すなわちb=0のときの各y座標における差δxを描い
た線図である。図38の(a)において、第1実施例で
は、画像座標系上で複数のパラメータによって記述され
る白線モデル(曲線式)と入力された白線画像との差が
最小となるようなパラメータ変動量を推定することで、
モデルを更新しつつ(白線を追従しつつ)道路構造を推
定し続ける。ところが、自車線の先行車両との車間距離
が短くなって白線可視範囲が狭まると、先行車両に遮蔽
された遠方部分の白線を捕捉できなくなる。そして、白
線可視範囲内の白線候補点のデータだけでは、同じ前述
の(3)式のパラメータ記述式を用いてパラメータの推
定を実行しても、現在進行中の道路が直線であるのか曲
線であるのか識別が困難になる。そして、図38の
(b)に示すように、曲率の推定結果が著しく信頼性に
欠けるものとなり、推定結果を採用できないため曲率推
定に費やす時間が無駄になる。
して白線モデルを切り換えることとした。図18〜図2
0を用いて第4実施例を説明する。図18は第4実施例
の全体の構成を示し、図19は全体処理のフローチャー
ト、図20はウインドウ更新のフローチャートである。
ここでは、図1に示した第1実施例の構成に複数の白線
モデルを切り換えて使用する部分が付加され、先行車両
によって白線が大きく遮蔽された場合には、第1実施例
の白線モデルをさらに簡略化した白線モデルを用いて道
路パラメータの推定を行う。なお、第1実施例の構成と
共通する部分には同一の参照番号を付して詳細な説明を
省略している。
の路面を撮像して、入力画像を取り込む。入力画像に対
しては、前処理として縦エッジ検出が実行され、白線や
先行車両の特徴が際立たせられる。白線候補点検出部1
2は、路面画像上の白線想定位置に設定した複数のウイ
ンドウのそれぞれについて、路面画像の座標系で記述さ
れた白線候補点のデータを検出する。前回の白線モデル
(曲線式)上の点列を計算する計算部17は、前回のパ
ラメータに基づいて白線想定位置を求める。白線候補点
と白線モデル点列とのずれ量算出部13は、白線候補点
検出部12による最新の白線候補点の位置情報と、前回
の白線モデル(曲線式)上の点列を計算する計算部17
による白線想定位置とを比較して、白線候補点のずれ量
を演算する。パラメータ移動量算出部14は、白線候補
点と白線モデル点列とのずれ量算出部13による比較の
結果から、白線モデルのパラメータ変動分を最小二乗法
により推定する。変動量に基づいて前回のパラメータを
補正する補正部15は、パラメータ変動量算出部14で
求めたパラメータ変動分を用いて最新のパラメータを計
算し、前回のパラメータを更新する。検出パラメータ保
持部16は、変動量に基づいて前回のパラメータを補正
する補正部15で更新されたパラメータを次画面の処理
まで保持する。
た入力画像から先行車両の特徴を抽出して「先行車両が
路面画像上で白線を遮蔽する範囲」を計測する。複数の
白線モデル記憶部19は、先行車両によって白線が遮蔽
される範囲に応じて選択される「複数のパラメータ記述
式」を保持している。白線モデル切り換え部20は、白
線遮蔽位置検出部18が求めた白線遮蔽範囲に応じて、
複数の白線モデル記憶部19に保持された「複数のパラ
メータ記述式」から適当な1つを選択して、白線候補点
と白線モデル点列とのずれ量算出部13に送出する。白
線候補点と白線モデル点列とのずれ量算出部13は、白
線モデル切り換え部20によって選択されたパラメータ
記述式を用いて上述の演算を実行する。
ータa〜eの初期値が設定され、ステップ112で路面
画像上で検知すべき白線の本数mが設定される。ステッ
プ113〜115を通じて、パラメータa〜eをパラメ
ータ記述式に代入して路面画像上の白線位置が推定さ
れ、路面画像上のm本の白線に対して初回分の白線検出
ウインドウが設定される。ステップ116では、図9に
示す白線検出プログラムに従って、それぞれの白線候補
点の位置情報が検出される。ステップ117Bでは、白
線候補点の検出結果から(11)式または後述する(1
8)式のマトリクスによる演算がなされ、Δa〜Δeの
演算結果から(10)式による最新のパラメータa〜e
を確定させる。ステップ121では古いパラメータa〜
eを最新のパラメータに置き換える。
入されたステップ127は、図18の白線遮蔽位置検出
部18、複数の白線モデル記憶部19、および白線モデ
ル切り換え部20に相当する。ステップ127では、
「白線の遮蔽範囲を検出して、2種類のパラメータ記述
式から1つを選択する曲線/直線モデル選択処理」が実
行される。この処理は、路面画像と路面画像の2種類の
エッジ強調画像とから先行車両の位置を求め、先行車両
によってほどんど白線が遮蔽されていない場合には、第
1実施例と同様な二次曲線式のパラメータ記述式を選択
するが、先行車両によって白線が大きく遮蔽されている
場合には、二次曲線式のパラメータ記述式に代えて一次
直線式のパラメータ記述式を選択する処理である。ここ
で選択されたパラメータ記述式が、次の変更まで、ウイ
ンドウ設定やパラメータ推定の演算に供される。この処
理については、図23、図24を参照して後で詳しく説
明する。ステップ122では、次の路面画像上でウイン
ドウを設定すべき位置を求める。ステップ123では、
最新のパラメータから道路の三次元形状と自車両姿勢と
を記述する道路パラメータの各値を求めて出力する。ス
テップ124では次の路面画像とその2種類のエッジ強
調画面とが取り込まれる。ステップ125では縦横エッ
ジ検出による先行車両の検出が実行される。
細を示す。図20のステップ131Bでは、自車線を挟
むi=0、1の白線における路面画像上で最も高い位置
(自車両から最も遠い位置)の白線候補点を検出するj
=0のウインドウについて、ウインドウを設定すべき高
さ位置yが設定される。先行車両によって白線が遮蔽さ
れている場合、画面上の遮蔽位置より低い高さyieが選
択されるが、遮蔽されていない場合は第1実施例と同様
である。ステップ132で処理の初期化が行われた後、
ステップ133〜136Bでは、選択された一方のパラ
メータ記述式を用いて、路面画像上の2つの高さ位置y
1ij、y2ijで白線が通過すべきx座標x1wij、x2
wijが計算される。ステップ133〜137を繰り返し
て、検出すべきm本の白線に対する同じ高さ位置yのウ
インドウの設定位置を定め、その後、ステップ137を
通過して路面画像上で一段低い隣接位置のウインドウの
設定が実行される。ステップ133〜139を通じて、
m本の白線のそれぞれにn個づつのウインドウが設定さ
れる。
撮像入力手段はステップ124〜125に、発明の検出
パラメータ保持手段はステップ121に、発明の白線候
補点検出手段はステップ116に、発明のパラメータ補
正手段はステップ117Bにそれぞれ対応する。発明の
白線遮蔽位置検出手段、複数の白線モデル記憶手段、お
よび白線モデル切り換え手段は、ステップ127の処理
に含まれる。以上説明した第4実施例によれば、検出す
べき白線が先行車両によって遮蔽されている場合には、
遮蔽範囲を避けてウインドウが設定されるから、先行車
両の画像上にウインドウを設定して、間違いデータを検
出する心配が無い。ウインドウ内で白線と無関係な直線
検出を実行してパラメータ推定結果に悪影響を及ぼす心
配が無い。また、路面画像上で白線が明白な近接部分だ
けで白線候補点のデータ蓄積を実行するから、近接部分
について、道路形状と車両姿勢のパラメータを正確に推
定できる。そして、白線が遮蔽された場合には、簡単な
パラメータ記述式を採用して最小二乗法等の演算負荷を
軽減するから、先行車両の位置検出等の処理が追加され
ているにもかかわらず、第1実施例並みの高い処理速度
を実現できる。
する。図21は白線モデル選択のための基本構成の説明
図、図22は選択モデルの説明図、図23、図24はモ
デル選択のためのフローチャート、図25、図26は車
両候補検出(下影検出)方法の説明図、図27は車両候
補検出(車両幅検出)方法の説明図、図28はモデル選
択のしきい値決定方法の説明図、図29は選択モデル
(直線検出のみの場合)の説明図である。ここでは、路
面画像の原画像とその2種類のエッジ強調画面から先行
車両の位置を見積もる手順を詳しく説明する。
両前方の白線が遮蔽される場合は、先行車両による場合
がほとんどである。従って、第5実施例では、 (1)自車走行レーンを第1実施例の手法によって認識
した後、車両検出を施すことによって、車両位置に基づ
いて白線遮蔽開始座標(yie、i=0、1)を推定す
る。 (2)該推定座標によって白線モデルの切り換えを行
う。という考え方を採用している。図21において、番
号11〜20を付した構成部分については、図18の第
4実施例の場合と同一であるから、詳細な説明を省略す
る。車両検出部10は、路面画像から先行車両位置を割
り出して、白線遮蔽位置検出部におけるウインドウ設定
の状態を調整する。
ートである。図19のフローチャートのステップ127
における処理の詳細が図23に示され、図23のフロー
チャートのB1−B2間の処理が図24に示される。図
19のフローチャートのステップ121のモデルパラメ
ータ更新の後、図23のフローチャートのステップ60
1に移行する。ステップ601で初期値y=y0が設定
された後に、ステップ602では、図26に示す横エッ
ジ画像が格納された横エッジ画像メモリデータを用い
て、両側の白線モデルの間の線分x1(y)−x0
(y)のエッジ強度分布を作成する。この処理をステッ
プ601〜603、609、610のループで初期値y
=y0から順次下方に移動して繰り返す。すなわち、ス
テップ602で作成されたエッジ強度分布において、し
きい値Ih-t を越える画素数nhがエッジ強度分布作成
範囲x1 −x0 の実定数倍nk(<1)を越えるか否か
をステップ603で判断する。越えた場合には、ステッ
プ604においてそのy座標値を車両下影候補座標ys
として格納し、次へ進む。越えない場合は、ステップ6
09〜610を通じて以上の作業をy=ymin まで繰り
返し行う。これにより、下影候補座標をサーチする(車
両判定条件1)。自車両から十分に遠い位置に該当する
路面画像上の高さymin までの範囲について、車線幅の
一定割合以上の長い横エッジのうちで最も低い位置にあ
るものを下影とみなしている。演算装置に付設されたメ
モリ素子には、そのフレームの原画像、原画像の縦エッ
ジ強調画像、同横エッジ強調画像の画素データが一時的
に蓄積されている。メモリ素子に格納された、原画像、
縦エッジ強調画像、横エッジ強調画像のそれぞれの画素
データ群を、ここでは、原画像メモリ、縦エッジ強調画
像メモリ、横エッジ強調画像メモリと呼んでいる。
5に示す原画像を格納した原画像メモリをもとに、y=
ys-Δh における線分x1 (ys-δh )−x0 (ys-δ
h)上の最小輝度値dmin を求める。該dmin がしきい
値d-tより暗い画素のとき、ys を自車走行レーン上の
先行車両の下影y座標として認識する(車両判定条件
2)。下影はy方向に厚みを持つから、この処理によっ
て横エッジ画像における下影の下境界の線分が識別され
る。
7に示す縦エッジ画像を格納した縦エッジ画像メモリを
用いて、縦エッジ画像上の高さy=ys-δvにおける線
分x1 (y)−x0 (y)上のエッジ強度分布を作成す
る。該強度分布において、左右両側からしきい値Iv-t
とのエッジ強度比較を行ったとき、最初にしきい値を越
えるx座標をxie(i=0、1)として検出する。得ら
れた2つのx座標の差ΔXc 、高さys における線分x
1 (ys )−x0 (ys )の長さΔX、および道幅Eか
ら、車両幅相当量Wは、次の(16)式で推定される。
08において、条件W-t0 <W<Wt1を車両判定条件3
として、前方に車両が存在するかしないかの最終判定を
行う。車両が存在すると判断された場合はステップ62
1に進む。
ステップ622のy=ys からスタートして、i=0の
白線について、ステップ625の条件が満たされる高さ
y0kを求めて、この値をステップ626でy0eとして保
持する。次にi=1の白線について、同様の処理を行っ
てy1eとして保持する。i=0、1の2本の白線の処理
を終えるとステップ629を抜け出し、ステップ631
で白線モデルを切り替えるか否かを判断する。すなわ
ち、ステップ623ではパラメータ記述式から白線上の
xi を求め、ステップ624では既に検出されている車
両エッジ位置xie(i=0、1)とxi (y)との差d
xi を求める。そして、ステップ625において該差d
xi がしきい値dx-tより小さくなるとき、ステップ6
26でそのy座標をyie(i=0、1)として格納す
る。この処理を図28の(a)に模式的に示す。また、
モデル切り換えの判定は、数値yieと図28の(b)に
示すマップを用いて行う。図28の(a)において、y
=ys から始めて、順次高い位置yで距離dxを求め
る。距離dxは、パラメータ記述式にyを代入して得た
xik(i=0、1)から車両エッジxie(i=0、1)
までの距離である。距離dxがしきい値δx-tを割り込
む高さ位置yie(i=0、1)までが白線可視距離に相
当する。
(a)にも示されるように、白線モデルの式(3)にお
いて、曲線か直線かを規定するパラメータbを約300
Rのときと、直線のときすなわちb=0のときの各y座
標における差δxを描いたものである。このマップか
ら、例えば、該差がδx-t より小となり始めるy-tをモ
デル切り換えの判断基準とすればよい。すなわち、yie
>y-tを曲線−直線モデル切り換えの判断基準とする。
直線モデルとして次の(17)式を用いた場合、前述の
曲線モデルの式(10)は、次の式(18)のように変
更されて計算負荷が軽減される。
(a)に示すように、先行車両がいないか遠くにいて、
数値ys がしきい値y-tよりも小さい(高い位置にあ
る)場合には、第1実施例と同一の二次曲線式のパラメ
ータ記述式を選択するが、図22の(b)に示すよう
に、先行車両が近くにいて、数値ys がしきい値y-tよ
りも大きい(低い位置にある)場合には、一次直線式の
(17)式を選択する。
ースでは、複数のウインドウによる白線候補点検出を行
わなくてもよい。この場合は、図29に示されるよう
に、左右のウインドウ内で検出された2直線をそのまま
白線として認識する。i=0の白線の一次直線式をx0
=a1 y+b1 、i=1の白線の一次直線式をx1 =a
2 y+b2 と置いて、係数a1 、b1 、a2 、b2 をウ
インドウ演算処理で直接に求めれば、車両姿勢を示すヨ
ー角およびピッチ角は、次の(19)式から算出される
c、dの値より、(4)式によって求めることができ
る。
30は白線モデル選択のための基本構成の説明図であ
る。ここでは、マルチビーム型レーダー車間距離センサ
を使用して白線遮蔽範囲を計測している。
に投影されるが、曇天時あるいは夜間等、現れないケー
スがある。このようなケースでは、レーダ等、外光に頼
らないで車間距離を認識する手段を用いることによっ
て、第4、第5実施例のような白線モデル切り換え判断
を行うことができる。図30の構成に示される構成部分
のうちで、第4実施例の構成中の部と機能を共通にする
構成部分については、図18の場合と同一の符号を付し
て詳しい説明を省略する。
レーン認識部81は、算出されたパラメータに基づいて
路面画像上の走行レーンを区別して認識する。車間距離
検出部82は、車両前方に放射したレーダービームを用
いて、複数の指向性で前方の障害物(先行車両)までの
距離を計測する。レーダー距離値選択部84は、車間距
離検出部82が複数の指向性でそれぞれ計測した距離値
の中から、走行レーン認識部81による認識結果に基づ
いた1つを選択する。画像座標系における車両y座標値
推定部83は、レーダ距離値選択部84で選択された距
離値Lを、次の(20)式を用いて画像座標系のy座標
(ys )に変換する。白線モデル切り換え部20Bは、
第4実施例の場合とは異なり、この座標変換された座標
値ys を直接モデル切り換えの判定に用いる。
検出データの演算処理を通じて白線候補点の位置情報を
抽出する。白線モデル切り換え部20Bの出力が白線候
補点検出部12と撮像部11の間に図示される理由は、
白線候補点検出部12では、切り換えられた白線モデル
を用いてウインドウ設定を行うからである。第7実施例
によれば、曇天時あるいは夜間等で車両の影が明白に現
れないケースでも車間距離を認識して、白線遮蔽範囲を
正確に見積もり、白線モデルの切り換えを実行できる。
する。図31は第7実施例の車両検出結果の説明図、図
32はレーザビーム到達位置ベクトルの説明図、図33
はレーダ距離値選択のためのフローチャートである。マ
ルチビーム型レーザレーダ装置を用いた従来の追突警報
装置にあっては、カーブ路において外側の路側帯に存在
する反射板の距離値を先行車両の距離値と誤認し、誤っ
た警報を発する場合があった。そこで、第7実施例で
は、路面画像上の複数の車線上の先行車両をそれぞれ区
別して検出することによって追突警報装置の警報の信頼
性を向上させている。
の前端部に3本のレーザー距離計が矢印で示す所定の指
向性を与えて設置される。3本のレーザー距離計を用い
て追突警報装置を構成した車両に、第6実施例の走行路
検出装置を組み合わせて第7実施例が構成される。図3
2の(b)において、右側の指向性を担当するレーザー
距離計からは先行車両87の車間距離dRが出力され
る。一方、中央および左側の指向性を担当するレーザー
距離計からは、路側帯の反射板88までの距離dL、d
Cが出力されている。このとき路面画像は図32の
(a)に示す状態であり、楕円で示す範囲が3本のレー
ザー距離計のそれぞれの測距エリア断面に相当してい
る。
画像を用いた車両検出を行うことにより、車両存在範囲
x0e−X1eが求まる。ここでは、路面画像を撮像するカ
メラと3本のレーザー距離計の位置関係が固定されてい
るため、路面画像の中で3本のレーザー距離計の測距方
向のベクトルは一定である。3本のレーザから得られた
図32の距離(dL、dC、dR)と画像上のレーザ中
心座標位置(G0 、G1 、G2 :ベクトル)との関係
は、予めメモリデータとして記憶しておく。先行車両8
7の存在範囲の中心x座標をxc とすれば、レーザー距
離計の測定値から求めた車両候補座標と座標xc との画
像座標系上の距離が最小となるような距離値dX(X=
L、C、R)を、自車線上の車両までの距離として認識
することによって、より精度の高い自車線上の障害物ま
での距離計測が可能となる。この一連の処理を図33の
フローチャートに示す。
02でレーザ距離値がそれぞれメモリに取り込まれる。
ステップ703では白線遮蔽範囲に応じた白線モデルの
切り換えが実行され、この白線モデルを用いてステップ
704で道路パラメータが求められ白線モデルが更新さ
れる。ステップ705では路面画像から先行車両の有無
および存在位置が求められ、先行車両がいない場合はス
テップ710でレーダ距離値を無視する。一方、先行車
両が存在する場合は、ステップ707〜709を通じて
先行車両を捕捉しているレーザー距離計を特定し、その
出力値を車間距離として出力させる。第7実施例によれ
ば、カーブ路において路側帯に存在する反射板の距離値
を先行車両の距離値と誤認する心配が無く、誤った警報
を発することが無い。従って、追突警報装置の精度と信
頼性が向上する。
例を説明する。図34は画像処理による先行車両検出の
説明図、図35は全体処理のフローチャート、図36は
レーダ距離測定値の選択のフローチャートである。ここ
では、第7実施例と同様に3本のレーザー距離計から得
られた距離L0 、L1 、L2 の中から、自車線上の先行
車両に相当する1つを選択する。ただし、第7実施例と
は別の手順を用いてレーザー距離計を特定する。また、
第5実施例では、車線幅に占める横エッジ長さの割合が
一定以上の場合を先行車両と判断して車両候補点の位置
を求めたが、ここでは、路面画像のy方向輝度分布から
車両候補点位置を割り出す。
車両87には高さがあるため、自車線上に影が投影され
ている。検出された白線モデルから自車線の中心線(x
m 、ym )を求めて、中心線上の画素の輝度データを原
画像メモリから抽出することにより、高さy=ys 〜y
e の範囲の輝度分布を図34の(b)のように作成す
る。影に相当する最も暗い輝度pc を検知し、その位置
(xc 、yc )を車両候補点座標として出力する。図3
2の(a)に示される「路面画像上のレーザ中心座標位
置(図中の×印)から車両候補点座標(xc 、yc )ま
での距離」が最小となるようなレーダ距離値が、自車線
上の先行車両87までの距離として認識される。
モリには、3本のレーザー距離計から得られた距離L0
、L1 、L2 と画像上のレーザ中心座標位置(G0 、
G1 、G2 :ベクトル)との関係が予め記憶されてい
る。図35において、ステップ721で1フレーム分の
原画像やエッジ強調画像のデータが演算装置に取り込ま
れる。ステップ722では、ウインドウ処理を通じて得
られた白線候補点の検出データに基づいて白線モデル補
正量が計算される。ステップ723では、この白線モデ
ル補正量を用いて前画面で求めた白線モデルが更新され
る。ステップ724では、最新の白線モデルに基づいて
中心線モデルXm (y)を作成する。ステップ725で
は、上述のように高さy=ys 〜ye の範囲でxm 上の
輝度分布を作成する。ステップ726では、最小輝度値
pc および車両候補点高さyc を抽出して出力する。ス
テップ727では車両候補点高さyc を中心線モデルX
m (y)に代入して車両候補点位置xc を計算する。ス
テップ728では、最小輝度値pc が所定のしきい値p
-t以下であるか否かを判定する。真であるならば、座標
位置(xc 、yc )を路面画像の座標系における車両候
補点座標として認識し、図36のステップ731へ進
む。
本のレーザー距離計による最新の距離計測値を取り込
む。ステップ732では、予め記憶されたメモリテーブ
ルからレーザの中心座標ベクトル(G0 、G1 、G2 )
を読み出す。ステップ733では、中心座標ベクトル
(G0 、G1 、G2 )にそれぞれの距離計測値をかけ合
わせて路面画像上の参照範囲の重心位置を求め、それぞ
れの重心位置から車両候補点座標(xc 、yc )までの
距離Lgi(i=0〜2)を算出する。ステップ734〜
738で距離Lgiが最小となるjの値を求める。ステッ
プ739では、jに相当するレーザレーダ距離値Lgi
(j)を、自車線上の先行車両87までの距離値と判断
して出力する。第7実施例の変形例によれば、より確度
の高い自車線上の障害物までの距離計測が可能となる。
画像から白線を検出して道路パラメータを推定するまで
の処理を通じて、データを座標変換する演算処理が不必
要であるから、従来例の走行路検出装置に比較して演算
量が大幅に削減され、一般的な演算装置を使用した場合
でも、毎秒10〜100画面の路面画像を余裕を持って
処理できる。これにより、刻々の白線状態を細かい時間
間隔で補足しても、道路の三次元形状や自車両の姿勢を
リアルタイムに出力できる。従って、種々の警報や自動
運転に対する応用が可能となる等、走行路検出装置の精
度と信頼性と実用性が共に高められた。
合、路面画像上で精度高く検出できる部分に小領域を設
定するから、車線内の自車両位置にかかわらず、精度の
高い道路パラメータを出力し続けることができる。この
とき、小領域の合計の設定数を変化させなければ、これ
によって処理時間が増大することもない。また、方向指
示なく車線変更を実行しようとした場合に警報を出力さ
せる場合、運転者の不注意や居眠りに起因する事故発生
を予防できる。さらに、隣接車線に車線変更しようとす
る際に隣接車線の先行車両を検知し、衝突の可能性を判
断して警報を出力させる場合、車線変更に伴う事故発生
を予防できる。
ルを、道路曲率や自車両の位置等、すべてのレーンマー
カーとなる白線に対して共通のパラメータに相当する量
で表し、これらパラメータの算出結果や既知の定数をも
とに走行レーン内の車両の走行位置を算出して、その結
果によって道路白線の検出本数を切り換えられる構成と
したため、自車両の一部が隣のレーンに入る前に隣の走
行レーン領域を認識でき、また、他のレーダ等の測距セ
ンサのデータの測距対象を判別できるという効果が得ら
れる。
を切り換える場合、路面画像上で捕捉できる白線部分か
ら最大限の精度で道路パラメータを求められる。また、
パラメータ記述式を簡略化することで演算負荷をさらに
軽減し、余った演算余力を他の処理、例えば、先行車両
の認識等に割り当てることも可能になる。すなわち、効
率的な道路パラメータ推定が可能となった。
る。
ある。
る。
る。
る。、
ある。
る。
る。
ある。
る。
である。
ある。
る。
ある。
る。
ある。
正部 16 検出パラメータ保持部 17 前回の白線モデル(曲線式)上の点列を計算する
算出部 21 ウインドウ 22、23 座標系 24、24G 道路 25、25G 白線 26 路面画像 41 撮像部 42 画像処理部 43 白線検出部 44 道路パラメータ推定部 45 自車偏位判断部 46 白線検出本数設定部 47 白線候補点検出領域設定部 50 消失点 51、52、53 ウインドウ 61 画像入力部 62 エッジ抽出部 63 直線検出領域設定部 64 白線候補点検出部 65 道路パラメータ算出部 66 車線変更判断部 67 白線検出本数設定部 68 認識車線数判断部 69 車線領域認識部 70 自車線上障害物検出部 71 隣接車線上障害物検出部 72 車線変更可否判断部 73 方向指示判断部 74 衝突可能性判断部 75 警報発生部 76、77、78 先行車両 81 走行レーン認識部 82 車間距離検出部 83 画像座標系における車両y座標値推定部 84 レーダ距離値選択部 87 先行車両 A1、A2、A3 検出エリア L1、L2、L3 車線
Claims (23)
- 【請求項1】 車両前方の路面画像を採取し、画像処理
して路面の白線を抽出する撮像入力手段を有し、前記路
面画像上の白線を検出して、路面の三次元形状と路面に
対する車両の相対位置関係とを識別する走行路検出装置
において、 前記白線の二次曲線近似式を路面画像の座標系に変換し
たパラメータ記述式における、走行車線内の車両位置、
道路の平面曲率、車線に対する車両の傾き、道路の傾
斜、道路幅にそれぞれ関連付けた複数のパラメータを保
持する検出パラメータ保持手段と、 路面画像上の前記白線に沿った複数の白線候補点につい
て、路面画像の座標系を用いた位置情報を求める白線候
補点検出手段と、 前記検出パラメータ保持手段に保持した過去の複数のパ
ラメータから演算した仮想的な白線候補点に対して、路
面画像から求めた最新の白線候補点の前記位置情報を比
較して、前記複数のパラメータの最新値を求めて、前記
検出パラメータ保持手段の前記複数のパラメータを更新
させるパラメータ補正手段と、を有することを特徴とす
る走行路検出装置。 - 【請求項2】 前記パラメータ補正手段は、前記仮想的
な白線候補点と最新の白線候補点とのずれ量を算出する
ずれ量算出手段と、 前記ずれ量に基づいて前記複数のパラメータの変動量を
算出するパラメータ変動量算出手段と、を含み、かつ、 前記パラメータ変動量算出手段は、最小二乗法を用いて
前記パラメータ変動量を算出することを特徴とする請求
項1記載の走行路検出装置。 - 【請求項3】 前記パラメータ補正手段は、更新した最
新の前記複数のパラメータに基づいて、道路の平面曲
率、車線に対する車輌の傾き、道路の傾斜を算出して出
力する道路形状出力手段を含むことを特徴とする請求項
1または2記載の走行路検出装置。 - 【請求項4】 前記パラメータ記述式は、走行車線内の
車両位置、道路の平面曲率、車線に対する車両の傾き、
道路の傾斜、道路幅に関連付けた複数のパラメータをそ
れぞれa、b、c、d、eとし、路面画像の座標系を
x、yとし、kを整数として、 x=(a+ke)(y−d)+b/(y−d)+c であることを特徴とする請求項1、2、または3記載の
走行路検出装置。 - 【請求項5】 車両前方の路面画像を採取し、画像処理
して路面の白線を抽出する撮像入力手段と、前記白線の
検出結果に基づいて、少なくとも走行車線の幅と自車線
内の自車両位置とにそれぞれ関連付けられた2つの道路
パラメータを刻々の前記路面画像について算出する道路
パラメータ推定手段と、を有する走行路検出装置におい
て、 前記白線の推定位置に沿って前記路面画像上に設定した
複数の小領域のそれぞれについて、前記画像処理手段が
抽出した白線の通過位置座標を求める白線候補点検出手
段と、 前記路面画像上で前記小領域を設定すべき前記白線の本
数と、それぞれの前記白線に対する小領域の割り当て数
とを決定して、前記白線候補点検出手段に設定する白線
候補点検出領域設定手段と、 前記道路パラメータに基づいて自車線内の自車両位置を
識別する自車偏位判断手段と、を有し、かつ、 前記白線候補点検出領域設定手段は、前記自車両位置に
基づいて、前記小領域を設定すべき白線の本数と、それ
ぞれの白線に対する前記小領域の割り当て数とを変更
し、車両が一方の白線に接近した際には、接近方向の別
の1本の白線にも前記小領域を割り当てることを特徴と
する走行路検出装置。 - 【請求項6】 前記白線候補点検出領域設定手段は、走
行車線の幅と自車線内の自車両位置との差を検知し、車
両が一方の白線に接近して前記差が所定の判定基準値範
囲をはみだした場合には、その白線と両側の2本の白線
を含む3本の白線に対して前記小領域を割り当てること
を特徴とする請求項5記載の走行路検出装置。 - 【請求項7】 前記白線候補点検出領域設定手段は、走
行車線の幅と自車線内の自車両位置との差を検知し、車
両が一方の白線を越えた後に前記差が所定の判定基準値
範囲の中に入った場合には、新しい自車線の両側の2本
の白線のみに対して前記小領域を割り当てることを特徴
とする請求項5記載の走行路検出装置。 - 【請求項8】 前記白線候補点検出領域設定手段は、走
行車線の幅に関連付けて予め設定した定数を保持してお
り、前記走行車線の幅については、前記パラメータ推定
手段と無関係に、一定の値を用いて前記差の検知を行う
ことを特徴とする請求項5、6、または7記載の走行路
検出装置。 - 【請求項9】 前記白線候補点検出領域設定手段は、前
記小領域を設定すべき白線の本数が変化しても、前記小
領域の割り当ての合計数を変化させずに小領域を設定す
ることを特徴とする請求項5、6、7、または8記載の
走行路検出装置。 - 【請求項10】 前記白線候補点検出領域設定手段は、
3本の白線に対して前記小領域を割り当てる際に、接近
した白線に対して、両側の他の2本の白線のいずれに割
り当てるよりも多くの前記小領域を割り当てることを特
徴とする請求項5、6、7、8、または9記載の走行路
検出装置。 - 【請求項11】 車両前方の路面画像を採取し、画像処
理して路面の白線を抽出する撮像入力手段と、前記白線
の検出結果に基づいて、少なくとも走行車線の幅と自車
線内の自車両位置とにそれぞれ関連付けられた2つの道
路パラメータを刻々の前記路面画像について算出する道
路パラメータ推定手段と、を有する走行路検出装置にお
いて、 前記白線の推定位置に沿って前記路面画像上に設定した
複数の小領域のそれぞれについて、前記画像処理手段が
抽出した白線の通過位置座標を求める白線候補点検出手
段と、 前記路面画像上で前記小領域を設定すべき前記白線の本
数と、それぞれの前記白線に対する小領域の割り当て数
とを決定して、前記白線候補点検出手段に設定する白線
候補点検出領域設定手段と、 前記道路パラメータに基づいて自車線内の自車両位置を
識別する自車偏位判断手段と、を有し、かつ、 前記白線候補点検出領域設定手段は、前記自車両位置に
基づいて、前記小領域を設定すべき白線の本数と、それ
ぞれの白線に対する前記小領域の割り当て数とを変更
し、車両が一方の白線に接近した際には、接近方向の別
の1本の白線にも前記小領域を割り当て、かつ、 自車両の方向指示器が操作されているか否かを識別する
方向指示判別手段と、 自車両が一方の前記白線に接近した際に、方向指示判別
手段によって方向指示器の非操作が識別された場合に
は、運転者に対して警報を出力する警報発生手段と、を
設けたことを特徴とする走行路検出装置。 - 【請求項12】 車両前方の路面画像を採取し、画像処
理して路面の白線を抽出する撮像入力手段と、前記白線
の検出結果に基づいて、少なくとも走行車線の幅と自車
線内の自車両位置とにそれぞれ関連付けられた2つの道
路パラメータを刻々の前記路面画像について算出する道
路パラメータ推定手段と、を有する走行路検出装置にお
いて、 前記白線の推定位置に沿って前記路面画像上に設定した
複数の小領域のそれぞれについて、前記画像処理手段が
抽出した白線の通過位置座標を求める白線候補点検出手
段と、 前記路面画像上で前記小領域を設定すべき前記白線の本
数と、それぞれの前記白線に対する小領域の割り当て数
とを決定して、前記白線候補点検出手段に設定する白線
候補点検出領域設定手段と、 前記道路パラメータに基づいて自車線内の自車両位置を
識別する自車偏位判断手段と、を有し、かつ、 前記白線候補点検出領域設定手段は、前記自車両位置に
基づいて、前記小領域を設定すべき白線の本数と、それ
ぞれの白線に対する前記小領域の割り当て数とを変更
し、車両が一方の白線に接近した際には、接近方向の別
の1本の白線にも前記小領域を割り当て、かつ、 前記路面画像上の自車線領域を認識する車線領域認識手
段と、 前記車線領域認識手段で認識される車線領域について前
方の障害物を検出する障害物検出手段と、 前記障害物検出手段で検出される障害物と車両との衝突
の可能性を判断する衝突可能性判断手段と、 衝突の可能性が肯定された場合に運転者に対して警報を
出力する警報発生手段と、を有することを特徴とする走
行路検出装置。 - 【請求項13】 車両前方の路面画像を採取し、画像処
理して路面の白線を抽出する撮像入力手段と、前記白線
の検出結果に基づいて、少なくとも走行車線の幅と自車
線内の自車両位置とにそれぞれ関連付けられた2つの道
路パラメータを刻々の前記路面画像について算出する道
路パラメータ推定手段と、を有する走行路検出装置にお
いて、 前記白線の推定位置に沿って前記路面画像上に設定した
複数の小領域のそれぞれについて、前記画像処理手段が
抽出した白線の通過位置座標を求める白線候補点検出手
段と、 前記路面画像上で前記小領域を設定すべき前記白線の本
数と、それぞれの前記白線に対する小領域の割り当て数
とを決定して、前記白線候補点検出手段に設定する白線
候補点検出領域設定手段と、 前記道路パラメータに基づいて自車線内の自車両位置を
識別する自車偏位判断手段と、を有し、かつ、 前記白線候補点検出領域設定手段は、前記自車両位置に
基づいて、前記小領域を設定すべき白線の本数と、それ
ぞれの白線に対する前記小領域の割り当て数とを変更
し、車両が一方の白線に接近した際には、接近方向の別
の1本の白線にも前記小領域を割り当て、かつ、 前記白線候補点検出領域設定手段が定めた白線の検出本
数によって認識する領域を変化させる車線領域認識手段
と、 車両が白線に接近して外側の白線に前記小領域が割り当
てられた際に隣接車線領域の障害物の有無を識別する隣
接車線障害物検出手段と、 前記障害物が存在する場合に、その障害物に衝突するこ
となく車線変更が可能か否かを判断する車線変更可否判
断手段と、を有することを特徴とする走行路検出装置。 - 【請求項14】 車両前方の路面画像を採取し、画像処
理して路面の白線を抽出する撮像入力手段を有し、前記
路面画像上の白線を検出して、路面の三次元形状と路面
に対する車両の相対位置関係とを識別する走行路検出装
置において、 前記白線の近似式を路面画像の座標系に変換したパラメ
ータ記述式における複数のパラメータを保持する検出パ
ラメータ保持手段と、 路面画像上の前記白線に沿った複数の白線候補点につい
て、路面画像の座標系を用いた位置情報を求める白線候
補点検出手段と、 前記検出パラメータ保持手段に保持した過去の複数のパ
ラメータから演算した仮想的な白線候補点に対して、路
面画像から求めた最新の白線候補点の前記位置情報を比
較して、前記複数のパラメータの最新値を求めて、前記
検出パラメータ保持手段の前記複数のパラメータを更新
させるパラメータ補正手段と、を有するとともに、 自車線の先行車両によって前記白線が遮断される範囲を
求める白線遮蔽範囲検出手段と、 前記パラメータ記述式として、白線を二次曲線で近似し
た第1パラメータ記述式と、前記白線が遮蔽された場合
に適合させて第1パラメータ記述式を簡略化した第2パ
ラメータ記述式とを記憶させた複数の白線モデル記憶手
段と、 前記白線遮蔽範囲検出手段の検出状態に応じて前記複数
の白線モデル記憶手段における複数のパラメータ記述式
を選択し、前記白線が遮蔽された場合には、前記パラメ
ータ補正手段に第2パラメータ記述式による処理を実行
させる白線モデル切り換え手段と、を設けたことを特徴
とする走行路検出装置。 - 【請求項15】 前記白線遮蔽範囲検出手段は、前記路
面画像から自車線上の先行車両を識別して先行車両の位
置を求める車両位置検出手段と、求められた車両位置に
基づいて白線が遮蔽される範囲を推定する遮蔽範囲推定
手段と、を有することを特徴とする請求項14記載の走
行路検出装置。 - 【請求項16】 前記車両位置検出手段は、前記路面画
像から先行車両の両側端座標を求めて先行車両の位置を
計算することを特徴とする請求項15記載の走行路検出
装置。 - 【請求項17】 前記車両位置検出手段は、前記路面画
像から先行車両の下端座標を求めて先行車両の位置を計
算することを特徴とする請求項15記載の走行路検出装
置。 - 【請求項18】 前記白線遮蔽範囲検出手段は、 複数の指向性方向で先行車両を検知して、それぞれの方
向で障害物までの距離を計測可能な車間距離検出手段
と、 前記パラメータに基づいて自車線の先行車両が前記複数
の指向性のいずれに相当しているかを識別する自車走行
レーン認識手段と、 自車走行レーン認識手段の識別結果に基づいて、前記車
間距離検出手段が求めた複数の車間距離から自車線上の
先行車両の車間距離を選択する車間距離値選択手段と、
を含むことを特徴とする請求項14記載の走行路検出装
置。 - 【請求項19】 第1パラメータ記述式は、走行車線内
の車両位置、道路の平面曲率、車線に対する車両の傾
き、道路の傾斜、道路幅にそれぞれ関連付けた5つのパ
ラメータを含み、一方、第2パラメータ記述式は、道路
の平面曲率に関連つけた1つを除く4つのパラメータを
含むことを特徴とする請求項14、15、16、17、
または18記載の走行路検出装置。 - 【請求項20】 第1パラメータ記述式は二次曲線式、
第2パラメータ記述式は一次直線式であることを特徴と
する請求項14、15、16、17、18、または19
記載の走行路検出装置。 - 【請求項21】 前記パラメータ補正手段は、選択され
たパラメータ記述式による仮想的な白線候補点と前記路
面画像から求めた最新の白線候補点とのずれ量を算出す
るずれ量算出手段と、 前記ずれ量に基づいて前記複数のパラメータの変動量を
算出するパラメータ変動量算出手段と、を含み、かつ、 前記パラメータ変動量算出手段は、最小二乗法を用いて
前記パラメータ変動量を算出することを特徴とする請求
項14、15、16、17、18、19、または20記
載の走行路検出装置。 - 【請求項22】 前記パラメータ補正手段は、更新した
前記複数のパラメータに基づいて道路の三次元形状を算
出し、直ちに出力する道路形状出力手段を含むことを特
徴とする請求項14、15、16、17、18、19、
20、または21記載の走行路検出装置。 - 【請求項23】 走行車線内の車両位置、道路の平面曲
率、車線に対する車両の傾き、道路の傾斜、道路幅にそ
れぞれ関連付けたパラメータをa、b、c、d、eと
し、前記路面画像の座標系をx、yとし、iを整数とす
るとき、第1パラメータ記述式は、 x=(a+ie)(y−d)+b/(y−d)+c であり、一方、第2パラメータ記述式は、 x=(a+ie)(y−d)+c であることを特徴とする請求項14、15、16、1
7、18、19、20、21、または22記載の走行路
検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16305294A JP3424334B2 (ja) | 1994-06-21 | 1994-06-21 | 走行路検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16305294A JP3424334B2 (ja) | 1994-06-21 | 1994-06-21 | 走行路検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH085388A JPH085388A (ja) | 1996-01-12 |
JP3424334B2 true JP3424334B2 (ja) | 2003-07-07 |
Family
ID=15766264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16305294A Expired - Fee Related JP3424334B2 (ja) | 1994-06-21 | 1994-06-21 | 走行路検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3424334B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9969399B2 (en) | 2015-10-22 | 2018-05-15 | Hyundai Motor Company | Vehicle and method of controlling the vehicle |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3022330B2 (ja) * | 1996-07-09 | 2000-03-21 | 日本電気株式会社 | 動画像認識装置および動画像認識方法 |
JPH1031799A (ja) * | 1996-07-15 | 1998-02-03 | Toyota Motor Corp | 自動走行制御装置 |
JP3603768B2 (ja) | 2000-09-06 | 2004-12-22 | 日産自動車株式会社 | 車線逸脱判定装置 |
JP3521860B2 (ja) | 2000-10-02 | 2004-04-26 | 日産自動車株式会社 | 車両の走行路認識装置 |
JP3736346B2 (ja) | 2000-12-26 | 2006-01-18 | 日産自動車株式会社 | 車線検出装置 |
JP3780922B2 (ja) | 2001-11-30 | 2006-05-31 | 日産自動車株式会社 | 道路白線認識装置 |
JP3922194B2 (ja) | 2003-03-11 | 2007-05-30 | 日産自動車株式会社 | 車線逸脱警報装置 |
JP4355535B2 (ja) * | 2003-08-07 | 2009-11-04 | 株式会社岩根研究所 | 360度画像変換処理装置 |
JP3856798B2 (ja) * | 2004-04-09 | 2006-12-13 | 松下電器産業株式会社 | ナビゲーション装置 |
JP4739699B2 (ja) * | 2004-06-30 | 2011-08-03 | 株式会社日立製作所 | ナンバープレート認識装置及び方法 |
JP5109296B2 (ja) * | 2006-07-04 | 2012-12-26 | トヨタ自動車株式会社 | 走行支援装置 |
JP5055933B2 (ja) * | 2006-10-05 | 2012-10-24 | トヨタ自動車株式会社 | 走行支援装置 |
JP4900211B2 (ja) * | 2007-11-29 | 2012-03-21 | トヨタ自動車株式会社 | 走行支援装置、車間距離設定方法 |
JP4744537B2 (ja) * | 2008-02-05 | 2011-08-10 | 日立オートモティブシステムズ株式会社 | 走行レーン検出装置 |
JP4622001B2 (ja) | 2008-05-27 | 2011-02-02 | トヨタ自動車株式会社 | 道路区画線検出装置および道路区画線検出方法 |
JP5430213B2 (ja) * | 2009-04-24 | 2014-02-26 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP5464054B2 (ja) * | 2010-05-27 | 2014-04-09 | 日産自動車株式会社 | 道路環境情報取得装置及びその方法 |
JP5534045B2 (ja) * | 2011-02-03 | 2014-06-25 | トヨタ自動車株式会社 | 道路形状推定装置 |
KR101578434B1 (ko) * | 2011-08-04 | 2015-12-17 | 엘지전자 주식회사 | 차선 인식 장치 및 그 방법 |
JP5823251B2 (ja) * | 2011-10-20 | 2015-11-25 | アルパイン株式会社 | 車線監視システム及び車線監視方法 |
US20130141520A1 (en) * | 2011-12-02 | 2013-06-06 | GM Global Technology Operations LLC | Lane tracking system |
JP6044158B2 (ja) * | 2012-07-31 | 2016-12-14 | 日産自動車株式会社 | 車両走行支援装置及び車両走行支援方法 |
JP5754470B2 (ja) | 2012-12-20 | 2015-07-29 | 株式会社デンソー | 路面形状推定装置 |
JP6032017B2 (ja) * | 2013-01-10 | 2016-11-24 | トヨタ自動車株式会社 | 運転制御装置および運転制御方法 |
JP6260233B2 (ja) * | 2013-12-02 | 2018-01-17 | 富士通株式会社 | 情報処理装置、カメラ取付角度の推定方法、及びプログラム |
JP6483446B2 (ja) | 2015-01-15 | 2019-03-13 | トヨタ自動車株式会社 | 複合線判定装置及び複合線判定方法 |
JP5971369B2 (ja) * | 2015-03-11 | 2016-08-17 | 日本電気株式会社 | 走行支援装置、走行支援方法、及びプログラム |
JP6774297B2 (ja) | 2016-10-17 | 2020-10-21 | 株式会社デンソー | 車両認識装置及び車両認識方法 |
KR101979422B1 (ko) * | 2017-02-01 | 2019-05-16 | 주식회사 만도 | 카메라 시스템 및 카메라 시스템의 캘리브레이션정보 조정방법 |
FR3085746B1 (fr) * | 2018-09-06 | 2021-04-30 | Renault Sas | Procede de detection de faux positifs d’un dispositif de traitement d’image d’une camera |
WO2020132938A1 (en) * | 2018-12-26 | 2020-07-02 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Methods for obstacle filtering for non-nudge planning system in autonomous driving vehicle |
CN113075716A (zh) * | 2021-03-19 | 2021-07-06 | 地平线(上海)人工智能技术有限公司 | 基于图像的车辆定位方法和装置、存储介质以及电子设备 |
KR102487341B1 (ko) * | 2021-05-27 | 2023-01-11 | 주식회사 로드텍 | 차량형 차선 휘도 측정 장치 및 방법 |
-
1994
- 1994-06-21 JP JP16305294A patent/JP3424334B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9969399B2 (en) | 2015-10-22 | 2018-05-15 | Hyundai Motor Company | Vehicle and method of controlling the vehicle |
Also Published As
Publication number | Publication date |
---|---|
JPH085388A (ja) | 1996-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3424334B2 (ja) | 走行路検出装置 | |
US8379928B2 (en) | Obstacle detection procedure for motor vehicle | |
US8605947B2 (en) | Method for detecting a clear path of travel for a vehicle enhanced by object detection | |
KR102029850B1 (ko) | 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법 | |
JP3349060B2 (ja) | 車外監視装置 | |
US8452054B2 (en) | Obstacle detection procedure for motor vehicle | |
CN111712731A (zh) | 目标检测方法、***及可移动平台 | |
JP5145585B2 (ja) | 物標検出装置 | |
CN110246183B (zh) | 车轮接地点检测方法、装置及存储介质 | |
CN110794406B (zh) | 多源传感器数据融合***和方法 | |
JP2000357233A (ja) | 物体認識装置 | |
JP4407920B2 (ja) | 障害物認識方法及び障害物認識装置 | |
EP2642364B1 (en) | Method for warning the driver of a motor vehicle about the presence of an object in the surroundings of the motor vehicle, camera system and motor vehicle | |
JP4102885B2 (ja) | 駐車車両検知方法及び駐車車両検知システム | |
US11151395B2 (en) | Roadside object detection device, roadside object detection method, and roadside object detection system | |
JP2001052171A (ja) | 周囲環境認識装置 | |
JP2006072495A (ja) | 立体物監視装置 | |
US20220129685A1 (en) | System and Method for Determining Object Characteristics in Real-time | |
JPH08156723A (ja) | 車両用障害物検出装置 | |
US20240153106A1 (en) | Object tracking device | |
CN115469312A (zh) | 车辆的可通行区域检测方法、装置、电子设备及存储介质 | |
JP2002334330A (ja) | 車両認識装置 | |
JPH0844999A (ja) | 接近予測装置 | |
EP3428876A1 (en) | Image processing device, apparatus control system, imaging device, image processing method, and program | |
EP4024330A1 (en) | Object recognition method and object recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030401 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090502 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100502 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110502 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130502 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140502 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |