JP3104645B2 - 道路白線検出方法及び道路白線検出装置 - Google Patents
道路白線検出方法及び道路白線検出装置Info
- Publication number
- JP3104645B2 JP3104645B2 JP09139484A JP13948497A JP3104645B2 JP 3104645 B2 JP3104645 B2 JP 3104645B2 JP 09139484 A JP09139484 A JP 09139484A JP 13948497 A JP13948497 A JP 13948497A JP 3104645 B2 JP3104645 B2 JP 3104645B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- image
- white line
- contour point
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
【0001】
【発明の属する技術分野】本発明は自動車が走行する道
路上の白線を画像処理によって認識するための道路白線
検出装置に関するものである。
路上の白線を画像処理によって認識するための道路白線
検出装置に関するものである。
【0002】
【従来の技術】従来、道路白線検出装置は特開平5−1
51341号に記載されたものが知られている。図9は
従来の道路白線検出装置を示している。この白線検出装
置は画像入力手段1により車両前方の道路画像を撮影
し、前処理手段2により画像入力手段1からの信号に基
づき白線や道路端等の明暗が変化するエッジ点を抽出す
る。
51341号に記載されたものが知られている。図9は
従来の道路白線検出装置を示している。この白線検出装
置は画像入力手段1により車両前方の道路画像を撮影
し、前処理手段2により画像入力手段1からの信号に基
づき白線や道路端等の明暗が変化するエッジ点を抽出す
る。
【0003】そして直線適合手段3により前回の演算時
における直線式の近傍にウインドウを設定し、その設定
された各ウインドウ内における複数のエッジ点の座標を
計測し直線近似によって複数の直線式を求める。図10
は入力画像と直線式の例を示している。
における直線式の近傍にウインドウを設定し、その設定
された各ウインドウ内における複数のエッジ点の座標を
計測し直線近似によって複数の直線式を求める。図10
は入力画像と直線式の例を示している。
【0004】そして直線・消失点決定手段4は求められ
た複数の直線式に基づき各直線式間の誤差の2乗和が最
小となるように消失点のx,y座標と該消失点を通る各
直線の傾きに対応する量とを推定して、今回の結果とす
る。ここでは複数のレインマーカ(白線)は平行であ
り、レーン幅やレーンカマーカ幅は時間的に大きく変動
しないことを利用し、又車両は垂直方向に速い動きをす
るが、水平方向には速い動きはないと仮定することによ
り、求まった直線式を基に、上記仮定を考慮にいれた時
間的空間的平滑化を行って直線と消失点を求める。
た複数の直線式に基づき各直線式間の誤差の2乗和が最
小となるように消失点のx,y座標と該消失点を通る各
直線の傾きに対応する量とを推定して、今回の結果とす
る。ここでは複数のレインマーカ(白線)は平行であ
り、レーン幅やレーンカマーカ幅は時間的に大きく変動
しないことを利用し、又車両は垂直方向に速い動きをす
るが、水平方向には速い動きはないと仮定することによ
り、求まった直線式を基に、上記仮定を考慮にいれた時
間的空間的平滑化を行って直線と消失点を求める。
【0005】次にエッジ点追跡手段5により前処理手段
2の結果と直線適合手段3の検出結果とに基づいてレー
ンマーカに対応するエッジ点を抽出し、曲線適合手段6
により抽出されたエッジ点に曲線式を当てはめ曲線の曲
率を検出し、平滑手段7により曲線適合手段の結果を平
滑することにより、白線を検出している。
2の結果と直線適合手段3の検出結果とに基づいてレー
ンマーカに対応するエッジ点を抽出し、曲線適合手段6
により抽出されたエッジ点に曲線式を当てはめ曲線の曲
率を検出し、平滑手段7により曲線適合手段の結果を平
滑することにより、白線を検出している。
【0006】
【発明が解決しようとする課題】しかるにこのような従
来の道路白線検出装置においては、レーンマーカのエッ
ジ点のみを用い、最小自乗法により曲線の当てはめを行
っている。従って明暗が変化する点は全てエッジ点とし
て検出されるため、ノイズの影響を受け易く正確な白線
検出が難しいという欠点があった。
来の道路白線検出装置においては、レーンマーカのエッ
ジ点のみを用い、最小自乗法により曲線の当てはめを行
っている。従って明暗が変化する点は全てエッジ点とし
て検出されるため、ノイズの影響を受け易く正確な白線
検出が難しいという欠点があった。
【0007】本発明はこのような従来の問題点に鑑みて
なされたものであって、エッジデータだけでなく道路画
像の低周波成分に基づいてこれを補正することにより、
正確な白線を検出できるようにすることを目的とする。
なされたものであって、エッジデータだけでなく道路画
像の低周波成分に基づいてこれを補正することにより、
正確な白線を検出できるようにすることを目的とする。
【0008】
【課題を解決するための手段】本願の請求項1の発明
は、道路画像データから空間周波数の低い周波成分のみ
のデータを生成することによりボケ画像を生成し、前記
ボケ画像生成ステップで生成したボケ画像データを使用
して輝度が実質的に同一の領域毎に分割し、前記領域分
割ステップからの領域分割データから画像の所定位置を
含む領域を道路領域として検出し、道路画像データのう
ち前記ボケ画像生成ステップで生成した空間周波数成分
を含まない互いに独立な空間周波数の高い成分のみを検
出することによりエッジ画像を抽出し、前記エッジ画像
抽出ステップからの高周波成分データから道路白線に対
応すると推定される推定輪郭点を推定し、前記道路領域
検出ステップより検出された道路領域に含まれる前記輪
郭点推定ステップから得られる道路白線の推定輪郭点の
みを抽出し、前記輪郭点抽出ステップで抽出された白線
輪郭点を使用して白線を検出することを特徴とする。
は、道路画像データから空間周波数の低い周波成分のみ
のデータを生成することによりボケ画像を生成し、前記
ボケ画像生成ステップで生成したボケ画像データを使用
して輝度が実質的に同一の領域毎に分割し、前記領域分
割ステップからの領域分割データから画像の所定位置を
含む領域を道路領域として検出し、道路画像データのう
ち前記ボケ画像生成ステップで生成した空間周波数成分
を含まない互いに独立な空間周波数の高い成分のみを検
出することによりエッジ画像を抽出し、前記エッジ画像
抽出ステップからの高周波成分データから道路白線に対
応すると推定される推定輪郭点を推定し、前記道路領域
検出ステップより検出された道路領域に含まれる前記輪
郭点推定ステップから得られる道路白線の推定輪郭点の
みを抽出し、前記輪郭点抽出ステップで抽出された白線
輪郭点を使用して白線を検出することを特徴とする。
【0009】本願の請求項2の発明は、車両前方の道路
を撮影する道路画像撮影手段と、前記道路画像撮影手段
からの道路画像データのうち空間周波数の低い低周波成
分のみのデータを生成するボケ画像生成手段と、前記ボ
ケ画像生成手段から得られる画像データを使用して輝度
が実質的に同一の領域毎に分割する領域分割手段と、前
記領域分割手段からの領域分割データから画像の所定位
置を含む領域を道路領域として検出する道路領域検出手
段と、前記道路画像撮影手段からの道路画像データのう
ち空間周波数の高い高周波成分を検出するエッジ画像抽
出手段と、前記エッジ画像抽出手段からの高周波成分デ
ータから道路白線に対応すると推定される推定輪郭点を
抽出する輪郭点推定手段と、前記道路領域検出手段より
検出された道路領域に含まれる前記輪郭点推定手段から
得られる道路白線の推定輪郭点のみを選択する輪郭点抽
出手段と、前記輪郭点抽出手段から抽出された白線輪郭
点を使用して多項式による曲線として白線を検出する曲
線検出手段と、を具備することを特徴とするものであ
る。
を撮影する道路画像撮影手段と、前記道路画像撮影手段
からの道路画像データのうち空間周波数の低い低周波成
分のみのデータを生成するボケ画像生成手段と、前記ボ
ケ画像生成手段から得られる画像データを使用して輝度
が実質的に同一の領域毎に分割する領域分割手段と、前
記領域分割手段からの領域分割データから画像の所定位
置を含む領域を道路領域として検出する道路領域検出手
段と、前記道路画像撮影手段からの道路画像データのう
ち空間周波数の高い高周波成分を検出するエッジ画像抽
出手段と、前記エッジ画像抽出手段からの高周波成分デ
ータから道路白線に対応すると推定される推定輪郭点を
抽出する輪郭点推定手段と、前記道路領域検出手段より
検出された道路領域に含まれる前記輪郭点推定手段から
得られる道路白線の推定輪郭点のみを選択する輪郭点抽
出手段と、前記輪郭点抽出手段から抽出された白線輪郭
点を使用して多項式による曲線として白線を検出する曲
線検出手段と、を具備することを特徴とするものであ
る。
【0010】本願の請求項3の発明では、前記輪郭点抽
出手段は、前記道路領域検出手段より検出された道路領
域に含まれ、且つ道路領域の端部から所定範囲内にある
前記輪郭点推定手段からの推定輪郭点を選択することを
特徴とするものである。
出手段は、前記道路領域検出手段より検出された道路領
域に含まれ、且つ道路領域の端部から所定範囲内にある
前記輪郭点推定手段からの推定輪郭点を選択することを
特徴とするものである。
【0011】本願の請求項4の発明では、前記曲線検出
手段は、各白線輪郭点を通るスプライン曲線を検出し、
該白線輪郭点の一部から複数のスプライン補間式を算出
し、スプライン補間式の最多係数値に基づいて該スプラ
イン曲線の係数値を補正することにより曲線を算出する
ことを特徴とするものである。
手段は、各白線輪郭点を通るスプライン曲線を検出し、
該白線輪郭点の一部から複数のスプライン補間式を算出
し、スプライン補間式の最多係数値に基づいて該スプラ
イン曲線の係数値を補正することにより曲線を算出する
ことを特徴とするものである。
【0012】このような特徴を有する本発明によれば、
道路画像を撮影して空間周波数の低いボケ画像を生成
し、ボケ画像から領域を分割して道路領域を検出する。
そしてこれとは別に道路画像から高い空間周波数のエッ
ジ画像を抽出し、道路画像から白線が引かれていると考
えられる領域の輪郭点を抽出する。そして抽出した輪郭
点に基づいて道路の白線を検出するようにしている。
道路画像を撮影して空間周波数の低いボケ画像を生成
し、ボケ画像から領域を分割して道路領域を検出する。
そしてこれとは別に道路画像から高い空間周波数のエッ
ジ画像を抽出し、道路画像から白線が引かれていると考
えられる領域の輪郭点を抽出する。そして抽出した輪郭
点に基づいて道路の白線を検出するようにしている。
【0013】
(実施の形態1)図1は本発明の実施の形態による道路
白線検出装置を示すブロック図である。この道路白線検
出装置は、道路画像撮影手段11,ボケ画像生成手段1
2,領域分割手段13,道路領域検出手段14,エッジ
画像抽出手段15,輪郭点推定手段16,道路輪郭点抽
出手段17,曲線検出手段18を含んで構成されてい
る。
白線検出装置を示すブロック図である。この道路白線検
出装置は、道路画像撮影手段11,ボケ画像生成手段1
2,領域分割手段13,道路領域検出手段14,エッジ
画像抽出手段15,輪郭点推定手段16,道路輪郭点抽
出手段17,曲線検出手段18を含んで構成されてい
る。
【0014】道路画像撮影手段11は車両前方の道路画
像を入力するものであり、TVカメラが用いられる。こ
のTVカメラを車両前方のほぼ中央部に配置しておくも
のとすれば、撮像手段11より得られる画像の底面中央
部Rは図2(a)に示すように道路を含むものとなる。
ボケ画像生成手段12は道路画像撮影手段11からの輝
度データを使用して空間周波数の低い成分のみの画像を
生成するものであり、二次元ローパスフィルタ(LP
F)により構成される。領域分割手段13はボケ画像生
成手段12からの低周波数画像データを使用して、輝度
の分布から輝度値がほぼ等しい領域毎にひとまとめにし
て画像を分割するものである。道路領域検出手段14は
低周波画像の輝度分布によって分割された領域を道路に
関する知識を使用してその領域を併合して道路領域を検
出するものである。
像を入力するものであり、TVカメラが用いられる。こ
のTVカメラを車両前方のほぼ中央部に配置しておくも
のとすれば、撮像手段11より得られる画像の底面中央
部Rは図2(a)に示すように道路を含むものとなる。
ボケ画像生成手段12は道路画像撮影手段11からの輝
度データを使用して空間周波数の低い成分のみの画像を
生成するものであり、二次元ローパスフィルタ(LP
F)により構成される。領域分割手段13はボケ画像生
成手段12からの低周波数画像データを使用して、輝度
の分布から輝度値がほぼ等しい領域毎にひとまとめにし
て画像を分割するものである。道路領域検出手段14は
低周波画像の輝度分布によって分割された領域を道路に
関する知識を使用してその領域を併合して道路領域を検
出するものである。
【0015】ここで道路に関する知識とは、道路画像撮
像手段11より撮影された画像の底面中央の点Rを含む
領域は道路であるということであり、又これに加えて、
左右の白線が交差する消失点が時間的に急激には変化し
ないことや、道路の画素に占める大きさがほぼ一定であ
る等を含めることもできる。従って少なくとも点Rを含
む領域とし、又はこれに加えて隣接する領域を加えて道
路とする。
像手段11より撮影された画像の底面中央の点Rを含む
領域は道路であるということであり、又これに加えて、
左右の白線が交差する消失点が時間的に急激には変化し
ないことや、道路の画素に占める大きさがほぼ一定であ
る等を含めることもできる。従って少なくとも点Rを含
む領域とし、又はこれに加えて隣接する領域を加えて道
路とする。
【0016】一方エッジ画像抽出手段15は、道路画像
撮影手段11からの輝度データを使用して空間周波数の
高い成分のみの画像を生成するものであり、二次元ハイ
パスフィルタ(HPF)により構成される。ボケ画像生
成手段12とエッジ画像抽出手段15とは道路画像撮像
手段11により撮像された画像のうち、選択する周波数
が重ならないように夫々低周波と高周波とを分離してい
る。輪郭点推定手段16はエッジ画像抽出手段15から
の高周波画像データを使用して、道路の白線に相当する
白線候補となる推定輪郭点を検出するものである。道路
輪郭点抽出手段17は道路領域検出手段14で検出した
道路領域データと、輪郭点推定手段16で検出した推定
輪郭点とを使用して、道路白線の輪郭点を検出するもの
である。曲線検出手段18は前記道路輪郭点抽出手段か
らの道路白線の輪郭点を使用して、スプライン曲線で道
路白線を曲線として検出するものである。
撮影手段11からの輝度データを使用して空間周波数の
高い成分のみの画像を生成するものであり、二次元ハイ
パスフィルタ(HPF)により構成される。ボケ画像生
成手段12とエッジ画像抽出手段15とは道路画像撮像
手段11により撮像された画像のうち、選択する周波数
が重ならないように夫々低周波と高周波とを分離してい
る。輪郭点推定手段16はエッジ画像抽出手段15から
の高周波画像データを使用して、道路の白線に相当する
白線候補となる推定輪郭点を検出するものである。道路
輪郭点抽出手段17は道路領域検出手段14で検出した
道路領域データと、輪郭点推定手段16で検出した推定
輪郭点とを使用して、道路白線の輪郭点を検出するもの
である。曲線検出手段18は前記道路輪郭点抽出手段か
らの道路白線の輪郭点を使用して、スプライン曲線で道
路白線を曲線として検出するものである。
【0017】次にこのように構成された道路白線検出装
置の動作について、図2,図3の画像例及び図4のフロ
ーチャートを用いて説明する。図2(a)は画像入力手
段からの輝度画像である。さてステップS1において、
2次元のローパスフィルタ(LPF)に道路画像撮像手
段11からの画像データを入れて、図5に示すような2
次元の周波数面(ω1,ω2)で原点を中心に半径ω=
ω0以下の低周波画像データを作成する。図2(b)は
こうして得られたボケ画像を示す図である。次にステッ
プS2において、低周波画像データを用いて輝度による
ヒストグラムを作成する。図6はこうして作成された輝
度値ヒストグラムの一例を示す。さて図2(a)におい
て画像の底面の中央部の点RはTVカメラが車両前方の
ほぼ中央に取付けられているものとすれば、この部分は
確実に道路を映し出している。従ってこの点Rの輝度値
を輝度ヒストグラムから読出すと、この輝度を含む領域
が道路であると推定できる。従ってステップS3におい
て、画像底部の中央の点Aの輝度値の輝度0ヒストグラ
ムでの位置を中心に輝度の高い方と低い方に向かって度
数変化の変極点を探す。ステップS4において、変極点
に囲まれた輝度値の輝度画像での範囲を求める。図2
(c)はこうして複数の領域に分割された画像を示して
いる。これに前述した道路についての知識を加えて、図
2(d)の領域を道路領域とする。ここでステップS
2,3はボケ画像から輝度変化の少ない領域毎に分割す
る領域分割手段13の機能を達成しており、ステップS
5は道路領域検出手段14の機能を達成している。
置の動作について、図2,図3の画像例及び図4のフロ
ーチャートを用いて説明する。図2(a)は画像入力手
段からの輝度画像である。さてステップS1において、
2次元のローパスフィルタ(LPF)に道路画像撮像手
段11からの画像データを入れて、図5に示すような2
次元の周波数面(ω1,ω2)で原点を中心に半径ω=
ω0以下の低周波画像データを作成する。図2(b)は
こうして得られたボケ画像を示す図である。次にステッ
プS2において、低周波画像データを用いて輝度による
ヒストグラムを作成する。図6はこうして作成された輝
度値ヒストグラムの一例を示す。さて図2(a)におい
て画像の底面の中央部の点RはTVカメラが車両前方の
ほぼ中央に取付けられているものとすれば、この部分は
確実に道路を映し出している。従ってこの点Rの輝度値
を輝度ヒストグラムから読出すと、この輝度を含む領域
が道路であると推定できる。従ってステップS3におい
て、画像底部の中央の点Aの輝度値の輝度0ヒストグラ
ムでの位置を中心に輝度の高い方と低い方に向かって度
数変化の変極点を探す。ステップS4において、変極点
に囲まれた輝度値の輝度画像での範囲を求める。図2
(c)はこうして複数の領域に分割された画像を示して
いる。これに前述した道路についての知識を加えて、図
2(d)の領域を道路領域とする。ここでステップS
2,3はボケ画像から輝度変化の少ない領域毎に分割す
る領域分割手段13の機能を達成しており、ステップS
5は道路領域検出手段14の機能を達成している。
【0018】一方ステップS5では、2次元のハイパス
フィルタ(HPF)に道路画像撮像手段11からの画像
データを入れて、図5に示すような2次元の周波数面
(ω1,ω2)で原点を中心に半径ω=ω3より大きい
高周波画像データを作成する。図3(e)は輝度画像か
ら得られるエッジ画像を示している。次にステップS6
において、図7に示すように画像底部から上方に向けて
エッジ画像の中心から左右方向に所定の閾値thを越える
道路の白線候補となる推定輪郭点を検索する。そしてス
テップS7において、ステップS4で判定した道路領域
に入っていない推定補輪郭点を除外すると共に、道路領
域の外側エッジより所定の距離L以上内部にある推定輪
郭点を除外する。例えば図2(d)では道路領域のエッ
ジから所定の距離L内側にある領域のみを検出対象と
し、道路の中央部及び道路以外の領域を無視する。ここ
で閾値Lは自車両から遠方即ち画面の上方にいくに従っ
て徐々に小さくなる値とする。こうすれば図3(f)に
示すように検出すべき領域のエッジが抽出できることと
なる。ここでステップS5はエッジ抽出手段15の機能
を達成しており、ステップS6は推定輪郭点を探索する
輪郭点推定手段16の機能を達成している。又ステップ
S7は道路データと推定輪郭点のデータに基づいて白線
の輪郭点を抽出する輪郭点抽出手段17の機能を達成し
ている。
フィルタ(HPF)に道路画像撮像手段11からの画像
データを入れて、図5に示すような2次元の周波数面
(ω1,ω2)で原点を中心に半径ω=ω3より大きい
高周波画像データを作成する。図3(e)は輝度画像か
ら得られるエッジ画像を示している。次にステップS6
において、図7に示すように画像底部から上方に向けて
エッジ画像の中心から左右方向に所定の閾値thを越える
道路の白線候補となる推定輪郭点を検索する。そしてス
テップS7において、ステップS4で判定した道路領域
に入っていない推定補輪郭点を除外すると共に、道路領
域の外側エッジより所定の距離L以上内部にある推定輪
郭点を除外する。例えば図2(d)では道路領域のエッ
ジから所定の距離L内側にある領域のみを検出対象と
し、道路の中央部及び道路以外の領域を無視する。ここ
で閾値Lは自車両から遠方即ち画面の上方にいくに従っ
て徐々に小さくなる値とする。こうすれば図3(f)に
示すように検出すべき領域のエッジが抽出できることと
なる。ここでステップS5はエッジ抽出手段15の機能
を達成しており、ステップS6は推定輪郭点を探索する
輪郭点推定手段16の機能を達成している。又ステップ
S7は道路データと推定輪郭点のデータに基づいて白線
の輪郭点を抽出する輪郭点抽出手段17の機能を達成し
ている。
【0019】次にステップS8で、残った左右の夫々の
輪郭点、例えばN個の全部を使用して左右夫々にスプラ
イン曲線を算出する。尚画像の横軸をx,縦軸をyとす
る。スプライン曲線は次式で示される。
輪郭点、例えばN個の全部を使用して左右夫々にスプラ
イン曲線を算出する。尚画像の横軸をx,縦軸をyとす
る。スプライン曲線は次式で示される。
【0020】 y=am xm +am-1 xm-1 +・・・+a0 そして得られた各係数を中心に±αだけの領域をハフ空
間上に作る。ハフ空間とはこの係数am〜a0によって形
成されたm次空間である。図8はm=2の場合のハフ空
間の例を示す図である。
間上に作る。ハフ空間とはこの係数am〜a0によって形
成されたm次空間である。図8はm=2の場合のハフ空
間の例を示す図である。
【0021】次に左白線に対応する白線輪郭点は画面上
での値が例えば(x0,y0),(x1,y1),(x2,
y2)・・・のように多数得られる。これをN個とする
と、N個中から任意のn個(N>n)を選択し、n個の
点を通るスプライン補間式として前述した式による近似
式を求める。右白線も同様に近似多項式を求める。
での値が例えば(x0,y0),(x1,y1),(x2,
y2)・・・のように多数得られる。これをN個とする
と、N個中から任意のn個(N>n)を選択し、n個の
点を通るスプライン補間式として前述した式による近似
式を求める。右白線も同様に近似多項式を求める。
【0022】例えばm=2の場合には前述した多項式は
次式のようになる。 y=a2 x2 +a1 x+a0 さてこうして求まった係数a0,a1,a2は、±αのハ
フ空間上の領域を多数に分割した小領域のうちいずれか
の1つに入ることとなる。従ってこのいずれかの小領域
にデータが入る数をAとし、繰り返し回数をkとする。
即ちステップ10において、この多項式の係数に対応
し、ステップ8で限定されたハフ空間上の対応する小領
域のアキュミュレータAに1を加算し、繰り返し回数k
にも1を加算する。もしステップS11においてkが繰
り返し回数の上限値kmax以下であればステップS9を
繰り返し、白線に対応する輪郭点N個のうち別のn個を
選択し同様にスプライン補間式を求める。もしkmaxを
超えていればステップS12に進み、ハフ空間上のアキ
ュミュレータAのうち最も数字の大きいものを選び、そ
れに対応する多項式の係数を求める。ステップS13で
その係数で作られる多項式を道路白線の画像上での式と
する。この曲線検出を左右の白線に対して行う。
次式のようになる。 y=a2 x2 +a1 x+a0 さてこうして求まった係数a0,a1,a2は、±αのハ
フ空間上の領域を多数に分割した小領域のうちいずれか
の1つに入ることとなる。従ってこのいずれかの小領域
にデータが入る数をAとし、繰り返し回数をkとする。
即ちステップ10において、この多項式の係数に対応
し、ステップ8で限定されたハフ空間上の対応する小領
域のアキュミュレータAに1を加算し、繰り返し回数k
にも1を加算する。もしステップS11においてkが繰
り返し回数の上限値kmax以下であればステップS9を
繰り返し、白線に対応する輪郭点N個のうち別のn個を
選択し同様にスプライン補間式を求める。もしkmaxを
超えていればステップS12に進み、ハフ空間上のアキ
ュミュレータAのうち最も数字の大きいものを選び、そ
れに対応する多項式の係数を求める。ステップS13で
その係数で作られる多項式を道路白線の画像上での式と
する。この曲線検出を左右の白線に対して行う。
【0023】こうすれば図3(g)に示すように左右の
白線の式が算出されることとなる。この式は道路に引か
れた白線の車両側のエッジを示す曲線である。ここでス
テップS8〜S13は輪郭点に基づいて曲線を検出する
曲線検出手段18の機能を達成している。
白線の式が算出されることとなる。この式は道路に引か
れた白線の車両側のエッジを示す曲線である。ここでス
テップS8〜S13は輪郭点に基づいて曲線を検出する
曲線検出手段18の機能を達成している。
【0024】以上のように、同じ輝度画像データから空
間周波数的に重なりのない低周波画像と高周波画像を作
成し、それぞれの画像から独立に道路領域と道路白線候
補輪郭点を検出することにより、精度の高い道路白線検
出を実現することができる。
間周波数的に重なりのない低周波画像と高周波画像を作
成し、それぞれの画像から独立に道路領域と道路白線候
補輪郭点を検出することにより、精度の高い道路白線検
出を実現することができる。
【0025】(実施の形態2)図11は本発明の実施の
形態による道路白線検出装置を示すブロック図である。
この道路白線検出装置は、道路画像撮影手段111,ボ
ケ画像生成手段112,領域分割手段113,上部道路
領域検出手段114,エッジ画像抽出手段115,輪郭
点推定手段116,底部道路輪郭点抽出手段117,走
行車線設定手段118を含んで構成されている。
形態による道路白線検出装置を示すブロック図である。
この道路白線検出装置は、道路画像撮影手段111,ボ
ケ画像生成手段112,領域分割手段113,上部道路
領域検出手段114,エッジ画像抽出手段115,輪郭
点推定手段116,底部道路輪郭点抽出手段117,走
行車線設定手段118を含んで構成されている。
【0026】道路画像撮影手段111は車両前方の道路
画像を入力するものであり、TVカメラが用いられる。
このTVカメラを車両前方のほぼ中央部に配置しておく
ものとすれば、撮像手段111より得られる画像の底面
中央部Rは図2(a)に示すように道路を含むものとな
る。ボケ画像生成手段112は道路画像撮影手段111
からの輝度データを使用して空間周波数の低い成分のみ
の画像を生成するものであり、二次元ローパスフィルタ
(LPF)により構成される。領域分割手段113はボ
ケ画像生成手段112からの低周波数画像データを使用
して、輝度の分布から輝度値がほぼ等しい領域毎にひと
まとめにして画像を分割するものである。
画像を入力するものであり、TVカメラが用いられる。
このTVカメラを車両前方のほぼ中央部に配置しておく
ものとすれば、撮像手段111より得られる画像の底面
中央部Rは図2(a)に示すように道路を含むものとな
る。ボケ画像生成手段112は道路画像撮影手段111
からの輝度データを使用して空間周波数の低い成分のみ
の画像を生成するものであり、二次元ローパスフィルタ
(LPF)により構成される。領域分割手段113はボ
ケ画像生成手段112からの低周波数画像データを使用
して、輝度の分布から輝度値がほぼ等しい領域毎にひと
まとめにして画像を分割するものである。
【0027】上部道路領域検出手段114は低周波画像
の輝度分布によって分割された領域を道路に関する知識
を使用して画像上部からその領域を併合して車線領域を
検出するものである。ここで道路に関する知識とは、道
路画像撮像手段111より撮影された画像の底面中央の
点Rを含む領域は道路であるということであり、又これ
に加えて、左右の白線が交差する消失点が時間的に急激
には変化しないことや、道路の画素に占める大きさがほ
ぼ一定である等を含めることもできる。従って少なくと
も点Rを含む領域とし、又はこれに加えて隣接する領域
を加えて道路とする。
の輝度分布によって分割された領域を道路に関する知識
を使用して画像上部からその領域を併合して車線領域を
検出するものである。ここで道路に関する知識とは、道
路画像撮像手段111より撮影された画像の底面中央の
点Rを含む領域は道路であるということであり、又これ
に加えて、左右の白線が交差する消失点が時間的に急激
には変化しないことや、道路の画素に占める大きさがほ
ぼ一定である等を含めることもできる。従って少なくと
も点Rを含む領域とし、又はこれに加えて隣接する領域
を加えて道路とする。
【0028】一方エッジ画像抽出手段115は、道路画
像撮影手段111からの輝度データを使用して空間周波
数の高い成分のみの画像を生成するものであり、二次元
ハイパスフィルタ(HPF)により構成される。ボケ画
像生成手段112とエッジ画像抽出手段115とは道路
画像撮像手段111により撮像された画像のうち、選択
する周波数が重ならないように夫々低周波と高周波とを
分離している。輪郭点推定手段116はエッジ画像抽出
手段115からの高周波画像データを使用して、道路の
白線に相当する白線候補となる推定輪郭点を検出するも
のである。底部道路輪郭点抽出手段117は、輪郭点推
定手段116で検出した推定輪郭点を使用して画像底部
から上方に向かって道路白線の輪郭点候補を検出し車線
領域を検出するものである。走行車線設定手段118
は、前記上部道路領域検出手段114で検出した車線領
域と前記底部道路輪郭点抽出手段117で検出した車線
領域を併合してひとつの車線として検出するものであ
る。
像撮影手段111からの輝度データを使用して空間周波
数の高い成分のみの画像を生成するものであり、二次元
ハイパスフィルタ(HPF)により構成される。ボケ画
像生成手段112とエッジ画像抽出手段115とは道路
画像撮像手段111により撮像された画像のうち、選択
する周波数が重ならないように夫々低周波と高周波とを
分離している。輪郭点推定手段116はエッジ画像抽出
手段115からの高周波画像データを使用して、道路の
白線に相当する白線候補となる推定輪郭点を検出するも
のである。底部道路輪郭点抽出手段117は、輪郭点推
定手段116で検出した推定輪郭点を使用して画像底部
から上方に向かって道路白線の輪郭点候補を検出し車線
領域を検出するものである。走行車線設定手段118
は、前記上部道路領域検出手段114で検出した車線領
域と前記底部道路輪郭点抽出手段117で検出した車線
領域を併合してひとつの車線として検出するものであ
る。
【0029】次にこのように構成された道路白線検出装
置の動作について、図2,図3の画像例及び図12のフ
ローチャートを用いて説明する。図2(a)は画像入力
手段からの輝度画像である。さてステップS1におい
て、2次元のローパスフィルタ(LPF)に道路画像撮
像手段111からの画像データを入れて、図5に示すよ
うな2次元の周波数面(ω1,ω2)で原点を中心に半
径ω=ω0以下の低周波画像データを作成する。図2
(b)はこうして得られたボケ画像を示す図である。次
にステップS2において、低周波画像データを用いて輝
度によるヒストグラムを作成する。図6はこうして作成
された輝度値ヒストグラムの一例を示す。
置の動作について、図2,図3の画像例及び図12のフ
ローチャートを用いて説明する。図2(a)は画像入力
手段からの輝度画像である。さてステップS1におい
て、2次元のローパスフィルタ(LPF)に道路画像撮
像手段111からの画像データを入れて、図5に示すよ
うな2次元の周波数面(ω1,ω2)で原点を中心に半
径ω=ω0以下の低周波画像データを作成する。図2
(b)はこうして得られたボケ画像を示す図である。次
にステップS2において、低周波画像データを用いて輝
度によるヒストグラムを作成する。図6はこうして作成
された輝度値ヒストグラムの一例を示す。
【0030】さて図2(a)において画像の底面の中央
部の点RはTVカメラが車両前方のほぼ中央に取付けら
れているものとすれば、この部分は確実に道路を映し出
している。従ってこの点Rの輝度値を輝度ヒストグラム
から読出すと、この輝度を含む領域が道路であると推定
できる。従ってステップS3において、画像底部の中央
の点Aの輝度値の輝度ヒストグラムでの位置を中心に輝
度の高い方と低い方に向かって度数変化の変極点を探
す。ステップS4において、変極点に囲まれた輝度値の
輝度画像での範囲を求める。
部の点RはTVカメラが車両前方のほぼ中央に取付けら
れているものとすれば、この部分は確実に道路を映し出
している。従ってこの点Rの輝度値を輝度ヒストグラム
から読出すと、この輝度を含む領域が道路であると推定
できる。従ってステップS3において、画像底部の中央
の点Aの輝度値の輝度ヒストグラムでの位置を中心に輝
度の高い方と低い方に向かって度数変化の変極点を探
す。ステップS4において、変極点に囲まれた輝度値の
輝度画像での範囲を求める。
【0031】図2(c)はこうして複数の領域に分割さ
れた画像を示している。これに前述した道路についての
知識を加えて、図2(d)の領域を車線領域とする。こ
こでステップS2,3はボケ画像から輝度変化の少ない
領域毎に分割する領域分割手段113の機能を達成して
おり、ステップS5は上部道路領域検出手段114の機
能を達成している。
れた画像を示している。これに前述した道路についての
知識を加えて、図2(d)の領域を車線領域とする。こ
こでステップS2,3はボケ画像から輝度変化の少ない
領域毎に分割する領域分割手段113の機能を達成して
おり、ステップS5は上部道路領域検出手段114の機
能を達成している。
【0032】一方ステップS5では、2次元のハイパス
フィルタ(HPF)に道路画像撮像手段111からの画
像データを入れて、図5に示すような2次元の周波数面
(ω1,ω2)で原点を中心に半径ω=ω3より大きい
高周波画像データを作成する。図3(e)は輝度画像か
ら得られるエッジ画像を示している。
フィルタ(HPF)に道路画像撮像手段111からの画
像データを入れて、図5に示すような2次元の周波数面
(ω1,ω2)で原点を中心に半径ω=ω3より大きい
高周波画像データを作成する。図3(e)は輝度画像か
ら得られるエッジ画像を示している。
【0033】次にステップS6において、図13に示す
ように画像底部から上方に向かって分割した領域ごとに
閾値thを設定する。ステップS7において、各領域で
その閾値thを超える点を検出するとともに前回求めた
点との距離および方向を計算する。ステップS8で、前
記距離の変化がΔL、方向の変化がΔΘより大きければ
道路輪郭点ではないと見做しステップS7に戻ってさら
に探索を続ける。ステップS9では、ステップS8で検
出した左右の道路輪郭点をそれぞれ結んでそれらの線で
挟まれる領域を底部道路車線領域とする。
ように画像底部から上方に向かって分割した領域ごとに
閾値thを設定する。ステップS7において、各領域で
その閾値thを超える点を検出するとともに前回求めた
点との距離および方向を計算する。ステップS8で、前
記距離の変化がΔL、方向の変化がΔΘより大きければ
道路輪郭点ではないと見做しステップS7に戻ってさら
に探索を続ける。ステップS9では、ステップS8で検
出した左右の道路輪郭点をそれぞれ結んでそれらの線で
挟まれる領域を底部道路車線領域とする。
【0034】ステップS10では、ステップS4で検出
した上部道路車線領域とステップS9で検出した底部道
路車線領域を重複を許して一つの車線に合併する。
した上部道路車線領域とステップS9で検出した底部道
路車線領域を重複を許して一つの車線に合併する。
【0035】以上のように、画像上部では領域抽出で車
線を検出し、画像底部ではエッジデータによって車線を
検出することによって夜間雨天時の車線検出も可能にな
る。
線を検出し、画像底部ではエッジデータによって車線を
検出することによって夜間雨天時の車線検出も可能にな
る。
【0036】
【発明の効果】以上詳細に説明したように本発明によれ
ば、空間周波数的に重なりのない低周波画像と高周波画
像から独立して道路領域と道路白線候補の輪郭点を検出
している。そのため高周波画像のみから輪郭点を検出す
る従来例に比べてノイズの影響を受け難く、白線を高精
度で検出することができるという効果が得られる。
ば、空間周波数的に重なりのない低周波画像と高周波画
像から独立して道路領域と道路白線候補の輪郭点を検出
している。そのため高周波画像のみから輪郭点を検出す
る従来例に比べてノイズの影響を受け難く、白線を高精
度で検出することができるという効果が得られる。
【0037】また、場所ごとに検出方法を変えることに
より夜間雨天時のような悪環境下でも車線の検出ができ
るようになる。
より夜間雨天時のような悪環境下でも車線の検出ができ
るようになる。
【図1】本発明の実施の形態による道路白線検出装置を
示すブロック図
示すブロック図
【図2】入力画像とその画像処理の過程を示す図(その
1)
1)
【図3】画像処理の過程を示す図(その2)
【図4】実施の形態における道路白線検出の処理フロー
チャート
チャート
【図5】実施の形態において生成画像の空間周波数と処
理する画像信号の一例を示す図
理する画像信号の一例を示す図
【図6】この実施の形態において生成される輝度ヒスト
グラムの一例を示す図
グラムの一例を示す図
【図7】実施の形態において空間周波数の高い成分のみ
の画像において白線輪郭点を検索する一例を示す図
の画像において白線輪郭点を検索する一例を示す図
【図8】ハフ空間とスプライン曲線の係数の領域を示す
図
図
【図9】従来の道路白線検出装置の一例を示すブロック
図
図
【図10】従来の道路白線検出装置との入力画像を示す
図
図
【図11】本発明の実施の形態による道路白線検出装置
を示すブロック図
を示すブロック図
【図12】道路白線検出装置の動作のフローチャート
【図13】画像を分割して領域ごとに閾値を設定する仕
方を示した図
方を示した図
11 道路画像撮影手段 12 ボケ画像生成手段 13 領域分割手段 14 道路領域検出手段 15 エッジ画像抽出手段 16 輪郭点推定手段 17 道路輪郭点抽出手段 18 曲線検出手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−298446(JP,A) 特開 平6−203154(JP,A) 特開 平9−6971(JP,A) 特開 平9−288738(JP,A) 特開 平9−330416(JP,A) 特開 平9−319872(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 7/40 G06T 1/00 G06T 7/60 G08G 1/16 JICSTファイル(JOIS)
Claims (5)
- 【請求項1】 道路画像データから空間周波数の低い周
波成分のみのデータを生成することによりボケ画像を生
成し、前記ボケ画像生成ステップで生成したボケ画像デ
ータを使用して輝度が実質的に同一の領域毎に分割し、
前記領域分割ステップからの領域分割データから画像の
所定位置を含む領域を道路領域として検出し、 道路画像データのうち前記ボケ画像生成ステップで生成
した空間周波数成分を含まない互いに独立な空間周波数
の高い成分のみを検出することによりエッジ画像を抽出
し、前記エッジ画像抽出ステップからの高周波成分デー
タから道路白線に対応すると推定される推定輪郭点を推
定し、 前記道路領域検出ステップより検出された道路領域に含
まれる前記輪郭点推定ステップから得られる道路白線の
推定輪郭点のみを抽出し、 前記輪郭点抽出ステップで抽出された白線輪郭点を使用
して白線を検出することを特徴とする道路白線検出方
法。 - 【請求項2】 車両前方の道路を撮影する道路画像撮影
手段と、 前記道路画像撮影手段からの道路画像データのうち空間
周波数の低い周波成分のみのデータを生成するボケ画像
生成手段と、 前記ボケ画像生成手段から得られる画像データを使用し
て輝度が実質的に同一の領域毎に分割する領域分割手段
と、 前記領域分割手段からの領域分割データから画像の所定
位置を含む領域を道路領域として検出する道路領域検出
手段と、 前記道路画像撮影手段からの道路画像データのうち空間
周波数の高い周波成分を検出するエッジ画像抽出手段
と、 前記エッジ画像抽出手段からの高周波成分データから道
路白線に対応すると推定される推定輪郭点を抽出する輪
郭点推定手段と、 前記道路領域検出手段より検出された道路領域に含まれ
る前記輪郭点推定手段から得られる道路白線の推定輪郭
点のみを選択する輪郭点抽出手段と、 前記輪郭点抽出手段から抽出された白線輪郭点を使用し
て多項式による曲線として白線を検出する曲線検出手段
と、を具備することを特徴とする道路白線検出装置。 - 【請求項3】 前記輪郭点抽出手段は、前記道路領域検
出手段より検出された道路領域に含まれ、且つ道路領域
の端部から所定範囲内にある前記輪郭点推定手段からの
推定輪郭点を選択するものであることを特徴とする請求
項2記載の道路白線検出装置。 - 【請求項4】 前記曲線検出手段は、各白線輪郭点を通
るスプライン曲線を検出し、該白線輪郭点の一部から複
数のスプライン補間式を算出し、スプライン補間式の最
多係数値に基づいて該スプライン曲線の係数値を補正す
ることにより曲線を算出するものであることを特徴とす
る請求項2記載の道路白線検出装置。 - 【請求項5】 前記道路領域検出ステップは、低周波画
像の輝度分布によって分割された領域を道路に関する知
識を使用して画像上部からその領域を併合して車線領域
を検出することを特徴とする請求項1記載の道路白線検
出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09139484A JP3104645B2 (ja) | 1996-08-28 | 1997-05-29 | 道路白線検出方法及び道路白線検出装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8-226610 | 1996-08-28 | ||
JP22661096 | 1996-08-28 | ||
JP09139484A JP3104645B2 (ja) | 1996-08-28 | 1997-05-29 | 道路白線検出方法及び道路白線検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10124687A JPH10124687A (ja) | 1998-05-15 |
JP3104645B2 true JP3104645B2 (ja) | 2000-10-30 |
Family
ID=26472285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09139484A Expired - Fee Related JP3104645B2 (ja) | 1996-08-28 | 1997-05-29 | 道路白線検出方法及び道路白線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3104645B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3444192B2 (ja) * | 1998-05-21 | 2003-09-08 | 日産自動車株式会社 | 撮像環境推定装置 |
JP4451179B2 (ja) * | 2004-03-26 | 2010-04-14 | クラリオン株式会社 | 車線位置検知システム |
JP2007050110A (ja) * | 2005-08-18 | 2007-03-01 | Pentax Corp | 画像処理装置および電子内視鏡装置 |
JP5117522B2 (ja) * | 2010-03-08 | 2013-01-16 | 本田技研工業株式会社 | 車両周辺監視装置 |
KR101612822B1 (ko) * | 2011-08-05 | 2016-04-15 | 엘지전자 주식회사 | 차선 인식 장치 및 그 방법 |
FR3051275A1 (fr) * | 2016-05-13 | 2017-11-17 | Inst Vedecom | Procede de traitement d’image pour la reconnaissance de marquage au sol et systeme pour la detection du marquage au sol |
-
1997
- 1997-05-29 JP JP09139484A patent/JP3104645B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10124687A (ja) | 1998-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3868876B2 (ja) | 障害物検出装置及び方法 | |
JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
US9256791B2 (en) | Road vertical contour detection | |
US8548226B2 (en) | Stereo image processing device and method | |
JP6233345B2 (ja) | 路面勾配検出装置 | |
JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
US20110262009A1 (en) | Method and apparatus for identifying obstacle in image | |
JP6711395B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム | |
CN103366155B (zh) | 通畅路径检测中的时间相干性 | |
JPH11351862A (ja) | 前方車両検出方法及び装置 | |
JP3961584B2 (ja) | 区画線検出装置 | |
JP6733302B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP2015148887A (ja) | 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム | |
JP5421819B2 (ja) | 車線認識装置 | |
JP2005217883A (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
US9384576B2 (en) | Method and device for computing a change in an image scale of an object | |
JP3807651B2 (ja) | 白線認識装置 | |
JP3104645B2 (ja) | 道路白線検出方法及び道路白線検出装置 | |
JP6711128B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP3319401B2 (ja) | 走行路認識装置 | |
JP3915621B2 (ja) | レーンマーク検出装置 | |
WO2022009537A1 (ja) | 画像処理装置 | |
KR102629639B1 (ko) | 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 | |
JP4039402B2 (ja) | 物体検出装置 | |
JPH1141521A (ja) | 撮像装置および車間距離計測装置ならびに車間距離計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080901 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080901 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |