JP2000123300A

JP2000123300A - 消失点による補正を伴う白線検出方法及び装置

Info

Publication number: JP2000123300A
Application number: JP10291239A
Authority: JP
Inventors: Kenichi Matsumura; 謙一松村; Kazuyuki Sakurai; 和之櫻井; Yuji Katsuno; 有二勝野; Hirofumi Matsuura; 洋文松浦
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1998-10-14
Filing date: 1998-10-14
Publication date: 2000-04-28
Anticipated expiration: 2018-10-14
Also published as: JP3047895B2

Abstract

(57)【要約】【課題】撮像画像から道路消失点を検出する際に、ロバ
スト性と高精度の両立を可能とした白線算出方法及び装
置の提供。【解決手段】画像撮像手段で取得された撮像画像情報か
ら、白線及び道路端線、もしくは白線、道路端線、代替
特徴点からの線、を含む４本以上の線を推定する手段
と、前記推定された線のうち３本の線の相互の交点を求
める手段と、前記３交点の距離を指標にどの程度の一致
度で３本の線が交わっているかを評価する手段と、前記
評価の結果、最も近い３交点から、その平均位置を求め
ることで消失点を推定する手段と、を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車載カメラで撮像
した道路画像情報から白線を検出する方法及び装置に関
し、特に、道路端線等の直線の交差する消失点算出方法
及び装置と消失点による補正を伴う白線検出方法に関す
る。

【０００２】

【従来の技術】車載カメラで撮像された画像情報から道
路領域等を検出するに際して、白線等の道路端線が交叉
する消失点を求める処理が行われる。この消失点の算出
として、例えば特開平７−７８２５５号公報には、消失
点を画面内の直線部分の交点とし求めるに際して、画面
上の点を所定方法に沿って順に処理したとき、色調など
の変化が小さい安定状態と色調などの変化が大きい不安
定状態との切り換わる点を直線候補点として抽出するこ
とで、白線のみならず、中央分離帯、路側帯に対応した
直線部分を抽出し、道路消失点の算出精度を高めるよう
にした方法が提案されている。

【０００３】ところで、画像情報から推定した道路端線
について、本来、道路上の線の平行性から、その消失点
上の１点で交わるはずであるが、実際に推定した道路端
線では、例えば図１に示すように、１点で交差していな
い。

【０００４】

【発明が解決しようとする課題】すなわち、従来の消失
点算出方法は下記記載の問題点を有している。

【０００５】第１の問題点は、道路白線を検出して得ら
れる消失点の精度が低い、ということである。また、こ
の消失点を基準に、その後の、画像処理、車の制御を行
っている為、消失点の算出精度が低いことは、車の制御
にまで影響を及ぼす。

【０００６】その理由は、消失点は補外（外挿）して、
交点を求めることで、算出している為、算出した白線の
傾き変動の影響を非常に受け、交点位置が大きく変わる
ためである。

【０００７】第２の問題点は、線推定単独の精度を確保
することが困難である、ということである。

【０００８】その理由は、ある影などの系統的な誤差要
因が、屋外画像の場合、多く発生している、からであ
る。

【０００９】したがって本発明は、上記問題点に鑑みて
なされたものであって、その目的は、ロバスト性と高精
度の両立を可能とした消失点算出方法及び装置を提供す
ることにある。

【００１０】

【課題を解決するための手段】前記目的を達成する本発
明は、その概略を述べれば、検出した白線もしくは道路
端線、その他の代替特徴点から求めた線の組み合わせの
中から、最も３本の線が近くで交互に交わる線のみを用
いて消失点を推定することで、ロバスト性、及び高精度
化を達成するものである。

【００１１】本発明は、撮像画像から、白線及び道路端
線、あるいは白線、道路端線、及び代替特徴点からの線
を推定し、前記推定された線のうち３本以上の線の相互
の交点から、前記交点相互の距離の和を最小とする３つ
線の３交点（「最近３交点」という）を取り出し、前記
３交点の平均位置を、推定消失点とする。

【００１２】そして、レーン（白線）検出において、検
出した白線もしくは道路端線、その他の代替特徴点から
求めた線についての消失点を利用して、誤検出した白線
もしくは道路端線、その他の代替特徴点から求めた線を
除外することで、整合性の低い推定結果の線を使用しな
い、ようにしたものである。

【００１３】

【発明の実施の形態】本発明の実施の形態について説明
する。図１において、計４本の白線、道路端線の交点計
６箇所から、３本に対応する３点について、相互距離の
和が最短になる３交点を取出し、その平均位置を、図
２、及び図３に示すように、推定消失点とする。消失点
が高信頼度・高精度で算出でき、その推定消失点を用い
ることで、白線検出のロバスト性や精度向上を実現する
ものである。

【００１４】なお、道路がカーブの場合、左右の白線と
道路端線から推定した直線に代えて、接線を用いること
で、上記効果を奏する。

【００１５】

【実施例】本発明の実施例について図面を参照して以下
に説明する。

【００１６】図９は、本発明の一実施例の構成を示す図
である。図１、図２、図３は、本発明の一実施例を説明
するための図である。

【００１７】図９を参照すると、本発明の一実施例の装
置は、画像撮像手段８０１で取得された撮像画像情報か
ら、白線、道路端などの特徴点から白線・道路端線を推
定する手段８０２と、推定された線の３本の相互の交点
を求める手段８０３と、３交点の距離を指標に評価する
手段８０４と、最も近い３交点から消失点を推定する手
段８０５と、を有する。

【００１８】画像撮像手段８０１により、撮像画像１０
１を得、これに対し、白線・道路端などの特徴点から白
線・道路端線を推定する手段８０２により、白線１０
２、道路端線１０３等の４本以上の線を抽出する。

【００１９】次に、検出された線から３本の線を選ん
で、推定された線の３本の相互の交点を求める手段８０
３を適用して３交点を求め、その後、３交点の距離を指
標に評価する手段８０４にて評価を行い、相互距離の和
が最短になる３交点１０７を求め、それ以外の交点は除
外する。

【００２０】３交点１０７に対し、最近３交点から消失
点を推定する手段８０５において、消失点１０４を推定
する。

【００２１】なお、これらの手段８０２〜８０５は、コ
ンピュータ上で実行されるプログラム制御によってその
機能を実現するようにしてもよい。この場合、該プログ
ラムを格納した記録媒体からコンピュータが該プログラ
ムを読み出し実行することで本発明を実施することがで
きる。

【００２２】次に、図１、図２、図３を参照して、本実
施例の全体の動作について詳細に説明する。

【００２３】車両から撮像された道路の撮像画像１０１
から白線１０２と道路端線１０３の計４本の線を推定す
る。

【００２４】その相互の交点は、図１の１０６の部分拡
大図である図２に示すように、必ずしも１箇所で交わっ
てはいない。この為、３本の線の相互交点間の距離を基
準に、どの程度の一致度で、３本の線が交わっているか
評価を行う。

【００２５】この結果、最も近くで交互に交わっている
３本の線と、最近の３交点１０７を求めることが出来
る。図２の１０９の部分拡大図である図３に示すよう
に、最近の３交点１０７からなる三角形の平均位置１１
０を、消失点の推定位置とする。

【００２６】なお、平均位置としては、例えば、消失点
を通る線を再算出する場合には、（１）単純平均、もし
くは交点をなした線の信頼度に応じた荷重からの重心、
（２）推定した線の傾きを保存して推定線を平行移動さ
せる場合の内心、（３）線の傾きの補正を抑える場合は
外心と、その後の処理に応じた処理にて、平均位置とし
て消失点を推定する。

【００２７】次に本発明の第２の実施例について説明す
る。図４乃至図８は、本発明の第２の実施例を説明する
ための図である。

【００２８】図４を参照すると、検出した白線１０２、
道路端線１０３以外に、代替特徴点から推定した線１１
１も用いて、より多くの推定線について、３線の組み合
わせについて３交点を算出している。

【００２９】この場合、図５に示すように、検出した線
の対象種類ごとに、ポイントを与えたり、検出した線の
信頼度を用いて、判定を優先度順に行う。判定基準に合
致するものがその範囲内であれば、その先の判定を行わ
ない。図５に示す例では、線種別毎にポイント付して、
３本の線の優先度を求めており、検出された白線１０２
である線、をポイント１、道路端線１０３である線
、をポイント２、代表特徴点からの線１１１である
線をポイント３とし、３本の組合せについて、白線
、白線、道路端線又は道路端線の組合せの場
合、ポイントは１＋１＋２＝４と優先度は最も大とな
り、道路単線、、代替特徴点から線の組合せの場
合、ポイントは２＋２＋３＝７となり、優先度は最も低
くなる。

【００３０】なお、線〜の検出信頼度（例えば０．
８，０．５，０．４，０，６，０．３）を用いて、判定
を優先度を求めるようにしてもよい。

【００３１】図６は、判定の様子を説明する模式図であ
る。図６に示すように、３交点の単純な距離の合計では
なく、推定した線種に従い、加重を設けて、加重付きで
の距離評価を行っている。すなわち、３点距離としてＬ＝Ｌ１×１＋Ｌ２×Ｌ３×３Ｌ１：推定した白線上の交点間距離荷重＝１Ｌ２：推定した道路端線上の交点間距離荷重＝２Ｌ３：推定した代替特徴量からの線線上の交点間距離
荷重＝３

【００３２】同時に、更に、図７に示すように、同じサ
イド（側）にある線（同じ傾き方向の線）の組み合わせ
は、交点の位置算出精度が低いことから、判定対象外と
している。

【００３３】最近３交点からの消失点の推定及び、推定
線の再計算としては、図８に示すように、内心を利用し
て、推定線を同時に内心上を通るように、平行移動（平
行のシフトさせる方法もある。

【００３４】これは、レーン走行では、傾き情報が重要
であるため、この情報を保存する場合に適用する。

【００３５】なお、標準的には、３交点の重心を推定消
失点とし、重心を通ることを拘束条件に、線を再推定す
ることも行っている。

【００３６】

【発明の効果】以上説明したように、本発明によれば、
下記記載の効果を奏する。

【００３７】本発明の第１の効果は、画像処理の基準と
なる消失点をロバストに且つ高精度に求めることができ
る、ということである。

【００３８】その理由は、本発明においては、推定した
線の信頼度を加味して、選択した３線の３交点のまとま
り具合を指標にして、消失点の推定に使用する３線を選
別しており、例外データに引きずられた誤差の多い推定
線を、消失点推定から除外している、ためである。

【００３９】本発明の第２の効果は、線の再推定を行う
ことができる、ということである。

【００４０】その理由は、本発明においては、求まった
消失点の精度が高いため、この消失点を通って傾きを変
化させながら線としての再評価を行う際に、消失点精度
が低い場合に発生する線評価値のピークの平坦化を抑止
することができる、ためである。

【図面の簡単な説明】

【図１】本発明の一実施例を説明するための図である。

【図２】本発明の一実施例を説明するための図であり、
図１の領域１０６の部分拡大図である。

【図３】本発明の一実施例を説明するための図であり、
図２の領域１０９の部分拡大図である。

【図４】本発明の第２の実施例を説明するための図であ
る。

【図５】本発明の第２の実施例を説明するための図であ
る。

【図６】本発明の第２の実施例を説明するための図であ
る。

【図７】本発明の第２の実施例を説明するための図であ
る。

【図８】本発明の第２の実施例を説明するための図であ
る。

【図９】本発明の一実施例の構成を示す図である。

【符号の説明】

１０１撮像画像１０２検出した白線１０３検出した道路端線１０４推定した消失点１０５推定から除外された道路端線１０６撮像画像の部分領域１０７最近の３交点（評価指標が最小となる３交点）１０８除外する３交点１０９部分領域１１０最近３交点の平均位置１１１代替特徴量から検出した線１１２撮像画像の部分図１１３距離算出の例での３線の３交点８０１画像撮像手段８０２白線道路端推定手段８０３推定された３本の線の交点を求める手段８０４３交点の距離の指標を評価する手段８０５３交点から消失点を推定する手段

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１１年９月２７日（１９９９．９．２
７）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正内容】

【００１１】本発明は、撮像画像から、白線及び道路端
線、あるいは白線、道路端線、及び代替特徴点からの線
を推定し、前記推定された線のうち３本以上の線の相互
の交点から、前記交点相互の距離の和を最小とする３つ
線の３交点（「最近３交点」という）を取り出し、前記
３交点の平均位置を、推定消失点とする。本発明の白線
検出方法においては、前記最近３交点からの推定位置と
して内心を用い、線の再推定では、傾きを保存し上で、
線の推定位置の補正を最小にする。また、前記最近３交
点からの推定位置として重心を用い、線の再推定では、
前記重心を通る線として再推定する。 ─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１１年１２月２０日（１９９９．１２．
２０）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

───────────────────────────────────────────────────── フロントページの続き (72)発明者勝野有二神奈川県横浜市神奈川区新浦島町１丁目１番地25 日本電気ロボットエンジニアリング株式会社内 (72)発明者松浦洋文神奈川県横浜市神奈川区新浦島町１丁目１番地25 日本電気ロボットエンジニアリング株式会社内Ｆターム(参考） 2F065 AA03 AA32 BB02 BB27 CC40 DD03 FF01 FF26 JJ03 JJ26 MM06 QQ21 QQ32 QQ42 UU05 5B057 AA16 DA07 DB02 DC16 5H180 AA01 CC04 CC24 LL01 LL02 LL09

Claims

【特許請求の範囲】

【請求項１】撮像画像から、白線及び道路端線、あるい
は白線、道路端線、及び代替特徴点からの線を推定し、前記推定された線のうち３本以上の線の相互の交点か
ら、前記交点相互の距離の和を最小とする３つ線の３交
点（「最近３交点」という）を取り出し、前記３交点の
平均位置を、推定消失点とする、ことを特徴とする消失
点算出方法。
【請求項２】撮像画像から、白線、道路端線、及び代替
特徴点からの線を推定し、前記推定された線の交点から相互の距離の和を計算する
際に、前記線の検出信頼性に対応するペナルティとし
て、白線＜道路端線＜代替特徴点から、推定した線の順
に、その交点間を結ぶ線種に応じて、予め定められた荷
重を掛けた相互距離の和を最小にする３交点（「最近３
交点」という）を取り出し、前記３交点の平均位置を推
定消失点とする、、ことを特徴とする消失点算出方法。
【請求項３】白線の検出信頼性評価の評価値が低い場合
に、請求項１又は２記載の方法を用いて消失点を推定す
る、ことを特徴とする消失点算出方法。
【請求項４】白線のみ３本ある場合、白線２本と道路端線１本、白線１本と道路端線２本、白線２本と代替特徴点からの線１本、白線１本と道路端線１本と代替特徴点からの線１本の順番でどの程度の一致度で３本の線が交わっているか
の評価を行い、評価基準に最初合致したものが検出された時点で、消失
点の推定処理を打ち切る、ことを特徴とする請求項１又
は２記載の消失点算出方法。
【請求項５】請求項１乃至４のいずれか一に記載の消失
点算出方法により消失点を求め、誤検出した白線もしく
は道路端線、その他の代替特徴点から求めた線を推定か
ら除外することを特徴とする白線検出方法。
【請求項６】請求項１乃至４のいずれか一に記載の消失
点算出方法による前記最近３交点からの推定位置として
内心を用い、線の再推定では、傾きを保存し上で、線の
推定位置の補正を最小にする、ことを特徴とする白線検
出方法。
【請求項７】請求項１乃至４のいずれか一に記載の消失
点算出方法による前記最近３交点からの推定位置として
重心を用い、線の再推定では、前記重心を通る線として
再推定する、ことを特徴とする白線検出方法。
【請求項８】３交点算出のための３線として、画面上の
垂直を基準として、同じ傾きの線３本については、指標
算出対象としない、ことを特徴とする請求項１乃至４の
いずれか一に記載の消失点算出方法。
【請求項９】画像撮像手段と、前記画像撮像手段で取得された撮像画像情報から、白線
及び道路端線、もしくは、白線、道路端線、及び代替特
徴点からの線、を含む４本以上の線を推定する手段と、前記推定された線のうち３本の線の相互の交点を求める
手段と、前記３交点の距離を指標にどの程度の一致度で３本の線
が交わっているかを評価する手段と、前記評価の結果、最も近い３交点から、その平均位置を
求めることで消失点を推定する手段と、を備えたことを特徴とする消失点算出装置。
【請求項１０】前記推定された３本の線の交点から相互
の距離の和を計算する際に、前記線の検出信頼性に対応
するペナルティとして、白線＜道路端線＜代替特徴点か
ら、推定した線の順に、その交点間を結ぶ線種に応じ
て、予め定められた荷重を掛けた相互距離の和を最小と
する３交点を取り出し、前記３交点の平均位置を推定消
失点とする、ことを特徴とする請求項９記載の消失点算
出装置。
【請求項１１】請求項８又は９記載の消失点算出装置に
より消失点を求め、誤検出した白線もしくは道路端線、
その他の代替特徴点から求めた線を、線の推定から除外
することを特徴とする白線検出装置。
【請求項１２】請求項８又は９記載の消失点算出装置に
よる前記最近３交点からの推定位置として内心を用い、
線の再推定では、傾きを保存し上で、線の推定位置の補
正を最小にする、ことを特徴とする白線検出装置。
【請求項１３】請求項８又は９記載の消失点算出装置に
よる前記最近３交点からの推定位置として重心を用い、
線の再推定では、前記重心を通る線として再推定する、
ことを特徴とする白線検出装置。
【請求項１４】（ａ）画像撮像手段で取得された撮像画
像情報から、白線及び道路端線、もしくは白線、道路端
線、代替特徴点からの線、を含む４本以上の線を推定す
る処理と（ｂ）前記推定された線のうち３本の線の相互の交点を
求める処理と、（ｃ）前記３交点の距離を指標にどの程度の一致度で３
本の線が交わっているかを評価する処理と、（ｄ）前記評価の結果、最も近い３交点から、その平均
位置を求めて消失点を推定する処理と、の上記（ａ）〜（ｄ）の各処理をコンピュータで実行す
るためのプログラムを記録した記録媒体。