WO2005029441A1

WO2005029441A1 - 路面走行レーン検出装置

Info

Publication number: WO2005029441A1
Application number: PCT/JP2004/013803
Authority: WO
Inventors: Toshiaki Kakinami; Takashi Hiramaki; Tokihiko Akita
Original assignee: Aisin Seiki Kabushiki Kaisha
Priority date: 2003-09-24
Filing date: 2004-09-22
Publication date: 2005-03-31
Also published as: KR20060057005A; JP3864945B2; CN1836267A; KR100741739B1; EP1667086A4; CN100424724C; DE602004032450D1; US7583816B2; EP1667086B1; EP1667086A1; JP2005100001A; US20070107965A1

Abstract

走行レーンの境界線の位置を安定的に特定し得る路面走行レーン検出装置を提供する。エッジ点検出手段ＥＤにて画像中の輪郭線から複数のエッジ点を検出し、そのエッジ点の水平成分に対し垂直方向エッジヒストグラムを作成するエッジヒストグラム作成手段ＨＤと、垂直方向エッジヒストグラムにおける分布の周期性とプラスエッジ及びマイナスエッジの分布の組み合わせに基づきブロック状の標示線の有無を判定するブロック標示線判定手段ＢＤと、ブロック状の標示線の存在範囲の（走行レーン中心に対して）外側に存在する垂直方向のエッジ点を検出するレーン境界エッジ検出手段ＭＤとを備えている。そして、レーン境界線位置特定手段ＬＤにて、垂直方向のエッジ点に適合する曲線の位置を、走行レーンの境界線の位置として特定する。

Description

明細書

路面走行レーン検出装置

技術分野

[0001] 本発明は、路面上の走行レーン検出装置に関し、特に車両前方の路面を連続して撮像した画像カゝら走行レーンを検出する路面走行レーン検出装置に係る。

背景技術

[0002] 自動車の自動制御や運転者の運転支援等にお!ヽては、カメラで撮像した画像から路面上の走行レーンを適切且つ安定的に検出することが重要となる。通常、路面上には、走行レーン (車線)の境界を識別するレーン境界線をはじめ種々の目的に応じて標示線が塗装されており、実線又は破線もしくはブロック状というように異なる形態の標示線や、白色あるいは黄色というように異なる色彩の標示線が混在し、更には、これらの標示線が複合されたものも存在する。

[0003] 例えば、図 3はトンネルの入口近傍の 2車線の路面における標示線を含む画像 DS の一例であるが、走行レーン DLの左側の境界を示すレーン境界線 LBとして、白色又は黄色で実線の標示線が用いられ、その内側に塗装された白色でブロック状の標示線が走行誘導線 LGとして用いられている。また、走行レーン DLの右側の境界を示すレーン境界線 RBとしては、白色又は黄色で破線の標示線が用いられ、その内側に塗装された白色でブロック状の標示線が走行誘導線 RGとして用いられて、る。通常、これらの標示線の幅は 20cmに設定され、破線の標示線は塗装部の長さが 8 m、塗装部間の空白部分の長さが 12mに設定されている。また、ブロック状の標示線の幅は 30cmに設定され、塗装部の長さが 2— 3mで、塗装部間の空白部分の長さが 2— 3mに設定されている。尚、本願においては、レーン境界線あるいは走行誘導線は機能力みた標示線を意味し、路面上の白線又は黄線そのものを指すときはレーンマークという。

[0004] 上記のように種々の標示線によって識別された路面上の走行レーンを検出する装置については、従来力も種々提案されており、例えば特許文献 1に開示されている。同公報においては、車両用走路判定装置および車両制御装置に関し、検出された互いに隣接する複数の標示線力車両における所定の基準線を適切に設定することを目的として、次のように構成されている。即ち、カメラによる撮像画像力も道路の路面上に描かれた標示線を検出し、その中から走行レーンを区切る一対の白線となるべき標示線を抽出する。そして、白線として抽出された一対の標示線の間隔を検出する。白線として抽出された一対の標示線の間隔が検出されて、る状況下において、カメラによる撮像画像力道路の少なくとも一方側にお、て互、に隣接する複数の標示線が検出された場合、その時点で検出されている白線としての一対の標示線の間隔に基づいて、その間隔に最も合致する一対の標示線を白線として抽出する旨記載されている。

[0005] また、特許文献 2には、車線境界を安定に検出することを目的とし、以下のように構成された車線境界検出装置が提案されている。即ち、画像データの空間的な濃度変化に対する感度が比較的高く設定され、画像データから第一の輪郭線情報を抽出する第一の輪郭情報検出手段と、画像データの空間的な濃度変化に対する感度が比較的低く設定され、画像データから第二の輪郭線情報を抽出する第二の輪郭情報検出手段と、第一及び第二の輪郭線情報から白線群の最外輪郭情報を抽出する輪郭抽出手段が備えられ、該最外輪郭情報に基づヽて車線境界位置が設定される。従って、濃度変化に対する感度が高く設定されることで一方には白線間の隙間に対応するエッジの情報が含まれ、他方にはそれが含まれないので、その隙間に対応するエッジの情報の削除が容易になる旨記載されて、る。

[0006] 更に、特許文献 3にも、上記と同様の目的で、以下のように構成された車線境界検出装置が提案されている。即ち、最外輪郭抽出部 (特許文献 3における符号 15。以下同様）は、フレームバッファ部（13)に記憶された原画像データとエッジ検出部（14 )にて検出されたエッジの位置情報を含む輪郭データに基づいて白線群の最外輪郭情報を抽出する。最外輪郭抽出部（15)は、原画像データ力抽出されたエッジの位置情報を含む輪郭データに基づいて、該エッジが白線群を構成する白線の間に生じた隙間に対応する力否かを判定し、該隙間に対応するエッジを輪郭データ力も削除する旨記載されている。

[0007] そして、特許文献 4にも、上記と同様の目的で、以下のように構成された車線境界検出装置が提案されている。即ち、撮像手段により所定領域の車線を含む移動体の走行レーンを撮像して、画像データを得る。この得られた画像データに基づき、濃度ヒストグラムを作成し、ヒストグラムの集まりを検出してグループィ匕を行う。そして、ダループ化されたヒストグラムの中で、個々のヒストグラムの中央となる第 1中央位置を検出し、第 1中央位置に基づき、グループィ匕されたヒストグラムの集まりの中で中央となる第 2中央位置を検出する。更に、異なるグループのヒストグラム間どうしの第 2中央位置に基づき、レーンマークまたはレーンマークが複数存在するレーンマーク群の中央を検出し、レーンマーク境界位置を決めるようにしたので、画像データに基づくヒストグラムの作成により、安定したレーンマーク境界位置の検出が行える旨記載されている。

[0008] 一方、画像処理技術に関し、直線検出方法として Hough変換が広く知られており、例えば、下記の非特許文献 1に解説されている。このような Hough変換はノイズにロバストな直線検出方法として知られ、（X, y)座標系の点を， Θ )極座標系上の曲線に変換する過程で、（X, y)座標系で同一の直線上にあった特徴点による， Θ )座標系上の曲線は 1点で交差することを特徴としている。更に、近年コンピュータビジョンにおいて、ロバスト法の一種である RANSAC (Random Sample Consensus)が注目されており、下記の非特許文献 2に詳細に解説されている。また、下記の非特許文献 3 にも、 RANSACが解説されている

[0009] 特許文献 1：特開 2003—168198号公報

特許文献 2：特開 2003— 187227号公報

特許文献 3：特開 2003— 187252号公報

特許文献 4 :特開 2003— 178399号公報

非特許文献 1 :田村秀行監修「コンピュータ画像処理入門」、総研出版、昭和 60年 3 月 10日第 1版第 1刷発行、 127頁及び 128頁

非特許文献 2 : Martin A. Fischero及び Robert C. Bolles著「Random Sample

Consensus : A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography」、 Graphics and Image Processing, vol.24(6)の page 381— 395。 1981年発行非特許文献 3： Richard Hartley及び Andrew Zisserman著「Multiple View Geometry in Computer Vision] , Cambridge University Press. 2000年 8月発行、 101頁乃至 107 頁

発明の開示

発明が解決しょうとする課題

[0010] 前掲の特許文献 1には、道路のレーン境界線として少なくとも一方側において互いに隣接する複数の標示線が検出されたときに、その時点で検出されている一対の標示線の間隔に基づ、て、その間隔に最も合致する一対の標示線を白線として抽出すると記載されており、両側のレーン境界線の間隔が一定であることを前提としている。また、複数の標示線の中から基準線を特定することは容易ではなぐ更なる改良が望まれる。

[0011] また、前掲の特許文献 2においては、空間的な濃度変化に対する感度の異なる 2 種類の輪郭検出方法により、複数標示線の隙間には感度を低くして最外輪郭位置を特定することとされており、照明条件等に起因して標示線と隙間のコントラストが不十分であったり、飽和して画像がつぶれても安定的に最外輪郭の位置を特定することはできる力本来のレーン境界線の位置にある標示線を検出することは至難である。

[0012] 更に、特許文献 3に記載の装置においては、エッジの間隔が狭くまた両エッジ位置の濃度差力、さい場合には複数の標示線の隙間と捉え、そのデータを採用しないようにして最外輪郭位置を抽出することとしており、上記と同様、安定的に最外輪郭の位置を特定することはできるが、これも、本来のレーン境界線の位置にある標示線を検出することは至難である。

[0013] そして、特許文献 4に記載の装置にぉヽては、画像を微分して得られるエッジのヒストグラムを作成してグループ化し、個々の標示線の中央位置やグループとしての中央位置を検出し、標示線の数等によって、中央位置や最も内側の位置を基準線として採用するようにして、るが、レーン境界線の位置を安定的に特定すると、う要請に充分応えているとは言い難い。特に、図 3に示すブロック状の標示線は幅が 30cmと広 V、ので、仮にこのブロック状の標示線が走行レーンの両側でレーン境界線として認識されると、ブロック状の標示線と実際のレーン境界線との間隔も含め、レーン幅（車線幅）が実際のレーン幅に比し lm弱狭くなることになり、場合によっては円滑な走行制御等が困難となる。従って、ブロック状の標示線を、走行レーンの境界線に対し確実に峻別し得ることが必要である。

[0014] そこで、本発明は、車両前方の路面を連続して撮像した画像カゝら走行レーンを検出する路面走行レーン検出装置において、走行レーンの境界線の位置を安定的に特定し得る路面走行レーン検出装置を提供することを課題とする。

課題を解決するための手段

[0015] 上記の課題を達成するため、本発明は、撮像手段によって路面を連続して撮像した画像カゝら走行レーンを検出する路面走行レーン検出装置において、画像中の輪郭線力複数のエッジ点を検出するエッジ点検出手段と、該エッジ点検出手段で検出した複数のエッジ点の水平成分に対し垂直方向エッジヒストグラムを作成するエツジヒストグラム作成手段と、該エッジヒストグラム作成手段が作成した垂直方向エッジヒストグラムにおける分布の周期性とプラスエッジ及びマイナスエッジの分布の組み合わせに基づきブロック状の標示線の有無を判定すると共に、該ブロック状の標示線の存在範囲を特定するブロック標示線判定手段と、該ブロック標示線判定手段が特定したブロック状の標示線の存在範囲の、前記走行レーンの中心に対して外側に存在する垂直方向のエッジ点を検出するレーン境界エッジ検出手段と、該レーン境界ェッジ検出手段が検出した垂直方向のエッジ点に適合する曲線の位置を、前記走行レーンの境界線の位置として特定するレーン境界線位置特定手段とを備えることとしたものである。尚、上記の曲線には複数の直線によって実質的に曲線となるものを含む

[0016] また、本発明は、撮像手段によって路面を連続して撮像した画像カゝら走行レーンを検出する路面走行レーン検出装置において、画像中の輪郭線力複数のエッジ点を検出するエッジ点検出手段と、該エッジ点検出手段で検出した複数のエッジ点の垂直成分に対し水平方向エッジヒストグラムを作成するエッジヒストグラム作成手段と、該エッジヒストグラム作成手段が作成した水平方向エッジヒストグラムにおける分布の周期性とプラスエッジ及びマイナスエッジの分布の組み合わせに基づきブロック状の標示線の有無を判定すると共に、該ブロック状の標示線の存在範囲を特定するブロック標示線判定手段と、該ブロック標示線判定手段が特定したブロック状の標示線の存在範囲の、前記走行レーンの中心に対して外側に存在する垂直方向のエッジ点を検出するレーン境界エッジ検出手段と、該レーン境界エッジ検出手段が検出した垂直方向のエッジ点に適合する曲線の位置を、前記走行レーンの境界線の位置として特定するレーン境界線位置特定手段とを備えたものとすることができる。

[0017] 更に、本発明は、撮像手段によって路面を連続して撮像した画像から走行レーンを検出する路面走行レーン検出装置において、画像中の輪郭線力複数のエッジ点を検出するエッジ点検出手段と、該エッジ点検出手段で検出した複数のエッジ点の水平成分に対して、垂直方向エッジヒストグラムを作成する垂直方向エッジヒストグラム作成手段と、該垂直方向エッジヒストグラム作成手段が作成した垂直方向エッジヒストグラムにおける分布の周期性とプラスエッジ及びマイナスエッジの分布の組み合わせに基づきブロック状の標示線の有無を判定するブロック標示線判定手段と、前記エッジ点検出手段で検出した複数のエッジ点の垂直成分に対して、水平方向エツジヒストグラムを作成する水平方向エッジヒストグラム作成手段と、前記ブロック標示線判定手段が前記ブロック状の標示線有と判定したときに、前記垂直方向エッジヒストグラム作成手段が作成した垂直方向エッジヒストグラムが車両の走行に応じて周期的に変化し、且つ前記水平方向エッジヒストグラム作成手段が作成した水平方向エッジヒストグラムに基づき前記走行レーンの中心に最も近接すると判定した垂直方向の複数のエッジ点に対し、前記走行レーンの中心に対して外側に存在する複数のエッジ点に適合する曲線の位置を、前記走行レーンの境界線の位置として特定するレーン境界線位置特定手段とを備えたものとしてもよい。

[0018] 尚、前記エッジ点検出手段は、前記撮像手段によって撮像した画像上で前記複数のエッジ点を検出した後、前記複数のエッジ点の座標値を 3次元路面座標に逆投影して前記複数のエッジ点として出力するように構成するとよ、。

発明の効果

[0019] 本発明は上述のように構成されているので以下の効果を奏する。即ち、各エッジヒストグラムによって、ブロック状の標示線は走行レーンの境界線とは峻別され、確実に除外されるので、走行レーンの境界線の位置を安定的に特定することができる。 [0020] 前記エッジ点検出手段は、上記のように構成することにより、複数のエッジ点の検出及び処理を適切に行うことができる。

図面の簡単な説明

[0021] [図 1]本発明の一実施形態に係る路面走行レーン装置の主要構成を示すブロック図である。

[図 2]本発明の一実施形態に係る路面走行レーン装置のハード構成を示すブロック図である。

[図 3]本発明の一実施形態において撮像された画像の一例を示す正面図である。

[図 4]本発明の一実施形態において路面座標に投影された複数のエッジ点から垂直方向エッジヒストグラムを作成する一例を示す平面図である。

[図 5]本発明の一実施形態において路面座標に投影された複数のエッジ点から垂直方向エッジヒストグラムを作成する他の例を示す平面図である。

[図 6]本発明の他の実施形態において垂直方向エッジヒストグラム及び水平方向エツジヒストグラムを用いて複合線区間を判定する例を示す平面図である。

符号の説明

[0022] VD 撮像手段

ED エッジ点検出手段

HD エッジヒストグラム作成手段

BD ブロック標示線判定手段

MD レーン境界エッジ検出手段

LD レーン境界線位置特定手段

CM カメラ

VB ビデオ入力バッファ回路

SY 同期分離回路

FM フレームメモリ

VC 画像処理部

VP 画像データ制御部

EP エッジ点検出部 HP エッジヒストグラム作成部

BP ブロック標示線判定部

MP レーン境界エッジ検出部

LP レーン境界線位置特定部

発明を実施するための最良の形態

[0023] 上記の構成になる本発明の路面走行レーン検出装置の具体的一態様について、以下に図面を参照して説明する。図 1は路面走行レーン検出装置の一実施形態を示すもので、撮像手段 VDによって路面を連続して撮像し、撮像した画像力走行レーンを検出するように構成されている。本実施形態では、画像中の輪郭線から複数のエッジ点を検出するエッジ点検出手段 EDと、このエッジ点検出手段 EDで検出した複数のエッジ点の水平成分に対し垂直方向エッジヒストグラムを作成するエッジヒストグラム作成手段 HDと、このエッジヒストグラム作成手段 HDが作成した垂直方向ェッジヒストグラムにおける分布の周期性とプラスエッジ及びマイナスエッジの分布の組み合わせに基づきブロック状の標示線の有無を判定すると共に、ブロック状の標示線の存在範囲を特定するブロック標示線判定手段 BDと、このブロック標示線判定手段 BDが特定したブロック状の標示線の存在範囲の、走行レーンの中心に対して外側に存在する垂直方向のエッジ点を検出するレーン境界エッジ検出手段 MDとを備えている。そして、レーン境界線位置特定手段 LDにて、レーン境界エッジ検出手段 M Dが検出した垂直方向のエッジ点に適合する曲線の位置を、走行レーンの境界線の位置として特定するように構成されている。尚、エッジヒストグラムは微分ヒストグラムとち呼ばれる。

[0024] 上記図 1に記載の路面走行レーン検出装置において、エッジヒストグラム作成手段 HDとしては、エッジ点検出手段 EDで検出した複数のエッジ点の垂直成分に対し水平方向エッジヒストグラムを作成するように構成し、ブロック標示線判定手段 BDにて、エッジヒストグラム作成手段 HDが作成した水平方向エッジヒストグラムにおける分布の周期性とプラスエッジ及びマイナスエッジの分布の組み合わせに基づきブロック状の標示線の有無を判定すると共に、ブロック状の標示線の存在範囲を特定するように構成することちできる。 [0025] 上記図 1の路面走行レーン検出装置は、図 2に示すハード構成を有する。即ち、図示しない車両の前方に、撮像手段 VDとして例えば CCDカメラ（以下、単にカメラという） CMが装着されており、路面を含む車両前方の視界が連続して撮像される。カメラ CMの映像信号は、ビデオ入力バッファ回路 VB、同期分離回路 SYを経て AZD変換されフレームメモリ FMに格納される。このフレームメモリ FMに格納された画像データは、画像処理部 VCで処理される。画像処理部 VCは、画像データ制御部 VP、エッジ点検出部 EP、エッジヒストグラム作成部 HP、ブロック標示線判定部 BP、レーン境界エッジ検出部 MP及びレーン境界線位置特定部 LPで構成されている。尚、エツジ点検出部 EP、エッジヒストグラム作成部 HP、ブロック標示線判定部 BP、レーン境界エッジ検出部 MP及びレーン境界線位置特定部 LPは、夫々、図 1のエッジ点検出手段 ED、エッジヒストグラム作成手段 HD、ブロック標示線判定手段 BD、レーン境界エッジ検出手段 MD及びレーン境界線位置特定手段 LDに対応している。

[0026] 画像処理部 VCにおいては、フレームメモリ FM内の画像データから、画像データ制御部 VPでアドレス指定されたデータが呼び出されてエッジ点検出部 EPに送られ、ここで複数のエッジ点が検出される。このように検出されたエッジ点データに対し、本実施形態では、エッジヒストグラム作成部 HPにて、その水平成分に対し垂直方向エッジヒストグラムが作成される。この垂直方向エッジヒストグラムにおける分布の周期性とプラスエッジ及びマイナスエッジの分布の組み合わせに基づき、ブロック標示線判定部 BPにてブロック状の標示線の有無が判定されると共に、ブロック状の標示線の存在範囲が特定される。更に、レーン境界エッジ検出部 MPにて、ブロック状の標示線の存在範囲の外側（即ち、走行レーンの中心に対して外側）に存在する垂直方向のエッジ点が検出され、レーン境界線位置特定手段 LDにて、曲線があてはめられる。即ち、レーン境界エッジ検出部 MPで検出された垂直方向のエッジ点に適合する曲線の位置力走行レーンの境界線の位置として特定される。

[0027] このように特定された走行レーンの境界線の位置は、更に必要に応じて、走行レーンの幅、道路の曲率、自車との位置、姿勢角等の検出結果と共に、システム制御部 S C (コンピュータ）に供給され、出力インターフェース回路 OUを介して外部のシステム機器（図示せず）〖こ出力される。尚、図 2における CL、 PW、 INは夫々クロック回路、電源回路及び入力インターフェース回路である。

[0028] 以下、上記エッジ点検出部 EP、エッジヒストグラム作成部 HP、ブロック標示線判定部 BP、レーン境界エッジ検出部 MP及びレーン境界線位置特定部 LPの各部における処理を説明する。先ず、エッジ点検出部 EPにおいては、図 3に示すようにカメラ C Mによって撮像された画像 DSから複数のエッジ点が検出され、複数のエッジ点の画像面（図示せず)から 3次元路面座標への逆投影が行われる。即ち、画像面上で検出された複数のエッジ点及びカメラ CMのパラメータに基づ、て、これら複数のエッジ点の座標値が、図 4及び図 5に示すように 3次元路面座標の点群として逆投影される

[0029] エッジヒストグラム作成部 HPにお、ては、路面上に逆投影された複数のエッジ点（図 4及び図 5におけるレーンマークとしての白線 RB等の輪郭部分）に対して、図 4及び図 5の左側に示すように、その水平成分に対し垂直方向エッジヒストグラムが作成される。尚、図 4及び図 5の右側において、白線 RB等の輪郭部分の直線はエッジ点群を表している。この垂直方向エッジヒストグラムにおいて、プラスエッジとマイナスェッジとの間、即ち図 4及び図 5のプラス（+ )方向のエッジヒストグラムピークとマイナス (一)方向のエッジヒストグラムピークとの間の垂直方向（図 4及び図 5の上下方向）の領域は、各ブロック線間の隙間に相当するので、各ブロック線間の隙間にてレーン境界線のエッジ（図 4及び図 5の破線の円枠内）が検出され得る。換言すれば、走行レーンの内側力も外側に向力つて（図 4では右方、図 5では左方に向力つて）走査されたときに、各ブロック状の標示線のエッジ点を除き、初めて検出されたエッジ点がレーン境界を示す標示線のエッジ点とされる。而して、レーン境界エッジ検出部 MPにおいて、ブロック状の標示線の存在範囲の（走行レーンの中心に対して)外側に存在する垂直方向のエッジ点が検出される。

[0030] 上記のようにレーン境界エッジ検出部 MPにて検出された垂直方向のエッジ点群に対し、レーン境界線位置特定部 LPにおいて曲線があてはめられ、走行レーンの境界線の位置として特定される。例えば前述の RANSACによって複数の直線を含む曲線があてはめられ、曲線フィッティングが行われる。この曲線のあてはめ（曲線フイツティング）に関しては、前述の Hough変換を用いてもよいし、例えば最小自乗法を適用することもできる。また、エッジ点群に対して所定の属性に基づいてグループ化してお、て曲線フィッティングを行なうこととしてもよ!/、。

[0031] 上記の実施形態においては、垂直方向エッジヒストグラムにおける分布の周期性とプラスエッジ及びマイナスエッジの分布の組み合わせに基づき、ブロック状の標示線の存在範囲を特定することとしている力前述のように、水平方向エッジヒストグラムにおける分布の周期性とプラスエッジ及びマイナスエッジの分布の組み合わせに基づき、ブロック状の標示線の存在範囲を特定することができ、図 6の下方に水平方向ェッジヒストグラムの一例を示して、る。

[0032] 更に、本発明の他の実施形態として、図 6に示すように、検出されたエッジ点群に対して垂直方向エッジヒストグラム及び水平方向エッジヒストグラムを作成し、これらのエッジヒストグラムの出現状況に基づ、てブロック状の標示線の有無を判定することができる。先ず、前述のように複数のエッジ点の画像面（図示せず)から 3次元路面座標への逆投影が行われる。そして、この路面座標上に複数のレーンマーク (複合線）を包含し得る領域が設定される。例えば、水平方向の距離は、走行レーン中心に近い走行レーンの内側部分に対し、ブロックの幅 30cmに隙間 5cm及びマージン 15c mをカ卩えて 50cmに設定され、外側部分に対し、白線の幅 20cm及びブロックの幅 30 cmに隙間 5cm及びマージン 15cmをカ卩えて 70cmに設定される。そして、両者の垂直方向（図 6の上下方向）即ち車両進行方向の距離は、コーナリング時にも白線 (レーンマーク）を直線として扱、得る範囲として、 5mに設定される。

[0033] 本実施形態においては、図 2のレーン境界エッジ検出部 MPは備えておらず、代わつて、エッジヒストグラム作成部 HPにおいて、図 6の左右に示すようにエッジ点群の水平成分に対し垂直方向エッジヒストグラムが作成されると共に、図 6の下方に示すように垂直成分に対し水平方向エッジヒストグラムが作成される。車両が登坂車線を走行して、る場合のように、ブロック線や破線の標示線間のレーンを走行して、るときには、これらのエッジ点群に対するエッジヒストグラムは、車両進行方向に対して垂直方向及び水平方向に周期的に変化する。このような周期的な変化は、レーンマークとしての白線（図 3の LB, LG, RB, RG)が薄くなつたり汚れている場合でも、検出可能である。 [0034] ここで、本実施形態においては垂直方向エッジヒストグラム及び水平方向エッジヒストグラムの両者が周期的に変化するときには、複数のレーンマークが存在し複合線区間にあると判定することができるので、エッジヒストグラムの出現周期が所定範囲にある場合には複合線と判定される。そして、水平方向エッジヒストグラムにおいて走行レーンの内側のピークが過去の画面を含む各画面で周期的に出現しておれば、走行レーンの内側に存在するブロック状の標示線と判定される。このようにブロック状の標示線であると特定されたときには、レーン境界線位置特定部 LPにおいて、その標示線は走行レーンの境界線の候補力外され、レーン中心に対しブロック状の標示線の外側の標示線が走行レーンの境界線とされる。

[0035] 而して、ブロック標示線判定部 BPにてブロック状の標示線有と判定されたときには、レーン境界線位置特定部 LPにおいて、垂直方向エッジヒストグラムが車両の走行に応じて周期的に変化し、且つ水平方向エッジヒストグラムに基づき走行レーンの中心に最も近接すると判定された垂直方向の複数のエッジ点に対し、走行レーンの中心に対して外側に存在する複数のエッジ点に適合する曲線の位置が、走行レーンの境界線の位置として特定される。

[0036] 以上のように、走行路面上に設けられた車線境界を示す標示線には、単純な実線や破線の他に、その単純な標示線とブロック状の標示線との組合せによる複数線が存在するので、従来装置においては、レーン境界として検出したい標示線 (レーン境界線)の位置を安定的に特定することが困難であった力本願の上記何れの実施形態においても、レーン境界線の位置を安定的に特定することができる。而して、警報システムや制御システム力期待される高い信頼性を充足する境界線認識が可能となる。

産業上の利用可能性

[0037] 本発明に係る路面走行レーン検出装置は、上記のように走行レーンの境界線の位置を安定的に特定し得るので、例えば、車両等における種々の警報システムや制御システムに適用することができる。

Claims

請求の範囲

[1] 撮像手段によって路面を連続して撮像した画像から走行レーンを検出する路面走行レーン検出装置において、画像中の輪郭線力複数のエッジ点を検出するエッジ点検出手段と、該エッジ点検出手段で検出した複数のエッジ点の水平成分に対し垂直方向エッジヒストグラムを作成するエッジヒストグラム作成手段と、該エッジヒストグラム作成手段が作成した垂直方向エッジヒストグラムにおける分布の周期性とプラスェッジ及びマイナスエッジの分布の組み合わせに基づきブロック状の標示線の有無を判定すると共に、該ブロック状の標示線の存在範囲を特定するブロック標示線判定手段と、該ブロック標示線判定手段が特定したブロック状の標示線の存在範囲の、前記走行レーンの中心に対して外側に存在する垂直方向のエッジ点を検出するレーン境界エッジ検出手段と、該レーン境界エッジ検出手段が検出した垂直方向のエッジ点に適合する曲線の位置を、前記走行レーンの境界線の位置として特定するレーン境界線位置特定手段とを備えたことを特徴とする路面走行レーン検出装置。

[2] 前記エッジ点検出手段は、前記撮像手段によって撮像した画像上で前記複数のェッジ点を検出した後、前記複数のエッジ点の座標値を 3次元路面座標に逆投影して前記複数のエッジ点として出力するように構成したことを特徴とする請求項 1記載の路面走行レーン検出装置。

[3] 前記レーン境界エッジ検出手段は、前記エッジヒストグラム作成手段が作成した前記垂直方向エッジヒストグラムにお、て、プラスエッジヒストグラムピークとマイナスエツジヒストグラムピークとの間の垂直方向の領域力各ブロック線間の隙間に相当することに基づき、各ブロック線間の隙間にてレーン境界線のエッジを検出するように構成したことを特徴とする請求項 1記載の路面走行レーン検出装置。

[4] 前記レーン境界線位置特定手段は、前記レーン境界エッジ検出手段が検出した垂直方向のエッジ点に対し複数の直線を含む曲線をあてはめて、曲線フィッティングを行うように構成したことを特徴とする請求項 1記載の路面走行レーン検出装置。

[5] 前記レーン境界線位置特定手段は、 RANSAC, Hough変換、及び最小自乗法の何れかを用いて前記曲線フィッティングを行うように構成したことを特徴とする請求項 4記載の路面走行レーン検出装置。

[6] 撮像手段によって路面を連続して撮像した画像から走行レーンを検出する路面走行レーン検出装置において、画像中の輪郭線力複数のエッジ点を検出するエッジ点検出手段と、該エッジ点検出手段で検出した複数のエッジ点の垂直成分に対し水平方向エッジヒストグラムを作成するエッジヒストグラム作成手段と、該エッジヒストグラム作成手段が作成した水平方向エッジヒストグラムにおける分布の周期性とプラスェッジ及びマイナスエッジの分布の組み合わせに基づきブロック状の標示線の有無を判定すると共に、該ブロック状の標示線の存在範囲を特定するブロック標示線判定手段と、該ブロック標示線判定手段が特定したブロック状の標示線の存在範囲の、前記走行レーンの中心に対して外側に存在する垂直方向のエッジ点を検出するレーン境界エッジ検出手段と、該レーン境界エッジ検出手段が検出した垂直方向のエッジ点に適合する曲線の位置を、前記走行レーンの境界線の位置として特定するレーン境界線位置特定手段とを備えたことを特徴とする路面走行レーン検出装置。

[7] 前記エッジ点検出手段は、前記撮像手段によって撮像した画像上で前記複数のェッジ点を検出した後、前記複数のエッジ点の座標値を 3次元路面座標に逆投影して前記複数のエッジ点として出力するように構成したことを特徴とする請求項 6記載の路面走行レーン検出装置。

[8] 前記レーン境界線位置特定手段は、前記レーン境界エッジ検出手段が検出した垂直方向のエッジ点に対し複数の直線を含む曲線をあてはめて、曲線フィッティングを行うように構成したことを特徴とする請求項 6記載の路面走行レーン検出装置。

[9] 前記レーン境界線位置特定手段は、 RANSAC, Hough変換、及び最小自乗法の何れかを用いて前記曲線フィッティングを行うように構成したことを特徴とする請求項 8記載の路面走行レーン検出装置。

[10] 撮像手段によって路面を連続して撮像した画像から走行レーンを検出する路面走行レーン検出装置において、画像中の輪郭線力複数のエッジ点を検出するエッジ点検出手段と、該エッジ点検出手段で検出した複数のエッジ点の水平成分に対して、垂直方向エッジヒストグラムを作成する垂直方向エッジヒストグラム作成手段と、該垂直方向エッジヒストグラム作成手段が作成した垂直方向エッジヒストグラムにおける分布の周期性とプラスエッジ及びマイナスエッジの分布の組み合わせに基づきブロック状の標示線の有無を判定するブロック標示線判定手段と、前記エッジ点検出手段で検出した複数のエッジ点の垂直成分に対して、水平方向エッジヒストグラムを作成する水平方向エッジヒストグラム作成手段と、前記ブロック標示線判定手段が前記ブロック状の標示線有と判定したときに、前記垂直方向エッジヒストグラム作成手段が作成した垂直方向エッジヒストグラムが車両の走行に応じて周期的に変化し、且つ前記水平方向エッジヒストグラム作成手段が作成した水平方向エッジヒストグラムに基づき前記走行レーンの中心に最も近接すると判定した垂直方向の複数のエッジ点に対し、前記走行レーンの中心に対して外側に存在する複数のエッジ点に適合する曲線の位置を、前記走行レーンの境界線の位置として特定するレーン境界線位置特定手段とを備えたことを特徴とする路面走行レーン検出装置。

[11] 前記エッジ点検出手段は、前記撮像手段によって撮像した画像上で前記複数のェッジ点を検出した後、前記複数のエッジ点の座標値を 3次元路面座標に逆投影して前記複数のエッジ点として出力するように構成したことを特徴とする請求項 10記載の路面走行レーン検出装置。

[12] 前記レーン境界線位置特定手段は、前記垂直方向の複数のエッジ点に対し複数の直線を含む曲線をあてはめて、曲線フィッティングを行うように構成したことを特徴とする請求項 10記載の路面走行レーン検出装置。

[13] 前記レーン境界線位置特定手段は、 RANSAC, Hough変換、及び最小自乗法の何れかを用いて前記曲線フィッティングを行うように構成したことを特徴とする請求項

12記載の路面走行レーン検出装置。