JP3700681B2

JP3700681B2 - Traveling path detection device

Info

Publication number: JP3700681B2
Application number: JP2002177415A
Authority: JP
Inventors: 裕之古性
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-06-18
Filing date: 2002-06-18
Publication date: 2005-09-28
Anticipated expiration: 2022-06-18
Also published as: JP2004021723A

Description

【０００１】
【発明の属する技術分野】
この発明は、自車両が走行している走行路の形状を検出する走行路検出装置に関し、特に走行路の形状を走行路モデルパラメータで表すのに好適なものである。
【０００２】
【従来の技術】
このような走行路検出装置として、例えば特開平６−２０１８９号公報に記載されるものがある。この従来の走行路検出装置では、ＣＣＤカメラなどの撮像装置で自車両前方の走行路の状態を撮像し、その撮像内に、自車両が走行している走行車線の両側のレーンマーカーを二本検出し、そのレーンマーカーを用いて、自車両の走行車線における横変位などの走行路モデルパラメータを算出する。具体的には、撮像された自車両前方の走行路にレーンマーカーを検出するための小領域を設定し、各レーンマーカー検出領域内でレーンマーカーの一部をレーンマーカー候補点として検出し、そのレーンマーカー候補点の情報、具体的には座標データを用いて走行路モデルパラメータを算出する。走行路モデルパラメータの算出には、カルマンフィルタ等の状態推定器が用いられる。また、特開平１１−２６１７５６号公報に記載される走行路検出装置では、前記レーンマーカー候補点を貫いてレーンマーカーの境界とみなせるレーンマーカー候補線を検出し、そのレーンマーカー候補線に含まれるレーンマーカー候補点の情報を用いて走行路モデルパラメータを算出すると共に、そのレーンマーカー候補線の角度が前回値に対して所定値以上数値の離れたものを除去するようにして、走行路と平行でないレーンマーカー候補線を除去するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記従来の走行路検出装置において、単に角度が前回値に対して所定値以上数値の離れたレーンマーカー候補線を除去するだけでは、例えば自車両の対地ピッチ角度の変動や急激な車両挙動によって角度が変化した場合に、本来のレーンマーカー境界とみなせるレーンマーカー候補線まで除去してしまうことになり、各走行路モデルパラメータを正確に算出できない。
【０００４】
本発明は、上記課題を解決するため、走行路と平行でないか又はほぼ平行でないレーンマーカー候補線のみを除去し、各走行路モデルパラメータを正確に算出することができる走行路検出装置を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明のうち請求項１に係る走行路検出装置は、自車両前方の走行路を撮像する撮像手段と、前記撮像手段で撮像された画像上に走行路のレーンマーカーの一部をレーンマーカー候補点として検出するレーンマーカー候補点検出手段と、前記レーンマーカー候補点検出手段で検出されたレーンマーカー候補点を貫いて前記レーンマーカーの境界とみなせるレーンマーカー候補線を検出するレーンマーカー候補線検出手段と、前記レーンマーカー候補線検出手段で検出されたレーンマーカー候補線のうち、前記撮像手段で撮像された画像の鉛直方向の座標が同じレーンマーカー候補線を対とし、各対のレーンマーカー候補線の情報から対地ピッチ角度を算出するピッチ角度算出手段と、前記ピッチ角度算出手段で算出された対地ピッチ角度に基づいて、前記レーンマーカー候補線検出手段で検出されたレーンマーカー候補線から、走行路に平行でないか又はほぼ平行でないレーンマーカー候補線を除去するレーンマーカー候補線限定手段と、前記レーンマーカー候補線限定手段で除去されなかったレーンマーカー候補線又はそのレーンマーカー候補線に含まれるレーンマーカー候補点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する走行路モデルパラメータ算出手段とを備えたことを特徴とするものである。
【０００６】
また、本発明のうち請求項２に係る走行路検出装置は、前記請求項１の発明において、前記レーンマーカー候補線限定手段は、前記ピッチ角度算出手段で算出された対地ピッチ角度のうち、度数の大きいものから所定値以上数値の離れたものに該当する前記レーンマーカー候補線の対を除去することを特徴とするものである。
【０００７】
また、本発明のうち請求項３に係る走行路検出装置は、前記請求項１又は２の発明において、前記ピッチ角度算出手段は、前記撮像手段で撮像された画像の鉛直方向の座標が同じレーンマーカー候補線のうち、当該レーンマーカー候補線の鉛直方向の座標に対する水平方向の座標が所定値以下のレーンマーカー候補線を対としないことを特徴とするものである。
【０００８】
また、本発明のうち請求項４に係る走行路検出装置は、前記請求項１乃至３の何れかの発明において、前記ピッチ角度算出手段は、前記対のレーンマーカー候補線の情報から算出された対地ピッチ角度が前回の算出値と所定値以上数値の離れたものであるときに当該対地ピッチ角度を除去することを特徴とするものである。
【０００９】
【発明の効果】
而して、本発明のうち請求項１に係る走行路検出装置によれば、レーンマーカー候補点を貫き且つレーンマーカーの境界とみなせるレーンマーカー候補線を検出し、それらレーンマーカー候補線のうち、撮像された画像の鉛直方向の座標が同じレーンマーカー候補線を対とし、各対のレーンマーカー候補線の情報から対地ピッチ角度を算出し、それらの算出された対地ピッチ角度に基づいて、走行路に平行でないか又はほぼ平行でないレーンマーカー候補線を除去し、除去されなかったレーンマーカー候補線又はそのレーンマーカー候補線に含まれるレーンマーカー候補点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する構成としたため、自車両の対地ピッチ角度の変動時や急激な車両挙動時にも、走行路と平行でないか又はほぼ平行でないレーンマーカー候補線のみを確実に除去し、除去されなかったレーンマーカー候補線又はそのレーンマーカー候補線に含まれるレーンマーカー候補点の情報から、各走行路モデルパラメータを正確に算出することができる。
【００１０】
また、本発明のうち請求項２に係る走行路検出装置によれば、算出された対地ピッチ角度のうち、度数の大きいものから所定値以上数値の離れたものに該当するレーンマーカー候補線の対を除去する構成としたため、走行路と平行でないか又はほぼ平行でないレーンマーカー候補線のみを確実に除去することができる。また、本発明のうち請求項３に係る走行路検出装置によれば、撮像された画像の鉛直方向の座標が同じレーンマーカー候補線のうち、当該レーンマーカー候補線の鉛直方向の座標に対する水平方向の座標が所定値以下のレーンマーカー候補線を対としない構成としたため、算出される対地ピッチ角度の度数が極大値となりやすく、走行路と平行でないか又はほぼ平行でないレーンマーカー候補線の除去が容易になる。
【００１１】
また、本発明のうち請求項４に係る走行路検出装置によれば、対のレーンマーカー候補線の情報から算出された対地ピッチ角度が前回の算出値と所定値以上数値の離れたものであるときに当該対地ピッチ角度を除去する構成としたため、自車両の対地ピッチ角度が急変したときなどに、誤った対地ピッチ角度を演算の対象とすることがない。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明の走行路検出装置の一実施形態を示すシステム構成図である。この実施形態の走行路検出装置は、撮像部１及びコントロールユニット２を備えている。このうち、前記撮像部１は、ＣＣＤカメラやカメラコントローラ等から構成され、自車両の前方の状態を撮像するものである。また、コントロールユニット２は、マイクロコンピュータ等の演算処理装置を内装し、前記撮像部１で撮像された自車両前方の画像に対し、レーンマーカーを検出するための小領域を設定すると共に、レーンマーカーのエッジ、即ちレーンマーカーと路面との境界を明瞭にするフィルタ処理を施し、前記各検出小領域の中から、最もレーンマーカーらしいレーンマーカーの一部を抽出し、それをレーンマーカー候補点として検出し、それらのレーンマーカー候補点の撮像画像における位置情報から、レーンマーカーで規定される走行車線の曲率Ｂ、当該走行車線に対する自車両の横変位Ａ、当該走行車線に対する自車両のヨー角Ｃ、自車両のピッチ角Ｄ、前記撮像部１のＣＣＤカメラの取付け位置の地上からの高さＨ等を走行路モデルパラメータとして算出するように構成されている。なお、本実施形態では、ＣＣＤカメラ等の撮像部１は、ＣＣＤ等の撮像機能体が一枚しかない、所謂単眼であることが前提となっている。
【００１３】
次に、前記コントロールユニット２で行われる走行路モデルパラメータ算出のための演算処理を、図２のフローチャートに従って説明する。この演算処理は、マイクロコンピュータ等の演算処理装置内で、例えば１０msec. 程度に設定された所定のサンプリング時間ΔＴ毎に、タイマ割込として実行される。
この演算処理では、まずステップＳ１で前記撮像部１で撮像された自車両前方の撮像画像を読込む。
【００１４】
次にステップＳ２に移行して、図３に示すように、前記ステップＳ１で読込んだ自車両前方の撮像画像中に、レーンマーカーを検出するための小領域（ウインドウとも記す）を設定する。ここでは、図３に示すように、撮像画面上の平面座標系として、ＮＴＳＣ等のテレビジョン通信方式の画面走査方向に従って、画面左上を原点とし、水平方向左方から右方にｘ軸、垂直方向上方から下方にｙ軸をとる直交二次元座標系を設定する。そして、自車両前方の撮像画像中に、レーンマーカーを検出するための小領域（レーンマーカー検出ウインドウ）を設定する。この実施形態では、自車両が走行する走行車線の両側の二本のレーンマーカーに対応するように、画面の左右両側に、五個ずつ、計十個の小領域を設定する。各ウインドウの位置は、後述する手法で算出される走行路モデルパラメータ、つまり前記レーンマーカーで規定される走行車線の曲率Ｂ、当該走行車線に対する自車両の横変位Ａ、当該走行車線に対する自車両のヨー角Ｃ、自車両のピッチ角Ｄ、前記撮像部１のＣＣＤカメラの取付け位置の地上からの高さＨ、車線幅Ｅ₀等に基づいて予め設定される。
【００１５】
次にステップＳ３に移行して、前記ステップＳ２で設定されたレーンマーカー検出ウインドウ内に、例えばＳobelフィルタによる一次空間微分を施して、レーンマーカーと路面との境界、つまりエッジを強調し、図４に示すように、エッジ強調フィルタ処理を施された自車両前方の撮像画像中のレーンマーカー検出ウインドウ内にレーンマーカー候補点を検出する。本実施形態では、レーンマーカーの境界のうち、自車両が走行している走行車線内側の境界を検出対象とする。具体的には、例えば画像中左（座標系ではｘ座標の値が小さい）側の画素の輝度が右側のそれより大きいときにフィルタ出力が正値であるとしたとき、例えば図４に示すように、走行車線左側のレーンマーカー（図では白線）検出ウインドウでは、フィルタ出力が所定の正値の閾値以上である点（画素）をレーンマーカー候補点とする。逆に、走行車線右側のレーンマーカー検出ウインドウでは、フィルタ出力が所定の負値の閾値以下である点（画素）をレーンマーカー候補点とする。レーンマーカー候補点は、該当する全ての点を選出する。
【００１６】
次にステップＳ４に移行して、前記ステップＳ３で検出した各レーンマーカー検出ウインドウ内のレーンマーカー候補点に対し、図５、図６に示すように、それらを貫くレーンマーカー候補線を検出する。レーンマーカー候補線は、前記レーンマーカー候補点集合から設定するものであり、ハフ変換や最小自乗法等が挙げられるが、ここではハフ変換の例について説明する。まず、図６に示すように極座標（ｒ，ｓ）を用い、画像中の直線（ｒ_Wi，ｓ_Wi）を下記１式で定義する。なお、添字Ｗ（Ｗ＝１，２…）はレーンマーカー検出ウインドウ番号を、添字ｉ（ｉ＝１，２…）はレーンマーカー候補線番号を示す。また、直線（ｒ_Wi，ｓ_Wi）がレーンマーカー候補点を“貫く”定義は、直線と白線候補点（画素）との距離が単位画素以下であるものとする。
【００１７】
【数１】

【００１８】
次に、ステップＳ５に移行して、前記ステップＳ４で検出されたレーンマーカー候補線上のレーンマーカー候補点数からレーンマーカー候補線を限定する。具体的には、各レーンマーカー検出ウインドウにおいて、前記図６に示す直線（ｒ_Wi，ｓ_Wi）が貫くレーンマーカー候補点の数を検出し、例えば図７のように、各レーンマーカー検出ウインドウ毎に用意したマトリックスに、直線（ｒ_Wi，ｓ_Wi）と貫かれたレーンマーカー候補点の数（以下、貫通レーンマーカー候補点数とも記す）を記録する。ハフ変換によって得られたレーンマーカー候補線と貫通レーンマーカー候補点数との関係は、例えば或るパラメータ（ｒ_Wi，ｓ_Wi）で貫通レーンマーカー候補点数が極大化する傾向を示す。例えば図７では、パラメータ（ｒ₀₀，ｓ₀₀）で極大となり、その周辺は次第に小さな値となる。これは、真のレーンマーカーの境界とみなせるレーンマーカー候補線ほど、貫通レーンマーカー候補点数が多いためであるから、極大となっている直線（ｒ_Wi，ｓ_Wi）だけを選出してレーンマーカー候補線を限定する。極大値の絶対値は問わないし、一つのレーンマーカー検出ウインドウ内で何本選出してもよい。なお、ここで限定されるレーンマーカー候補線には、走行路と平行でない、或いはほぼ平行でない直線も含まれている。また、貫通レーンマーカー候補点数が所定値に満たないときには、当該レーンマーカー検出ウインドウにはレーンマーカー候補線がないものと見なす。
【００１９】
次にステップＳ６に移行して、画像上の垂直座標ごとにレーンマーカー候補線をグループ化する。例えば図８のように画像中に３本のレーンマーカー候補線が検出されたものとし、左右のレーンマーカー検出ウインドウｗ₁〜ｗ₆が同じ垂直座標上に設定されているものとしたとき、例えば第１レーンマーカー検出ウインドウｗ₁の代表的な垂直座標をｙ₁とし、図９に示すように当該第１レーンマーカー検出ウインドウｗ₁における第１レーンマーカー（図では白線）候補線Ｌ₁₁と第２レーンマーカー候補線Ｌ₁₂とをグループ化し、更に図１０に示すように、前記第１レーンマーカー検出ウインドウｗ₁と同じ垂直座標ｙ₁上の第４レーンマーカー検出ウインドウｗ₄の第１レーンマーカー候補線Ｌ₄₁も同じグループにグループ化する。なお、これらのレーンマーカー候補線Ｌ₁₁、Ｌ₁₂、Ｌ₄₁で必要となる情報は、前記レーンマーカー検出ウインドウｗ₁、ｗ₄の代表的な垂直座標ｙ₁、当該垂直座標ｙ₁における各レーンマーカー候補線Ｌ₁₁、Ｌ₁₂、Ｌ₄₁の水平座標ｘ₁₁、ｘ₁₂、ｘ₄₁、及び各レーンマーカー候補線Ｌ₁₁、Ｌ₁₂、Ｌ₄₁の傾きｄｘ／ｄｙ₁₁、ｄｘ／ｄｙ₁₂、ｄｘ／ｄｙ₄₁だけであるから、それらだけの集合をグループ化の対象としてもよい。
【００２０】
次にステップＳ７に移行して、前記ステップＳ６でグループ化されたレーンマーカー候補線のうち、適宜の二本を組合せて対（図ではペア）を選定する。例えば前記図１０のように同等の垂直座標ｙ₁でグループ化された３本のレーンマーカー候補線Ｌ₁₁、Ｌ₁₂、Ｌ₄₁のうち、組合せ可能な二本の対、つまりレーンマーカー候補線Ｌ₁₁とレーンマーカー候補線Ｌ₁₂の対、レーンマーカー候補線Ｌ₁₂とレーンマーカー候補線Ｌ₄₁の対、レーンマーカー候補線Ｌ₄₁とレーンマーカー候補線Ｌ₁₁の対を選定する。なお、ここでも、これらのレーンマーカー候補線Ｌ₁₁、Ｌ₁₂、Ｌ₄₁で必要となる情報は、前記レーンマーカー検出ウインドウｗ₁、ｗ₄の代表的な垂直座標ｙ₁、当該垂直座標ｙ₁における各レーンマーカー候補線Ｌ₁₁、Ｌ₁₂、Ｌ₄₁の水平座標ｘ₁₁、ｘ₁₂、ｘ₄₁、及び各レーンマーカー候補線Ｌ₁₁、Ｌ₁₂、Ｌ₄₁の傾きｄｘ／ｄｙ₁₁、ｄｘ／ｄｙ₁₂、ｄｘ／ｄｙ₄₁だけであるから、それらだけの集合をペア選定の対象としてもよい。また、本実施形態では、前記垂直座標における各レーンマーカー候補線の水平座標の差が所定値以下のものをペアとしない。その理由は後段に詳述する。
【００２１】
次にステップＳ８に移行して、前記ステップＳ７で選定したレーンマーカー候補線のペアから、下記２式に従って対地ピッチ角度、具体的にはＣＣＤカメラの対地ピッチ角度Ｐ_Aを算出する。２式の詳細は後述する。なお、式中のｆはＣＣＤカメラのレンズ、つまり焦点距離によって決まるパラメータである。また、添字（ｐ）はペアの一方を、（ｐ−１）はペアの他方を意味する。
【００２２】
【数２】

【００２３】
また、本実施形態では、前記２式によって算出されるカメラの対地ピッチ角度Ｐ_Aを前回値と比較し、その差の絶対値が所定値以上であるときには、今回、算出された対地ピッチ角度Ｐ_Aをレーンマーカー候補線限定の対象から除去する。つまり、例えば自車両のピッチ角度の変動や急激な車両挙動によって変化する対地ピッチ角度Ｐ_Aを最初から考慮から外し、レーンマーカー候補線を誤って限定しないようにしている。なお、前記所定値には、例えば予め測定された、演算処理のサンプリング周期ΔＴにおける最大ピッチ角度変動値を用いることができる。
【００２４】
次にステップＳ９に移行して、前記ステップＳ８で算出されたＣＣＤカメラの対地ピッチ角度Ｐ_Aからレーンマーカー候補線の限定を行う。ここでは、例えば図１１ａに示すように、複数のレーンマーカー候補線のペアから算出された対地ピッチ角度に対し、例えば便宜上番号付けされたレーンマーカー候補線のペア番号を度数として累積する。例えば図１１ａの場合には、ＣＣＤカメラの対地ピッチ角度Ｐ_Aが“０°”のとき、レーンマーカー候補線ペア番号の度数が極大となるので、この対地ピッチ角度を中央値とし、これから±０．２°の範囲を許容範囲として（図１１ｂの斜線部）、それ以外のレーンマーカー候補線ペアに該当するレーンマーカー候補線を除去する。例えば、図１１ｂの場合、レーンマーカー候補線ペア番号“１０”に該当するレーンマーカー候補線が除去される。換言すれば、度数が極大となる対地ピッチ角度に対し、所定値以上数値の離れた対地ピッチ角度のレーンマーカー候補線ペアに該当するレーンマーカー候補線を除去する。
【００２５】
次にステップＳ１０に移行して、前述した走行路モデルパラメータを算出してからメインプログラムに復帰する。例えば走行路上の空間座標系において、前記ＣＣＤカメラの撮像レンズの中心を原点とし、車両前方に向かって水平方向右方から左方にＸ軸、車両の高さ方向上方にＹ軸、車両前方にＺ軸をとる直交三次元座標系を設定する。ここで、簡略化のために、前記撮像画面上の平面座標系（ｘ，ｙ）の原点が、走行路上の空間座標系のＺ軸上にあるとすると、走行路上空間座標系から撮像画面上平面座標系への座標変換は下記３式及び４式で行われる。
【００２６】
【数３】

【００２７】
次に、走行路の平面構造は、一般に直線と曲率一定の曲線、及びこれらを滑らかに結ぶための曲率変化率一定のクロソイド曲線で定義されるが、自車両前方の数十ｍ区間は曲率一定の曲線路又は直線路と見なせる。そこで、走行車線を規定するレーンマーカーの形状を下記５式のように定式化した。また、同様に、縦断構造についてはほぼ一定勾配と見なせるので、下記６式のように定式化した。
【００２８】
【数４】

【００２９】
本実施形態では、走行車線の車線幅Ｅ₀を用いて前述した各種の走行路モデルパラメータを算出するために、カルマンフィルタを用いる。前記３式〜６式から、下記７式が得られる。これは拡張カルマンフィルタを構成する際の出力方程式として用いられ、走行路曲率と車両状態量から撮像画像平面上に定義したｙ座標値におけるｘ座標値を算出するものである。なお、式中のｊは、自車両が走行する走行車線の左側レーンマーカーでは“０”とし、右側レーンマーカーでは“１”とする。
【００３０】
【数５】

【００３１】
ここでは、カルマンフィルタによる推定状態量（走行路モデルパラメータ）を、前記走行路曲率Ｂ、自車両のピッチ角Ｄ、ヨー角Ｃ、横変位Ａ、ＣＣＤカメラの地上高Ｈとし、前記レンズ焦点距離によって決まるパラメータｆ、車線幅Ｅ₀を一定値とする。この７式を出力方程式とし、適当な出力方程式を用いてカルマンフィルタを構成し、そのカルマンフィルタを用いて前記各走行路モデルパラメータを算出する手法については、前記特開平６−２０１８９号公報に詳しいので、ここではその詳細な説明を省略する。
【００３２】
なお、前記７式には、計５つのパラメータがあり、それら全てを正確に算出するためには、自車両が走行する走行車線の両側のレーンマーカーの夫々で最低一つ、合計で少なくとも５つのレーンマーカー検出点（の画像情報）が必要である。これに対し、ステレオ式、即ちＣＣＤカメラを左右に二つ設けた場合には、互いに等価でない二つの式が与えられるため、片側レーンマーカー検出時でも、前記パラメータを全て正確に算出することができる。
【００３３】
次に、前記演算処理によって、走行路に平行でないか又はほぼ平行でないレーンマーカー候補線を適切に除去できる効果について説明する。前述したように、走行路に平行なレーンマーカー候補線の座標、つまり当該レーンマーカー候補線上のレーンマーカー候補点は、前記７式を満足する。そして、前記７式を垂直座標ｙで微分して下記８式を得る。
【００３４】
【数６】

【００３５】
前記７式と８式から、前記自車両の横変位Ａを除去して下記９式を得る。
【００３６】
【数７】

【００３７】
ここで、走行路と平行な、二つの異なるレーンマーカー候補線上に、垂直座標ｙが同じ二つのレーンマーカー候補点が存在するとし、夫々に添字（ｐ）、（ｐ−１）を附して前記９式を示すと、下記１０式、１１式が得られる。
【００３８】
【数８】

【００３９】
１０式から１１式を減じて下記１２式が得られる。
【００４０】
【数９】

【００４１】
前記１２式中のピッチ角度Ｄは、前記ＣＣＤカメラの対地ピッチ角度Ｐ_Aと同等なので、これを対地ピッチ角度Ｐ_Aについて解くと前記２式が得られる。
従って、二つの異なるレーンマーカー候補線が、何れも走行路と平行であるか又はほぼ並行であれば、前記２式から算出される対地ピッチ角度Ｐ_Aは、凡そ同等の数値となる。逆に、対地ピッチ角度Ｐ_Aが大きく異なるレーンマーカー候補線の組合せは、少なくともいずれか一方が走行路と平行でないか又はほぼ平行でないことになる。従って、極大を示す対地ピッチ角度Ｐ_Aから所定値以上数値の離れたレーンマーカー候補線のペアに該当するレーンマーカー候補線を除去することにより、走行路と平行でない又はほぼ平行でないレーンマーカー候補線を除去することができる。
【００４２】
また、前述のように、本実施形態では同じ垂直座標ｙに対するレーンマーカー候補線の水平座標ｘが所定値以上数値の離れていないものをペアとしない。前述した２式から、対地ピッチ角度Ｐ_Aが同等であるとき、（ｘ_(p)−ｘ_(p-1)）の値が小さくなるほど、（ｄｘ／ｄｙ_(p)−ｄｘ／ｄｙ_(p-1)）の値も小さくなる。換言すれば、水平座標ｘ_(p)と水平座標ｘ_(p-1)の差が小さいレーンマーカー候補線のペアでは、傾きｄｘ／ｄｙ_(p)も傾きｄｘ／ｄｙ_(p-1)も高精度である必要がある。しかしながら、同一のＣＣＤカメラで得られるレーンマーカー候補線の傾きｄｘ／ｄｙの精度には限界があるため、水平座標ｘ_(p)と水平座標ｘ_(p-1)の差が小さいレーンマーカー候補線のペアから算出される対地ピッチ角度Ｐ_Aにはノイズが乗り易い。このようにノイズ成分の混入した対地ピッチ角度Ｐ_Aを用いると、前述のような極大値の選出に悪影響を及ぼす恐れがある。そのため、本実施形態では、本実施形態では同じ垂直座標ｙに対するレーンマーカー候補線の水平座標ｘが所定値以上数値の離れていないものをペアとせず、より正確に走行路と平行でない又はほぼ平行でないレーンマーカー候補線を除去できるようにする。
【００４３】
以上より、前記撮像部１及び図２の演算処理のステップＳ１が本発明の撮像手段を構成し、以下同様に、前記図２の演算処理のステップＳ３がレーンマーカー候補点検出手段を構成し、前記図２の演算処理のステップＳ４、ステップＳ５がレーンマーカー候補線検出手段を構成し、前記図２の演算処理のステップＳ６〜ステップＳ８がピッチ角度算出手段を構成し、前記図２の演算処理のステップＳ９がレーンマーカー候補線限定手段を構成し、前記図２の演算処理のステップＳ１０が走行路モデルパラメータ算出手段を構成している。
なお、前記実施形態では、走行路モデルパラメータの算出にカルマンフィルタを用いたが、他の推定装置や最小二乗法等の同定方法を用いて算出するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の走行路検出装置の一実施形態を示す概略構成図である。
【図２】コントロールユニット内で行われる走行路モデルパラメータ算出のための演算処理のフローチャートである。
【図３】レーンマーカー検出小領域の説明図である。
【図４】レーンマーカー候補点の説明図である。
【図５】レーンマーカー候補線の説明図である。
【図６】レーンマーカー候補線の記述の仕方の説明図である。
【図７】貫通レーンマーカー候補点数に基づいてレーンマーカー候補線を限定するためのマトリックスの説明図である。
【図８】検出されたレーンマーカー候補線の説明図である。
【図９】レーンマーカー候補線のグループ化の説明図である。
【図１０】レーンマーカー候補線のグループ化の説明図である。
【図１１】対地ピッチ角度に基づいてレーンマーカー候補線を限定するための説明図である。
【符号の説明】
１は撮像部
２はコントロールユニット[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a travel path detection device that detects the shape of a travel path on which the host vehicle is traveling, and is particularly suitable for representing the shape of a travel path with a travel path model parameter.
[0002]
[Prior art]
An example of such a travel path detection device is disclosed in Japanese Patent Application Laid-Open No. 6-20189. In this conventional travel path detection device, the state of the travel path ahead of the host vehicle is imaged by an imaging device such as a CCD camera, and two lane markers on both sides of the travel lane in which the host vehicle is traveling are included in the image. Detecting and using the lane marker, a travel path model parameter such as a lateral displacement in the travel lane of the host vehicle is calculated. Specifically, a small region for detecting a lane marker is set on the captured road ahead of the host vehicle, and a part of the lane marker is detected as a lane marker candidate point in each lane marker detection region. The road model parameter is calculated using information on the lane marker candidate point, specifically, coordinate data. A state estimator such as a Kalman filter is used to calculate the travel route model parameters. Further, in the travel path detection device described in Japanese Patent Application Laid-Open No. 11-261756, a lane marker candidate line that passes through the lane marker candidate point and can be regarded as a boundary of a lane marker is detected, and a lane included in the lane marker candidate line The road model parameter is calculated using the information on the marker candidate point, and the lane marker candidate line is not parallel to the road so that the angle of the lane marker candidate line is more than a predetermined value with respect to the previous value is removed. Lane marker candidate lines are removed.
[0003]
[Problems to be solved by the invention]
However, in the conventional road detection device, for example, by simply removing the lane marker candidate line whose angle is more than a predetermined value with respect to the previous value, for example, fluctuation of the ground pitch angle of the own vehicle or a sudden vehicle behavior When the angle changes due to the above, the lane marker candidate line that can be regarded as the original lane marker boundary will be removed, and each travel path model parameter cannot be accurately calculated.
[0004]
In order to solve the above-described problems, the present invention provides a travel path detection apparatus that can remove only lane marker candidate lines that are not parallel or substantially parallel to the travel path and accurately calculate each travel path model parameter. It is for the purpose.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, a road detection device according to claim 1 of the present invention includes an imaging unit that images a road ahead of the host vehicle, and a lane of the road on the image captured by the imaging unit. Lane marker candidate point detection means for detecting a part of the marker as a lane marker candidate point, and a lane marker candidate line that can be regarded as a boundary of the lane marker through the lane marker candidate point detected by the lane marker candidate point detection means Among the lane marker candidate lines detected by the lane marker candidate line detection means to be detected and the lane marker candidate lines detected by the lane marker candidate line detection means, a pair of lane marker candidate lines having the same vertical coordinate of the image captured by the imaging means is paired. The pitch angle calculating means for calculating the ground pitch angle from the information of each pair of lane marker candidate lines and the pitch angle calculating means Lane marker candidate line limiting means for removing, from the lane marker candidate lines detected by the lane marker candidate line detection means, lane marker candidate lines that are not parallel to or not substantially parallel to the travel path based on the ground pitch angle that has been made The road model parameter for representing the shape of the road ahead of the host vehicle from the information on the lane marker candidate line not removed by the lane marker candidate line limiting means or the lane marker candidate point included in the lane marker candidate line And a travel route model parameter calculating means for calculating
[0006]
According to a second aspect of the present invention, there is provided the travel path detecting apparatus according to the first aspect, wherein the lane marker candidate line limiting means is a frequency out of the ground pitch angles calculated by the pitch angle calculating means. The pair of lane marker candidate lines corresponding to those having a numerical value greater than or equal to a predetermined value from those having a larger value is removed.
[0007]
According to a third aspect of the present invention, in the travel path detection device according to the first or second aspect, the pitch angle calculation means is a lane in which the vertical coordinates of the images taken by the imaging means are the same. Among the marker candidate lines, a lane marker candidate line whose horizontal coordinate with respect to the vertical coordinate of the lane marker candidate line is not a predetermined value is not paired.
[0008]
According to a fourth aspect of the present invention, in the road detection device according to the fourth aspect of the present invention, the pitch angle calculation means is calculated from information on the pair of lane marker candidate lines. The ground pitch angle is removed when the ground pitch angle is a predetermined numerical value or more away from the previous calculated value.
[0009]
【The invention's effect】
Thus, according to the traveling path detection device according to claim 1 of the present invention, a lane marker candidate line that penetrates the lane marker candidate point and can be regarded as a boundary of the lane marker is detected, and among these lane marker candidate lines, Paired lane marker candidate lines with the same vertical coordinate of the captured image, and calculated the ground pitch angle from the information of each pair of lane marker candidate lines, and based on the calculated ground pitch angle, the road The lane marker candidate lines that are not parallel to or not substantially parallel to the lane marker are removed, and the shape of the traveling road ahead of the host vehicle is determined from the information of the lane marker candidate lines that have not been removed or the lane marker candidate points included in the lane marker candidate lines. Because it is configured to calculate the road model parameters to represent the vehicle, the vehicle can run even when the ground pitch angle of the host vehicle Only lane marker candidate lines that are not parallel or almost parallel to the road are surely removed, and each road model parameter is determined from information on the lane marker candidate lines that were not removed or the lane marker candidate points included in the lane marker candidate lines. Can be calculated accurately.
[0010]
According to the traveling path detection device of the present invention, the pair of lane marker candidate lines corresponding to the calculated ground pitch angle that is more than a predetermined value from a large frequency is separated from the ground pitch angle. Therefore, it is possible to reliably remove only the lane marker candidate lines that are not parallel or substantially parallel to the traveling road. According to the traveling path detection device of the present invention, the horizontal direction relative to the vertical coordinate of the lane marker candidate line among the lane marker candidate lines having the same vertical coordinate of the captured image. Since the lane marker candidate lines whose coordinates are not equal to or less than the predetermined value are not paired, the calculated ground pitch angle frequency tends to be a maximal value, and the lane marker candidate lines that are not parallel to or not substantially parallel to the road are removed. It becomes easy.
[0011]
Moreover, according to the traveling path detection apparatus according to claim 4 of the present invention, the ground pitch angle calculated from the information of the paired lane marker candidate lines is different from the previous calculated value by a predetermined value or more. Since the ground pitch angle is sometimes removed, when the ground pitch angle of the host vehicle suddenly changes, an erroneous ground pitch angle is not subject to calculation.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a system configuration diagram showing an embodiment of a travel path detection apparatus of the present invention. The travel path detection device of this embodiment includes an imaging unit 1 and a control unit 2. Among these, the said imaging part 1 is comprised from a CCD camera, a camera controller, etc., and images the state ahead of the own vehicle. The control unit 2 includes an arithmetic processing unit such as a microcomputer, and sets a small area for detecting a lane marker in the image ahead of the host vehicle imaged by the imaging unit 1. Filter processing to clarify the edge of the lane marker, that is, the boundary between the lane marker and the road surface, and extract a part of the lane marker that seems to be the most lane marker from each of the detection small areas, and detect it as a lane marker candidate point Then, from the position information in the captured image of these lane marker candidate points, the curvature B of the traveling lane defined by the lane marker, the lateral displacement A of the own vehicle with respect to the traveling lane, the yaw angle C of the own vehicle with respect to the traveling lane, The pitch angle D of the host vehicle, the height H of the CCD camera mounting position of the imaging unit 1 from the ground, etc. It is configured to calculate a data. In the present embodiment, it is assumed that the imaging unit 1 such as a CCD camera is a so-called monocular having only one imaging function body such as a CCD.
[0013]
Next, the calculation process for calculating the travel route model parameter performed by the control unit 2 will be described with reference to the flowchart of FIG. This arithmetic processing is executed as a timer interrupt every predetermined sampling time ΔT set to, for example, about 10 msec. In an arithmetic processing device such as a microcomputer.
In this calculation process, first, in step S1, a captured image in front of the host vehicle captured by the imaging unit 1 is read.
[0014]
Next, the process proceeds to step S2, and as shown in FIG. 3, a small region (also referred to as a window) for detecting a lane marker is set in the captured image in front of the host vehicle read in step S1. Here, as shown in FIG. 3, the plane coordinate system on the imaging screen is based on the screen scanning direction of a television communication system such as NTSC, with the upper left corner of the screen as the origin, the horizontal direction from left to right, the x axis, and the vertical axis. An orthogonal two-dimensional coordinate system taking the y axis from the upper side to the lower side is set. And the small area (lane marker detection window) for detecting a lane marker is set in the captured image ahead of the own vehicle. In this embodiment, a total of ten small regions are set on each of the left and right sides of the screen, corresponding to two lane markers on both sides of the traveling lane on which the host vehicle is traveling. The position of each window is a travel route model parameter calculated by a method described later, that is, a curvature B of the travel lane defined by the lane marker, a lateral displacement A of the host vehicle with respect to the travel lane, and a position of the host vehicle with respect to the travel lane. The yaw angle C, the pitch angle D of the host vehicle, the height H of the CCD camera mounting position of the imaging unit 1 from the ground, and the lane width E ₀ Etc., based on the above.
[0015]
Next, the process proceeds to step S3, and first-order spatial differentiation by, for example, a Sobel filter is performed in the lane marker detection window set in step S2 to emphasize the boundary, that is, the edge between the lane marker and the road surface. As shown in FIG. 5, lane marker candidate points are detected in a lane marker detection window in a captured image in front of the host vehicle that has been subjected to the edge enhancement filter processing. In the present embodiment, among the boundaries of the lane marker, a boundary on the inner side of the traveling lane in which the host vehicle is traveling is set as a detection target. Specifically, for example, when the filter output is a positive value when the luminance of the pixel on the left side (the x coordinate value is small in the coordinate system) of the image is larger than that on the right side, for example, as shown in FIG. In addition, in the lane marker (white line in the figure) detection window on the left side of the traveling lane, a point (pixel) whose filter output is equal to or greater than a predetermined positive threshold is set as a lane marker candidate point. Conversely, in the lane marker detection window on the right side of the lane, points (pixels) whose filter output is equal to or less than a predetermined negative threshold value are set as lane marker candidate points. As lane marker candidate points, all corresponding points are selected.
[0016]
Next, the process proceeds to step S4, and as shown in FIGS. 5 and 6, lane marker candidate lines passing through the lane marker candidate points in each lane marker detection window detected in step S3 are detected. The lane marker candidate line is set from the lane marker candidate point set, and examples thereof include Hough transform and least square method. Here, an example of Hough transform will be described. First, as shown in FIG. 6, polar coordinates (r, s) are used, and a straight line (r _Wi , S _Wi ) Is defined by the following one formula. The suffix W (W = 1, 2,...) Indicates the lane marker detection window number, and the suffix i (i = 1, 2,...) Indicates the lane marker candidate line number. The straight line (r _Wi , S _Wi The definition of “through” the lane marker candidate point is that the distance between the straight line and the white line candidate point (pixel) is equal to or less than the unit pixel.
[0017]
[Expression 1]

[0018]
Next, the process proceeds to step S5, where lane marker candidate lines are limited from the number of lane marker candidate points on the lane marker candidate line detected in step S4. Specifically, in each lane marker detection window, the straight line (r _Wi , S _Wi ) Is detected, and, for example, as shown in FIG. 7, a straight line (r _Wi , S _Wi ) And the number of lane marker candidate points penetrated (hereinafter also referred to as penetrating lane marker candidate points). The relationship between the lane marker candidate line obtained by the Hough transform and the number of through lane marker candidate points is, for example, a certain parameter (r _Wi , S _Wi ) Shows the tendency that the number of through lane marker candidates is maximized. For example, in FIG. 7, the parameter (r ₀₀ , S ₀₀ ), And the area around it becomes gradually smaller. This is because a lane marker candidate line that can be regarded as a boundary of a true lane marker has a larger number of through lane marker candidate points. _Wi , S _Wi ) Only to select lane marker candidate lines. The absolute value of the maximum value does not matter, and any number may be selected within one lane marker detection window. Note that the lane marker candidate lines defined here include straight lines that are not parallel to or substantially parallel to the traveling road. Further, when the number of penetrating lane marker candidate points is less than a predetermined value, it is considered that there is no lane marker candidate line in the lane marker detection window.
[0019]
In step S6, lane marker candidate lines are grouped for each vertical coordinate on the image. For example, assume that three lane marker candidate lines are detected in the image as shown in FIG. ₁ ~ W ₆ Are set on the same vertical coordinate, for example, the first lane marker detection window w ₁ Y ₁ And the first lane marker detection window w as shown in FIG. ₁ First lane marker (white line in the figure) candidate line L ₁₁ And second lane marker candidate line L ₁₂ And the first lane marker detection window w as shown in FIG. ₁ Same vertical coordinate as ₁ Upper fourth lane marker detection window w _Four First lane marker candidate line L ₄₁ Are grouped into the same group. These lane marker candidate lines L ₁₁ , L ₁₂ , L ₄₁ The information required for the lane marker detection window w ₁ , W _Four Typical vertical coordinate y ₁ , The vertical coordinate y ₁ Each lane marker candidate line L ₁₁ , L ₁₂ , L ₄₁ Horizontal coordinate x ₁₁ , X ₁₂ , X ₄₁ , And each lane marker candidate line L ₁₁ , L ₁₂ , L ₄₁ Slope dx / dy ₁₁ , Dx / dy ₁₂ , Dx / dy ₄₁ Therefore, only those sets may be grouped.
[0020]
Next, the process proceeds to step S7, and a pair (pair in the figure) is selected by combining appropriate two of the lane marker candidate lines grouped in step S6. For example, as shown in FIG. ₁ 3 lane marker candidate lines L grouped by ₁₁ , L ₁₂ , L ₄₁ Out of the two pairs that can be combined, that is, the lane marker candidate line L ₁₁ And lane marker candidate line L ₁₂ Lane marker candidate line L ₁₂ And lane marker candidate line L ₄₁ Lane marker candidate line L ₄₁ And lane marker candidate line L ₁₁ Select a pair. Again, these lane marker candidate lines L ₁₁ , L ₁₂ , L ₄₁ The information required for the lane marker detection window w ₁ , W _Four Typical vertical coordinate y ₁ , The vertical coordinate y ₁ Each lane marker candidate line L ₁₁ , L ₁₂ , L ₄₁ Horizontal coordinate x ₁₁ , X ₁₂ , X ₄₁ , And each lane marker candidate line L ₁₁ , L ₁₂ , L ₄₁ Slope dx / dy ₁₁ , Dx / dy ₁₂ , Dx / dy ₄₁ Therefore, only those sets may be selected as a pair selection target. Further, in the present embodiment, a pair in which the difference between the horizontal coordinates of each lane marker candidate line in the vertical coordinates is not more than a predetermined value is not paired. The reason will be described in detail later.
[0021]
Next, the process proceeds to step S8, and the ground pitch angle, specifically the ground pitch angle P of the CCD camera, is determined from the pair of lane marker candidate lines selected in step S7 according to the following two formulas. _A Is calculated. Details of Formula 2 will be described later. Note that f in the equation is a parameter determined by the lens of the CCD camera, that is, the focal length. The subscript (p) means one of the pair, and (p-1) means the other of the pair.
[0022]
[Expression 2]

[0023]
In the present embodiment, the ground pitch angle P of the camera calculated by the above two equations. _A Is compared with the previous value, and when the absolute value of the difference is not less than a predetermined value, the calculated ground pitch angle P _A Are removed from the lane marker candidate line limited target. That is, for example, the pitch angle P to the ground that changes due to a change in the pitch angle of the host vehicle or a sudden vehicle behavior _A From the beginning, so that the lane marker candidate line is not limited by mistake. As the predetermined value, for example, a maximum pitch angle variation value in a sampling period ΔT of arithmetic processing, which is measured in advance, can be used.
[0024]
Next, the process proceeds to step S9, and the ground pitch angle P of the CCD camera calculated in step S8 is calculated. _A Lane marker candidate lines are limited. Here, for example, as shown in FIG. 11a, the pair number of the lane marker candidate lines numbered for convenience is accumulated as the frequency with respect to the ground pitch angle calculated from the pair of lane marker candidate lines. For example, in the case of FIG. 11a, the ground pitch angle P of the CCD camera is set. _A When the angle is “0 °”, the frequency of the lane marker candidate line pair number is maximized. Therefore, the ground pitch angle is set to the median value, and the range of ± 0.2 ° is set as the allowable range (the hatched portion in FIG. 11b). The lane marker candidate lines corresponding to the other lane marker candidate line pairs are removed. For example, in the case of FIG. 11b, the lane marker candidate line corresponding to the lane marker candidate line pair number “10” is removed. In other words, the lane marker candidate line corresponding to the lane marker candidate line pair having a ground pitch angle that is a predetermined value or more away from the ground pitch angle at which the frequency is maximum is removed.
[0025]
Next, the process proceeds to step S10, where the travel route model parameters described above are calculated, and then the process returns to the main program. For example, in the spatial coordinate system on the road, the center of the imaging lens of the CCD camera is set as the origin, the X axis from the right to the left in the horizontal direction toward the front of the vehicle, the Y axis at the top of the vehicle in the height direction, and the front of the vehicle An orthogonal three-dimensional coordinate system taking the Z axis is set. Here, for the sake of simplification, if the origin of the plane coordinate system (x, y) on the imaging screen is on the Z axis of the spatial coordinate system on the traveling road, the spatial coordinate system on the traveling road is displayed on the imaging screen. Coordinate conversion to the plane coordinate system is performed by the following formulas (3) and (4).
[0026]
[Equation 3]

[0027]
Next, the plane structure of the road is generally defined by a straight line, a curve with a constant curvature, and a clothoid curve with a constant curvature change rate to smoothly connect them. It can be considered as a curved or straight road. Therefore, the shape of the lane marker that defines the travel lane was formulated as the following five formulas. Similarly, since the longitudinal structure can be regarded as a substantially constant gradient, it was formulated as the following six equations.
[0028]
[Expression 4]

[0029]
In this embodiment, the lane width E of the traveling lane ₀ The Kalman filter is used to calculate the above-described various travel route model parameters using. The following seven formulas are obtained from the above three formulas to six formulas. This is used as an output equation when constructing an extended Kalman filter, and calculates an x coordinate value in a y coordinate value defined on a captured image plane from a traveling path curvature and a vehicle state quantity. Note that j in the equation is “0” for the left lane marker of the travel lane on which the host vehicle is traveling and “1” for the right lane marker.
[0030]
[Equation 5]

[0031]
Here, the estimated state quantity (running road model parameter) by the Kalman filter is the running road curvature B, the pitch angle D of the host vehicle, the yaw angle C, the lateral displacement A, the ground height H of the CCD camera, and the lens focal length. Determined parameter f, lane width E ₀ Is a constant value. The seven equations are used as an output equation, a Kalman filter is configured using an appropriate output equation, and a method for calculating each travel path model parameter using the Kalman filter is detailed in the Japanese Patent Application Laid-Open No. 6-20189. Detailed description thereof is omitted here.
[0032]
In addition, there are a total of five parameters in Formula 7, and in order to calculate all of them accurately, at least one lane marker on each side of the lane on which the host vehicle is traveling, at least five in total. Lane marker detection points (image information) are required. On the other hand, when two stereo cameras, that is, two CCD cameras are provided on the left and right sides, two equations that are not equivalent to each other are given. Therefore, even when one-side lane marker is detected, all the parameters can be accurately calculated. .
[0033]
Next, an effect of appropriately removing lane marker candidate lines that are not parallel or substantially parallel to the traveling road by the arithmetic processing will be described. As described above, the coordinates of the lane marker candidate line parallel to the traveling path, that is, the lane marker candidate point on the lane marker candidate line satisfies the above-described Expression 7. Then, the following equation (8) is obtained by differentiating the equation (7) with respect to the vertical coordinate y.
[0034]
[Formula 6]

[0035]
The lateral displacement A of the host vehicle is removed from the formulas 7 and 8, and the following formula 9 is obtained.
[0036]
[Expression 7]

[0037]
Here, it is assumed that there are two lane marker candidate points having the same vertical coordinate y on two different lane marker candidate lines parallel to the traveling path, and subscripts (p) and (p-1) are respectively attached. If the said 9 type | formula is shown, the following 10 type | formula and 11 type | formula will be obtained.
[0038]
[Equation 8]

[0039]
The following 12 formulas are obtained by subtracting 11 formulas from 10 formulas.
[0040]
[Equation 9]

[0041]
The pitch angle D in the formula 12 is the pitch angle P to the ground of the CCD camera. _A This is equivalent to the ground pitch angle P _A The above two equations are obtained by solving for.
Therefore, if two different lane marker candidate lines are both parallel or substantially parallel to the road, the ground pitch angle P calculated from the above two formulas is used. _A Is approximately the same number. Conversely, the ground pitch angle P _A The combination of the lane marker candidate lines that greatly differ from each other is that at least one of them is not parallel or substantially parallel to the traveling road. Therefore, the ground pitch angle P indicating the maximum _A By removing the lane marker candidate lines corresponding to the pair of lane marker candidate lines that are separated from each other by a predetermined value or more, the lane marker candidate lines that are not parallel to or substantially not parallel to the traveling road can be removed.
[0042]
In addition, as described above, in the present embodiment, the horizontal coordinate x of the lane marker candidate line with respect to the same vertical coordinate y is not paired if the numerical value is not more than a predetermined value. From the above two formulas, the ground pitch angle P _A Are equivalent, (x _(p) -X _(p-1) ), The smaller the value of (dx / dy) _(p) -Dx / dy _(p-1) ) Also decreases. In other words, the horizontal coordinate x _(p) And horizontal coordinate x _(p-1) For a pair of lane marker candidate lines with a small difference, the slope dx / dy _(p) Tilt dx / dy _(p-1) Need to be highly accurate. However, since the accuracy of the slope dx / dy of the lane marker candidate line obtained with the same CCD camera is limited, the horizontal coordinate x _(p) And horizontal coordinate x _(p-1) Ground pitch angle P calculated from a pair of lane marker candidate lines having a small difference _A It is easy to ride noise. Thus, the ground pitch angle P in which noise components are mixed _A If is used, there is a risk of adversely affecting the selection of the maximum value as described above. Therefore, in the present embodiment, in this embodiment, the horizontal coordinate x of the lane marker candidate line with respect to the same vertical coordinate y is not paired if the horizontal coordinate x is not more than a predetermined value, and is not more or less parallel to the travel path more accurately. Lane marker candidate lines that are not can be removed.
[0043]
As described above, the imaging unit 1 and step S1 of the calculation process of FIG. 2 constitute the imaging means of the present invention, and similarly, step S3 of the calculation process of FIG. 2 constitutes the lane marker candidate point detection means. Steps S4 and S5 of the calculation process of FIG. 2 constitute lane marker candidate line detection means, and steps S6 to S8 of the calculation process of FIG. 2 constitute pitch angle calculation means, and the calculation process of FIG. Step S9 constitutes a lane marker candidate line limiting means, and step S10 of the calculation process of FIG. 2 constitutes a traveling road model parameter calculating means.
In the above-described embodiment, the Kalman filter is used to calculate the travel route model parameter. However, it may be calculated using another estimation device or an identification method such as a least square method.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing an embodiment of a travel path detection device of the present invention.
FIG. 2 is a flowchart of a calculation process for calculating a travel route model parameter performed in a control unit.
FIG. 3 is an explanatory diagram of a lane marker detection small area.
FIG. 4 is an explanatory diagram of lane marker candidate points.
FIG. 5 is an explanatory diagram of lane marker candidate lines.
FIG. 6 is an explanatory diagram of how to describe lane marker candidate lines.
FIG. 7 is an explanatory diagram of a matrix for limiting lane marker candidate lines based on the number of through lane marker candidate points.
FIG. 8 is an explanatory diagram of detected lane marker candidate lines.
FIG. 9 is an explanatory diagram of grouping of lane marker candidate lines.
FIG. 10 is an explanatory diagram of grouping of lane marker candidate lines.
FIG. 11 is an explanatory diagram for limiting lane marker candidate lines based on the ground pitch angle.
[Explanation of symbols]
1 is an imaging unit
2 is the control unit

Claims

自車両前方の走行路を撮像する撮像手段と、前記撮像手段で撮像された画像上に走行路のレーンマーカーの一部をレーンマーカー候補点として検出するレーンマーカー候補点検出手段と、前記レーンマーカー候補点検出手段で検出されたレーンマーカー候補点を貫いて前記レーンマーカーの境界とみなせるレーンマーカー候補線を検出するレーンマーカー候補線検出手段と、前記レーンマーカー候補線検出手段で検出されたレーンマーカー候補線のうち、前記撮像手段で撮像された画像の鉛直方向の座標が同じレーンマーカー候補線を対とし、各対のレーンマーカー候補線の情報から対地ピッチ角度を算出するピッチ角度算出手段と、前記ピッチ角度算出手段で算出された対地ピッチ角度に基づいて、前記レーンマーカー候補線検出手段で検出されたレーンマーカー候補線から、走行路に平行でないか又はほぼ平行でないレーンマーカー候補線を除去するレーンマーカー候補線限定手段と、前記レーンマーカー候補線限定手段で除去されなかったレーンマーカー候補線又はそのレーンマーカー候補線に含まれるレーンマーカー候補点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する走行路モデルパラメータ算出手段とを備えたことを特徴とする走行路検出装置。Imaging means for imaging the traveling road ahead of the host vehicle, lane marker candidate point detecting means for detecting a part of the lane marker of the traveling road as a lane marker candidate point on the image captured by the imaging means, and the lane marker Lane marker candidate line detection means for detecting a lane marker candidate line that can be regarded as a boundary of the lane marker through the lane marker candidate point detected by the candidate point detection means, and the lane marker detected by the lane marker candidate line detection means Among the candidate lines, a pitch angle calculating unit that pairs the lane marker candidate lines having the same vertical coordinate of the image captured by the imaging unit, and calculates the ground pitch angle from the information of each pair of lane marker candidate lines; Based on the ground pitch angle calculated by the pitch angle calculation means, the lane marker candidate line detection means detects the ground pitch angle. Lane marker candidate line limiting means for removing a lane marker candidate line that is not parallel or substantially parallel to the traveling road from the lane marker candidate line that has been made, and a lane marker candidate line that has not been removed by the lane marker candidate line limiting means, or A road model parameter calculation unit that calculates a road model parameter for representing the shape of the road ahead of the host vehicle from information on the lane marker candidate points included in the lane marker candidate line; Traveling path detection device.

前記レーンマーカー候補線限定手段は、前記ピッチ角度算出手段で算出された対地ピッチ角度のうち、度数の大きいものから所定値以上数値の離れたものに該当する前記レーンマーカー候補線の対を除去することを特徴とする請求項１に記載の走行路検出装置。The lane marker candidate line limiting means removes the pair of lane marker candidate lines corresponding to a ground pitch angle calculated by the pitch angle calculation means that is a predetermined number or more away from a larger frequency. The travel path detection apparatus according to claim 1.

前記ピッチ角度算出手段は、前記撮像手段で撮像された画像の鉛直方向の座標が同じレーンマーカー候補線のうち、当該レーンマーカー候補線の鉛直方向の座標に対する水平方向の座標が所定値以下のレーンマーカー候補線を対としないことを特徴とする請求項１又は２に記載の走行路検出装置。The pitch angle calculation means includes a lane marker candidate line having the same vertical coordinate of the image picked up by the image pickup means, wherein the horizontal coordinate with respect to the vertical coordinate of the lane marker candidate line has a predetermined value or less. The travel path detection apparatus according to claim 1 or 2, wherein the marker candidate lines are not paired.

前記ピッチ角度算出手段は、前記対のレーンマーカー候補線の情報から算出された対地ピッチ角度が前回の算出値と所定値以上数値の離れたものであるときに当該対地ピッチ角度を除去することを特徴とする請求項１乃至３の何れかに記載の走行路検出装置。The pitch angle calculation means removes the ground pitch angle when the ground pitch angle calculated from the information of the pair of lane marker candidate lines is a predetermined numerical value or more away from the previous calculated value. The travel path detection apparatus according to any one of claims 1 to 3, wherein