JP2004185425A - Lane mark recognition method and device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To quickly identify whether a recognized lane mark belongs to a traveling lane or to a branched lane from a vehicle in a remote position apart from a branch point in a lane mark recognition device recognizing a lane mark on a road on the basis of a photographed image of a road. <P>SOLUTION: A recognition result inside a linear approximation area in the vicinity of the vehicle is selected from recognition results of left and right lane marks recognized by the lane mark recognition device, liner approximation of the left and right lane marks is carried out, and it is determined whether the position of the intersection of approximated straight lines obtained from the linear approximation is inside a branch determination area above a horizon position by a threshold or not in the photographed image. If the intersection position is within the branch determination area, it is determined that the recognition result means the lane mark on the branched lane. If the intersection position is not within the branch determination area, it is determined that the recognition result means the lane mark on the traveling lane. Alternatively, the lane mark can be recognized when inclinations are found in conversion of the left and right approximated straight lines into road coordinates and it is determined whether the inclinations matches mutually within a predetermined error area or not. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、車両前方の道路を撮像した撮像画像に基づき車両の走行車線の左右に形成されたレーンマークを認識するレーンマーク認識装置において、認識したレーンマークが、車両が実際に走行している走行車線のレーンマークであるか、走行車線から分岐した分岐車線のレーンマークであるかを識別するのに好適なレーンマーク識別方法及び装置に関する。
【０００２】
【従来の技術】
従来より、例えば、道路上に形成された白線等のレーンマークに沿って車両を自動走行させる走行制御や、車両の走行車線からの離脱を検出して運転者に警報を発する警報制御を実現するために、車両前方の道路をＣＣＤカメラ等からなる撮像装置により撮像し、その撮像画像に基づき、車両の走行車線の左右に形成された白線等のレーンマークを認識するレーンマーク認識装置が知られている（例えば、特許文献１、特許文献２参照）。
【０００３】
ところで、この種の装置においては、車両の走行車線の左右には白線等のレーンマークが存在するという前提でレーンマークの認識がなされるため、走行車線から分岐する分岐車線がある場合に、その分岐車線に沿ったレーンマークを走行車線のレーンマークとして誤認識してしまうことがあった。
【０００４】
一方、道路の分岐を認識する技術として、従来より、撮像装置により撮像した道路の撮像画像を処理することにより、左右のレーンマークの両端のエッジを夫々検出し、左右のレーンマークの何れかで両端のエッジが車両の走行に伴い広がっていく場合に、道路の分岐を認識するとか、或いは、認識した左右のレーンマークの間隔が車両の走行に伴い広がっていく場合に、道路の分岐を認識する、といったことが提案されている（例えば、特許文献３参照）。
【０００５】
そして、この提案の技術を利用すれば、レーンマーク認識装置により認識されたレーンマークが、車両の走行車線に沿ったレーンマークであるか、分岐車線に沿ったレーンマークであるかを識別することができる。
【０００６】
【特許文献１】特開平７−１４１５９２号公報
【特許文献２】特開平１１−２１３１５５号公報
【特許文献３】特開平１１−２３２４６７号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記提案の技術では、車両の走行に伴い変化する撮像画像を繰り返し処理することにより、レーンマーク自体の幅や左右のレーンマークの間隔を連続的に検出し、その検出した幅若しくは間隔の変化から道路の分岐を認識することから、車両が道路の分岐点に近づいてから（換言すれば分岐点を含む道路の画像が撮像されてから）、道路の分岐を認識するまでに時間がかかるという問題がある。
【０００８】
また、上記提案の技術を利用して道路の分岐を検出するには、撮像画像上で、レーンマーク自体の幅や左右のレーンマークの間隔の広がりを検出できる必要があり、そのためには、車両が分岐点に充分近づく必要があることから、上記提案の技術では、車両が分岐点から離れた位置で道路の分岐を認識することが難しいという問題もある。つまり、撮像画像は、車両から前方の道路を撮像することにより得られるものであるため、車両が分岐点から離れた位置で撮像された撮像画像では、レーンマーク自体の幅や左右のレーンマークの間隔の広がりを検出できず、車両が分岐点に充分近づいてからでないと、道路の分岐を検出することができないのである。
【０００９】
このため、上述した走行制御や警報制御を実現するために用いられるレーンマーク認識装置に上記提案の技術を適用して、レーンマーク認識装置により認識されたレーンマークが車両の走行車線のレーンマークか分岐車線のレーンマークかを識別するようにした場合には、車両が分岐点を通過するか或いは分岐点に充分近づいてからでないと、レーンマークの認識結果を識別することができず、上述した走行制御や警報制御を良好に実行することができない、という問題が生じる。
【００１０】
本発明は、こうした問題に鑑みなされたものであり、車両前方の道路を撮像した撮像画像に基づき車両の走行車線の左右に形成されたレーンマークを認識するレーンマーク認識装置において、認識したレーンマークが、車両が実際に走行している走行車線のレーンマークであるか、走行車線から分岐した分岐車線のレーンマークであるかを、車両が道路の分岐点から離れた位置で速やかに識別できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
係る目的を達成するためになされた請求項１記載のレーンマーク識別方法においては、まず、レーンマーク認識装置により認識された左右のレーンマークの中から、車両近傍の所定領域内に位置する左右のレーンマークを選択し、その選択した左右のレーンマークを撮像画像上で直線近似した左右の近似直線を算出すると共に、その算出した左右の近似直線が撮像画像上で交わる交点位置を算出する。
【００１２】
そして、その算出した撮像画像上での交点位置が、撮像画像における地平線の位置に基づき予め設定された基準線位置よりも上方にあるか否かを判断して、交点位置が基準線位置よりも上方になければ、レーンマーク認識装置により認識された左右のレーンマークは走行車線のレーンマークであると認識し、交点位置が基準線位置よりも上方にあれば、レーンマーク認識装置により認識された左右のレーンマークの一つは分岐車線のレーンマークであると認識する。
【００１３】
この請求項１に記載のレーンマーク識別方法は、下記の点▲１▼〜▲３▼に着目してなされたものである。
▲１▼ 車両に取り付けられた撮像装置で車両前方に真っ直ぐ無限に伸びる直線道路を撮像し、レーンマーク認識装置にて、その直線道路の左右に形成されたレーンマークを認識すると、認識結果であるレーンマークは、撮像画像上で一点で交わり、しかもその交点（以下、無限遠点ＦＯＥ（Ｆｏｃｕｓ ｏｆ Ｅｘｐａｎｓｉｏｎ）という。）の位置は、撮像画像における地平線上に固定される。
【００１４】
▲２▼ 車両に取り付けられた撮像装置で通常の道路（曲線を含む道路）を撮像し、レーンマーク認識装置にて、その道路の左右に形成されたレーンマークを認識した際、その認識されたレーンマークを撮像画像の車両近傍の領域で直線近似すれば、その直線近似によって得られた近似直線の撮像画像上での交点位置は、直線道路のレーンマークの交点（収束点）と同じ地平線上となる。
【００１５】
▲３▼ 車両に取り付けられた撮像装置で車両前方の分岐点を含む道路を撮像し、レーンマーク認識装置により左右のレーンマークを認識した際、その認識したレーンマークの一方が分岐車線に沿ったレーンマークであった場合には、上記▲２▼の場合と同様に、認識されたレーンマークを撮像画像の車両近傍の領域で直線近似しても、その近似直線の撮像画像上での交点位置は、直線道路や曲線道路のレーンマークの交点と同じ地平線上とはならず、地平線よりも更に上方の画像領域に位置する。
【００１６】
そして、本発明方法によれば、レーンマーク認識装置で認識された左右のレーンマークを撮像画像上で直線近似し、その近似直線の交点位置が基準線位置よりも上方にあるか否かを判断することで、認識されたレーンマークが走行車線のレーンマークか分岐車線のレーンマークかを識別することから、レーンマーク認識装置による一回の認識結果を用いて、その認識されたレーンマークを識別できることになり、上述した従来技術を利用してレーンマーク認識装置による認識結果を識別するようにした場合に比べて、レーンマークの識別を極めて短時間で行うことができる。
【００１７】
また、本発明方法によれば、レーンマークを識別するために、上述した従来技術のように、レーンマークの左右のエッジの広がりを検出したり、左右のレーンマークの間隔の広がりを検出する必要がないので、車両が道路の分岐点から離れていてもレーンマークを識別できる。
【００１８】
よって、本発明方法によれば、レーンマークを高速に認識する必要のある制御装置（具体的には、車両をレーンマークに沿って自動走行させる走行制御や車両の走行車線からの離脱を検出して警報を発する警報制御等を行う制御装置）においてレーンマーク認識装置の認識結果をチェックするのに利用すれば、その制御装置による制御の応答性を低下させることなく、レーンマーク認識装置によるレーンマークの誤認識を防止することができるようになる。
【００１９】
以下、上記▲１▼〜▲３▼の点、及び、本発明方法でレーンマークを識別できる理由について説明する。
尚、以下の説明において、レーンマークを認識するために車両に取り付けられる撮像装置は、撮像画像の横軸（Ｊｉｍｇ軸）が水平となるように、車両の前方に向けて取り付けられているものとする。
【００２０】
まず、上記▲１▼の撮像画像上での無限遠点ＦＯＥ（延いては撮像画像上での地平線の位置）について説明する。
レーンマーク認識装置は、通常、撮像装置にて得られた撮像画像をフィルタ処理することによりレーンマークを認識するため、レーンマーク認識装置にて得られるレーンマークの認識結果は、図５（ａ）に例示すように、画像表示の際の走査開始点（画像の左上端部）を原点とし、単位を画素とする、撮像画像上での座標（画面座標：Ｊｉｍｇ、Ｉｉｍｇ）に基づくものとなる。
【００２１】
そこで、まず、この画面座標（Ｊｉｍｇ、Ｉｉｍｇ）を、図５（ｃ）に示すように、道路を真上から見下ろした際の道路座標（Ｘｒｏａｄ、Ｙｒｏａｄ）に変換することを考える。
この場合、画面座標（Ｊｉｍｇ、Ｉｉｍｇ）の単位は画素であるため、画面座標（Ｊｉｍｇ、Ｉｉｍｇ）を、図５（ｂ）に示すように、長さを単位（例えばｍｍ）とする一般的な２次元座標（Ｘｉｍｇ、Ｙｉｍｇ）に変換し、その後、その２次元座標（Ｘｉｍｇ、Ｙｉｍｇ）を、道路座標（Ｘｒｏａｄ、Ｙｒｏａｄ）に変換すればよい。
【００２２】
そして、その変換に用いる変換式は、次式（１）〜（４）のようになる。
Ｘｉｍｇ＝（Ｊｉｍｇ−ＰＩＷ／２）・Ｒｈ …（１）
Ｙｉｍｇ＝（ＰＩＨ／２−Ｉｉｍｇ）・Ｒｖ …（２）
但し、ＰＩＷ：画面座標の水平方向の最大値、Ｒｈ：画面座標の水平方向の分解能、ＰＩＨ：画面座標の垂直方向の最大値、Ｒｖ：画面座標の垂直方向分解能、である。
【００２３】
Ｙｒｏａｄ＝−ｆ・ｈ／（Ｙｉｍｇ＋ｆ・Φ） …（３）
Ｘｒｏａｄ＝（Ｘｉｍｇ＋ｆ・θ）・Ｙｒｏａｄ／ｆ …（４）
但し、ｆ：撮像装置のレンズの焦点距離、ｈ：撮像装置の路面からの高さ、Φ：上述したピッチ角、θ：撮像装置の撮像中心軸の車両進行方向に対する水平線上での傾き（以下、ヨー角という）である。
【００２４】
次に、撮像装置を用いて車両前方に真っ直ぐ無限に伸びる直線道路を撮像すると、図５（ａ）に示すように、レーンマーク認識装置にて認識される直線道路左右のレーンマークは、撮像画像の地平線上の一点（無限遠点ＦＯＥ）で収束することから、この無限遠点ＦＯＥの撮像画像上での座標を求めるために、道路座標上で車両前方に向かってＹｒｏａｄ軸方向に無限に伸びるレーンマークを考える。
【００２５】
この場合、レーンマーク上の道路座標（Ｙｒｏａｄ）は、２次元座標（Ｙｉｍｇ）に変換すると、次式（５）の如く記述できるが、撮像画像上での無限遠点ＦＯＥは、道路座標（Ｙｒｏａｄ）が無限大になる点（Ｙｒｏａｄ→∞）であるため、２次元座標上での無限遠点ＦＯＥは、「Ｙｉｍｇ＝−ｆ・Φ」となる。
【００２６】
Ｙｉｍｇ＝−ｆ・ｈ／Ｙｒｏａｄ−ｆ・Φ …（５）
従って、この無限遠点ＦＯＥの２次元座標「Ｙｉｍｇ＝−ｆ・Φ」を（２）式に代入することにより、無限遠点ＦＯＥの画面座標（Ｉｉｍｇ）を算出すると、その画面座標（Ｉｉｍｇ）は、次式（６）のようになる。
【００２７】
Ｉｉｍｇ＝ｆ・Φ／Ｒｖ＋ＰＩＨ／２ …（６）
この画面座標（Ｉｉｍｇ）は、撮像画像上での無限遠点ＦＯＥの位置を表す垂直方向の座標値であり、撮像画像上での地平線の位置を表す値ともなる。
そして、この画面座標（Ｉｉｍｇ）は、（６）式に含まれるパラメータである焦点距離ｆ、ピッチ角Φ、撮像画像の垂直方向分解能Ｒｖ、及び、画面座標の垂直方向の最大値ＰＩＨがわかれば算出でき、これら各パラメータは、レーンマーク認識装置が車両前方の道路を撮像するのに使用する撮像装置の特性及びその撮像装置の車両への取付角度（ピッチ角）で決まることから、撮像画像上での無限遠点ＦＯＥの位置（換言すれば地平線の位置）は、極めて簡単に求めることができる。
【００２８】
次に、上記▲２▼のように撮像装置で通常の道路を撮像した際に、レーンマーク認識装置にて、その道路の左右に形成されたレーンマークが認識された場合について説明する。
通常の道路を真上から見下ろすと、理想的な真っ直ぐな直線になることは殆どなく、図６（ａ）に示すように、左右にカーブしている。この場合、レーンマーク認識装置が認識したレーンマークを、道路座標のＹｒｏａｄ軸方向の一定範囲内（図６（ａ）に示す直線近似領域）で直線近似することを考え、画面座標上において、この近似した２本の直線の交点がどこになるかを算出する。
【００２９】
つまり、レーンマークを直線近似した２本の近似直線は、道路座標上では平行であるので、交わることはないが、画面座標では平行にならないので、無限遠点ＦＯＥの場合と同様に交点が得られる。そこで、その交点が画面座標上（換言すれば撮像画像上）でどこになるのかを算出する。
【００３０】
図６（ｂ）は、図６（ａ）に点線で示した２本の近似直線の図であり、左右同じ傾きを持った直線である。従って、これら左右の近似直線は、夫々、次式（７）、（８）のように記述できる。
左近似直線：Ｘｒｏａｄ＝Ａ・Ｙｒｏａｄ＋Ｂ …（７）
右近似直線：Ｘｒｏａｄ＝Ａ・Ｙｒｏａｄ＋Ｃ …（８）
但し、Ａ≠Ｏ且つＢ≠Ｃである。
【００３１】
次に、左近似直線の式（７）から、上記（４）式を用いてＸｒｏａｄを消去すると、
（Ｘｉｍｇ＋ｆ・θ）・Ｙｒｏａｄ／ｆ＝Ａ・Ｙｒｏａｄ＋Ｂ
Ｘｉｍｇ＝ｆ・Ｂ／Ｙｒｏａｄ＋ｆ・（Ａ−θ）
となり、この式に（３）式のＹｒｏａｄを代入して、２次元座標での式に直すと、
Ｘｉｍｇ＝−ｆ・Ｂ・（Ｙｉｍｇ＋ｆ・Φ）／（ｆ・ｈ）＋ｆ・（Ａ−θ）
となり、この式を整理すると、２次元座標上での左近似直線を表す次式（９）が得られる。
【００３２】
Ｘｉｍｇ＝−Ｂ／ｈ・Ｙｉｍｇ＋ｆ・（Ａ−θ−Ｂ／ｈ・Φ）…（９）
また同様にして、右近似直線の式（８）についても、２次元座標上での右近似直線を表す式に変換すると、次式（１０）のようになる。
Ｘｉｍｇ＝−Ｃ／ｈ・Ｙｉｍｇ＋ｆ・（Ａ−θ−Ｃ／ｈ・Φ）…（１０）
そして、（９）式＝（１０）式として、２次元座標上での左右の近似直線の交点の座標（Ｙｉｍｇ）を算出すると、
（Ｂ−Ｃ）／ｈ・Ｙｉｍｇ＝−ｆ・（Ｂ−Ｃ）／ｈ・Φ
Ｙｉｍｇ＝−ｆ・Φ
となり、この交点座標（Ｙｉｍｇ）を、上記（２）式に代入して、画面座標に変換すると、上述した（６）式と同様の結果「Ｉｉｍｇ＝ｆ・Φ／Ｒｖ＋ＰＩＨ／２」が得られる。
【００３３】
このことから、曲線を含む通常の道路に形成された左右のレーンマークの認識結果であっても、図６（ｃ）に例示するように、その認識結果を撮像画像上の車両近傍の一定範囲内（直線近似領域内）で直線近似すれば、その左右の近似直線の交点位置は、無限遠点ＦＯＥと同じ地平線上になることがわかる。
【００３４】
次に、上記▲３▼のように撮像装置で分岐点を含む道路（分岐道路）が撮像され、レーンマーク認識装置が、分岐車線に沿ったレーンマークを認識した場合について説明する。
まず、図７（ａ）に示すように、撮像装置にて、走行車線の左側に分岐する分岐車線を含む道路の画像が撮像され、レーンマーク認識装置が、左側のレーンマークとして分岐車線に形成されたレーンマークを認識した場合、そのレーンマークの認識結果を直線近似領域内で直線近似することによって得られる左右の近似直線は、図７（ｂ）に示すように、道路座標上では平行にならず、離れていく。
【００３５】
従って、レーンマーク認識装置が分岐車線のレーンマークを認識した際には、道路座標上で左右の近似直線が交差することはないが、図７（ｃ）に示すように、撮像画像上では左右の近似直線が交差する。そこで、次に、この左右の近似直線が撮像画像上で交差する交点位置（画面座標）を算出する。
【００３６】
図７（ｂ）に示す左右の近似直線は、夫々、次式（１１）、（１２）のように記述できる。
左近似直線：Ｘｒｏａｄ＝Ａ・Ｙｒｏａｄ＋Ｂ …（１１）
右近似直線：Ｘｒｏａｄ＝Ｄ・Ｙｒｏａｄ＋Ｃ …（１２）
但し、Ａ＜Ｄ且つＢ＜Ｃである。
【００３７】
また、これらの近似直線を上記と同様の手順で２次元座標に変換すると、分岐車線のレーンマークに対応した左近似直線は次式（１３）のようになり、走行車線のレーンマークに対応した右近似直線は次式（１４）のようになる。
Ｘｉｍｇ＝−Ｂ／ｈ・Ｙｉｍｇ＋ｆ・（Ａ−θ−Ｂ／ｈ・Φ） …（１３）
Ｘｉｍｇ＝−Ｃ／ｈ・Ｙｉｍｇ＋ｆ・（Ｄ−θ−Ｃ／ｈ・Φ） …（１４）
そして、（１３）式＝（１４）式として、２次元座標上での左右の近似直線の交点の座標（Ｙｉｍｇ）を算出すると、
（Ｂ−Ｃ）／ｈ・Ｙｉｍｇ＝ｆ・（Ａ−Ｄ）−ｆ・（Ｂ−Ｃ）／ｈ・Φ
Ｙｉｍｇ＝ｆ・ｈ・（Ａ−Ｄ）／（Ｂ−Ｃ）−ｆ・Φ
となり、この交点座標（Ｙｉｍｇ）を、上記（２）式に代入して、画面座標に変換すると、
Ｉｉｍｇ＝ｆ・Φ／Ｒｖ＋ＰＩＨ／２
−｛（Ａ−Ｄ）・ｈ／（Ｂ−Ｃ）｝／Ｒｖ …（１５）
となる。
【００３８】
この（１５）式は、上述した（６）式で得られる地平線の座標「Ｉｉｍｇ＝ｆ・Φ／Ｒｖ＋ＰＩＨ／２」から、最後の項「｛（Ａ−Ｄ）・ｈ／（Ｂ−Ｃ）｝／Ｒｖ」を減じる形となっている。そして、この（１５）式において、Ａ＜Ｄ、Ｂ＜Ｃ、ｈ＞Ｏ、Ｒｖ＞０であることから、（１５）式の最後の項の値は０よりも大きい正の値となる。
【００３９】
よって、（１５）式の値は（６）式で得られる地平線の画面座標（換言すれば無限遠点ＦＯＥの垂直座標）よりも小さい値をとることになる。
つまり、レーンマーク認識装置にて認識された左右のレーンマークの一方が分岐車線に沿ったレーンマークである場合、その認識結果を撮像画像上の車両近傍の領域（直線近似領域）で直線近似すると、直線近似により得られた２本の近似直線の交点は、撮像画像上の地平線の位置よりも上方に位置することになる。
【００４０】
尚、上記説明では、（１５）式＜（６式）の関係が成立するための条件として、左右の近似直線の傾きＡ，Ｄと切片Ｂ，Ｃとの間に、Ａ＜Ｄ且つＢ＜Ｃなる関係が成り立つことを設定しているが、この条件は、通常の道路において成立する自然な条件であることを、実験的にも確認している。
【００４１】
また、上記説明では、分岐車線は車両の左側にあるものとして説明したが、分岐車線が右側にあり、レーンマーク認識装置が右側分岐車線のレーンマークを認識し、左側では走行車線のレーンマークを認識した場合でも、左右近似直線の交点と地平線との位置関係は上記と同様の関係となる。
【００４２】
以上説明したように、レーンマーク認識装置にて認識された左右のレーンマークを撮像画像上の車両近傍の領域（直線近似領域）で直線近似し、その直線近似により得られた２本の近似直線の交点の撮像画像上での位置（画面座標）を検出するようにした場合、レーンマーク認識装置にて認識された左右のレーンマークが車両の走行車線に沿ったレーンマークであれば、検出した交点位置が撮像画像における地平線上の位置となり、レーンマーク認識装置にて認識された左右のレーンマークの一つが分岐車線に沿ったレーンマークであれば、検出した交点位置が撮像画像における地平線位置よりも上方に位置する。
【００４３】
従って、上記のように検出した撮像画像上での交点位置からレーンマークにて認識されたレーンマークの種別を識別するには、基本的には、交点位置が撮像画像における地平線上にあるか否かを判断するようにすればよい。
しかしながら、本発明方法では、レーンマーク認識装置により認識されたレーンマークを直線近似することにより、左右のレーンマークの交点位置を求めることから、レーンマーク認識装置による認識結果のずれ（詳しくは認識されたレーンマークと実際に撮像装置に写ったレーンマークとの位置のずれ）や、直線近似の際の際に生じる誤差等により、左右の近似直線は、道路座標に変換した際に完全に平行にならないことが考えられる。
【００４４】
そして、上述したように道路座標に変換した際に左右の近似直線が平行になる場合には、撮像画像上での左右の近似直線の交点位置は撮像画像における地平線上に位置するが、近似直線が道路座標上で完全に平行ならない場合には、図８に示すように、上記（１５）式の最後の項「（Ａ−Ｄ）・ｈ／（Ｂ−Ｃ）／Ｒｖ」により、傾き：Ａ＜Ｄなら、交点位置は撮像画像上での地平線よりも上方にずれ、傾き：Ａ＞Ｄなら、交点位置は撮像画像上での地平線よりも下方にずれることになる。
【００４５】
しかし、この場合の交点位置と地平線とのずれは、レーンマーク認識装置にて分岐車線のレーンマークが認識された場合のずれよりも充分小さく、そのずれの大きさからレーンマーク認識装置にて認識されたレーンマークが走行車線に沿ったものか否かを識別することができる。
【００４６】
そこで、本発明方法では、交点位置が撮像画像における地平線上にあるか否かを判断するのではなく、図８に例示するように、交点位置が、撮像画像における地平線の位置Ｉｆｏｅを所定量△Ｉ上方にオフセットさせた基準線位置よりも上方にあるか否かを判断することにより、レーンマーク認識装置により認識された左右のレーンマークは走行車線のレーンマークであるか分岐車線のレーンマークであるかを識別するようにしている。
【００４７】
よって、本発明方法によれば、レーンマーク認識装置で認識された左右のレーンマークの一つが分岐車線に沿ったレーンマークであるか否かを、車両が道路の分岐点から離れた位置で、短時間で識別できるだけでなく、その識別を正確に行うことができるようになる。
【００４８】
ここで、本発明方法を実現するためには、撮像画像上での基準線位置を予め設定しておく必要があるが、この基準線位置の設定は、請求項２に記載のように、まず、上記（６）式に従い、レーンマーク認識装置にて車両前方の道路を撮像するのに用いられる撮像装置の車両への取付角度及び撮像装置の特性に基づき撮像画像での地平線の位置を算出し、その算出した地平線の位置を、直線近似によって得られる交点位置の最大誤差分（図８に示す△Ｉ）だけ上方にオフセットさせることにより設定するようにすればよい。尚、この場合、交点位置の最大誤差分については、レーンマーク認識装置の精度や直線近似の精度等によって実験的に設定すればよい。
【００４９】
また、本発明方法においてレーンマークを直線近似する方法としては、レーンマーク認識装置にて得られたレーンマークの撮像画像上での位置を表すデータに基づき、レーンマークを直線近似できる方法であればよく、例えば、最小二乗法等の従来より一般に利用されている直線近似の方法を利用することができる。
【００５０】
次に、請求項３に記載のレーンマーク識別方法においては、請求項１又は請求項２に記載のレーンマーク識別方法と同様に、レーンマーク認識装置により認識された左右のレーンマークの中から、車両近傍の所定領域内に位置する左右のレーンマークを選択し、その選択した左右のレーンマークを撮像画像上で直線近似した左右の近似直線を算出するが、その後は、左右の近似直線の交点位置を算出するのではなく、左右の近似直線を車両前方の道路を真上から見た道路座標に変換することにより得られる各直線の道路座標上での傾きを算出する。
【００５１】
そして、その算出した各直線の傾きが、予め設定された誤差範囲内で一致しているか否かを判断して、各直線の傾きが誤差範囲内で一致していれば、レーンマーク認識装置により認識された左右のレーンマークは走行車線のレーンマークであると認識し、各直線の傾きが誤差範囲内で一致していなければ、レーンマーク認識装置により認識された左右のレーンマークの一つは分岐車線のレーンマークであると認識する。
【００５２】
この請求項３に記載のレーンマーク識別方法は、レーンマーク認識装置で認識されたレーンマークが走行車線に沿ったレーンマークである場合、そのレーンマークの左右の近似直線を道路座標に変換することにより得られる２つの直線は、図６に示したように平行（若しくは略平行）になって傾きが一致（若しくは略一致）し、逆に、レーンマーク認識装置で認識されたレーンマークの一つが分岐車線に沿ったレーンマークである場合、そのレーンマークの左右の近似直線を道路座標に変換することにより得られる２つの直線は、図７に示したように平行（若しくは略平行）にならず傾きが大きく異なる、という点に着目してなされたものである。
【００５３】
つまり、例えば、レーンマークを直線近似することにより得られる撮像画像上での近似直線が、Ｊｉｍｇ＝Ａ・Ｉｉｍｇ＋Ｂで与えられた場合、この近似直線を道路座標での直線の式に変換すると、以下のようになる。
即ち、まず、上述した（１）、（２）式から、撮像画像上での画像座標（Ｊｉｍｇ，Ｉｉｍｇ）は、２次元座標（Ｘｉｍｇ，Ｙｉｍｇ）を用いて、次式（１６）、（１７）のように記述できる。
【００５４】
Ｊｉｍｇ＝Ｘｉｍｇ／Ｒｈ＋ＰＩＷ／２ …（１６）
Ｉｉｍｇ＝ＰＩＨ／２−Ｙｉｍｇ／Ｒｖ …（１７）
そして、この式（１６）、（１７）を、上述した撮像画像上での近似直線の式に代入すると、
Ｘｉｍｇ／Ｒｈ＋ＰＩＷ／２＝Ａ・ＰＩＨ／２＋Ｂ−Ａ・Ｙｉｍｇ／Ｒｖ
Ｘｉｍｇ＝（Ａ・ＰＩＨ／２＋Ｂ−ＰＩＷ／２）・Ｒｈ
−（Ａ・Ｒｈ／Ｒｖ）・Ｙｉｍｇ …（１８）
＝Ｃ−Ｄ・Ｙｉｍｇ
が得られる。
【００５５】
また、２次元座標（Ｙｉｍｇ，Ｘｉｍｇ）は、上述した（３）、（４）式から、次式（１９）、（２０）のように記述できる。
Ｙｉｍｇ＝−ｆ・ｈ／Ｙｒｏａｄ−ｆ・Φ …（１９）
Ｘｉｍｇ＝ｆ・Ｘｒｏａｄ／Ｙｒｏａｄ−ｆ・θ …（２０）
そして、この式（１９）、（２０）を上記（１８）式に代入すると、
ｆ・Ｘｒｏａｄ／Ｙｒｏａｄ−ｆ・θ＝Ｃ＋Ｄ・ｆ・（ｈ／Ｙｒｏａｄ＋Φ）
ｆ・Ｘｒｏａｄ＝（Ｃ＋ｆ・θ＋Ｄ・ｆ・Φ）・Ｙｒｏａｄ＋Ｄ・ｆ・ｈ
Ｘｒｏａｄ＝（Ｃ／ｆ＋θ＋Ｄ・Φ）・Ｙｒｏａｄ＋Ｄ・ｈ …（２１）
となり、この（２１）式が、画面座標での近似直線を道路座標での式に変換した結果である。
【００５６】
そして、左右の近似直線が車両の走行車線に沿ったレーンマークである場合には、図６に示したように道路座標上で平行（若しくは略平行）であることから、左右の近似直線から算出した道路座標での直線の傾き「Ｃ／ｆ＋θ＋Ｄ・Φ」は、誤差範囲内で一致することになる。
【００５７】
これに対して、左右の近似直線の内の一方が分岐車線に沿ったレーンマークである場合には、図７に示したように道路座標上で左右の近似直線は平行にならない（大きく異なる）ことから、左右の近似直線から算出した道路座標での直線の傾き「Ｃ／ｆ＋θ＋Ｄ・Φ」も大きく異なる値となる。
【００５８】
そこで、請求項３に記載のレーンマーク識別方法では、レーンマーク認識装置で認識されたレーンマークを直線近似することにより左右の近似直線を算出すると共に、その近似直線を道路座標に変換することにより得られる各直線の道路座標上での傾きを求め、各直線の傾きが、予め設定された誤差範囲内で一致しているか否かを判断することにより、レーンマーク認識装置にて認識されたレーンマークを識別するようにしているのである。
【００５９】
そして、本発明方法においても、請求項１、２に記載の発明方法と同様、レーンマーク認識装置で認識された左右のレーンマークを撮像画像上で直線近似し、その近似直線からレーンマークを識別することから、従来技術を利用してレーンマーク認識装置による認識結果を識別するようにした場合に比べて、レーンマークの識別を極めて短時間で行うことができると共に、車両が道路の分岐点から離れていてもレーンマークを識別できるようになる。
【００６０】
よって、本発明方法においても、レーンマークを高速に認識する必要のある制御装置にてレーンマーク認識装置の認識結果をチェックするのに利用すれば、その制御装置による制御の応答性を低下させることなく、レーンマーク認識装置によるレーンマークの誤認識を防止することができるようになる。
【００６１】
尚、撮像画像上で直線近似した近似直線を道路座標に変換することにより得られる直線の道路座標上での傾きＫは、上述した（２１）式より、
Ｋ＝Ｃ／ｆ＋θ＋Ｄ・Φ ……（２２）
但し、Ｃ＝（Ａ・ＰＩＨ／２＋Ｂ−ＰＩＷ／２）・Ｒｈ
Ｄ＝（Ａ・Ｒｈ／Ｒｖ）
と記述できることから、本発明方法において、撮像画像上で直線近似した左右の近似直線「Ｊｉｍｇ＝Ａ・Ｉｉｍｇ＋Ｂ」の道路座標上での傾きＫ１、Ｋ２を算出する際には、撮像画像での各近似直線の傾きＡ及び切片Ｂと、撮像装置を車両に取り付けた際のピッチ角Φ及びヨー角θと、撮像装置のレンズの焦点距離ｆと、画面座標の水平方向の最大値ＰＩＷと、画面座標の水平方向の分解能Ｒｈと、画面座標の垂直方向の最大値ＰＩＨと、画面座標の分解能Ｒｖとを用いて、各近似直線の道路座標上での傾きＫを算出するようにすればよい。
【００６２】
また、これらのパラメータの内、各近似直線の傾きＡ及び切片Ｂ以外は、撮像装置自体の特性（ｆ、ＰＩＷ、Ｒｈ、ＰＩＨ、Ｒｖ）若しくは撮像装置の車両への取付角度（Φ、θ）であり、本発明方法を適用する車両固有の固定値であることから、実際に傾きＫ１、Ｋ２を算出する際には、撮像画像上での近似直線の傾きＡ及び切片Ｂをパラメータとする簡単な演算式、若しくは、その傾きＡ及び切片Ｂをパラメータとするマップを用いて、道路座標上での傾きＫ１，Ｋ２を算出することができる。
【００６３】
次に、請求項４に記載のレーンマーク識別装置は、レーンマーク認識装置が認識したレーンマークが走行車線のレーンマークであるか走行車線から分岐した分岐車線のレーンマークであるかを、請求項１、２に記載のレーンマーク識別方法に則って識別する装置に関するものである。
【００６４】
そして、このレーンマーク識別装置においては、直線近似手段が、レーンマーク認識装置により認識された左右のレーンマークの中から、車両近傍の所定領域内に位置する左右のレーンマークを選択して、その選択した左右のレーンマークを撮像画像上で直線近似した左右の近似直線を算出し、交点位置算出手段が、直線近似手段にて直線近似された左右の近似直線が撮像画像上で交わる交点位置を算出し、識別手段が、交点位置算出手段にて算出された撮像画像上での交点位置が撮像画像における地平線の位置を所定量上方にオフセットさせた基準線位置よりも上方にあるか否かを判断することにより、レーンマークを識別する。
【００６５】
よって、このレーンマーク識別装置によれば、車両が道路の分岐点から離れていても、レーンマーク認識手段が認識したレーンマークを、短時間で正確に識別することができるようになり、レーンマークを高速に認識する必要のある制御装置と共に利用することによって、その制御装置による制御の応答性を低下させることなく、レーンマーク認識装置によるレーンマークの誤認識を防止することができるようになる。
【００６６】
また次に、請求項５に記載のレーンマーク識別装置は、レーンマーク認識装置が認識したレーンマークが走行車線のレーンマークであるか走行車線から分岐した分岐車線のレーンマークであるかを、請求項３に記載のレーンマーク識別方法に則って識別する装置に関するものである。
【００６７】
そして、このレーンマーク識別装置においは、直線近似手段が、レーンマーク認識装置により認識された左右のレーンマークの中から、車両近傍の所定領域内に位置する左右のレーンマークを選択して、その選択した左右のレーンマークを前記撮像画像上で直線近似した左右の近似直線を算出し、傾き算出手段が、直線近似手段にて直線近似された左右の近似直線を車両前方の道路を真上から見た道路座標に変換することにより得られる各直線の道路座標上での傾きを算出し、識別手段が、傾き算出手段にて算出された各直線の傾きが予め設定された誤差範囲内で一致しているか否かを判断することにより、レーンマークを識別する。
【００６８】
よって、このレーンマーク識別装置においても、請求項４に記載の装置と同様の効果を得ることができる。
【００６９】
【発明の実施の形態】
以下に本発明の実施形態について図面と共に説明する。
図１は本発明（詳しくは請求項１、２、４）が適用された実施例のレーンマーク認識装置の概略構成を表すブロック図である。
【００７０】
本実施例のレーンマーク認識装置は、車両に搭載され、車両の走行車線を示すために道路上に形成されて白線等のレーンマークを認識するための装置であり、例えば、レーンマークに沿って車両を自動走行させる自動走行制御等に利用される。
【００７１】
図１（ａ）、（ｂ）に示すように、本実施例のレーンマーク認識装置は、ＣＣＤカメラ１０と、認識処理部２０とから構成されている。
ＣＣＤカメラ１０は、車両前方の道路を含む風景を撮像するためのものであり、図１（ａ）に示すように、例えば、車両内部の運転席近傍の天井等に撮像画像の横軸が水平となるように取り付けられている。尚、ＣＣＤカメラ１０は、特許請求の範囲に記載の撮像装置に相当する。
【００７２】
また、認識処理部２０は、図１（ａ）に示すように、車両内部に設置されており、ＣＣＤカメラ１０から出力されるアナログ画像信号を取り込み、これをデジタルの画像データに変換して、フィルタリング等の処理を施すことにより、ＣＣＤカメラ１０にて得られた撮像画像上でのレーンマークの位置を認識し、その認識結果を外部の制御装置に出力する。
【００７３】
即ち、認識処理部２０は、ＣＣＤカメラ１０から出力されたアナログ画像信号をデジタルの画像データに変換するアナログ・デジタル変換器（ＡＤＣ）２１と、そのＡＤＣ２１から得た画像データに対してフィルタリング等の所定の前処理を実行する前処理ＡＳＩＣ２２と、その前処理ＡＳＩＣ２２から出力される画像データを記憶しておく画像メモリ２３と、その画像メモリ２３に記憶されている前処理後の画像データに基づいて、撮像画像中のレーンマークを認識する処理等を実行するＣＰＵ２４と、ＣＰＵ２４の実行するプログラム等を記憶しているＲＯＭ２５と、ＣＰＵ２４の作業領域として機能するＲＡＭ２６と、ＣＰＵ２４から転送された例えばレーンマークの認識結果にかかるデータ等を外部へ出力するための通信ＩＣ２７とを備えている。
【００７４】
尚、ＡＳＩＣ２２にて実行されるレーンマーク認識のための前処理（フィルタリング等）や、その前処理後の画像データからレーンマークを認識するためにＣＰＵにて実行されるレーンマーク認識処理については、従来より種々の方法が知られており、また、本発明に関わる主要な処理動作ではないので、ここではその処理動作の詳細については説明を省略する。
【００７５】
ところで、車両走行中に車両前方の道路が左又は右に分岐している場合、ＣＰＵ２４が実行するレーンマーク認識処理により得られた左右のレーンマークの認識結果の内の一方が、車両を自動走行させるべき走行車線に沿ったレーンマークではなく、分岐車線のレーンマークになることがある。そして、このようにレーンマークが本来認識すべきレーンマークとは異なる場合に、認識結果をそのまま外部の制御装置に出力すると、車両が誤制御されてしまう虞がある。
【００７６】
そこで、本実施例では、図１（ｃ）に示すように、ＣＰＵ２４は、画像メモリ２３に記憶された画像データに基づきレーンマーク認識処理Ｓ１（Ｓはステップを表す）を実行した後は、Ｓ２にて、今回認識した左右のレーンマークは、車両の走行車線である本線に沿ったレーンマークであるか、分岐車線に沿ったレーンマークであるかを識別するための本線・分岐判定処理を実行し、この本線・分岐判定処理による識別結果が「分岐」（つまり、認識されたレーンマークが分岐車線に沿ったレーンマーク）である場合（Ｓ３：ＹＥＳ）には、再度Ｓ１のレーンマーク認識処理を実行させ、逆に、分岐路判定処理による識別結果が「本線」（つまり、認識されたレーンマークが車両の走行車線に沿ったレーンマーク）である場合（Ｓ３：ＮＯ）には、レーンマーク認識処理により得られた認識結果をそのまま外部の制御装置に出力する（Ｓ４）ようにされている。
【００７７】
以下、このようにＣＰＵ２４にて実行される処理の内、本発明のレーンマーク認識装置として機能する本線・分岐判定処理を、図２に示すフローチャートに沿って説明する。
尚、以下の説明では、レーンマーク認識処理Ｓ１により得られる左右のレーンマークの認識結果は、図３（ａ）に示すように、撮像画像上での左右のレーンマークの位置を表す複数の座標（画面座標）からなる座標データにて構成されているものとする。
【００７８】
図２に示すように、分岐路判定処理では、ＣＰＵ２４は、まずＳ１１０にて、レーンマーク認識処理Ｓ１にて得られた左右のレーンマークの認識結果である座標データを取得し、続くＳ１２０にて、その読み込んだ座標データの中から、撮像画像における車両近傍の直線近似領域内に存在する座標データを選択し、その選択した座標データに基づき左右のレーンマークを撮像画像上で直線近似した左右の近似直線（図３（ｂ）参照）を算出する、直線近似手段としての処理を実行する。
【００７９】
尚、直線近似領域は、実験等で予め設定されるものであり、本実施例では、ＣＣＤカメラ１０が撮像画像の横軸が水平となるように車両に取り付けられているため、図３（ａ）に示すように、撮像画像の下端から所定画素分上方までの領域が直線近似領域として設定されている。また、座標データに基づくレーンマークの直線近似には、例えば、周知の最小二乗法が利用される。
【００８０】
こうして、レーンマーク認識処理にて認識された左右のレーンマークの近似直線が算出されると、今度は、Ｓ１３０にて、その近似直線が撮像画像上で交わる交点の位置を表す垂直座標を算出する、交点位置算出手段としての処理を実行する。
【００８１】
そして、続くＳ１４０では、Ｓ１３０にて算出された交点の垂直座標が、撮像画像上での無限遠点ＦＯＥ（つまり地平線）の位置を表す垂直座標から予め設定された閾値を減じた基準座標（ＦＯＥ−閾値）よりも大きいか否かを判断し、交点の垂直座標が基準座標よりも大きい値であれば、Ｓ１５０にて、レーンマーク認識処理で今回認識されたレーンマークは本線のレーンマークであると判定して、当該本線・分岐判定処理を終了し、逆に、交点の垂直座標が基準座標以下の値であれば、Ｓ１６０にて、レーンマーク認識処理で今回認識されたレーンマークの少なくとも一方は分岐車線のレーンマークであると判定して、当該本線・分岐判定処理を終了する。
【００８２】
つまり、Ｓ１４０〜Ｓ１６０の処理では、Ｓ１３０にて算出した交点の垂直座標と基準座標とを用いて、左右の近似直線の交点が、図３（ｂ）に示す撮像画像上での地平線の位置を閾値分だけ上方にオフセットさせた基準線位置よりも上方の分岐判定領域内にあるか否かを判定し、交点の位置が分岐判定領域内にあれば、レーンマーク認識処理で認識された左右のレーンマークの少なくとも一つは、分岐車線のレーンマークであると判定し、交点の位置が分岐判定領域内になければ、レーンマーク認識処理で認識された左右のレーンマークは、車両が現在走行している車線（本線）のレーンマークであると判定するのである。
【００８３】
尚、撮像画像上での地平線の位置（本実施例では垂直座標）は、既述したように、ＣＣＤカメラ１０自体の特性（カメラの焦点距離ｆ、撮像画像の垂直方向分解能Ｒｖ、及び、画面座標の垂直方向の最大値ＰＩＨ）とＣＣＤカメラ１０の車両への取付角度（ピッチ角Φ）とに基づき予め設定されている。
【００８４】
また、この地平線の位置を用いて本線・分岐判定用の基準線の位置（本実施例では基準座標）を特定するのに用いられる閾値は、レーンマーク認識処理による認識結果のずれや、Ｓ２２０における直線近似の際の際に生じる誤差等により、本線のレーンマークを直線近似することによって得られる近似直線の交点が撮像画像上で地平線からずれても、レーンマークの認識結果を正確に識別できるようにするためのものであり、レーンマーク認識装置の精度や直線近似の精度等によって生じる交点位置の誤差を実験的に求め、その誤差の最大値（最大誤差）に基づき予め設定されている。
【００８５】
以上説明したように、本実施例のレーンマーク認識装置においては、ＣＰＵ２４が実行するレーンマーク認識処理（Ｓ１）で得られたレーンマークの認識結果を、そのまま外部の制御装置に出力するのではなく、本線・分岐判定処理（Ｓ２）にて、その認識結果に基づき、左右のレーンマークの撮像画像上での近似直線を求め、その近似直線の交点位置が、撮像画像上での地平線位置を閾値分だけ上方にオフセットさせた基準線位置よりもさらに上方にあるか否かを判断することにより、レーンマーク認識処理（Ｓ１）で車両が走行中の本線に沿ったレーンマークが認識されたか否かを判断し、本線に沿ったレーンマークが認識された場合にだけ、その認識結果を外部の制御装置に出力するようにされている。
【００８６】
このため、本実施例のレーンマーク認識装置によれば、車両を本線に沿って走行させる自動走行制御を実行する制御装置に対して、分岐車線に沿ったレーンマークの認識結果が出力されるのを防止し、制御装置による自動走行制御を良好に実行させることができる。
【００８７】
また、本実施例のレーンマーク認識装置によれば、レーンマークの認識結果を直線近似し、その近似直線の交点位置が撮像画像上で基準線位置よりも上方にあるか否かを判断することで、認識したレーンマークが本線のものか分岐車線のものかを識別することから、レーンマークの一回の認識結果を用いて、車両が道路の分岐点に近づく前に、短時間で正確にレーンマークを識別できるようになる。よって、本実施例によれば、制御装置による自動走行制御の応答性を低下させることなく、制御装置による誤制御を防止できる。
【００８８】
以上、本発明の一実施例について説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採ることができる。
例えば、上記実施例では、本発明のレーンマーク識別装置としての機能は、レーンマーク認識装置を構成する認識処理部２０の一機能（より具体的にはＣＰＵ２４が実行する本線・分岐判定処理）にて実現されるものとして説明したが、本発明のレーンマーク識別装置は、レーンマーク認識装置とは別体の専用装置として構成してもよく、或いは、レーンマーク認識装置によるレーンマークの認識結果に基づき車両を制御する制御装置内のデータ処理回路（ＣＰＵ等）の一機能として実現するようにしてもよい。
【００８９】
また、上記実施例では、レーンマークの認識結果は、撮像画像上でのレーンマークの位置を表す複数の座標（座標データ）からなるものとして説明したが、例えば、レーンマークの認識結果として、左右のレーンマークを数式で記述した数式データを出力するレーンマーク認識装置であっても本発明を適用できる。
【００９０】
また更に、上記実施例では、レーンマーク認識処理（Ｓ１）で得られたレーンマークの認識結果が車両の走行車線に沿ったレーンマークであるときに、その認識結果を外部の制御装置に出力し、レーンマークの認識結果が分岐車線に沿ったレーンマークであるときは、レーンマーク認識処理（Ｓ１）を再度実行させるものとして説明したが、レーンマーク認識処理（Ｓ１）によるレーンマークの認識結果に本線・分岐判定処理（Ｓ２）による識別結果を付与したデータを外部の制御装置に出力するようにしてもよい。
【００９１】
また、上記実施例では、近似直線の交点位置の算出や、その交点位置が基準線よりも上方の分岐判定領域内にあるか否かの判定は、全て、ＣＣＤカメラ１０による撮像画像上での垂直座標に基づき行うものとして説明したが、これは、ＣＣＤカメラ１０が、車両に対して撮像画像の横軸が水平になるように組み付けられているためであり、例えば、ＣＣＤカメラ１０が車両に対して斜めに組み付けられているような場合には、撮像画像上での基準線よりも上方の領域（分岐判定領域）を予め設定しておき、撮像画像上での交点の位置座標（水平座標，垂直座標）がその領域内にあるか否かを判断することによって、上記実施例と同様にレーンマークの認識結果を識別することができる。
【００９２】
一方、上記実施例では、請求項１、２、４に係る発明をレーンマーク認識装置に適用し、認識したレーンマークの近似直線の交点からレーンマークを識別する場合について説明したが、例えば、請求項３、５に係る発明を上記実施例と同様のレーンマーク認識装置に適用する場合には、レーンマーク識別装置としての機能を実現する本線・分岐判定処理を、図４に示す手順で行うようにすればよい。
【００９３】
即ち、図４に示す本線・分岐判定処理は、図２に示した本線・分岐判定処理と同様、Ｓ２１０にて、左右のレーンマークの認識結果（座標データ）を取得し、Ｓ２２０にて、その取得した座標データの内の直線近似領域内の座標データを用いて左右のレーンマークの近似直線を算出した後、Ｓ２３０にて、その算出した近似直線を道路座標に変換することにより得られる各直線の道路座標上での傾きＫ１、Ｋ２を算出するようにされている。尚、Ｓ２３０にて近似直線の道路座標上での傾きＫ１、Ｋ２を算出する際には、上述した（２２）式に基づき予め設定された演算式若しくはマップが用いられる。
【００９４】
また図４に示す本線・分岐判定処理では、Ｓ２３０にて傾きＫ１、Ｋ２を算出した後は、Ｓ２４０に移行して、Ｓ２３０にて算出した左右の近似直線の傾きＫ１、Ｋ２の比「Ｋ１／Ｋ２」が値１を中心とする所定の閾値内にあるか否かを判定することにより、各傾きＫ１、Ｋ２が予め設定された誤差範囲内で一致しているか否かを判断し、左右の近似直線の傾きＫ１、Ｋ２が誤差範囲内で一致していれば（つまり、「（１−閾値）＜Ｋ１／Ｋ２＜（１＋閾値）」であれば）、Ｓ２５０にて、今回認識した左右のレーンマークは本線に沿ったレーンマークであると判定し、左右の近似直線の傾きＫ１、Ｋ２が誤差範囲内で一致していなければ（つまり、「Ｋ１／Ｋ２≦（１−閾値）」又は「Ｋ１／Ｋ２≧（１＋閾値）」であれば）、Ｓ２６０にて、今回認識した左右のレーンマークの少なくとも一つは分岐車線に沿ったレーンマークであると判定して、当該本線・分岐判定処理を終了するようにされている。
【００９５】
従って、上記実施例のＣＰＵ２４にて、このような本線・分岐判定処理を実行するようにすれば、この本線・分岐判定処理にて請求項３、５に記載の発明を実現できることになり、上記実施例と同様の効果を得ることができるようになる。尚、図４に示した本線・分岐判定処理においては、Ｓ２２０の処理が本発明の直線近似手段に相当し、Ｓ２３０の処理が本発明の傾き算出手段に相当し、Ｓ２４０〜Ｓ２６０の処理が本発明の識別手段に相当する。
【００９６】
また、上述した図２及び図４の本線・分岐判定処理の説明において、レーンマークの認識結果を識別するのに用いるパラメータ（ＦＯＥ、閾値）や、近似直線の道路座標上での傾きを算出するためのデータ（演算式若しくはマップ）は、予め設定されているものとして説明したが、既述したように、これらはＣＣＤカメラ１０等からなる撮像装置の特性及び撮像装置の車両への取付角度に基づき設定できることから、本発明のレーンマーク識別装置としての機能を有する装置には、撮像装置を車両に取り付けた際に、その特性や車両への取付角度を外部から入力できるようにしておき、装置側では、その入力された情報に基づき、レーンマーク識別用のパラメータや傾き算出用のデータを自動で設定するようにしてもよい。
【図面の簡単な説明】
【図１】実施例のレーンマーク認識装置の構成及び動作を説明する説明図である。
【図２】ＣＰＵにて実行される本線・分岐判定処理を表すフローチャートである。
【図３】本線・分岐判定処理の動作を説明する説明図である。
【図４】本線・分岐判定処理の他の例を表すフローチャートである。
【図５】車両前方に真っ直ぐ伸びる道路上のレーンマークの認識結果及びその認識結果の２次元座標、道路座標への変換結果を説明する説明図である。
【図６】カーブした道路上のレーンマークの認識結果及びその認識結果の２次元座標、道路座標への変換結果を説明する説明図である。
【図７】分岐車線を含むレーンマークの認識結果及びその認識結果の２次元座標、道路座標への変換結果を説明する説明図である。
【図８】直線近似誤差等によって生じる交点位置のずれを説明する説明図である。
【符号の説明】
１０…ＣＣＤカメラ、２０…認識処理部、２１…アナログ・デジタル変換器（ＡＤＣ）、２２…前処理ＡＳＩＣ、２３…画像メモリ、２４…ＣＰＵ、２５…ＲＯＭ、２６…ＲＡＭ、２７…通信ＩＣ。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a lane mark recognition device that recognizes lane marks formed on the left and right sides of a traveling lane of a vehicle based on a captured image of a road ahead of the vehicle, wherein the recognized lane mark is actually running. The present invention relates to a lane mark identification method and apparatus suitable for identifying a lane mark of a traveling lane or a lane mark of a branch lane branched from the traveling lane.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, for example, driving control for automatically driving a vehicle along a lane mark such as a white line formed on a road, and alarm control for detecting a departure of a vehicle from a driving lane and issuing an alarm to a driver are realized. For this purpose, there is known a lane mark recognition device that images a road ahead of a vehicle with an imaging device such as a CCD camera and recognizes lane marks such as white lines formed on the left and right of the vehicle's traveling lane based on the captured image. (For example, see Patent Documents 1 and 2).
[0003]
By the way, in this type of device, lane marks are recognized on the assumption that lane marks such as white lines are present on the left and right sides of the traveling lane of the vehicle. A lane mark along a branch lane may be erroneously recognized as a lane mark of a traveling lane.
[0004]
On the other hand, as a technique for recognizing a branch of a road, conventionally, by processing an image of a road taken by an image pickup device, edges at both ends of left and right lane marks are detected, and one of the left and right lane marks is detected. Recognizes a road branch when the edges at both ends are widening as the vehicle travels, or recognizes a road branch when the recognized distance between the recognized left and right lane marks increases as the vehicle travels. (For example, see Patent Document 3).
[0005]
Then, by using the technology of this proposal, it is possible to identify whether the lane mark recognized by the lane mark recognition device is a lane mark along the traveling lane of the vehicle or a lane mark along the branch lane. Can be.
[0006]
[Patent Document 1] Japanese Patent Application Laid-Open No. 7-141592
[Patent Document 2] JP-A-11-213155
[Patent Document 3] Japanese Patent Application Laid-Open No. H11-232467
[0007]
[Problems to be solved by the invention]
However, in the above-described proposed technology, the width of the lane mark itself and the interval between the left and right lane marks are continuously detected by repeatedly processing the captured image that changes with the traveling of the vehicle, and the detected width or the interval of the detected lane mark is determined. Recognizing a road branch from the change requires a long time from when the vehicle approaches the road branch point (in other words, after an image of the road including the branch point is captured) to recognize the road branch. There is a problem.
[0008]
In addition, in order to detect a road branch using the above-described proposed technology, it is necessary to be able to detect the width of the lane mark itself and the spread of the interval between the left and right lane marks on the captured image. Needs to be sufficiently close to the fork, the above-mentioned proposed technique also has a problem that it is difficult for the vehicle to recognize the fork of the road at a position away from the fork. That is, since the captured image is obtained by capturing the road ahead of the vehicle, the captured image captured at a position where the vehicle is away from the branch point has the width of the lane mark itself and the width of the left and right lane marks. The widening of the interval cannot be detected, and the branch of the road cannot be detected until the vehicle is sufficiently close to the junction.
[0009]
For this reason, the above-mentioned proposed technology is applied to the lane mark recognition device used to realize the above-described travel control and alarm control, and the lane mark recognized by the lane mark recognition device is the lane mark of the traveling lane of the vehicle. In the case where the lane mark of the branch lane is identified, the recognition result of the lane mark cannot be identified until the vehicle has passed the junction or is sufficiently close to the junction. There arises a problem that traveling control and alarm control cannot be performed well.
[0010]
The present invention has been made in view of such a problem, and a lane mark recognition device that recognizes lane marks formed on the left and right sides of a traveling lane of a vehicle based on a captured image of a road ahead of the vehicle. Can be quickly identified at the position where the vehicle is away from the road junction, whether it is the lane mark of the driving lane where the vehicle is actually traveling or the lane mark of the branch lane branched from the driving lane. The purpose is to.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, in the lane mark identification method according to claim 1, first, from among the left and right lane marks recognized by the lane mark recognition device, the left and right lane marks located in a predetermined area near the vehicle are set. A lane mark is selected, the selected left and right lane marks are linearly approximated on the captured image to calculate left and right approximate straight lines, and an intersection position where the calculated left and right approximate straight lines intersect on the captured image is calculated.
[0012]
Then, it is determined whether or not the calculated intersection point on the captured image is above a preset reference line position based on the position of the horizon in the captured image, and the intersection position is higher than the reference line position. If it is not above, the left and right lane marks recognized by the lane mark recognition device are recognized as lane marks of the traveling lane, and if the intersection position is above the reference line position, it is recognized by the lane mark recognition device. One of the left and right lane marks is recognized as a lane mark of a branch lane.
[0013]
The lane mark identification method according to the first aspect is based on the following points (1) to (3).
{Circle around (1)} An imaging device attached to the vehicle captures an image of a straight road extending straight and infinitely in front of the vehicle, and a lane mark recognition device recognizes lane marks formed on the left and right sides of the straight road. The lane marks intersect at one point on the captured image, and the position of the intersection (hereinafter, referred to as an infinity point FOE (Focus of Expansion)) is fixed on the horizon in the captured image.
[0014]
{Circle around (2)} When a normal road (a road including a curve) is imaged by an imaging device attached to a vehicle, and a lane mark recognition device recognizes lane marks formed on the left and right sides of the road, the lane mark is recognized. If the lane mark is linearly approximated in the region near the vehicle in the captured image, the intersection point on the captured image of the approximate straight line obtained by the linear approximation is on the same horizon as the intersection (convergence point) of the lane mark on the straight road. It becomes.
[0015]
{Circle around (3)} When the road including the branch point in front of the vehicle is imaged by the imaging device attached to the vehicle, and the left and right lane marks are recognized by the lane mark recognition device, one of the recognized lane marks is along the branch lane. If it is a lane mark, as in the case of (2) above, even if the recognized lane mark is linearly approximated in a region near the vehicle in the captured image, the position of the intersection of the approximated straight line on the captured image Is not on the same horizon as the intersection of lane marks on straight roads or curved roads, and is located in an image area further above the horizon.
[0016]
According to the method of the present invention, the left and right lane marks recognized by the lane mark recognition device are linearly approximated on the captured image, and it is determined whether or not the intersection of the approximate lines is above the reference line position. By identifying whether the recognized lane mark is a lane mark of a driving lane or a lane mark of a branch lane, the lane mark recognition device identifies the recognized lane mark using a single recognition result. As a result, the lane mark can be identified in an extremely short time as compared with the case where the recognition result by the lane mark recognition device is identified using the above-described conventional technology.
[0017]
Further, according to the method of the present invention, in order to identify a lane mark, it is necessary to detect the spread of the left and right edges of the lane mark or the spread of the interval between the left and right lane marks, as in the above-described related art. Since there is no lane mark, the lane mark can be identified even if the vehicle is away from the road junction.
[0018]
Therefore, according to the method of the present invention, a control device that needs to recognize a lane mark at a high speed (specifically, a travel control for automatically driving a vehicle along the lane mark or a detection of a departure from the travel lane of the vehicle) A control device that performs an alarm control that issues an alarm by using the lane mark recognition device, it is possible to check the recognition result of the lane mark recognition device without deteriorating the responsiveness of the control by the control device. Can be prevented from being erroneously recognized.
[0019]
Hereinafter, the points (1) to (3) and the reason that the lane mark can be identified by the method of the present invention will be described.
In the following description, an imaging device attached to a vehicle for recognizing lane marks is assumed to be attached toward the front of the vehicle such that the horizontal axis (Jimg axis) of the captured image is horizontal. I do.
[0020]
First, the point FOE at infinity (the position of the horizon on the captured image) on the captured image in (1) will be described.
Since the lane mark recognition device generally recognizes a lane mark by performing a filtering process on a captured image obtained by the imaging device, the recognition result of the lane mark obtained by the lane mark recognition device is as shown in FIG. As shown in the example, the scanning start point (upper left end of the image) at the time of displaying an image is based on coordinates (screen coordinates: Jimg, Iimg) on a picked-up image with a pixel as a unit. .
[0021]
Therefore, first, it is considered that the screen coordinates (Jimg, Iimg) are converted into road coordinates (Xroad, Yroad) when the road is looked down from directly above, as shown in FIG. 5C.
In this case, since the unit of the screen coordinates (Jimg, Iimg) is a pixel, as shown in FIG. 5B, the screen coordinates (Jimg, Iimg) are generally expressed in units of length (for example, mm). The coordinates may be converted into two-dimensional coordinates (Ximg, Yimg), and then the two-dimensional coordinates (Ximg, Yimg) may be converted into road coordinates (Xroad, Yroad).
[0022]
The conversion equations used for the conversion are as shown in the following equations (1) to (4).
Ximg = (Jimg−PIW / 2) · Rh (1)
Yimg = (PIH / 2−Iimg) · Rv (2)
Here, PIW: the maximum value of the screen coordinates in the horizontal direction, Rh: the resolution of the screen coordinates in the horizontal direction, PIH: the maximum value of the screen coordinates in the vertical direction, and Rv: the vertical resolution of the screen coordinates.
[0023]
Yload = −f · h / (Yimg + f · Φ) (3)
Xload = (Ximg + f · θ) · Yload / f (4)
Here, f: focal length of the lens of the imaging device, h: height from the road surface of the imaging device, Φ: pitch angle described above, θ: inclination of the imaging center axis of the imaging device on a horizontal line with respect to the traveling direction of the vehicle (hereinafter, referred to as h). , Called yaw angle).
[0024]
Next, when a straight road extending straight and infinitely in front of the vehicle is imaged using the image pickup device, as shown in FIG. 5A, the lane marks on the left and right of the straight road recognized by the lane mark recognition device are captured images. Converges at a point (infinity point FOE) on the horizon, and extends infinitely in the Yload axis direction toward the front of the vehicle on the road coordinates in order to determine the coordinates of the infinity point FOE on the captured image. Consider lane marks.
[0025]
In this case, if the road coordinates (Yroad) on the lane mark are converted into two-dimensional coordinates (Yimg), the road coordinates (Yroad) can be described as in the following equation (5). ) Is an infinite point (Yload → ∞), and the point FOE at infinity on the two-dimensional coordinates is “Yimg = −f · Φ”.
[0026]
Yimg = −f · h / Yroad−f · Φ (5)
Therefore, when the screen coordinates (Iimg) of the infinite point FOE are calculated by substituting the two-dimensional coordinates “Yimg = −f · Φ” of the infinite point FOE into the equation (2), the screen coordinates (Iimg) Is given by the following equation (6).
[0027]
Iimg = f · Φ / Rv + PIH / 2 (6)
The screen coordinates (Iimg) are vertical coordinate values indicating the position of the point at infinity FOE on the captured image, and are also values indicating the position of the horizon on the captured image.
The screen coordinates (Iimg) are obtained by knowing the focal length f, the pitch angle Φ, the vertical resolution Rv of the captured image, and the vertical maximum value PIH of the screen coordinates, which are the parameters included in the equation (6). These parameters can be calculated, and since these parameters are determined by the characteristics of the imaging device used by the lane mark recognition device to image the road ahead of the vehicle and the mounting angle (pitch angle) of the imaging device to the vehicle, the The position of the point FOE at infinity (in other words, the position of the horizon) can be found very easily.
[0028]
Next, a case where the lane mark recognition device recognizes lane marks formed on the left and right sides of the road when the normal road is imaged by the imaging device as described in (2) above will be described.
When a normal road is looked down from directly above, the road is hardly an ideal straight line, but curves right and left as shown in FIG. 6A. In this case, it is considered that the lane mark recognized by the lane mark recognition device is linearly approximated within a certain range (the linear approximation area shown in FIG. 6A) in the Y-axis direction of the road coordinates. Calculate where the intersection of the two approximated straight lines is.
[0029]
In other words, the two approximate straight lines obtained by linearly approximating the lane mark do not intersect because they are parallel on the road coordinates, but do not intersect in the screen coordinates. Therefore, the intersection is obtained in the same manner as in the infinite point FOE. Can be Therefore, where the intersection point is on the screen coordinates (in other words, on the captured image) is calculated.
[0030]
FIG. 6B is a diagram of two approximate straight lines indicated by dotted lines in FIG. 6A, and is a straight line having the same left and right inclination. Therefore, these left and right approximate lines can be described as in the following equations (7) and (8), respectively.
Left approximate straight line: Xload = A · Yload + B (7)
Right approximation straight line: Xload = A · Yload + C (8)
However, A ≠ O and B ≠ C.
[0031]
Next, from the equation (7) of the left approximate straight line, when Xload is eliminated using the above equation (4),
(Ximg + f · θ) ・ Yroad / f = A ・ Yroad + B
Ximg = f · B / Yroad + f · (A-θ)
Substituting Yload of equation (3) into this equation and converting it to an equation in two-dimensional coordinates,
Ximg = −f · B · (Yimg + f · Φ) / (f · h) + f · (A−θ)
By rearranging this equation, the following equation (9) representing the left approximate straight line on the two-dimensional coordinates is obtained.
[0032]
Ximg = −B / h · Yimg + f · (A−θ−B / h · Φ) (9)
Similarly, the expression (8) of the right approximate straight line is converted into an expression representing the right approximate straight line on the two-dimensional coordinates, as shown in the following expression (10).
Ximg = −C / h · Yimg + f · (A−θ−C / h · Φ) (10)
When the coordinates (Yimg) of the intersection of the left and right approximate straight lines on the two-dimensional coordinates are calculated as Expression (9) = Expression (10),
(B−C) / h · Yimg = −f · (B−C) / h · Φ
Yimg = -f · Φ
By substituting the intersection coordinates (Yimg) into the above equation (2) and converting them into screen coordinates, the same result as the above equation (6) is obtained, "Iimg = f.PHI. / Rv + PIH / 2". .
[0033]
From this, even if the recognition result of the left and right lane marks formed on the ordinary road including the curved line, as shown in FIG. 6C, the recognition result is converted into a certain range near the vehicle on the captured image. If a straight line is approximated within the line (within the straight line approximation area), it can be understood that the intersection of the approximate straight lines on the left and right is on the same horizon as the point FOE at infinity.
[0034]
Next, a case will be described in which a road (branch road) including a branch point is imaged by the imaging device as in the above (3), and the lane mark recognition device recognizes a lane mark along the branch lane.
First, as shown in FIG. 7A, an image of a road including a branch lane that branches to the left of the traveling lane is captured by the imaging device, and the lane mark recognition device forms a left lane mark on the branch lane. When the recognized lane mark is recognized, the left and right approximate straight lines obtained by linearly approximating the recognition result of the lane mark in the linear approximation area become parallel on the road coordinates as shown in FIG. 7B. Instead, leave.
[0035]
Therefore, when the lane mark recognition device recognizes the lane mark of the branch lane, the left and right approximate straight lines do not intersect on the road coordinates, but as shown in FIG. Approximate lines intersect. Then, next, the intersection position (screen coordinates) where the left and right approximate straight lines intersect on the captured image is calculated.
[0036]
The left and right approximate straight lines shown in FIG. 7B can be described as in the following equations (11) and (12), respectively.
Left approximate straight line: Xload = A · Yload + B (11)
Right approximation straight line: Xload = D · Yload + C (12)
However, A <D and B <C.
[0037]
When these approximate straight lines are converted into two-dimensional coordinates in the same procedure as above, the left approximate straight line corresponding to the lane mark of the branch lane is represented by the following equation (13), and the left approximate straight line corresponding to the lane mark of the traveling lane is obtained. The right approximation straight line is represented by the following equation (14).
Ximg = −B / h · Yimg + f · (A−θ−B / h · Φ) (13)
Ximg = −C / h · Yimg + f · (D−θ−C / h · Φ) (14)
When the coordinates (Yimg) of the intersection of the left and right approximate straight lines on the two-dimensional coordinates are calculated as Expression (13) = Expression (14),
(B−C) / h · Yimg = f · (A−D) −f · (B−C) / h · Φ
Yimg = f · h · (AD) / (B−C) −f · Φ
Substituting the intersection coordinates (Yimg) into the above equation (2) and converting them into screen coordinates,
Iimg = f · Φ / Rv + PIH / 2
− {(AD) · h / (BC)} / Rv (15)
It becomes.
[0038]
The equation (15) is based on the coordinates of the horizon “Iimg = f ・ Φ / Rv + PIH / 2” obtained by the equation (6), and the last term “｛(AD) · h / (BC)” ｝ / Rv ”. Since A <D, B <C, h> O, and Rv> 0 in equation (15), the value of the last term in equation (15) is a positive value larger than 0.
[0039]
Therefore, the value of Expression (15) takes a value smaller than the screen coordinates of the horizon obtained in Expression (6) (in other words, the vertical coordinates of the infinite point FOE).
That is, when one of the left and right lane marks recognized by the lane mark recognition device is a lane mark along a branch lane, the recognition result is linearly approximated in a region near the vehicle on the captured image (linear approximation region). The intersection of the two approximate straight lines obtained by the straight line approximation is located above the position of the horizon on the captured image.
[0040]
In the above description, as a condition for satisfying the relationship of Expression (15) <(Equation 6), A <D and B <between the slopes A and D of the left and right approximate straight lines and the intercepts B and C. Although it is set that the relationship C is established, it has been experimentally confirmed that this condition is a natural condition that is satisfied on a normal road.
[0041]
Further, in the above description, the branch lane is described as being on the left side of the vehicle, but the branch lane is on the right side, the lane mark recognition device recognizes the lane mark of the right branch lane, and the lane mark of the traveling lane on the left side. Even in the case of recognition, the positional relationship between the intersection of the left and right approximate straight lines and the horizon is the same as described above.
[0042]
As described above, the left and right lane marks recognized by the lane mark recognition device are linearly approximated in a region near the vehicle (linear approximation region) on the captured image, and two approximate straight lines obtained by the linear approximation are obtained. When the position (screen coordinates) of the intersection on the captured image is detected, if the left and right lane marks recognized by the lane mark recognition device are the lane marks along the traveling lane of the vehicle, it is detected. The intersection position is a position on the horizon in the captured image, and if one of the left and right lane marks recognized by the lane mark recognition device is a lane mark along the branch lane, the detected intersection position is greater than the horizon position in the captured image. Is also located above.
[0043]
Therefore, in order to identify the type of the lane mark recognized by the lane mark from the intersection position on the captured image detected as described above, basically, it is determined whether the intersection position is on the horizon in the captured image. What is necessary is just to judge.
However, in the method of the present invention, the lane mark recognized by the lane mark recognition device is approximated by a straight line to determine the intersection point between the left and right lane marks. The left and right approximate straight lines are completely parallel when converted to road coordinates due to the deviation of the lane mark from the actual lane mark and the position of the lane mark actually captured by the image pickup device) and errors that occur during linear approximation. It may not be possible.
[0044]
If the left and right approximate straight lines are parallel when converted to road coordinates as described above, the intersection of the left and right approximate straight lines on the captured image is located on the horizon in the captured image, Is not completely parallel on the road coordinates, as shown in FIG. 8, the inclination is calculated by the last term “(AD) · h / (BC) / Rv” in the above equation (15): If A <D, the intersection point is shifted above the horizon on the captured image, and if A> D, the intersection point is shifted below the horizon on the captured image.
[0045]
However, the deviation between the intersection point and the horizon in this case is sufficiently smaller than the deviation when the lane mark of the branch lane is recognized by the lane mark recognition device, and is recognized by the lane mark recognition device based on the magnitude of the deviation. It is possible to identify whether the marked lane mark is along the traveling lane.
[0046]
Therefore, in the method of the present invention, instead of determining whether or not the intersection position is on the horizon in the captured image, as shown in FIG. 8, the intersection position is determined by setting the position Ifo of the horizon in the captured image to a predetermined amount △ By judging whether or not the vehicle is above the reference line position offset upward I, the left and right lane marks recognized by the lane mark recognition device are either lane marks of the traveling lane or lane marks of the branch lane. We try to identify if there is.
[0047]
Therefore, according to the method of the present invention, it is determined whether one of the left and right lane marks recognized by the lane mark recognition device is a lane mark along a branch lane, at a position where the vehicle is away from the road junction, Not only can the identification be performed in a short time, but the identification can be performed accurately.
[0048]
Here, in order to realize the method of the present invention, it is necessary to set a reference line position on a captured image in advance, and the setting of the reference line position is performed first as described in claim 2. According to the above equation (6), the position of the horizon in the captured image is calculated based on the mounting angle of the imaging device used for imaging the road ahead of the vehicle with the lane mark recognition device and the characteristics of the imaging device. The calculated horizon position may be set by offsetting by a maximum error (ΔI shown in FIG. 8) of the intersection position obtained by the linear approximation. In this case, the maximum error of the intersection position may be set experimentally based on the accuracy of the lane mark recognition device, the accuracy of linear approximation, and the like.
[0049]
In addition, as a method of linearly approximating a lane mark in the method of the present invention, any method that can linearly approximate a lane mark based on data representing the position of a lane mark on a captured image obtained by a lane mark recognition device is used. For example, a method of linear approximation generally used conventionally, such as the least squares method, can be used.
[0050]
Next, in the lane mark identification method according to the third aspect, similarly to the lane mark identification method according to the first or second aspect, the left and right lane marks recognized by the lane mark recognition device are used. The left and right lane marks located within a predetermined area near the vehicle are selected, and the selected left and right lane marks are linearly approximated on the captured image to calculate left and right approximate straight lines. Thereafter, the intersection of the left and right approximate straight lines is calculated. Instead of calculating the position, the inclination on the road coordinates of each straight line obtained by converting the left and right approximate straight lines into road coordinates when the road ahead of the vehicle is viewed from directly above is calculated.
[0051]
Then, it is determined whether or not the calculated slope of each straight line matches within a preset error range, and if the slope of each straight line matches within the error range, the lane mark recognition device The recognized left and right lane marks are recognized as lane marks of the traveling lane, and if the inclination of each straight line does not match within the error range, one of the left and right lane marks recognized by the lane mark recognition device is It recognizes that it is a lane mark of a branch lane.
[0052]
In the lane mark identification method according to the third aspect, when the lane mark recognized by the lane mark recognition device is a lane mark along a traveling lane, an approximate straight line on the left and right of the lane mark is converted into road coordinates. Are parallel (or substantially parallel) as shown in FIG. 6 so that the slopes match (or substantially match), and conversely, one of the lane marks recognized by the lane mark recognition device is In the case of a lane mark along a branch lane, two straight lines obtained by converting the approximate straight lines on the left and right of the lane mark into road coordinates do not become parallel (or substantially parallel) as shown in FIG. It is made by paying attention to the point that the inclination is greatly different.
[0053]
That is, for example, when an approximate straight line on a captured image obtained by linearly approximating a lane mark is given by Jimg = A · Iimg + B, when this approximate straight line is converted into a straight line equation in road coordinates, become that way.
That is, first, from the above-described equations (1) and (2), the image coordinates (Jimg, Iimg) on the captured image are obtained by using the two-dimensional coordinates (Ximg, Yimg), and the following equations (16), (17). ).
[0054]
Jimg = Ximg / Rh + PIW / 2 (16)
Iimg = PIH / 2-Yimg / Rv (17)
Then, by substituting the equations (16) and (17) into the above-described equation of the approximate straight line on the captured image,
Ximg / Rh + PIW / 2 = A · PIH / 2 + B−A · Yimg / Rv
Ximg = (A · PIH / 2 + B−PIW / 2) · Rh
− (A · Rh / Rv) · Yimg… (18)
= CD-Yimg
Is obtained.
[0055]
Also, the two-dimensional coordinates (Yimg, Ximg) can be described as the following equations (19) and (20) from the above equations (3) and (4).
Yimg = −f · h / Yroad−f · Φ (19)
Ximg = f · Xload / Yroad-f · θ (20)
Then, by substituting the equations (19) and (20) into the above equation (18),
f · Xroad / Yload-f · θ = C + D · f · (h / Yroad + Φ)
f · Xload = (C + f · θ + D · f · Φ) · Yroad + D · f · h
Xload = (C / f + θ + D · Φ) · Yload + D · h (21)
Expression (21) is a result of converting an approximate straight line in screen coordinates into an expression in road coordinates.
[0056]
When the left and right approximate straight lines are lane marks along the traveling lane of the vehicle, they are parallel (or substantially parallel) on the road coordinates as shown in FIG. The slope “C / f + θ + D · Φ” of the straight line at the road coordinates thus determined will coincide within the error range.
[0057]
On the other hand, when one of the left and right approximate straight lines is a lane mark along the branch lane, the left and right approximate straight lines do not become parallel on the road coordinates as shown in FIG. Therefore, the slope “C / f + θ + D · Φ” of the straight line in the road coordinates calculated from the left and right approximate straight lines also has a significantly different value.
[0058]
Therefore, in the lane mark identification method according to the third aspect, the left and right approximate straight lines are calculated by linearly approximating the lane marks recognized by the lane mark recognition device, and the approximate straight lines are converted into road coordinates. The lane recognized by the lane mark recognition device is determined by determining the inclination of each obtained straight line on the road coordinates and determining whether the inclination of each straight line matches within a predetermined error range. The mark is identified.
[0059]
Then, in the method of the present invention, the left and right lane marks recognized by the lane mark recognizing device are linearly approximated on the captured image, and the lane marks are identified from the approximated straight lines, similarly to the method of the first and second aspects. Therefore, compared with the case where the recognition result by the lane mark recognition device is identified by using the conventional technology, the lane mark can be identified in an extremely short time, and the vehicle can be recognized from the branch point of the road. The lane mark can be identified even if the user is far away.
[0060]
Therefore, in the method of the present invention, if the method is used to check the recognition result of the lane mark recognition device in the control device that needs to recognize the lane mark at high speed, the responsiveness of control by the control device is reduced. In addition, it is possible to prevent the lane mark recognition device from erroneously recognizing the lane mark.
[0061]
Note that the slope K of the straight line on the road coordinates obtained by converting the approximate straight line obtained by linearly approximating the captured image into the road coordinates is given by the above equation (21).
K = C / f + θ + D · Φ (22)
Where C = (A · PIH / 2 + B−PIW / 2) · Rh
D = (A · Rh / Rv)
In the method of the present invention, when calculating the slopes K1 and K2 on the road coordinates of the left and right approximate straight lines “Jimg = A · Iimg + B” that are linearly approximated on the captured image, The inclination A and intercept B of the approximate straight line, the pitch angle Φ and the yaw angle θ when the imaging device is mounted on the vehicle, the focal length f of the lens of the imaging device, the horizontal maximum value PIW of the screen coordinates, and the screen The slope K of each approximate straight line on the road coordinates may be calculated using the horizontal resolution Rh of the coordinates, the maximum value PIH of the screen coordinates in the vertical direction, and the resolution Rv of the screen coordinates.
[0062]
Also, of these parameters, except for the slope A and the intercept B of each approximate line, the characteristics (f, PIW, Rh, PIH, Rv) of the imaging device itself or the mounting angles (Φ, θ) of the imaging device to the vehicle. Since the values are fixed values unique to the vehicle to which the method of the present invention is applied, when the slopes K1 and K2 are actually calculated, the slope A and the intercept B of the approximate straight line on the captured image are used as parameters. The slopes K1 and K2 on the road coordinates can be calculated using a simple arithmetic expression or a map using the slope A and the intercept B as parameters.
[0063]
Next, the lane mark identification device according to claim 4 determines whether the lane mark recognized by the lane mark recognition device is a lane mark of a traveling lane or a lane mark of a branch lane branched from the traveling lane. The present invention relates to an apparatus for identifying according to the lane mark identification methods described in 1 and 2.
[0064]
In this lane mark identification device, the straight line approximation unit selects the left and right lane marks located in a predetermined area near the vehicle from the left and right lane marks recognized by the lane mark recognition device. The selected left and right lane marks are linearly approximated on the captured image to calculate left and right approximate straight lines, and the intersection position calculating means determines the intersection position where the left and right approximate straight lines linearly approximated by the straight line approximating means intersect on the captured image. The identification means calculates whether the intersection position on the captured image calculated by the intersection position calculation means is above a reference line position obtained by offsetting the horizon position in the captured image by a predetermined amount. The lane mark is identified by the judgment.
[0065]
Therefore, according to the lane mark identification device, the lane mark recognized by the lane mark recognition means can be accurately identified in a short time even if the vehicle is away from the road junction. By using this together with a control device that needs to recognize at high speed, it is possible to prevent lane mark recognition devices from erroneously recognizing lane marks without lowering the responsiveness of control by the control device.
[0066]
Next, the lane mark identification device according to claim 5 determines whether the lane mark recognized by the lane mark recognition device is a lane mark of a traveling lane or a lane mark of a branch lane branched from the traveling lane. The present invention relates to an apparatus for performing identification according to the lane mark identification method described in Item 3.
[0067]
Then, in this lane mark identification device, the straight line approximation means selects the left and right lane marks located in a predetermined area near the vehicle from the left and right lane marks recognized by the lane mark recognition device, and The left and right lane marks are linearly approximated on the captured image to calculate left and right approximate straight lines, and the slope calculating unit calculates the left and right approximate straight lines linearly approximated by the straight line approximating unit from the road in front of the vehicle from directly above. The slope of each straight line obtained by converting the straight line into the road coordinates is calculated on the road coordinates, and the identifying unit determines that the slope of each straight line calculated by the slope calculating unit is within a predetermined error range. The lane mark is identified by determining whether or not the lane mark is matched.
[0068]
Therefore, in this lane mark identification device, the same effect as that of the device according to claim 4 can be obtained.
[0069]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of a lane mark recognition device according to an embodiment to which the present invention (specifically, claims 1, 2, and 4) is applied.
[0070]
The lane mark recognition device of the present embodiment is a device that is mounted on a vehicle and is formed on a road to indicate the lane of the vehicle and recognizes lane marks such as white lines, for example, along a lane mark. It is used for automatic traveling control or the like for automatically traveling the vehicle.
[0071]
As shown in FIGS. 1A and 1B, the lane mark recognition device of the present embodiment includes a CCD camera 10 and a recognition processing unit 20.
The CCD camera 10 captures a scene including a road ahead of the vehicle, and as shown in FIG. 1A, for example, the horizontal axis of the captured image is horizontal on a ceiling or the like near the driver's seat inside the vehicle. It is attached so that it becomes. Note that the CCD camera 10 corresponds to an imaging device described in the claims.
[0072]
The recognition processing unit 20 is installed inside the vehicle as shown in FIG. 1A, takes in an analog image signal output from the CCD camera 10, converts this into digital image data, By performing processing such as filtering, the position of the lane mark on the captured image obtained by the CCD camera 10 is recognized, and the recognition result is output to an external control device.
[0073]
That is, the recognition processing unit 20 includes an analog-to-digital converter (ADC) 21 that converts an analog image signal output from the CCD camera 10 into digital image data, and performs filtering or the like on the image data obtained from the ADC 21. A pre-processing ASIC 22 for executing predetermined pre-processing, an image memory 23 for storing image data output from the pre-processing ASIC 22, and a pre-processed image data stored in the image memory 23 A CPU 24 that executes processing for recognizing lane marks in a captured image, a ROM 25 storing a program executed by the CPU 24, a RAM 26 functioning as a work area of the CPU 24, and a lane mark transferred from the CPU 24, for example. Communication IC 27 for outputting data relating to the recognition result of It is provided.
[0074]
Note that the preprocessing (such as filtering) for lane mark recognition executed by the ASIC 22 and the lane mark recognition processing executed by the CPU for recognizing lane marks from the image data after the preprocessing are described below. Conventionally, various methods have been known, and are not the main processing operations related to the present invention. Therefore, the details of the processing operations are omitted here.
[0075]
By the way, when the road ahead of the vehicle branches left or right while the vehicle is running, one of the left and right lane mark recognition results obtained by the lane mark recognition processing executed by the CPU 24 automatically drives the vehicle. Instead of the lane mark along the traveling lane to be made, the lane mark may be a branch lane. If the lane mark is different from the lane mark to be originally recognized and the recognition result is output to an external control device as it is, the vehicle may be erroneously controlled.
[0076]
Therefore, in the present embodiment, as shown in FIG. 1C, after executing the lane mark recognition processing S1 (S represents a step) based on the image data stored in the image memory 23, the CPU 24 executes S2. Performs main line / branch determination processing to identify whether the left and right lane marks recognized this time are lane marks along the main lane, which is the driving lane of the vehicle, or lane marks along the branch lane. If the identification result of the main line / branch determination process is “branch” (that is, the recognized lane mark is a lane mark along the branch lane) (S3: YES), the lane mark recognition process of S1 is performed again. On the contrary, when the identification result by the branch road determination processing is “main line” (that is, the recognized lane mark is a lane mark along the traveling lane of the vehicle) (S3: NO) Is a recognition result obtained by the lane mark recognition process is immediately output to the outside of the control device are (S4) as the.
[0077]
Hereinafter, among the processes executed by the CPU 24, the main line / branch determination process functioning as the lane mark recognition device of the present invention will be described with reference to the flowchart shown in FIG.
In the following description, the recognition result of the left and right lane marks obtained by the lane mark recognition processing S1 is, as shown in FIG. 3A, a plurality of coordinates representing the positions of the left and right lane marks on the captured image. (Screen coordinates).
[0078]
As shown in FIG. 2, in the branch road determination processing, the CPU 24 first obtains coordinate data as recognition results of the left and right lane marks obtained in the lane mark recognition processing S1 in S110, and then in S120. From the read coordinate data, select the coordinate data existing in the linear approximation area near the vehicle in the captured image, and perform left and right lane mark approximation on the captured image based on the selected coordinate data. A process as a straight line approximation means for calculating an approximate straight line (see FIG. 3B) is executed.
[0079]
The linear approximation area is set in advance by experiments or the like. In the present embodiment, since the CCD camera 10 is mounted on the vehicle such that the horizontal axis of the captured image is horizontal, FIG. As shown in ()), an area from the lower end of the captured image to a predetermined pixel above is set as a linear approximation area. The straight line approximation of the lane mark based on the coordinate data uses, for example, the well-known least square method.
[0080]
When the approximate straight lines of the left and right lane marks recognized in the lane mark recognition processing are calculated in this way, in S130, the vertical coordinates representing the position of the intersection of the approximate straight lines on the captured image are calculated. , A process as an intersection position calculating means is executed.
[0081]
Then, in S140, the vertical coordinates of the intersection calculated in S130 are calculated as the reference coordinates (FOE) obtained by subtracting a preset threshold value from the vertical coordinates representing the position of the infinite point FOE (that is, the horizon) on the captured image. It is determined whether or not the vertical coordinate of the intersection is greater than the reference coordinate. In S150, the lane mark recognized this time in the lane mark recognition processing is the main lane mark. The main line / branch determination process is terminated, and conversely, if the vertical coordinate of the intersection is a value equal to or smaller than the reference coordinate, at S160, at least one of the lane marks recognized this time in the lane mark recognition process. Is determined to be a lane mark of a branch lane, and the main line / branch determination process ends.
[0082]
That is, in the processing of S140 to S160, the intersection of the left and right approximate straight lines is used to determine the position of the horizon on the captured image shown in FIG. 3B, using the vertical coordinates and the reference coordinates of the intersection calculated in S130. It is determined whether or not the position of the intersection is within the branch determination area above the reference line position offset by the threshold value, and if the intersection is within the branch determination area, the left and right sides recognized by the lane mark recognition processing are determined. At least one of the lane marks is determined to be a lane mark of a branch lane, and if the position of the intersection is not within the branch determination area, the left and right lane marks recognized by the lane mark recognition process indicate that the vehicle is currently running. It is determined that it is the lane mark of the lane (main line) that is running.
[0083]
As described above, the position of the horizon on the captured image (vertical coordinates in this embodiment) is determined by the characteristics of the CCD camera 10 itself (the focal length f of the camera, the vertical resolution Rv of the captured image, and the screen size). The coordinates are set in advance based on the maximum value PIH in the vertical direction of the coordinates and the mounting angle (pitch angle Φ) of the CCD camera 10 to the vehicle.
[0084]
The threshold value used to specify the position of the reference line for determining the main line / branch (the reference coordinates in this embodiment) using the position of the horizon is determined by the deviation of the recognition result obtained by the lane mark recognition process and the threshold value in S220. Even if the intersection of the approximate straight line obtained by linearly approximating the main lane mark is shifted from the horizon on the captured image due to an error or the like generated at the time of straight line approximation, the recognition result of the lane mark can be accurately identified. The error of the intersection point caused by the accuracy of the lane mark recognition device or the accuracy of the linear approximation is experimentally obtained, and is set in advance based on the maximum value of the error (maximum error).
[0085]
As described above, in the lane mark recognition device of this embodiment, the lane mark recognition result obtained in the lane mark recognition process (S1) executed by the CPU 24 is not output to an external control device as it is. In the main line / branch determination process (S2), an approximate straight line of the left and right lane marks on the captured image is determined based on the recognition result, and the intersection point of the approximate straight lines is determined as a threshold value of the horizon position on the captured image. By judging whether or not the vehicle is further above the reference line position offset upward by an amount, whether or not a lane mark along the main line on which the vehicle is traveling is recognized in the lane mark recognition process (S1). Is determined, and only when a lane mark along the main line is recognized, the recognition result is output to an external control device.
[0086]
For this reason, according to the lane mark recognition device of the present embodiment, the recognition result of the lane mark along the branch lane is output to the control device that executes the automatic traveling control for causing the vehicle to travel along the main line. Can be prevented, and the automatic traveling control by the control device can be favorably executed.
[0087]
Further, according to the lane mark recognition device of the present embodiment, the recognition result of the lane mark is approximated by a straight line, and it is determined whether or not the intersection point of the approximate straight line is above the reference line position on the captured image. In order to identify whether the recognized lane mark is on the main lane or on a forked lane, it is possible to use a single recognition result of the lane mark to accurately and quickly detect the vehicle before approaching the fork in the road. The lane mark can be identified. Therefore, according to the present embodiment, erroneous control by the control device can be prevented without reducing the responsiveness of the automatic traveling control by the control device.
[0088]
As mentioned above, although one Example of this invention was described, this invention is not limited to the said Example, You can take various aspects.
For example, in the above embodiment, the function as the lane mark identification device of the present invention is one function of the recognition processing unit 20 (more specifically, the main line / branch determination process executed by the CPU 24) constituting the lane mark recognition device. However, the lane mark identification device of the present invention may be configured as a dedicated device separate from the lane mark recognition device, or the lane mark recognition device may recognize the lane mark recognition result. It may be realized as one function of a data processing circuit (CPU or the like) in a control device that controls the vehicle based on the information.
[0089]
In the above-described embodiment, the lane mark recognition result is described as being composed of a plurality of coordinates (coordinate data) representing the position of the lane mark on the captured image. The present invention can be applied to a lane mark recognition device that outputs mathematical data in which the lane mark is described by a mathematical expression.
[0090]
Further, in the above embodiment, when the recognition result of the lane mark obtained in the lane mark recognition processing (S1) is a lane mark along the traveling lane of the vehicle, the recognition result is output to an external control device. When the recognition result of the lane mark is a lane mark along the branch lane, the lane mark recognition process (S1) is described as being executed again. The data to which the identification result by the main line / branch determination process (S2) is added may be output to an external control device.
[0091]
In the above embodiment, the calculation of the intersection position of the approximate straight line and the determination of whether the intersection position is in the branch determination region above the reference line are all performed on the image captured by the CCD camera 10. The description has been made on the basis of the vertical coordinates, but this is because the CCD camera 10 is mounted so that the horizontal axis of the captured image is horizontal to the vehicle. For example, the CCD camera 10 is mounted on the vehicle. In the case of being assembled diagonally, a region (branch determination region) above the reference line on the captured image is set in advance, and the position coordinates (horizontal coordinates) of the intersection on the captured image are set. , Vertical coordinates) are within the area, it is possible to identify the recognition result of the lane mark as in the above embodiment.
[0092]
On the other hand, in the above-described embodiment, a case has been described in which the invention according to claims 1, 2, and 4 is applied to a lane mark recognition device, and a lane mark is identified from an intersection of approximate lines of recognized lane marks. When the invention according to any one of the items 3 and 5 is applied to the same lane mark recognition device as the above embodiment, the main line / branch determination process for realizing the function as the lane mark recognition device is performed according to the procedure shown in FIG. What should I do?
[0093]
That is, in the main line / branch determination process shown in FIG. 4, similarly to the main line / branch determination process shown in FIG. 2, the recognition result (coordinate data) of the left and right lane marks is acquired in S210, and the recognition result is obtained in S220. After calculating the approximate straight lines of the left and right lane marks using the coordinate data in the straight line approximate area of the acquired coordinate data, in S230, each straight line obtained by converting the calculated approximate straight line into road coordinates Are calculated on the road coordinates. In calculating the slopes K1 and K2 of the approximate straight line on the road coordinates in S230, an arithmetic expression or a map set in advance based on Expression (22) is used.
[0094]
In the main line / branch determination process shown in FIG. 4, after calculating the slopes K1 and K2 in S230, the process proceeds to S240, and the ratio “K1 / 1/2” of the slopes K1 and K2 of the left and right approximate straight lines calculated in S230. By determining whether or not “K2” is within a predetermined threshold value centered on the value 1, it is determined whether or not the respective slopes K1 and K2 match within a preset error range. If the slopes K1 and K2 of the approximate straight lines match within the error range (that is, if “(1−threshold) <K1 / K2 <(1 + threshold)”), in S250, the left and right sides recognized this time are determined. The lane mark is determined to be a lane mark along the main line, and if the inclinations K1 and K2 of the right and left approximate straight lines do not match within the error range (that is, “K1 / K2 ≦ (1−threshold)” or “ If “K1 / K2 ≧ (1 + threshold value)”, go to S260 At least one lane mark of the left and right recognized this time it is determined that the lane mark along the branch lane is adapted to terminate the main-branch determination process.
[0095]
Therefore, if the main line / branch determination processing is executed by the CPU 24 of the above embodiment, the invention according to claims 3 and 5 can be realized by the main line / branch determination processing. The same effect as that of the embodiment can be obtained. In the main line / branch determination processing shown in FIG. 4, the processing of S220 corresponds to the straight line approximation means of the present invention, the processing of S230 corresponds to the inclination calculating means of the present invention, and the processing of S240 to S260 corresponds to the main processing. It corresponds to the identification means of the invention.
[0096]
Further, in the description of the main line / branch determination processing in FIGS. 2 and 4 described above, the parameters (FOE, threshold) used to identify the recognition result of the lane mark and the inclination of the approximate straight line on the road coordinates are calculated. The data (arithmetic expressions or maps) are described as being set in advance. However, as described above, these data depend on the characteristics of the imaging device including the CCD camera 10 and the like and the mounting angle of the imaging device to the vehicle. Since the device having the function as the lane mark identification device of the present invention can be set based on the device, the characteristics and the mounting angle to the vehicle can be input from the outside when the imaging device is mounted on the vehicle. The side may automatically set parameters for lane mark identification and data for inclination calculation based on the input information.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram illustrating the configuration and operation of a lane mark recognition device according to an embodiment.
FIG. 2 is a flowchart illustrating a main line / branch determination process executed by a CPU.
FIG. 3 is an explanatory diagram illustrating an operation of a main line / branch determination process.
FIG. 4 is a flowchart illustrating another example of a main line / branch determination process.
FIG. 5 is an explanatory diagram illustrating a recognition result of a lane mark on a road extending straight ahead of a vehicle, and a conversion result of the recognition result into two-dimensional coordinates and road coordinates.
FIG. 6 is an explanatory diagram illustrating a recognition result of a lane mark on a curved road and a conversion result of the recognition result into two-dimensional coordinates and road coordinates.
FIG. 7 is an explanatory diagram illustrating a recognition result of a lane mark including a branch lane and a conversion result of the recognition result into two-dimensional coordinates and road coordinates.
FIG. 8 is an explanatory diagram for explaining a shift of an intersection point caused by a linear approximation error or the like.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... CCD camera, 20 ... Recognition processing part, 21 ... Analog-digital converter (ADC), 22 ... Preprocessing ASIC, 23 ... Image memory, 24 ... CPU, 25 ... ROM, 26 ... RAM, 27 ... Communication IC.

Claims (5)

車両前方の道路を撮像した撮像画像に基づき、該道路上で車両の走行車線の左右に形成されたレーンマークを認識するレーンマーク認識装置において、該レーンマーク認識装置が認識したレーンマークが、前記走行車線のレーンマークであるか、前記走行車線から分岐した分岐車線のレーンマークであるかを識別するレーンマーク識別方法であって、
前記レーンマーク認識装置により認識された左右のレーンマークの中から、車両近傍の所定領域内に位置する左右のレーンマークを選択し、該選択した左右のレーンマークを前記撮像画像上で直線近似した左右の近似直線を算出すると共に、該算出した左右の近似直線が前記撮像画像上で交わる交点位置を算出し、
該算出した前記撮像画像上での交点位置が、前記撮像画像における地平線の位置を所定量上方にオフセットさせた基準線位置よりも上方にあるか否かを判断して、前記交点位置が前記基準線位置よりも上方になければ、前記レーンマーク認識装置により認識された左右のレーンマークは前記走行車線のレーンマークであると認識し、前記交点位置が前記基準線位置よりも上方にあれば、前記レーンマーク認識装置により認識された左右のレーンマークの一つは前記分岐車線のレーンマークであると認識することを特徴とするレーンマーク識別方法。A lane mark recognition device for recognizing lane marks formed on the left and right of the traveling lane of the vehicle on the road based on a captured image of a road ahead of the vehicle, wherein the lane mark recognized by the lane mark recognition device is the lane mark. A lane mark identification method for identifying a lane mark of a traveling lane or a lane mark of a branch lane branched from the traveling lane,
From the left and right lane marks recognized by the lane mark recognition device, left and right lane marks located in a predetermined area near the vehicle were selected, and the selected left and right lane marks were linearly approximated on the captured image. While calculating the left and right approximate straight lines, calculate the intersection position where the calculated left and right approximate straight lines intersect on the captured image,
It is determined whether the calculated intersection position on the captured image is above a reference line position obtained by offsetting the position of the horizon in the captured image by a predetermined amount, and the intersection position is determined by the reference position. If it is not above the line position, the left and right lane marks recognized by the lane mark recognition device are recognized as lane marks of the traveling lane, and if the intersection point is above the reference line position, A lane mark identification method, wherein one of the left and right lane marks recognized by the lane mark recognition device is recognized as a lane mark of the branch lane. 前記基準線位置は、前記レーンマーク認識装置にて車両前方の道路を撮像するのに用いられる撮像装置の車両への取付角度及び該撮像装置の特性に基づき前記撮像画像での地平線の位置を算出し、該算出した地平線の位置を、前記直線近似によって得られる前記交点位置の最大誤差分だけ上方にオフセットさせることにより設定することを特徴とする請求項１記載のレーンマーク識別方法。The reference line position calculates a position of a horizon in the captured image based on a mounting angle of an imaging device used for imaging a road ahead of the vehicle with the lane mark recognition device and a characteristic of the imaging device. 2. The lane mark identification method according to claim 1, wherein the position of the calculated horizon is offset upward by a maximum error of the intersection position obtained by the linear approximation. 車両前方の道路を撮像した撮像画像に基づき、該道路上で車両の走行車線の左右に形成されたレーンマークを認識するレーンマーク認識装置において、該レーンマーク認識装置が認識したレーンマークが、前記走行車線のレーンマークであるか、前記走行車線から分岐した分岐車線のレーンマークであるかを識別するレーンマーク識別方法であって、
前記レーンマーク認識装置により認識された左右のレーンマークの中から、車両近傍の所定領域内に位置する左右のレーンマークを選択し、該選択した左右のレーンマークを前記撮像画像上で直線近似した左右の近似直線を算出すると共に、該算出した左右の近似直線を車両前方の道路を真上から見た道路座標に変換することにより得られる各直線の道路座標上での傾きを算出し、
該算出した道路座標上での各直線の傾きが、予め設定された誤差範囲内で一致しているか否かを判断して、前記各直線の傾きが前記誤差範囲内で一致していれば、前記レーンマーク認識装置により認識された左右のレーンマークは前記走行車線のレーンマークであると認識し、前記各直線の傾きが前記誤差範囲内で一致していなければ、前記レーンマーク認識装置により認識された左右のレーンマークの一つは前記分岐車線のレーンマークであると認識することを特徴とするレーンマーク識別方法。A lane mark recognition device for recognizing lane marks formed on the left and right of the traveling lane of the vehicle on the road based on a captured image of a road ahead of the vehicle, wherein the lane mark recognized by the lane mark recognition device is the lane mark. A lane mark identification method for identifying a lane mark of a traveling lane or a lane mark of a branch lane branched from the traveling lane,
From the left and right lane marks recognized by the lane mark recognition device, left and right lane marks located in a predetermined area near the vehicle were selected, and the selected left and right lane marks were linearly approximated on the captured image. While calculating the left and right approximate straight lines, the slope on the road coordinates of each straight line obtained by converting the calculated left and right approximate straight lines into road coordinates as viewed from directly above the road ahead of the vehicle,
It is determined whether or not the slope of each straight line on the calculated road coordinates matches within a preset error range, and if the slope of each straight line matches within the error range, The left and right lane marks recognized by the lane mark recognition device are recognized as the lane marks of the traveling lane. If the inclination of each straight line does not match within the error range, the lane mark recognition device recognizes the left and right lane marks. A lane mark identifying method, wherein one of the left and right lane marks is recognized as a lane mark of the branch lane. 車両前方の道路を撮像した撮像画像に基づき、該道路上で車両の走行車線の左右に形成されたレーンマークを認識するレーンマーク認識装置と共に用いられ、該レーンマーク認識装置が認識したレーンマークが、前記走行車線のレーンマークであるか、前記走行車線から分岐した分岐車線のレーンマークであるかを識別するレーンマーク識別装置であって、
前記レーンマーク認識装置により認識された左右のレーンマークの中から、車両近傍の所定領域内に位置する左右のレーンマークを選択し、該選択した左右のレーンマークを前記撮像画像上で直線近似した左右の近似直線を算出する直線近似手段と、
該直線近似手段にて直線近似された左右の近似直線が前記撮像画像上で交わる交点位置を算出する交点位置算出手段と、
該交点位置算出手段にて算出された前記撮像画像上での交点位置が、前記撮像画像における地平線の位置を所定量上方にオフセットさせた基準線位置よりも上方にあるか否かを判断し、前記交点位置が前記基準線位置よりも上方になければ、前記レーンマーク認識装置により認識された左右のレーンマークは前記走行車線のレーンマークであると認識し、前記交点位置が前記基準線位置よりも上方にあれば、前記レーンマーク認識装置により認識された左右のレーンマークの一つは前記分岐車線のレーンマークであると認識する識別手段と、
を備えたことを特徴とするレーンマーク識別装置。Based on a captured image of a road ahead of the vehicle, the lane mark recognized by the lane mark recognition device is used together with a lane mark recognition device that recognizes lane marks formed on the left and right of the lane of the vehicle on the road. A lane mark identification device that identifies whether the lane mark of the traveling lane or the lane mark of a branch lane branched from the traveling lane,
From the left and right lane marks recognized by the lane mark recognition device, left and right lane marks located in a predetermined area near the vehicle were selected, and the selected left and right lane marks were linearly approximated on the captured image. Straight line approximation means for calculating left and right approximate straight lines,
Intersection position calculating means for calculating an intersection position at which the left and right approximate straight lines approximated by a straight line by the straight line approximating means intersect on the captured image,
It is determined whether or not the intersection position on the captured image calculated by the intersection position calculation means is above a reference line position obtained by offsetting the position of the horizon in the captured image by a predetermined amount, If the intersection position is not above the reference line position, the left and right lane marks recognized by the lane mark recognition device are recognized as the lane marks of the traveling lane, and the intersection position is higher than the reference line position. If it is also above, identification means for recognizing that one of the left and right lane marks recognized by the lane mark recognition device is a lane mark of the branch lane,
A lane mark identification device comprising: 車両前方の道路を撮像した撮像画像に基づき、該道路上で車両の走行車線の左右に形成されたレーンマークを認識するレーンマーク認識装置と共に用いられ、該レーンマーク認識装置が認識したレーンマークが、前記走行車線のレーンマークであるか、前記走行車線から分岐した分岐車線のレーンマークであるかを識別するレーンマーク識別装置であって、
前記レーンマーク認識装置により認識された左右のレーンマークの中から、車両近傍の所定領域内に位置する左右のレーンマークを選択し、該選択した左右のレーンマークを前記撮像画像上で直線近似した左右の近似直線を算出する直線近似手段と、
該直線近似手段にて直線近似された左右の近似直線を車両前方の道路を真上から見た道路座標に変換することにより得られる各直線の道路座標上での傾きを算出する傾き算出手段と、
該傾き算出手段にて算出された各直線の傾きが、予め設定された誤差範囲内で一致しているか否かを判断して、前記各直線の傾きが前記誤差範囲内で一致していれば、前記レーンマーク認識装置により認識された左右のレーンマークは前記走行車線のレーンマークであると認識し、前記各直線の傾きが前記誤差範囲内で一致していなければ、前記レーンマーク認識装置により認識された左右のレーンマークの一つは前記分岐車線のレーンマークであると認識する識別手段と、
を備えたことを特徴とするレーンマーク識別装置。Based on a captured image of a road ahead of the vehicle, the lane mark recognized by the lane mark recognition device is used together with a lane mark recognition device that recognizes lane marks formed on the left and right of the lane of the vehicle on the road. A lane mark identification device that identifies whether the lane mark of the traveling lane or the lane mark of a branch lane branched from the traveling lane,
From the left and right lane marks recognized by the lane mark recognition device, left and right lane marks located in a predetermined area near the vehicle were selected, and the selected left and right lane marks were linearly approximated on the captured image. Straight line approximation means for calculating left and right approximate straight lines,
Slope calculating means for calculating the slope on the road coordinates of each straight line obtained by converting the left and right approximate straight lines linearly approximated by the straight line approximating means into road coordinates when the road ahead of the vehicle is viewed from directly above; ,
It is determined whether or not the slope of each straight line calculated by the slope calculating means matches within a preset error range, and if the slope of each straight line matches within the error range, The lane mark recognition device recognizes that the left and right lane marks recognized by the lane mark recognition device are the lane marks of the traveling lane. If the inclinations of the straight lines do not match within the error range, the lane mark recognition device recognizes the lane mark. Identification means for recognizing that one of the recognized left and right lane marks is a lane mark of the branch lane;
A lane mark identification device comprising:

Images