WO2012081359A1 - レーン認識装置 - Google Patents

Abstract

　撮像画像を処理した線状要素抽出画像からレーンマーク由来の線状要素を的確に抽出して、レーン境界線を認識することができるレーン認識装置を提供する。線状要素抽出画像４０内に設定したレーン抽出エリア４５に対し、各線状要素が１つ又は複数の所定寸法の局所領域４７に含まれるように、局所領域４７を設定し、各局所領域４７の局所直線４４を決定する。各局所直線４４について方向及び所定の基準水平線４６とのｘ交点に関連するｖx，ψを算出する。各局所直線４４を１票として、投票空間５６の（ｖx，ψ）に投票する。投票結果に基いて方向及びｘ交点を決めた検出直線からレーン境界線を認識する。

Description

レーン認識装置

　本発明は、撮像装置により撮影した車両前方の撮像画像に基いてレーンを認識するレーン認識装置に関する。

　運転支援のために、車両に撮像装置を搭載して、車両前方の道路状況を撮影し、その撮像画像からレーンマークを画像処理により検出することが行われている。従来のレーンマーク検出用の画像処理として、Ｈｏｕｇｈ変換を利用したものが知られている。

　特許文献１は、Ｈｏｕｇｈ変換とは別の方式により車両前方の撮像画像からレーンマーク（車線表示ライン）を検出する道路形状推定装置を開示している。該道路形状推定装置は、車線表示ラインが含まれるように複数の台形型ウィンドウを撮像画像内に設定するとともに、エッジ抽出処理により撮像画像内のエッジ点を検出する。次に、該道路形状推定装置は、各ウィンドウの上底の一点と下底の一点と（車線方向へ向かい合う２点）を両端とする全部の線分について、該線分上のエッジ点の個数を調べ、エッジ点が最大数の線分を該ウィンドウの検出直線として検出する。そして、該道路形状推定装置は、自車走行車線への隣接車線からの車両の割り込みのあるウィンドウであるか否かを、該ウィンドウの検出直線のエッジ点数が閾値以上であるか否かに基いて判断し、車両割り込みのないにウィンドウに絞り込んで、撮像画像全体の車線表示ラインを検出する。

特許第３７２１５９４号公報

　Ｈｏｕｇｈ変換による撮像画像からのレーンマーク抽出では、（ａ）演算負荷が大きいこと、（ｂ）点情報に基づくためノイズを拾い易いこと、及び（ｃ）カーブ路（曲線路）を検出できないことという問題がある。

　特許文献１の道路形状推定装置は、検出直線上のエッジ点の個数と所定の閾値との対比により、各ウィンドウの検出直線が割り込み車両に起因するときには、該検出直線をレーン境界線の認識対象から適切に排除することができる。しかし、該道路形状推定装置では、検出直線が、割り込み車両以外でかつレーンマーク以外のものに由来しているときには、そのことを識別して、該検出直線をレーン境界線の認識対象から排除することは難しい。

　本発明の目的は、非レーンマーク由来の線状要素とレーンマーク由来の線状要素とが混在している線状要素抽出画像からレーンマーク由来の線状要素を的確に抽出して、レーン境界線を認識することができるレーン認識装置を提供することである。

　かかる目的を達成するために、本発明のレーン認識装置は、撮像装置による車両前方の撮像画像に基いてレーンを認識するレーン認識装置であって、前記撮像画像に含まれる線状要素を抽出した線状要素抽出画像を生成する線状要素抽出画像生成部と、前記線状要素抽出画像において垂直方向所定範囲のレーン抽出エリアを設定するエリア設定部と、前記レーン抽出エリア内の各局所領域に対し各局所領域内の線状要素部分に基づいて各局所領域の局所直線を決定する局所直線決定部と、各局所直線と垂直方向所定位置の基準水平線との交点を算出する交点算出部と、方向及び交点を座標成分とする投票空間において、各局所直線の方向と交点とを投票する投票部と、前記投票空間における投票結果に基いて検出直線を検出する検出部と、前記検出直線に基いてレーン境界線を認識する認識部とを備えることを特徴とする（第１発明）。

　第１発明によれば、各局所領域から決定された各局所直線について、方向と、基準水平線との交点とが算出され、投票空間において各局所直線の方向と交点とが投票される。ここで、道路に連続して敷設されるレーンマーク由来の局所直線の方向及び交点に対応付けられる投票空間上の座標には、道路に局所的に存在する他車両等の非レーンマーク由来の局所直線の方向及び交点に対応付けられる投票空間上の座標よりも投票が集まる。したがって、両者の投票数の差が顕著となるので、非レーンマーク由来の線状要素を的確に排除して、レーン境界線を認識することができる。

　第１発明において、好ましくは、前記エリア設定部は、前記線状要素抽出画像を垂直方向に複数のレーン抽出エリアに分割し、前記投票部は、各レーン抽出エリアに対応付けられている各投票空間に対し、当該投票空間に対応するレーン抽出エリアの各局所直線に基いて投票し、前記検出部は、各投票空間の投票結果に基いて各レーン抽出エリアごとの検出直線を検出し、前記認識部は、各レーン抽出エリアの検出直線のつなぎ合わせに基いて線状要素抽出画像内のレーン境界線を認識する（第２発明）。

　第２発明によれば、垂直方向の各レーン抽出エリアの検出直線の垂直方向のつなぎ合わせにより、曲線のレーン境界線を的確に認識することができる。

　第２発明において、好ましくは、前記エリア設定部は、垂直方向の上側のレーン抽出エリアほど、その垂直方向寸法が小さくなるように、前記線状要素抽出画像を垂直方向に複数のレーン抽出エリアに分割する（第３発明）。

　撮像画像では、その垂直方向上側の範囲ほど、該範囲における隣接画素点間の長さに対応する実空間上の長さが増大する。第３発明によれば、垂直方向の上側のレーン抽出エリアほど、その垂直方向寸法を小さくすることで、垂直方向寸法が等しい複数のレーン抽出エリアに分割する場合に比して、検出直線の垂直方向つなぎ合わせにおける各検出直線に対応付けられる実空間上の距離が均一化され、つなぎ合わせ後の検出直線の各部位の精度を均一化することができる。

　第２発明において、好ましくは、前記局所直線決定部は、所定範囲の方向を第１所定数の方向区分に分割して、各局所直線の方向を、該当するいずれかの方向区分に割り当てて決定し、前記交点算出部は、前記基準水平線を第２所定数の位置区分に分割して、各局所直線と前記基準水平線との交点を、該当する位置区分としての交点区分に割り当てて決定し、前記投票部は、前記投票空間に定義する方向及び交点の座標成分を、前記方向区分及び交点区分に一致させる（第４発明）。

　第４発明によれば、投票部が定義する投票空間の方向及び交点の座標成分が、局所直線の方向及び交点について定義されている第１及び第２所定数の方向区分及び交点区分に一致させられることにより、局所直線の方向区分及び交点区分と投票空間の方向及び交点の座標成分との整合が図られる。この結果、所望の検出精度の検出直線を検出する処理負荷の軽減を図ることができる。

　第４発明において、好ましくは、前記第１所定数又は前記第２所定数は、上側のレーン抽出エリアでは、下側のレーン抽出エリアよりも小さく設定されている（第５発明）。

　上側のレーン抽出エリアの画像は、対応する実空間上の位置までの自車両からの距離が、下側のレーン抽出エリアの画像よりも遠くなっているので、上側のレーン抽出エリアの画像から検出できる実空間の位置の差異の精度は、下側のレーン抽出エリアから検出できる実空間の位置の差異の精度よりも低くなる。第５発明によれば、第１所定数又は第２所定数は、上側のレーン抽出エリアでは、下側のレーン抽出エリアよりも小さく設定されることにより、各画像からの実空間の位置の検出精度に応じた粗さで局所直線について方向又は交点についての算出処理が行われる。この結果、方向又は交点について検出精度の低いレーン抽出エリアに対して必要以上に高精度で処理する無駄を排除することができる。

　第４発明において、好ましくは、前記第１所定数又は前記第２所定数は、同一のレーン抽出エリア内で、上側の局所領域では下側の局所領域よりも小さく設定されている（第６発明）。

　上側の局所領域の画像は、対応する実空間上の位置までの自車両からの距離が、下側の局所領域の画像よりも遠くなっているので、上側の局所領域の画像から検出できる実空間の位置の差異の精度は、下側の局所領域から検出できる実空間の位置の差異の精度よりも低くなる。第６発明によれば、第１所定数又は第２所定数は、上側の局所領域では、下側の局所領域よりも小さく設定されることにより、各画像からの実空間の位置の検出精度に応じた粗さで局所直線について方向又は交点についての算出処理が行われる。この結果、方向又は交点について検出精度の局所領域に対して必要以上に高精度で処理する無駄を排除することができる。

　第１発明において、好ましくは、前記検出部は、前記投票空間において投票数が極大である座標に対応付けられる方向及び交点をもつ直線を検出直線として検出する（第７発明）。

　第７発明によれば、投票空間において投票数と所定の閾値との対比ではなく、投票数の極大に基いて検出直線を検出することにより、破線型レーンマークと連続線型レーンマークとの線状要素が混在する線状要素抽出画像からもレーンマーク由来の検出直線を的確に検出することができる。

　第１発明において、好ましくは、前記撮像画像の水平方向は実空間における車両の左右方向に相当し、前記認識部は、時系列の線状要素抽出画像に基いて検出直線が前記線状要素抽出画像上で水平方向へ閾値以上の速度で変化していると判断したときは、レーン境界線がカーブしていると認識する（第８発明）。

　第８発明によれば、検出直線の水平方向速度からレーンがカーブであることを的確に認識することができる。

　第１発明において、好ましくは、前記線状要素抽出画像生成部は、前記撮像画像に含まれる線状要素を抽出した第１中間抽出画像を生成する中間抽出画像生成部と、該第１中間抽出画像に含まれる各線状要素を、その水平方向幅又は傾斜角度の垂直方向における変化に基づいて１つ又は複数の線分に置換することにより、前記第１中間抽出画像から前記線状要素抽出画像を生成する線分置換部とを備える（第９発明）。

　カーブ走行時では、レーン境界線が曲線となるため、１つのレーン境界線に対してレーン抽出エリア内の複数の局所領域の局所直線の方向及び交点が分散する。このような分散は、投票先の投票空間の座標を分散させて、投票による検出直線の検出を難しくする原因になる。第９発明によれば、前記中間抽出画像生成部が、撮像画像に含まれる線状要素を抽出した第１中間抽出画像を生成し、前記線分置換部が、該第１中間抽出画像に含まれる各線状要素を、その水平方向幅又は傾斜角度の垂直方向における変化に基づいて、１つ又は複数の線分に置換して線状要素抽出画像を生成する。この結果、局所直線決定部は、曲線状の線状要素が置き換えられた線分に基づいて局所直線を決定することになるので、投票空間における投票先の分散が抑制される。そのため、前記検出部は投票空間の投票結果に基いて検出直線を円滑に検出することができる。

　第９発明において、好ましくは、前記中間抽出画像生成部は、前記撮像画像に含まれる線状要素を、前記撮像画像における位置と同一位置に保持しつつ前記撮像画像から抽出した第２中間抽出画像を生成し、該第２中間抽出画像を上方視の画像に射影変換して前記第１中間抽出画像を生成する（第１０発明）。

　第１０発明によれば、第２中間抽出画像を、上方視の画像に射影変換した第１中間抽出画像を生成することにより、第１中間抽出画像上の線状要素の形状は、車両からの遠近による形状歪みが解消され、実空間における形状に近いものになる。この結果、各線状要素を適切な線分に置換して、置換した線分に基づいて決定される局所直線の正確化を図ることができる。

　第１発明において、好ましくは、前記投票部は、時系列の撮像画像に対応付けて生成された時系列の前記線状要素抽出画像に対して設定された時系列のレーン抽出エリアごとに前記投票空間を設定して、時系列の各投票空間ごとに、当該投票空間が設定されたレーン抽出エリアにおける各局所領域の局所直線の方向と交点とを投票し、前記検出部は、時系列の投票空間の投票結果に基づいて検出直線を検出する（第１１発明）。

　第１１発明によれば、線状要素抽出画像におけるレーンマーク由来の線状要素は、時系列の線状要素抽出画像において出現の継続性が高いのに対し、線状要素抽出画像における非レーンマーク由来の線状要素は、時系列の線状要素抽出画像において出現の継続性が低い。したがって、時系列の線状要素抽出画像に対して設定された時系列のレーン抽出エリアごとに投票空間を設定して、時系列の各投票空間ごとに、各局所領域の局所直線に対応付けられる座標に投票して、時系列の投票空間の投票結果に基づいて検出直線を検出することにより、レーンマークに対応する検出直線の検出精度を高めることができる。

　第１１発明において、好ましくは、前記検出部は、各座標の投票数が、時系列の各投票空間における対応座標の投票数を合計した合計値となる合計投票空間を作成し、合計投票空間において投票数が極大となっている座標に基づいて前記検出直線を検出する（第１２発明）。

　第１２発明によれば、線状要素抽出画像におけるレーンマーク由来の線状要素は、時系列の線状要素抽出画像において出現の継続性が高いので、合計投票空間においてレーンマークに対応する座標の投票数は、一時的なノイズ等に対応する座標の投票数より大幅に大きくなる。また、合計投票空間において、レーンマークに対応する座標の投票数は、その周囲の座標の投票数より大となって、投票数に関してレーンマークに対応する座標の投票数は極大となっている。そのため、合計投票空間において投票数が極大となっている座標に基づいて検出直線を検出することにより、レーンマークに対応する検出直線の検出精度を高めることができる。

　第１２発明において、好ましくは、前記検出部は、各投票空間において投票数が閾値未満である座標については該投票数を減少させてから、時系列の各投票空間の各座標の投票数を合計する（第１３発明）。

　各投票空間において、ノイズ等に対応する座標の投票数は、レーンマークに対応する座標の投票数に比して小さい。しかしながら、各投票空間の各座標の投票が蓄積される合計空間では、無視できない投票数に達することがある。第１３発明によれば、これに対処して、前記検出部は、各投票空間において投票数が閾値未満である座標については該投票数を減少させてから、時系列の各投票空間の各座標の投票数を合計する。これにより、合計投票空間では、ノイズ由来の投票数はレーンマーク由来の投票数に対して十分に小さい値となり、合計投票空間からノイズ由来の検出直線が検出されることを抑制することができる。

　第１３発明において、好ましくは、前記検出部は、時系列上の別時刻の第１及び第２投票空間の投票結果を対比し、第１投票空間において投票数が極大となっている座標から所定の距離範囲内の座標が第２投票空間では投票数が極大になっていないときは、第１投票空間における該座標の投票数は合計投票空間における合計から除外する（第１４発明）。

　ノイズ等の非レーンマーク由来の線状要素は、時系列の直線要素抽出画像における連続的な出現性が低い。そのため、時系列上の別時刻の第１及び第２投票空間の投票結果を対比した場合、第１投票空間において投票数が極大となっている座標から所定の距離範囲内の座標が第２投票空間において投票数が極大になっていないことが多い。第１４発明によれば、第１投票空間の第１座標から所定の距離範囲内の第２座標の投票数が第２投票空間では極大になっていないときに、第１投票空間における該第１座標の投票数は合計投票空間における合計から除外することにより、ノイズ等に由来する検出直線が合計投票空間から検出されてしまうのを防止することができる。

車両走行支援装置を搭載する車両の模式図。 車両走行支援装置が装備するレーン認識装置のブロック図。 図２のレーン認識装置が実施するレーン認識方法についてのフローチャート。 撮像画像及びその線状要素抽出画像を上下に並べて示す図。 投票空間の模式図。 各座標における投票数を高さにして投票空間を三次元形態で示した図。 別のレーン認識装置のブロック図。 図７の別のレーン認識装置が実施するレーン認識方法についてのフローチャート。 線分置換部による線分置換処理の説明図。 線状要素抽出画像を射影変化した射影変換画像を示す図。 曲線のレーン境界線についての別の認識方法のフローチャート。 図１１の別の認識方法におけるレーン抽出エリアについての説明図。 図１１の別の認識方法における各レーン抽出エリアごとに生成される複数の投票空間を示す図。 図１１の別の認識方法において各レーン抽出エリアから検出される検出直線を示す図。 １つのレーン抽出エリア内で局所領域の位置に応じて局所直線の方向の区分数を調整することについての説明図。 さらに別のレーン認識装置のブロック図。 図１６のレーン認識装置が実施するレーン認識方法についてのフローチャート。 時系列の投票空間についての説明図。 図１６のレーン認識装置による投票空間に対する処理の説明図。

　図１に示されている車両（四輪自動車）１０には、ＣＣＤカメラ、ＣＭＯＳイメージセンサや近赤外線カメラ等のカメラ（撮像装置）１１と、車両走行支援装置１２とが搭載されている。カメラ１１は車両１０の前方の様子をフロントウィンドウ越しに撮影するように車内空間に取り付けられている。なお、カメラ１１の配置箇所は車両１０のダッシュボードの上又はフロント部分等に適宜変更されてもよい。

　図２において、車両走行支援装置１２に装備されるレーン認識装置２０は、撮像画像メモリ２１、線状要素抽出画像処理部２２、分解能決定部２３、投票処理部２４、直線検出部２５及び認識部２６を備える。

　線状要素抽出画像処理部２２は、本発明における線状要素抽出画像生成部、エリア設定部、局所直線決定部及び交点算出部に相当する。投票処理部２４は本発明における投票部に相当する。直線検出部２５は本発明における検出部に相当する。

　レーン認識装置２０は、演算用メモリやプログラム格納用メモリを装備するコンピュータ（図示せず）を含み、線状要素抽出画像処理部２２、分解能決定部２３、投票処理部２４、直線検出部２５及び認識部２６の各機能をコンピュータにおけるソフトウェアの情報処理により実現する。なお、後述のレーン認識装置６５（図７），１００（図１６）において、それらを構成する各部の機能も、コンピュータにおけるソフトウェアの情報処理により実現される。

　図３は、レーン認識装置２０が実施するレーン認識方法のフローチャートである。図３のフローチャートを参照しつつ、レーン認識装置２０の作動について説明する。

　本発明における線状要素抽出画像生成部の処理はＳＴＥＰ１２の処理に相当する。本発明におけるエリア設定部、局所直線決定部及び交点算出部の処理はＳＴＥＰ１３の処理に相当する。本発明における投票部の処理はＳＴＥＰ１４の処理に相当する。本発明における検出部の処理はＳＴＥＰ１５の処理に相当する。

　ＳＴＥＰ１１では、レーン認識装置２０は、撮像画像３０のデータを撮像画像メモリ２１に記憶する。撮像画像３０について図４を参照して説明する。なお、図４並びに後述の図９、図１２、図１４及び図１５の撮像画像３０及びその線状要素抽出画像４０において、水平方向（横軸方向又は左右方向）をｘ軸方向、垂直方向（上下方向又は縦軸方向）をｙ軸方向とし、原点は、処理の便宜上、各矩形画像の左下の頂点と定義する。ｘ軸方向は実空間における車両１０の左右方向に相当する。ｙ軸は実空間における車両１０の進行方向及び垂直方向に相当する。したがって、実空間において車両１０の前方へ車両１０から遠方の箇所ほど、及び上下方向へ上方の箇所ほど、ｙ軸方向へ上の位置になる。この例では、車両１０は右側のレーンを走行している。

　図４において、上半部はカメラ１１が車両１０の前方を撮影した撮像画像３０であり、下半部は撮像画像３０に対しエッジ処理等の線状要素抽出処理を行って生成した線状要素抽出画像４０である。カメラ１１は車両１０の前方の撮像画像３０を一定時間間隔で出力する。各撮像画像３０は１つのフレームに相当する。線状要素抽出画像４０における各線状要素は、撮像画像３０から抽出された画素点の集合から成り、具体的には、線状要素抽出画像４０に分布する抽出画素点の内、線状に高密度で又は連続して集まった複数の抽出画素点の領域となっている。

　撮像画像３０には、車両１０が現在走行している道路２９について、自車から見て左側から右側へ順番に左レーンマーク３２、中央レーンマーク３１及び右レーンマーク３３が撮像されている。この例では、中央レーンマーク３１は破線型であるのに対し、左右のレーンマーク３２，３３は連続線型になっている。この撮像画像３０には、さらに、複数の木立ちの幹３５が、道路２９の右側において道路２９に沿って撮像されている。

　ＳＴＥＰ１２では、線状要素抽出画像処理部２２は、撮像画像３０からエッジ又はレーンマークを抽出する。具体的には、撮像画像３０に対してエッジ処理やレーンマーク抽出処理を行って、線状要素抽出画像４０を生成する。エッジ処理の具体例では、撮像画像３０の各座標Ｇ（ｘ，ｙ）に対して例えばＳｏｂｅｌオペレータによりフィルタ処理してｘ軸方向の一次微分を求め、その値Ｓｘ（ｘ，ｙ）をＧ（ｘ，ｙ）の濃度値とする。次に閾値ＣｓとＳｘ（ｘ，ｙ）とを対比し、Ｓｘ（ｘ，ｙ）＞Ｃｓである画素点を抽出し、この画素点をエッジ点と判断し、該画素点を背景色とは別の色で表示したものが線状要素抽出画像４０とされる。

　レーンマーク抽出処理の具体例では、撮像画像３０から白色（レーンマークの色）の画素点のみを抽出するか、輝度が所定の閾値以上となっている画素点を抽出し、こうして抽出した画素点を背景色（例：黒）と別色（例：白）で表示したものが線状要素抽出画像４０とされる。

　線状要素抽出画像４０では、撮像画像３０の中央レーンマーク３１及び右レーンマーク３３はそれぞれ線状要素４１，４２として抽出される。線状要素抽出画像４０の複数の線状要素５５は、撮像画像３０において遠景に含まれている木立ちの幹３５に相当するものである。レーン抽出エリア４５は、線状要素抽出画像４０においてｙ軸方向所定寸法の範囲として設定されている。レーン抽出エリア４５のｙ軸方向寸法は、固定したものとせず、車両１０の運転状況や走行状況等により適宜調整することができる。道路２９が直線路の場合には、撮像画像３０には、例えば車両１０の前方、数ｍから数十ｍまでの道路範囲が撮影されるように、カメラ１１の向き等の各種調整が行われている。

　基準水平線４６は、線状要素抽出画像４０内においてレーン抽出エリア４５の上辺より上のｙ軸方向位置に設定され、ｘ軸に対して平行に延在している。なお、基準水平線４６はレーン抽出エリア４５内に設定することもできるし、演算処理上は、線状要素抽出画像４０外の、例えば線状要素抽出画像４０の上辺より上に設定することもできる。

　複数の局所領域４７は、相互に重ならないように、また各線状要素を含む範囲では相互に隣接するように、レーン抽出エリア４５内に設定される。なお、局所領域４７は、前述の特許文献１のウィンドウに相当する。図４の例では、局所領域４７は、相互に合同の矩形輪郭となっているが、矩形以外の形状にしたり、各局所領域４７に対して後述の投票空間５６（図５）への１票の投票権を割り当てつつ、局所領域４７ごとに形状や寸法を異ならせることもできる。

　局所領域４７は、レーン抽出エリア４５の全面にわたり密に分布させることも可能であるが、典型的には、局所領域４７は、レーン抽出エリア４５内において、各線状要素の部位に絞って、かつ各線状要素が１以上の局所領域４７に完全に覆われるように設定する。線状要素の存在しない範囲への局所領域４７の設定は省略する。なお、局所領域４７をレーン抽出エリア４５の全面にわたり格子状に分布させる場合に、線状要素部分が含まれないために後述の局所直線５４が抽出できない局所領域４７に対しては、後述の投票空間５６への投票権を０票、すなわち投票権無しにする。なお、局所直線５４が抽出できた局所領域４７は投票空間５６への投票権はこの実施例では１票である。

　図４には、局所領域４７が線状要素４１に対して２つしか図示されていないが、実際の処理では、局所領域４７はレーン抽出エリア４５内において線状要素４１の他の部位や線状要素４２の部位にも設定される。目標検出線分５１，５２，５３は、レーン抽出エリア４５内の線状要素４１，４２，４３の各部位からの検出が望まれる検出直線部分に相当し、直線検出部２５が検出すべき理想の検出直線として参考に示している。線状要素５５は、レーン抽出エリア４５の外に存在しており、レーン抽出エリア４５に対する後述の局所直線決定処理の対象から外される。また、目標検出線分５３は、後述するように、対応座標の投票数が閾値Ｖ１未満となるため、レーン抽出エリア４５の検出直線から外される。

　ＳＴＥＰ１３では、線状要素抽出画像処理部２２は、局所直線４４を計算する。具体的には、各局所領域４７に対し、その領域内の抽出画素点の分布に基いて１つの直線を局所直線４４として決定する。局所直線４４とは、各局所領域４７を通過しているとともに、傾斜角度（後述のθ）が局所領域４７内の線状要素部分の傾斜角度として該線状要素部分から抽出した傾斜角度をもつ直線と、定義される。

　各局所領域４７の局所直線４４は、例えば該局所領域４７における各抽出画素点の座標に対し最小二乗法等を適用することにより算出することができる。例えば、ラベリングされた線状要素の内、各局所領域４７内に存在する線状要素部分を構成する全画素点と直線との距離を二乗した値の合計を計算し、合計が最小となる直線を探し出し、探し出した直線が該局所領域４７における局所直線４４とされる。

　また、特許文献１の装置のように、局所領域４７の上辺の一点と下辺の一点とを結ぶ全部の線分を考え、各線分上の抽出画素点が最大値となる線分に対し、該線分と重なる直線を該局所領域４７の局所直線４４とすることも可能である。

　局所直線４４はｘ＝ａ・ｙ＋ｂで表わされる。ａは局所直線４４の傾きと定義し、ａ＝ｘ軸方向増加分／ｙ軸方向増加分である。ＳＴＥＰ１３における局所直線４４の計算では、線状要素抽出画像処理部２２は、前述の最小二乗法等によりａのみを最初に求め、次に、局所直線４４を通す局所領域内の所定点を決めてから、ｂを求める。ｂの求め方については後述する。

　後述の投票空間５６（図５）における投票処理に使用されるψに関連するθは、ｙ軸の正方向に対して時計方向への局所直線４４の傾斜角度と定義し、ｔａｎθ＝ａの関係がある。θは、０～πの範囲で定義され、局所直線４４の「方向」に相当する。

　線状要素抽出画像処理部２２は、次に、各局所直線４４に対し、それが基準水平線４６と交わる交点のｘ座標（以下、適宜「ｘ交点」という。）を算出する。具体的な算出の仕方は次のＳＴＥＰ１３１～１３３のとおりである。なお、線状要素抽出画像処理部２２は、ＳＴＥＰ１３１～１３３を図３のＳＴＥＰ１３のサブステップとして実行する。

　ＳＴＥＰ１３１：局所直線をｘ＝ａ・ｙ＋ｂとして、ｂを次の式（１）により算出する。
ｂ＝ｘc－ａ・ｙc・・・式（１）
ここで、（ｘc，ｙc）は、各局所直線４４の生成元の局所領域４７内の所定点、例えば中心点４９の座標である。

　ＳＴＥＰ１３２：式（１）で算出したｂを使って、局所直線４４と基準水平線４６との交点（ｕx，ｕy）のｘ座標ｕx（ｘ交点）を次の式（２）により算出する。
ｕx＝ａ・ｕy＋ｂ・・・式（２）
ｕyは、前述のように、基準水平線４６が通る所定位置のｙ座標として既定の値である。

　ＳＴＥＰ１３３：ｕx，θから次の式（３）及び（４）に基づいてψ，ｖxを算出する。
ψ＝（θ／（θについて想定される最大値））×（ψの区分数Ｎc）・・・（３）
ｖx＝（ｕx／（ｕxについて想定される最大値））×（ｖxの区分数Ｎx）・・・（４）
式（３）及び（４）におけるＮc，Ｎxは撮像画像３０の注目領域の位置分解能に応じて決められる。なお、撮像画像３０の注目領域の位置分解能とは、撮像画像３０における当該注目領域に対応する実空間での位置の差異を当該注目領域の画像情報により識別する際の分解能をいう。撮像画像３０の注目領域の位置分解能が高いほど、Ｎc，Ｎxは増大することができる。Ｎc，Ｎxはそれぞれ例えば３２，６４である。

　式（３）及び（４）におけるψ，ｖxは、１未満を切り下げられるとともに、ψ＝Ｎcのときは、ψは１だけ減少され、ｖx＝Ｎxのときは、ｖxは１だけ減少される。したがって、ψは［０，Ｎc－１］の範囲の整数により表わされ、ｖxは［０，Ｎx－１］の範囲の整数により表わされる。

　分解能決定部２３は、撮像画像３０の分解能に応じてＮc，Ｎxを決定し、線状要素抽出画像処理部２２へ出力する。線状要素抽出画像処理部２２は、分解能決定部２３からのＮc，Ｎxに基いて各局所領域４７の局所直線４４のｖx及びψを算出し、算出したｖx及びψを各局所領域４７に対応付けて線状要素抽出画像処理部２２のメモリに記憶する。

　図５は投票空間５６を示している。投票空間５６は、横軸及び縦軸がそれぞれψ及びｖxで定義されている。なお、ψは、傾斜角度θに対応付けられるので、投票空間５６におけるψの軸としての横軸を方向軸と呼ぶ。また、ｖxは、前述の式（４）で定義したように、ｘ交点としてのｕxに対応付けられるので、投票空間５６におけるｖxの軸としての縦軸は交点軸と呼ぶ。

　ＳＴＥＰ１４では、投票処理部２４は、線状要素抽出画像処理部２２のメモリに記憶されている各局所領域４７のｖx及びψを参照して、参照値に基いて投票空間５６への投票を行う。すなわち、各局所領域４７に対して１票を割り当て、各局所領域４７の局所直線４４のｖx及びψと一致する、投票空間５６の座標（ｖx，ψ）に各１票を投票する。

　投票空間５６における投票結果としての各座標（ｖx，ψ）への投票数ｖｏｔｅ（ｖx，ψ）は図６のように示される。投票空間５６の各座標への投票数ｖｏｔｅ（ｖx，ψ）は図６において高さで表されている。投票数ｖｏｔｅ（ｖx，ψ）を高さで表わした投票空間５６では、複数の山５９が現れる。山５９は、投票数ｖｏｔｅ（ｖx，ψ）が周囲に対して増大している座標領域に出現する。投票数ｖｏｔｅ（ｖx，ψ）の結果は、レーンマークに該当する局所直線４４については通常、高さが極大値となっている座標を頂上として、その周囲に裾野が広がる山の形状となる。

　投票空間５６においてｖｏｔｅ（ｖx，ψ）が極大値となる座標への投票数は、レーン抽出エリア４５に図示した線状要素４１，４２，４３に対して割り振られた局所領域４７の個数に十分に近くなる。

　ＳＴＥＰ１５では、直線検出部２５は、投票空間５６における投票結果に基いて検出直線を検出する。検出直線は、投票数ｖｏｔｅ（ｖx，ψ）が閾値Ｖ１以上でかつ極大値になっている座標（ｖx，ψ）に対し、ｘ交点が前述の式（４）によりｖxに対応付けられるｕxとなり、方向が前述の式（３）によりψに対応付けられるθとなる直線とされる。なお、投票空間５６において極大値が上位２個又は３個というように、上位所定数の極大値の座標（ｖx，ψ）であることを条件に付加して、上位所定数の座標に限定して、その座標に対応付けられる直線を検出直線とすることもできる。

　線状要素４３に由来する局所直線は、投票空間５６におけるｖｏｔｅ（ｖx，ψ）の極大値がＶ１未満であるので、検出直線として検出されない。図４の線状要素抽出画像４０の例では、線状要素４１，４２に由来する局所直線のみが線状要素抽出画像４０内の２本の検出直線として投票空間５６から検出される。

　認識部２６は、各検出直線を撮像画像３０上の中央レーンマーク３１及び右レーンマーク３３と認識して、車両１０に対する道路２９のレーン境界線の相対位置や輪郭を認識する。

　認識部２６は、道路２９のレーン境界線の認識とは別に、単に、車両１０が走行している道路２９がカーブであるか否かを判断することもできる。その具体的な判断処理について説明する。

　図３の直線のレーン境界線の認識方法では、カメラ１１が撮影した各撮像画像３０ごとに、図３の一連の処理が実施される。カメラ１１は、一定時間間隔で車両１０の前方を撮影するので、時系列の撮像画像３０が得られる。認識部２６は時系列の所定数の撮像画像３０から車両１０の現在走行中の道路が直線かカーブかを判断する。

　すなわち、認識部２６は、時系列の所定数の撮像画像３０から認識されるレーン境界線がｘ軸方向へ閾値Ｄ未満の平均速度（該平均速度は撮像画像３０における平均速度であっても、実空間へ換算した平均速度であってもよい。）で移動していると判断したときは、道路２９は直線であると認識する。これに対し、該レーン境界線がｘ軸方向へ閾値Ｄ以上の平均速度で移動していると判断したときは、道路２９はカーブしていると認識する。

　図７は別のレーン認識装置６５のブロック図である。図２のレーン認識装置２０に関連して説明した図４の線状要素抽出画像４０において、線状要素４２のような曲線の線状要素については、該線状要素の領域を占める複数の局所領域４７における局所直線の傾斜角度θが分散するため、投票空間５６における投票が分散し、投票空間５６からの線状要素４２に対応付けられる検出直線の決定が困難になる。レーン認識装置６５は、これに対処するため、線状要素抽出画像４０の曲線の線状要素に由来する局所直線４４に基づく投票が投票空間５６において分散するのを抑制するようになっている。

　レーン認識装置２０に対するレーン認識装置６５の相違点は、レーン認識装置６５は、線状要素抽出画像処理部２２において中間抽出画像生成部６６及び線分置換部６７を備えることである。なお、中間抽出画像生成部６６は、図２のレーン認識装置２０の線状要素抽出画像処理部２２が図３のＳＴＥＰ１２，１３において行っていた処理の内、ＳＴＥＰ１２の処理をするものであり、レーン認識装置２０の線状要素抽出画像処理部２２に対して新規な処理をするものではない。すなわち、中間抽出画像生成部６６は、ＳＴＥＰ１２を実施して、図４の線状要素抽出画像４０を生成するだけである。

　図８は、レーン認識装置６５により実施されるレーン認識方法のフローチャートである。図８のフローチャートでは、図３のフローチャートに対してＳＴＥＰ２１がＳＴＥＰ１２と１３との間に追加される。図７及び図８において、図２及び図３との同一部分は説明を省略し、相違点についてのみ説明する。

　ＳＴＥＰ２１では、線分置換部６７が、線状要素抽出画像４０に含まれる各線状要素を、垂直方向の連結性に基づいて１つ又は複数の線分に置換する。

　ＳＴＥＰ２１における処理の具体例を、図９を参照して、説明する。図９は、図４と同様に、上半部はカメラ１１が車両１０の前方を撮影した撮像画像３０を示し、下半部は撮像画像３０に対しエッジ処理等の線状要素抽出処理を行って生成した線状要素抽出画像４０を示している。

　なお、レーン認識装置６５において、撮像画像３０に対しエッジ処理等の線状要素抽出処理を行って生成しかつＳＴＥＰ２１の線分置換処理前の状態になっている線状要素抽出画像４０は、本発明の中間抽出画像生成部が生成する第１中間抽出画像に相当する。また、ＳＴＥＰ２１の線分置換処理後の線状要素抽出画像４０は本発明の線分置換部が生成した線状要素抽出画像に相当する。

　図９の線状要素抽出画像４０では、線分置換部６７による線分置換処理を説明する便宜上、撮像画像３０の中央レーンマーク３１及び右レーンマーク３３に相当する線状要素について、符号を付け直している。図９において、線状要素４１ａ～４１ｃは、撮像画像３０の破線型の中央レーンマーク３１由来の複数の線状要素４１について車両１０の近い方から順番にａ，ｂ，ｃの添え字を付けたものである。線状要素４２は連続線型の右レーンマーク３３由来の線状要素である。

　図９の線状要素抽出画像４０において、線状要素４１ａ，４１ｃは直線状の線状要素として示している。線状要素４１ｂ，４２は曲線状の線状要素として示している。曲線状の線状要素について注目するために、線状要素４１ｂ，４２は囲い８６，８８により囲っている。囲い８６，８８は、説明の便宜上、図９に図示しただけであり、実際の線状要素抽出画像４０に存在するものではない。

　線状要素抽出画像４０において、すべての線状要素は、水平画素列が垂直方向に連続する集合から構成されている。また、図９の線状要素抽出画像４０では、線状要素４１ａ～４１ｃ，４２は、中央レーンマーク３１及び右レーンマーク３３から抽出されたものとなっている。したがって、線状要素４１ａ～４１ｃ，４２の各々を構成する水平画素列の集合は、水平方向幅及び傾斜角度について線状要素抽出画像４０上で垂直方向の連続性を有している。

　垂直方向の連続性について具体的に説明すると、例えば、線状要素を構成し垂直方向へ隣接する水平方向画素列に対し、（ａ）両水平方向画素列の水平方向幅の差が所定の閾値以内であれば、両水平方向画素列は水平方向幅について垂直方向の連続性が有るとする。また、（ｂ）両水平方向画素列の水平方向中心点の水平方向位置の差が所定の閾値以内であれば、両水平方向画素列は傾斜角度について垂直方向の連続性が有るとする。なお、両水平方向画素列の水平方向中心点を結ぶ直線について、図４において局所直線４４について定義した傾斜角度θと同一の傾斜角度を定義することができる。

　垂直方向へ隣接する水平方向画素列同士について、垂直方向の連続性をいう場合に、両水平方向画素列だけを対比して、連続性の有無を判定する代わりに、垂直方向へ連続する所定数の水平方向画素列の群に基づいて連続性の有無を判定してもよい。具体的には、群において垂直方向へ隣接する水平方向画素列同士の全部の対について水平方向幅の差の平均値又は中心点の水平方向位置の差の平均値を算出する。そして、それら平均値が所定の閾値以内であれば、該群における全部の水平方向画素列同士は、垂直方向の連続性が有ると判定する。

　線分置換部６７は、ＳＴＥＰ２１での処理の一つとして、線状要素抽出画像４０内の各線状要素に対し、それを構成する水平方向画素列について垂直方向の連結性が有る垂直方向範囲の集合部分に対して、１つのラベルを付与するラベリングを行う。ここで「垂直方向の連結性」とは例えば前述の「垂直方向の連続性」のことである。前述の「垂直方向の連続性」では、傾斜角度について水平方向画素列の中心点を結ぶ直線の傾斜角度から垂直方向の連続性を判断したが、水平方向画素列の中心点に限定することなく、左端同士や右端同士を結ぶ直線の傾斜角度から垂直方向の連結性を判断することも可能である。

　線分置換部６７は、ＳＴＥＰ２１において、図９の線状要素抽出画像４０の線状要素４１ａ～４１ｃ，４２に対し、１つずつ識別用のラベルを付与し、置換線分８５ａ～８５ｃ，８９に置換する。なお、線分置換部６７は、線状要素抽出画像４０内の全部の線状要素に対してＳＴＥＰ２１の処理を行うことなく、線状要素抽出画像４０内のレーン抽出エリア４５（図４）に限定して、ＳＴＥＰ２１の処理を行って、処理負荷の軽減を図ることもできる。

　線分置換部６７は、線状要素４２のように、垂直方向寸法の長い湾曲線状要素に対しては、垂直方向の連結性が有る水平方向画素列の集合部分であっても、垂直方向へ所定の長さの集合部分に分割し、各分割部分ごとに別のラベルを付与して、各分割部分ごとに１つの線分に置換することもできる。後述の図１０の置換線分８９１ａ～８９１ｃはこの方針に従って生成したものとなっている。

　湾曲線状要素を線分に置換する意義は、ＳＴＥＰ１４の投票処理における投票先の分散を抑制して、ＳＴＥＰ１５における直線検出を容易化するためであったが、長い湾曲線状要素を１つの置換線分に置換すると、湾曲線状要素の個々の要素部分の傾斜角度と置換線分の傾斜角度との差が増大し、ＳＴＥＰ１４における投票の分散は抑制されても、ＳＴＥＰ１５において検出する直線の方向が実空間のレーンマークの方向から大きくずれてしまう。そこで、線分置換部６７は、各分割部分ごとに別のラベルを付与して、各分割部分ごとに対応の線分に置換することによりこの問題を克服している。

　線分置換部６７が置換線分８５ａ～８５ｃ，８９を具体的に決める決め方について説明する。線分置換部６７は、置換線分８５ａ～８５ｃ，８９の垂直方向長さを、線状要素４１ａ～４１ｃ，４２の垂直方向長さにそれぞれ等しくする。なお、図９では、置換線分８９の上端を、置換線分８９の由来元の線状要素４２が垂直方向上方へ続いている途中であって、線状要素４２の水平方向幅が所定の閾値未満になる箇所にしている。これは、レーンマークの十分に遠方の部分については、認識する意義が少ないとともに、認識処理を省略した方が処理負荷を軽減できるからである。

　線分置換部６７は、置換線分８５ａ～８５ｃ，８９の幅を、置換線分８５ａ～８５ｃ，８９の由来元の線状要素４１ａ～４１ｃ，４２の幅に関係なく、等しくするとともに、両端範囲にわたり均一にする。

　線分置換部６７は、各線分の由来元の線状要素が直線状の線状要素である場合には、由来先の置換線分８５ａ，８５ｃの傾斜角度を、由来元の線状要素の傾斜角度とする。線分置換部６７は、線状要素の複数の異なる垂直方向位置における水平方向画素列に対し、下側の水平方向画素列の中心から次に下側の水平方向画素列の中心に線分を引く処理を、垂直方向下から上へ順番に繰り返す。そして、この処理による各線分の傾斜角度の変化から、当該線状要素が直線の線状要素であるか曲線の線状要素であるかを判断することができる。

　線分置換部６７は、曲線状の線状要素４１ｂ，４２に対しては、それらに置換する置換線分８５ｂ，８９の傾斜角度を、その由来元の線状要素が各部位においてもつ傾斜角度の最大値と最小値との間の範囲の適切な傾斜角度に選定することができる。具体的には、線分置換部６７は置換線分８５ｂ，８９の傾斜角度を例えば次の（ａ）により算出する。あるいは、以下の（ｂ）～（ｄ）のような他の仕方により算出してもよい。次の算出の仕方は、線状要素４１ｂ，４２に対して共通であるので、線状要素４１ｂのみについて説明する。
（ａ）線状要素４１ｂを構成する画素を分布点として最小二乗法により近似曲線を作成するとともに、該近似曲線の垂直方向両端は線状要素４１ｂの垂直方向両端に一致させる。そして、該近似曲線の長さの中心点における接線の傾斜角度を置換線分８５ｂの傾斜角度にする。
（ｂ）上記（ａ）の近似曲線の両端における接線の傾斜角度の平均値を置換線分８５ｂの傾斜角度にする。
（ｃ）上記（ａ）の近似曲線上に等間隔に区分点を設定し、各区分点における接線の傾斜角度の平均値を置換線分８５ｂの傾斜角度にする。
（ｄ）線状要素４１ｂの上下の端における水平方向画素列の中心画素を結ぶ線分の傾斜角度の平均値を置換線分８５ｂの傾斜角度にする。

　線分置換部６７は、線状要素とそれに置換する置換線分との位置関係については例えば次のように設定する。置換線分の垂直方向両端は線状要素の垂直方向両端に揃えられているので、置換線分の垂直方向位置は一義に決まる。置換線分の水平方向位置は、線状要素の垂直方向範囲の任意の１つ（例：垂直方向の中心点の垂直方向位置）、又は可能であれば、複数の垂直方向位置で、置換線分の幅の中心を線状要素の幅の中心に揃えたものにする。端的に言えば、置換線分の水平方向位置は、該置換線分がその少なくとも１箇所において由来元の線状要素と重なることを条件とする。

　図９では、由来元の線状要素４１ａ～４１ｃ，４２と由来先の置換線分８５ａ～８５ｃ，８９とは、水平方向に少し離れているが、これは図面において見易くするための便宜上、そのようにしたものであり、実際の処理では、由来元の線状要素４１ａ～４１ｃ，４２と由来先の置換線分８５ａ～８５ｃ，８９とは重なっている。

　レーン認識装置６５は、線状要素抽出画像４０の各線状要素４１ａ～４１ｃ，４２に対して置換する置換線分８５ａ～８５ｃ，８９の代わりに図１０の置換線分８５１ａ～８５１ｃ，８９１ａ～８９ｃを採用することもできる。図１０は中間抽出画像生成部６６が線状要素抽出画像４０を上方視の射影変換により生成した射影変換画像７０を示している。

　線状要素抽出画像４０が生成される撮像画像３０は、カメラ１１からの車両１０の前方を見た画像となっているので、撮像画像３０上の中央レーンマーク３１及び右レーンマーク３３等は、遠方の部位ほど、撮像画像３０上の中央に寄って来たり、撮像画像３０における縮小率が増加する。これは、線状要素抽出画像４０上の線状要素の形状と、実空間の路面に描かれているレーンマークの形状との差異を増大させ、不的確な置換線分が設定されてしまう原因になる。

　射影変換画像７０は、このように不的確な置換線分が設定されることを防止するために、生成されるものである。線状要素抽出画像４０から射影変換画像７０への変換は中間抽出画像生成部６６がＳＴＥＰ２１内の処理の一部として実施する。射影変換画像７０では、線状要素抽出画像４０の線状要素４１ａ～４１ｃ，４２は、上方視の射影変換により、それぞれ線状要素部分４１１ａ～４１１ｃ，４２１に変換されている。射影変換画像７０における線状要素部分４１１ａ～４１１ｃ，４２１は、車両１０からの距離の相違による形状の歪みが解消されている。

　射影変換を実施するレーン認識装置６５において、線状要素抽出画像４０は本発明の第２中間抽出画像に相当し、各線状要素を置換線分への置換処理する前の射影変換画像７０は本発明の第１中間抽出画像に相当し、各線状要素を置換線分への置換処理した後の射影変換画像７０は、局所直線の決定のために局所領域を設定する、本発明の線状要素抽出画像に相当する。

　線状要素４２１は連続線型の右レーンマーク３３由来のものであるので、線分置換部６７が、線状要素４２１に対して、垂直方向連結性によりラベリング処理して、１つのラベルを付けて、１つの置換線分に置換すると、該置換線分の傾斜角度と線状要素４２１の個々の要素部分の傾斜角度との差が大きくなってしまう。これに対処するため、線分置換部６７は、線状要素４２１に対し、中心線に沿って区切り９１ａ～９１ｃにより等長の複数の線状要素４２１ａ～４２１ｃに分割し、線状要素４２１ａ～４２１ｃごとにラベリングし、置換線分８９１ａ～８９１ｃに置換する。

　レーン認識装置６５は、置換線分８５１ａ～８５１ｃ，８９１ａ～８９１ｃに置換した射影変換画像７０を線状要素抽出画像４０にＳＴＥＰ２１において置き換えてから、置き換え後の射影変換画像７０に対して図８のＳＴＥＰ１３以降の処理を実施する。

　次に、図１１～図１４を参照して、図２のレーン認識装置２０によるカーブ道路におけるレーン境界線の別の認識方法について説明する。なお、図１１～図１４のレーン認識方法は、図２のレーン認識装置２０が処理対象としている図４の線状要素抽出画像４０を用いて説明しているが、レーン認識装置６５（図７）が作成した図１０の射影変換画像７０を線状要素抽出画像４０に置き換えれば、レーン認識装置６５にも、図１１～図１４のレーン認識方法を適用することができる。

　図１１～図１４において、図２～図５の要素又はＳＴＥＰと同一のものについては、図２～図５の要素又はＳＴＥＰに付けた符号と同一の符号で指示する。

　図１１のＳＴＥＰ１１～１３は図３のＳＴＥＰ１１～１３と同一の処理内容であるので、説明は省略する。ＳＴＥＰ３７では、線状要素抽出画像処理部２２は、各レーン抽出エリア４５の垂直方向寸法（ｙ軸方向寸法）を設定する。具体的に述べると、図１２に示すように、線状要素抽出画像４０においてその所定範囲をｙ軸方向へ５つのレーン抽出エリア４５に分割し、上側のレーン抽出エリア４５ほど、ｙ軸方向寸法を短くしている。各レーン抽出エリア４５のｙ軸方向寸法は、それを実空間寸法に換算したしたときに、相互に等しく（例：１０～１５ｍ内の所定値に）なるように、設定されている。

　各レーン抽出エリア４５のｙ軸方向寸法は、固定したものとしてもよいが、好ましくは、車両１０の走行状況（該走行状況には運転状況を含ませる。）に応じて調整する。車両１０の運転開始時の各レーン抽出エリア４５のｙ軸方向寸法の初期値としては、各レーン抽出エリア４５のｙ軸方向寸法が、実空間において車両１０の車両中心線上で例えば１０ｍずつの長さになるように設定される。

　その後、各レーン抽出エリア４５のｙ軸方向寸法は、車速に応じて変更される。一般的には、各レーン抽出エリア４５のｙ軸方向寸法は、高車速時ほど増大させる。レーン抽出エリア４５のｙ軸方向寸法の増大に伴い、レーン抽出エリア４５の個数は減少させることもできる。また、各レーン抽出エリア４５のｙ軸方向寸法は、道路２９が直線である場合は最大とし、道路２９の曲率の増大に連れて、減少させる。

　各レーン抽出エリア４５には、処理上、上側のものから下側の方へ順番にレベル１，２，・・・，５が付けられる。図１３に示すように、各レーン抽出エリア４５ごとに１つの投票空間を設定する。図１３の投票空間Ｑ１～Ｑ５は、図１２のレベル１～５のレーン抽出エリア４５にそれぞれ対応付けられている。レベル数値が小さいレーン抽出エリア４５ほど（上側のレーン抽出エリア４５ほど）、撮像画像３０及び線状要素抽出画像４０の注目領域の位置分解能が低下している。

　なお、線状要素抽出画像４０の注目領域の位置分解能とは、前述のＳＴＥＰ１３３の式（３）及び（４）に関連して説明した撮像画像３０の注目領域の位置分解能と同様に定義する。すなわち、線状要素抽出画像４０の注目領域の位置分解能とは、当該注目領域に対応する実空間での位置の差異を線状要素抽出画像４０における当該注目領域の画像情報により識別する際の分解能をいう。線状要素抽出画像４０の注目領域の方向分解能とは、当該注目領域に対応する実空間での方向の差異を線状要素抽出画像４０における当該注目領域の画像情報により識別する際の分解能をいう。線状要素抽出画像４０の注目領域の交点分解能とは、基準水平線４６が当該注目領域に設定された場合に、実空間において基準水平線４６に対応する直線上の位置の差異を線状要素抽出画像４０における当該注目領域の画像情報により識別する際の分解能をいう。

　撮像画像３０及び線状要素抽出画像４０では、注目領域が車両１０より遠方を映した画像部分である場合ほど、位置分解能が低下する。したがって、交点分解能及び方向分解能も、注目領域が車両１０より遠方を映した画像部分である場合ほど、低下する。各線状要素抽出画像４０の各画像部分の局所直線４４と基準水平線４６との交点に対し、当該画像部分から検出する際の検出精度であって、交点に対応する実空間の位置の検出精度は、交点分解能が低い画像部分の局所直線４４に係る交点ほど低下する。各線状要素抽出画像４０の各画像部分の直線（局所直線４４を含む。）の方向に対し、当該画像部分から検出する際の検出精度であって、当該直線に対応する実空間の直線の方向の検出精度は、方向分解能が低い画像部分の局線の方向ほど低下する。

　線状要素抽出画像４０上の各部位の位置分解能に交点分解能及び方向分解能を整合させるために、上側のレーン抽出エリア４５ほど、そこの交点分解能及び方向分解能を低下させて、ｖx，ψを算出する。さらに、交点分解能及び方向分解能と投票空間の座標成分とを整合させるために、各投票空間Ｑ１～Ｑ５の座標成分の値は、該投票空間が対応しているレベルのレーン抽出エリア４５の局所直線についての傾斜角度θ及びｘ交点の離散値に対応付けて定義される。

　ＳＴＥＰ３８では、投票処理部２４は、各レーン抽出エリア４５ごとに対応の投票空間Ｑ１～Ｑ５へ投票を行う。これにより、各投票空間Ｑ１～Ｑ５ごとに、投票数ｖｏｔｅ（ｖx，ψ）が得られる。

　ＳＴＥＰ３９では、直線検出部２５は、各投票空間Ｑ１～Ｑ５ごとの投票数ｖｏｔｅ（ｖx，ψ）に基いて各レーン抽出エリア４５ごとに検出直線を検出する。図１４は、直線検出部２５が各レーン抽出エリア４５ごとに検出した検出直線を示している。投票空間Ｑ１（＝レベル１の投票空間５６）では、左検出直線７６ａ及び右検出直線７９ａが検出され、投票空間Ｑ２（＝レベル２の投票空間５６）では、左検出直線７６ｂ及び右検出直線７９ｂが検出され、投票空間Ｑ３（＝レベル３の投票空間５６）では、右検出直線７９ｃが検出され、投票空間Ｑ４（＝レベル４の投票空間５６）では、右検出直線７９ｄが検出され、投票空間Ｑ５（＝レベル５の投票空間５６）では、左検出直線７６ｅ及び右検出直線７９ｅが検出される。

　ＳＴＥＰ４０では、認識部２６は、各レーン抽出エリア４５の検出直線を、レーン抽出エリア４５間でつなぎ合わせる。なお、ここでレーン抽出エリア４５を越えてのつなぎ合わせには、ｙ軸方向へ隣接するレーン抽出エリア４５同士の検出直線のつなぎ合わせに限定されず、ｙ軸方向へ途中の１以上のレーン抽出エリア４５を飛び越えて行うレーン抽出エリア４５間の検出直線のつなぎ合わせも含むものとする。レーンマークが中央レーンマーク３１のような破線型である場合には、ｙ軸方向へ途中の１以上のレーン抽出エリア４５には、つなぎ合わせられる検出直線が存在しないことがあり得るからである。

　ＳＴＥＰ４１では、認識部２６は、ＳＴＥＰ４０の検出直線のつなぎ合わせに基いてカーブのレーン境界線を認識する。すなわち、左側の左検出直線７６ａ，７６ｂ，７６ｅのつなぎ合わせからは破線型レーンマークの中央レーンマーク３１に対応するレーン境界線７７が認識される。また、右側の右検出直線７９ａ～７９ｅのつなぎ合わせからは連続線型レーンマークの右レーンマーク３３に対応するレーン境界線８０が認識される。

　図１５は、図４に関連して説明した、レーン認識装置２０（図２）による局所直線の方向算出処理を改良例についての説明図である。なお、該改良例は、図１５の線状要素抽出画像４０を図１０の射影変換画像７０に置き換えれば、レーン認識装置６５（図７）にも適用可能である。

　図１５では、１つのレーン抽出エリア４５内の局所領域４７について傾斜角度θの区分数を局所領域４７のｙ座標に応じて変更している。したがって、前述の（３）により、ψの区分数も局所領域４７のｙ座標に応じて変化する。局所領域４７のｙ座標とは、前述したように、局所領域４７内の所定点、例えば中心点のｙ座標である。線状要素抽出画像４０では、上側の局所領域４７ほど、１画素のもつ情報量は増えるので、方向分解能は低下する。

　例えば、傾斜角度θの範囲０～πについて、実空間において車両１０の４０ｍまでの位置に対応する局所領域４７（例：図１５において下側の２つの局所領域４７）の局所直線に対応付けるψの区分数は３２とし、４０ｍを超える位置に対応する局所領域４７（例：図１５において一番上の局所領域４７）の局所直線に対応付けるψの区分数は１６とする。

　ｖxの区分数はｙ軸方向位置に関係なく固定しておき、ψのみの区分数をｙ軸方向位置に応じて変更して検出直線を検出することに対処する検出方式の２つの具体例を説明する。第１の検出方式では、図１２に説明したように、各区分形態（区分数が異なるものごとに１つの区分形態と勘定する。）ごとに、すなわち同一区分形態のレーン抽出エリア部分ごとに１つの投票空間５６を定義して、同一区分形態のレーン抽出エリア部分ごとに検出直線を検出する。その場合は、検出直線をｙ軸方向へつなぎ合わせて、１つのレーン抽出エリア４５の中におけるレーン境界線を認識する。

　検出直線の第２の検出方式は、ψの区分数に関係なく、１つの投票空間５６を定義するものである。例えば、ψが１６個に区分化されている局所領域４７の局所直線のψの離散値は、３２個に区分化されている局所領域４７の局所直線のψの離散値（例：ψ＝１，３，５，・・・，２９，３１）を１つ置きに定義したものとすれば、３２個に区分化されている局所領域４７の離散値（例：ψ＝０，１，２，３，・・・，２８，２９，３０．３１）に完全に含まれる。そのため、ψについての３２個対処用の１つの投票空間５６を、ψについて１６区分用と３２区分用とに共用することができる。

　そして、第２の認定方式では、ψが３２区分で表わされる局所領域４７の局所直線に対しては、そのψに該当する投票空間５６の座標に１票が投票される。ψが１６区分で表わされる局所領域４７の局所直線に対しては、そのψに該当する、投票空間５６の座標とそれより１つ上又は下の離散値の座標との計２つの座標に、１票を均等化したそれぞれ１／２票ずつが投票される。ψが１６区分になっている局所直線に対しては、１／２ずつの投票に代えて、、そのψに該当する、投票空間５６の座標とそれより１つ上及び下の離散値の座標との計３つの座標に、１票を均等化した１／３票ずつが投票されるようにしてもよい。

　すなわち、ψの区分数に関係になく、１つの局所領域４７に対しては１票が割り当てられ、区分数の少ない区分形態の局所領域４７の票は、１票を区分数に応じて割ることにより減じた値にされて、複数の該当座標に分配される。そして、投票空間５６におけるｖｏｔｅ（ｖx，ψ）が計算されて、極大値になっているｖｏｔｅ（ｖx，ψ）に対応する検出直線が検出される。

　図１６はさらに別のレーン認識装置１００のブロック図である、レーン認識装置１００の構成要素の内、図２のレーン認識装置２０の構成要素と同一のものについては、レーン認識装置２０の同一の構成要素に付けた符号と同一の符号を付けて、説明は省略する。レーン認識装置１００は、レーン認識装置２０の投票処理部２４及び直線検出部２５に代えて、エリア特定部１０１、データ退避部１０２、投票重ね合わせ部１０３及び直線検出部１０４を備える。

　図１７はレーン認識装置１００が実施するレーン認識方法のフローチャートである。図１７のフローチャートにおいて、前述の図３のフローチャートのＳＴＥＰと処理内容が同一であるＳＴＥＰについては、図３のフローチャートにおける、処理内容が同一であるＳＴＥＰに付けたＳＴＥＰ番号と同一のＳＴＥＰ番号を付けている。

　図１７のフローチャートでは、図３のフローチャートのＳＴＥＰ１４の後に、ＳＴＥＰ５１～５４が追加されている。ＳＴＥＰ５１，５２，５３，５４はそれぞれエリア特定部１０１、データ退避部１０２、投票重ね合わせ部１０３及び直線検出部１０４が実施する。

　図１８はレーン認識装置１００において処理される時系列の投票空間Ｋ１～Ｋｎ（例：ｎ＝５）を示している。図２のレーン認識装置２０は、図１８の左側に図示する１つの投票空間５６に対して個々に道路２９のレーン境界線を認識する。これに対し、図１６のレーン認識装置１００は、図１８の右側に図示する時系列のｎ個の投票空間Ｋ１～Ｋｎから道路２９のレーン境界線を認識する。時系列上、隣接する投票空間同士の生成時間間隔はほぼ撮像画像３０の撮像時間間隔に等しい。図１８では、投票空間Ｋ１～Ｋｎは、由来元の撮像画像３０の撮像時刻順になっている。

　時系列の投票空間Ｋ１～Ｋｎは、新規の撮像画像３０が生成されるごとに、最古の撮像画像３０由来の投票空間が最新の撮像画像３０由来の投票空間に置き換えられるとともに、古い順に投票空間Ｋ１～Ｋｎと並べ替えられる。したがって、時系列の投票空間Ｋ１～Ｋｎは、常時、最新のｎ個の投票空間となっている。

　また、典型的には、レーン認識装置１００は、新規の撮像画像３０が生成されるごとに、道路２９のレーン境界線の認識を更新するので、レーン認識装置２０におけるレーン境界線の認識の更新間隔は撮像画像３０の撮像間隔と同一になる。レーン認識装置１００によるレーン境界線の認識の更新間隔は、撮像画像３０の生成間隔の整数（２以上の整数）倍にして、適当に長くすることもできる。

　レーン認識装置１００が実施する処理について、図１７のフローチャートを参照して、説明する。なお、図１７のＳＴＥＰ１１～ＳＴＥＰ１４の処理内容は図３のＳＴＥＰ１１～１４の処理内容と同一であるので、説明は省略する。

　ＳＴＥＰ５１では、エリア特定部１０１は、ＳＴＥＰ１４による処理の結果としての投票空間５６における投票結果に基づいて投票空間５６上のエリアを絞り込む。投票空間５６において、極大値の投票数ｖｏｔｅ（ｖx，ψ）の内、閾値Ｗ１（Ｗ１＞１）に達しないものは、レーンマーク由来の投票ではなく、一時的なノイズ由来の投票と考えられる。

　そこで、極大値の投票数ｖｏｔｅ（ｖx，ψ）が閾値Ｗ１（Ｗ１＞１）に達しないものは、それを頂上として裾野状に広がる投票エリアとしての座標エリア、すなわち図１９（ａ）におけるエリアＢに含まれる全座標の投票数ｖｏｔｅ（ｖx，ψ）をクリアする（０にする）。なお、投票数ｖｏｔｅ（ｖx，ψ）をクリアする代わりに、投票数ｖｏｔｅ（ｖx，ψ）を適当量、減少させることもできる。

　また、極大値の投票数ｖｏｔｅ（ｖx，ψ）が閾値Ｗ１以上である座標エリア、すなわち図１９（ａ）におけるエリアＡについてはクリアすることなく、投票数ｖｏｔｅ（ｖx，ψ）をそのまま維持する。なお、Ｗ１は、典型的には、図３のＳＴＥＰ１４に関連して説明した閾値Ｖ１以下とするが、閾値Ｖ１より大きい値にしたり、運転状況（例：車速、天候、時間帯又は道路曲率）に応じて可変としたりすることもできる。

　ＳＴＥＰ５２では、データ退避部１０２は、エリア特定部１０１により処理後の投票空間５６のデータを所定のメモリに退避する。エリア特定部１０１により処理後の投票空間５６のデータとは、単一の線状要素抽出画像４０における検出直線のエリアＡのみの投票数ｖｏｔｅ（ｖx，ψ）のデータとなる。なお、１つの線状要素抽出画像４０は１つの線状要素抽出画像４０に相当する。該所定のメモリに投票数ｖｏｔｅ（ｖx，ψ）が退避される線状要素抽出画像４０の個数は所定数（例えば、前述のｎ）に制限し、退避線状要素抽出画像４０の個数がすでに所定数に達している場合には、最古の線状要素抽出画像４０のデータを最新の線状要素抽出画像４０のデータへ置き換えて、必要なメモリ容量の節約を図ることもできる。

　図１７のＳＴＥＰ１１～１４及び５１，５２の処理の結果、図１８の右側に図示されているように、時系列の投票空間Ｋ１～Ｋｎが生成される。なお、各線状要素抽出画像４０において定義されているレーン抽出エリア４５のｙ軸方向範囲は線状要素抽出画像４０に関係なく同一となっている。したがって、投票空間Ｋ１～Ｋｎのレーン抽出エリア４５のｙ軸寸法に対応付けられる実空間の車両前後方向長さは、車速が同一であれば、等しくなっている。

　投票重ね合わせ部１０３がＳＴＥＰ５３において実施する処理及び直線検出部１０４がＳＴＥＰ５４において実施する処理は、各線状要素抽出画像４０由来の投票空間５６についての個別処理ではなく、時系列のｎ個の線状要素抽出画像４０由来の投票空間Ｋ１～Ｋｎに対して設定された合計投票空間についての処理となる。

　ＳＴＥＰ５３では、投票重ね合わせ部１０３は、時系列の各線状要素抽出画像４０に対して定義した投票空間Ｋ１～Ｋｎを重ね合わせる。投票空間Ｋ１～Ｋｎを重ね合わせるとは、具体的には、後述の図１９（ｂ）で説明する合計投票空間を生成することである。

　各時系列における投票空間Ｋ１～Ｋｎの個数ｎは、典型的には、車両１０の走行状況に関係なく固定するが、車速や道路２９の曲率に応じて調整することもできる。線状要素抽出画像４０の時間間隔は一定であるので、個数ｎは、高車速時ほど減少させて、レーン境界線の認識の更新間隔を早めることができる。また、個数ｎは、曲率の変化が大きい道路２９を走行しているときほど、減少させて、道路２９の曲率の変化をもつレーン境界線を速やかに認識できるようにすることができる。

　図１９（ｂ）はＳＴＥＰ５３における投票重ね合わせ部１０３による処理の結果、生成される合計投票空間の具体例を示している。以下、合計投票空間のｖｏｔｅ（ｖx，ψ）を、個別のｖｏｔｅ（ｖx，ψ）と区別するために、ｔ－ｖｏｔｅ（ｖx，ψ）で示すことにする。なお、"ｔ"は、ｔｏｔａｌを意味するものとして使用した。

　ｔ－ｖｏｔｅ（ｖx，ψ）は、データ退避部１０２により又はＳＴＥＰ５２において所定のメモリに一時的に退避しておいた複数の線状要素抽出画像４０（時系列の投票空間）のｖｏｔｅ（ｖx，ψ）の合計である。すなわち、ｔ－ｖｏｔｅ（ｖx，ψ）は、図１９（ａ）のノイズエリアＢのｖｏｔｅ（ｖx，ψ）を除外しエリアＡのｖｏｔｅ（ｖx，ψ）に絞り込む処理をした各投票空間５６のｖｏｔｅ（ｖx，ψ）に対し、時系列の投票空間Ｋ１～Ｋｎにおけるｖｏｔｅ（ｖx，ψ）を合計した値となっている。

　ここで、注意すべきは、投票空間Ｋ１～Ｋｎに対応付けられる実空間は、同一の範囲となっておらず、車両１０の走行に伴い、車両走行方向へ車速に応じて少しずつ車両前方の範囲へ変化していくことである。したがって、投票空間Ｋ１～Ｋｎにおける座標（ｖx，ψ）に対応付けられる実空間の位置及び方向は投票空間Ｋ１～Ｋｎ間においてずれる。

　同様に、道路２９が曲線道路である場合には、投票空間Ｋ１～Ｋｎに対応付けられる実空間は、車両１０に対する相対領域では同一となるが、時間的に最先の投票空間Ｋ１を基準にして、投票空間Ｋ１が由来する撮像画像３０のｘ軸方向及びｙ軸方向に対して少しずつずれていく。

　時系列において最古の投票空間Ｋ１と最新の投票空間Ｋｎとが由来している撮像画像３０の撮像時刻の差が小さい場合には、投票空間Ｋ１～Ｋｎの同一の座標（ｖx，ψ）に対応付けられる実空間の位置及び方向のずれは小さいので、投票空間Ｋ１～Ｋｎにおいて同一の座標（ｖx，ψ）同士のｖｏｔｅ（ｖx，ψ）を単純に合計して、合計投票空間のｔ－ｖｏｔｅ（ｖx，ψ）とすればよい。

　時系列において最古の投票空間Ｋ１と最新の投票空間Ｋｎとが由来している撮像画像３０の撮像時刻の差が大きい場合には、投票空間Ｋ１～Ｋｎ間の同一の座標（ｖx，ψ）同士に対応付けられる実空間の位置のずれが無視できなくなる。これに対処するため、投票空間Ｋ１～Ｋｎの中の１つ（例：Ｋ１、Ｋｎ又は真ん中の投票空間）を基準投票空間に設定するとともに、該基準投票空間が由来する線状要素抽出画像４０のｘｙ座標を基準座標に設定する。

　そして、時系列における基準投票空間以外の投票空間が由来する線状要素抽出画像４０のｘｙ座標を基準投票空間の基準座標に変換し、時系列のｎ個の投票空間間において、同一座標が実空間の同一位置に対応付けられるようにする。その後、基準投票空間のｘｙ座標に変換後のｘｙ座標として（ｖx，ψ）を算出し、各投票空間の（ｖx，ψ）に投票して、合計投票空間のｔ－ｖｏｔｅ（ｖx，ψ）を得る。なお、線状要素抽出画像４０のｘｙ座標を基準投票空間の基準座標に変換するときの変換式には、車両１０の車速や旋回角速度が計算因子とされる。

　ＳＴＥＰ５４では、直線検出部１０４が合計投票空間の投票結果に基づいて検出直線を検出する。認識部２６は、直線検出部１０４が検出した検出直線に基づいてレーン境界線の認識する。直線検出部１０４による検出直線の具体的な検出の仕方について次に説明する。

　合計投票空間では、ノイズに係る直線のｔ－ｖｏｔｅ（ｖx，ψ）とレーンマークに対応する直線のｔ－ｖｏｔｅ（ｖx，ψ）との差が、より顕著になる。なぜならば、一般に、レーンマーク由来の投票は、時系列の撮像画像３０に連続して出現する傾向があるのに対し、ノイズ由来の投票は、時系列の撮像画像３０に断続的又は１回限りで出現する傾向があるからである。直線検出部１０４は、合計投票空間において、閾値Ｗ２（Ｗ２＞Ｗ１）を設定し、ｔ－ｖｏｔｅ（ｖx，ψ）が閾値Ｗ２以上でかつ極大値になっている座標（ｖx，ψ）に対し、そのｖx，ψにそれぞれ対応付けられるｘ交点及び傾斜角度θとする直線を検出直線として検出する。

　なお、時系列の投票空間において前述の基準投票空間を定めた場合には、検出直線を検出する基にした（ｖx，ψ）は基準投票空間の基準座標で表わされていることになる。

　単一の線状要素抽出画像４０に対する１つの投票空間５６におけるｖｏｔｅ（ｖx，ψ）の場合と同様に、ｔ－ｖｏｔｅ（ｖx，ψ）に対しても、合計投票空間において極大値が上位所定数内に含まれている極大値のｔ－ｖｏｔｅ（ｖx，ψ）の座標に限定して、限定した座標に対応付けられる直線のみを検出直線とすることもできる。

　直線検出部１０４はさらに次の処理を行うことができる。時系列において時間的に前後する前の線状要素抽出画像４０及び後ろの線状要素抽出画像４０を定義する。なお、前の線状要素抽出画像４０及び後ろの線状要素抽出画像４０は、時系列上の隣同士の線状要素抽出画像４０でなくてもよい。前の線状要素抽出画像４０に対応する投票空間５６において投票数が極大となっている前座標（ｖx，ψ）と、時間上の後ろの線状要素抽出画像４０に対応する投票空間５６において投票数が極大となっている後ろ座標（ｖx，ψ）との投票空間５６上の距離Ｌ（該距離Ｌの代わりに、該距離Ｌの実空間換算の距離を使用してもよい。）を算出し、距離Ｌが閾値Ｌ１以上であるときは、前の線状要素抽出画像４０の投票空間５６における前座標（ｖx，ψ）の投票数ｖｏｔｅ（ｖx，ψ）をクリアする。

　この結果、合計投票空間において、前座標（ｖx，ψ）に相当する座標の投票数は大幅に減少する。前述したように、ノイズ由来の投票は、時系列の撮像画像３０に断続的又は１回限りで出現する傾向がある。したがって、たとえ、１つの線状要素抽出画像４０に由来する投票空間５６における投票数がＷ１以上である極大値の前座標があっても、その投票がノイズ由来のものである場合には、時間的にそれより後ろの線状要素抽出画像４０に由来する投票空間５６において、後ろ座標から所定距離内に、投票数がＷ１以上であると極大値の座標が出現しない傾向が強い。したがって、そのような場合には、前の線状要素抽出画像４０の前座標（ｖx，ψ）の投票数は、合計投票空間における合計から除外することにより、ノイズ由来の検出直線が検出されてしまうことを抑制することができる。

　以上、本発明を実施の形態について説明したが、本発明は、その要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。

　なお、「投票空間」を使用しているが、これはあくまで処理上の名前であり、すなわち、レーン抽出エリアの複数の局所直線に対し、その特徴（実施例では、ｖx，ψ）を同じくする各局所直線の個数を集計する処理に使用する場所名として使用していることは当業者が明確に理解するとおりである。したがって、処理内容を同一とするものであれば、別名であっても、本発明の要旨の範囲内である。

　本発明のレーン認識装置は、自動車に装備され、自動車が走行している道路やレーンの位置を検出する。また、本発明のレーン認識装置に従い検出した道路やレーンに基づいて、道路上の所定対象物との衝突回避や自動走行等の様々な制御に使用することができる。

１０・・・車両、１１・・・カメラ（撮像装置）、２０，６５，１００・・・レーン認識装置、２１・・・画像メモリ、２２・・・線状要素抽出画像処理部、２３・・・分解能決定部、２４・・・投票処理部、２５，１０４・・・直線検出部、２６・・・認識部、２９・・・道路、３０・・・撮像画像、３１・・・中央レーンマーク、３２・・・左レーンマーク、３３・・・右レーンマーク、４０・・・線状要素抽出画像、４１，４２・・・線状要素、４４・・・局所直線、４５・・・レーン抽出エリア、４６・・・基準水平線、４７・・・局所領域、５６・・・投票空間、６６・・・中間抽出画像生成部、６７・・・線分置換部、７０・・・射影変換画像、７６・・・左検出直線、７７，８０・・・レーン境界線、７９・・・右検出直線、１０１・・・エリア特定部、１０２・・・データ退避部、１０３・・・投票重ね合わせ部。

Claims (14)

1. 　撮像装置による車両前方の撮像画像に基いてレーンを認識するレーン認識装置であって、
   　前記撮像画像に含まれる線状要素を抽出した線状要素抽出画像を生成する線状要素抽出画像生成部と、
   　前記線状要素抽出画像において垂直方向所定範囲のレーン抽出エリアを設定するエリア設定部と、
   　前記レーン抽出エリア内の各局所領域に対し各局所領域内の線状要素部分に基づいて各局所領域の局所直線を決定する局所直線決定部と、
   　各局所直線と垂直方向所定位置の基準水平線との交点を算出する交点算出部と、
   　方向及び交点を座標成分とする投票空間において、各局所直線の方向と交点とを投票する投票部と、
   　前記投票空間における投票結果に基いて検出直線を検出する検出部と、
   　前記検出直線に基いてレーン境界線を認識する認識部と
   を備えることを特徴とするレーン認識装置。
2. 　請求項１記載のレーン認識装置において、
   　前記エリア設定部は、前記線状要素抽出画像を垂直方向に複数のレーン抽出エリアに分割し、
   　前記投票部は、各レーン抽出エリアに対応付けられている各投票空間に対し、当該投票空間に対応するレーン抽出エリアの各局所直線に基いて投票し、
   　前記検出部は、各投票空間の投票結果に基いて各レーン抽出エリアごとの検出直線を検出し、
   　前記認識部は、各レーン抽出エリアの検出直線のつなぎ合わせに基いて線状要素抽出画像内のレーン境界線を認識することを特徴とするレーン認識装置。
3. 　請求項２記載のレーン認識装置において、
   　前記エリア設定部は、垂直方向の上側のレーン抽出エリアほど、その垂直方向寸法が小さくなるように、前記線状要素抽出画像を垂直方向に複数のレーン抽出エリアに分割することを特徴とするレーン認識装置。
4. 　請求項２記載のレーン認識装置において、
   　前記局所直線決定部は、所定範囲の方向を第１所定数の方向区分に分割して、各局所直線の方向を、該当するいずれかの方向区分に割り当てて決定し、
   　前記交点算出部は、前記基準水平線を第２所定数の位置区分に分割して、各局所直線と前記基準水平線との交点を、該当する位置区分としての交点区分に割り当てて決定し、
   　前記投票部は、前記投票空間に定義する方向及び交点の座標成分を、前記方向区分及び交点区分に一致させることを特徴とするレーン認識装置。
5. 　請求項４記載のレーン認識装置において、
   　前記第１所定数又は前記第２所定数は、上側のレーン抽出エリアでは、下側のレーン抽出エリアよりも小さく設定されていることを特徴とするレーン認識装置。
6. 　請求項４記載のレーン認識装置において、
   　前記第１所定数又は前記第２所定数は、同一のレーン抽出エリア内で、上側の局所領域では下側の局所領域よりも小さく設定されていることを特徴とするレーン認識装置。
7. 　請求項１記載のレーン認識装置において、
   　前記検出部は、前記投票空間において投票数が極大である座標に対応付けられる方向及び交点をもつ直線を検出直線として検出することを特徴とするレーン認識装置。
8. 　請求項１記載のレーン認識装置において、
   　前記撮像画像の水平方向は実空間における車両の左右方向に相当し、
   　前記認識部は、時系列の線状要素抽出画像に基いて検出直線が前記線状要素抽出画像上で水平方向へ閾値以上の速度で変化していると判断したときは、レーン境界線がカーブしていると認識することを特徴とするレーン認識装置。
9. 　請求項１記載のレーン認識装置において、
   　前記線状要素抽出画像生成部は、
   　前記撮像画像に含まれる線状要素を抽出した第１中間抽出画像を生成する中間抽出画像生成部と、
   　該第１中間抽出画像に含まれる各線状要素を、その水平方向幅又は傾斜角度の垂直方向における変化に基づいて１つ又は複数の線分に置換することにより、前記第１中間抽出画像から前記線状要素抽出画像を生成する線分置換部とを備えることを特徴とするレーン認識装置。
10. 　請求項９記載のレーン認識装置において、
    　前記中間抽出画像生成部は、前記撮像画像に含まれる線状要素を、前記撮像画像における位置と同一位置に保持しつつ前記撮像画像から抽出した第２中間抽出画像を生成し、該第２中間抽出画像を上方視の画像に射影変換して前記第１中間抽出画像を生成することを特徴とするレーン認識装置。
11. 　請求項１記載のレーン認識装置において、
    　前記投票部は、時系列の撮像画像に対応付けて生成された時系列の前記線状要素抽出画像に対して設定された時系列のレーン抽出エリアごとに前記投票空間を設定して、時系列の各投票空間ごとに、当該投票空間が設定されたレーン抽出エリアにおける各局所領域の局所直線の方向と交点とを投票し、
    　前記検出部は、時系列の投票空間の投票結果に基づいて検出直線を検出することを特徴とするレーン認識装置。
12. 　請求項１１記載のレーン認識装置において、
    　前記検出部は、各座標の投票数が、時系列の各投票空間における対応座標の投票数を合計した合計値となる合計投票空間を作成し、合計投票空間において投票数が極大となっている座標に基づいて前記検出直線を検出することを特徴とするレーン認識装置。
13. 　請求項１２記載のレーン認識装置において、
    　前記検出部は、各投票空間において投票数が閾値未満である座標については該投票数を減少させてから、時系列の各投票空間の各座標の投票数を合計することを特徴とするレーン認識装置。
14. 　請求項１２記載のレーン認識装置において、
    　前記検出部は、時系列上の別時刻の第１及び第２投票空間の投票結果を対比し、第１投票空間において投票数が極大となっている座標から所定の距離範囲内の座標が第２投票空間では投票数が極大になっていないときは、第１投票空間における該座標の投票数は合計投票空間における合計から除外することを特徴とするレーン認識装置。

Images