JP6449627B2 - 走行区画線認識装置 - Google Patents

Description

本発明は、車両の走行支援等のために、車線を区画する走行区画線を認識する走行区画線認識装置に関する。

従来、車両の走行支援を行うために、道路の車線を区画する走行区画線を認識する走行区画線認識装置が提案されている。このような装置として、特許文献１に記載の装置のように、遠方の走行区画線まで認識するため、車両近傍の領域と車両遠方の領域とで、異なる認識モデルを用いて走行区画線を認識するものがある。

特開２０１３−１９６３４１号公報

遠方の走行区画線まで認識しようとすると遠距離認識モデルを用いる必要があるが、道路の状況によっては、遠距離認識モデルを用いると走行区画線の認識が不安定になるおそれがある。例えば、渋滞中で車両から遠方の走行区画線が見えない場合に遠距離認識モデルを用いると、走行区画線の認識が不安定になるおそれがある。

本発明は、上記実情に鑑み、車両の様々な状況においてロバスト性の高い走行区画線の認識を実現可能な走行区画線認識装置を提供することを主たる目的とする。

請求項１に記載の発明は、上記課題を解決するため、車載カメラにより撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置であって、前記認識モデルは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つを含み、前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合して、前記区画線を認識する認識手段を備える。

請求項１に記載の発明によれば、車線の区画線を認識するために、１次モデル、２次モデル及び３次モデルのうちの少なくとも２つの認識モデルが用いられる。そして、車両の状況に応じて複数の認識モデルによる認識結果が統合され、区画線が認識される。よって、車両の様々な状況において、ロバスト性の高い区画線の認識を実現できる。

また、請求項２に記載の発明は、車載カメラにより撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置であって、前記認識モデルは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つを含み、前記車両の状況に応じて用いる前記認識モデルを切替えて、前記区画線を認識する認識手段を備える。

請求項２に記載の発明によれば、車線の区画線を認識するために、１次モデル、２次モデル及び３次モデルのうちの少なくとも２つの認識モデルが用いられる。そして、車両の状況に応じて用いられる認識モデルが切替えられる。よって、車両の様々な状況において、ロバスト性の高い区画線の認識を実現できる。

また、請求項３に記載の発明は、車載カメラにより撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置であって、前記認識モデルは、近距離に特化した近距離モデル、中距離に特化した中距離モデル、及び遠距離に特化した遠距離モデルのうちの少なくとも２つを含み、前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合して、前記区画線を認識する認識手段を備える。

請求項３に記載の発明によれば、請求項１に記載の発明と同様の効果を奏する。

また、請求項４に記載の発明は、車載カメラにより撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置であって、前記認識モデルは、近距離に特化した近距離モデル、中距離に特化した中距離モデル、及び遠距離に特化した遠距離モデルのうちの少なくとも２つを含み、前記車両の状況に応じて用いる前記認識モデルを切替えて、前記区画線を認識する認識手段を備える。

請求項４に記載の発明によれば、請求項２に記載の発明と同様の効果を奏する。

第１実施形態に係る走行区画線認識装置の概略構成を示すブロック図。 第１実施形態に係る白線認識の処理手順を示すフローチャート。 近傍白線認識の処理手順を示すフローチャート。 中距離白線認識の処理手順を示すフローチャート。 遠方白線認識の処理手順を示すフローチャート。 第２実施形態に係る走行区画線認識装置の概略構成を示すブロック図。 第２実施形態に係る白線認識の処理手順を示すフローチャート。

以下、走行区画線認識装置を具現化した各実施形態について、図面を参照しつつ説明する。各実施形態に係る走行区画線認識装置により認識された走行区画線は、レーンキーピングアシスト制御（ＬＫＡ制御）やレーン逸脱警報等の走行支援に用いられる。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。

（第１実施形態）
まず、第１実施形態に係る走行区画線認識装置２０について、図１を参照して説明する。走行区画線認識装置２０は、車載カメラ１０により撮影された画像、及び車両状況取得装置１１により取得された情報に基づいて、道路の車線を区画する白線（区画線）を認識する。なお、ここでは、車線を区画する黄色線も含めて白線という。

車載カメラ１０は、ＣＣＤカメラやＣＭＯＳカメラ等であり、車両の前側の車幅中央、例えばルームミラー中央に取り付けられており、車両前方の道路を撮影する。

車両状況取得装置１１は、車両の状況を表す情報を取得する各種装置である。車両の状況は、車両周辺の状況及び車両の挙動を含み、例えば、車両周辺の立体物情報、道路の路面環境、道路の属性、道路の路面ペイントの色情報、道路の勾配の変化量、分岐路情報、車速、ピッチ角やロール角等の走行状態が挙げられる。

車両状況取得装置１１は、具体的には、ステレオカメラ、周辺カメラ、ミリ波レーダ、レーザレーダ、超音波センサ、温度センサ、レインセンサ、車速センサ、ヨーレートセンサ、角度センサ、ＧＰＳ受信機、地図記憶装置、車車間通信装置、路車間通信装置等の各種装置である。

ステレオカメラ及び周辺カメラは、撮影した画像から車両周辺の他車両や歩行者、路側物である立体物を検出する。さらにステレオカメラは、道路の勾配やカーブ等の道路の形状を検出する。ミリ波レーダ、レーザレーダ及び超音波センサは、車両周辺の他車両や歩行者、路側物である立体物を検出する。温度センサは、外気温を検出する。レインセンサは、降雨量を検出する。

車速センサは、車輪速度すなわち車両の速度を検出する。ヨーレートセンサは、車両のヨーレートを検出する。角度センサは、車両のピッチ角及びロール角を検出する。ＧＰＳ受信機は、ＧＰＳ衛星から送信された信号に基づいて、車両の現在位置及び現在時刻の情報を取得する。車車間通信装置は、車車間通信装置を備えた他車両から、他車両の位置や速度の情報を受信する。路車間通信装置は、路側機から、ガードレール等の路側物（立体物）の位置情報、他車両や歩行車等の立体物の位置情報、道路の形状及び属性を受信する。

走行区画線認識装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えた周知のマイクロコンピュータである。ＣＰＵがＲＯＭに記憶されている各種プログラムを実行することにより、認識部３０の機能を実現する。

認識部３０（認識手段）は、認識モデルを用いて道路の白線を認識する。認識モデルは、近距離モデル、中距離モデル及び遠距離モデルを含む。また、認識部３０は、近距離認識部３１、中距離認識部３２、遠距離認識部３３、認識統合部３４を含む。さらに、認識部３０は、認識距離検出部４１、周辺監視部４２、道路情報取得部４３、ペイント色取得部４４、勾配検出部４５、分岐路判定部４６、車速検出部４７、走行状態検出部４８、安定性検出部４９、統合比率算出部５０を含む。

近距離認識部３１は、車載カメラ１０により撮影された画像に基づき、近距離モデルを用いて車両近傍の白線を認識する。すなわち、近距離認識部３１は、近距離モデルを用いて白線パラメータを推定する。近距離モデルとしては、例えば、直線を考慮した１次モデル、近距離に特化した近距離モデルが挙げられる。近距離に特化した近距離モデルは、１次モデルをベースとして他のモデルを加味したモデルであり、例えば、１次モデルをベースとして２次モデルを加味したモデルや、１次モデルをベースとして３次モデルを加味したモデルである。

中距離認識部３２は、車載カメラ１０により撮影された画像に基づき、中距離モデルを用いて車両近傍から車両遠方の間の中距離の白線を認識する。すなわち、中距離認識部３２は、中距離モデルを用いて白線パラメータを推定する。中距離モデルとしては、例えば、定常カーブを考慮した２次モデル、中距離に特化した中距離モデルが挙げられる。中距離に特化した中距離モデルは、２次モデルをベースとして他のモデルを加味したモデルであり、例えば、２次モデルをベースとして３次モデルを加味したモデルや、２次モデルをベースとして１次モデルを加味したモデルである。

遠距離認識部３３は、車載カメラ１０により撮影された画像に基づき、遠距離モデルを用いて車両遠方の白線を認識する。すなわち、遠距離認識部３３は、遠距離モデルを用いて白線パラメータを推定する。遠距離モデルとしては、例えば、クロソイドカーブを考慮した３次元モデル、遠距離に特化した遠距離モデルが挙げられる。遠距離に特化した遠距離モデルは、３次モデルをベースとして他のモデルを加味したモデルであり、例えば、３次モデルをベースとして２次モデルを加味したモデルや、３次モデルをベースとして１次モデルを加味したモデルである。

認識統合部３４は、近距離認識部３１、中距離認識部３２及び遠距離認識部３３のそれぞれによる認識結果を、後述する統合比率算出部５０により算出された統合比率で統合して、白線を認識する。

認識距離検出部４１（認識距離検出手段）は、白線を認識している距離である認識距離を検出する。詳しくは、認識距離検出部４１は、近距離認識部３１、中距離認識部３２、及び遠距離認識部３３により認識された白線に含まれるエッジ点のうち、車両から最も遠方のエッジ点までの距離を認識距離として検出する。

周辺監視部４２（立体物情報取得手段）は、車両状況取得装置１１の各種装置により取得された情報に基づいて、車両周辺の立体物情報を取得する。立体物情報は、車両から立体物までの距離、立体物の横方向（車幅方向）位置、車両に対する立体物の相対速度である。

道路情報取得部４３（道路情報取得手段）は、車両状況取得装置１１の各種装置により取得された情報に基づいて、道路の路面環境又は道路の属性を取得する。道路の路面環境は、雨で濡れた路面、路面に雪が積もった雪道、砂利道、夜間、白線がかすれている等である。道路の属性は、高速道路、一般道である市街地道路やバイパス道路、山道等である。

ペイント色取得部４４（色取得手段）は、車載カメラ１０により撮影された画像に基づいて、路面ペイントの色情報を取得する。具体的には、路面の区画線の色が白色、黄色、青色、橙色のいずれかを取得する。

勾配検出部４５（勾配検出手段）は、車両状況取得装置１１の各種装置により取得された情報に基づいて、道路の勾配の変化量を検出する。分岐路判定部４６（分岐路判定手段）は、車両状況取得装置１１の各種装置により取得された情報に基づいて、車線が分岐路か否か判定する。

車速検出部４７（車速検出手段）は、車速センサの検出値に基づいて、車両の速度を検出する。走行状態検出部４８（走行状態検出手段）は、車両状況取得装置１１の各種装置により取得された情報に基づいて、車両の走行状態を検出する。詳しくは、走行状態検出部４８は、角度センサの検出値に基づいて、車両のピッチ角及びロール角を検出する。また、走行状態検出部４８は、例えば車速センサにより検出された車輪速度から駆動輪の加速度を検出し、この加速度と基準加速度とを比較して、車両のスリップを検出する。

安定性検出部４９（安定性検出手段）は、近距離モデル、中距離モデル及び遠距離モデルのそれぞれについて、白線認識の安定性を検出する。詳しくは、安定性検出部４９は、近距離認識部３１、中距離認識部３２及び遠距離認識部３３のそれぞれによる過去の認識結果の変動に応じて、それぞれの白線認識の安定性を検出する。安定性検出部４９は、過去に推定した白線パラメータの変動が比較的小さい場合は白線認識の安定性を比較的高く算出し、白線パラメータの変動が比較的大きい場合は白線認識の安定性を比較的低く算出する。

統合比率算出部５０は、車両の状況に応じて、近距離認識部３１、中距離認識部３２及び遠距離認識部３３のそれぞれによる認識結果の統合比率を算出する。すなわち、統合比率算出部５０は、認識距離、立体物情報、道路の路面環境又は属性、路面ペイントの色、道路の勾配の変化量、分岐路判定結果、車速、走行状態、及び各認識モデルの安定性に応じて、統合比率を算出する。以下、統合比率の算出手法について説明する。

認識距離が短いほど、白線が遠くまで見えにくいため、統合比率算出部５０は、認識距離が短いほど、高次モデルよりも低次モデルの使用率が高くなるように統合比率を算出する。また、車両周辺に立体物が多いほど、白線が遠くまで見えにくいため、統合比率算出部５０は、車両周辺に立体物が多いほど、高次モデルよりも低次モデルの使用率が高くなるように統合比率を算出する。

路面が濡れていると、光が路面に反射して遠方が見えにくいため、統合比率算出部５０は、路面が濡れている場合には、高次モデルよりも低次モデルの使用率が高くなるように統合比率を算出する。また、雪道や砂利道は、白線が遠くまで見えにくいため、統合比率算出部５０は、路面が雪道や砂利道の場合には、高次モデルよりも低次モデルの使用率が高くなるように統合比率を算出する。また、夜間ではヘッドライトで遠方が見えにくいため、統合比率算出部５０は、夜間の場合には、高次モデルよりも低次モデルの使用率が高くなるように統合比率を算出する。

また、一般道は、高速道路よりも障害物が多く白線が遠くまで見えにくいため、統合比率算出部５０は、道路が一般道の場合は、道路が高速道路の場合よりも、低次モデルの使用率が高くなるように統合比率を算出する。また、山道ではカーブが多いため、統合比率算出部５０は、道路が山道の場合は、低次モデルよりも高次モデルの使用率が高くなるように統合比率を算出する。

道路の路面ペイントが黄色、すなわち区画線が黄色の場合、前方に工事区間があることを示していることがある（例えばドイツ）。工事区間では障害物が多いので、統合比率算出部５０は、道路の路面ペイントが黄色の場合には、高次モデルよりも低次モデルの使用率が高くなるように統合比率を算出する。

坂道への進入部分のように道路の勾配の変化量が所定量よりも大きい場所では、遠方の白線を誤認識しやすい。よって、統合比率算出部５０は、道路の勾配の変化量が所定量よりも大きい場合には、高次モデルよりも低次モデルの使用率が高くなるように統合比率を算出する。

車線が前方で分岐している分岐路の場合、安定して白線を認識するためには、分岐部分よりも遠方の白線を認識する必要がある。よって、統合比率算出部５０は、車線が分岐路と判定された場合には、低次モデルよりも高次モデルの使用率が高くなるように統合比率を算出する。

車速が低い場合は渋滞している可能性が高く、遠くまで白線が見えにくい可能性が高い。また、車速が高い場合は、遠くまで白線が見えやすい可能性が高い。よって、統合比率算出部５０は、車速が低いほど高次モデルよりも低次モデルの使用率が高くなるように統合比率を算出し、車速が高いほど低次モデルよりも高次モデルの使用率が高くなるように統合比率を算出する。

車両が所定角度よりも大きくピッチング又はローリングしていたり、車両がスリップしていたりして、不安定な走行状態の場合には、遠方の白線を誤認識しやすい。よって、統合比率算出部５０は、車両のピッチ角又はロール角が所定角度よりも大きい場合に、高次モデルよりも低次モデルの使用率が高くなるように統合比率を算出する。また、統合比率算出部５０は、車両がスリップしている場合に、高次モデルよりも低次モデルの使用率が高くなるように統合比率を算出する。

また、安定性が高いモデルを優先して用いると、白線認識の安定性が向上する。よって、統合比率算出部５０は、安定性が高い認識モデルほど使用比率が高くなるように統合比率を算出する。

統合比率算出部５０は、各車両の状況に応じて、それぞれ統合比率を算出し、算出した各統合比率を統合して、認識結果の統合に用いる統合比率を算出する。

次に、白線を認識する処理手順について、図２のフローチャートを参照して説明する。本処理手順は、車載カメラ１０により画像が撮影された都度、走行区画線認識装置２０が実行する。

まず、車載カメラ１０により撮影された画像に基づき、近距離モデルを用いて車両の近傍白線を認識する（Ｓ１０）。近距離モデルによる白線認識の詳細については後述する。

続いて、車載カメラ１０により撮影された画像に基づき、中距離モデルを用いて車両から中距離の白線を認識する（Ｓ２０）。中距離モデルによる白線認識の詳細については後述する。

続いて、車載カメラ１０により撮影された画像に基づき、遠距離モデルを用いて車両から遠距離の白線を認識する（Ｓ３０）。遠距離モデルによる白線認識の詳細については後述する。

ここで、Ｓ１０〜Ｓ３０の処理の順番は、上記順番に限らない。以下に示すパターン１〜７のいずれかのパターンで処理を行えばよい。

（パターン１）
Ｓ１０、Ｓ２０、Ｓ３０の順に処理を行う。Ｓ２０の認識処理は、Ｓ１０における認識結果を用いて行う。また、Ｓ３０の認識処理は、Ｓ１０における認識結果及びＳ２０における認識結果の両方、もしくは、Ｓ１０における認識結果及びＳ２０における認識結果のいずれかを用いて行う。

（パターン２）
Ｓ１０、Ｓ３０、Ｓ２０の順に処理を行う。パターン１と同様に、Ｓ３０の認識処理は、Ｓ１０における認識結果を用いて行う。また、Ｓ２０の認識処理は、Ｓ１０における認識結果及びＳ３０における認識結果の両方、もしくは、Ｓ１０における認識結果及びＳ３０における認識結果のいずれかを用いて行う。

（パターン３）
Ｓ２０、Ｓ１０、Ｓ３０の順で処理を行う。パターン１，２と同様に、Ｓ１０の認識処理は、Ｓ２０における認識結果を用いて行う。また、Ｓ３０の認識処理は、Ｓ１０における認識結果及びＳ２０における認識結果の両方、もしくは、Ｓ１０における認識結果及びＳ２０における認識結果のいずれかを用いて行う。

（パターン４）
Ｓ２０、Ｓ３０、Ｓ１０の順で処理を行う。パターン１〜３と同様に、Ｓ３０の認識処理は、Ｓ２０における認識結果を用いて行う。また、Ｓ１０の認識処理は、Ｓ２０における認識結果及びＳ３０における認識結果の両方、もしくは、Ｓ２０における認識結果及びＳ３０における認識結果のいずれかを用いて行う。

（パターン５）
Ｓ３０、Ｓ１０、Ｓ２０の順で処理を行う。パターン１〜４と同様に、Ｓ１０の認識処理は、Ｓ３０における認識結果を用いて行う。また、Ｓ２０の認識処理は、Ｓ１０における認識結果及びＳ３０における認識結果の両方、もしくは、Ｓ１０における認識結果及びＳ３０における認識結果のいずれかを用いて行う。

（パターン６）
Ｓ３０、Ｓ２０、Ｓ１０の順で処理を行う。パターン１〜５と同様に、Ｓ２０の認識処理は、Ｓ３０における認識結果を用いて行う。また、Ｓ１０の認識処理は、Ｓ２０における認識結果及びＳ３０における認識結果の両方、もしくは、Ｓ２０における認識結果及びＳ３０における認識結果のいずれかを用いて行う。

（パターン７）
パターン１〜６では、各認識モデルによる認識処理に依存関係があったが、パターン７では、各認識モデルによる認識処理を独立して行う。すなわち、Ｓ１０〜Ｓ３０の処理を独立して行う。この場合、Ｓ１０〜Ｓ３０の認識処理の順番はどのように行ってもよい。

続いて、各車両の状況、すなわち、認識距離、立体物情報、道路の路面環境又は属性、路面ペイントの色、道路の勾配の変化量、分岐路判定結果、車速、走行状態、及び各認識モデルの安定性を取得する（Ｓ４０）。

続いて、Ｓ４０で取得した各車両の状況に基づいて統合比率を算出し、算出した統合比率に変更する（Ｓ５０）。続いて、Ｓ１０、Ｓ２０及びＳ３０のそれぞれにおける認識結果を、Ｓ５０で変更した統合比率で統合し、統合した認識結果により白線を認識する（Ｓ６０）。すなわち、Ｓ１０、Ｓ２０及びＳ３０のそれぞれで推定した白線パラメータを、Ｓ５０で切り替えた統合比率で統合する。以上で本処理を終了する。

次に、各認識モデルにより白線を認識する処理手順についてそれぞれ説明する。ここでは、一例としてパターン１の場合について説明する。まず、近距離モデルにより白線を認識する処理手順について、図３のフローチャートを参照して説明する。

まず、車載カメラ１０の撮影画像の近傍領域において、近傍エッジ点を抽出する（Ｓ１１）。次に、Ｓ１１で抽出したエッジ点をハフ変換して直線を検出し（Ｓ１２）、検出した直線の中から白線候補の直線を算出する（Ｓ１３）。具体的には、検出した直線の中からハフ変換の投票数が多いものを白線候補とする。

続いて、白線候補の絞り込みを行う（Ｓ１４）。具体的には、例えば撮影画像における白背候補の周囲の路面に対するコンストラストの比率が所定の閾値よりも高いものや、白線候補部分の輝度とその周囲の輝度との差が所定の閾値よりも大きいものに白線候補を限定する。他にも、線の太さ、車線幅等の様々な白線らしさを示す特徴を考慮して、白線候補を絞り込んでもよい。そして、車両の中心から左右方向に最も近い白線候補を選択する。

続いて、Ｓ１４で絞り込んだ白線候補を構成するエッジ点を、鳥瞰座標に変換する（Ｓ１５）。鳥瞰座標とは、路面を平面と仮定したときの座標である。

続いて、Ｓ１５で変換した鳥瞰座標のエッジ点から、周知の手法により近傍白線パラメータを推定する（Ｓ１６）。詳しくは、Ｓ１５で変換した鳥瞰座標のエッジ点、過去に抽出したエッジ点、及び車両のヨーレートを用いて、近傍白線パラメータは、車線位置、車線傾き、車線曲率、車線幅である。以上で本処理を終了する。

次に、中距離モデルにより白線を認識する処理手順について、図４のフローチャートを参照して説明する。ここでは、中距離モデルとして２次モデルを想定している。

まず、車載カメラ１０の撮影画像の中距離領域において、中距離エッジ点を抽出する（Ｓ２１）。続いて、Ｓ２１で抽出したエッジ点を、近傍の白線認識処理で推定した近傍白線パラメータを用いて、ノイズである可能性が低い領域に存在するエッジ点に絞り込む（Ｓ２２）。具体的には、近傍白線パラメータに含まれる車線位置、車線幅から白線が存在すると予想される位置を限定し、限定した位置に対応するエッジ点を選択する。他にも、様々な白線らしさを示す特徴を考慮して絞り込んでもよい。

続いて、Ｓ２２で絞り込んだエッジ点を２次式で近似し、中距離白線パラメータを推定する（Ｓ２３）。以上で本処理を終了する。

次に、遠距離モデルにより白線を認識する処理手順について、図５のフローチャートを参照して説明する。ここでは、遠距離モデルとして３次モデルを想定している。

まず、車載カメラ１０の撮影画像の遠方領域において、遠方エッジ点を抽出する（Ｓ３１）。続いて、Ｓ３１で抽出したエッジ点を、図４のフローチャートのＳ２２の処理と同様に、中距離の白線認識処理で推定した中距離白線パラメータを用いて絞り込む（Ｓ３２）。

続いて、Ｓ３２で絞り込んだエッジ点を３次式で近似し、遠距離白線パラメータを推定する。以上で本処理を終了する。

以上説明した第１実施形態によれば、以下の効果を奏する。

・車両の状況に応じて複数の認識モデルによる認識結果が統合されて白線が認識されるため、車両の様々な状況において、ロバスト性の高い白線の認識を実現できる。

・車両の状況に応じて、複数の認識モデルによる認識結果の統合比率が切り替えられるため、ロバスト性の高い白線の認識を実現できる。

・認識距離が短いほど、遠方まで白線が認識できないため、低次モデルの使用が適する。よって、車両の状況として認識距離を用いることにより、安定して白線を認識できる。

・車速が低いほど、渋滞に近い状態であり、低次モデルの使用が適する。一方、車速が高いほど、遠方まで白線が見える状態であるため、高次モデルの使用が適する。よって、車両の状況として車速を用いることにより、安定して白線を認識できる。

・車両周辺の立体物が多いほど、遠方まで白線が認識できないため、低次モデルの使用が適する。よって、車両の状況として車両周辺の立体物情報を用いることにより、安定して白線を認識できる。

・濡れた路面、雪道や砂利道等の白線が認識しにくい路面環境では、低次モデルの使用が適する。また、高速道路と比較して一般道路は障害物が多く、遠方まで白線が認識できないため、低次モデルの使用が適する。また、山道はカーブが多く、高次モデルの使用が適する。よって、車両の状況として路面環境又は道路属性の道路情報を用いることにより、安定して白線を認識できる。

・車線が分岐路の場合、安定して白線を認識するためには、分岐部分よりも遠方の白線を認識する必要がある。そして、分岐部分よりも遠方の白線を認識するには、高次モデルの使用が適する。よって、車両の状況として分岐路判定の結果を用いることにより、安定して白線を認識できる。

・道路の路面ペイントが黄色の場合、前方に工事区間があることを示していることがある。工事区間では、障害物が多いので、低次モデルの使用が適する。よって、車両の状況として路面ペイントの色情報を用いることにより、安定して白線を認識できる。

・坂道への進入部分のように道路の勾配が大きく変化する場所では、遠方の白線を誤認識しやすいため、低次モデルの使用が適する。よって、車両の状況として勾配の変化量を用いることにより、安定して白線を認識できる。

・複数の認識モデルのうち、安定して白線を認識している認識モデルを優先して用いることにより、白線認識の安定性が向上する。よって、車両の状況としてそれぞれの認識モデルによる白線認識の安定性を用いることにより、安定して白線を認識できる。

・車両がピッチングやローリングしていたり、車両が路面を滑っていたりして、車両の走行が不安定な状態では、遠方の白線を認識すると誤認識しやすいため、低次モデルの使用が適する。よって、車両の状況として車両の走行状態を用いることにより、安定して白線を認識できる。

（第２実施形態）
第２実施形態に係る走行区画線認識装置２０Ａについて、第１実施形態に係る走行区画線認識装置２０と異なる点について説明する。

図６に示すように、走行区画線認識装置２０Ａの認識部３０は、認識統合部３４及び統合比率算出部５０の代わりに、モデル選択部３５を備える。モデル選択部３５は、車両の状況に応じて、用いる認識モデルを選択する。詳しくは、モデル選択部３５は、統合比率算出部５０と同様に、車両の状況に応じて、各認識モデルの使用比率を算出し、最も使用比率の高い認識モデルを選択する。

次に、白線を認識する処理手順について、図７のフローチャートを参照して説明する。本処理手順は、車載カメラ１０により画像が撮影された都度、走行区画線認識装置２０Ａが実行する。

まず、各車両の状況、すなわち、認識距離、立体物情報、道路の路面環境又は属性、路面ペイントの色、道路の勾配の変化量、分岐路判定結果、車速、走行状態、及び各認識モデルの安定性を取得する（Ｓ４１）。

続いて、Ｓ４１で取得した各車両の状況に基づいて、用いる認識モデルを切り替える（Ｓ４２）。続いて、Ｓ４２で切り替えた認識モデルを用いて白線を認識する（Ｓ４３）。すなわち、Ｓ４２で切り替えた認識モデルに応じて、近傍の白線認識処理、中距離の白線認識処理及び遠方の白線認識処理のうちのいずれかを行い、白線パラメータを算出する。以上で本処理を終了する。

以上説明した第２実施形態によれば、第１実施形態と同様に、車両の様々な状況において、ロバスト性の高い白線の認識を実現できる。

（他の実施形態）
・第１実施形態において、各車両の状況のうち少なくとも１つの車両の状況に応じて、統合比率を算出すればよい。

・第２実施形態において、各車両の状況のうち少なくとも１つの車両の状況に応じて、用いる認識モデルを切替えればよい。

・複数の認識モデルは、近距離モデル、中距離モデル及び遠距離モデルのうちの少なくとも２つを含めばよい。すなわち、複数の認識モデルは、近距離モデルと遠距離モデルの２つ、中距離モデルと遠距離モデルの２つ、近距離モデルと中距離モデルの２つでもよい。

１０…車載カメラ、２０，２０Ａ…走行区画線認識装置。

Claims (17)

1. 車載カメラ（１０）により撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置（２０）であって、
   前記認識モデルは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、もしくは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、を含み、
   前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合することにより、もしくは、前記車両の状況に応じて用いる前記認識モデルを切替えることにより、前記区画線を認識する認識手段と、
   前記区画線を認識している距離である認識距離を検出する認識距離検出手段と、を備え、
   前記認識手段は、前記車両の状況として、前記認識距離検出手段により検出された前記認識距離を用いる走行区画線認識装置。
2. 前記車両の速度を検出する車速検出手段を備え、
   前記認識手段は、前記車両の状況として、前記車速検出手段により検出された前記車両の速度を用いる請求項１に記載の走行区画線認識装置。
3. 車載カメラ（１０）により撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置（２０）であって、
   前記認識モデルは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、もしくは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、を含み、
   前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合することにより、もしくは、前記車両の状況に応じて用いる前記認識モデルを切替えることにより、前記区画線を認識する認識手段と、
   前記車両の速度を検出する車速検出手段と、を備え、
   前記認識手段は、前記車両の状況として、前記車速検出手段により検出された前記車両の速度を用いる走行区画線認識装置。
4. 前記車両の周辺の立体物情報を取得する立体物情報取得手段を備え、
   前記認識手段は、前記車両の状況として、前記立体物情報取得手段により取得された前記立体物情報を用いる請求項１〜３のいずれかに記載の走行区画線認識装置。
5. 車載カメラ（１０）により撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置（２０）であって、
   前記認識モデルは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、もしくは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、を含み、
   前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合することにより、もしくは、前記車両の状況に応じて用いる前記認識モデルを切替えることにより、前記区画線を認識する認識手段と、
   前記車両の周辺の立体物情報を取得する立体物情報取得手段と、を備え、
   前記認識手段は、前記車両の状況として、前記立体物情報取得手段により取得された前記立体物情報を用いる走行区画線認識装置。
6. 前記車線が分岐路か否かを判定する分岐路判定手段を備え、
   前記認識手段は、前記車両の状況として、前記分岐路判定手段による判定結果を用いる請求項１〜５のいずれかに記載の走行区画線認識装置。
7. 車載カメラ（１０）により撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置（２０）であって、
   前記認識モデルは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、もしくは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、を含み、
   前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合することにより、もしくは、前記車両の状況に応じて用いる前記認識モデルを切替えることにより、前記区画線を認識する認識手段と、
   前記車線が分岐路か否かを判定する分岐路判定手段と、を備え、
   前記認識手段は、前記車両の状況として、前記分岐路判定手段による判定結果を用いる走行区画線認識装置。
8. 前記道路の路面ペイントの色情報を取得する色取得手段を備え、
   前記認識手段は、前記車両の状況として、前記色取得手段により取得された前記色情報を用いる請求項１〜７のいずれかに記載の走行区画線認識装置。
9. 車載カメラ（１０）により撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置（２０）であって、
   前記認識モデルは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、もしくは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、を含み、
   前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合することにより、もしくは、前記車両の状況に応じて用いる前記認識モデルを切替えることにより、前記区画線を認識する認識手段と、
   前記道路の路面ペイントの色情報を取得する色取得手段と、を備え、
   前記認識手段は、前記車両の状況として、前記色取得手段により取得された前記色情報を用いる走行区画線認識装置。
10. 前記道路の勾配の変化量を検出する勾配検出手段を備え、
    前記認識手段は、前記車両の状況として、前記勾配検出手段により検出された前記変化量を用いる請求項１〜９のいずれかに記載の走行区画線認識装置。
11. 車載カメラ（１０）により撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置（２０）であって、
    前記認識モデルは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、もしくは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、を含み、
    前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合することにより、もしくは、前記車両の状況に応じて用いる前記認識モデルを切替えることにより、前記区画線を認識する認識手段と、
    前記道路の勾配の変化量を検出する勾配検出手段と、を備え、
    前記認識手段は、前記車両の状況として、前記勾配検出手段により検出された前記変化量を用いる走行区画線認識装置。
12. 前記複数の認識モデルのそれぞれについて、前記区画線の認識の安定性を検出する安定性検出手段を備え、
    前記認識手段は、前記車両の状況として、前記安定性検出手段により検出された前記安定性を用いる請求項１〜１１のいずれかに記載の走行区画線認識装置。
13. 車載カメラ（１０）により撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置（２０）であって、
    前記認識モデルは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、もしくは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、を含み、
    前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合することにより、もしくは、前記車両の状況に応じて用いる前記認識モデルを切替えることにより、前記区画線を認識する認識手段と、
    前記複数の認識モデルのそれぞれについて、前記区画線の認識の安定性を検出する安定性検出手段と、を備え、
    前記認識手段は、前記車両の状況として、前記安定性検出手段により検出された前記安定性を用いる走行区画線認識装置。
14. 前記車両の走行状態を検出する走行状態検出手段を備え、
    前記認識手段は、前記車両の状況として、前記走行状態検出手段により検出された前記走行状態を用いる請求項１〜１３のいずれかに記載の走行区画線認識装置。
15. 車載カメラ（１０）により撮影された車両前方の画像に基づき、認識モデルを用いて道路の車線を区画する区画線を認識する走行区画線認識装置（２０）であって、
    前記認識モデルは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、もしくは、直線を考慮した１次モデル、定常カーブを考慮した２次モデル、及びクロソイドカーブを考慮した３次モデルのうちの少なくとも２つのモデル、を含み、
    前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合することにより、もしくは、前記車両の状況に応じて用いる前記認識モデルを切替えることにより、前記区画線を認識する認識手段と、
    前記車両の走行状態を検出する走行状態検出手段と、を備え、
    前記認識手段は、前記車両の状況として、前記走行状態検出手段により検出された前記走行状態を用いる走行区画線認識装置。
16. 前記認識手段は、前記車両の状況に応じて複数の前記認識モデルによる認識結果を統合して前記区画線を認識する場合に、前記車両の状況に応じて前記複数の認識モデルによる認識結果の統合比率を変更する請求項１〜１５のいずれかに記載の走行区画線認識装置。
17. 前記道路の路面環境又は前記道路の属性を取得する道路情報取得手段を備え、
    前記認識手段は、前記車両の状況として、前記道路情報取得手段により取得された前記路面環境又は前記属性を用いる請求項１〜１６のいずれかに記載の走行区画線認識装置。

Images