JP2023148241A - 区画線認識装置 - Google Patents

Abstract

【課題】区画線を適切に認識すること。【解決手段】区画線認識装置１０は、自車両の周囲の状況を検出する車載検出器２で検出された検出情報に基づいて、道路上の標示を認識する標示認識部１３と、標示認識部１３で認識された標示に基づいて、道路の区画線を認識する区画線認識部１４と、を備え、区画線認識部１４は、自車両の現在位置および進行方向に応じた座標系を設定するとともに、標示認識部１３で認識されている複数の標示のうち、他の標示から進行方向と交差する方向に所定間隔以上外れた標示を除外してから、複数の標示を座標系において近似する関数を生成し、標示認識部１３で認識されていない区間の区画線を関数の曲線に基づいて補間する。【選択図】図１

Description

本発明は、自動運転機能や運転支援機能を有する車両が走行する走行車線の区画線を認識する区画線認識装置に関する。

この種の装置として、カメラ画像に基づいて区画線を認識するようにした装置が知られている（例えば特許文献１参照）。従来の技術では、ビデオカメラによる区画線の検出結果に基づいて、道路形状が多項式の近似関数を用いて近似される。

特表２０２１－５０８９０１号公報

従来の技術では、カメラ画像で取得された情報により、区画線を正しく認識できない場合があった。

本発明の一態様である区画線認識装置は、自車両の周囲の状況を検出する車載検出器で検出された検出情報に基づいて、道路上の標示を認識する標示認識部と、標示認識部で認識された標示に基づいて、道路の区画線を認識する区画線認識部と、を備え、区画線認識部は、自車両の現在位置および進行方向に応じた座標系を設定するとともに、標示認識部で認識されている複数の標示のうち、他の標示から進行方向と交差する方向に所定間隔以上外れた標示を除外してから、複数の標示を座標系において近似する関数を生成し、標示認識部で認識されていない区間の区画線を関数の曲線に基づいて補間する。

本発明によれば、区画線を適切に認識することが可能になる。

発明の実施の形態に係る区画線認識装置を概略的に示すブロック図。 区画線認識部による区画線の認識について説明する図。 区画線認識部による区画線の認識について説明する図。 区画線認識部による区画線の認識について説明する図。 区画線認識部による区画線の認識について説明する図。 演算部で実行されるプログラムによる処理の一例を説明するフローチャート。 ステップＳ３０を詳細に説明するフローチャート。

以下、図面を参照して発明の実施の形態について説明する。
発明の実施の形態に係る区画線認識装置は、車両の運転者に対する運転支援機能ないし自動運転機能を有する車両に適用され、車両が走行する車線（レーン（lane）と呼んでもよい）を規定する区画線を認識する。
なお、実施の形態に係る区画線認識装置が適用される車両を、他車両と区別して自車両と呼ぶことがある。自車両は、内燃機関（エンジン）を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気車両、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。

実施の形態における「運転支援」とは、運転者の運転操作への支援に対応し、ＳＡＥ(Society of Automotive Engineers)により定義されるレベル１～レベル４の自動運転に相当する。また、実施の形態における「自動運転」とは、運転者の運転操作によらない自車両の走行制御に対応し、ＳＡＥにより定義されるレベル５の自動運転に相当する。

運転支援中または自動運転中の自車両では、走行速度や進行方向等の走行挙動および自車両周辺の外界状況が所定の間隔（周期と呼んでもよい）で繰返し検出され、検出情報に応じて自車両の目標走行経路が生成される。そして、生成された目標走行経路に沿って走行するように制御される。

自車両の外界状況は、カメラやライダ（ＬｉＤＡＲ）等の外界センサによって検出される。外界センサは、自車両の製造時等に自車両に対して所定の取付け位置および取付け角度（姿勢情報と呼んでもよい）で取付けられている。

区画線認識装置は、外界センサの姿勢情報を考慮した上で、道路上の標示を含む外界の物標の位置を外界センサによる検出情報に基づいて推定し、認識する。
道路上の標示とは、白線（黄色等の色違いの線を含む）、縁石線、道路鋲、および車線分離標等を含み、これらの標示によって道路の走行レーンが規定される。道路の白線は、車道外側線および車線境界線等を含む。縁石線は、車道と歩道等を区分する石等で続いた線をいう。実施の形態では、上記標示によって規定される走行レーンの境界線に対応する線を、区画線と呼ぶ。

一般に、自車両の走行中に外界センサの検出情報に基づいて区画線を認識する場合、区画線の認識結果（位置推定結果）には一定の誤差が含まれる。また、外界センサは、自車両の外界状況を所定の周期で繰返し検出するため、検出タイミングが前後する検出情報の間でばらつきが生じる。そのため、複数回の検出情報をそのまま重ね合わせて区画線を認識すると、認識誤差が大きくなったり、認識される区画線のばらつきが大きくなったりする。
このような認識誤差やばらつきを低減するため、実施の形態では、外界センサで取得される検出情報のうちの精度の高い自車両近傍の検出情報を優先的に用いる。

また、実際の道路では、道路上の標示のはがれ、かすれ等により標示の一部が欠損していたり、自車両の周辺車両等により標示が遮蔽されていたりする場合がある。そのため、区画線の一部が途切れた断続的な区画線として認識されてしまう。
このような区画線の不連続区間を補間するため、実施の形態では、近似曲線推定手法を用いて区画線形状を推定する。その際に、いわゆる外れ値に相当する検出情報（進行方向と交差する方向（車幅方向と呼ぶ）に他の標示から所定間隔以上離れて検出されている標示）を除外してから区画線形状を推定し、区画線の不連続区間を補間する。
このような区画線認識装置について、以下に詳細に説明する。

図１は、発明の実施の形態に係る区画線認識装置１０を概略的に示すブロック図である。図１に示すように、区画線認識装置１０は、主として電子制御ユニット（ＥＣＵ）により構成される。ＥＣＵは、ＣＰＵ等の演算部１１と、ＲＡＭ、ＲＯＭ等の記憶部１２と、Ｉ／Ｏインタフェース、その他の周辺回路とを有するコンピュータとして構成される。区画線認識装置１０を構成するＥＣＵは、自車両（車両１）に搭載されて自車両の動作を制御する複数のＥＣＵ群の一部として構成されている。区画線認識装置１０による区画線認識処理は、例えば自車両が始動または起動されてＥＣＵが起動すると開始され、所定の周期で繰返し実行される。

区画線認識装置１０には、自車両に搭載され、自車両の外界状況を検出する外界センサ２と、走行用アクチュエータ３と、挙動センサ４とが接続される。
外界センサ２は、自車両の進行方向を中心とする自車両前方の外界状況を検出する。外界センサ２は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子（イメージセンサ）を有し、自車両の前方を撮像するカメラにより構成される。カメラは単眼カメラでもステレオカメラでもよく、自車両の前方空間を所定のフレームレートで連続的に撮像し、検出情報としてのフレーム画像データ（単にカメラ画像と呼ぶ）を演算部１１に逐次出力する。
なお、外界センサ２は、レーザ光を照射し、照射光が物体に当たって戻ってくるまでの時間から、その物体までの距離や方向を測定するとともに各測定点の反射輝度を検出するライダにより構成されてもよい。

演算部１１は、外界センサ２により検出された検出情報としてのカメラ画像に基づき、例えばＳＬＡＭ（Simultaneous Localization and Mapping）技術のアルゴリズムにしたがって、自車両の位置（現在位置）を推定するとともに、自車両の周辺の区画線を含む地図を作成する。

走行用アクチュエータ３には、自車両を転舵させるステアリングギアなどの転舵機構、自車両を駆動するエンジンやモータなどの駆動機構、自車両を制動するブレーキなどの制動機構が含まれる。挙動センサ４は、自車両の走行速度や進行方向等の走行挙動を検出し、検出信号を演算部１１に出力する。

区画線認識装置１０を構成するＥＣＵの演算部１１は、機能的構成として、標示認識部１３と、区画線認識部１４と、走行制御部１５と、地図情報更新部１６とを有する。記憶部１２は、自動運転用の地図情報の他に、自車両の走行軌跡情報、各種制御のプログラム、およびプログラムで用いられる閾値等の情報を記憶する。

標示認識部１３は、外界センサ２から入力されたカメラ画像に基づいて、自車両の進行方向の道路上の標示の位置を認識する。
区画線認識部１４は、標示認識部１３で認識された標示の位置に基づいて、標示によって規定される走行レーンの境界線に対応する区画線を認識する。

走行制御部１５は、区画線認識部１４により認識された区画線に基づいて走行用アクチュエータ３を制御する。例えば、走行レーンの左右の区画線の中央を通るように自車両の目標走行経路を生成するとともに、生成された目標走行経路に沿って自車両が走行するように走行用アクチュエータ３を制御する。

地図情報更新部１６は、区画線認識部１４により認識された区画線に基づいて記憶部１２に記憶されている自動運転用の地図情報に含まれる区画線の位置情報を更新する。
地図情報の更新は、自車両の始動（起動）直後等のエンジンや走行モータの停止中や停車中、自動運転が行われていないハンズオン時など、走行制御部１５の演算負荷が所定値以下であることを条件として行われる。
地図情報更新部１６により地図情報が更新されると、更新された地図情報と外界センサ２により検出された外界状況とに基づいて、演算部１１で自車両の位置（現在位置）が推定される。この場合、更新後の地図情報に含まれる区画線の認識精度が向上することで、自車両の位置推定の精度も向上する。

＜自車両近傍の標示を用いた区画線の認識＞
図２Ａおよび図２Ｂは、区画線認識部１４で認識された区画線を説明する図である。区画線認識部１４は、図２Ａおよび図２Ｂに示すように、ある時点における自車両の位置を原点Otとし、自車両の進行方向をＸ軸、車幅方向をＹ軸とする座標系を設定する。図２Ａおよび図２Ｂは自車両がＸ軸上を正方向へ直進する例であり、Ｘ軸が自車両の走行軌跡に対応する。区画線認識部１４は、走行中に外界センサ２で取得される複数フレームのカメラ画像を用いて、各フレームのカメラ画像でそれぞれ認識された標示の位置に基づく区画線を、所定の周期（外界センサ２が外界状況を検出する周期に対応）で複数回（カメラ画像のフレーム数に対応）認識する。つまり、道路上の異なる位置で、その位置から認識される標示に基づいて、自車両周辺の区画線を複数回（カメラ画像のフレーム数に対応）認識する。例えば、自車両が上記周期の間に１ｍ進むとすると、１ｍ進む毎に道路上のその位置から認識される標示に基づいて区画線を複数回（カメラ画像のフレーム数に対応）認識する。

図２Ａの区画線Ｌは、各フレームのカメラ画像でそれぞれ認識された、自車両の近傍から遠方までの全ての標示の位置に基づく区画線を、上記所定の周期で複数回（カメラ画像のフレーム数に対応）認識し、これら複数の区画線を重ね合わせたものである。なお、便宜上、走行レーンの左側の区画線のみを示しているが、走行レーンの右側の区画線についても同様である。

これに対し、図２Ｂの区画線Ｌｂは、各フレームのカメラ画像でそれぞれ認識された標示のうちの、自車両からの距離が所定距離（例えば１０ｍ）以内である近傍領域で認識された標示の位置に基づく区画線を、上記所定の周期で複数回（カメラ画像のフレーム数に対応）認識し、これら複数の区画線を重ね合わせたものである。
自車両（外界センサ２）から標示までの距離は、カメラ画像において写る標示の位置に基づいて推定される。自車両（外界センサ２）から標示までの距離は、ライダの検出値に基づいて算出してもよい。

図２Ａおよび図２Ｂを比較すると、図２Ａの区画線Ｌの方が図２Ｂの区画線Ｌｂよりもばらつきが大きい。この理由は、自車両から離れた遠方の標示ほど外界センサ２による位置の検出精度が低下し、自車両に近い近傍領域内の標示と比べてより大きな誤差が検出情報に含まれるためと考えられる。実施の形態では、このような誤差の影響を低減するため、区画線認識部１４が、自車両の近傍領域（上述した１０ｍ以内）で認識された標示の位置に基づいて区画線を認識する。区画線認識部１４は、少なくとも道路のカーブ区間において、自車両の近傍領域で認識された標示の位置に基づいて区画線を認識する。道路のカーブ区間は、道路の直線区間と比べて認識される区画線のばらつきが大きくなりやすいからである。

＜標示が検出されない区間の補間＞
図３および図３Ｂは、区画線認識部１４で認識された別の区画線を説明する図である。区画線認識部１４は、図２Ａおよび図２Ｂと同様に、ある時点における自車両の位置を原点Otとし、自車両の進行方向をＸ軸、車幅方向をＹ軸とする座標系を設定する。図３Ａおよび図３Ｂは自車両がＸ軸上を正方向へ直進する例であり、Ｘ軸が自車両の走行軌跡に対応する。図２Ｂの場合と相違する点は、道路上の標示の一部が欠損する区間３３、３４が存在する点と、標示認識部１３で認識された標示の中に、誤検知等に起因する、位置が異常な標示３１、３２が含まれる点である。
なお、区画線認識部１４は、自車両の近傍領域（上述した１０ｍ以内）内で認識された標示の位置に基づいて区画線を認識するものとする。

図３Ａの区画線Ｌｂは、各フレームのカメラ画像でそれぞれ認識された標示のうちの、自車両の近傍領域で認識された標示の位置に基づく区画線を、上記所定の周期で複数回（カメラ画像のフレーム数に対応）認識し、これら複数の区画線を重ね合わせたものである。なお、図２Ｂと同様に、走行レーンの左側の区画線のみを示しているが、走行レーンの右側の区画線についても同様である。

これに対し、図３Ｂの区画線Ｌintは、各フレームのカメラ画像でそれぞれ認識された標示のうちの自車両の近傍領域で認識された標示から、上記外れ値に相当する標示を除外した後の標示の位置を、最小二乗法等のカーブフィッティング手法を用いて近似した曲線に対応する。

区画線認識部１４は、外れ値に相当する標示の除去を例えばＲＡＮＳＡＣ（Random Sample Consensus）のアルゴリズムを用いて行う。
また、一般的なカーブ路の道路形状は、曲率が一定の割合で変化するクロソイド曲線を用いて設計されており、道路形状に対応するクロソイド曲線の一部の区間は、３次関数等を用いて近似することができる。そのため、区画線認識部１４は、３次関数の情報を生成し、この近似曲線により標示が検出されない区間の区画線を補間する。３次関数を用いて道路形状を近似する場合、クロソイド曲線を用いて道路形状を近似する場合よりも演算負荷を低減することが可能である。

＜フローチャートの説明＞
あらかじめ定められたプログラムにしたがって図１の演算部１１で実行される処理の一例について、図４Ａおよび図４Ｂのフローチャートを参照して説明する。図４Ａは、区画線認識処理を示すものであり、上述したようにＥＣＵが起動すると開始され、所定の周期で繰返される。図４Ｂは、図４ＡのステップＳ３０の詳細を示す。

図４ＡのステップＳ１０において、演算部１１は、カメラ（外界センサ２）から検出情報としてのカメラ画像を取得してステップＳ２０へ進む。

ステップＳ２０において、演算部１１は、標示認識部１３により、カメラ画像に基づき標示を認識してステップＳ３０へ進む。

ステップＳ３０において、演算部１１は、区画線認識部１４により、標示認識部１３で認識された標示に基づき区画線を認識してステップＳ４０へ進む。

ステップＳ４０において、演算部１１は、地図情報更新部１６により、区画線認識部１４で認識した区画線に基づき、記憶部１２に記憶されている自動運転用の地図情報に含める区画線の位置情報を、記憶部１２に記録（更新）して図４Ａによる処理を終了する。

図４ＢのステップＳ３１において、演算部１１は、カメラ画像に基づいて標示認識部１３で認識された標示のうちの、自車両からの距離が所定距離以内の標示を選択してステップＳ３２へ進む。上述したように自車両から標示までの距離は、カメラ（外界センサ２）から標示までの距離に基づき推定できる。また、ライダ（外界センサ２）の検出値に基づいて算出することもできる。

ステップＳ３２において、演算部１１は、選択した標示から外れ値に相当する標示を除外してステップＳ３３へ進む。

ステップＳ３３において、演算部１１は、外れ値に相当する標示を除去した後の標示の位置に基づく近似曲線推定を行って区画線を認識し、図４Ｂによる処理を終了する。

以上説明した実施の形態によれば、以下のような作用効果が得られる。
（１）区画線認識装置１０は、自車両の周囲の状況を検出する車載検出器としての外界センサ２で検出された検出情報としてのカメラ画像に基づいて、道路上の標示（白線、道路鋲、車線分離標等）を認識する標示認識部１３と、標示認識部１３で認識された標示に基づいて、道路の区画線を認識する区画線認識部１４と、を備え、区画線認識部１４は、自車両の現在位置および進行方向に応じた座標系を設定するとともに、標示認識部１３で認識されている複数の標示のうち、他の標示から進行方向と交差する車幅方向に所定間隔以上外れた標示を除外してから、複数の標示を座標系において近似する関数を生成し、標示認識部１３で認識されていない区間の区画線を関数の曲線に基づいて補間する。
このように構成したので、標示認識部１３で標示が認識されていない区間がある場合でも、適切に区画線を補間、認識することが可能になる。このような区画線認識装置１０で認識した区画線の位置情報を用いることにより、自動運転用の地図情報の精度を向上させることができる。

（２）上記（１）の区画線認識装置１０は、自車両から標示までの距離情報を取得する距離情報取得部としての演算部１１をさらに備え、区画線認識部１４は、自車両側の第１距離域としての近傍領域において認識された第１標示および、近傍領域よりも遠方の第２距離域において認識された第２標示のうちの、第１標示に基づいて区画線を認識する。
このように構成したので、認識する区画線のばらつきを小さく抑えて、区画線を適切に認識することが可能になる。

（３）上記（２）の区画線認識装置１０において、区画線認識部１４は、近傍領域で認識されている複数の第１標示のうち、他の標示から進行方向と交差する車幅方向に所定間隔以上外れた標示を除外してから、近傍領域で認識されている複数の第１標示を座標系において近似する関数を生成し、標示認識部１３で認識されていない区間の区画線を関数の曲線に基づいて補間する。
このように構成したので、外れ値に相当する近傍領域の第１標示の影響を抑えて、適切に区画線を補間することが可能になる

（４）上記（３）の区画線認識装置１０において、区画線認識部１４は、少なくとも道路のカーブ区間において区画線を第１標示に基づいて認識する。
このように構成したので、道路の直線区間と比べて認識される区画線のばらつきが大きくなりやすいカーブ区間において、認識する区画線のばらつきを小さくすることが可能になる。

上記実施の形態は、種々の形態に変形することができる。以下、変形例について説明する。
（変形例１）
上述した実施の形態の説明では、標示認識部１３で標示を認識する自車両の近傍領域を自車両から１０ｍ以内としたが、近傍の範囲については、その上限を５ｍ～１０ｍの範囲で適宜変更してよい。

（変形例２）
上述した説明では、標示の認識位置（自車両からの距離）が近傍領域を超える標示については区画線の認識に用いない例を説明したが、以下のように構成してもよい。すなわち、標示の認識位置（自車両からの距離）が近傍領域内である標示に１より大きい重み付けを行い、標示の認識位置（自車両からの距離）が近傍領域外である標示に１より小さい重み付けを行った上で、これら双方の標示を用いて区画線の認識を行う。１より大きな重みが付けられた標示が区画線の認識に大きく寄与することにより、適切に区画線を認識することが可能になる。

（変形例３）
外れ値を除くステップＳ３２の処理および、近似曲線推定を行うステップＳ３３の処理は、例えば、自車両の進行方向が直進であることが自車両の走行速度や進行方向等の走行挙動を検出する挙動センサ４で検出されている場合等は省略してもよい。

（変形例４）
標示認識部１３で認識した標示のうち自車両の近傍領域内の標示を選択するステップＳ３１の処理は、外れ値を除くステップＳ３２の処理および、近似曲線推定を行うステップＳ３３の処理を省略していない場合において省略してもよい。

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施の形態および変形例により本発明が限定されるものではない。上記実施の形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１ 車両（自車両）、２ 外界センサ、３ 走行用アクチュエータ、４ 挙動センサ、１０ 区画線認識装置、１１ 演算部、１２ 記憶部、１３ 標示認識部、１４ 区画線認識部、１５ 走行制御部、１６ 地図情報更新部

Claims (4)

1. 自車両の周囲の状況を検出する車載検出器で検出された検出情報に基づいて、道路上の標示を認識する標示認識部と、
   前記標示認識部で認識された前記標示に基づいて、前記道路の区画線を認識する区画線認識部と、を備え、
   前記区画線認識部は、前記自車両の現在位置および進行方向に応じた座標系を設定するとともに、前記標示認識部で認識されている複数の前記標示のうち、他の標示から前記進行方向と交差する方向に所定間隔以上外れた標示を除外してから、複数の前記標示を前記座標系において近似する関数を生成し、前記標示認識部で認識されていない区間の前記区画線を前記関数の曲線に基づいて補間することを特徴とする区画線認識装置。
2. 請求項１に記載の区画線認識装置において、
   前記自車両から前記標示までの距離情報を取得する距離情報取得部をさらに備え、
   前記区画線認識部は、前記自車両側の第１距離域において認識された第１標示および、前記第１距離域よりも遠方の第２距離域において認識された第２標示のうちの、前記第１標示に基づいて前記区画線を認識することを特徴とする区画線認識装置。
3. 請求項２に記載の区画線認識装置において、
   前記区画線認識部は、前記第１距離域で認識されている複数の前記第１標示のうち、他の標示から前記進行方向と交差する方向に所定間隔以上外れた標示を除外してから、前記第１距離域で認識されている複数の前記第１標示を前記座標系において近似する関数を生成し、前記標示認識部で認識されていない区間の前記区画線を前記関数の曲線に基づいて補間することを特徴とする区画線認識装置。
   
4. 請求項３に記載の区画線認識装置において、
   前記区画線認識部は、少なくとも前記道路のカーブ区間において前記第１標示に基づいて前記区画線を認識することを特徴とする区画線認識装置。

Images