JP3902455B2

JP3902455B2 - 車線離脱防止方法

Info

Publication number: JP3902455B2
Application number: JP2001356766A
Authority: JP
Inventors: 溶元田
Original assignee: Hyundai Motor Co
Current assignee: Hyundai Motor Co
Priority date: 2000-12-27
Filing date: 2001-11-21
Publication date: 2007-04-04
Anticipated expiration: 2021-11-21
Also published as: KR20020053352A; JP2002230530A; KR100391442B1; US20020080235A1; US6850629B2

Description

【０００１】
【発明の属する技術分野】
本発明は車線離脱防止方法に関し、さらに詳しくは、走行車両が車線を離脱するのを防止するための画像処理を用いた車線離脱防止方法に関する。
【０００２】
【従来の技術】
最近では、様々な技術の発展と共に安全で便利な車両運行のための様々なシステムが開発されている。このようなシステムの中に運転者の長時間運転や居眠り運転または携帯電話使用などによって前方注視が怠慢になって発生する事故を防止するための車線離脱防止システムがある。
【０００３】
このような車線離脱防止システムは、走行道路上の車線及び車両の位置を測定して車両が車線を離脱する場合に警告をしたり自動的に操向アクチュエータを駆動させて車両の走行方向を調節する装置であって、広範囲の走行道路を撮影する撮影部と、撮影された走行道路の映像から道路上の車両の位置及び進行方向を検出する映像処理部と、実時間における車両の位置データから車線離脱防止のための操向命令を生成する操向制御部と、操向命令によって駆動される操向アクチュエータなどからなる。
【０００４】
【発明が解決しようとする課題】
しかし、従来の車両離脱防止用システムの映像処理方法は、映像のエッジ（ｅｄｇｅ）に基づくアルゴリズムを利用して撮影された映像を処理して車線を検出するので、各種ノイズに対応するのが難しく、また画像処理に多くの時間が所要されるという短所がある。
【０００５】
映像エッジ処理方法の他に映像の明るさに関連するグレーレベル（ｇｒａｙｌｅｖｅｌ）に基づいて車線を検出する方法があるが、この方法は映像全体の明るさによって性能が可変するため夕方や曇った日など周辺の明るさ（輝度）が低い場合には車線検出が難しく、また他の物体を車線として誤って認識するなど誤動作が多い。
【０００６】
また、映像をカラー処理して車線を検出する方法もあるが、このような方法はカラー映像撮影に必要なカメラ自体が高価であり、また、カラー映像の処理方法が非常に複雑で処理時間が増加するといった問題がある。
【０００７】
したがって、本発明の目的は、上記のような従来の問題点を解決するためのものであって、走行道路の車線を正確に検出して車両の車線離脱を防止する画像処理を用いた車線離脱防止方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明による車線離脱防止方法は、車線が含まれている走行道路をモノクロ撮影して道路画像を生成する道路画像生成段階と；道路画像の明るさを平準化する平準化段階と；平準化された道路画像をフィルタリングして車線画像を検出する車線画像検出段階と；フィルタリングされた車線画像を逆遠近変換処理する逆遠近変換処理段階と；逆遠近変換処理された車線画像を圧縮処理する圧縮処理段階と；圧縮処理された車線画像に基づいて車線の傾斜を求める車線傾斜算出段階と；車線の傾斜に基づいて車線の曲率を求める車線曲率算出段階と；車線の傾斜に基づいて車両の車線脱線量を求める車線脱線量算出段階と；車両の走行速度及び運転者の走行意志を検出する走行速度・意志検出段階と；走行速度・意志検出段階で検出された車両の走行速度、運転者の走行意志と、車線脱線量算出段階で算出された車両の車線脱線量とに基づいて車両の操向を調節して車両の車線脱線を防止する操向調節段階と；を含んでなる車線離脱防止方法であって；平準化段階は、生成された道路画像の明るさの平均値を求め平均値より小さい値を有する部分の明るさを明るさの平均値に置換することによって平準化し；車線画像検出段階は、平準化された道路画像におけるフィルタリング処理対象の画素の位置（ｘ、ｙ）とし、Ｐ（ｘ、ｙ）を画素の位置（ｘ、ｙ）における明るさ値、Ｆ（ｘ、ｙ）を画素の位置（ｘ、ｙ）におけるフィルタリング処理された明るさ値、ｍを車線幅（画素単位）とする場合に、
「ｉｆＰ（ｘ，ｙ）＞Ｐ（ｘ−ｍ，ｙ）ＡＮＤＰ（ｘ，ｙ）＞Ｐ（ｘ＋ｍ，ｙ），ｔｈｅｎＦ（ｘ，ｙ）＝｛Ｐ（ｘ，ｙ）−Ｐ（ｘ−ｍ，ｙ）｝＋｛Ｐ（ｘ，ｙ）−Ｐ（ｘ＋ｍ，ｙ）｝，ｅｌｓｅＦ（ｘ，ｙ）＝０」なる条件式を用いてフィルタリングすることを特徴とする。
【０００９】
【発明の実施の形態】
以下、本発明による車線離脱防止方法の一実施の形態について、添付した図面を参照して詳細に説明する。
【００１０】
図１は、本実施の形態における車線離脱防止方法が実行される車線離脱防止システムを示した構成図である。
【００１１】
図１に示される車線離脱防止システムは、走行道路をモノクロ撮影し、道路画像を生成して出力する撮影ユニット１０と、撮影ユニット１０によって出力された道路画像を処理するイメージプロセッサ２０と、ステアリングを操向するステアリングアクチュエータ４０と、画像処理された結果に応じてステアリングアクチュエータ４０を駆動させて操向制御するステアリングコントローラ３０とからなり、車両の走行状態と運転者の走行意志を測定、検知する車速センサ５１、アクセルペダルセンサ５２、ブレーキペダルセンサ５３、変速レバーセンサ５４からなる車両走行状態センサユニット５０をさらに含む。
【００１２】
撮影ユニット１０は車両の前輪側に設置されて被写体、つまり車両が走行する道路を撮影するための撮影レンズと撮像素子であるＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）とを含み、イメージプロセッサ２０は撮影ユニット１０によって撮影・生成された後出力された道路画像を処理して実時点の（リアルタイムにおける）車線と車両位置データとを検出する。そして、ステアリングコントローラ３０は検出された車両位置データに基づいてステアリングアクチュエータ４０を駆動させて車両が車線内で走行するように操向制御する。
【００１３】
特に、ステアリングコントローラ３０は車速センサ５１によって検出される車両の車速による車両走行状態と、アクセルペダルセンサ５２、ブレーキペダルセンサ５３及び変速レバーセンサ５４によって検知される運転者の走行意志と、測定検知された車両の走行位置と車線との関係とに基づいてステアリングアクチュエータ４０を駆動させる。
【００１４】
このような車線離脱防止システムに適用される本実施の形態による車線離脱防止方法について説明する。
【００１５】
図２は、本実施の形態による車線離脱防止方法において主に画像処理に関する段階のフローチャートを示している。
【００１６】
自動車車両の走行開始と同時に、車両前輪のフロント側に設置されている撮影ユニット１０は自動的に車両が走行する道路のモノクロによる撮影を開始し、走行中は道路映像の撮影を継続して実時点における道路画像に相当する電気的な信号を生成し、イメージプロセッサ２０に出力する。撮影ユニット１０はＣＣＤによって生成されるアナログ信号を二重サンプリング処理してノイズを除去し信号ゲインを調節して出力するが、ここで、処理されたアナログ信号をデジタル信号に変換して出力することができる（Ｓ１００〜Ｓ１２０：道路映像生成段階）。
【００１７】
道路映像生成段階において撮影ユニット１０によって走行道路が撮影され、撮影された道路映像から生成された道路画像が出力されると、イメージプロセッサ２０は以下のように走行道路の車線を検出して道路上においての車線と車両の実時点における位置を検出するための画像処理を行う。
【００１８】
まず、イメージプロセッサ２０は撮影ユニット１０から出力された道路画像から全体の明るさに比較して暗すぎ、画像処理においてその周囲にノイズとなる部分を発生させ、車線として誤認識される可能性のある部分、例えばスキッドマーク、影などを予め除去する明るさ平準化を行う（Ｓ１３０：平準化段階）。
【００１９】
本実施の形態では車線が周囲より明るさの値（輝度）が大きいということを利用して車線を検出するため、万一、撮影・生成された道路画像内に暗すぎる部分が存在すると周囲との明るさの差異が大きくなって、車線ではない部分が車線として誤認識されることがある。したがって、イメージプロセッサ２０は撮影された道路画像の明るさの平均値を求めた後、平均値より小さい値を有する部分の明るさを明るさの平均値に置換する。これにより、道路映像から平均値以下の明るさである部分を除去することができる。
【００２０】
図３の（ａ）及び（ｂ）に本実施の形態における平準化段階による処理によって明るさが平準化処理された画像の例を示す。図３の（ａ）に示されるように、撮影・生成された道路画像のうち周辺より明るさ値が顕著に小さい部分（図面上で円で表示された部分）が明るさ平準化処理により図３の（ｂ）のように周辺の明るさに置換されて除去される。
【００２１】
平準化段階に続いて、イメージプロセッサ２０はフィルタリング処理を行う。具体的には、車線の間隔（車線幅）を利用してその間隔だけ離れた車線周囲の明るさ値が低くなる、つまり車線より暗いということを利用するフィルタリング処理によって車線画像検出段階を実行する（Ｓ１４０）。
【００２２】
本実施の形態による車線画像検出段階のフィルタリング処理では、撮影・生成された後に平準化された道路画像のサイズが１６０×１２０である場合に、図４のように、フィルタリング処理対象の画素の位置をｘ、ｙとし、Ｐ（ｘ、ｙ）を画素の位置（ｘ、ｙ）における明るさ値、Ｆ（ｘ、ｙ）を画素の位置（ｘ、ｙ）におけるフィルタリング処理された明るさ値、そしてｍを車線幅（画素単位）とする場合に、次のような条件式１が成立しこの式を用いる。
【００２３】
〔条件式１〕
ｉｆＰ（ｘ，ｙ）＞Ｐ（ｘ−ｍ，ｙ）ＡＮＤＰ（ｘ，ｙ）＞Ｐ（ｘ＋ｍ，ｙ），
ｔｈｅｎＦ（ｘ，ｙ）＝｛Ｐ（ｘ，ｙ）−Ｐ（ｘ−ｍ，ｙ）｝＋｛Ｐ（ｘ，ｙ）−Ｐ（ｘ＋ｍ，ｙ）｝
ｅｌｓｅＦ（ｘ，ｙ）＝０
【００２４】
つまり、車線幅に相当する間隔内における車線両サイド部分に比して車線がより明るく（車線が明るいために）、その差異が大きいほどＦ（ｘ、ｙ）値が大きくなる。
【００２５】
図５に、条件式１を用いてフィルタリング処理され検出された車線画像（ｂ）と、フィルタリングされる前の道路画像（ａ）を示した。
【００２６】
車線画像検出段階に引き続いて、イメージプロセッサ２０はフィルタリング処理された画像について逆遠近法（ｉｎｖｅｒｓｅｐｅｒｓｐｅｃｔｉｖｅ）を利用した画像変換による処理を行う（Ｓ１５０：逆遠近変換処理段階）。
【００２７】
具体的には、道路が平行であると仮定し、フィルタリング処理された車線画像から遠近感を消去したような画像（平面化映像）に変換し、このような変換方法は幾何学的演算からなるが、公知技術であるので詳細な説明は省略する。図６に本実施の形態による逆遠近変換処理段階の逆遠近法により変換処理された車線画像を示した。
【００２８】
逆遠近変換処理段階に続いて、イメージプロセッサ２０は逆遠近変換処理された車線画像について画像の圧縮処理を行う（Ｓ１６０：圧縮処理段階）。本実施の形態ではこの圧縮処理段階以降の各画像処理段階における演算処理時間を短縮するために道路映像を垂直方向に１／５に圧縮する。図７に圧縮処理された車線画像を示した。なお、ここでは車線画像を圧縮率１／５で圧縮処理したが、圧縮率は特に限定されるものではなく、それぞれの車線画像に適した圧縮率を選定して圧縮処理すれば良い。
【００２９】
圧縮処理段階に引続き、イメージプロセッサ２０は圧縮処理された車線画像に基づいて車線の傾斜（ｃｕｒｖｅ）を算出する（Ｓ１７０：車線傾斜算出段階）。車線の傾斜はそのまま車両の進行方向（ｈｅａｄｉｎｇａｎｇｌｅ）になる。具体的には、圧縮された車線画像を左右に傾けながら多段階、本実施の形態では、左に車線画像を大きく傾ける段階、左に車線画像を中程度傾ける段階、左に車線画像を少し傾ける段階、車線画像を中央に位置させる段階、右に車線画像を少し傾ける段階、右に車線画像を中程度傾ける段階、右に車線画像を大きく傾ける段階の全７段階を経て垂直に明るさ値を合せた関数を求めて最終的に車線の傾斜を算出し求める。図８に本実施の形態で求められた車線の傾斜を示す車線画像を示した。
【００３０】
このように車線の傾斜を求めた後、イメージプロセッサ２０は車両の脱線量（ｌａｔｅｒａｌｄｅｖｉａｔｉｏｎ）を求める。図９に車線画像の垂直重畳関数（車線画像の垂直成分を重畳し、関数化した）が示されている。車線傾斜算出段階にて求められた車線の傾斜に基づいて車線画像の垂直合計（ｓｕｍａｔｉｏｎ）である垂直重畳関数を求め、この垂直重畳関数の二つの最大値を求める。二つの最大値はそのまま車線のｘ位置となり、したがって車両が車線から脱線した偏差量を計算することができ、車両の車線脱線量を求める。
【００３１】
また、イメージプロセッサ２０は車線の曲率を求める。一般に車線に曲率があれば図１０に示されているように車線が曲がり、車線が曲がる比率が車線の曲率となる。具体的には、イメージプロセッサ２０は画像の明るい所を二進化し、そのポイントをもって２次元カーブフィッティング（ｃｕｒｖｅｆｉｔｔｉｎｇ）により車線の曲率（ベンディング量）を求める。図１０に、この２次元カーブフィッティング処理によって車線の曲率を求めた車線画像を示した。画像の２次元カーブフィッティング処理は公知技術であるので詳細な説明は省略する（Ｓ１８０）。
【００３２】
以上説明したように撮影された道路映像をもとにイメージプロセッサ２０が画像処理することによって、図１１のように算出される車線と車両の位置を示す各種のデータ（車線の曲率：道路ベンディング量、車両の進行方向、車線脱線量、離脱距離）を求めた後、ステアリングコントローラ３０は車線と車両の位置を示す各種データと車両走行状態センサユニット５０の各センサ（車速センサ５１、アクセルペダルセンサ５２、ブレーキペダルセンサ５３、変速レバーセンサ５４）によって測定される車両の走行状態と運転者の走行意志を測定、検知する。本実施の形態では、車速や運転者のアクセルペダルまたはブレーキペダル作動操作の有無、変速レバー操作によって設定された変速段などのデータに基づいて車線脱線の有無や可能性を判断する（Ｓ１９０：走行速度・意志検出段階）。ステアリングコントローラ３０は、車両が車線を脱線したり脱線する可能性がある場合にはステアリングアクチュエータ４０を駆動させて車両が車線内で走行するように車両の操向を調節する（Ｓ２００：操向調節段階）。
【００３３】
本実施の形態による車線離脱防止方法のうち主にステアリングコントローラ３０による走行速度・意志検出段階と操向調節段階における処理の流れを図１２に示した。
【００３４】
具体的には、図１２のようにステアリングコントローラ３０は画像処理によって求められた車線の曲率と車両走行状態センサユニット５０から出力される実時点における車速とによって第１操向トルクを算出し、画像処理の結果得られた車線脱線量と車両の進行方向とにより離脱誤差値を補正する第２操向トルクを算出する（Ｓ３００）。
【００３５】
そして、車両走行状態センサユニット５０から出力される車両走行状態と運転者の走行意志についてのデータに基づいて目標進路を追従するための第３操向トルクと、予想進路（ｐｒｅｄｉｃｔｅｄｄｒｉｖｉｎｇｃｏｕｒｓｅ）、目標進路（ｔａｒｇｅｔｄｒｉｖｉｎｇｃｏｕｒｓｅ）、そして予想離脱値（ｐｒｅｄｉｃｔｅｄｌａｔｅｒａｌｄｅｖｉａｔｉｏｎ）とを算出する（Ｓ３１０）。また、アクセルペダルやブレーキペダルの作動状態によって運転者の走行意志を検知判断する（Ｓ３２０）。
【００３６】
次に、ステアリングコントローラ３０はＳ３００〜Ｓ３２０で算出された第１乃至第３操向トルク、車両の予想進路、目標進路、そして車線からの予想離脱値、運転者の走行意志に基づいて操向制御開始／解除を判断して、それに基づいてステアリングアクチュエータ４０を駆動させて車両が車線内で走行するようにする（Ｓ３３０）。
【００３７】
なお、走行状態を判断するための車両走行データとしてはＳ３００〜Ｓ３２０に示した本実施の形態に限定されない。
【００３８】
本発明は上述した請求の範囲を逸脱しない範囲内で様々な変更及び実施が可能である。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、モノクロ撮影され生成された道路画像の明るさを平準化しフィルタリングして車線を検出することによって映像のノイズの影響を殆ど受けず、車線の傾斜とベンディング量などを正確に検出することができるので、正確に車線を検出することができ、高価なカラー撮影装置を要せず、短時間の内に画像処理が可能である。
【００４０】
したがって、車線上での車両の位置に基づき、運転者の走行意志及び車速の走行状態によって車線の脱線量を予測し、操向を自動制御することによって車両の脱線を防止することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における車線離脱防止方法が実行される車線離脱防止システムを示した構成図である。
【図２】本発明の一実施の形態としての車線離脱防止方法のフローチャートである。
【図３】同、車線離脱防止方法により平準化処理された画像である。
【図４】同、車線離脱防止方法により処理される画像の大きさを示した模式図である。
【図５】同、車線離脱防止方法によりフィルタリング処理される前の道路画像（ａ）とフィルタリング処理された後の車線画像（ｂ）である。
【図６】同、車線離脱防止方法により逆遠近変換処理された車線画像である。
【図７】同、車線離脱防止方法により圧縮処理された車線画像である。
【図８】同、車線離脱防止方法により求められた車線の傾斜を示す車線画像である。
【図９】同、車線離脱防止方法により求められた車線画像の垂直重畳関数の特徴を示したグラフである。
【図１０】同、車線離脱防止方法によりカーブフィッティング処理された車線画像である。
【図１１】同、車線離脱防止方法により求められた車線状態を示す各種変数の模式図である。
【図１２】同、車線離脱防止方法におけるステアリングコントローラによる処理過程を示したフローチャートである。
【符号の説明】
１０撮影ユニット
２０イメージプロセッサ
３０ステアリングコントローラ
４０ステアリングアクチュエータ
５０車両走行状態センサユニット
５１車速センサ
５２アクセルペダルセンサ
５３ブレーキペダルセンサ
５４変速レバーセンサ

Claims

車線が含まれている走行道路をモノクロ撮影して道路画像を生成する道路画像生成段階と、
前記道路画像の明るさを平準化する平準化段階と、
前記平準化された道路画像をフィルタリングして車線画像を検出する車線画像検出段階と、
前記フィルタリングされた車線画像を逆遠近変換処理する逆遠近変換処理段階と、
前記逆遠近変換処理された車線画像を圧縮処理する圧縮処理段階と、
前記圧縮処理された車線画像に基づいて車線の傾斜を求める車線傾斜算出段階と、
前記車線の傾斜に基づいて車線の曲率を求める車線曲率算出段階と、
前記車線の傾斜に基づいて車両の車線脱線量を求める車線脱線量算出段階と、
車両の走行速度及び運転者の走行意志を検出する走行速度・意志検出段階と、
前記走行速度・意志検出段階で検出された車両の走行速度、運転者の走行意志と、前記車線脱線量算出段階で算出された車両の車線脱線量とに基づいて車両の操向を調節して車両の車線脱線を防止する操向調節段階と、を含んでなる車線離脱防止方法であって、
前記平準化段階は、生成された道路画像の明るさの平均値を求め平均値より小さい値を有する部分の明るさを明るさの平均値に置換することによって平準化し、
前記車線画像検出段階は、前記平準化された道路画像におけるフィルタリング処理対象の画素の位置（ｘ、ｙ）とし、Ｐ（ｘ、ｙ）を画素の位置（ｘ、ｙ）における明るさ値、Ｆ（ｘ、ｙ）を画素の位置（ｘ、ｙ）におけるフィルタリング処理された明るさ値、ｍを車線幅（画素単位）とする場合に、
「ｉｆＰ（ｘ，ｙ）＞Ｐ（ｘ−ｍ，ｙ）ＡＮＤＰ（ｘ，ｙ）＞Ｐ（ｘ＋ｍ，ｙ），ｔｈｅｎＦ（ｘ，ｙ）＝｛Ｐ（ｘ，ｙ）−Ｐ（ｘ−ｍ，ｙ）｝＋｛Ｐ（ｘ，ｙ）−Ｐ（ｘ＋ｍ，ｙ）｝，ｅｌｓｅＦ（ｘ，ｙ）＝０」なる条件式を用いてフィルタリングすることを特徴とする車線離脱防止方法。