JP2008257681A - 自動車用車線離脱防止方法 - Google Patents

Abstract

【課題】本発明は、自動車用車線離脱防止方法を提供するためのものである。
【解決手段】本発明は、両サイドミラーに設けられた後側方カメラを用いて入力される映像で車線を抽出し、抽出された車線を３次元マッピングして算出された方向角と側面距離から車線離脱距離を算出し、算出された車線離脱距離と車速センサーにより感知される車両速度により車線離脱時間を予測して車線離脱か否かを判定することで、運転者の車線離脱による車両事故が防止できる。
【選択図】図１

Description

本発明は、自動車用の車線離脱防止方法に係り、より詳しくは両サイドミラーに設置したカメラによって撮影した後側方の映像から車線を抽出し、抽出された車線を３次元マッピングして車線離脱距離を算出し、算出された車線離脱距離と車両速度とから車線離脱時間を予測して運転者に警告する自動車用車線離脱防止方法に関する。

一般に、ＡＳＶ（Ａｄｖａｎｃｅｄ Ｓａｆｅｔｙ Ｖｅｈｉｃｌｅ）は、車両の安全性向上のために先端電子技術と制御技術とを併用する先端車両技術であって、交通事故を減少し、交通量を増加させ、エネルギーを節約し、運転者の便宜を図ることができるものである。

ＡＳＶ技術の１つとして、車線離脱警報システム（ＬＤＷＳ：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ、以下［ＬＤＷＳ］と略す）がある。ＬＤＷＳは、車両に取り付けられたカメラによって車両前方の道路を撮影し、映像を分析して走行中の車線の状況を把握し、運転者が不注意や眠気などにより車両が車線を離脱しそうになった場合に警報音を発する安全装置である。
ＬＤＳＷは、車両の前方の映像信号を分析して車両が車線から離脱するか否かを判断する車線検出装置と、この車線検出装置分析結果、車両が車線から離脱しそうな場合に運転者に警告する警告装置と、を含む。

このようなＬＤＳＷは、道路運送網が整備され、自動車産業が発達した地域の、長時間運転に伴う疲労、不注意、眠気運転による車線離脱事故の危険に晒された運転者、特にトラック運転手と長距離マイカー出勤者とに適合したシステムである。

図６は、従来のＬＤＳＷの構成図である。
図６によれば、従来のＬＤＳＷは、車両インターフェースと、車両の前方の映像信号を分析して車両が車線から離脱するか否かを判断するＬＤＷＳ本体と、車線検出装置の分析結果、車両が車線から離脱しそうな場合に運転者に警告する警告装置と、を含む。

ＬＤＷＳ本体は、前後方向の映像が入力される映像センサー部、車線認識のために映像処理を遂行する映像処理部、認識された車線を基盤にして車両が車線を離脱するか否かを判断する離脱判断部、車両インターフェース信号が入力されるインターフェース入力部、及び車線離脱警報及び状況を表すインターフェース出力部から構成される。
従来の車両インターフェースは、車両幅、車両の曲率半径、車両横断時間などの多様な変数で構成される。
上記映像センサー部は、前後方の中央に設けられた単一カメラを用いて道路上の車線を認識し、認識した車線の中心とカメラ光学軸との間の差位を把握して車線離脱警報を発する。

しかし、このような方法は、多様な変数を使用するためにロジックが複雑になり、又、センサーの欠陥やカメラレンズの歪などの映像座標と実座標の誤差要因が含まれ、車線離脱警報の精度が落ちるという問題点があった。

特開平９−２９５５２４号公報 特開平９−２９５５２５号公報 特開２００６−１５５６１５号公報

本発明の目的は、判断のロジックが簡明で、判断に必要な変数が少なく、判断の精度が高い自動車用車線離脱防止方法を提供することにある。

前記の目的を達成するための本発明に係る自動車用車線離脱防止方法は、左右のサイドミラーに設置したカメラを用いて車両の左右両側の後方を撮影し、それぞれの映像から、走行中の車線の車線映像を抽出し、抽出された車線映像を３次元マッピングして、右側車線の実座標直線と左側車線の実座標直線とを実座標系の直線型方程式として算出する第１ステップと、右側車線の実座標直線と車両の方向線の実座標直線とが成す右側方向角（θＲ）、左側車線の実座標直線と前記方向線の実座標直線とが成す左側方向角（θＬ）、右側車線の実座標直線と車両の右側面との間の右側面距離（ＬＲ）、及び左側車線の実座標直線と車両との間の左側面距離（ＬＬ）、を算出する第２ステップと、右側方向角（θＲ）と右側面距離（ＬＲ）、又は左側方向角（θＬ）と左側面距離（ＬＬ）から車両の車線離脱距離（Ｇ）を算出する第３ステップと、車線離脱距離（Ｇ）に基づいて、車両の前記車線からの離脱可能性を運転者に警報する第４ステップと、からなる。

好ましい一具現例として、３次元マッピングは、映像座標系から実座標系への変換に、Ｔｓａｉ’ｓ ｅｑｕａｔｉｏｎを用いて、カメラレンズによる歪を補正する。

好ましい他の一具現例として、右側面距離（ＬＲ）は、車両の方向線の実座標直線と直交する直線が、車両の右サイドボディーラインの実座標直線と交差する点から右側車線の実座標直線と交叉する点までの距離であり、左側面距離（ＬＲ）は、前記直線が車両の左サイドボディーラインの実座標直線と交差する点から左側車線の実座標直線と交叉する点までの距離である。

好ましい更に他の具現例として、上記第４ステップは、車線離脱距離（Ｇ）と車速センサーにより感知される車両速度から車両の車線離脱時間を算出し、該車線離脱時間が基準値以下の場合に、警報を発するステップである。

好ましい更に他の具現例として、車線離脱距離（Ｇ）は、下式（１）に方向角（θ）と側面距離（Ｌ）とを代入して算出する。
Ｇ＝ｔａｎ（９０−θ）＊Ｌ （１）

好ましい更に他の具現例として、車線離脱距離（Ｇ）の算出において、車両の走行方向が右側に偏向した時には（１）式の方向角（θ）に右側方向角（θＲ）を代入し、側面距離（Ｌ）には右側面距離（ＬＲ）を代入し、また走行方向が左側に偏向した時には、それぞれに左側方向角（θＬ）と左側面距離（ＬＬ）とを代入する。

以上、説明したように、本発明に係る自動車用車線離脱防止方法は、次のような効果を有する。
第1に、カメラ映像から抽出した車線映像を、カメラレンズと映像センサーの誤差を補正した上で３次元マッピングすることによって、実際の車線の座標により近似した車線の実座標直線を得ることが可能となり、
第２に、車線離脱距離（Ｇ）を算出するために必要な変数が、従来に比べて減って、算出ロジックが単純になり、
第３に、車線離脱距離（Ｇ）と車両速度から車線離脱までの時間を予測して警報を発することによって、運転者の事故を防止する効果がある。

以下、添付図面を参照して本発明に係る自動車用車線離脱防止方法の好ましい一実施形態を詳細に説明する。
図１は、本発明の自動車用車線離脱防止方法の実施段階に関するフローチャートである。
図１に示すように、本発明の第１ステップは、車両の左右のサイドミラーに装着したカメラを用いて車両の左右両側の後方を撮影して映像を入力する段階（Ｓ−１）と、入力された映像を映像処理する段階（Ｓ−２）と、車両の左右車線の映像座標を抽出する段階（Ｓ−３）と、抽出された車線の映像座標を実座標に変換するために３次元マッピングして、直線型方程式として車線の実座標直線を算出する（Ｓ−４）段階と、を含んで構成される。
上記第１ステップは、カメラから入力された映像から抽出された車線の映像データを、３次元マッピングして実座標系に変換し、車線の実座標直線を算出する過程を含む。

図２に、Ｔｓａｉ’ｓ ｅｑｕａｔｉｏｎの手法の概要を示す解説図を示す。
第１ステップに於ける３次元マッピングは、Ｔｓａｉ’ｓ ｅｑｕａｔｉｏｎを用いて、映像入力された映像座標の２次元データを、カメラパラメーターを用いて映像処理して、３次元直交座標系の実座標データに座標変換する、３次元マッピングするステップである。
図２に示すＴｓａｉ’ｓ ｅｑｕａｔｉｏｎは、この目的で汎用されるキャリブレーション手法である。
Ｔｓａｉ’ｓ ｅｑｕａｔｉｏｎを用いる理由は、映像入力された車線の映像座標から求める従来の座標変換方法から発生する誤差を補正するためである。前記誤差にはカメラレンズによる歪を含む。

以下、Ｔｓａｉ’ｓ ｅｑｕａｔｉｏｎを逆方向に移動して実座標を算出する方法を詳細に説明する。
以下の説明において、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサーに検知された映像座標をＰｆ（Ｘｆ、Ｙｆ）、レンズの歪を含む投影映像座標をＰｄ（Ｘｄ、Ｙｄ）、レンズの歪が補正された映像座標をＰｕ（Ｘｕ、Ｙｕ）、カメラ座標系で表示した位置（３次元データ）をＰ（Ｘ，Ｙ，Ｚ）、実座標系で表示した位置（３次元直交座標系データ）をＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）と表記する。

ＣＣＤセンサーが検知した映像座標Ｐｆのｘｙ座標Ｐｆ（Ｘｆ、Ｙｆ）を（数１）に代入して、レンズの歪を含む投影映像座標Ｐｄのｘｙ座標Ｐｄ（Ｘｄ、Ｙｄ）を算出する。

（数１）において、Ｓｘはスケール変数、ＣｘとＣｙは映像中心点であり、ｄｘ’とｄｙ’は以下の（数２）に定義される値である。なお、スケール変数（Ｓｘ）は座標変換時に考慮される多様な要素を反映して、撮影条件によって選択される変数である。また、映像中心点はカメラの解像度によって変わる値であって、例えば６４０ピクセル×４８０ピクセルの解像度を有するカメラを用いた場合は、ＣｘとＣｙとはそれぞれ３２０と２４０に設定することが好ましい。

（数２）において、ｄｘとｄｙはカメラに装着されたＣＣＤセンサーのピクセル間距離、Ｎｃは単位センサーの数量、Ｎｆはカメラにより入力される映像のピクセル数である。これは、サイドミラーに取り付けられるカメラのＣＣＤセンサーの種類によって変わることが好ましい。

したがって、（数２）にＣＣＤセンサーのピクセル間の距離（ｄｘ、ｄｙ）、単位センサー数量（Ｎｃ）及びコンピュータ映像のピクセル数（Ｎｆ）を代入して、ｄｘ’とｄｙ’を算出し、この値とＣＣＤセンサーに反映された映像座標Ｐｆ（Ｘｆ、Ｙｆ）を（数１）に代入してレンズの歪を含む投影映像座標Ｐｄ（Ｘｄ、Ｙｄ）を計算することで、カメラに装着されたＣＣＤセンサーの座標測定誤差が補正される。

次に、下記の（数３）にレンズの歪を含む投影映像座標値Ｐｄ（Ｘｄ、Ｙｄ）と歪補正値（Ｄ）とを代入して、レンズの歪が補正されて理想的に投影された映像座標（Ｐｕ）を求めることにより、レンズによる歪が補正される。

次に、下記の（数４）に上記理想的に投影された映像座標（Ｐｕ）、焦点距離（ｆ）、及びｚ軸距離（ｚｐ）を代入してカメラ座標系で表示した位置（Ｐ）を求め、この値とスケール変数値（Ｒ、Ｔ）とを次の（数５）に代入して実座標系で表示した位置（Ｐｗ）を算出する。
ここで、上記焦点距離はカメラレンズのｚ軸上の焦点距離を表し、上記ｚ軸距離（ｚｐ）はカメラ座標系で表示した位置（Ｐ）のｚ座標を表す。

ここで得た車線の実座標系Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）のデータを、例えば推計学的手法によって演算処理すれば、実座標系において、左右それぞれの車線の実座標直線を直線方程式として算出することができる。

図３は、車両の走行方向が左側に偏向した状態の３次元マッピングの結果を示す模式図であり、図４は車両の車両の走行方向が右側に偏向した状態の３次元マッピングの結果を示す模式図である。
図３の左側図面に、右側のバックミラーに設置されたカメラから、網掛け部で示す撮影の方向４８０を撮影した撮影映像を示す。映像車線４２０は、上記の過程を経て、右側図面に実座標値（Ｐｗ）で形成される右側車線の実座標直線４００に３次元マッピングされる。同様に、図４の左側図面に示す映像車線５２０は、上記の過程を経て、右側図面に実座標値（Ｐｗ）で形成される左側車線の実座標直線５１０にマッピングされる。

本発明の第２ステップは、車線の実座標直線と方向の実座標直線が成す方向角（θ）と、車線の実座標直線とサイドボディーラインの実座標直線との間の側面距離（Ｌ）と、を算出する段階（Ｓ−５）である。
より詳細には、３次元マッピングにより形成された右側車線の実座標直線４００，５００と方向線の実座標直線４３０，５３０が成す右側方向角（θＲ）と、前記左側車線の実座標直線４１０、５１０と方向線の実座標直線４３０、５３０とが成す左側方向角（θＬ）と、前記右側車線の実座標直線４００、５００と右サイドボディーラインの実座標直線４５０，５５０との間の右側面距離（ＬＲ）と、前記左側車線の実座標直線５１０と左サイドボディーライン４６０、５６０の実座標直線の間の左側面距離（ＬＬ）と、を算出する段階を含む。この際、方向線の実座標直線４３０、５３０と、右サイドボディーラインの実座標直線４５０、５５０と、左サイドボディーラインの実座標直線４６０、５６０と、は互いに平行であり、これらが車線の実座標直線と成す角は同位角又は錯角であり、何れも同一の角度である。

ここで、方向角と側面距離とは、車両の走行方向が左側に偏向した状態と右側に偏向した状態に区分して、下記のように算出できる。
即ち、図３に示すように、車両の走行方向が左側に偏向した時には、右側車線の実座標直線４００を基準にして右側方向角（θＲ）を算出し、左側車線の実座標直線４１０を基準にして左側面距離（ＬＬ）を算出する。

また、図４に示すように、車両の走行方向が右側に偏向した時には、左側車線の実座標直線５１０を基準にして左側方向角（θＬ）を算出し、右側車線の実座標直線５００を基準にして右側面距離（ＬＲ）を算出する（Ｓ−５）。この際、車両の走行方向が右側に偏向した時に算出された右側方向角（θＲ）と左側方向角（θＬ）は錯角であるので同一の角度であり、車両の走行方向が右側に偏向した時に算出された左側方向角（θＬ）と右側方向角（θＲ）も錯角であるので同一の角度である。 また、上記左右側面距離（ＬＲ，ＬＬ）は、車両の走行方向を示す方向線（４３０、５３０、矢印の方向が車両の走行方向である）と直交する直線（４４０、４５０）が車両のサイドボディーラインの実座標直線と交差する点から、前記車線の実座標直線と交叉する点までの距離である。

より具体的には、右側面距離（ＬＲ）は、車両を上方から見た平面図において、車両の方向線の実座標直線（４３０、５３０）と直交する直線（４４０、５４０）が、車両の右側サイドボディーラインの実座標直線（４５０、５５０）と交差する点から、左側車線の実座標直線（４００、５００）と交差する点までの距離である。また、左側面距離（ＬＬ）は、前記直線が、車両の左側サイドボディーラインの実座標直線（４６０、５６０）と交差する点から、左側車線の実座標直線の実座標直線（４１０、５１０）と交差する点までの距離（ＬＲ）である。

この車両の方向線と直交する直線の位置は任意であるが、例えばサイドボディーラインの中央と、サイドミラーと、車両の前端と、車両の後端と、の内の何れか１を前記平面図に垂直投影した点を含む直線であることが好ましい。

図５は、本発明による自動車用車線離脱防止方法の離脱距離の解説図である。
本発明の第３ステップは、方向角（θ）及び側面距離（Ｌ）から車線離脱距離（Ｇ）を算出する段階（Ｓ−６）である。
図５に示すように、方向角（θ）と側面距離（Ｌ）とは直角三角形を形成し、以下の（数６）に方向角（θＬ、θＲ）と側面距離（ＬＬ、ＬＲ）とを代入して車線の離脱距離（Ｇ）を算出することができる。

車両の走行方向が右側に偏向した時には（数６）に右方向角（θＲ）と右側面距離（ＬＲ）とを代入し、車両の走行方向が左側に偏向した時には（数６）に左方向角（θＬ）と左側面距離（ＬＬ）とを代入して車線離脱距離（Ｇ）を算出する。

本発明の第４ステップは、車速センサーにより感知される車両速度から車線離脱時間を算出する段階（Ｓ−７）と、車線離脱距離（Ｇ）と車両速度から車線離脱時間を算出する段階（Ｓ−８）と、車線離脱時間が基準値以下の場合に警報する段階（Ｓ−９）と、から構成される。

この際、上記基準値は、運転者が発生した警報を認知して車線離脱方向に走行中の車両を正常方向に変更することにかかる充分の時間を考慮して設定することが好ましい。

本発明に係る自動車用車線離脱防止方法のフローチャートである。 Ｔｓａｉ’ｓ ｅｑｕａｔｉｏｎの手法の概要を占めす解説図である。 車両の進行方向が左側に偏向した時の３次元マッピング解説図である。 車両の進行方向が右側に偏向した時の３次元マッピング解説図である。 本発明による自動車用車線離脱防止方法の離脱距離の解説図である。 従来の自動車用車線離脱防止方法の構成図である。

符号の説明

４００、５００ 右側車線の実座標直線
４１０、５１０ 左側車線の実座標直線
４２０、５２０ 映像車線
４３０、５３０ 方向線の実座標直線
４４０、５４０ 方向線の実座標直線と直交する直線
４５０、５５０ 右サイドボディーラインの実座標直線
４６０、５６０ 左サイドボディーラインの実座標直線
４８０、５８０ 撮影の方向

Claims (6)

1. 左右のサイドミラーに設置したカメラを用いて車両の左右両側の後方を撮影し、それぞれの映像から、走行中の車線の車線映像を抽出し、抽出された車線映像を３次元マッピングして、右側車線の実座標直線と、左側車線の実座標直線と、を実座標系の直線方程式として算出する第１ステップと、
   前記右側車線の実座標直線と車両の方向線の実座標直線とが成す右側方向角（θＲ）と、前記左側車線の実座標直線と前記方向線の実座標直線とが成す左側方向角（θＬ）と、前記右側車線の実座標直線と前記車両の右側面との間の右側面距離（ＬＲ）と、前記左側車線の実座標直線と前記車両の左側面との間の左側面距離（ＬＬ）と、を算出する第２ステップと、
   前記右側方向角（θＲ）と前記右側面距離（ＬＲ）、又は、前記左側方向角（θＬ）と前記左側面距離（ＬＬ）から前記車両の車線離脱距離（Ｇ）を算出する第３ステップと、
   前記車線離脱距離（Ｇ）に基づいて、前記車両の前記車線からの離脱可能性を運転者に警報する第４ステップと、
   からなることを特徴とする自動車用車線離脱防止方法。
2. 前記３次元マッピングは、映像座標系から実座標系への変換に、Ｔｓａｉ’ｓ ｅｑｕａｔｉｏｎを用いて、カメラレンズによる歪を補正することを特徴とする請求項１に記載の自動車用車線離脱防止方法。
3. 前記右側面距離（ＬＲ）は、前記車両の方向線の実座標直線と直交する直線が、前記車両の右サイドボディーラインの実座標直線と交差する点から前記右側車線の実座標直線と交叉する点までの距離であり、前記左側面距離（ＬＲ）は、前記直線が前記車両の左サイドボディーラインの実座標直線と交差する点から前記左側車線の実座標直線と交叉する点までの距離であることを特徴とする請求項１に記載の自動車用車線離脱防止方法。
4. 前記第４ステップは、前記車線離脱距離（Ｇ）と、車速センサーにより感知される車両速度と、から前記車両の車線離脱時間を算出し、該車線離脱時間が基準値以下の場合に警報を発するステップであることを特徴とする請求項１に記載の自動車用車線離脱防止方法。
5. 前記車線離脱距離（Ｇ）は、下式（１）に方向角（θ）と側面距離（Ｌ）とを代入して算出することを特徴とする請求項１に記載の自動車用車線離脱防止方法。
   Ｇ＝ｔａｎ（９０−θ）＊Ｌ （１）
6. 前記車線離脱距離（Ｇ）の算出において、前記車両の走行方向が右側に偏向した時には（１）式の方向角（θ）に前記右側方向角（θＲ）を代入し、側面距離（Ｌ）には前記右側面距離（ＬＲ）を代入し、また走行方向が左側に偏向した時には、それぞれに前記左側方向角（θＬ）と前記左側面距離（ＬＬ）とを代入することを特徴とする請求項５に記載の自動車用車線離脱防止方法。