JP5823251B2 - 車線監視システム及び車線監視方法 - Google Patents
車線監視システム及び車線監視方法 Download PDFInfo
- Publication number
- JP5823251B2 JP5823251B2 JP2011230602A JP2011230602A JP5823251B2 JP 5823251 B2 JP5823251 B2 JP 5823251B2 JP 2011230602 A JP2011230602 A JP 2011230602A JP 2011230602 A JP2011230602 A JP 2011230602A JP 5823251 B2 JP5823251 B2 JP 5823251B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- vehicle
- automobile
- monitoring system
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
図1aに、本実施形態に係る車載システムの構成を示す。
車載システムは自動車に搭載されるシステムであり、図1bに示すように自動車後部に配置され自動車後方を撮影する後方カメラ1と、後方カメラ1が撮影した画像フレームを格納するフレームメモリ2、車線監視装置3、車線監視装置3が作業に用いるワークメモリ4、スピーカ5、表示装置6などを備えている。
次に、このような構成において車線監視装置3が行う車線監視処理について説明する。
図2に、この車線監視処理の手順を示す。
図示するように、この処理では、まず、後方カメラ1が後方を撮影した最新の画像フレームをフレームメモリ2から取得し(ステップ202)、画像フレームに写り込んでいる後方の白線上の特徴点qiの座標を算出する(ステップ204)。
ここで、このステップ204で行う画像フレームに写り込んでいる後方の白線上の特徴点qiの座標の算出は以下のように行う。
すなわち、図3a、図4aに示すように、自動車の左右前後方向の中心Gを原点とし、自動車の右方向を正のY方向とし、自動車の後方向を正のX方向とするXY座標系を設定する。なお、図3は走行中の車線が直進する車線である場合の処理例を、図4は走行中の車線がカーブする車線である場合の処理例を示す図である。
そして、抽出した白線の領域301を、図3c、図4cに示すようにXY座標系に射影変換する。そして、X方向について所定間隔毎に、XY座標系に射影変換した白線の領域302のY方向の中点に特徴点qiを設定し、各特徴点qiのXY座標系上の座標(xi,yi)を、後方の白線上の特徴点qiの座標として算出する。
このカーブ判定処理の詳細については後述する。
そして、走行中の車線がカーブしていない車線であると判定された場合には(ステップ208)、各特徴点qiの座標に基づいて、図3dに示すように、後方の白線を直線y=ax+bに近似し、近似した直線y=ax+bを現在の白線近似線H(0)とする(ステップ210)。
より具体的には、この近似は、たとえば、最小自乗法によって、各特徴点qiについて求めた、yi-(axi+b)の自乗の合計をEとして、Eを最小とするa、bを算出することにより求める。
一方、走行中の車線がカーブしている車線であると判定された場合には(ステップ208)、各特徴点qiの座標より、図4dに示すように、後方の白線を曲線y=ax2+bx+cに近似し、近似した曲線y=ax2+bx+cを現在の白線近似線H(0)とする(ステップ212)。
より具体的には、この近似は、たとえば、たとえば、最小自乗法によって、各特徴点qiについて求めた、yi-(axi 2+bxi+c)の自乗の合計をEとして、Eを最小とするa、b、cを算出することにより求める。
すなわち、図5に示すように、自動車中心Gから自動車前端までのX方向の距離(自動車の全長の半分)をL、自動車中心Gから自動車白線側端(右端)までのY方向の距離(自動車の全幅の半分)をWとすれば、端T最寄りの白線上の点Kの座標は
Ky=D+Wとして、(-L、Ky)となる。
白線近似線H(0)式のxに-Lを代入すれば、Kyが求まり、これより距離Dが求まる。
すなわち、白線近似線H(0)が直線y=ax+bである場合には、
Ky =a (-L)+b が成り立ち、
D= a (-L)+b -Wとして、距離Dが求まる。
また、白線近似線H(0)が曲線y=ax2+bx+cである場合には、
Ky=a(-L)2+b(-L)+cが成り立ち、
D=a(-L)2+b(-L)+c-Wとして、距離Dが求まる。
さて、図2に戻り、白線と自動車前方白線側端Tとの距離Dを求めたならば、求めた距離Dが、所定のしきい値Thより小さく、かつ、自動車が白線側に移動しているかどうかを調べ(ステップ216)、そうでなければステップ202からの処理に戻り、そうであれば自動車の走行中車線からの逸脱の発生を予測し、スピーカ5や表示装置6から、自動車の車線から逸脱を警告する出力をドライバに対して行った上で(ステップ218)、ステップ202からの処理に戻る。
以上、車線監視装置3が行う車線監視処理について説明した。
次に以上の車線監視処理のステップ206で行うカーブ判定処理について説明する。
図6に、このカーブ判定処理の手順を示す。
図示するように、この処理では、白線のX=0となる位置における当該白線の向き、すなわち自動車の重心Gの左右方向の位置における白線の方向の、自動車の後方すなわちX方向に対する角度をθとして、上述した車線監視処理のステップ204で求めた各特徴点qiをXY座標系の原点を中心に-θ回転した特徴点の座標を特徴点piの座標として求まる。(ステップ602)。
ここで、このように各特徴点qiを回転させて得られた各特徴点piは、X方向、すなわち、自動車の後ろ方向が、自動車の重心Gの右方向の位置における白線の方向と一致していた場合に、後方カメラ1で撮影した画像より求まる各特徴点piに一致するものとなる。
ここで、(cxi、Δi)のΔiは、自動車の後ろ方向X=cxiの位置における白線の方向の、X=0の位置における白線の方向に対する傾きを表すものとなる。
次に、今回の傾きグラフS(0)と過去直近の所定期間内に作成したk個の傾きグラフS(-1)からS(-k)とを合成し、現在の合成傾きグラフTS(0)を作成する(ステップ606)。
すなわち、ステップ606では、図10aに走行中の車線が直線の車線である場合について、図10bに走行中の車線がカーブする車線である場合について示したように、今回の傾きグラフS(0)と過去直近の所定期間内に作成したk個の傾きグラフS(-1)からS(-k)の傾きデータQiを全てX-Δ座標系にプロットして現在の合成傾きグラフTS(0)を作成する。
以上のように、本実施形態によれば、自動車の車速及びヨーレート、もしくは、ヨーレートを検出したり、自動車の車速やヨーレートから自動車の位置や向きの変化を算出したりする必要なく、走行中の車線がカーブしている車線であるか否かを判定することができる。
また、以上では、便宜上、白線を認識対象とするものとして説明したが、本実施形態は、黄線その他の任意の車線境界線についても、同様に認識することができる。
Claims (14)
- 自動車に搭載される車線監視システムであって、
前記自動車後方を撮影する車載カメラと、
各時点において、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である複数の着目位置の各々について、当該着目位置における車線境界線の方向である着目方向の、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する方向差を、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離と共に検出する方向差検出手段と、
過去直近の複数の時点において前記方向差検出手段が検出した前記各方向差と前記奥行距離との関係を、方向差と距離とを次元とする2次元座標系上で近似する直線を算出し、算出した直線の傾きが所定値よりも大きい場合に、走行中の車線がカーブしている車線であると判定するカーブ判定手段とを有することを特徴とする車線監視システム。 - 請求項1記載の車線監視システムであって、
前記カーブ判定手段が、走行中の車線がカーブしている車線であると判定した場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する曲線を車線境界線形状として認識する車線認識手段を有し、
前記カーブ判定手段は、過去直近に前記車線認識手段が認識した車線境界線形状に従って、前記基準方向を算定することを特徴とする車線監視システム。 - 請求項2記載の車線監視システムであって、
前記車線認識手段は、前記カーブ判定手段が、走行中の車線がカーブしている車線であると判定した場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する曲線y=ax 2 +bx+cを車線境界線形状として認識することを特徴とする車線監視システム。 - 請求項1記載の車線監視システムであって、
前記カーブ判定手段が、走行中の車線がカーブしている車線であると判定した場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する曲線を車線境界線形状として認識する車線認識手段と、
過去直近に前記車線認識手段が認識した車線境界線形状に従って、前記自動車と車線境界線との間の距離である接近距離を算定する接近距離算出手段とを有し、
前記カーブ判定手段は、前記接近距離算出手段が算出した前記接近距離の変化より求まる前記自動車の車線境界線方向への移動速度と、前記自動車の走行速度の比に基づいて、前記基準方向を算定することを特徴とする車線監視システム。 - 請求項1、2、3または4記載の車線監視システムであって、
前記方向差検出手段は、前記車載カメラが撮影した自動車後方の画像より、自動車後方の車線境界線上の複数の参照点の、前記自動車に対して定められた点を原点とし前記自動車前後方向と前記自動車左右方向とを次元とする2次元座標系上の座標を求め、前記基準方向に対する前記自動車の前後方向の角度分、前記各参照点の座標を回転して得られる各回転後参照点の座標に基づいて、前記自動車前後方向に隣接する各二つの前記回転後参照点のいずれかまたは当該二つの回転後参照点の間の位置の各々を前記着目位置として、当該着目位置の前記自動車後方方向の座標を当該着目位置について検出する奥行距離として算定すると共に、当該二つの回転後参照点を結ぶ直線の傾きを、当該着目位置について検出する前記方向差として算定することを特徴とする車線監視システム。 - 請求項1、2、3、4または5記載の車線監視システムであって、
前記カーブ判定手段は、過去直近の複数の時点において前記車載カメラが撮影した自動車後方の画像に対して、前記方向差検出手段が検出した各方向差と前記奥行距離との関係が、前記奥行距離の増減に関わらず前記方向差が所定レベル以上大きく増減しないものであった場合に、走行中の車線が直進している車線であると判定することを特徴とする車線監視システム。 - 請求項2、3または4記載の車線監視システムであって、
前記カーブ判定手段は、過去直近の複数の時点において前記車載カメラが撮影した自動車後方の画像に対して、前記方向差検出手段が検出した各方向差と前記奥行距離との関係が、前記奥行距離の増減に関わらず前記方向差が所定レベル以上大きく増減しないものであった場合に、走行中の車線が直進している車線であると判定し、
前記車線認識手段は、前記カーブ判定手段が、走行中の車線が直進している車線であると判定した場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を前記車線境界線形状として認識することを特徴とする車線監視システム。 - 請求項6または7記載の車線監視システムであって、
前記カーブ判定手段は、過去直近の複数の時点において前記方向差検出手段が検出した各方向差と前記奥行距離との関係を、方向差と距離とを次元とする2次元座標系上で近似する直線の傾きが所定値よりも小さい場合に、走行中の車線が直進している車線であると判定することを特徴とする車線監視システム。 - 請求項2、3、4または7記載の車線監視システムであって、
前記車線認識手段が認識した車線境界線形状に基づいて、前記自動車の走行中車線からの逸脱を予測する逸脱予測手段を有することを特徴とする車線監視システム。 - 自動車に搭載される車線監視システムにおいて、前記自動車後方を撮影する車載カメラが撮影した自動車後方の画像に基づいて、走行中の車線がカーブしている車線であることを検出する車線監視方法であって、
前記車線監視システムが、各時点において、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である複数の着目位置の各々について、当該着目位置における車線境界線の方向である着目方向の、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する方向差を、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離と共に検出する方向差検出ステップと、
前記車線監視システムが、過去直近の複数の時点において前記方向差検出ステップで検出した前記各方向差と前記奥行距離との関係を、方向差と距離とを次元とする2次元座標系上で近似する直線を算出し、算出した直線の傾きが所定値よりも大きい場合に、走行中の車線がカーブしている車線であると判定するカーブ判定ステップとを有することを特徴とする車線監視方法。 - 請求項10記載の車線監視方法であって、
前記車線監視システムが、前記カーブ判定ステップで、走行中の車線がカーブしている車線であると判定された場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する曲線を車線境界線形状として認識する車線認識ステップを有し、
前記カーブ判定ステップにおいて、過去直近に前記車線認識ステップで認識した車線境界線形状に従って、前記基準方向を算定することを特徴とする車線監視方法。 - 請求項10記載の車線監視方法であって、
前記車線監視システムが、前記カーブ判定ステップで、走行中の車線がカーブしている車線であると判定された場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する曲線を車線境界線形状として認識する車線認識ステップと、
前記車線監視システムが、過去直近に前記車線認識ステップで認識した車線境界線形状に従って、前記自動車と車線境界線との間の距離である接近距離を算定する接近距離算出ステップとを有し、
前記カーブ判定ステップにおいて、前記接近距離算出ステップで算出した前記接近距離の変化より求まる前記自動車の車線境界線方向への移動速度と、前記自動車の走行速度の比に基づいて、前記基準方向を算定することを特徴とする車線監視方法。 - 請求項11または12記載の車線監視方法であって、
前記カーブ判定ステップにおいて、過去直近の複数の時点において前記車載カメラが撮影した自動車後方の画像に対して、前記方向差検出ステップで検出した各方向差と前記奥行距離との関係が、前記奥行距離の増減に関わらず前記方向差が所定レベル以上大きく増減しないものであった場合に、走行中の車線が直進している車線であると判定し、
前記車線認識ステップにおいて、前記カーブ判定ステップで、走行中の車線が直進している車線であると判定された場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を前記車線境界線形状として認識することを特徴とする車線監視方法。 - 請求項13記載の車線監視方法であって、
前記カーブ判定ステップにおいて、過去直近の複数の時点において前記方向差検出ステップで検出した各方向差と前記奥行距離との関係を、方向差と距離とを次元とする2次元座標系上で近似する直線の傾きが所定値よりも小さい場合に、走行中の車線が直進している車線であると判定することを特徴とする車線監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011230602A JP5823251B2 (ja) | 2011-10-20 | 2011-10-20 | 車線監視システム及び車線監視方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011230602A JP5823251B2 (ja) | 2011-10-20 | 2011-10-20 | 車線監視システム及び車線監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013089110A JP2013089110A (ja) | 2013-05-13 |
JP5823251B2 true JP5823251B2 (ja) | 2015-11-25 |
Family
ID=48532938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011230602A Expired - Fee Related JP5823251B2 (ja) | 2011-10-20 | 2011-10-20 | 車線監視システム及び車線監視方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5823251B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023535661A (ja) * | 2021-06-28 | 2023-08-21 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 車両の車線区画線踏み越え認識方法、装置、電子機器、記憶媒体及びコンピュータプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2707761B2 (ja) * | 1989-10-25 | 1998-02-04 | トヨタ自動車株式会社 | 車両状態量測定装置 |
JP3424334B2 (ja) * | 1994-06-21 | 2003-07-07 | 日産自動車株式会社 | 走行路検出装置 |
JPH08290728A (ja) * | 1995-04-21 | 1996-11-05 | Mitsubishi Motors Corp | オートクルーズ制御方法 |
JP3660308B2 (ja) * | 2001-05-18 | 2005-06-15 | 本田技研工業株式会社 | 車両の走行区分線認識装置 |
JP4697480B2 (ja) * | 2008-01-11 | 2011-06-08 | 日本電気株式会社 | 車線認識装置、車線認識方法および車線認識プログラム |
JP2010191661A (ja) * | 2009-02-18 | 2010-09-02 | Nissan Motor Co Ltd | 走行路認識装置、自動車及び走行路認識方法 |
-
2011
- 2011-10-20 JP JP2011230602A patent/JP5823251B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013089110A (ja) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106463064B (zh) | 物体识别装置和使用该物体识别装置的车辆行驶控制装置 | |
EP3176013B1 (en) | Predictive suspension control for a vehicle using a stereo camera sensor | |
US9235767B2 (en) | Detection region modification for driving assistance apparatus and driving assistance method | |
JP6501602B2 (ja) | レーン検出装置及びその方法、カーブ開始点検出装置及びその方法、並びに操舵アシスト装置及びその方法 | |
JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
JP4420011B2 (ja) | 物体検知装置 | |
US9912933B2 (en) | Road surface detection device and road surface detection system | |
US9187051B2 (en) | Method for detecting an imminent rollover of a vehicle | |
WO2014129312A1 (ja) | 車線境界線逸脱抑制装置 | |
JP2013225295A5 (ja) | ||
JP6337811B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6936098B2 (ja) | 対象物推定装置 | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
JP6115429B2 (ja) | 自車位置認識装置 | |
JP5832850B2 (ja) | 車線監視システム及び車線監視方法 | |
JP2013168057A (ja) | 道路境界判定装置及び道路境界判定方法 | |
JP4661602B2 (ja) | 後方車両解析装置及び衝突予測装置 | |
JP5823251B2 (ja) | 車線監視システム及び車線監視方法 | |
JP4768499B2 (ja) | 車載周辺他車検出装置 | |
JP6232883B2 (ja) | 自車位置認識装置 | |
JP6200780B2 (ja) | 車線認識判定装置 | |
JP5472928B2 (ja) | 対象物検出装置及び方法 | |
CN115943287A (zh) | 车辆姿态推断***及车辆姿态推断方法 | |
JP6057660B2 (ja) | 車線監視システム及び車線監視方法 | |
JP2004038760A (ja) | 車両用走行路認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5823251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |