JP2015165376A - 車線認識装置及び方法 - Google Patents
車線認識装置及び方法 Download PDFInfo
- Publication number
- JP2015165376A JP2015165376A JP2014131240A JP2014131240A JP2015165376A JP 2015165376 A JP2015165376 A JP 2015165376A JP 2014131240 A JP2014131240 A JP 2014131240A JP 2014131240 A JP2014131240 A JP 2014131240A JP 2015165376 A JP2015165376 A JP 2015165376A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- region
- interest
- image
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 230000014509 gene expression Effects 0.000 claims description 91
- 238000012886 linear function Methods 0.000 claims description 65
- 238000000605 extraction Methods 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】演算量が少なく、関心領域の柔軟な補正によって迅速性、エネルギー効率性及び精度を向上できる車線認識装置及び方法を提供する。【解決手段】車線認識装置は、車両の道路走行映像から車線の外郭線を抽出する車線外郭線抽出部110、道路走行映像の水平方向軸をx軸に、垂直方向軸をy軸にしたX−Y座標系を基準に、抽出された車線の外郭線に対応するxとyとの間の1次関数関係式を導出する車線検出部120、及び導出された1次関数関係式を用いて車線の位置を分析する車線位置分析部130、を含む。【選択図】図2
Description
本発明は、車線認識技術に関し、より詳しくは、車両用ブラックボックスのようなカメラセンサを通じて入力された車両の道路走行映像から車線を迅速且つ正確に認識する装置及び方法に関する。
近年、車両走行時の安全性または運転の便宜性などを増大させるため、多様な装置が車両に導入されている。そのうち代表的なものとして、道路走行時に車線を認識し、このような車線認識情報から車線離脱如何を感知するなどの関連情報を運転者に提供するシステムがある。
従来の車線認識技術は、ブラックボックスのようなカメラセンサを通じて道路走行映像が入力されれば、入力された映像から車線を認識するために、代表的にハフ変換(HoughTransformation)方式を用いる。このようなハフ変換方式によれば、X−Y座標系の車線をθ−ρ座標系に変換して車線を検出することで、車線の位置を分析する。このようなハフ変換方式について、図1を参照してより具体的に説明する。
図1は、従来のハフ変換方式によるX−Y座標系とθ−ρ座標系との変換関係を示した図である。
図1を参照すれば、X−Y座標系とθ−ρ座標系との間には、次のような関係式が成立され得る。
ρ=xcosθ+ysinθ
従来のハフ変換方式によって車線離脱を感知する技術によれば、X−Y座標系の車線をθ−ρ座標系に変換して車線を検出する。すなわち、θとρを変更しながら、車線の外郭線(edge)と前記関係式とが交差する線を検出し、θ−ρ座標系における車線の関係式を求める。また、検出した車線の位置を分析するため、θ−ρ座標系から再びX−Y座標系に逆ハフ変換(inverseHough transformation)する過程を経て車線の位置を求める。
従来のハフ変換方式によって車線離脱を感知する技術によれば、X−Y座標系の車線をθ−ρ座標系に変換して車線を検出する。すなわち、θとρを変更しながら、車線の外郭線(edge)と前記関係式とが交差する線を検出し、θ−ρ座標系における車線の関係式を求める。また、検出した車線の位置を分析するため、θ−ρ座標系から再びX−Y座標系に逆ハフ変換(inverseHough transformation)する過程を経て車線の位置を求める。
ところが、このような従来のハフ変換方式を用いて車線を認識し、その位置を分析する技術によれば、ハフ変換、逆ハフ変換などを行わねばならず、多くの三角関数が使用されるため、演算量が多くて演算速度が遅いという問題がある。したがって、このような多量の演算を適切に処理するためには、高性能CPUが必要であるだけでなく、電力消耗が多くなる問題も発生する。
また、従来の車線認識技術のうち一部の技術によれば、車線認識の速度を高めようとして、カメラセンサを通じて入力された全体の映像画面のうち一部の特定領域を関心領域に指定し、該関心領域内で車線を検出する。しかし、このような従来技術の場合、関心領域が固定されるため、実際の車線が関心領域から外れている場合は実際の車線の正確な検出が困難であり、また、車線の位置によっては不要な関心領域が過度に存在することがあり、車線認識の精度及び速度の向上に限界がある。
本発明は、上記問題点に鑑みてなされたものであり、演算量が少なく、関心領域の柔軟な補正によって迅速性、エネルギー効率性及び精度を向上させることができる車線認識装置及び方法を提供することを目的とする。
本発明の他の目的及び長所は、下記する説明によって理解でき、本発明の実施例によってより明らかに分かるであろう。また、本発明の目的及び長所は、特許請求の範囲に示される手段及びその組合せによって実現することができる。
上記の課題を達成するため、本発明による車線認識装置は、車両の道路走行映像から車線の外郭線を抽出する車線外郭線抽出部と、前記道路走行映像の水平方向軸をx軸に、垂直方向軸をy軸にしたX−Y座標系を基準に、前記抽出された車線の外郭線に対応するxとyとの間の1次関数関係式を導出する車線検出部と、前記導出された1次関数関係式を用いて車線の位置を分析する車線位置分析部とを含む。
望ましくは、前記車線検出部によって導出された1次関数関係式を用いて、映像に対する関心領域を設定する関心領域設定部をさらに含み、前記車線外郭線抽出部は前記関心領域設定部によって設定された関心領域内の車線に対する外郭線を抽出する。
望ましくは、前記車線検出部によって2つの1次関数関係式が導出された場合、前記関心領域設定部は、前記2つの1次関数関係式の交点を消失点として算出し、算出された消失点を用いて前記関心領域を設定する。
望ましくは、前記関心領域設定部は、前記消失点のy座標値を前記関心領域のy座標の上限値として設定し、前記車両のボンネットに対するy座標値を探索して、探索されたボンネットのy座標値を前記関心領域のy座標の下限値として設定する。
望ましくは、前記関心領域設定部は、前記消失点の位置及び車路幅の情報を用いて既に設定された関心領域を補正する。
望ましくは、前記車線検出部は、前記xとyとの間の1次関数関係式として次の関係式を導出する。
x = a×(y−yb)+xd
ここで、x及びyは変数であり、aは定数であってy値の増加量に対するx値の増加量の比率であり、ybは前記関心領域のy座標の下限値、xdは前記関心領域の下限線における前記1次関数関係式のx座標値を示す。
x = a×(y−yb)+xd
ここで、x及びyは変数であり、aは定数であってy値の増加量に対するx値の増加量の比率であり、ybは前記関心領域のy座標の下限値、xdは前記関心領域の下限線における前記1次関数関係式のx座標値を示す。
望ましくは、前記車線検出部は、前記関心領域の上限線に位置するt点及び前記関心領域の下限線に位置するd点をそれぞれ水平方向に移動させながら、t点とd点とを連結する直線が前記車線外郭線抽出部によって抽出された車線外郭線に重畳する画素数が最も多いとき、前記t点とd点とを連結する直線に対するxとyとの間の関係式を前記1次関数関係式として導出する。
望ましくは、前記車線検出部は、前記1次関数関係式として次の関係式を導出する。
x = [(xd−xt)/(yb−yv)]×(y−yb)+xd
ここで、x及びyは変数であり、xt及びyvは前記t点のx座標値及びy座標値を示し、xd及びybは前記d点のx座標値及びy座標値を示す。
x = [(xd−xt)/(yb−yv)]×(y−yb)+xd
ここで、x及びyは変数であり、xt及びyvは前記t点のx座標値及びy座標値を示し、xd及びybは前記d点のx座標値及びy座標値を示す。
望ましくは、車両の道路走行映像から車線以外の映像を少なくとも一部除去して車線を抽出することで、車線抽出映像を生成する車線抽出部をさらに含み、前記車線外郭線抽出部は、前記車線抽出映像から抽出された車線に対して外郭線を抽出する。
望ましくは、前記車線抽出部には、前記道路走行映像がグレー映像で入力され、前記車線抽出映像を二進化映像として生成する。
望ましくは、前記車線抽出部は、前記グレー映像の入力を受けて明度閾値を算出する車路明度算出パーツと、前記グレー映像から前記明度閾値以上の明さを有する画素のみを抽出して二進化映像を生成する明度基盤フィルタリングパーツと、前記明度基盤フィルタリングパーツによって抽出された画素のうち、幅を参照幅の範囲と比べて、前記参照幅の範囲から外れる幅を有する画素を前記二進化映像から除去する幅基盤フィルタリングパーツと、を備える。
望ましくは、前記車路明度算出パーツは、車路に該当する部分を複数の領域に分割し、各領域において画素明度の平均値を計算し、前記画素明度の平均値を基準に明度閾値を算出する。
望ましくは、前記幅基盤フィルタリングパーツは、車路幅に対する車線幅の比率を算出し、算出された比率を参照比率の範囲と比べて、前記参照比率の範囲から外れる比率を有する画素を前記二進化映像から除去する。
また、上記の課題を達成するため、本発明による車線認識方法は、車両の道路走行映像から車線の外郭線を抽出する段階と、前記道路走行映像の水平方向軸をx軸に、垂直方向軸をy軸にしたX−Y座標系を基準に、前記抽出された車線の外郭線に対応するxとyとの間の1次関数関係式を導出する段階と、前記導出された1次関数関係式を用いて車線の位置を分析する段階と、を含む。
本発明の一態様によれば、従来技術に比べて車線認識過程における演算量が少なくて演算速度を向上させることができる。
特に、本発明によれば、車線認識のためにX−Y座標系でxとyとの間の1次関数関係式を用いるため、従来技術のように三角関数を用いたハフ変換及び逆ハフ変換の過程を経る必要がない。
したがって、本発明のこのような態様によれば、車線認識速度が効果的に向上でき、演算に多くの電力消耗を要しないため、エネルギー効率性を向上させることができる。また、本発明のこのような態様によれば、高性能CPUを必要とせず、製造コストが減少できる。特に、本発明の具現に、汎用CPUを用いることができ、さらに、このような汎用CPUに含まれているFPU(FloatingPoint Unit)を使用でき、演算速度が一層速くなる。
また、本発明の一態様によれば、ブラックボックスのようなカメラセンサを通じて入力された車両の道路走行映像で、車線を認識するための有効領域である関心領域が固定されず、関心領域を状況に合わせて補正することができる。
したがって、本発明のこのような態様によれば、脱着式映像撮影装置のように、カメラの画角や設置位置などが変更されるか、又は、車路の曲率や幅など各種の道路状況が変更される場合にも、関心領域が柔軟性良く補正されることで、車線認識の精度が向上し、演算量が減少される。
本明細書に添付される次の図面は、本発明の望ましい実施例を例示するものであり、発明の詳細な説明とともに本発明の技術的な思想をさらに理解させる役割をするため、本発明は図面に記載された事項だけに限定されて解釈されてはならない。
従来のハフ変換方式によるX−Y座標系とθ−ρ座標系との変換関係を示した図である。
本発明の一実施例による車線認識装置の機能的構成を概略的に示したブロック図である。
映像撮影装置によって撮影された道路走行映像の一例を示した図である。
本発明の一実施例による車線の外郭線が抽出された映像を概略的に示した図である。
車線検出部により、車線外郭線に対応する1次関数関係式がX−Y座標系上で導出される過程を概略的に示した図である。
本発明の一実施例により、道路走行映像に対して関心領域が設定された構成を概略的に示した図である。
本発明の一実施例により、道路走行映像の関心領域内で車線に対応する1次関数関係式を導出する過程を図式化して示した図である。
本発明の一実施例による関心領域の補正過程を図式化して示した図である。
本発明の一実施例による車線抽出部の機能的構成を概略的に示したブロック図である。
本発明の一実施例による車路明度算出パーツによって明度閾値を算出する過程を図式化して示した図である。
本発明の一実施例による車線認識方法を概略的に示したフロー図である。
以下、添付された図面を参照して本発明の望ましい実施例を詳しく説明する。これに先立ち、本明細書及び請求範囲に使われた用語や単語は通常的や辞書的な意味に限定して解釈されてはならず、発明者自らは発明を最善の方法で説明するために用語の概念を適切に定義できるという原則に則して本発明の技術的な思想に応ずる意味及び概念で解釈されねばならない。
したがって、本明細書に記載された実施例及び図面に示された構成は、本発明のもっとも望ましい一実施例に過ぎず、本発明の技術的な思想のすべてを代弁するものではないため、本出願の時点においてこれらに代替できる多様な均等物及び変形例があり得ることを理解せねばならない。
図2は、本発明の一実施例による車線認識装置100の機能的構成を概略的に示したブロック図である。
図2を参照すれば、本発明による車線認識装置100は、車線外郭線抽出部110、車線検出部120及び車線位置分析部130を含む。
一方、本明細書において、車線とは、車両の走行方向を示す各種の線であって広義で用いられ、1車線、2車線などのように一般に一つの道路で同一方向に走行中の車両の走行進路を区分する狭義の車線は勿論、中央線、道路区画線、進路変更制限線、Uターン区画線、専用車線、誘導線などを含む。
本発明による車線認識装置は、その機能を具現するため、映像撮影装置10によって撮影された道路走行映像を用いることができる。すなわち、映像撮影装置10は、車両の道路走行映像を撮影し、撮影した道路走行映像を車線認識装置に提供することができる。
図3は、映像撮影装置10によって撮影された道路走行映像の一例を示した図である。
図3に示されたように、映像撮影装置10はカメラセンサを備えて車両の道路走行映像を撮影できる構成要素であって、車両用ブラックボックスがその代表的な形態である。ただし、本発明はこのような映像撮影装置の特定形態によって制限されず、映像を撮影できる多様な装置を映像撮影装置として使用することができる。例えば、従来の車両用ブラックボックスは勿論、映像を撮影できる他の装置、例えば、携帯電話、スマートホン、ノートパソコンまたはタブレットPCなどのような様々な装置が映像撮影装置として使用され得る。
一方、図2では、映像撮影装置が本発明による車線認識装置に含まれていないが、映像撮影装置が本発明による車線認識装置の一構成要素として含まれ得ることは勿論である。例えば、本発明による車線認識装置は、映像撮影部を含み、車線を認識するための道路走行映像を映像撮影部を用いて直接撮影することができる。
前記車線外郭線抽出部110は、映像撮影装置によって撮影された道路走行映像から、車線の外郭線を抽出することができる。
図4は、本発明の一実施例により、車線の外郭線が抽出された映像を概略的に示した図である。
図4を参照すれば、車線外郭線抽出部110は、Lで示されたように、道路走行映像に含まれた車線に対してその外郭線を抽出することができる。一般に車線は4つの辺を有する四角形であるため、各車線に対して外郭線は左辺、右辺、上辺及び下辺を備える形態で構成される。したがって、車線外郭線抽出部110は、このような車線の外郭線として、左側線分、右側線分、上部線分及び下部線分を抽出することができる。ただし、車線が実線で構成された場合、車線外郭線抽出部110は所定時間、車線の外郭線として左側線分及び右側線分のみを抽出することもある。
特に、車線外郭線抽出部110は、キャニーアルゴリズム(Cannyalgorithm)を用いて車線の外郭線を抽出することができる。ただし、本発明が必ずこのような実施例に限定されるものではなく、車線外郭線抽出部110は他の多様な方式で車線の外郭線を抽出することができる。
前記車線検出部120は、道路走行映像に対してX−Y座標系を基準に、車線外郭線抽出部110によって抽出された車線外郭線に対応するxとyとの間の1次関数関係式を導出する。このような車線検出部120の車線に対する関係式導出構成については、図5を参照してより詳しく説明する。
図5は、車線検出部120により、車線外郭線に対応する1次関数関係式がX−Y座標系上で導出される過程を概略的に示した図である。
図5を参照すれば、車線外郭線抽出部110によって車両の道路走行映像に対して車線の外郭線が抽出された場合、車線検出部120は、このように車線の外郭線が抽出された映像を用いて車線の外郭線に対する関係式をX−Y座標計上で導出することができる。
すなわち、道路走行映像に対して各画素の位置は、水平方向軸をx軸に、垂直方向軸をy軸にしたX−Y座標系上で説明することができる。このとき、このようなx軸とy軸とが交差する原点は、図示されたように、道路走行映像の左側上端部分になり得る。
前記車線検出部120は、道路走行映像に対してX−Y座標系を基準に車線外郭線に対応するxとyとの間の1次関数関係式を導出することができる。ここで、1次関数関係式はX−Y座標系上で直線を表すため、前記車線検出部120は車線外郭線に対応する直線を導出すると言える。
このとき、車線検出部120は、車線の外郭線のうち内側線分に該当する部分を基礎に、それに対応する直線を導出することができる。ここで、内側線分とは、1つの車線に対して車両の垂直中心軸に近い側の線分を意味し、左側車線の外郭線を基準にすれば右側線分を意味し、右側車線の外郭線を基準にすれば左側線分を意味する。
特に、前記車線検出部120は、車線抽出映像で車線外郭線に重畳する画素数が最も多い直線に対する関係式を、車線外郭線に対応する1次関数関係式として導出することができる。
例えば、図5の実施例において、前記車線検出部120は、道路走行映像のうち左側車線に対応する直線として、左側車線の外郭線と最も多い重畳画素を有するA1のような直線を把握することができる。また、前記車線検出部120は、このように把握されたA1に対応する関係式を左側車線に対応する1次関数関係式として導出することができる。
このとき、前記車線検出部120は、左側車線に対応する1次関数関係式を、図5のX−Y座標系から次の数式1のような形態で導出することができる。
x = a×(y−yb)+xd ………(数式1)
ここで、x及びyはX−Y座標系上における変数を示し、aは直線A1の傾きを示し、xd及びybは任意の点dの位置座標を示す。
このとき、前記車線検出部120は、左側車線に対応する1次関数関係式を、図5のX−Y座標系から次の数式1のような形態で導出することができる。
x = a×(y−yb)+xd ………(数式1)
ここで、x及びyはX−Y座標系上における変数を示し、aは直線A1の傾きを示し、xd及びybは任意の点dの位置座標を示す。
一方、前記車線検出部120は、道路走行映像のうち右側車線に対応する直線として、右側車線の外郭線と最も多い重畳画素を有するA2のような直線を把握することができる。また、前記車線検出部120は、このように把握されたA2に対応する関係式を右側車線に対応する1次関数関係式として導出することができる。
ここで、前記数式1の傾きaは、x、y座標上の2点、v(xv、yv)とd(xd、yb)を用いて次のように表すことができる。
a = (xd−xv)/(yb−yv) ………(数式2)
a = (xd−xv)/(yb−yv) ………(数式2)
したがって、数式2を数式1に代入すれば、数式1は次のように整理される。
x = [(xd−xv)/(yb−yv)]×(y−yb)+xd ………(数式3)
このような数式3は、数式1をx、y座標上の2つの点(v点及びd点)の位置で表したものであると言える。
x = [(xd−xv)/(yb−yv)]×(y−yb)+xd ………(数式3)
このような数式3は、数式1をx、y座標上の2つの点(v点及びd点)の位置で表したものであると言える。
一方、図5に示されたように、点v(xv、yv)は左側車線に対応する直線A1と右側車線に対応する直線A2との交点であり得るが、この場合、前記交点vは道路走行映像の消失点に該当すると言える。また、映像に映った車線は消失点に収束するため、前記車線検出部120は以降車線に対応する1次関数関係式を導出するとき、このような消失点を用いることができる。すなわち、前記車線検出部120は消失点vを基準に、直線A1に対する傾きを変更しながら、左側車線に対応する直線とそれに対する1次関数関係式を導出することができる。また、前記車線検出部120は、消失点vを基準に、直線A2に対する傾きを変更しながら、右側車線に対応する直線とそれに対する1次関数関係式を導出することができる。
前記車線位置分析部130は、車線検出部120によって導出された1次関数関係式を用いて車線の位置を分析する。特に、前記車線位置分析部130は、車線の位置として車線に対応する直線上の一点を車線の位置として分析することができる。
例えば、前記車線位置分析部130は、図5の実施例において、左側車線に対応する直線上の任意の一点、例えばy座標がybであるd点を基準に、d点のx座標であるxdを車線の位置として認識することができる。
前記車線位置分析部130は、左側車線の位置と右側車線の位置をそれぞれ分析することができる。また、このような左側車線と右側車線の位置から車路幅を求めることができる。このとき、前記車線位置分析部130は、このように求められた車路幅を車路幅の参照値と比べて、車路幅が参照値より小さい場合、車線以外の路面表示などが車線として間違って認識されたと判断し、このような情報を他の構成要素、例えば車線検出部120などに提供することができる。
また、前記車線位置分析部130は、分析された車線の位置が車路の中央にあり、車線の傾きが垂直に近いと判断される場合、該当車線に対しては他の路面表示が車線として間違って認識されたと判断することができる。
望ましくは、前記車線認識装置は、図2に示されたように、関心領域設定部140をさらに含むことができる。
前記関心領域設定部140は、道路走行映像で関心領域を設定する。ここで、関心領域とは、道路走行映像のうち車線を認識しようとする有効領域を意味すると言える。したがって、道路走行映像で関心領域以外の領域は、関心のない領域、すなわち車線を認識しようとしない領域を意味すると言える。
したがって、本発明のこのような構成によれば、有効な関心領域内でのみ車線認識が行われるため、演算量を減らすことができる。
特に、本発明において、前記関心領域設定部140は、車線検出部120によって車線に対応する1次関数関係式が導出された場合、このような1次関数関係式を用いて道路走行映像に対する関心領域を設定することができる。
すると、前記車線認識装置の他の構成要素、例えば、車線外郭線抽出部110、車線検出部120及び車線位置分析部130はこのように設定された関心領域に基づいて各動作を行うことができる。
図6は、本発明の一実施例により、道路走行映像に対して関心領域が設定された構成を概略的に示した図である。
図6を参照すれば、前記関心領域設定部140は、道路走行映像に対して点線Cで示されたような領域を関心領域として設定することができる。すると、前記車線外郭線抽出部110は、道路走行映像からCで示された関心領域内に含まれた車線のみに対して外郭線を抽出することができる。
本発明のこのような構成によれば、道路走行映像のうち関心領域内でのみ車線外郭線抽出動作を行うことで、車線外郭線の抽出に関する動作速度及び精度を向上させる一方、車線認識装置にかかる負荷を減少させることができる。
特に、前記関心領域設定部140によって設定される関心領域は、上限線及び下限線を備えることができ、遠近感を考慮して台形状に構成され得る。
望ましくは、車線検出部120によって2つの1次関数関係式が導出された場合、前記関心領域設定部140は、このような2つの1次関数関係式の交点を消失点として算出し、算出された消失点を用いて関心領域を設定することができる。
例えば、図6に示されたように、道路走行映像には車両を基準に左側車線と右側車線が存在し、このような左側車線と右側車線は消失点に収束し得る。したがって、左側車線に対応する直線A1の関係式と右側車線に対応する直線A2の関係式とは、傾きが相異なり、交点v(xv、yv)で交差する。このとき、交点vは道路走行映像の消失点と言える。したがって、前記関心領域設定部140は、このように左側車線と右側車線に対応する2つの直線に対する1次関数関係式の交点を消失点と見なし、このような消失点を用いて関心領域を設定することができる。
特に、前記関心領域設定部140は、消失点vのy座標値を関心領域のy座標の上限値として設定することができる。すなわち、図6の実施例において、消失点vのy座標値はyvであるため、このようなyvを関心領域のy座標の上限値として設定することができる。ここで、関心領域のy座標の上限値は道路走行映像において、関心領域の上限線に対するy座標値であると言える。したがって、関心領域の上限線は、y=yv直線の一部であるとも言える。
一方、前記関心領域設定部140は、消失点から左側と右側の水平方向に所定画素(距離)、すなわち図6においてv1で示された分の離隔した点tmin及び点tmaxをそれぞれ関心領域の上限線に対する左側限界点及び右側限界点として設定することができる。このような関心領域の上限線に対する左側限界点及び右側限界点は、次の映像で消失点が変更する可能性を考慮したマージン部分であると言える。
また、前記関心領域設定部140は、車両のボンネットを把握し、把握されたボンネットに対するy座標値を探索して、探索されたボンネットのy座標値を関心領域のy座標の下限値として設定することができる。すなわち、図6のBで示されたように、ブラックボックスのような映像撮影装置によって撮影された道路走行映像にはボンネットが含まれ得るが、前記関心領域設定部140はこのようなボンネットの最も上部に位置する部分のy座標値ybを関心領域のy座標の下限値として設定することができる。この場合、関心領域の下限線は、y=yb直線の一部であるとも言える。
ここで、前記関心領域設定部140は、水平エッジ抽出アルゴリズムを用いてボンネットのy軸方向位置(yb)を検出することができる。特に、前記関心領域設定部140は、ボンネット探索の速度を向上させるため、消失点から下向に所定画素離隔した地点から下向にボンネットを探索する動作を行うことができる。
ただし、カメラセンサの垂直方向の設置角度によって、または、トラックなどの場合、映像にボンネットが含まれないこともあって、この場合、関心領域設定部140はボンネットを探索できないこともあり得る。このようにボンネットが探索されなければ、関心領域設定部140はカメラの垂直画角を考慮して消失点から所定距離下方に位置する部分、または、映像の下端から所定距離上方に位置する部分を関心領域の下限線として設定するなど、多様な方式で関心領域の下限線を決定し得る。
一方、前記関心領域設定部140は、図6に示されたように、関心領域の左側限界線が車路の左側に位置するように関心領域の下限線の左側限界点dminを設定し、関心領域の右側限界線が車路の右側に位置するように関心領域の下限線の右側限界点dmaxを設定することができる。
例えば、図6に示されたように、関心領域の下限線と左側車線に対応する直線との交点をd1とし、関心領域の下限線と右側車線に対応する直線との交点をd2とする場合、関心領域設定部140は車線位置分析部130からd1とd2に関する座標情報の伝送を受けることができる。すると、前記関心領域設定部140は、d1から左側方向に所定画素離隔した地点dminを関心領域下限線の左側限界点として設定し、d2から右側方向に所定画素離隔した地点dmaxを関心領域下限線の右側限界点として設定することができる。
一方、システムの駆動初期などには消失点及び車線に対する情報がないことがある。また、消失点及び車線に対する情報があっても、誤った情報又は誤謬を含む情報である場合もあり得る。このような場合、前記関心領域設定部140は、道路走行映像のうち任意の部分に消失点があると仮定し、関心領域を設定することができる。特に、前記関心領域設定部140は、映像の中央に消失点があると仮定することができる。この場合、前記関心領域設定部140は、このように仮定した消失点の下向に一定画素ほど離隔した所から水平エッジ検出アルゴリズムを用いてボンネットの位置を探索することができる。また、関心領域設定部140は、このように仮定及び探索された消失点及びボンネット位置を用いて、上記と同様に関心領域を設定することができる。
望ましくは、前記関心領域設定部140は、既に設定された関心領域を補正することができる。すなわち、関心領域設定部140は、以前の道路走行映像から得られた情報に基づいて設定されるか、又は、任意に設定された関心領域を補正することができる。このとき、前記関心領域設定部140は、関心領域を補正するために消失点の位置及び車路幅の情報を用いることができるが、これについては後述する。
このように、関心領域設定部140によって補正を含めて関心領域の設定が行われれば、車線認識装置の各構成要素はこのような関心領域に基づいて各動作を行うことができる。
例えば、前記車線認識装置は、関心領域内の映像のみに対して、車線外郭線を抽出し、抽出された車線外郭線に対応するxとyとの間の1次関数関係式を導出し、車線の位置を分析することができる。
特に、前記車線検出部120は、消失点を基準に収束する1次関数の傾きを変更しながら車線を検出することができる。例えば、図5のように、以前映像で消失点がv(xv、yv)として決定された場合、前記車線検出部120は、次の道路走行映像に対して、直線の一端を点vに固定した状態で、直線の他端を関心領域の下限線に沿って移動させながら、左側車線と右側車線に対応するそれぞれの直線を検出することができる。すなわち、前記車線検出部120は、直線の他端である点d(xd、yb)をdminからdmaxに移動しながら車線に最も対応する直線を検出し、検出された直線の1次関数関係式を導出することができる。
このとき、車線に対応する直線の1次関数関係式は、数式1のような形態で導出され得る。すなわち、前記車線検出部120は、車線外郭線に対応するxとyとの間の1次関数関係式として、
x = a×(y−yb)+xd ………(数式1)
を導出することができる。
ここで、x及びyは変数であり、aは定数であってy値の増加量に対するx値の増加量の比率であり、ybは関心領域のy座標の下限値、xdは関心領域の下限線における1次関数関係式のx座標値を示すと言える。特に、xd及びybは関心領域の下限線と車線に対応する直線とが交差する交点のx座標及びy座標であるとも言える。
x = a×(y−yb)+xd ………(数式1)
を導出することができる。
ここで、x及びyは変数であり、aは定数であってy値の増加量に対するx値の増加量の比率であり、ybは関心領域のy座標の下限値、xdは関心領域の下限線における1次関数関係式のx座標値を示すと言える。特に、xd及びybは関心領域の下限線と車線に対応する直線とが交差する交点のx座標及びy座標であるとも言える。
一方、数式1のような車線に対応する1次関数関係式において、aは数式2のようである。したがって、前記車線検出部120は、車線に対応する1次関数関係式を、数式3のように表すこともできる。
より望ましくは、前記車線検出部120は、車線に対応する1次関数関係式を導出するため、1次関数関係式に該当する直線の一端を関心領域の上限線内で左右方向に移動させ、直線の他端を関心領域の下限線内で左右方向に移動させながら、車線に最も対応する直線を抽出するように構成することができる。以下、図7を参照してより詳しく説明する。
図7は、本発明の一実施例により、道路走行映像の関心領域内で車線に対応する1次関数関係式を導出する過程を示した図である。
図7は、本発明の一実施例により、道路走行映像の関心領域内で車線に対応する1次関数関係式を導出する過程を示した図である。
図7を参照すれば、道路走行映像に対して関心領域Cが設定されており、このような関心領域内に含まれる車線のみに対して外郭線が示されている。このような関心領域は、関心領域設定部140によって設定できるが、関心領域設定部140は以前の走行映像から導出された消失点v(xv、yv)及び車線に基づいて関心領域を設定することができる。
図7の実施例において、関心領域の上限線のy座標はyvであり、上限線の左側限界点はtmin(xt−min、yv)、上限線の右側限界点はtmax(xt−max、yv)で示される。また、関心領域の下限線のy座標はybであり、下限線の左側限界点はdmin(xd−min、yb)、下限線の右側限界点はdmax(xd−max、yb)で示される。
このような状況で、前記車線検出部120は、関心領域の上限線上に位置するt点及び関心領域の下限線上に位置するd点をそれぞれ水平方向に移動させながら、t点とd点とを連結する直線が車線の外郭線と最も多い画素数で重畳するとき、該当直線の関係式を車線に対応する1次関数関係式として導出する。すなわち、前記車線検出部120は、t点をtminとtmaxとの間で移動させ、d点をdminとdmaxとの間で移動させながら、車線に対応する直線A3の1次関数関係式を導出することができる。
ここで、前記車線検出部120は、図7の実施例を基準に、車線に対応する1次関数関係式を次のような数式として導出することができる。
x = [(xd−xt)/(yb−yv)]×(y−yb)+xd………(数式4)
ここで、x及びyは変数であり、xt及びyvは前記t点のx座標値及びy座標値を示し、xd及びybは前記d点のx座標値及びy座標値を示す。
x = [(xd−xt)/(yb−yv)]×(y−yb)+xd………(数式4)
ここで、x及びyは変数であり、xt及びyvは前記t点のx座標値及びy座標値を示し、xd及びybは前記d点のx座標値及びy座標値を示す。
一方、上述したように、前記車線検出部120は、車線に対応する1次関数関係式を導出するとき、車線の外郭線に重畳する画素数を基準にし得る。すなわち、前記車線検出部120は、車線の外郭線に重畳する画素数が最も多い直線を車線に対応する直線と見なし、該直線に対する関係式を車線に対応する1次関数関係式として導出することができる。
ここで、前記車線検出部120は、車線の外郭線に重畳する画素数に関する車線検出閾値を設定することができる。したがって、車線検出部120は、車線の外郭線に重畳する画素数が最も多い直線であっても、該当直線の重畳画素数が車線検出閾値を超えなければ、車線に対応する直線として判断せず、車線を検出できなかったと見なし得る。また、前記車線検出部120は、車線検出閾値を超える車線関係式が多く検出される場合、ノイズが検出されたと見なし、新たに車線を検出し得る。
このとき、前記車線検出部120は、車線検出閾値を関心領域の高さに比例して設定することができる。例えば、図7において、前記関心領域の高さはyb−yvであると言えるが、車線検出部120はこのような関心領域の高さに比例して車線検出の閾値を設定することができる。例えば、車線検出部120は、関心領域の高さが低い場合より高い場合に車線検出閾値が相対的に高くなるようにすることができる。
一方、前記車線検出部120は、数式4のような1次関数関係式を2つ導出することができる。すなわち、図7に示されたように、一般に車線は道路走行映像の関心領域内で車両を基準に左側車線及び右側車線の2つが存在するため、車線検出部120はt点とd点を移動させながら、左側車線に対応する1次関数関係式及び右側車線に対応する1次関数関係式をそれぞれ導出することができる。この場合、前記車線検出部120は、関心領域に対してx=xvの線を基準に左側関心領域と右側関心領域とに区分した後、左側関心領域で左側車線に対応する1つの1次関数関係式を導出し、右側関心領域で右側車線に対応する1つの1次関数関係式を導出することができる。
前記車線位置分析部130は、関心領域設定部140によって設定された関心領域を用いて車線の位置を分析することができる。特に、前記車線位置分析部130は、前記車線検出部120によって検出された車線関係式と関心領域設定部140によって設定された関心領域の下限線とが交差する点を車線の位置として分析することができる。例えば、前記車線位置分析部130は、図7において、車線に対応する直線と関心領域の下限線とが交差するd点を車線の位置として見なし得る。
一方、上述したように、関心領域設定部140は既に設定された関心領域を補正することができる。したがって、上記のように2つの1次関数関係式が導出されれば、前記関心領域設定部140は、導出された2つの関数間の交点を消失点と見なし、このような消失点に基づいて関心領域を補正することができる。以下、図8を参照してより詳しく説明する。
図8は、本発明の一実施例による関心領域の補正過程を図式化して示した図である。
図8を参照すれば、点線C1で示された領域は以前に決定された消失点v1に基づいて既に設定された関心領域を示す。前記車線認識装置は、このような関心領域C1に基づいて各動作を行うことができる。このとき、車線認識装置は車線外郭線を抽出し、それに対応する直線を図示されたようにA3及びA4として認識することができる。
すると、前記関心領域設定部140は、2つの直線A3とA4との交点v2を新たな消失点と見なし、このような消失点v2に基づいて新たな関心領域を設定し、既存の関心領域を補正することができる。すなわち、図8に実線C2で示されたように、前記関心領域設定部140は既に設定された関心領域C1とは異なる新たな関心領域C2を設定することができる。また、このように関心領域設定部140によって新たに設定された関心領域C2は、次に入力される道路走行映像に対する車線認識のための関心領域として用いられる。
また、前記関心領域設定部140は、車路幅の情報を用いて関心領域を補正することができる。
例えば、図8の実施例において、車線検出部120によって直線A3及びA4が検出された場合、関心領域C1の下限線においてA3とA4間の距離を車路幅としてRと示すことができる。このとき、車路幅Rが以前に関心領域C1を決定するときの車路幅と異なる場合、前記関心領域設定部140は関心領域の下限線の幅を調節することができる。例えば、新たに認識された車路幅Rが以前の車路幅より広くなった場合、前記関心領域設定部140は、関心領域C2の下限線の幅W2が関心領域C1の下限線の幅W1より広くなるように関心領域C2を設定することができる。
また、前記関心領域設定部140は、車線位置分析部130によって分析された車線の位置を考慮して関心領域を補正することができる。例えば、図8の実施例において、前記関心領域設定部140は、直線A3が関心領域の下限線と交差する点d3に基づいて、下限線の左側限界点dminの位置を決定することができる。例えば、関心領域設定部140は、d3が以前の映像より左側に移動した場合、dminも左側に移動させて新たな関心領域C2を設定することができる。このとき、前記関心領域設定部140は、d3の移動距離を考慮してdminの移動距離を決定することができる。また、前記関心領域設定部140は、直線A4が関心領域の下限線と交差する点d4に基づいて下限線の右側限界点dmaxの位置を決定することができる。
上記実施例のように、関心領域設定部140によって関心領域が補正される構成によれば、脱着式映像撮影装置のようにカメラの画角や設置位置などが変更される場合、車路幅が変化される場合、車路の曲率及び車両の回転によって消失点が変更される場合などにおいて、関心領域を柔軟性良く補正することができる。したがって、本発明のこのような態様によれば、多様な環境状況でそれぞれに適した最適の関心領域が維持され、車線認識のための演算量が減少して速度及び精度などを向上させることができる。
望ましくは、本発明による車線認識装置は、図2に示されたように、車線抽出部150をさらに含むことができる。
前記車線抽出部150は、図2のように、映像撮影装置によって車両の道路走行映像が撮影されれば、映像撮影装置から撮影された車両の道路走行映像の入力を受ける。また、前記車線抽出部150は、入力された映像から車線以外の映像を少なくとも一部除去することで車線を抽出する。
したがって、前記車線抽出部150は、道路走行映像から車線が抽出された車線抽出映像を生成することができる。ただし、このような車線抽出映像には車線以外の他の路面表示や車両のライトなどのような他の表示が含まれることもある。
このように、車線抽出部150によって車線抽出映像が生成されれば、車線認識装置の他の構成要素はこのような車線抽出映像に基づいて各機能を行うことができる。例えば、車線外郭線抽出部110は、車線抽出映像から抽出された車線に対して外郭線を抽出でき、車線検出部120は抽出された車線に対応する1次関数関係式を導出することができる。
望ましくは、前記車線抽出部150には、車両の道路走行映像がグレーレベル映像で入力され得る。また、前記車線抽出部150は、車線抽出映像を二進化映像として生成することができる。例えば、前記車線抽出部150は、映像撮影装置から入力されたグレー映像から、車線以外の映像を除去して二進化映像を生成し、このような二進化映像を車線外郭線抽出部110に提供することができる。すると、車線外郭線抽出部110は、このような二進化映像から車線の外郭線を抽出することができる。
図9は、本発明の一実施例による車線抽出部150の機能的構成を概略的に示したブロック図である。
図9を参照すれば、前記車線抽出部150は車路明度算出パーツ151、明度基盤フィルタリングパーツ152、及び幅基盤フィルタリングパーツ153を含むことができる。
前記車路明度算出パーツ151は、映像撮影装置から道路走行映像の入力を受けて明度閾値を算出することができる。特に、前記車路明度算出パーツ151は、映像撮影装置からグレー映像の入力を受けて、アスファルトのような車路面に該当する領域の平均明度を算出し、その明度を基準に明度閾値を算出することができる。このとき、車路面に該当するか否かは、車線認識装置の他の構成要素から入力された情報や道路走行映像の所定領域を基準にして判断することができる。
図10は、本発明の一実施例による車路明度算出パーツ151によって明度閾値を算出する過程を示した図である。
図10を参照すれば、前記車路明度算出パーツ151は、グレー映像にて、Rで示されたような車路に該当する部分を多数の領域に指定することができる。すなわち、前記車路明度算出パーツ151は、道路からLで示されたような車線を除いた車路に該当する部分を多数のブロック領域に分割することができる。また、前記車路明度算出パーツ151は、各領域における画素明度の平均値を計算し、計算された画素明度の平均値を基準に車線及び路面表示に該当する画素の明度閾値をともに算出することができる。例えば、前記車路明度算出パーツ151は、各ブロックでアスファルトに該当する画素明度の平均値から所定水準以上の明度を明度閾値として算出することができる。本発明のこのような構成によれば、車路の影及びその他のノイズに強い特性を有する。一方、前記車路明度算出パーツ151は、以前の段階で車線検出部120や車線位置分析部130によって認識された車線情報の入力を受けて、車路に該当する部分をブロックとして指定することができる。
前記明度基盤フィルタリングパーツ152は、画素の明度を基準に車路以外のノイズを除去することができる。特に、前記明度基盤フィルタリングパーツ152は、車路明度算出パーツ151によって算出された明度閾値を用いて車線以外の表示を除去することができる。例えば、前記明度基盤フィルタリングパーツ152は、映像撮影装置から入力されたグレー映像から、明度閾値以上の明度を有する画素のみを抽出して二進化映像を生成することができる。
ここで、明度基盤フィルタリングパーツ152は、車路明度算出パーツ151によって算出された明度閾値以上の明度を有する画素を抽出するが、明度閾値に比べて高過ぎる明度を有する画素に対しては二進化映像から除去することができる。このとき、明度閾値は、道路で車線を示すと見られる明度の最大値と言える。したがって、このような車線明度の最大値より高過ぎる明度を有する画素の場合、車両のヘッドライトやテールライト、または周辺の建物などのような光源を示す画素である可能性が高い。従って、前記明度基盤フィルタリングパーツ152は、このような光源と車線とを区分するため、明度閾値より高過ぎる明度を有する画素は車線を示す画素ではないと見なし、二進化映像から除去することができる。
例えば、前記明度基盤フィルタリングパーツ152は、明度閾値より所定水準以上高い明度を光源閾値として指定し、このような光源閾値以上の画素に対しては二進化映像に表示される画素から除去することができる。この場合、前記明度基盤フィルタリングパーツ152は、明度閾値と光源閾値との間の明度を有する画素のみを抽出して二進化映像を生成することができる。
望ましくは、前記車路明度算出パーツ151は、車線認識装置の他の構成要素からフィードバックされた情報に基づいて明度閾値を調節することができる。
例えば、前記車路明度算出パーツ151は、車線検出部120から車線が検出されなかったという情報の入力を受けた場合、明度閾値を以前段階より低く設定することができる。または、前記車路明度算出パーツ151は、車線検出部120からノイズが所定水準以上に認識されたという情報の入力を受けた場合、明度閾値を以前段階より高く設定することができる。
前記幅基盤フィルタリングパーツ153は、明度基盤フィルタリングパーツ152によって抽出された画素に対して、幅を基準に車線以外のノイズを除去することができる。上述したように、明度基盤フィルタリングパーツ152では明度を基準に抽出された画素に対して二進化映像が生成されるため、このように生成された二進化映像には、車線だけでなく車線以外の各種の路面表示に関する画素が含まれ得る。前記幅基盤フィルタリングパーツ153は、二進化映像から車線以外の各種の路面表示などをノイズとして除去することができる。
例えば、道路には車線の外に、左折や右折、Uターン、速度制限、各種の案内文字などが路面表示として含まれ得る。このような車線以外の路面表示は、車線と類似の明度を有し得るため、明度基盤フィルタリングパーツ152によっては車線以外の路面表示が除去されないこともある。したがって、前記幅基盤フィルタリングパーツ153は、二進化映像に含まれた画素のうち、路面表示の幅を基準にして車線と車線以外の他の路面表示とを区分することができる。
特に、前記幅基盤フィルタリングパーツ153は、明度基盤フィルタリングパーツ152によって特定画素のみが抽出された二進化映像に対し、二進化映像に含まれた表示のうち、幅が所定幅を超過するか又は所定幅の未満である表示に対してその画素を除去することができる。すなわち、前記幅基盤フィルタリングパーツ153は、明度基盤フィルタリングパーツ152によって抽出された画素のうち、幅を参照幅の範囲と比べて、参照幅の範囲から外れた幅を有する画素を二進化映像から表示せずに除去することができる。
例えば、参照幅の範囲が20〜30に設定されている場合、前記幅基盤フィルタリングパーツ153は、20未満の幅を有するか又は30超過の幅を有する路面表示に対し、車線ではなくノイズであると判断し、このような路面表示に関する画素を二進化映像から除去することができる。
望ましくは、前記幅基盤フィルタリングパーツ153は、車路幅に対する車線幅の比率を基準に、車線と車線以外の路面表示とを区分することができる。すなわち、前記幅基盤フィルタリングパーツ153は、車路幅に対する車線幅の比率を算出し、算出された比率を参照比率の範囲と比べて、このような参照比率の範囲から外れる比率を有する表示に対し、該当画素を二進化映像から除去することができる。ここで、参照比率の範囲は、例えば「警察庁交通路面表示設置管理マニュアル」などに示された規格に基づいて設定し得る。
一方、関心領域設定部140は、車線抽出部150に関心領域情報を提供し、車線抽出部150は関心領域内で車線を抽出することで車線候補抽出の速度を向上させることができる。また、車線抽出部150は、車線検出部120などから車線検出如何情報とノイズ検出如何情報の提供を受けて車線候補抽出の精度が向上する。
一方、本発明の一実施例による車線認識装置は、車線の種類を区分して認識することができる。一般的な道路の路面表示において、車線は中央線、一般車線、道路区画線、進路変更制限線、Uターン区域線、専用車線、誘導線などに分けられる。また、車線は点線、実線、複線などに分けられる。このようなそれぞれの車線は、塗色の長さ、間隔、幅、色相などが異なり得る。したがって、例えば車線認識装置の車線検出部120は、このような情報を予め貯蔵し、検出された車線の種類を区分することができる。
特に、前記車線検出部120は、中央線と一般車線とを区分して認識することができる。例えば、中央線の実線は幅が15〜20cmであり、一般車線の幅は10〜15cmであり得るが、前記車線検出部120は、車線外郭線の左右幅を考慮し、検出された車線が中央線であるか、それとも、一般車線であるかを区分することができる。
本発明のこのような構成によれば、車線の種類を区分して該当情報を車線離脱判断及び警報装置などに提供することで、大型事故の危険性を大幅に低減させることができる。例えば、車両が中央線を超えて発生した交通事故は、一般車線を超えて発生した交通事故より大きい被害をもたらし得るため、上記のように、認識された車線が中央線であるか又は一般車線であるかを区分できれば、中央線離脱の際、一層緊急な警告情報を発することができる。
また、本発明による車線認識装置は、実線と点線とを区分して認識することができる。例えば、前記車線検出部120は、車線に対応する直線と車線外郭線とが重畳する画素数を基準に、車線が実線であるか又は点線であるかを区分することができる。
一般に、点線は追い越しのような状況によって車線離脱を許容するが、実線は車線離脱を許容しない場合が多い。したがって、上記のように、車線検出部120によって認識された車線が点線であるか又は実線であるかが区分できれば、実線に対しては離脱の際、一層深刻な警告情報を発することができる。
一実施例として、本発明による車線認識装置の具現例を説明する。
例えば、車両が運行を始め、車線認識装置も動作し始める場合、関心領域が以前に設定されていない状態で最初に設定され得る。
初期には消失点及び車線に対する情報がないことがあり得るため、この場合、車線認識装置は、映像全体に対する車線検出を行って車線及び消失点を検出することができる。または、車線認識装置は、このように車線及び消失点に対する情報がないか又は情報に誤謬があると判断される場合、映像中央に消失点があると仮定することができる。
また、車線認識装置は、このように仮定または検出された消失点の下方に一定画素ほど離れた所から、水平エッジ検出アルゴリズムを用いてボンネットの位置を検索することができる。もし、ボンネットが検出されない場合、車線認識装置は映像にボンネットが撮影されなかったと見なし得る。
また、車線認識装置は、仮定または検出された消失点に基づいて、車線検出を行うことができる。車線が検出されない場合、車線認識装置は周辺画素に対して消失点仮定及び車線検出過程を繰り返して行うことができる。
もし、映像全体に対して車線を検出しても両方の車線がいずれも検出されない場合、車線認識装置は車両が走行車線上に位置していないと見なして一定時間待機することができる。一方、両方の車線が全て検出された場合、車線認識装置は、左側車線に対する1次関数関係式と右側車線に対する1次関数関係式との交点を消失点として算出することができる。次に、車線認識装置は算出した消失点、検出した車線、及びボンネットの位置を用いて関心領域を設定し、設定した関心領域を現在の映像及び/または次回の映像に適用することができる。
その後、車線認識装置は、関心領域内の映像に対して車線候補を抽出し、関心領域内の映像に対して車線候補に対応する1次関数関係式を導出して車線の位置を分析することができる。このとき、分析された車線の位置情報は関心領域の補正に用いられ、補正された関心領域は現在の映像フレーム及び/または次回の映像フレームに適用され得る。
一方、本発明による車線認識装置は、多様な装置形態で具現され得る。例えば、前記車線認識装置は、車に装着されたブラックボックスやナビゲーション機器で具現されるように構成することができる。この場合、本発明によるブラックボックスまたはナビゲーション装置は、上述した本発明による車線認識装置を含むことができる。
図11は、本発明の一実施例による車線認識方法を概略的に示したフロー図である。図11において、各段階の遂行主体は、上述した車線認識装置の各構成要素であると言える。
図11に示されたように、本発明による車線認識方法によれば、まず映像撮影装置で撮影された車両の道路走行映像に対して車線の外郭線が抽出され(S110)、道路走行映像の水平方向軸をx軸に、垂直方向軸をy軸にしたX−Y座標系を基準に、抽出された車線の外郭線に対応するxとyとの間の1次関数関係式が導出される(S120)。その後、導出された1次関数関係式を用いて車線の位置が分析される(S130)。
望ましくは、S110段階またはS120段階の前に、関心領域が補正を含めて設定される段階をさらに含み得る。この場合、S110段階及びS120段階は設定された関心領域に基づいて行われ得る。
以上のように、本発明を限定された実施例と図面によって説明したが、本発明はこれに限定されるものではなく、本発明の属する技術分野で通常の知識を持つ者によって本発明の技術思想と特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは言うまでもない。
一方、本明細書において、「車線外郭線抽出部」、「車線検出部」、「車線位置分析部」、「関心領域設定部」などで「部」という用語が用いられ、「車路明度算出パーツ」、「明度基盤フィルタリングパーツ」、「幅基盤フィルタリングパーツ」などで「パーツ」という用語が用いられたが、これは論理的な構成単位を表すものであって、必ず物理的に分離できるか又は物理的に分離されるべき構成要素を表すものではないという点は、本発明が属する技術分野の当業者にとって自明である。
すなわち、本発明におけるそれぞれの構成は、本発明の技術思想を実現するための論理的な構成要素に該当するため、それぞれの構成要素が統合または分離されても、本発明の論理構成が果たす機能が実現できれば、本発明の範囲内にあると解釈せねばならず、同一または類似の機能を果たす構成要素であれば、その名称の一致如何とは関係なく本発明の範囲内にあると解釈せねばならないことは勿論である。
10 映像撮影装置
100 車線認識装置
110 車線外郭線抽出部
120 車線検出部
130 車線位置分析部
140 関心領域設定部
150 車線抽出部
151 車路明度算出パーツ
152明度基盤フィルタリングパーツ
153幅基盤フィルタリングパーツ
100 車線認識装置
110 車線外郭線抽出部
120 車線検出部
130 車線位置分析部
140 関心領域設定部
150 車線抽出部
151 車路明度算出パーツ
152明度基盤フィルタリングパーツ
153幅基盤フィルタリングパーツ
Claims (14)
- 車両の道路走行映像から車線の外郭線を抽出する車線外郭線抽出部と、
前記道路走行映像の水平方向軸をx軸に、垂直方向軸をy軸にしたX−Y座標系を基準に、前記抽出された車線の外郭線に対応するxとyとの間の1次関数関係式を導出する車線検出部と、
前記導出された1次関数関係式を用いて、車線の位置を分析する車線位置分析部と、
を含むことを特徴とする車線認識装置。 - 前記車線検出部によって導出された1次関数関係式を用いて、映像に対する関心領域を設定する関心領域設定部をさらに含み、
前記車線外郭線抽出部が、前記関心領域設定部によって設定された関心領域内の車線に対する外郭線を抽出する、
ことを特徴とする請求項1に記載の車線認識装置。 - 前記車線検出部によって2つの1次関数関係式が導出された場合、
前記関心領域設定部が、前記2つの1次関数関係式の交点を消失点として算出し、算出された消失点を用いて前記関心領域を設定する、
ことを特徴とする請求項2に記載の車線認識装置。 - 前記関心領域設定部が、前記消失点のy座標値を前記関心領域のy座標の上限値として設定し、前記車両のボンネットに対するy座標値を探索して、探索されたボンネットのy座標値を前記関心領域のy座標の下限値として設定する、
ことを特徴とする請求項3に記載の車線認識装置。 - 前記関心領域設定部が、前記消失点の位置及び車路幅の情報を用いて既に設定された関心領域を補正する、
ことを特徴とする請求項3に記載の車線認識装置。 - 前記車線検出部が、前記xとyとの間の1次関数関係式として次の関係式を導出し、
x = a×(y−yb)+xd
ここで、x及びyは変数であり、aは定数であってy値の増加量に対するx値の増加量の比率であり、ybは前記関心領域のy座標の下限値、xdは前記関心領域の下限線における前記1次関数関係式のx座標値を示す、
ことを特徴とする請求項2に記載の車線認識装置。 - 前記車線検出部が、前記関心領域の上限線に位置するt点及び前記関心領域の下限線に位置するd点をそれぞれ水平方向に移動させながら、t点とd点とを連結する直線が前記車線外郭線抽出部によって抽出された車線外郭線に重畳する画素数が最も多いとき、前記t点とd点とを連結する直線に対するxとyとの間の関係式を前記1次関数関係式として導出する、
ことを特徴とする請求項6に記載の車線認識装置。 - 前記車線検出部が、前記1次関数関係式として次の関係式を導出し、
x = [(xd−xt)/(yb−yv)]×(y−yb)+xd
ここで、x及びyは変数であり、xt及びyvは前記t点のx座標値及びy座標値を示し、xd及びybは前記d点のx座標値及びy座標値を示す、
ことを特徴とする請求項7に記載の車線認識装置。 - 車両の道路走行映像から車線以外の映像を少なくとも一部除去して車線を抽出することで、車線抽出映像を生成する車線抽出部をさらに含み、
前記車線外郭線抽出部が、前記車線抽出映像から抽出された車線に対して外郭線を抽出する、
ことを特徴とする請求項1に記載の車線認識装置。 - 前記車線抽出部には、前記道路走行映像がグレー映像で入力され、前記車線抽出映像を二進化映像として生成する、
ことを特徴とする請求項9に記載の車線認識装置。 - 前記車線抽出部が、
前記グレー映像の入力を受けて明度閾値を算出する車路明度算出パーツと、
前記グレー映像から前記明度閾値以上の明度を有する画素のみを抽出して二進化映像を生成する明度基盤フィルタリングパーツと、
前記明度基盤フィルタリングパーツによって抽出された画素のうち、幅を参照幅の範囲と比べて、前記参照幅の範囲から外れた幅を有する画素を前記二進化映像から除去する幅基盤フィルタリングパーツと、
を備えることを特徴とする請求項10に記載の車線認識装置。 - 前記車路明度算出パーツが、車路に該当する部分を複数の領域に分割し、各領域における画素明度の平均値を計算し、前記画素明度の平均値を基準に明度閾値を算出する、
ことを特徴とする請求項11に記載の車線認識装置。 - 前記幅基盤フィルタリングパーツは、車路幅に対する車線幅の比率を算出し、算出された比率を参照比率の範囲と比べて、前記参照比率の範囲から外れる比率を有する画素を前記二進化映像から除去する、
ことを特徴とする請求項11に記載の車線認識装置。 - 車両の道路走行映像から車線の外郭線を抽出する段階と、
前記道路走行映像の水平方向軸をx軸に、垂直方向軸をy軸にしたX−Y座標系を基準に、前記抽出された車線の外郭線に対応するxとyとの間の1次関数関係式を導出する段階と、
前記導出された1次関数関係式を用いて車線の位置を分析する段階と、
を含むことを特徴とする車線認識方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140024568A KR101605514B1 (ko) | 2014-02-28 | 2014-02-28 | 차선 인식 장치 및 방법 |
KR10-2014-0024568 | 2014-02-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015165376A true JP2015165376A (ja) | 2015-09-17 |
Family
ID=54007021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014131240A Pending JP2015165376A (ja) | 2014-02-28 | 2014-06-26 | 車線認識装置及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150248771A1 (ja) |
JP (1) | JP2015165376A (ja) |
KR (1) | KR101605514B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020077102A (ja) * | 2018-11-06 | 2020-05-21 | 株式会社Subaru | 路面検出装置 |
JP7453008B2 (ja) | 2020-02-06 | 2024-03-19 | フォルシアクラリオン・エレクトロニクス株式会社 | 画像処理装置及び画像処理方法 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015162910A1 (ja) * | 2014-04-24 | 2015-10-29 | パナソニックIpマネジメント株式会社 | 車載用表示装置、車載用表示装置の制御方法、プログラム |
JP6483446B2 (ja) * | 2015-01-15 | 2019-03-13 | トヨタ自動車株式会社 | 複合線判定装置及び複合線判定方法 |
JP6512920B2 (ja) * | 2015-04-21 | 2019-05-15 | 本田技研工業株式会社 | レーン検出装置及びその方法、並びにレーン表示装置及びその方法 |
US10650252B2 (en) * | 2015-05-07 | 2020-05-12 | Hitachi, Ltd. | Lane detection device and lane detection method |
US10102434B2 (en) * | 2015-12-22 | 2018-10-16 | Omnivision Technologies, Inc. | Lane detection system and method |
US10102435B2 (en) | 2016-08-10 | 2018-10-16 | Omnivision Technologies, Inc. | Lane departure warning system and associated methods |
CN107886729B (zh) * | 2016-09-30 | 2021-02-23 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
CN107914600B (zh) * | 2016-10-11 | 2020-09-29 | 上海汽车集团股份有限公司 | 道路标线坐标自动采集设备、采集控制方法及控制装置 |
US10607094B2 (en) * | 2017-02-06 | 2020-03-31 | Magna Electronics Inc. | Vehicle vision system with traffic sign recognition |
CN107330380A (zh) * | 2017-06-14 | 2017-11-07 | 千寻位置网络有限公司 | 基于无人机航拍影像的车道线自动提取和识别方法 |
KR20190012370A (ko) * | 2017-07-27 | 2019-02-11 | 삼성에스디에스 주식회사 | 차선 변경 지원 방법 및 장치 |
DE102018100292A1 (de) * | 2018-01-09 | 2019-07-11 | Connaught Electronics Ltd. | Erfassung einer Fahrspurmarkierung durch ein Spurhaltewarnsystem eines Fahrzeugs |
KR102564856B1 (ko) | 2018-09-07 | 2023-08-08 | 삼성전자주식회사 | 차선을 검출하는 방법 및 장치 |
WO2020146980A1 (zh) * | 2019-01-14 | 2020-07-23 | 京东方科技集团股份有限公司 | 车道线识别方法、车道线识别装置以及非易失性存储介质 |
KR102250800B1 (ko) * | 2019-09-11 | 2021-05-11 | 한국도로공사 | 노면 객체 인식 기반의 차로 검출 장치 및 방법 |
CN112150559A (zh) * | 2020-09-24 | 2020-12-29 | 深圳佑驾创新科技有限公司 | 图像采集装置的标定方法、计算机设备及存储介质 |
KR102567276B1 (ko) * | 2022-01-27 | 2023-08-14 | 소종호 | 카메라 장치 및 이의 제어방법 |
CN114724117B (zh) * | 2022-06-07 | 2022-09-13 | 腾讯科技(深圳)有限公司 | 车道线关键点数据生成方法、装置、电子设备及存储介质 |
CN116110015A (zh) * | 2022-12-02 | 2023-05-12 | 中公高科养护科技股份有限公司 | 一种多车道病害分布图的绘制方法、介质及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003157499A (ja) * | 2001-11-20 | 2003-05-30 | Nissan Motor Co Ltd | 道路白線認識装置 |
JP2007328630A (ja) * | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置 |
JP2013196387A (ja) * | 2012-03-19 | 2013-09-30 | Pioneer Electronic Corp | 画像処理装置、及び画像処理方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020053346A (ko) * | 2000-12-27 | 2002-07-05 | 이계안 | 차선 모델링 시스템의 곡선로 인식방법 |
JP4392389B2 (ja) * | 2005-06-27 | 2009-12-24 | 本田技研工業株式会社 | 車両及び車線認識装置 |
JP4687563B2 (ja) * | 2006-05-23 | 2011-05-25 | 株式会社デンソー | 車両用レーンマーク認識装置 |
JP4692613B2 (ja) * | 2008-11-28 | 2011-06-01 | トヨタ自動車株式会社 | 車載装置、及び当該装置で用いられる方法 |
TWI434239B (zh) * | 2011-08-26 | 2014-04-11 | Ind Tech Res Inst | 後方來車變換車道預警方法及其系統 |
WO2013077096A1 (ja) * | 2011-11-25 | 2013-05-30 | 本田技研工業株式会社 | 車両周辺監視装置 |
US8750567B2 (en) * | 2012-04-09 | 2014-06-10 | GM Global Technology Operations LLC | Road structure detection and tracking |
JP5926645B2 (ja) * | 2012-08-03 | 2016-05-25 | クラリオン株式会社 | カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法 |
KR102058001B1 (ko) * | 2012-09-03 | 2020-01-22 | 엘지이노텍 주식회사 | 차선 보정 시스템, 차선 보정 장치 및 이의 차선 보정 방법 |
-
2014
- 2014-02-28 KR KR1020140024568A patent/KR101605514B1/ko active IP Right Grant
- 2014-06-26 JP JP2014131240A patent/JP2015165376A/ja active Pending
- 2014-06-27 US US14/318,442 patent/US20150248771A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003157499A (ja) * | 2001-11-20 | 2003-05-30 | Nissan Motor Co Ltd | 道路白線認識装置 |
JP2007328630A (ja) * | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置 |
JP2013196387A (ja) * | 2012-03-19 | 2013-09-30 | Pioneer Electronic Corp | 画像処理装置、及び画像処理方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020077102A (ja) * | 2018-11-06 | 2020-05-21 | 株式会社Subaru | 路面検出装置 |
JP7246165B2 (ja) | 2018-11-06 | 2023-03-27 | 株式会社Subaru | 路面検出装置 |
JP7453008B2 (ja) | 2020-02-06 | 2024-03-19 | フォルシアクラリオン・エレクトロニクス株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
KR101605514B1 (ko) | 2016-04-01 |
US20150248771A1 (en) | 2015-09-03 |
KR20150102546A (ko) | 2015-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015165376A (ja) | 車線認識装置及び方法 | |
KR101517181B1 (ko) | 차선 이탈 경보 시스템 및 방법 | |
US10970566B2 (en) | Lane line detection method and apparatus | |
CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
JP5783243B2 (ja) | 周期的静止物検出装置及び周期的静止物検出方法 | |
JP5401257B2 (ja) | 遠赤外線歩行者検知装置 | |
US9189691B2 (en) | Three-dimensional object detection device and three-dimensional object detection method | |
JP5402828B2 (ja) | 車線境界検出装置、車線境界検出プログラム | |
JPWO2012023412A1 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5874831B2 (ja) | 立体物検出装置 | |
Widyantoro et al. | Traffic lights detection and recognition based on color segmentation and circle hough transform | |
KR101772438B1 (ko) | 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법 | |
JP2012243051A (ja) | 環境認識装置および環境認識方法 | |
KR20150002038A (ko) | 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 | |
Liu et al. | ROI perspective transform based road marking detection and recognition | |
JP2015064752A (ja) | 車両監視装置、および車両監視方法 | |
JP2007316685A (ja) | 走路境界検出装置および走路境界検出方法 | |
JP5316337B2 (ja) | 画像認識システム、方法、及び、プログラム | |
JP2012150595A (ja) | 一時停止線検出装置及びプログラム | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
KR20120116204A (ko) | 선행차량을 이용한 차선 인식 장치 및 그 방법 | |
CN109886120B (zh) | 一种斑马线检测方法及*** | |
JP4842301B2 (ja) | 歩行者検出装置及びプログラム | |
KR20150002039A (ko) | 차량에 설치되어 있는 블랙박스와 같은 영상 단말기를 이용하여 영상에서 차선을 인식 경고, 기록하는 장치의 실시간성 확보를 위한 방법 | |
Huang et al. | Fast algorithm for structured and unstructured road detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160308 |