JP3732108B2 - 車線認識のための画像処理装置並びに画像処理法 - Google Patents
車線認識のための画像処理装置並びに画像処理法 Download PDFInfo
- Publication number
- JP3732108B2 JP3732108B2 JP2001114488A JP2001114488A JP3732108B2 JP 3732108 B2 JP3732108 B2 JP 3732108B2 JP 2001114488 A JP2001114488 A JP 2001114488A JP 2001114488 A JP2001114488 A JP 2001114488A JP 3732108 B2 JP3732108 B2 JP 3732108B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- search
- image processing
- low frequency
- lane marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、車両の予防安全を目的とした車線逸脱警報や、走行レーンをキープする操舵アシストなどの車両制御に使用する、車線認識情報を得るための画像処理装置と画像処理法に関するものである。
【０００２】
【従来の技術】
車両に搭載された撮像装置により得られた道路画像からレーンマーキング（白線）を検知して画像処理を行い、走行車線を認識する方法は従来より各種の技術が提案されている。例えば、特開２０００−１０５８９８号公報と、特開平１１−２３２４６７号公報とに開示された技術もその一例であり、車両前方のレーンマーキングを撮像して画像処理を行い、レーンマーキング間の間隔の増加などを検知した場合に道路の分岐点であると判断し、ナビゲーションのための自車両位置を確実に判定しようとするものである。
【０００３】
また、特開平６−２２５３０８号公報と、特開平１１−２８１３５２号公報とにはレーンマーキングを検出するための技術が開示されており、特開平６−２２５３０８号公報に開示された技術は、車載の撮像装置が撮影した画像内に水平方向のみに移動可能な白線検出用の複数の小さなウインドウを等間隔で設け、ウインドウの水平方向の位置を車両の挙動から予測したレーンマーキング位置に設定することにより、高速で確実に走行路の検出を行うものであり、特開平１１−２８１３５２号公報に開示された技術は、検出したレーンマーキングに基づく道路形状や車両挙動のパラメータを設定し、車両挙動の検出値に基づきこのパラメータを補正することにより道路形状を検出しようとするものである。
【０００４】
さらに、特開平９−９１４４０号公報には、撮影した道路画像を所定のモデルデータと比較して画像内の白線候補を抽出し、白線候補が複数存在する場合には車両の進行方向を検出してこの進行方向に基づいて白線候補を選択することにより、分岐点などにおいて進行方向の白線を認識して車両を制御する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
以上のような従来技術において、例えば特開２０００−１０５８９８号公報などのように、レーンマーキング間隔を検出して分岐点と判定ものにおいては、ナビゲーションの自車両位置の同定には有効であるが、リアルタイムに画像処理を行い車線認識するものにおいては、特開平９−９１４４０号公報に開示されているような処理を行わない限り、分岐側道路のレーンマーキングを誤認識することになり、車両制御を目的とした用途には適さないものである。また、特開平９−９１４４０号公報に開示された技術のように、道路形状のモデルデータと比較することにより白線候補を判定するものにおいては、事前に道路の分岐点などの存在を知ることができるが、画像処理装置内にモデルデータ格納用の大容量のメモリを必要とし、またデータ比較のために膨大な処理時間を必要とするため、ハードウェア・ソフトウェア共に負荷が非常に大きくなるものである。
【０００６】
この発明は、このような課題を解決するためになされたもので、ハードウェアの負荷を増大することなく、リアルタイムにレーンマーキングを正しく認識することが可能な車線認識のための画像処理装置並びに画像処理法を得ることを目的とするものである。
【０００７】
【課題を解決するための手段】
この発明に係わる車線認識のための画像処理装置は、車両の前方道路を撮影する撮影手段、前記撮影手段により得られた画像を記憶する記憶手段、前記記憶手段から読み出した画像に対してレーンマーキングの探査範囲を探査ウインドウとして設定する探査ウインドウ設定手段、前記探査ウインドウ内の画像からレーンマーキング位置を検出するレーンマーキング位置検出手段、前記レーンマーキング位置検出手段により検出された複数の前記レーンマーキング位置から近似するモデル式を設定して連続した前記レーンマーキング位置を数式化する車線認識手段、前記モデル式から前記探査ウインドウの探査基準点を算出する探査基準点算出手段、前記探査基準点算出手段が前記探査基準点を算出するとき、レーンマーキング位置の急変分を高周波成分として除去する低周波数域フィルタ手段を備え た車線認識のための画像処理装置であって、 前記探査ウインドウの設定が走行車線の左右のレーンマーキングに対して行われると共に、前記低周波数域フィルタが、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングの前記探査基準点の算出に対してのみ設定され、前記低周波数域フィルタが設定されない側の前記レーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタが無効にされるように構成したものである。
【０００８】
また、車線認識手段が低周波数域フィルタが設けられない側のレーンマーキングのモデル式を監視しており、モデル式から得られた道路の曲率が所定の条件を満たしたとき、低周波数域フィルタが無効にされるようにしたものである。
さらにまた、車線認識手段が車両の操作状態を監視しており、車両の操作状態が所定の条件を満たしたとき、低周波数域フィルタを無効にするようにしたものである。
【０００９】
また、この発明に係わる車線認識のための画像処理法は、自車両の前方道路から左右のレーンマーキングを含む道路画像を撮影し、前記道路画像に対して前記レーンマーキングの探査範囲を探査ウインドウとして設定すると共に、前記探査ウインドウ内の画像を探査して前記レーンマーキング位置を判定し、前記探査ウインドウを前記車両の進行方向に対して複数設定することにより複数のレーンマーキング位置を求め、前記複数のレーンマーキング位置から近似したモデル式を設定して連続したレーンマーキング位置を数式化し、前記モデル式から探査基準点を算出してこの探査基準点を基準にした前記探査ウインドウを設定すると共に、前記探査基準点の算出を所定の時定数を有する低周波数域フィルタを通して行う車線認識のための画像処理法であって、前記探査ウインドウの設定を左右のレーンマーキングに対して行い、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングに対する前記探査基準点を低周波数域フィルタを通して算出し、前記低周波数域フィルタを通さない側のレーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタを無効にするしたものである。
【００１０】
さらに、低周波数域フィルタを通さない側のレーンマーキングのモデル式を監視し、モデル式から得られた道路の曲率が所定の条件を満たしたとき、低周波数域フィルタを無効にするようにしたものである。
また、車両の操舵またはウインカー操作が行われたとき、あるいはヨーレートが所定値を越えたときに、低周波数域フィルタを無効にするようにしたものである。
【００１１】
【発明の実施の形態】
発明の基礎となる技術
図１ないし図８は、この発明の基礎となる車線認識のための画像処理装置並びに画像処理法を説明するためのもので、図１ないし図４は、画像処理の方法を説明する説明図、図５は、道路を上面から見たもので、本発明の要点である低周波数域フィルタの効果を説明する説明図、図６は、画像処理の処理フローを示すフローチャート、図７は、車載カメラを搭載した車両の概念図、図８は、道路画像の概念図であり、図１から図６までは、図７と図８とに示すように、車両１に搭載した車載カメラ２により撮像した車両の前方道路のレーンマーキング（白線）３および４に対する処理の方法を説明するものである。
【００１２】
図６のフローチャートにより画像処理の動作を説明すると、まず、ステップ１（図のＳ１、以下同じ）において車両前方道路の撮影を行い、ステップ２において撮影された画像を記憶手段に取り込む。このとき得られる画像は図８に示すように、路面に描かれた自車線の左右にあるレーンマーキング３および４が水平画角内に収まるようにする。次にステップ３においてレーンマーキング候補点を探索する水平方向走査範囲を設定する。この水平方向走査範囲の設定はレーンマーキング３と４とを含む所定の範囲内を探査ウインドウとして設定するもので、図１に示すように、垂直方向（Ｙ方向）に複数の探査ラインＹ（ｉ）を設定してそれぞれの探査ラインＹ（ｉ）をＸ方向に走査し、例えば、ｉ＝０の線上には探査開始点としてＸ方向座標Ｘｂｅｇｉｎを、探査終了点として座標Ｘｅｎｄを設定してこの両座標間を探査ウインドウとするもので、同一探査ラインＹ（ｉ）上には左右のレーンマーキング３および４に対して個別に設定する。
【００１３】
続くステップ４では各探査ラインＹ（ｉ）上の探査ウインドウをＸ方向に走査し、メモリから読み出した輝度分布を基にして図１に示すように、各探査ラインＹ（ｉ）毎にレーンマーキング候補点検出し、検出された候補点をレーンマーキング検出点５および６とする。この複数の探査ラインＹ（ｉ）は左右共通のＹ座標においてＹ（ｉ）のｉ＝０からｉ＝Ｎ−１までのＮ本が設定され、後述するように、レーンマーキング検出点５および６が検出された後のルーチンでは、ステップ３においてそれぞれの探査ラインＹ（ｉ）上にて検出されたレーンマーキング検出点５および６から探査基準点を設定してこの探査基準点を中心にして、左右個別に水平方向走査範囲、すなわち、探査ウインドウが設定される。
【００１４】
次に、ステップ５においては、ステップ４にて得られた左右のレーンマーキング検出点５および６のそれぞれのＹ方向の集合を数学的モデル式、例えば、２次式、Ｘ＝ａＹ2 ＋ｂＹ＋ｃにて近似し、図２に示すような連続したレーンマーキングモデル７と８とを得る。続いてステップ６においてはレーンマーキングのモデル式の係数（ａ、ｂ、ｃ）を車線形状として認識し、ステップ１に戻ってルーチンを繰り返す。従って、水平方向走査範囲、すなわち、探査ウインドウは、図３に示すように、レーンマーキングモデル７と８とを中心とし、レーンマーキング３および４を含む破線で示した探査領域９および１０の範囲内にて設定されることになる。
【００１５】
以上のようにしてモデル式が得られた後のルーチンにおいては、ステップ３における探査ウインドウの設定は、モデル式を基準として次のように行われる。すなわち、探査ラインＹ（ｉ）の設定は、ｉ＝０からＮ−１までＮ本が設定され、探査ウインドウの範囲は、［Ｘｂｅｇｉｎ（ｉ），Ｘｅｎｄ（ｉ）］として設定される。Ｘｂｅｇｉｎ（ｉ）とＸｅｎｄ（ｉ）とは
Ｘｂｅｇｉｎ（ｉ）＝Ｘ（ｉ）−ΔＸ（ｉ） ・・・（１）
Ｘｅｎｄ（ｉ）＝Ｘ（ｉ）＋ΔＸ（ｉ） ・・・（２）
として示され、Ｘ（ｉ）は探査ラインＹ（ｉ）上におけるＸ方向の探査基準点となる位置であり、モデル式から
Ｘ（ｉ）＝ａＹｉ2 ＋ｂＹｉ＋ｃ ・・・（３）
として出力されるものである。また、ΔＸ（ｉ）は０より大きい数を持つ探査幅であり、各探査ラインＹ（ｉ）毎に設定される。ただし、前回のルーチンにおいて、レーンマーキング３と４とのモデル式が得られなかった場合、すなわち、レーンマーキング３と４とが未検出であった場合には、初回のルーチンを含めて別途広範囲な探査ウィンドウを設定し、レーンマーキング３と４とを検出できるようにする。
【００１６】
この発明の基礎となる車線認識のための画像処理装置と画像処理法においては、上記の（３）式におけるレーンマーキング探査基準点Ｘ（ｉ）の算出に対して次式に示すような時定数Ｔの低周波数域フィルタ処理を行う。
【数１】
ここに、
Ｘｆ（ｉ，ｎ）：低周波数域フィルタ値
Ｘ（ｉ，ｎ）：左右のレーンマーキングモデル式出力（探査基準点）
ｉ ：レーンマーキング探査ラインＹ（ｉ）の番号
ｎ ：処理周期カウンタ（ルーチンの繰り返し回数）
【００１７】
このような低周波数域フィルタ処理を施すことにより、図４に示すように道路の分岐点１１などでレーンマーキングが１２と１３のように分岐して、レーンマーキング１３が出口道路側になる場合、分岐した出口道路側のレーンマーキング１３はＸ方向の位置が急変することになり、この急変は探査基準点Ｘ（ｉ）の算出に対しては高周波成分となるために、算出がこの急変に追従できず、レーンマーキング１３は図４に示すように探査領域９に対して外れることになり、探査領域９内には本線側のレーンマーキング１２が存在するため、必然的に探査ウインドウはレーンマーキング１２に対して設定されることになる。
【００１８】
図５は、この道路の分岐点１１を上面から見た場合の図であり、探査基準点Ｘ（ｉ）の算出に低周波数域フィルタ処理をした場合と、低周波数域フィルタ処理をしない場合との比較を示したものである。低周波数域フィルタ処理をしない場合には、前回のルーチンで求めたモデル式を基準にして探査基準点Ｘ（ｉ）の算出を行い、探査ウィンドウを設定するため、一旦連続線である出口道路側のレーンマーキング１３を誤検出すると、出口側道路のレーンマーキング１３を基準に探査基準点Ｘ（ｉ）の算出を行い、以後は、出口側道路のレーンマーキング１３の誤検出が継続することになる。低周波数域フィルタ処理をした場合には、探査基準点Ｘ（ｉ）の算出時に位置の急変に追従しないため、出口道路側のレーンマーキング１３は探索ウィンドウ外となり、誤検出が抑制され、継続して本線側のレーンマーキング１２が検出されることになる。
【００１９】
実施の形態１．
図９ないし図１１は、この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法を説明する説明図であり、この実施の形態における画像処理装置並びに画像処理法は、前述の発明の基礎となる技術に対し、レーンマーキング探査ウインドウの探査基準点Ｘ（ｉ）の算出に使用する低周波数域フィルタ処理を、道路の分岐点のある側に限定すると共に、低周波数域フィルタ処理の実施判定条件を付加するようにしたものである。なお、以降の説明では便宜上、左側通行を想定し、左が分岐路のある側、右が分岐路のない側として説明するが、道路によっては右側に分岐路がある場合もあり、分岐路のある側を限定するものではない。
【００２０】
図９は、例えばハンドル操作などにより車両が急激に横移動した場合、低周波数域フィルタ処理された左側の探査ウィンドウが急激な横移動に追従できず、検出対象である左レーンマーキング３が左側の探査領域９から外れた場合を示している。このような場合に、低周波数域フィルタ処理のされていない右側探査ウインドウのレーンマーキング４の横移動速度が所定の閾値を越えたことを検知し、左側の探査ウインドウの低周波数域フィルタ処理を無効にすることにより、左側の探査ウインドウはレーンマーキングの急変に追従することが可能になり、図１０に示すように、前回のルーチンで求めた左レーンマーキング３の探査基準点を基に左側の探査領域９ａを設定することができるようになり、続けての追跡を可能とすることができる。
【００２１】
また、図１１に示すようにＳ字カーブを通過する場合、外側のレーンマーキングの横移動速度は小さく、内側のレーンマーキングの横移動速度は大きくなるため、上記したような、右レーンマーキングの横移動速度が所定の閾値を越えたことを検知して、左側の探査ウインドウの低周波数域フィルタ処理を無効にしてもレーンマークの追跡が不能になることがある。すなわち、右側の移動速度が閾値を超えない状態で左側の追跡が不能になることになる。このような場合には、右レーンマーキング４のモデル式の曲率係数を常に監視するようにし、曲率係数の符号がプラスからマイナスに、または、マイナスからプラスに変化した場合に、左側の探査ウィンドウの低周波数域フィルタ処理を無効化する判定条件を付加しておくことにより、レーンマーキングの追跡不能は発生しなくなる。
【００２２】
さらに、車線変更を行う場合には、車両の横移動速度が運転者の操作や道路条件により異なるため、横移動速度の絶対値だけでは車両が横移動していると判定するのは困難なことがあるが、ウィンカスイッチや操舵の検知、または、ナビゲーションなどに使用されるヨーレートセンサの出力など、車両の操作をモニタしてこの操作信号により、左側の探査ウィンドウの低周波数域フィルタ処理を無効化することにより、車線変更や出口道路に進入するような場合においても、レーンマーキングの誤認識、あるいは、追従不能を防止することができる。
【００２３】
【発明の効果】
以上に説明したように、この発明による車線認識のための画像処理装置並びに画像処理法において、請求項１と請求項４に記載の発明によれば、車両の前方道路を撮影する撮影手段、前記撮影手段により得られた画像を記憶する記憶手段、前記記憶手段から読み出した画像に対してレーンマーキングの探査範囲を探査ウインドウとして設定する探査ウインドウ設定手段、前記探査ウインドウ内の画像からレーンマーキング位置を検出するレーンマーキング位置検出手段、前記レーンマーキング位置検出手段により検出された複数の前記レーンマーキング位置から近似するモデル式を設定して連続した前記レーンマーキング位置を数式化する車線認識手段、前記モデル式から前記探査ウインドウの探査基準点を算出する探査基準点算出手段、前記探査基準点算出手段が前記探査基準点を算出するとき、レーンマーキング位置の急変分を高周波成分として除去する低周波数域フィルタ手段を備えた車線認識のための画像処理装置であって、 前記探査ウインドウの設定が走行車線の左右のレーンマーキングに対して行われると共に、前記低周波数域フィルタが、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングの前記探査基準点の算出に対してのみ設定され、前記低周波数域フィルタが設定されない側の前記レーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタが無効にされるようにしたので、低周波数域フィルタの位相遅れなどにより、一方のレーンマーキングの追跡が不能になっても容易に復帰させることができ、信頼性の高い車線認識が可能になるものである。
【００２４】
さらに、請求項２と請求項５に記載の発明によれば、低周波数域フィルタを通さない側のレーンマーキングのモデル式を監視し、モデル式から得られた道路の曲率が所定の条件を満たしたとき、低周波数域フィルタを無効にするようにしたので、曲線道路の走行時において、一時的にレーンマーキングの追跡が不能になっても容易に復帰させることができるものである。
【００２５】
さらにまた、請求項３と請求項６に記載の発明によれば、車両の操舵またはウインカー操作が行われたとき、あるいはヨーレートが所定値を越えたときに、低周波数域フィルタを無効にするようにしたので、運転者の意志に従ったレーンマーキングの判定が可能になり、本線を走行したいとき、あるいは、出口道路に進入したいときのいずれにおいても、レーンマーキングを確実に認識することが可能になるものである。
【図面の簡単な説明】
【００２６】
【図１】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図２】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図３】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図４】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図５】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図６】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法を説明するフローチャートである。
【図７】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法を説明する車両の概念図である。
【図８】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法を説明する道路の概念図である。
【図９】 この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図１０】 この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図１１】 この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法の説明図である。
【符号の説明】
【００２７】
１ 車両、２ 車載カメラ、３、４、１２、１３ レーンマーキング、
５、６ レーンマーキング検出点、
７、８ レーンマーキングモデル、９、１０ 探査領域、
１１ 道路の分岐点。
【発明の属する技術分野】
この発明は、車両の予防安全を目的とした車線逸脱警報や、走行レーンをキープする操舵アシストなどの車両制御に使用する、車線認識情報を得るための画像処理装置と画像処理法に関するものである。
【０００２】
【従来の技術】
車両に搭載された撮像装置により得られた道路画像からレーンマーキング（白線）を検知して画像処理を行い、走行車線を認識する方法は従来より各種の技術が提案されている。例えば、特開２０００−１０５８９８号公報と、特開平１１−２３２４６７号公報とに開示された技術もその一例であり、車両前方のレーンマーキングを撮像して画像処理を行い、レーンマーキング間の間隔の増加などを検知した場合に道路の分岐点であると判断し、ナビゲーションのための自車両位置を確実に判定しようとするものである。
【０００３】
また、特開平６−２２５３０８号公報と、特開平１１−２８１３５２号公報とにはレーンマーキングを検出するための技術が開示されており、特開平６−２２５３０８号公報に開示された技術は、車載の撮像装置が撮影した画像内に水平方向のみに移動可能な白線検出用の複数の小さなウインドウを等間隔で設け、ウインドウの水平方向の位置を車両の挙動から予測したレーンマーキング位置に設定することにより、高速で確実に走行路の検出を行うものであり、特開平１１−２８１３５２号公報に開示された技術は、検出したレーンマーキングに基づく道路形状や車両挙動のパラメータを設定し、車両挙動の検出値に基づきこのパラメータを補正することにより道路形状を検出しようとするものである。
【０００４】
さらに、特開平９−９１４４０号公報には、撮影した道路画像を所定のモデルデータと比較して画像内の白線候補を抽出し、白線候補が複数存在する場合には車両の進行方向を検出してこの進行方向に基づいて白線候補を選択することにより、分岐点などにおいて進行方向の白線を認識して車両を制御する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
以上のような従来技術において、例えば特開２０００−１０５８９８号公報などのように、レーンマーキング間隔を検出して分岐点と判定ものにおいては、ナビゲーションの自車両位置の同定には有効であるが、リアルタイムに画像処理を行い車線認識するものにおいては、特開平９−９１４４０号公報に開示されているような処理を行わない限り、分岐側道路のレーンマーキングを誤認識することになり、車両制御を目的とした用途には適さないものである。また、特開平９−９１４４０号公報に開示された技術のように、道路形状のモデルデータと比較することにより白線候補を判定するものにおいては、事前に道路の分岐点などの存在を知ることができるが、画像処理装置内にモデルデータ格納用の大容量のメモリを必要とし、またデータ比較のために膨大な処理時間を必要とするため、ハードウェア・ソフトウェア共に負荷が非常に大きくなるものである。
【０００６】
この発明は、このような課題を解決するためになされたもので、ハードウェアの負荷を増大することなく、リアルタイムにレーンマーキングを正しく認識することが可能な車線認識のための画像処理装置並びに画像処理法を得ることを目的とするものである。
【０００７】
【課題を解決するための手段】
この発明に係わる車線認識のための画像処理装置は、車両の前方道路を撮影する撮影手段、前記撮影手段により得られた画像を記憶する記憶手段、前記記憶手段から読み出した画像に対してレーンマーキングの探査範囲を探査ウインドウとして設定する探査ウインドウ設定手段、前記探査ウインドウ内の画像からレーンマーキング位置を検出するレーンマーキング位置検出手段、前記レーンマーキング位置検出手段により検出された複数の前記レーンマーキング位置から近似するモデル式を設定して連続した前記レーンマーキング位置を数式化する車線認識手段、前記モデル式から前記探査ウインドウの探査基準点を算出する探査基準点算出手段、前記探査基準点算出手段が前記探査基準点を算出するとき、レーンマーキング位置の急変分を高周波成分として除去する低周波数域フィルタ手段を備え た車線認識のための画像処理装置であって、 前記探査ウインドウの設定が走行車線の左右のレーンマーキングに対して行われると共に、前記低周波数域フィルタが、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングの前記探査基準点の算出に対してのみ設定され、前記低周波数域フィルタが設定されない側の前記レーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタが無効にされるように構成したものである。
【０００８】
また、車線認識手段が低周波数域フィルタが設けられない側のレーンマーキングのモデル式を監視しており、モデル式から得られた道路の曲率が所定の条件を満たしたとき、低周波数域フィルタが無効にされるようにしたものである。
さらにまた、車線認識手段が車両の操作状態を監視しており、車両の操作状態が所定の条件を満たしたとき、低周波数域フィルタを無効にするようにしたものである。
【０００９】
また、この発明に係わる車線認識のための画像処理法は、自車両の前方道路から左右のレーンマーキングを含む道路画像を撮影し、前記道路画像に対して前記レーンマーキングの探査範囲を探査ウインドウとして設定すると共に、前記探査ウインドウ内の画像を探査して前記レーンマーキング位置を判定し、前記探査ウインドウを前記車両の進行方向に対して複数設定することにより複数のレーンマーキング位置を求め、前記複数のレーンマーキング位置から近似したモデル式を設定して連続したレーンマーキング位置を数式化し、前記モデル式から探査基準点を算出してこの探査基準点を基準にした前記探査ウインドウを設定すると共に、前記探査基準点の算出を所定の時定数を有する低周波数域フィルタを通して行う車線認識のための画像処理法であって、前記探査ウインドウの設定を左右のレーンマーキングに対して行い、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングに対する前記探査基準点を低周波数域フィルタを通して算出し、前記低周波数域フィルタを通さない側のレーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタを無効にするしたものである。
【００１０】
さらに、低周波数域フィルタを通さない側のレーンマーキングのモデル式を監視し、モデル式から得られた道路の曲率が所定の条件を満たしたとき、低周波数域フィルタを無効にするようにしたものである。
また、車両の操舵またはウインカー操作が行われたとき、あるいはヨーレートが所定値を越えたときに、低周波数域フィルタを無効にするようにしたものである。
【００１１】
【発明の実施の形態】
発明の基礎となる技術
図１ないし図８は、この発明の基礎となる車線認識のための画像処理装置並びに画像処理法を説明するためのもので、図１ないし図４は、画像処理の方法を説明する説明図、図５は、道路を上面から見たもので、本発明の要点である低周波数域フィルタの効果を説明する説明図、図６は、画像処理の処理フローを示すフローチャート、図７は、車載カメラを搭載した車両の概念図、図８は、道路画像の概念図であり、図１から図６までは、図７と図８とに示すように、車両１に搭載した車載カメラ２により撮像した車両の前方道路のレーンマーキング（白線）３および４に対する処理の方法を説明するものである。
【００１２】
図６のフローチャートにより画像処理の動作を説明すると、まず、ステップ１（図のＳ１、以下同じ）において車両前方道路の撮影を行い、ステップ２において撮影された画像を記憶手段に取り込む。このとき得られる画像は図８に示すように、路面に描かれた自車線の左右にあるレーンマーキング３および４が水平画角内に収まるようにする。次にステップ３においてレーンマーキング候補点を探索する水平方向走査範囲を設定する。この水平方向走査範囲の設定はレーンマーキング３と４とを含む所定の範囲内を探査ウインドウとして設定するもので、図１に示すように、垂直方向（Ｙ方向）に複数の探査ラインＹ（ｉ）を設定してそれぞれの探査ラインＹ（ｉ）をＸ方向に走査し、例えば、ｉ＝０の線上には探査開始点としてＸ方向座標Ｘｂｅｇｉｎを、探査終了点として座標Ｘｅｎｄを設定してこの両座標間を探査ウインドウとするもので、同一探査ラインＹ（ｉ）上には左右のレーンマーキング３および４に対して個別に設定する。
【００１３】
続くステップ４では各探査ラインＹ（ｉ）上の探査ウインドウをＸ方向に走査し、メモリから読み出した輝度分布を基にして図１に示すように、各探査ラインＹ（ｉ）毎にレーンマーキング候補点検出し、検出された候補点をレーンマーキング検出点５および６とする。この複数の探査ラインＹ（ｉ）は左右共通のＹ座標においてＹ（ｉ）のｉ＝０からｉ＝Ｎ−１までのＮ本が設定され、後述するように、レーンマーキング検出点５および６が検出された後のルーチンでは、ステップ３においてそれぞれの探査ラインＹ（ｉ）上にて検出されたレーンマーキング検出点５および６から探査基準点を設定してこの探査基準点を中心にして、左右個別に水平方向走査範囲、すなわち、探査ウインドウが設定される。
【００１４】
次に、ステップ５においては、ステップ４にて得られた左右のレーンマーキング検出点５および６のそれぞれのＹ方向の集合を数学的モデル式、例えば、２次式、Ｘ＝ａＹ2 ＋ｂＹ＋ｃにて近似し、図２に示すような連続したレーンマーキングモデル７と８とを得る。続いてステップ６においてはレーンマーキングのモデル式の係数（ａ、ｂ、ｃ）を車線形状として認識し、ステップ１に戻ってルーチンを繰り返す。従って、水平方向走査範囲、すなわち、探査ウインドウは、図３に示すように、レーンマーキングモデル７と８とを中心とし、レーンマーキング３および４を含む破線で示した探査領域９および１０の範囲内にて設定されることになる。
【００１５】
以上のようにしてモデル式が得られた後のルーチンにおいては、ステップ３における探査ウインドウの設定は、モデル式を基準として次のように行われる。すなわち、探査ラインＹ（ｉ）の設定は、ｉ＝０からＮ−１までＮ本が設定され、探査ウインドウの範囲は、［Ｘｂｅｇｉｎ（ｉ），Ｘｅｎｄ（ｉ）］として設定される。Ｘｂｅｇｉｎ（ｉ）とＸｅｎｄ（ｉ）とは
Ｘｂｅｇｉｎ（ｉ）＝Ｘ（ｉ）−ΔＸ（ｉ） ・・・（１）
Ｘｅｎｄ（ｉ）＝Ｘ（ｉ）＋ΔＸ（ｉ） ・・・（２）
として示され、Ｘ（ｉ）は探査ラインＹ（ｉ）上におけるＸ方向の探査基準点となる位置であり、モデル式から
Ｘ（ｉ）＝ａＹｉ2 ＋ｂＹｉ＋ｃ ・・・（３）
として出力されるものである。また、ΔＸ（ｉ）は０より大きい数を持つ探査幅であり、各探査ラインＹ（ｉ）毎に設定される。ただし、前回のルーチンにおいて、レーンマーキング３と４とのモデル式が得られなかった場合、すなわち、レーンマーキング３と４とが未検出であった場合には、初回のルーチンを含めて別途広範囲な探査ウィンドウを設定し、レーンマーキング３と４とを検出できるようにする。
【００１６】
この発明の基礎となる車線認識のための画像処理装置と画像処理法においては、上記の（３）式におけるレーンマーキング探査基準点Ｘ（ｉ）の算出に対して次式に示すような時定数Ｔの低周波数域フィルタ処理を行う。
【数１】
Ｘｆ（ｉ，ｎ）：低周波数域フィルタ値
Ｘ（ｉ，ｎ）：左右のレーンマーキングモデル式出力（探査基準点）
ｉ ：レーンマーキング探査ラインＹ（ｉ）の番号
ｎ ：処理周期カウンタ（ルーチンの繰り返し回数）
【００１７】
このような低周波数域フィルタ処理を施すことにより、図４に示すように道路の分岐点１１などでレーンマーキングが１２と１３のように分岐して、レーンマーキング１３が出口道路側になる場合、分岐した出口道路側のレーンマーキング１３はＸ方向の位置が急変することになり、この急変は探査基準点Ｘ（ｉ）の算出に対しては高周波成分となるために、算出がこの急変に追従できず、レーンマーキング１３は図４に示すように探査領域９に対して外れることになり、探査領域９内には本線側のレーンマーキング１２が存在するため、必然的に探査ウインドウはレーンマーキング１２に対して設定されることになる。
【００１８】
図５は、この道路の分岐点１１を上面から見た場合の図であり、探査基準点Ｘ（ｉ）の算出に低周波数域フィルタ処理をした場合と、低周波数域フィルタ処理をしない場合との比較を示したものである。低周波数域フィルタ処理をしない場合には、前回のルーチンで求めたモデル式を基準にして探査基準点Ｘ（ｉ）の算出を行い、探査ウィンドウを設定するため、一旦連続線である出口道路側のレーンマーキング１３を誤検出すると、出口側道路のレーンマーキング１３を基準に探査基準点Ｘ（ｉ）の算出を行い、以後は、出口側道路のレーンマーキング１３の誤検出が継続することになる。低周波数域フィルタ処理をした場合には、探査基準点Ｘ（ｉ）の算出時に位置の急変に追従しないため、出口道路側のレーンマーキング１３は探索ウィンドウ外となり、誤検出が抑制され、継続して本線側のレーンマーキング１２が検出されることになる。
【００１９】
実施の形態１．
図９ないし図１１は、この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法を説明する説明図であり、この実施の形態における画像処理装置並びに画像処理法は、前述の発明の基礎となる技術に対し、レーンマーキング探査ウインドウの探査基準点Ｘ（ｉ）の算出に使用する低周波数域フィルタ処理を、道路の分岐点のある側に限定すると共に、低周波数域フィルタ処理の実施判定条件を付加するようにしたものである。なお、以降の説明では便宜上、左側通行を想定し、左が分岐路のある側、右が分岐路のない側として説明するが、道路によっては右側に分岐路がある場合もあり、分岐路のある側を限定するものではない。
【００２０】
図９は、例えばハンドル操作などにより車両が急激に横移動した場合、低周波数域フィルタ処理された左側の探査ウィンドウが急激な横移動に追従できず、検出対象である左レーンマーキング３が左側の探査領域９から外れた場合を示している。このような場合に、低周波数域フィルタ処理のされていない右側探査ウインドウのレーンマーキング４の横移動速度が所定の閾値を越えたことを検知し、左側の探査ウインドウの低周波数域フィルタ処理を無効にすることにより、左側の探査ウインドウはレーンマーキングの急変に追従することが可能になり、図１０に示すように、前回のルーチンで求めた左レーンマーキング３の探査基準点を基に左側の探査領域９ａを設定することができるようになり、続けての追跡を可能とすることができる。
【００２１】
また、図１１に示すようにＳ字カーブを通過する場合、外側のレーンマーキングの横移動速度は小さく、内側のレーンマーキングの横移動速度は大きくなるため、上記したような、右レーンマーキングの横移動速度が所定の閾値を越えたことを検知して、左側の探査ウインドウの低周波数域フィルタ処理を無効にしてもレーンマークの追跡が不能になることがある。すなわち、右側の移動速度が閾値を超えない状態で左側の追跡が不能になることになる。このような場合には、右レーンマーキング４のモデル式の曲率係数を常に監視するようにし、曲率係数の符号がプラスからマイナスに、または、マイナスからプラスに変化した場合に、左側の探査ウィンドウの低周波数域フィルタ処理を無効化する判定条件を付加しておくことにより、レーンマーキングの追跡不能は発生しなくなる。
【００２２】
さらに、車線変更を行う場合には、車両の横移動速度が運転者の操作や道路条件により異なるため、横移動速度の絶対値だけでは車両が横移動していると判定するのは困難なことがあるが、ウィンカスイッチや操舵の検知、または、ナビゲーションなどに使用されるヨーレートセンサの出力など、車両の操作をモニタしてこの操作信号により、左側の探査ウィンドウの低周波数域フィルタ処理を無効化することにより、車線変更や出口道路に進入するような場合においても、レーンマーキングの誤認識、あるいは、追従不能を防止することができる。
【００２３】
【発明の効果】
以上に説明したように、この発明による車線認識のための画像処理装置並びに画像処理法において、請求項１と請求項４に記載の発明によれば、車両の前方道路を撮影する撮影手段、前記撮影手段により得られた画像を記憶する記憶手段、前記記憶手段から読み出した画像に対してレーンマーキングの探査範囲を探査ウインドウとして設定する探査ウインドウ設定手段、前記探査ウインドウ内の画像からレーンマーキング位置を検出するレーンマーキング位置検出手段、前記レーンマーキング位置検出手段により検出された複数の前記レーンマーキング位置から近似するモデル式を設定して連続した前記レーンマーキング位置を数式化する車線認識手段、前記モデル式から前記探査ウインドウの探査基準点を算出する探査基準点算出手段、前記探査基準点算出手段が前記探査基準点を算出するとき、レーンマーキング位置の急変分を高周波成分として除去する低周波数域フィルタ手段を備えた車線認識のための画像処理装置であって、 前記探査ウインドウの設定が走行車線の左右のレーンマーキングに対して行われると共に、前記低周波数域フィルタが、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングの前記探査基準点の算出に対してのみ設定され、前記低周波数域フィルタが設定されない側の前記レーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタが無効にされるようにしたので、低周波数域フィルタの位相遅れなどにより、一方のレーンマーキングの追跡が不能になっても容易に復帰させることができ、信頼性の高い車線認識が可能になるものである。
【００２４】
さらに、請求項２と請求項５に記載の発明によれば、低周波数域フィルタを通さない側のレーンマーキングのモデル式を監視し、モデル式から得られた道路の曲率が所定の条件を満たしたとき、低周波数域フィルタを無効にするようにしたので、曲線道路の走行時において、一時的にレーンマーキングの追跡が不能になっても容易に復帰させることができるものである。
【００２５】
さらにまた、請求項３と請求項６に記載の発明によれば、車両の操舵またはウインカー操作が行われたとき、あるいはヨーレートが所定値を越えたときに、低周波数域フィルタを無効にするようにしたので、運転者の意志に従ったレーンマーキングの判定が可能になり、本線を走行したいとき、あるいは、出口道路に進入したいときのいずれにおいても、レーンマーキングを確実に認識することが可能になるものである。
【図面の簡単な説明】
【００２６】
【図１】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図２】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図３】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図４】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図５】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図６】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法を説明するフローチャートである。
【図７】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法を説明する車両の概念図である。
【図８】 この発明の基礎となる技術による車線認識のための画像処理装置並びに画像処理法を説明する道路の概念図である。
【図９】 この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図１０】 この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法の説明図である。
【図１１】 この発明の実施の形態１による車線認識のための画像処理装置並びに画像処理法の説明図である。
【符号の説明】
【００２７】
１ 車両、２ 車載カメラ、３、４、１２、１３ レーンマーキング、
５、６ レーンマーキング検出点、
７、８ レーンマーキングモデル、９、１０ 探査領域、
１１ 道路の分岐点。
Claims (6)
- 車両の前方道路を撮影する撮影手段、前記撮影手段により得られた画像を記憶する記憶手段、前記記憶手段から読み出した画像に対してレーンマーキングの探査範囲を探査ウインドウとして設定する探査ウインドウ設定手段、前記探査ウインドウ内の画像からレーンマーキング位置を検出するレーンマーキング位置検出手段、前記レーンマーキング位置検出手段により検出された複数の前記レーンマーキング位置から近似するモデル式を設定して連続した前記レーンマーキング位置を数式化する車線認識手段、前記モデル式から前記探査ウインドウの探査基準点を算出する探査基準点算出手段、前記探査基準点算出手段が前記探査基準点を算出するとき、レーンマーキング位置の急変分を高周波成分として除去する低周波数域フィルタ手段を備えた車線認識のための画像処理装置であって、 前記探査ウインドウの設定が走行車線の左右のレーンマーキングに対して行われると共に、前記低周波数域フィルタが、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングの前記探査基準点の算出に対してのみ設定され、前記低周波数域フィルタが設定されない側の前記レーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタが無効にされるように構成したことを特徴とする車線認識のための画像処理装置。
- 前記車線認識手段が前記低周波数域フィルタが設けられない側のレーンマーキングの前記モデル式を監視しており、前記モデル式から得られた道路の曲率が所定の条件を満たしたとき、前記低周波数域フィルタが無効にされるように構成したことを特徴とする請求項１に記載の車線認識のための画像処理装置。
- 前記車線認識手段が前記車両の操作状態を監視しており、前記車両の操作状態が所定の条件を満たしたとき、前記低周波数域フィルタを無効にするように構成したことを特徴とする請求項１又は２に記載の車線認識のための画像処理装置。
- 自車両の前方道路から左右のレーンマーキングを含む道路画像を撮影し、前記道路画像に対して前記レーンマーキングの探査範囲を探査ウインドウとして設定すると共に、前記探査ウインドウ内の画像を探査して前記レーンマーキング位置を判定し、前記探査ウインドウを前記車両の進行方向に対して複数設定することにより複数のレーンマーキング位置を求め、前記複数のレーンマーキング位置から近似したモデル式を設定して連続したレーンマーキング位置を数式化し、前記モデル式から探査基準点を算出してこの探査基準点を基準にした前記探査ウインドウを設定すると共に、前記探査基準点の算出を所定の時定数を有する低周波数域フィルタを通して行う車線認識のための画像処理法であって、前記探査ウインドウの設定を左右のレーンマーキングに対して行い、前記左右のレーンマーキングの内のいずれか一方のレーンマーキングに対する前記探査基準点を低周波数域フィルタを通して算出し、前記低周波数域フィルタを通さない側のレーンマーキング位置が所定値を超える速度で変化したとき、前記低周波数域フィルタを無効にすることを特徴とする車線認識のための画像処理法。
- 前記低周波数域フィルタを通さない側のレーンマーキングの前記モデル式を監視し、前記モデル式から得られた道路の曲率が所定の条件を満たしたとき、前記低周波数域フィルタを無効にすることを特徴とする請求項４に記載の車線認識のための画像処理法。
- 車両の操舵またはウインカー操作が行われたとき、あるいはヨーレートが所定値を越えたときに、前記低周波数域フィルタを無効にすることを特徴とする請求項４又は５に記載の車線認識のための画像処理法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001114488A JP3732108B2 (ja) | 2001-04-12 | 2001-04-12 | 車線認識のための画像処理装置並びに画像処理法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001114488A JP3732108B2 (ja) | 2001-04-12 | 2001-04-12 | 車線認識のための画像処理装置並びに画像処理法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002312799A JP2002312799A (ja) | 2002-10-25 |
| JP3732108B2 true JP3732108B2 (ja) | 2006-01-05 |
Family
ID=18965551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001114488A Expired - Fee Related JP3732108B2 (ja) | 2001-04-12 | 2001-04-12 | 車線認識のための画像処理装置並びに画像処理法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3732108B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3726754B2 (ja) * | 2002-01-29 | 2005-12-14 | 日産自動車株式会社 | 先行車判定方法 |
| JP5109074B2 (ja) * | 2008-02-29 | 2012-12-26 | クラリオン株式会社 | 車両速度判定装置および車両速度判定方法 |
| JP5124875B2 (ja) * | 2008-03-12 | 2013-01-23 | 本田技研工業株式会社 | 車両走行支援装置、車両、車両走行支援プログラム |
| KR101882249B1 (ko) * | 2012-06-04 | 2018-08-24 | 현대모비스 주식회사 | 차등가중치 적용 차선 인식 방법 및 장치와 이를 이용한 차선유지보조시스템 제어 방법 및 장치 |
| JP5874770B2 (ja) * | 2014-03-12 | 2016-03-02 | トヨタ自動車株式会社 | 区画線検出システム |
| TWI621073B (zh) * | 2016-12-08 | 2018-04-11 | Road lane detection system and method thereof |
-
2001
- 2001-04-12 JP JP2001114488A patent/JP3732108B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002312799A (ja) | 2002-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102098140B1 (ko) | 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터 | |
| EP2422320B1 (en) | Object detection device | |
| US9665781B2 (en) | Moving body detection device and moving body detection method | |
| JP3630100B2 (ja) | 車線検出装置 | |
| US8687896B2 (en) | Picture image processor, method for processing picture image and method for processing picture image | |
| JP5939357B2 (ja) | 移動軌跡予測装置及び移動軌跡予測方法 | |
| JP4962581B2 (ja) | 区画線検出装置 | |
| JP2008168811A (ja) | 車線認識装置、車両、車線認識方法、及び車線認識プログラム | |
| JP6045889B2 (ja) | 車載用制御装置 | |
| JP4377474B2 (ja) | 移動体の衝突防止装置、衝突防止方法、および記録媒体 | |
| JP2006031162A (ja) | 移動障害物検出装置 | |
| JPH06107096A (ja) | 車両用前方監視方法 | |
| JP2002314989A (ja) | 車両用周辺監視装置 | |
| JP3651419B2 (ja) | 環境認識装置 | |
| JPH08261756A (ja) | 走行レーン認識装置 | |
| JP3732108B2 (ja) | 車線認識のための画像処理装置並びに画像処理法 | |
| JP3911983B2 (ja) | 後方監視装置 | |
| JP3925285B2 (ja) | 走行路環境検出装置 | |
| JP3227247B2 (ja) | 走行路検出装置 | |
| JP4847779B2 (ja) | 車載情報処理方法、車載情報処理プログラム、車載情報処理装置および車載情報処理システム | |
| JP3626733B2 (ja) | 車線認識画像処理装置及びその処理を実行させるためのプログラム | |
| JP2006004188A (ja) | 障害物認識方法及び障害物認識装置 | |
| JP3319383B2 (ja) | 走行路認識装置 | |
| JP2004280194A (ja) | 前方監視装置及びその方法 | |
| KR20130006752A (ko) | 차선 인식 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051011 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |