JP2001076147A - 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体 - Google Patents
道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体Info
- Publication number
- JP2001076147A JP2001076147A JP24971199A JP24971199A JP2001076147A JP 2001076147 A JP2001076147 A JP 2001076147A JP 24971199 A JP24971199 A JP 24971199A JP 24971199 A JP24971199 A JP 24971199A JP 2001076147 A JP2001076147 A JP 2001076147A
- Authority
- JP
- Japan
- Prior art keywords
- white line
- line
- area
- white
- lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 道路画像を上下に少なくとも２つの領域に分
割し、ノイズの影響の少ない下側領域での白線検出結果
を活用して、上側領域での白線を頑健かつ効率良く検出
する。 【解決手段】 道路面が平面をなすとした場合、路面上
に平行に引かれた左右の白線を含む道路画像301 を上下
に分割した下側領域302 内の左右白線の近似直線307,30
6 の交点311 と、上側領域303 内の左右白線の近似直線
309,308 の交点312 とは、共に或る１本の水平線310 上
に位置する。そこで、下側領域302 にて左右白線を近似
する左右第１直線307,306 を検出し、この左右第１直線
の交点である第１消失点311 から水平線310 を算出し、
上側領域303 にて左右白線を近似する左右直線の交点31
2 が水平線310 上に存在することを利用して、当該交点
312を検出し、上側領域303 での左右白線近似直線309,3
08 を求める。
割し、ノイズの影響の少ない下側領域での白線検出結果
を活用して、上側領域での白線を頑健かつ効率良く検出
する。 【解決手段】 道路面が平面をなすとした場合、路面上
に平行に引かれた左右の白線を含む道路画像301 を上下
に分割した下側領域302 内の左右白線の近似直線307,30
6 の交点311 と、上側領域303 内の左右白線の近似直線
309,308 の交点312 とは、共に或る１本の水平線310 上
に位置する。そこで、下側領域302 にて左右白線を近似
する左右第１直線307,306 を検出し、この左右第１直線
の交点である第１消失点311 から水平線310 を算出し、
上側領域303 にて左右白線を近似する左右直線の交点31
2 が水平線310 上に存在することを利用して、当該交点
312を検出し、上側領域303 での左右白線近似直線309,3
08 を求める。
Description
【０００１】
【発明の属する技術分野】本発明は、道路画像を処理し
て道路画像中の白線を検出する道路白線検出技術に関す
る。
て道路画像中の白線を検出する道路白線検出技術に関す
る。
【０００２】
【従来の技術】自動車の自動走行などへの応用のため
に、道路画像入力装置にて車両前方の道路を撮像して得
た道路画像中から、走行レーンの両端を示す左右の白線
を検出する道路白線検出技術の研究開発が進められてい
る。この種の道路白線検出で問題となるのは、道路画像
においては解像度不足や他の車両像のために、より遠方
部分、つまり道路画像で言えば画像の上側に行くほどノ
イズの影響が大きくなることである。
に、道路画像入力装置にて車両前方の道路を撮像して得
た道路画像中から、走行レーンの両端を示す左右の白線
を検出する道路白線検出技術の研究開発が進められてい
る。この種の道路白線検出で問題となるのは、道路画像
においては解像度不足や他の車両像のために、より遠方
部分、つまり道路画像で言えば画像の上側に行くほどノ
イズの影響が大きくなることである。
【０００３】このような問題の対処法として、道路画像
を上下に少なくとも２つの領域に分割し、ノイズの影響
の少ない下側領域での白線検出結果を、上側領域での白
線検出に利用する方法がある。このような方法を適用し
た従来技術の一例が、特公平６−２４０３５号公報に記
載されている。同公報に記載の従来技術では、下側領
域、上側領域を含む少なくとも２つの領域に道路画像を
分割し、それぞれの領域において、エッジ抽出後、Ｈｏ
ｕｇｈ変換によって検出した不特定多数の直線群の中か
ら、既知である道路幅情報を用いて走行路を与える最も
確からしい直線対を決定する際、上側領域における直線
対は、既に決定済の下側領域における直線対の上端近傍
を通る直線群から選定するようにしている。
を上下に少なくとも２つの領域に分割し、ノイズの影響
の少ない下側領域での白線検出結果を、上側領域での白
線検出に利用する方法がある。このような方法を適用し
た従来技術の一例が、特公平６−２４０３５号公報に記
載されている。同公報に記載の従来技術では、下側領
域、上側領域を含む少なくとも２つの領域に道路画像を
分割し、それぞれの領域において、エッジ抽出後、Ｈｏ
ｕｇｈ変換によって検出した不特定多数の直線群の中か
ら、既知である道路幅情報を用いて走行路を与える最も
確からしい直線対を決定する際、上側領域における直線
対は、既に決定済の下側領域における直線対の上端近傍
を通る直線群から選定するようにしている。
【０００４】
【発明が解決しようとする課題】前述したように道路画
像においては、上側領域の方がノイズが多くなり、また
解像度も低くなるため、下側領域に比べ、上側領域での
白線検出が一般に困難になる。前述した従来技術では、
上側領域における直線対は、既に決定済の下側領域にお
ける直線対の上端近傍を通る直線群から選定することで
多少なりとも検出を容易にしている。しかし、上側領域
における直線対の選出も、エッジ抽出後、Ｈｏｕｇｈ変
換によって検出した不特定多数の直線群の中から、既知
である道路幅情報を用いて走行路を与える最も確からし
い直線対を決定するという、下側領域における直線対の
選出と同様の処理であるため、ノイズ等に対して頑健で
あるとは言えず、また効率的でもない。特に、画像領域
を３つ以上の更に多くの領域に分割していくと、より上
側の領域ではノイズの影響がより強くなるため、不特定
多数の直線群の中から走行路を与える最も確からしい直
線対を決定することは極めて困難である。
像においては、上側領域の方がノイズが多くなり、また
解像度も低くなるため、下側領域に比べ、上側領域での
白線検出が一般に困難になる。前述した従来技術では、
上側領域における直線対は、既に決定済の下側領域にお
ける直線対の上端近傍を通る直線群から選定することで
多少なりとも検出を容易にしている。しかし、上側領域
における直線対の選出も、エッジ抽出後、Ｈｏｕｇｈ変
換によって検出した不特定多数の直線群の中から、既知
である道路幅情報を用いて走行路を与える最も確からし
い直線対を決定するという、下側領域における直線対の
選出と同様の処理であるため、ノイズ等に対して頑健で
あるとは言えず、また効率的でもない。特に、画像領域
を３つ以上の更に多くの領域に分割していくと、より上
側の領域ではノイズの影響がより強くなるため、不特定
多数の直線群の中から走行路を与える最も確からしい直
線対を決定することは極めて困難である。
【０００５】そこで本発明の目的は、道路画像を上下に
少なくとも２つの領域に分割し、ノイズの影響の少ない
下側領域での白線検出結果を活用して、上側領域での白
線を頑健かつ効率良く検出できるようにすることにあ
る。
少なくとも２つの領域に分割し、ノイズの影響の少ない
下側領域での白線検出結果を活用して、上側領域での白
線を頑健かつ効率良く検出できるようにすることにあ
る。
【０００６】また本発明の他の目的は、道路画像を多数
の領域に上下分割した場合であっても上側領域での白線
を頑健かつ効率良く検出できるようにすることにある。
の領域に上下分割した場合であっても上側領域での白線
を頑健かつ効率良く検出できるようにすることにある。
【０００７】
【課題を解決するための手段】本発明の道路白線検出シ
ステムは、道路画像を上下に少なくとも２つの領域に分
割した最下領域にて左右白線を近似する左右第１直線を
検出する第１の手段と、前記左右第１直線の交点である
第１消失点から水平線を算出する第２の手段と、道路画
像中の前記最下領域以外の領域にて左右白線を近似する
左右直線の交点が前記水平線上に存在することを利用し
て当該交点を検出することにより、前記最下領域以外の
領域での左右白線近似直線を検出する第３の手段とを備
えている。
ステムは、道路画像を上下に少なくとも２つの領域に分
割した最下領域にて左右白線を近似する左右第１直線を
検出する第１の手段と、前記左右第１直線の交点である
第１消失点から水平線を算出する第２の手段と、道路画
像中の前記最下領域以外の領域にて左右白線を近似する
左右直線の交点が前記水平線上に存在することを利用し
て当該交点を検出することにより、前記最下領域以外の
領域での左右白線近似直線を検出する第３の手段とを備
えている。
【０００８】より具体的には、前記第３の手段は、道路
画像中の前記最下領域以外の領域の内、少なくとも前記
最下領域に隣接する領域については、その領域の左右白
線を近似する左右第２直線の下端での切片が前記左右第
１直線上にあり、かつ前記左右第２直線の交点である第
２消失点が前記水平線上にあるとして、前記第２消失点
を前記水平線上で検出する手段を含む。また、前記第３
の手段は、道路画像中の前記最下領域及びそれに隣接す
る領域以外の領域については、その領域より下側の複数
の領域における左右白線近似直線の交点間の前記水平線
上での変位量に基づいて、その領域での左右白線近似直
線の交点を推定する手段を含む。
画像中の前記最下領域以外の領域の内、少なくとも前記
最下領域に隣接する領域については、その領域の左右白
線を近似する左右第２直線の下端での切片が前記左右第
１直線上にあり、かつ前記左右第２直線の交点である第
２消失点が前記水平線上にあるとして、前記第２消失点
を前記水平線上で検出する手段を含む。また、前記第３
の手段は、道路画像中の前記最下領域及びそれに隣接す
る領域以外の領域については、その領域より下側の複数
の領域における左右白線近似直線の交点間の前記水平線
上での変位量に基づいて、その領域での左右白線近似直
線の交点を推定する手段を含む。
【０００９】更に本発明の好ましい実施例にあっては、
道路画像から左右の白線像上にある点列を、白線特徴点
らしさを示す白線フィルタ値と共に白線特徴点列として
抽出する手段を備え、前記第１の手段は、前記白線特徴
点列を前記白線フィルタ値を重みとして最小自乗近似す
る直線を、白線の直線近似として左右それぞれに検出す
る手段を含み、前記第３の手段は、前記左右第１直線の
下側領域における上端点を前記最下領域に隣接する領域
の下端での切片とし、かつ前記最下領域に隣接する領域
の白線特徴点列を前記白線フィルタ値を重みとして左右
合わせて最小自乗近似する左右第２直線の交点を、前記
水平線上で検出する手段を含む。
道路画像から左右の白線像上にある点列を、白線特徴点
らしさを示す白線フィルタ値と共に白線特徴点列として
抽出する手段を備え、前記第１の手段は、前記白線特徴
点列を前記白線フィルタ値を重みとして最小自乗近似す
る直線を、白線の直線近似として左右それぞれに検出す
る手段を含み、前記第３の手段は、前記左右第１直線の
下側領域における上端点を前記最下領域に隣接する領域
の下端での切片とし、かつ前記最下領域に隣接する領域
の白線特徴点列を前記白線フィルタ値を重みとして左右
合わせて最小自乗近似する左右第２直線の交点を、前記
水平線上で検出する手段を含む。
【００１０】
【作用】道路面が平面をなすとした場合、路面上に平行
に引かれた左右の白線を含む道路画像を上下に分割した
下側領域内の左右白線の近似直線を延長した場合の交点
と、上側領域内の左右白線の近似直線を延長した場合の
交点とは、共に或る１本の線の上に位置する。この１本
の線のことを本明細書では水平線と呼ぶ。道路画像を更
に多くの領域に上下分割した場合も同様に各領域内の左
右白線の近似直線を延長した場合の交点は同じ水平線上
にあり、このことは道路がカーブしていても同様であ
る。実世界では道路面が全くの平面であることは考えら
れないが、高速道路など、勾配の変化が少ない道路の場
合、撮像されている範囲内の道路は平面と近似しても誤
差は少ない。
に引かれた左右の白線を含む道路画像を上下に分割した
下側領域内の左右白線の近似直線を延長した場合の交点
と、上側領域内の左右白線の近似直線を延長した場合の
交点とは、共に或る１本の線の上に位置する。この１本
の線のことを本明細書では水平線と呼ぶ。道路画像を更
に多くの領域に上下分割した場合も同様に各領域内の左
右白線の近似直線を延長した場合の交点は同じ水平線上
にあり、このことは道路がカーブしていても同様であ
る。実世界では道路面が全くの平面であることは考えら
れないが、高速道路など、勾配の変化が少ない道路の場
合、撮像されている範囲内の道路は平面と近似しても誤
差は少ない。
【００１１】本発明はこのような点に着目したものであ
り、道路画像を上下に少なくとも２つの領域に分割した
最下領域にて左右白線を近似する左右第１直線を検出
し、この左右第１直線の交点である第１消失点から水平
線を算出し、道路画像中の前記最下領域以外の領域にて
左右白線を近似する左右直線の交点が前記水平線上に存
在することを利用して当該交点を検出することにより、
前記最下領域以外の領域での左右白線近似直線を検出す
る。これにより、最下領域以外の領域での白線検出が既
に検出済の水平線上の位置計算で済み、最下領域以外の
領域での白線検出が頑健かつ効率良く行える。
り、道路画像を上下に少なくとも２つの領域に分割した
最下領域にて左右白線を近似する左右第１直線を検出
し、この左右第１直線の交点である第１消失点から水平
線を算出し、道路画像中の前記最下領域以外の領域にて
左右白線を近似する左右直線の交点が前記水平線上に存
在することを利用して当該交点を検出することにより、
前記最下領域以外の領域での左右白線近似直線を検出す
る。これにより、最下領域以外の領域での白線検出が既
に検出済の水平線上の位置計算で済み、最下領域以外の
領域での白線検出が頑健かつ効率良く行える。
【００１２】具体的には、道路画像中の最下領域以外の
領域のうち最下領域に隣接する領域については、その領
域の左右白線を近似する左右第２直線の下端での切片が
左右第１直線上にあり、かつ左右第２直線の交点である
第２消失点が水平線上にあるとして、第２消失点を水平
線上で検出し、この第２消失点と前記切片とを結ぶ直線
を左右第２直線とする。
領域のうち最下領域に隣接する領域については、その領
域の左右白線を近似する左右第２直線の下端での切片が
左右第１直線上にあり、かつ左右第２直線の交点である
第２消失点が水平線上にあるとして、第２消失点を水平
線上で検出し、この第２消失点と前記切片とを結ぶ直線
を左右第２直線とする。
【００１３】道路画像中の最下領域以外の領域のうち最
下領域に隣接する領域以外の領域についても、最下領域
に隣接する領域と同様に、その領域の左右白線を近似す
る左右直線の下端での切片が直ぐ下の領域における左右
直線上にあり、かつその左右直線の交点が水平線上にあ
るとして、その交点を水平線上で検出し、この交点と前
記切片とを結ぶ直線を左右直線として検出することがで
きる。但し、画像領域を更に多くの領域に分割していく
と、より上側の領域ではノイズの影響がより強くなるた
め、このような方法に変えて、以下のような方法を採用
することができる。
下領域に隣接する領域以外の領域についても、最下領域
に隣接する領域と同様に、その領域の左右白線を近似す
る左右直線の下端での切片が直ぐ下の領域における左右
直線上にあり、かつその左右直線の交点が水平線上にあ
るとして、その交点を水平線上で検出し、この交点と前
記切片とを結ぶ直線を左右直線として検出することがで
きる。但し、画像領域を更に多くの領域に分割していく
と、より上側の領域ではノイズの影響がより強くなるた
め、このような方法に変えて、以下のような方法を採用
することができる。
【００１４】高速道路などではカーブの曲率半径が比較
的大きく且つカーブ途中で曲率が殆ど変化しない。従っ
て、そのような道路では、道路画像内には高々１つのカ
ーブだけが写っており、かつその曲率も略一定である。
このため、道路画像中の前記最下領域及びそれに隣接す
る領域以外の領域については、その領域内の白線自体を
検出しなくても、その領域より下側の複数の領域におけ
る左右白線近似直線の交点間の前記水平線上での変位量
に基づいて、その領域での左右白線近似直線の交点を推
定することができ、この推定した交点と既に検出済の下
側の左右白線近似直線の上端点とから当該領域の左右白
線近似直線を求めることができる。
的大きく且つカーブ途中で曲率が殆ど変化しない。従っ
て、そのような道路では、道路画像内には高々１つのカ
ーブだけが写っており、かつその曲率も略一定である。
このため、道路画像中の前記最下領域及びそれに隣接す
る領域以外の領域については、その領域内の白線自体を
検出しなくても、その領域より下側の複数の領域におけ
る左右白線近似直線の交点間の前記水平線上での変位量
に基づいて、その領域での左右白線近似直線の交点を推
定することができ、この推定した交点と既に検出済の下
側の左右白線近似直線の上端点とから当該領域の左右白
線近似直線を求めることができる。
【００１５】
【発明の実施の形態】次に、本発明の第１の実施の形態
について図面を参照して詳細に説明する。
について図面を参照して詳細に説明する。
【００１６】図１を参照すると、本発明の第１の実施の
形態は、コンピュータ１００とこれに接続された道路画
像入力装置１０１とから構成されている。
形態は、コンピュータ１００とこれに接続された道路画
像入力装置１０１とから構成されている。
【００１７】道路画像入力装置１０１は、車両前方の路
面上を撮像して検出対象とする路面上の走行レーンの両
側の白線を含む画像情報を生成するものであり、車両の
前部の適所に水平に装着されている。本実施形態の場
合、検出対象とする路面は、勾配の変化が少ない高速道
路など、撮像されている範囲内で道路が平面と近似でき
る路面である。
面上を撮像して検出対象とする路面上の走行レーンの両
側の白線を含む画像情報を生成するものであり、車両の
前部の適所に水平に装着されている。本実施形態の場
合、検出対象とする路面は、勾配の変化が少ない高速道
路など、撮像されている範囲内で道路が平面と近似でき
る路面である。
【００１８】コンピュータ１００は、ＭＰＵ等の処理装
置および主記憶等のメモリを含み、プログラム制御によ
り動作する。コンピュータ１００に接続された記録媒体
Ｋ１は、ＣＤ−ＲＯＭ、磁気ディスク、半導体メモリ等
の機械読み取り可能な記録媒体であり、道路白線検出用
プログラムが記録されている。記録媒体Ｋ１に記録され
た道路白線検出用プログラムは、コンピュータ１００の
立ち上げ時などにコンピュータ１００に読み取られ、コ
ンピュータ１００の動作を制御することにより、コンピ
ュータ１００上に、白線特徴点抽出手段１０２と、下側
領域左右直線検出手段１０３と、水平線座標算出手段１
０４と、上側領域直線消失点検出手段１０５と、白線推
定手段１０６とを実現する。
置および主記憶等のメモリを含み、プログラム制御によ
り動作する。コンピュータ１００に接続された記録媒体
Ｋ１は、ＣＤ−ＲＯＭ、磁気ディスク、半導体メモリ等
の機械読み取り可能な記録媒体であり、道路白線検出用
プログラムが記録されている。記録媒体Ｋ１に記録され
た道路白線検出用プログラムは、コンピュータ１００の
立ち上げ時などにコンピュータ１００に読み取られ、コ
ンピュータ１００の動作を制御することにより、コンピ
ュータ１００上に、白線特徴点抽出手段１０２と、下側
領域左右直線検出手段１０３と、水平線座標算出手段１
０４と、上側領域直線消失点検出手段１０５と、白線推
定手段１０６とを実現する。
【００１９】先ず、これらの手段の概略を図１および図
３を参照して説明する。
３を参照して説明する。
【００２０】白線特徴点抽出手段１０２は、道路画像入
力装置１０１で得られた道路画像３０１内から左右の白
線３０５、３０４の像上にある点列を、白線特徴点列と
して抽出する。
力装置１０１で得られた道路画像３０１内から左右の白
線３０５、３０４の像上にある点列を、白線特徴点列と
して抽出する。
【００２１】下側領域左右直線検出手段１０３は、予め
道路画像３０１内を上下に分割しておいたうちの下側領
域３０２において、白線特徴点抽出手段１０２で抽出し
た左右の白線特徴点列を最も良く近似する直線を左右の
白線３０５、３０４それぞれに対して検出する。左右の
白線３０５、３０４それぞれに対して検出した直線が、
左第１直線３０７、右第１直線３０６である。なお、道
路画像３０１内を下側領域３０２と上側領域３０３とに
２分割する位置は任意であるが、例えば、下側領域３０
２と上側領域３０３との境界線が車両前方の所定距離
（例えば３０ｍ）の位置にくるように分割する。
道路画像３０１内を上下に分割しておいたうちの下側領
域３０２において、白線特徴点抽出手段１０２で抽出し
た左右の白線特徴点列を最も良く近似する直線を左右の
白線３０５、３０４それぞれに対して検出する。左右の
白線３０５、３０４それぞれに対して検出した直線が、
左第１直線３０７、右第１直線３０６である。なお、道
路画像３０１内を下側領域３０２と上側領域３０３とに
２分割する位置は任意であるが、例えば、下側領域３０
２と上側領域３０３との境界線が車両前方の所定距離
（例えば３０ｍ）の位置にくるように分割する。
【００２２】水平線座標算出手段１０４は、実世界での
道路面が平面をなすとした場合に、図３で示されている
ように路面上にある平行な直線の道路画像内での交点が
水平線上にあるという性質を利用して、白線特徴点抽出
手段１０２で検出された下側領域３０２の左第１直線３
０７と右第１直線３０６の交点である第１消失点３１１
を求め、この第１消失点３１１を通る水平な線を水平線
３１０として検出し、この水平線３１０の座標を算出す
る。
道路面が平面をなすとした場合に、図３で示されている
ように路面上にある平行な直線の道路画像内での交点が
水平線上にあるという性質を利用して、白線特徴点抽出
手段１０２で検出された下側領域３０２の左第１直線３
０７と右第１直線３０６の交点である第１消失点３１１
を求め、この第１消失点３１１を通る水平な線を水平線
３１０として検出し、この水平線３１０の座標を算出す
る。
【００２３】上側領域直線消失点検出手段１０５は、水
平線座標算出手段１０４で検出された水平線３１０と、
下側領域左右直線検出手段１０３で検出された左右第１
直線３０７、３０６と、白線特徴点抽出手段１０２で抽
出された上側領域３０３の白線特徴点列とから、上側領
域３０３での左右白線近似直線３０９、３０８を検出す
る。具体的には、前記した道路面上の平行直線の性質か
ら、図３で示されているように、上側領域３０３での左
白線３０５及び右白線３０４を近似した左第２直線３０
９及び右第２直線３０８の道路画像内での交点（第２消
失点３１２）も水平線３１０上にあるとして、また上側
領域３０３の下端部での左右第２直線３０９、３０８の
切片が下側領域３０２の左右第１直線３０７、３０６上
にあるとして、その第２消失点３１２を検出し、この検
出した第２消失点３１２と下側領域３０２の左第１直線
３０７の上端部の切片とを結ぶ直線を左第２直線３０９
とし、第２消失点３１２と下側領域３０２の右第１直線
３０６の上端部の切片とを結ぶ直線を右第２直線３０８
とする。
平線座標算出手段１０４で検出された水平線３１０と、
下側領域左右直線検出手段１０３で検出された左右第１
直線３０７、３０６と、白線特徴点抽出手段１０２で抽
出された上側領域３０３の白線特徴点列とから、上側領
域３０３での左右白線近似直線３０９、３０８を検出す
る。具体的には、前記した道路面上の平行直線の性質か
ら、図３で示されているように、上側領域３０３での左
白線３０５及び右白線３０４を近似した左第２直線３０
９及び右第２直線３０８の道路画像内での交点（第２消
失点３１２）も水平線３１０上にあるとして、また上側
領域３０３の下端部での左右第２直線３０９、３０８の
切片が下側領域３０２の左右第１直線３０７、３０６上
にあるとして、その第２消失点３１２を検出し、この検
出した第２消失点３１２と下側領域３０２の左第１直線
３０７の上端部の切片とを結ぶ直線を左第２直線３０９
とし、第２消失点３１２と下側領域３０２の右第１直線
３０６の上端部の切片とを結ぶ直線を右第２直線３０８
とする。
【００２４】白線推定手段１０６は下側領域３０２、上
側領域３０３でそれぞれ検出された近似直線３０７、３
０６、３０９、３０８から左右の白線の位置、形状を推
定し、その値を出力する。
側領域３０３でそれぞれ検出された近似直線３０７、３
０６、３０９、３０８から左右の白線の位置、形状を推
定し、その値を出力する。
【００２５】次に、図１乃至図３を参照して本実施の形
態の全体の動作について説明する。
態の全体の動作について説明する。
【００２６】まず、道路画像入力装置１０１において道
路画像３０１を入力する（図２のステップＡ１）。次
に、道路画像３０１から白線特徴点抽出手段１０２によ
り左右白線についての白線特徴点列を抽出する（ステッ
プＡ２）。さらに、予め道路画像３０１を上下に分割し
ておいた内の下側領域３０２において、下側領域左右直
線検出手段１０３によって前記白線特徴点列を基にこれ
を近似する直線３０７、３０６（第１直線）を左右それ
ぞれに検出する（ステップＡ３）。次に、水平線座標算
出手段１０４において、左右第１直線３０７、３０６の
交点（第１消失点３１１）を通る水平な線を水平線３１
０として算出する（ステップＡ４）。次に、上側領域直
線消失点検出手段１０５により上側領域３０３におい
て、左右白線特徴点列を近似する左右直線３０９、３０
８（第２直線）の上側領域３０３下端での切片が左右第
１直線３０７、３０６上にあり、かつ左右の交点（第２
消失点３１２）が水平線３１０上にあるとして、第２消
失点３１２の位置を水平線３１０上で検出し、それを基
に左右第２直線３０９、３０８を検出する（ステップＡ
５）。最後に、白線推定手段１０６により第１直線３０
７、３０６及び第２直線３０９、３０８から左右白線の
位置、形状を推定し、その値を出力する（ステップＡ
６）。
路画像３０１を入力する（図２のステップＡ１）。次
に、道路画像３０１から白線特徴点抽出手段１０２によ
り左右白線についての白線特徴点列を抽出する（ステッ
プＡ２）。さらに、予め道路画像３０１を上下に分割し
ておいた内の下側領域３０２において、下側領域左右直
線検出手段１０３によって前記白線特徴点列を基にこれ
を近似する直線３０７、３０６（第１直線）を左右それ
ぞれに検出する（ステップＡ３）。次に、水平線座標算
出手段１０４において、左右第１直線３０７、３０６の
交点（第１消失点３１１）を通る水平な線を水平線３１
０として算出する（ステップＡ４）。次に、上側領域直
線消失点検出手段１０５により上側領域３０３におい
て、左右白線特徴点列を近似する左右直線３０９、３０
８（第２直線）の上側領域３０３下端での切片が左右第
１直線３０７、３０６上にあり、かつ左右の交点（第２
消失点３１２）が水平線３１０上にあるとして、第２消
失点３１２の位置を水平線３１０上で検出し、それを基
に左右第２直線３０９、３０８を検出する（ステップＡ
５）。最後に、白線推定手段１０６により第１直線３０
７、３０６及び第２直線３０９、３０８から左右白線の
位置、形状を推定し、その値を出力する（ステップＡ
６）。
【００２７】次に、本実施の形態の効果について説明す
る。
る。
【００２８】本実施の形態では、上側領域３０３におけ
る左右白線の直線近似が水平線３１０上の消失点の検出
という、１パラメータの計算という簡便な問題に帰着さ
れるように構成されているため、効率的、かつノイズ等
に対して頑健な直線近似ができる。
る左右白線の直線近似が水平線３１０上の消失点の検出
という、１パラメータの計算という簡便な問題に帰着さ
れるように構成されているため、効率的、かつノイズ等
に対して頑健な直線近似ができる。
【００２９】また、本実施の形態では、さらに、上側領
域３０３の左右の直線近似を１つのパラメータで同時に
行うように構成されているため、障害物等により上側領
域３０３上で左右どちらかの白線が検出不可能な状況で
も、もう一方の白線から左右両方の白線を直線近似する
ことができる。
域３０３の左右の直線近似を１つのパラメータで同時に
行うように構成されているため、障害物等により上側領
域３０３上で左右どちらかの白線が検出不可能な状況で
も、もう一方の白線から左右両方の白線を直線近似する
ことができる。
【００３０】また、本実施の形態では、さらに、上側領
域３０３での白線の直線近似に下側領域３０２での近似
結果を下端切片という形で組み込むように構成されてい
るため、上下で矛盾した直線近似をするのを防ぐことが
でき、従って上下直線近似の整合性判断といったような
後処理が不要である。
域３０３での白線の直線近似に下側領域３０２での近似
結果を下端切片という形で組み込むように構成されてい
るため、上下で矛盾した直線近似をするのを防ぐことが
でき、従って上下直線近似の整合性判断といったような
後処理が不要である。
【００３１】次に、具体的な実施例を挙げて本実施の形
態の動作を更に詳しく説明する。
態の動作を更に詳しく説明する。
【００３２】まず、白線特徴点抽出手段１０２の実施例
を図４に、その処理例を図５にそれぞれ示す。この例の
白線特徴点抽出手段１０２は、白線像内外の輝度値和の
差、白線像端でのエッジ強度、白線像内での輝度値の均
一性といった特徴値を道路画像の各点に対して演算し、
この演算した各特徴値の線形和という形で、道路画像各
点の白線特徴点らしさを計算し、この計算した各点の白
線特徴点らしさに基づいて白線特徴点を抽出するもの
で、白線像横幅決定手段１０２１、白線内外輝度差計算
手段１０２２、白線端エッジ強度計算手段１０２３、白
線内輝度均一性計算手段１０２４、白線特徴統合手段１
０２５および白線特徴点データ出力手段１０２６から構
成される。以下、本例の白線特徴点抽出手段１０２の動
作を説明する。
を図４に、その処理例を図５にそれぞれ示す。この例の
白線特徴点抽出手段１０２は、白線像内外の輝度値和の
差、白線像端でのエッジ強度、白線像内での輝度値の均
一性といった特徴値を道路画像の各点に対して演算し、
この演算した各特徴値の線形和という形で、道路画像各
点の白線特徴点らしさを計算し、この計算した各点の白
線特徴点らしさに基づいて白線特徴点を抽出するもの
で、白線像横幅決定手段１０２１、白線内外輝度差計算
手段１０２２、白線端エッジ強度計算手段１０２３、白
線内輝度均一性計算手段１０２４、白線特徴統合手段１
０２５および白線特徴点データ出力手段１０２６から構
成される。以下、本例の白線特徴点抽出手段１０２の動
作を説明する。
【００３３】先ず、白線像横幅決定手段１０２１によ
り、道路画像各点について、その位置と道路画像入力装
置１０１の高さに基づき、前記道路画像各点が白線の中
心線上にある場合の白線像の横幅Ｂを、Ｂ＝ΔＸ（ｚ−
Ｖ）／Ｈにより計算する（ステップＢ１）。ここで、Δ
Ｘは実空間での白線幅、Ｈは道路画像入力装置１０１の
基準面（路面）からの高さであり、これらは事前に設定
されている固定値である。また、Ｖは水平線のｚ軸座標
値であり、初期状態においては事前に設定された値が使
われ、水平線座標算出手段１０４で水平線が検出された
以降はこの検出された値が使用される。道路画像入力装
置１０１の座標系を図６に示す。要するに、白線像横幅
決定手段１０２１は、白線像の横幅は、車両に近い手前
ほど実際の白線幅に近づき、逆に遠ざかるほど徐々に狭
くなって、水平線付近（ｚ＝Ｖ）では零となってしまう
ことを利用して、道路画像各点における白線像の横幅を
決定する。
り、道路画像各点について、その位置と道路画像入力装
置１０１の高さに基づき、前記道路画像各点が白線の中
心線上にある場合の白線像の横幅Ｂを、Ｂ＝ΔＸ（ｚ−
Ｖ）／Ｈにより計算する（ステップＢ１）。ここで、Δ
Ｘは実空間での白線幅、Ｈは道路画像入力装置１０１の
基準面（路面）からの高さであり、これらは事前に設定
されている固定値である。また、Ｖは水平線のｚ軸座標
値であり、初期状態においては事前に設定された値が使
われ、水平線座標算出手段１０４で水平線が検出された
以降はこの検出された値が使用される。道路画像入力装
置１０１の座標系を図６に示す。要するに、白線像横幅
決定手段１０２１は、白線像の横幅は、車両に近い手前
ほど実際の白線幅に近づき、逆に遠ざかるほど徐々に狭
くなって、水平線付近（ｚ＝Ｖ）では零となってしまう
ことを利用して、道路画像各点における白線像の横幅を
決定する。
【００３４】次に、白線内外輝度差計算手段１０２２に
より、道路画像各点について、同一水平ライン上にある
画素の内、前記白線像横幅の半分より近い画素の輝度値
の和を計算し（ステップＢ２）、同じく、同一水平ライ
ン上にある画素の内、前記白線像横幅の半分より遠く横
幅分より近い画素の輝度値の和を計算し（ステップＢ
３）、前記ステップＢ２による近い側の輝度値の和と前
記ステップＢ４による遠い側の輝度値の和との「差」を
計算する（ステップＢ４）。この際、それぞれ近い側と
遠い側の画素数が等しくなるようにする。当該道路画像
点がまさに白線像の中心に位置していたとすると、ステ
ップＢ２では白線像内の画素の輝度値の和が求められ、
ステップＢ３では白線像に接する外側部分の画素の輝度
値の和が求められるため、両者の「差」は最大値を示す
ことになる。この「差」は、当該道路画像点が白線像の
中心から外れるに従って小さくなっていく傾向を示す。
より、道路画像各点について、同一水平ライン上にある
画素の内、前記白線像横幅の半分より近い画素の輝度値
の和を計算し（ステップＢ２）、同じく、同一水平ライ
ン上にある画素の内、前記白線像横幅の半分より遠く横
幅分より近い画素の輝度値の和を計算し（ステップＢ
３）、前記ステップＢ２による近い側の輝度値の和と前
記ステップＢ４による遠い側の輝度値の和との「差」を
計算する（ステップＢ４）。この際、それぞれ近い側と
遠い側の画素数が等しくなるようにする。当該道路画像
点がまさに白線像の中心に位置していたとすると、ステ
ップＢ２では白線像内の画素の輝度値の和が求められ、
ステップＢ３では白線像に接する外側部分の画素の輝度
値の和が求められるため、両者の「差」は最大値を示す
ことになる。この「差」は、当該道路画像点が白線像の
中心から外れるに従って小さくなっていく傾向を示す。
【００３５】次に、白線端エッジ強度計算手段１０２３
により、道路画像各点について、同一水平ライン上で白
線像横幅の半分の距離にある左右２つの画素におけるエ
ッジ強度を、例えば原道路画像にソーベルフィルタをか
けた際の画素値として計算する（ステップＢ５）。当該
道路画像点が白線像内に位置していたとすると、エッジ
強度は大きくなる傾向を示す。
により、道路画像各点について、同一水平ライン上で白
線像横幅の半分の距離にある左右２つの画素におけるエ
ッジ強度を、例えば原道路画像にソーベルフィルタをか
けた際の画素値として計算する（ステップＢ５）。当該
道路画像点が白線像内に位置していたとすると、エッジ
強度は大きくなる傾向を示す。
【００３６】また、白線内輝度均一性計算手段１０２４
により、道路画像各点について、同一水平ライン上で白
線像横幅の半分より近い左右の画素群の輝度値の均一
性、例えば前記画素群内での輝度値の分散、もしくは最
大輝度値と最小輝度値との差などを計算する（ステップ
Ｂ６）。当該道路画像点がまさに白線像の中心に位置し
ていたとすると、均一性は最も良好となり、当該道路画
像点が白線像の中心から外れるに従って徐々に悪化する
傾向を示す。
により、道路画像各点について、同一水平ライン上で白
線像横幅の半分より近い左右の画素群の輝度値の均一
性、例えば前記画素群内での輝度値の分散、もしくは最
大輝度値と最小輝度値との差などを計算する（ステップ
Ｂ６）。当該道路画像点がまさに白線像の中心に位置し
ていたとすると、均一性は最も良好となり、当該道路画
像点が白線像の中心から外れるに従って徐々に悪化する
傾向を示す。
【００３７】次に、白線特徴統合手段１０２５により、
道路画像各点について、内外輝度値和の「差」、エッジ
強度、輝度均一性から、例えばそれらの線形和という形
で白線特徴点らしさを計算する（ステップＢ７）。道路
画像各点について、前記計算された白線特徴点らしさを
対応付けたものを白線フィルタと呼び、個々の道路画像
点の白線特徴点らしさを、その道路画像点の白線フィル
タ値と呼ぶ。
道路画像各点について、内外輝度値和の「差」、エッジ
強度、輝度均一性から、例えばそれらの線形和という形
で白線特徴点らしさを計算する（ステップＢ７）。道路
画像各点について、前記計算された白線特徴点らしさを
対応付けたものを白線フィルタと呼び、個々の道路画像
点の白線特徴点らしさを、その道路画像点の白線フィル
タ値と呼ぶ。
【００３８】そして最後に、白線特徴点データ出力手段
１０２６により、道路画像の各水平ラインについて、白
線フィルタ値が極大値を示す左右それぞれ１つの道路画
像点を左右白線についての白線特徴点として抽出し、出
力する（ステップＢ８）。出力される白線特徴点データ
には、当該道路画像点の座標とその白線フィルタ値とが
含まれる。
１０２６により、道路画像の各水平ラインについて、白
線フィルタ値が極大値を示す左右それぞれ１つの道路画
像点を左右白線についての白線特徴点として抽出し、出
力する（ステップＢ８）。出力される白線特徴点データ
には、当該道路画像点の座標とその白線フィルタ値とが
含まれる。
【００３９】図７は、図４に示したような白線特徴点抽
出手段１０２を使用した本実施例の処理の流れを示すフ
ローチャートである。以下、本実施例の動作を説明す
る。
出手段１０２を使用した本実施例の処理の流れを示すフ
ローチャートである。以下、本実施例の動作を説明す
る。
【００４０】図７に示すように、まず、道路画像入力装
置１０１において道路画像を入力する（図７のステップ
Ｃ１）。次に、図４に示した白線特徴点抽出手段１０２
により、前述したように道路画像の白線フィルタを生成
し、その極大点として左右白線についての白線特徴点列
を抽出する（ステップＣ２）。ここで、抽出された左右
の白線特徴点列を以下のように記す。 左白線特徴点列 （ｘli，ｚli）≡Ｘli，ｉ＝０，１，… 右白線特徴点列 （ｘri，ｚri）≡Ｘri，ｉ＝０，１，… ここで、ＸliとＸriはベクトルである。また、道路画像
点（ｘ，ｚ）における白線フィルタ値をＷ（ｘ，ｚ）と
する。
置１０１において道路画像を入力する（図７のステップ
Ｃ１）。次に、図４に示した白線特徴点抽出手段１０２
により、前述したように道路画像の白線フィルタを生成
し、その極大点として左右白線についての白線特徴点列
を抽出する（ステップＣ２）。ここで、抽出された左右
の白線特徴点列を以下のように記す。 左白線特徴点列 （ｘli，ｚli）≡Ｘli，ｉ＝０，１，… 右白線特徴点列 （ｘri，ｚri）≡Ｘri，ｉ＝０，１，… ここで、ＸliとＸriはベクトルである。また、道路画像
点（ｘ，ｚ）における白線フィルタ値をＷ（ｘ，ｚ）と
する。
【００４１】次に、図８に示すように、予め道路画像を
上下に分割しておいた内の下側領域ＬＡにおいて、下側
領域左右直線検出手段１０３によって、前記白線特徴点
列を前記白線フィルタ値を重みとして最小自乗近似する
直線（第１直線）を、白線の直線近似として左右それぞ
れ独立に検出する（ステップＣ３）。つまり、左第１直
線をｘ＝ａl ｚ＋ｂl と置き、
上下に分割しておいた内の下側領域ＬＡにおいて、下側
領域左右直線検出手段１０３によって、前記白線特徴点
列を前記白線フィルタ値を重みとして最小自乗近似する
直線（第１直線）を、白線の直線近似として左右それぞ
れ独立に検出する（ステップＣ３）。つまり、左第１直
線をｘ＝ａl ｚ＋ｂl と置き、
【数１】 が最小となるようにａl ，ｂl を定める。同様に、右第
１直線をｘ＝ａr ｚ＋ｂr と置き、
１直線をｘ＝ａr ｚ＋ｂr と置き、
【数２】 が最小となるようにａr ，ｂr を定める。
【００４２】次に、水平線座標算出手段１０４におい
て、左右第１直線の交点（第１消失点）を通るとして水
平線を算出する（ステップＣ４）。図８の場合、第１消
失点の座標は（Ｖx ，Ｖz ）であり、水平線はｚ＝Ｖz
である。
て、左右第１直線の交点（第１消失点）を通るとして水
平線を算出する（ステップＣ４）。図８の場合、第１消
失点の座標は（Ｖx ，Ｖz ）であり、水平線はｚ＝Ｖz
である。
【００４３】次に、上側領域直線消失点検出手段１０５
により上側領域ＵＡにおいて、左右第１直線の下側領域
ＬＡにおける上端点を上側領域ＵＡ下端での切片とし、
かつ白線特徴点列を前記白線フィルタ値を重みとして左
右合わせて最小自乗近似する左右の直線（第２直線）の
交点（第２消失点）を、前記水平線上で検出し（ステッ
プＣ５）、左右第２直線を検出する。つまり、左右第１
直線の下側領域における上端点がそれぞれ（Ｆe ，
Ｌ）、（Ｆr ，Ｌ）であったとすると、左第２直線を、 ｘ＝｛（Ｆl −Ｐx ）／（Ｌ−Ｖz ）｝（ｚ−Ｌ）＋Ｆ
l と置き、右第２直線を、 ｘ＝｛（Ｆr −Ｐx ）／（Ｌ−Ｖz ）｝（ｚ−Ｌ）＋Ｆ
r と置き、
により上側領域ＵＡにおいて、左右第１直線の下側領域
ＬＡにおける上端点を上側領域ＵＡ下端での切片とし、
かつ白線特徴点列を前記白線フィルタ値を重みとして左
右合わせて最小自乗近似する左右の直線（第２直線）の
交点（第２消失点）を、前記水平線上で検出し（ステッ
プＣ５）、左右第２直線を検出する。つまり、左右第１
直線の下側領域における上端点がそれぞれ（Ｆe ，
Ｌ）、（Ｆr ，Ｌ）であったとすると、左第２直線を、 ｘ＝｛（Ｆl −Ｐx ）／（Ｌ−Ｖz ）｝（ｚ−Ｌ）＋Ｆ
l と置き、右第２直線を、 ｘ＝｛（Ｆr −Ｐx ）／（Ｌ−Ｖz ）｝（ｚ−Ｌ）＋Ｆ
r と置き、
【数３】 が最小となるようにＰx を定める。
【００４４】最後に、白線推定手段１０６により第１直
線及び第２直線から左右白線の位置、曲がり方向を推定
し、その値を出力する（ステップＣ６）。位置、曲がり
方向以外の情報、例えば左右白線の曲率半径を推定する
ようにしても良い。
線及び第２直線から左右白線の位置、曲がり方向を推定
し、その値を出力する（ステップＣ６）。位置、曲がり
方向以外の情報、例えば左右白線の曲率半径を推定する
ようにしても良い。
【００４５】次に、本発明の第２の実施の形態について
図面を参照して詳細に説明する。
図面を参照して詳細に説明する。
【００４６】図９を参照すると、本発明の第２の実施の
形態は、コンピュータ５００とこれに接続された道路画
像入力装置１０１とから構成されている。
形態は、コンピュータ５００とこれに接続された道路画
像入力装置１０１とから構成されている。
【００４７】道路画像入力装置１０１は、車両前方の路
面上を撮像して検出対象とする路面上の走行レーンの両
側の白線を含む画像情報を生成するものであり、車両の
前部の適所に水平に装着されている。本実施形態の場
合、検出対象とする路面は、勾配の変化が少なく且つカ
ーブ途中で曲率が変化しないような高速道路など、撮像
されている範囲内で道路が略平面に近似でき且つ高々１
つのカーブだけが写っているような路面である。
面上を撮像して検出対象とする路面上の走行レーンの両
側の白線を含む画像情報を生成するものであり、車両の
前部の適所に水平に装着されている。本実施形態の場
合、検出対象とする路面は、勾配の変化が少なく且つカ
ーブ途中で曲率が変化しないような高速道路など、撮像
されている範囲内で道路が略平面に近似でき且つ高々１
つのカーブだけが写っているような路面である。
【００４８】コンピュータ５００は、ＭＰＵ等の処理装
置および主記憶等のメモリを含み、プログラム制御によ
り動作する。コンピュータ５００に接続された記録媒体
Ｋ２は、ＣＤ−ＲＯＭ、磁気ディスク、半導体メモリ等
の機械読み取り可能な記録媒体であり、道路白線検出用
プログラムが記録されている。記録媒体Ｋ２に記録され
た道路白線検出用プログラムは、コンピュータ５００の
立ち上げ時などにコンピュータ５００に読み取られ、コ
ンピュータ５００の動作を制御することにより、コンピ
ュータ５００上に、白線特徴点抽出手段１０２と、下側
領域左右直線検出手段１０３と、水平線座標算出手段１
０４と、上側領域第２消失点検出手段５０５と、上側領
域消失点列推定手段５０６と、白線推定手段５０７とを
実現する。
置および主記憶等のメモリを含み、プログラム制御によ
り動作する。コンピュータ５００に接続された記録媒体
Ｋ２は、ＣＤ−ＲＯＭ、磁気ディスク、半導体メモリ等
の機械読み取り可能な記録媒体であり、道路白線検出用
プログラムが記録されている。記録媒体Ｋ２に記録され
た道路白線検出用プログラムは、コンピュータ５００の
立ち上げ時などにコンピュータ５００に読み取られ、コ
ンピュータ５００の動作を制御することにより、コンピ
ュータ５００上に、白線特徴点抽出手段１０２と、下側
領域左右直線検出手段１０３と、水平線座標算出手段１
０４と、上側領域第２消失点検出手段５０５と、上側領
域消失点列推定手段５０６と、白線推定手段５０７とを
実現する。
【００４９】先ず、これらの手段の概略を図９および図
１０を参照して説明する。
１０を参照して説明する。
【００５０】白線特徴点抽出手段１０２は、道路画像入
力装置１０１で得られた道路画像３０１内から左右の白
線３０５、３０４の像上にある点列を、白線特徴点列と
して抽出する。
力装置１０１で得られた道路画像３０１内から左右の白
線３０５、３０４の像上にある点列を、白線特徴点列と
して抽出する。
【００５１】下側領域左右直線検出手段１０３は、予め
道路画像３０１内を上下に分割しておいたうちの下側領
域３０２において、白線特徴点抽出手段１０２で抽出し
た左右の白線特徴点列を最も良く近似する直線を左右の
白線それぞれに対して検出する。左右の白線３０５、３
０４それぞれに対して検出した直線が、左第１直線３０
７、右第１直線３０６である。なお、道路画像３０１内
を下側領域３０２とそれ以外の領域とに２分する位置は
任意であるが、例えば、下側領域３０２の上側の境界線
が車両前方の所定距離（例えば３０ｍ）の位置にくるよ
うに分割する。
道路画像３０１内を上下に分割しておいたうちの下側領
域３０２において、白線特徴点抽出手段１０２で抽出し
た左右の白線特徴点列を最も良く近似する直線を左右の
白線それぞれに対して検出する。左右の白線３０５、３
０４それぞれに対して検出した直線が、左第１直線３０
７、右第１直線３０６である。なお、道路画像３０１内
を下側領域３０２とそれ以外の領域とに２分する位置は
任意であるが、例えば、下側領域３０２の上側の境界線
が車両前方の所定距離（例えば３０ｍ）の位置にくるよ
うに分割する。
【００５２】水平線座標算出手段１０４は、実世界での
道路面が平面をなすとした場合に、図１０で示されてい
るように路面上にある平行な直線の道路画像３０１内で
の交点が水平線上にあるという性質を利用して、白線特
徴点抽出手段１０２で検出された下側領域３０２の左第
１直線３０７と右第１直線３０６の交点である第１消失
点３１１を求め、この第１消失点３１１を通る水平な線
を水平線３１０として検出し、この水平線３１０の座標
を算出する。
道路面が平面をなすとした場合に、図１０で示されてい
るように路面上にある平行な直線の道路画像３０１内で
の交点が水平線上にあるという性質を利用して、白線特
徴点抽出手段１０２で検出された下側領域３０２の左第
１直線３０７と右第１直線３０６の交点である第１消失
点３１１を求め、この第１消失点３１１を通る水平な線
を水平線３１０として検出し、この水平線３１０の座標
を算出する。
【００５３】上側領域第２消失点検出手段５０５は、図
１０に示すように予め上側領域を上下に複数の領域７０
３〜７０６に分割しておいた内の最も下に位置する上側
第１領域７０３において、水平線座標算出手段１０４で
検出された水平線３１０と、下側領域左右直線検出手段
１０３で検出された左右第１直線３０７、３０６と、白
線特徴点抽出手段１０２で抽出された上側第１領域７０
３の白線特徴点列とから、上側第１領域７０３での左右
の白線特徴点列を近似した直線（左第２直線７１３、右
第２直線７１２）の交点（第２消失点７１４）を検出
し、この第２消失点７１４から左右第２直線７１３、７
１２を検出する。具体的には、前記した道路面上の平行
直線の性質から、図１０で示されているように、上側第
１領域７０３での左白線３０５及び右白線３０４を近似
した左第２直線７１３及び右第２直線７１２の交点（第
２消失点７１４）も水平線３１０上にあるとして、また
上側第１領域７０３の下端部での左右第２直線７１３、
７１２の切片が下側領域３０２の左右第１直線３０７、
３０６上にあるとして、その第２消失点７１４を検出
し、この検出した第２消失点７１４と下側領域３０２の
左第１直線３０７の上端部の切片とを結ぶ直線を左第２
直線７１３とし、第２消失点７１４と下側領域３０２の
右第１直線３０６の上端部の切片とを結ぶ直線を右第２
直線７１２とする。
１０に示すように予め上側領域を上下に複数の領域７０
３〜７０６に分割しておいた内の最も下に位置する上側
第１領域７０３において、水平線座標算出手段１０４で
検出された水平線３１０と、下側領域左右直線検出手段
１０３で検出された左右第１直線３０７、３０６と、白
線特徴点抽出手段１０２で抽出された上側第１領域７０
３の白線特徴点列とから、上側第１領域７０３での左右
の白線特徴点列を近似した直線（左第２直線７１３、右
第２直線７１２）の交点（第２消失点７１４）を検出
し、この第２消失点７１４から左右第２直線７１３、７
１２を検出する。具体的には、前記した道路面上の平行
直線の性質から、図１０で示されているように、上側第
１領域７０３での左白線３０５及び右白線３０４を近似
した左第２直線７１３及び右第２直線７１２の交点（第
２消失点７１４）も水平線３１０上にあるとして、また
上側第１領域７０３の下端部での左右第２直線７１３、
７１２の切片が下側領域３０２の左右第１直線３０７、
３０６上にあるとして、その第２消失点７１４を検出
し、この検出した第２消失点７１４と下側領域３０２の
左第１直線３０７の上端部の切片とを結ぶ直線を左第２
直線７１３とし、第２消失点７１４と下側領域３０２の
右第１直線３０６の上端部の切片とを結ぶ直線を右第２
直線７１２とする。
【００５４】なお、予め上側領域を上下に複数の領域に
分割する位置は、少なくとも水平線３１０に隣接する領
域を除き、他の領域の上下幅が実空間で同じ道路長にな
るように分割する。つまり、図１０の場合、上側第１領
域７０３、上側第２領域７０４、上側第３領域７０５の
上下幅を実空間で同じ道路長（例えば３０ｍ）になるよ
うに分割し、残りを水平線３１０に隣接する上側第４領
域７０６に割り当てる。
分割する位置は、少なくとも水平線３１０に隣接する領
域を除き、他の領域の上下幅が実空間で同じ道路長にな
るように分割する。つまり、図１０の場合、上側第１領
域７０３、上側第２領域７０４、上側第３領域７０５の
上下幅を実空間で同じ道路長（例えば３０ｍ）になるよ
うに分割し、残りを水平線３１０に隣接する上側第４領
域７０６に割り当てる。
【００５５】上側領域消失点列推定手段５０６は、道路
画像３０１の上側第２領域７０４から上側第４領域７０
６の各領域について、その領域より下側の複数の領域に
おける左右白線近似直線の交点間の水平線３１０上での
変位量に基づいて、その領域での左右白線近似直線の交
点を推定し、その交点に基づき各領域での左右白線近似
直線を求める。即ち、図１０の場合、下側領域左右直線
検出手段１０３で検出された第１消失点３１１、上側領
域第２消失点検出手段５０５で検出された第２消失点７
１４から、上側第２領域７０４の左右第３直線７１６、
７１５の第３消失点７１７、上側第３領域７０５の左右
第４直線７１９、７１８の第４消失点７２０、上側第４
領域７０６の左右第５直線の第５消失点７２１をその順
に順次に推定し、第３消失点７１７と上側第１領域７０
３の左右第２直線７１３、７１２の上端部の切片とを結
ぶ直線を左第３直線７１６、右第３直線７１５とし、第
４消失点７２０と上側第２領域７０４の左右第３直線７
１６、７１５の上端部の切片とを結ぶ直線を左第４直線
７１９、右第４直線７１８とし、第５消失点７２１と上
側第３領域７０５の左右第４直線７１９、７１８の上端
部の切片とを結ぶ直線を左右第５直線とする。
画像３０１の上側第２領域７０４から上側第４領域７０
６の各領域について、その領域より下側の複数の領域に
おける左右白線近似直線の交点間の水平線３１０上での
変位量に基づいて、その領域での左右白線近似直線の交
点を推定し、その交点に基づき各領域での左右白線近似
直線を求める。即ち、図１０の場合、下側領域左右直線
検出手段１０３で検出された第１消失点３１１、上側領
域第２消失点検出手段５０５で検出された第２消失点７
１４から、上側第２領域７０４の左右第３直線７１６、
７１５の第３消失点７１７、上側第３領域７０５の左右
第４直線７１９、７１８の第４消失点７２０、上側第４
領域７０６の左右第５直線の第５消失点７２１をその順
に順次に推定し、第３消失点７１７と上側第１領域７０
３の左右第２直線７１３、７１２の上端部の切片とを結
ぶ直線を左第３直線７１６、右第３直線７１５とし、第
４消失点７２０と上側第２領域７０４の左右第３直線７
１６、７１５の上端部の切片とを結ぶ直線を左第４直線
７１９、右第４直線７１８とし、第５消失点７２１と上
側第３領域７０５の左右第４直線７１９、７１８の上端
部の切片とを結ぶ直線を左右第５直線とする。
【００５６】白線推定手段５０７は、下側領域３０２、
上側領域の各領域７０３〜７０６でそれぞれ検出された
左右白線近似直線から左右の白線の位置、形状を推定
し、その値を出力する。
上側領域の各領域７０３〜７０６でそれぞれ検出された
左右白線近似直線から左右の白線の位置、形状を推定
し、その値を出力する。
【００５７】次に、図９乃至図１１を参照して本実施の
形態の全体の動作について説明する。
形態の全体の動作について説明する。
【００５８】まず、道路画像入力装置１０１において道
路画像３０１を入力する（図１１のステップＤ１）。次
に、道路画像３０１から白線特徴点抽出手段１０２によ
り左右白線についての白線特徴点列を抽出する（ステッ
プＤ２）。さらに、予め道路画像３０１を上下に分割し
ておいたうちの下側領域３０２において、下側領域左右
直線検出手段１０３によって前記白線特徴点列を基にこ
れを近似する直線３０７、３０６（第１直線）を左右そ
れぞれに検出する（ステップＤ３）。次に、水平線座標
算出手段１０４において、左右第１直線３０７、３０６
の交点（第１消失点３１１）を通る水平な線を水平線３
１０として算出する（ステップＤ４）。
路画像３０１を入力する（図１１のステップＤ１）。次
に、道路画像３０１から白線特徴点抽出手段１０２によ
り左右白線についての白線特徴点列を抽出する（ステッ
プＤ２）。さらに、予め道路画像３０１を上下に分割し
ておいたうちの下側領域３０２において、下側領域左右
直線検出手段１０３によって前記白線特徴点列を基にこ
れを近似する直線３０７、３０６（第１直線）を左右そ
れぞれに検出する（ステップＤ３）。次に、水平線座標
算出手段１０４において、左右第１直線３０７、３０６
の交点（第１消失点３１１）を通る水平な線を水平線３
１０として算出する（ステップＤ４）。
【００５９】次に、上側領域第２消失点検出手段５０５
により、予め上側領域を上下に複数の領域７０３〜７０
６に分割しておいた内の最も下に位置する上側第１領域
７０３において、左右白線特徴点列を近似する左右直線
７１３、７１２（第２直線）の上側第１領域７０３下端
での切片が左右第１直線３０７、３０６上にあり、かつ
左右の交点（第２消失点７１４）が水平線３１０上にあ
るとして、第２消失点７１４の位置を水平線３１０上で
検出し、それを基に左右第２直線７１３、７１２を検出
する（ステップＤ５）。
により、予め上側領域を上下に複数の領域７０３〜７０
６に分割しておいた内の最も下に位置する上側第１領域
７０３において、左右白線特徴点列を近似する左右直線
７１３、７１２（第２直線）の上側第１領域７０３下端
での切片が左右第１直線３０７、３０６上にあり、かつ
左右の交点（第２消失点７１４）が水平線３１０上にあ
るとして、第２消失点７１４の位置を水平線３１０上で
検出し、それを基に左右第２直線７１３、７１２を検出
する（ステップＤ５）。
【００６０】次に、変数ｎを２に初期化し（ステップＤ
６）、上側領域消失点列推定手段５０６により、先ず、
上側第ｎ（＝２）領域７０４において、第ｎ（＝２）消
失点７１４、第ｎ−１（＝１）消失点３１１を基に、第
ｎ＋１（＝３）消失点７１７を、水平線３１０上に存在
するとして推定し、これを基に左右第３直線７１６、７
１５を検出する（ステップＤ７）。
６）、上側領域消失点列推定手段５０６により、先ず、
上側第ｎ（＝２）領域７０４において、第ｎ（＝２）消
失点７１４、第ｎ−１（＝１）消失点３１１を基に、第
ｎ＋１（＝３）消失点７１７を、水平線３１０上に存在
するとして推定し、これを基に左右第３直線７１６、７
１５を検出する（ステップＤ７）。
【００６１】次に、上側第ｎ（＝２）領域７０４が水平
線３１０に隣接するか否かを判別し（ステップＤ８）、
隣接していなければ、ｎを＋１して（ステップＤ９）、
ステップＤ７に戻って、上述の処理を繰り返す。図１０
の場合、上側第２領域７０４は水平線３１０に隣接して
いないので、ステップＤ７に戻り、上側第ｎ（＝３）領
域７０５において、第ｎ（＝３）消失点７１７、第ｎ−
１（＝２）消失点７１４を基に、第ｎ＋１（＝４）消失
点７２０を、水平線３１０上に存在するとして推定し、
これを基に左右第４直線７１９、７１８を検出する。図
１０の場合、以下同様にして、第５消失点７２１及びそ
れから求まる左右第５直線まで求められる。そして、第
５消失点７２１をステップＤ７で求めると、上側第４領
域７０６が水平線３１０に隣接しているので、ステップ
Ｄ８の判断結果がＹＥＳとなり、上側領域消失点列推定
手段５０６は処理を終える。
線３１０に隣接するか否かを判別し（ステップＤ８）、
隣接していなければ、ｎを＋１して（ステップＤ９）、
ステップＤ７に戻って、上述の処理を繰り返す。図１０
の場合、上側第２領域７０４は水平線３１０に隣接して
いないので、ステップＤ７に戻り、上側第ｎ（＝３）領
域７０５において、第ｎ（＝３）消失点７１７、第ｎ−
１（＝２）消失点７１４を基に、第ｎ＋１（＝４）消失
点７２０を、水平線３１０上に存在するとして推定し、
これを基に左右第４直線７１９、７１８を検出する。図
１０の場合、以下同様にして、第５消失点７２１及びそ
れから求まる左右第５直線まで求められる。そして、第
５消失点７２１をステップＤ７で求めると、上側第４領
域７０６が水平線３１０に隣接しているので、ステップ
Ｄ８の判断結果がＹＥＳとなり、上側領域消失点列推定
手段５０６は処理を終える。
【００６２】最後に、白線推定手段５０７により、左右
第１直線３０７、３０６、左右第２直線７１３、７１
２、…、左右第５直線から左右白線３０５、３０４の位
置、形状を推定し、その値を出力する（ステップＤ１
０）。
第１直線３０７、３０６、左右第２直線７１３、７１
２、…、左右第５直線から左右白線３０５、３０４の位
置、形状を推定し、その値を出力する（ステップＤ１
０）。
【００６３】次に、本実施の形態の効果について説明す
る。
る。
【００６４】本実施の形態では、上側領域における左右
白線が複数の直線からなる折れ線で近似するように構成
されているため、カーブ路における近似精度を保つこと
ができる。
白線が複数の直線からなる折れ線で近似するように構成
されているため、カーブ路における近似精度を保つこと
ができる。
【００６５】また、本実施の形態では、さらに、下側領
域と、上側領域のうち最も下に位置する上側第１領域に
おける白線特徴点列しか利用せず、更に上側の領域につ
いてはこの２つの領域における検出結果から推定するよ
うに構成されているため、道路画像において解像度不足
や他車両像のためにより上側にいくほど増えていくノイ
ズの影響を抑えることができる。
域と、上側領域のうち最も下に位置する上側第１領域に
おける白線特徴点列しか利用せず、更に上側の領域につ
いてはこの２つの領域における検出結果から推定するよ
うに構成されているため、道路画像において解像度不足
や他車両像のためにより上側にいくほど増えていくノイ
ズの影響を抑えることができる。
【００６６】次に、具体的な実施例を用いて本実施の形
態の動作を説明する。
態の動作を説明する。
【００６７】図１２に示すように、まず、道路画像入力
装置１０１において道路画像を入力する（ステップＥ
１）。次に、この道路画像から白線特徴点抽出手段１０
２により、前述した実施例と同様に白線フィルタを生成
し、その極大点として左右白線についての白線特徴点列
を抽出する（ステップＥ２）。さらに、予め道路画像を
上下に分割しておいたうちの下側領域において、下側領
域左右直線検出手段１０３によって、前記白線特徴点列
を前記白線フィルタ値を重みとして最小自乗近似する直
線（第１直線）を、白線の直線近似として左右それぞれ
に検出する（ステップＥ３）。次に、水平線座標算出手
段１０４において、左右第１直線の交点（第１消失点）
を通るとして水平線を算出する（ステップＥ４）。
装置１０１において道路画像を入力する（ステップＥ
１）。次に、この道路画像から白線特徴点抽出手段１０
２により、前述した実施例と同様に白線フィルタを生成
し、その極大点として左右白線についての白線特徴点列
を抽出する（ステップＥ２）。さらに、予め道路画像を
上下に分割しておいたうちの下側領域において、下側領
域左右直線検出手段１０３によって、前記白線特徴点列
を前記白線フィルタ値を重みとして最小自乗近似する直
線（第１直線）を、白線の直線近似として左右それぞれ
に検出する（ステップＥ３）。次に、水平線座標算出手
段１０４において、左右第１直線の交点（第１消失点）
を通るとして水平線を算出する（ステップＥ４）。
【００６８】次に、上側領域第２消失点検出手段５０５
により、予め上側領域を上下に複数の領域に分割してお
いた内の最も下に位置する上側第１領域において、左右
第１直線の下側領域における上端点を上側第１領域下端
での切片とし、かつ白線特徴点列を前記白線フィルタ値
を重みとして左右合わせて最小自乗近似する左右の直線
（第２直線）の交点（第２消失点）を、前記水平線上で
検出する（ステップＥ５）。
により、予め上側領域を上下に複数の領域に分割してお
いた内の最も下に位置する上側第１領域において、左右
第１直線の下側領域における上端点を上側第１領域下端
での切片とし、かつ白線特徴点列を前記白線フィルタ値
を重みとして左右合わせて最小自乗近似する左右の直線
（第２直線）の交点（第２消失点）を、前記水平線上で
検出する（ステップＥ５）。
【００６９】次に、変数ｎを２に初期化する（ステップ
Ｅ６）。次に、上側領域消失点列推定手段５０６によ
り、上側第ｎ領域における第ｎ＋１消失点の前記水平線
上での位置をＶ［ｎ＋１］として、Ｖ［ｎ］、Ｖ［ｎ−
１］を基に、Ｖ［ｎ＋１］を以下の式で推定する。 Ｖ［ｎ＋１］＝Ｖ［ｎ］＋（Ｖ［ｎ］−Ｖ［ｎ−１］）
Ｅ６）。次に、上側領域消失点列推定手段５０６によ
り、上側第ｎ領域における第ｎ＋１消失点の前記水平線
上での位置をＶ［ｎ＋１］として、Ｖ［ｎ］、Ｖ［ｎ−
１］を基に、Ｖ［ｎ＋１］を以下の式で推定する。 Ｖ［ｎ＋１］＝Ｖ［ｎ］＋（Ｖ［ｎ］−Ｖ［ｎ−１］）
【００７０】次に、上側第ｎ領域が水平線に隣接してい
なければ（ステップＥ８）、ｎを１インクリメントして
ステップＥ７に戻る（ステップＥ９）。隣接していれば
最後に、白線推定手段５０７により第１直線、第２直
線、…、から左右白線の位置、曲がり方向を推定し、そ
の値を出力する（ステップＥ１０）。曲率半径をも推定
し、その値を出力しても良い。
なければ（ステップＥ８）、ｎを１インクリメントして
ステップＥ７に戻る（ステップＥ９）。隣接していれば
最後に、白線推定手段５０７により第１直線、第２直
線、…、から左右白線の位置、曲がり方向を推定し、そ
の値を出力する（ステップＥ１０）。曲率半径をも推定
し、その値を出力しても良い。
【００７１】以上の第２の実施の形態では、道路画像中
の最下領域及びそれに隣接する領域以外の領域について
は、その領域より下側の複数の領域における左右白線近
似直線の交点間の水平線上での変位量に基づいて、その
領域での左右白線近似直線の交点を推定した。他の実施
の形態として、道路画像中の最下領域及びそれに隣接す
る領域以外の領域についても、最下領域に隣接する領域
と同様に、その領域の左右白線を近似する左右直線の下
端での切片が直ぐ下の領域における左右直線上にあり、
かつその左右直線の交点が同一水平線上にあるとして、
前述した数３の式と同様な式によりその交点を水平線上
で検出し、この交点と前記切片とを結ぶ直線を左右直線
として検出するようにしても良い。
の最下領域及びそれに隣接する領域以外の領域について
は、その領域より下側の複数の領域における左右白線近
似直線の交点間の水平線上での変位量に基づいて、その
領域での左右白線近似直線の交点を推定した。他の実施
の形態として、道路画像中の最下領域及びそれに隣接す
る領域以外の領域についても、最下領域に隣接する領域
と同様に、その領域の左右白線を近似する左右直線の下
端での切片が直ぐ下の領域における左右直線上にあり、
かつその左右直線の交点が同一水平線上にあるとして、
前述した数３の式と同様な式によりその交点を水平線上
で検出し、この交点と前記切片とを結ぶ直線を左右直線
として検出するようにしても良い。
【００７２】
【発明の効果】以上説明したように本発明によれば以下
のような効果が得られる。
のような効果が得られる。
【００７３】第１の効果は、道路画像中の上側領域での
白線を頑健かつ効率良く検出できることである。その理
由は、上側領域での直線近似が左右近似直線の消失点
の、既に検出済の水平線上の位置計算という、１つのみ
のパラメータを求める問題に帰着されているためであ
る。
白線を頑健かつ効率良く検出できることである。その理
由は、上側領域での直線近似が左右近似直線の消失点
の、既に検出済の水平線上の位置計算という、１つのみ
のパラメータを求める問題に帰着されているためであ
る。
【００７４】第２の効果は、道路画像中の上側領域にお
いて左右どちらかの白線が欠けていてもその推定ができ
ることである。その理由は、上側領域での直線近似が左
右近似直線の消失点の、既に検出済の水平線上の位置計
算という、左右白線で共通のパラメータのみを求める問
題に帰着されているためである。
いて左右どちらかの白線が欠けていてもその推定ができ
ることである。その理由は、上側領域での直線近似が左
右近似直線の消失点の、既に検出済の水平線上の位置計
算という、左右白線で共通のパラメータのみを求める問
題に帰着されているためである。
【００７５】第３の効果は、道路画像を多数の領域に上
下分割した場合であっても上側領域での白線を頑健かつ
効率良く検出できることである。その理由は、道路画像
中の最下領域とその隣接領域以外の領域については、比
較的ノイズの少ない道路画像の下の方の画像データを使
って検出済の水平線上の複数の交点間の変位量に基づい
て、順次にその領域での左右白線近似直線の交点を推定
しており、ノイズの影響を強く受ける上方の画像データ
を利用していないからである。
下分割した場合であっても上側領域での白線を頑健かつ
効率良く検出できることである。その理由は、道路画像
中の最下領域とその隣接領域以外の領域については、比
較的ノイズの少ない道路画像の下の方の画像データを使
って検出済の水平線上の複数の交点間の変位量に基づい
て、順次にその領域での左右白線近似直線の交点を推定
しており、ノイズの影響を強く受ける上方の画像データ
を利用していないからである。
【図１】本発明の第１の実施の形態の構成を示すブロッ
ク図である。
ク図である。
【図２】第１の実施の形態の動作を示す流れ図である。
【図３】第１の実施の形態の動作を説明する道路画像図
である。
である。
【図４】白線特徴点抽出手段の実施例を示すブロック図
である。
である。
【図５】白線特徴点抽出手段の実施例の動作を示す流れ
図である。
図である。
【図６】道路画像入力装置の座標系を示す図である。
【図７】本発明の第１の実施の形態の動作の具体例を示
す流れ図である。
す流れ図である。
【図８】下側領域左右直線検出手段、水平線座標算出手
段および上側領域直線消失点検出手段の動作説明図であ
る。
段および上側領域直線消失点検出手段の動作説明図であ
る。
【図９】本発明の第２の実施の形態の構成を示すプロッ
ク図である。
ク図である。
【図１０】第２の実施の形態の動作を説明する道路画像
図である。
図である。
【図１１】第２の実施の形態の動作を示す流れ図であ
る。
る。
【図１２】本発明の第２の実施の形態の動作の具体例を
示す流れ図である。
示す流れ図である。
１００，５００…コンピュータ １０１…道路画像入力装置 １０２…白線特徴点抽出手段 １０３…下側領域左右直線検出手段 １０４…水平線座標算出手段 １０５…上側領域直線消失点検出手段 １０６…白線推定手段 ３０１…道路画像 ３０２…下側領域 ３０３…上側領域 ３０４…右白線 ３０５…左白線 ３０６…右第１直線 ３０７…左第１直線 ３０８…右第２直線 ３０９…左第２直線 ３１０…水平線 ３１１…第１消失点 ３１２…第２消失点 ５０５…上側領域第２消失点検出手段 ５０６…上側領域消失点列推定手段 ５０７…白線推定手段 ７０３…上側第１領域 ７０４…上側第２領域 ７０５…上側第３領域 ７０６…上側第４領域 ７１２…右第２直線 ７１３…左第２直線 ７１４…第２消失点 ７１５…右第３直線 ７１６…左第３直線 ７１７…第３消失点 ７１８…右第４直線 ７１９…左第４直線 ７２０…第４消失点 ７２１…第５消失点
Claims (12)
- 【請求項１】 道路画像を処理して道路画像中の白線を
検出する道路白線検出システムにおいて、 道路画像を上下に少なくとも２つの領域に分割した最下
領域にて左右白線を近似する左右第１直線を検出する第
１の手段と、 前記左右第１直線の交点である第１消失点から水平線を
算出する第２の手段と、 道路画像中の前記最下領域以外の領域にて左右白線を近
似する左右直線の交点が前記水平線上に存在することを
利用して当該交点を検出することにより、前記最下領域
以外の領域での左右白線近似直線を検出する第３の手段
と、 を備えたことを特徴とする道路白線検出システム。 - 【請求項２】 前記第３の手段は、道路画像中の前記最
下領域以外の領域の内、少なくとも前記最下領域に隣接
する領域については、その領域の左右白線を近似する左
右第２直線の下端での切片が前記左右第１直線上にあ
り、かつ前記左右第２直線の交点である第２消失点が前
記水平線上にあるとして、前記第２消失点を前記水平線
上で検出する手段を含むことを特徴とする請求項１記載
の道路白線検出システム。 - 【請求項３】 前記第３の手段は、道路画像中の前記最
下領域及びそれに隣接する領域以外の領域については、
その領域より下側の複数の領域における左右白線近似直
線の交点間の前記水平線上での変位量に基づいて、その
領域での左右白線近似直線の交点を推定する手段を含む
ことを特徴とする請求項２記載の道路白線検出システ
ム。 - 【請求項４】 道路画像から左右の白線像上にある点列
を、白線特徴点らしさを示す白線フィルタ値と共に、白
線特徴点列として抽出する手段を備え、 前記第１の手段は、前記白線特徴点列を前記白線フィル
タ値を重みとして最小自乗近似する直線を、白線の直線
近似として左右それぞれに検出する手段を含み、 前記第３の手段は、前記左右第１直線の下側領域におけ
る上端点を前記最下領域に隣接する領域の下端での切片
とし、かつ前記最下領域に隣接する領域の白線特徴点列
を前記白線フィルタ値を重みとして左右合わせて最小自
乗近似する左右第２直線の交点を、前記水平線上で検出
する手段を含むことを特徴とする請求項３記載の道路白
線検出システム。 - 【請求項５】 道路画像を処理して道路画像中の白線を
検出する道路白線検出方法において、（ａ）道路画像を
上下に少なくとも２つの領域に分割した最下領域にて左
右白線を近似する左右第１直線を検出するステップと、
（ｂ）前記左右第１直線の交点である第１消失点から水
平線を算出するステップと、（ｃ）道路画像中の前記最
下領域以外の領域にて左右白線を近似する左右直線の交
点が前記水平線上に存在することを利用して当該交点を
検出することにより、前記最下領域以外の領域での左右
白線近似直線を検出するステップと、 を含むことを特徴とする道路白線検出方法。 - 【請求項６】 前記ステップｃは、道路画像中の前記最
下領域以外の領域の内、少なくとも前記最下領域に隣接
する領域については、その領域の左右白線を近似する左
右第２直線の下端での切片が前記左右第１直線上にあ
り、かつ前記左右第２直線の交点である第２消失点が前
記水平線上にあるとして、前記第２消失点を前記水平線
上で検出する処理を含むことを特徴とする請求項５記載
の道路白線検出方法。 - 【請求項７】 前記ステップｃは、道路画像中の前記最
下領域及びそれに隣接する領域以外の領域については、
その領域より下側の複数の領域における左右白線近似直
線の交点間の前記水平線上での変位量に基づいて、その
領域での左右白線近似直線の交点を推定する処理を含む
ことを特徴とする請求項６記載の道路白線検出方法。 - 【請求項８】 道路画像から左右の白線像上にある点列
を、白線特徴点らしさを示す白線フィルタ値と共に、白
線特徴点列として抽出するステップを更に含み、 前記ステップａは、前記白線特徴点列を前記白線フィル
タ値を重みとして最小自乗近似する直線を、白線の直線
近似として左右それぞれに検出する処理を含み、 前記ステップｃは、前記左右第１直線の下側領域におけ
る上端点を前記最下領域に隣接する領域の下端での切片
とし、かつ前記最下領域に隣接する領域の白線特徴点列
を前記白線フィルタ値を重みとして左右合わせて最小自
乗近似する左右第２直線の交点を、前記水平線上で検出
する処理を含むことを特徴とする請求項７記載の道路白
線検出方法。 - 【請求項９】 道路画像を処理して道路画像中の白線を
検出する道路白線検出用プログラムを記録した機械読み
取り可能な記録媒体であって、コンピュータに、（ａ）
道路画像を上下に少なくとも２つの領域に分割した最下
領域にて左右白線を近似する左右第１直線を検出するス
テップと、（ｂ）前記左右第１直線の交点である第１消
失点から水平線を算出するステップと、（ｃ）道路画像
中の前記最下領域以外の領域にて左右白線を近似する左
右直線の交点が前記水平線上に存在することを利用して
当該交点を検出することにより、前記最下領域以外の領
域での左右白線近似直線を検出するステップと、 を実行させる道路白線検出用プログラムを記録した記録
媒体。 - 【請求項１０】 前記ステップｃは、道路画像中の前記
最下領域以外の領域の内、少なくとも前記最下領域に隣
接する領域については、その領域の左右白線を近似する
左右第２直線の下端での切片が前記左右第１直線上にあ
り、かつ前記左右第２直線の交点である第２消失点が前
記水平線上にあるとして、前記第２消失点を前記水平線
上で検出する処理を含むことを特徴とする請求項９記載
の道路白線検出用プログラムを記録した記録媒体。 - 【請求項１１】 前記ステップｃは、道路画像中の前記
最下領域及びそれに隣接する領域以外の領域について
は、その領域より下側の複数の領域における左右白線近
似直線の交点間の前記水平線上での変位量に基づいて、
その領域での左右白線近似直線の交点を推定する処理を
含むことを特徴とする請求項１０記載の道路白線検出用
プログラムを記録した記録媒体。 - 【請求項１２】 道路画像から左右の白線像上にある点
列を、白線特徴点らしさを示す白線フィルタ値と共に、
白線特徴点列として抽出するステップを前記コンピュー
タに更に実行させるプログラムを含み、且つ、 前記ステップａは、前記白線特徴点列を前記白線フィル
タ値を重みとして最小自乗近似する直線を、白線の直線
近似として左右それぞれに検出する処理を含み、 前記ステップｃは、前記左右第１直線の下側領域におけ
る上端点を前記最下領域に隣接する領域の下端での切片
とし、かつ前記最下領域に隣接する領域の白線特徴点列
を前記白線フィルタ値を重みとして左右合わせて最小自
乗近似する左右第２直線の交点を、前記水平線上で検出
する処理を含むことを特徴とする請求項１１記載の道路
白線検出用プログラムを記録した記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24971199A JP3575346B2 (ja) | 1999-09-03 | 1999-09-03 | 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体 |
| DE10043467A DE10043467B4 (de) | 1999-09-03 | 2000-09-04 | System und Verfahren zum Ermitteln einer Straßenmarkierungslinie |
| US09/655,765 US6829388B1 (en) | 1999-09-03 | 2000-09-05 | System of detecting road white line, method for detecting road white line and storage medium storing program for detecting road white line |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24971199A JP3575346B2 (ja) | 1999-09-03 | 1999-09-03 | 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001076147A true JP2001076147A (ja) | 2001-03-23 |
| JP3575346B2 JP3575346B2 (ja) | 2004-10-13 |
Family
ID=17197073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24971199A Expired - Lifetime JP3575346B2 (ja) | 1999-09-03 | 1999-09-03 | 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6829388B1 (ja) |
| JP (1) | JP3575346B2 (ja) |
| DE (1) | DE10043467B4 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004101503A (ja) * | 2002-07-18 | 2004-04-02 | Mitsutoyo Corp | 信号処理方法、信号処理プログラム、この信号処理プログラムを記録した記録媒体および信号処理装置 |
| CN102436644A (zh) * | 2011-11-02 | 2012-05-02 | 南京物联网研究院发展有限公司 | 基于自适应边缘配准的非结构化道路检测方法 |
| WO2012081359A1 (ja) * | 2010-12-15 | 2012-06-21 | 本田技研工業株式会社 | レーン認識装置 |
| WO2013141226A1 (ja) * | 2012-03-19 | 2013-09-26 | 株式会社日本自動車部品総合研究所 | 走行区画線を認識する装置および方法 |
| WO2014030508A1 (ja) * | 2012-08-22 | 2014-02-27 | 株式会社メガチップス | 車線状況判別装置および車線状況判別方法 |
| WO2014034187A1 (ja) * | 2012-08-30 | 2014-03-06 | 本田技研工業株式会社 | レーンマーク認識装置 |
| JP2017151963A (ja) * | 2015-12-30 | 2017-08-31 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | ドライバを支援するための方法および装置 |
| JP2019194769A (ja) * | 2018-05-01 | 2019-11-07 | 株式会社東芝 | 軌道識別装置 |
| US20200082178A1 (en) * | 2018-09-07 | 2020-03-12 | Samsung Electronics Co., Ltd. | Method and apparatus with road line detection |
| US10795374B2 (en) | 2017-03-31 | 2020-10-06 | Honda Motor Co., Ltd. | Vehicle control device |
| JP2021043143A (ja) * | 2019-09-13 | 2021-03-18 | 株式会社Ｍｏｂｉｌｉｔｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ | 消失点を算出するためのプログラム、装置、及び方法 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3651387B2 (ja) * | 2000-11-22 | 2005-05-25 | 日産自動車株式会社 | 白線検出装置 |
| KR20020053346A (ko) | 2000-12-27 | 2002-07-05 | 이계안 | 차선 모델링 시스템의 곡선로 인식방법 |
| DE10133761A1 (de) * | 2001-07-11 | 2003-01-30 | Vitronic Dr Ing Stein Bildvera | Verfahren und Vorrichtung zur virtuellen Lagebestimmung eines Fahrzeugaufbaus |
| JP4374211B2 (ja) * | 2002-08-27 | 2009-12-02 | クラリオン株式会社 | レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置 |
| JP3625460B2 (ja) * | 2002-09-27 | 2005-03-02 | 三菱電機株式会社 | 車載用走行車線認識装置 |
| JP2005215985A (ja) * | 2004-01-29 | 2005-08-11 | Fujitsu Ltd | 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法 |
| WO2005093657A1 (ja) * | 2004-03-29 | 2005-10-06 | Pioneer Corporation | 道路景観解析装置及び方法 |
| JP4616068B2 (ja) * | 2005-04-28 | 2011-01-19 | 本田技研工業株式会社 | 車両、画像処理システム、画像処理方法及び画像処理プログラム |
| JP4248558B2 (ja) * | 2006-03-24 | 2009-04-02 | トヨタ自動車株式会社 | 道路区画線検出装置 |
| JP4222411B2 (ja) * | 2006-11-08 | 2009-02-12 | 日本電気株式会社 | 消失点検出システム、消失点検出方法および消失点検出用プログラム |
| EP2168079B1 (en) * | 2007-01-23 | 2015-01-14 | Valeo Schalter und Sensoren GmbH | Method and system for universal lane boundary detection |
| JP4937030B2 (ja) | 2007-07-24 | 2012-05-23 | ルネサスエレクトロニクス株式会社 | 車両用画像処理装置 |
| US8699754B2 (en) * | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
| JP2010109483A (ja) * | 2008-10-28 | 2010-05-13 | Honda Motor Co Ltd | 車両周辺表示方法 |
| US8437939B2 (en) * | 2010-01-29 | 2013-05-07 | Toyota Jidosha Kabushiki Kaisha | Road information detecting device and vehicle cruise control device |
| JP4962581B2 (ja) * | 2010-03-03 | 2012-06-27 | 株式会社デンソー | 区画線検出装置 |
| US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| US9297641B2 (en) * | 2011-12-12 | 2016-03-29 | Mobileye Vision Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
| EP2704096A1 (de) * | 2012-08-29 | 2014-03-05 | Delphi Technologies, Inc. | Verfahren zum kalibrieren einer Bilderfassungseinrichtung |
| JP2016509767A (ja) * | 2012-12-21 | 2016-03-31 | ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー | 車両用システム及び通信方法 |
| DE102014204002A1 (de) * | 2014-03-05 | 2015-09-10 | Conti Temic Microelectronic Gmbh | Verfahren zur Identifikation eines projizierten Symbols auf einer Straße in einem Fahrzeug, Vorrichtung und Fahrzeug |
| JP6567659B2 (ja) * | 2015-05-07 | 2019-08-28 | 株式会社日立製作所 | レーン検出装置およびレーン検出方法 |
| WO2016203515A1 (ja) * | 2015-06-15 | 2016-12-22 | 三菱電機株式会社 | 走行車線判別装置および走行車線判別方法 |
| US11891067B2 (en) * | 2019-12-11 | 2024-02-06 | Electronics And Telecommunications Research Institute | Vehicle control apparatus and operating method thereof |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5359666A (en) * | 1988-09-28 | 1994-10-25 | Honda Giken Kogyo Kabushiki Kaisha | Driving way judging device and method |
| JP2861638B2 (ja) * | 1992-06-16 | 1999-02-24 | 松下電器産業株式会社 | 走行レーン検出装置 |
| JPH0624035A (ja) | 1992-07-08 | 1994-02-01 | Konica Corp | 画像形成装置 |
| JPH06213660A (ja) * | 1993-01-19 | 1994-08-05 | Aisin Seiki Co Ltd | 像の近似直線の検出方法 |
| US5487116A (en) * | 1993-05-25 | 1996-01-23 | Matsushita Electric Industrial Co., Ltd. | Vehicle recognition apparatus |
| JPH0778234A (ja) | 1993-06-30 | 1995-03-20 | Nissan Motor Co Ltd | 走行路検出装置 |
| US5638116A (en) * | 1993-09-08 | 1997-06-10 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
| EP0827127B1 (en) * | 1996-08-28 | 2006-10-04 | Matsushita Electric Industrial Co., Ltd. | Local positioning apparatus, and method therefor |
| US6163022A (en) * | 1997-05-20 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Imaging apparatus, distance measurement apparatus and method for measuring distance |
| JP2986439B2 (ja) * | 1998-01-12 | 1999-12-06 | 松下電器産業株式会社 | 車両用画像処理装置 |
| JP3219053B2 (ja) * | 1998-05-01 | 2001-10-15 | 日本電気株式会社 | 道路領域検出方法及びシステム |
| JP3298851B2 (ja) * | 1999-08-18 | 2002-07-08 | 松下電器産業株式会社 | 多機能車載カメラシステムと多機能車載カメラの画像表示方法 |
| JP2001134769A (ja) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | 対象物認識装置 |
-
1999
- 1999-09-03 JP JP24971199A patent/JP3575346B2/ja not_active Expired - Lifetime
-
2000
- 2000-09-04 DE DE10043467A patent/DE10043467B4/de not_active Expired - Fee Related
- 2000-09-05 US US09/655,765 patent/US6829388B1/en not_active Expired - Lifetime
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004101503A (ja) * | 2002-07-18 | 2004-04-02 | Mitsutoyo Corp | 信号処理方法、信号処理プログラム、この信号処理プログラムを記録した記録媒体および信号処理装置 |
| JP5687712B2 (ja) * | 2010-12-15 | 2015-03-18 | 本田技研工業株式会社 | レーン認識装置 |
| WO2012081359A1 (ja) * | 2010-12-15 | 2012-06-21 | 本田技研工業株式会社 | レーン認識装置 |
| US9076046B2 (en) | 2010-12-15 | 2015-07-07 | Honda Motor Co., Ltd. | Lane recognition device |
| JPWO2012081359A1 (ja) * | 2010-12-15 | 2014-05-22 | 本田技研工業株式会社 | レーン認識装置 |
| CN102436644A (zh) * | 2011-11-02 | 2012-05-02 | 南京物联网研究院发展有限公司 | 基于自适应边缘配准的非结构化道路检测方法 |
| WO2013141226A1 (ja) * | 2012-03-19 | 2013-09-26 | 株式会社日本自動車部品総合研究所 | 走行区画線を認識する装置および方法 |
| JP2013196341A (ja) * | 2012-03-19 | 2013-09-30 | Nippon Soken Inc | 走行区画線認識装置およびプログラム |
| US9280712B2 (en) | 2012-03-19 | 2016-03-08 | Nippon Soken, Inc. | Apparatus and method for recognizing a lane |
| WO2014030508A1 (ja) * | 2012-08-22 | 2014-02-27 | 株式会社メガチップス | 車線状況判別装置および車線状況判別方法 |
| JP2014041460A (ja) * | 2012-08-22 | 2014-03-06 | Mega Chips Corp | 車線状況判別装置および車線状況判別方法 |
| JP5855756B2 (ja) * | 2012-08-30 | 2016-02-09 | 本田技研工業株式会社 | レーンマーク認識装置 |
| US9830518B2 (en) | 2012-08-30 | 2017-11-28 | Honda Motor Co., Ltd. | Lane mark recognition device |
| WO2014034187A1 (ja) * | 2012-08-30 | 2014-03-06 | 本田技研工業株式会社 | レーンマーク認識装置 |
| JP2017151963A (ja) * | 2015-12-30 | 2017-08-31 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | ドライバを支援するための方法および装置 |
| US10795374B2 (en) | 2017-03-31 | 2020-10-06 | Honda Motor Co., Ltd. | Vehicle control device |
| JP2019194769A (ja) * | 2018-05-01 | 2019-11-07 | 株式会社東芝 | 軌道識別装置 |
| JP7170414B2 (ja) | 2018-05-01 | 2022-11-14 | 株式会社東芝 | 軌道識別装置 |
| US20200082178A1 (en) * | 2018-09-07 | 2020-03-12 | Samsung Electronics Co., Ltd. | Method and apparatus with road line detection |
| US10970565B2 (en) * | 2018-09-07 | 2021-04-06 | Samsung Electronics Co., Ltd. | Method and apparatus with road line detection |
| KR20200028679A (ko) * | 2018-09-07 | 2020-03-17 | 삼성전자주식회사 | 차선을 검출하는 방법 및 장치 |
| KR102564856B1 (ko) * | 2018-09-07 | 2023-08-08 | 삼성전자주식회사 | 차선을 검출하는 방법 및 장치 |
| JP2021043143A (ja) * | 2019-09-13 | 2021-03-18 | 株式会社Ｍｏｂｉｌｉｔｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ | 消失点を算出するためのプログラム、装置、及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6829388B1 (en) | 2004-12-07 |
| DE10043467A1 (de) | 2001-04-26 |
| JP3575346B2 (ja) | 2004-10-13 |
| DE10043467B4 (de) | 2007-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3575346B2 (ja) | 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体 | |
| JP6347827B2 (ja) | 車線境界線を検出する方法、装置、およびデバイス | |
| JP3780848B2 (ja) | 車両の走行路認識装置 | |
| JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
| JP5127182B2 (ja) | 物体検出装置 | |
| KR101393881B1 (ko) | 차량의 주차구획 인식방법 | |
| CN105740782B (zh) | 一种基于单目视觉的驾驶员换道过程量化方法 | |
| US7149327B2 (en) | Image processing apparatus and method | |
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| CN108280450A (zh) | 一种基于车道线的高速公路路面检测方法 | |
| JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
| JP2000357233A (ja) | 物体認識装置 | |
| JP2008123036A (ja) | 消失点検出システム、消失点検出方法および消失点検出用プログラム | |
| CN108171695A (zh) | 一种基于图像处理的高速公路路面检测方法 | |
| JP5065449B2 (ja) | 消失点推定装置およびプログラム | |
| US11453337B2 (en) | Method and apparatus with three-dimensional object display | |
| CN109325388A (zh) | 车道线的识别方法、***以及汽车 | |
| US8395824B2 (en) | Method for determining ground line | |
| JP5048609B2 (ja) | 対象物追跡装置及びプログラム | |
| JP4067340B2 (ja) | 対象物認識装置および対象物認識方法 | |
| JP5760720B2 (ja) | 道路勾配推定装置 | |
| JP2004034946A (ja) | 画像処理装置、駐車支援装置、及び画像処理方法 | |
| EP3522073A1 (en) | Method and apparatus for detecting road surface marking | |
| JP3856798B2 (ja) | ナビゲーション装置 | |
| US20190354781A1 (en) | Method and system for determining an object location by using map information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040408 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040408 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040628 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3575346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070716 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |