JP2001236506A - 白線検出方法および白線検出装置 - Google Patents
白線検出方法および白線検出装置Info
- Publication number
- JP2001236506A JP2001236506A JP2000044533A JP2000044533A JP2001236506A JP 2001236506 A JP2001236506 A JP 2001236506A JP 2000044533 A JP2000044533 A JP 2000044533A JP 2000044533 A JP2000044533 A JP 2000044533A JP 2001236506 A JP2001236506 A JP 2001236506A
- Authority
- JP
- Japan
- Prior art keywords
- white line
- image
- vehicle
- candidate point
- point sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】白線自体のかすれや白線画像が不鮮明なことに
よる白線の誤認識を防止し、白線検出精度の向上を図
る。 【解決手段】車両前方を撮影して白線画像を得る画像入
力部１と、その得られた白線画像から白線の候補点を抽
出する白線候補点抽出部２２と、白線画像にかすれがあ
るか否かを判定するかすれ度合判定部２３と、抽出され
た白線候補点列を近似する直線を求めてこれを白線とし
て認識する白線抽出部２５とを少なくとも有する。白線
抽出部２５は、かすれ度合判定部２３による判定結果が
かすれ有りの場合は、現在の白線画像から抽出された白
線候補点列に一定時間前の白線画像から抽出された白線
候補点列を重ね合せ、該重ね合せた白線候補点列を近似
する直線を求めてこれを白線として認識する。
よる白線の誤認識を防止し、白線検出精度の向上を図
る。 【解決手段】車両前方を撮影して白線画像を得る画像入
力部１と、その得られた白線画像から白線の候補点を抽
出する白線候補点抽出部２２と、白線画像にかすれがあ
るか否かを判定するかすれ度合判定部２３と、抽出され
た白線候補点列を近似する直線を求めてこれを白線とし
て認識する白線抽出部２５とを少なくとも有する。白線
抽出部２５は、かすれ度合判定部２３による判定結果が
かすれ有りの場合は、現在の白線画像から抽出された白
線候補点列に一定時間前の白線画像から抽出された白線
候補点列を重ね合せ、該重ね合せた白線候補点列を近似
する直線を求めてこれを白線として認識する。
Description
【０００１】
【発明の属する技術分野】本発明は、車載カメラにより
撮影された道路の白線画像から白線を検出する方法およ
び装置に関する。
撮影された道路の白線画像から白線を検出する方法およ
び装置に関する。
【０００２】
【従来の技術】近年、車両の操作性、安全性を高めるた
めに、車載カメラにより撮影された画像から道路の白線
を検出し、その検出した白線に基づいて車両の進行方向
を制御する、または進行方向の制御を補助するシステム
が提案されている。このようなシステムでは、撮影され
た白線画像から白線をいかに正確に検出するかが重要な
課題となっている。
めに、車載カメラにより撮影された画像から道路の白線
を検出し、その検出した白線に基づいて車両の進行方向
を制御する、または進行方向の制御を補助するシステム
が提案されている。このようなシステムでは、撮影され
た白線画像から白線をいかに正確に検出するかが重要な
課題となっている。
【０００３】白線検出精度の向上を図った装置の一例と
して、特開平9-73545号公報には、走行レーン内の白線
の認識精度の向上を図った白線認識装置が記載されてい
る。この白線認識装置では、撮影された画像を近距離領
域と遠距離領域の２つの領域に分割し、各領域で白線の
検出が以下のようにして行われる。
して、特開平9-73545号公報には、走行レーン内の白線
の認識精度の向上を図った白線認識装置が記載されてい
る。この白線認識装置では、撮影された画像を近距離領
域と遠距離領域の２つの領域に分割し、各領域で白線の
検出が以下のようにして行われる。
【０００４】まず、近距離領域において、画像中のエッ
ジから白線を認識して確定する。続いて、その近距離領
域で確定された白線に基づいて、遠距離領域上で、その
延長線上の領域を含むエッジ追跡領域を設定する。そし
て、その設定されたエッジ追跡領域内でエッジを追跡
し、エッジが不連続の場合には、これを飛び越えて先の
エッジを追跡して白線を認識確定する。この白線認識に
よれば、撮影画像の遠距離領域における白線の認識で問
題となる、前方車両、街路樹、建物などの影の影響によ
る白線の誤認識を、エッジ追跡領域を設定することで排
除することができる。
ジから白線を認識して確定する。続いて、その近距離領
域で確定された白線に基づいて、遠距離領域上で、その
延長線上の領域を含むエッジ追跡領域を設定する。そし
て、その設定されたエッジ追跡領域内でエッジを追跡
し、エッジが不連続の場合には、これを飛び越えて先の
エッジを追跡して白線を認識確定する。この白線認識に
よれば、撮影画像の遠距離領域における白線の認識で問
題となる、前方車両、街路樹、建物などの影の影響によ
る白線の誤認識を、エッジ追跡領域を設定することで排
除することができる。
【０００５】なお、遠距離領域におけるエッジ追跡領域
の設定を、近距離領域で確定された白線ではなく、前回
の処理で確定した遠距離領域の白線を用いて行うことが
できる。具体的には、図２０（ａ）に示す前回の処理で
確定された遠距離領域の白線に基づいて、図２０（ｂ）
に示すような、遠距離領域におけるエッジ追跡領域を設
定する。これにより、白線認識精度をさらに向上させる
ことができる。
の設定を、近距離領域で確定された白線ではなく、前回
の処理で確定した遠距離領域の白線を用いて行うことが
できる。具体的には、図２０（ａ）に示す前回の処理で
確定された遠距離領域の白線に基づいて、図２０（ｂ）
に示すような、遠距離領域におけるエッジ追跡領域を設
定する。これにより、白線認識精度をさらに向上させる
ことができる。
【０００６】上記の他、特許第２８５０６０７号に記載
されているような、途切れた白線を正確に検出できるよ
うにした白線認識装置もある。この白線認識装置では、
前回の処理で得られた直線式に基づいて候補点を求める
とともにその候補点を基に直線近似することで白線の認
識が行われる。
されているような、途切れた白線を正確に検出できるよ
うにした白線認識装置もある。この白線認識装置では、
前回の処理で得られた直線式に基づいて候補点を求める
とともにその候補点を基に直線近似することで白線の認
識が行われる。
【０００７】
【発明が解決しようとする課題】白線検出精度を低下さ
せる原因の一つに、白線自体のかすれがある。白線自体
がかすれていると、白線を正確に検出することができ
ず、そのかすれの度合いによっては白線を誤認識してし
まう場合がある。また、夜間走行時には得られる画像の
コントラストが非常に低くなることから、白線画像が不
鮮明なものとなり、この場合も白線自体がかすれている
場合と同様、白線を誤認識する恐れがある。
せる原因の一つに、白線自体のかすれがある。白線自体
がかすれていると、白線を正確に検出することができ
ず、そのかすれの度合いによっては白線を誤認識してし
まう場合がある。また、夜間走行時には得られる画像の
コントラストが非常に低くなることから、白線画像が不
鮮明なものとなり、この場合も白線自体がかすれている
場合と同様、白線を誤認識する恐れがある。
【０００８】特開平9-73545号公報に記載のものにおい
ては、近距離領域において、画像中のエッジから白線を
認識する際に、上記の白線自体のかすれや白線画像が不
鮮明なことによる誤認識を生じる恐れがあり、そのた
め、白線検出精度が高いものとは言えなかった。
ては、近距離領域において、画像中のエッジから白線を
認識する際に、上記の白線自体のかすれや白線画像が不
鮮明なことによる誤認識を生じる恐れがあり、そのた
め、白線検出精度が高いものとは言えなかった。
【０００９】特許第２８５０６０７号に記載のものにお
いては、前回の処理で得られた直線式に基づいて求めら
れた候補点が白線自体のかすれなどにより不連続なもの
となった場合には、やはり誤認識を生じる恐れがあり、
上記の場合と同様、白線検出精度が高いものとは言えな
かった。
いては、前回の処理で得られた直線式に基づいて求めら
れた候補点が白線自体のかすれなどにより不連続なもの
となった場合には、やはり誤認識を生じる恐れがあり、
上記の場合と同様、白線検出精度が高いものとは言えな
かった。
【００１０】また、最近の車載用の画像処理装置の開発
は、処理能力の高いものを望む状況ではない。よって、
白線認識処理ソフトについてもより処理の軽い手法を用
いて、白線検出精度の高いものを提供することが望まれ
ている。
は、処理能力の高いものを望む状況ではない。よって、
白線認識処理ソフトについてもより処理の軽い手法を用
いて、白線検出精度の高いものを提供することが望まれ
ている。
【００１１】本発明の目的は、白線自体のかすれや白線
画像が不鮮明なことによる白線の誤認識を防止すること
ができる、白線検出精度の高い、白線検出方法および白
線検出装置を提供することにある。
画像が不鮮明なことによる白線の誤認識を防止すること
ができる、白線検出精度の高い、白線検出方法および白
線検出装置を提供することにある。
【００１２】
【課題を解決するための手段】上記目的を達成するた
め、本発明の白線検出方法は、車両前方を撮影して得ら
れる道路の白線画像から白線の候補点を抽出し、該白線
候補点列を近似する直線を求めてこれを白線として認識
する白線検出方法において、前記白線画像にかすれがあ
るか否かを判定し、かすれがある場合は、現在の白線画
像から抽出された白線候補点列に一定時間前の白線画像
から抽出された白線候補点列を重ね合せ、該重ね合せた
白線候補点列を近似する直線を求めてこれを白線として
認識することを特徴とする。
め、本発明の白線検出方法は、車両前方を撮影して得ら
れる道路の白線画像から白線の候補点を抽出し、該白線
候補点列を近似する直線を求めてこれを白線として認識
する白線検出方法において、前記白線画像にかすれがあ
るか否かを判定し、かすれがある場合は、現在の白線画
像から抽出された白線候補点列に一定時間前の白線画像
から抽出された白線候補点列を重ね合せ、該重ね合せた
白線候補点列を近似する直線を求めてこれを白線として
認識することを特徴とする。
【００１３】上記の場合、白線画像にかすれがある場合
に、さらに車両が回転運動をしたか否かを判定し、車両
回転運動有りの場合は、現在の白線画像から抽出された
白線候補点列と、一定時間前の白線画像から抽出された
白線候補点列にその車両回転に相当する補正を施したも
のとを重ね合せ、該重ね合せた白線候補点列を近似する
直線を求めてこれを白線として認識するようにしてもよ
い。
に、さらに車両が回転運動をしたか否かを判定し、車両
回転運動有りの場合は、現在の白線画像から抽出された
白線候補点列と、一定時間前の白線画像から抽出された
白線候補点列にその車両回転に相当する補正を施したも
のとを重ね合せ、該重ね合せた白線候補点列を近似する
直線を求めてこれを白線として認識するようにしてもよ
い。
【００１４】また、上記の場合、上記車両回転に相当す
る補正が、一定時間前の白線候補点列の画像を実際の路
面上で等距離間隔となるような距離分割線で区切り、各
分割画像毎に路面距離に応じた車両回転によるずれを補
正することであってもよい。
る補正が、一定時間前の白線候補点列の画像を実際の路
面上で等距離間隔となるような距離分割線で区切り、各
分割画像毎に路面距離に応じた車両回転によるずれを補
正することであってもよい。
【００１５】本発明の白線検出装置は、車両前方を撮影
する撮像手段と、前記撮像手段にて撮影された道路の白
線画像から白線の候補点を抽出する白線候補点抽出手段
と、前記白線画像にかすれがあるか否かを判定するかす
れ判定手段と、前記白線候補点抽出手段にて抽出された
白線候補点列を近似する直線を求めてこれを白線として
認識する白線抽出手段とを少なくとも有し、前記白線抽
出手段が、前記かすれ判定手段による判定結果がかすれ
有りの場合に、現在の白線画像から抽出された白線候補
点列に一定時間前の白線画像から抽出された白線候補点
列を重ね合せ、該重ね合せた白線候補点列を近似する直
線を求めてこれを白線として認識することを特徴とす
る。
する撮像手段と、前記撮像手段にて撮影された道路の白
線画像から白線の候補点を抽出する白線候補点抽出手段
と、前記白線画像にかすれがあるか否かを判定するかす
れ判定手段と、前記白線候補点抽出手段にて抽出された
白線候補点列を近似する直線を求めてこれを白線として
認識する白線抽出手段とを少なくとも有し、前記白線抽
出手段が、前記かすれ判定手段による判定結果がかすれ
有りの場合に、現在の白線画像から抽出された白線候補
点列に一定時間前の白線画像から抽出された白線候補点
列を重ね合せ、該重ね合せた白線候補点列を近似する直
線を求めてこれを白線として認識することを特徴とす
る。
【００１６】上記の場合、車両の回転運動を検出する車
両回転検出手段と、前記車両回転検出手段の検出結果に
基づいて車両が回転運動をしたか否かを判定する車両回
転判定手段とをさらに有し、前記白線抽出手段が、前記
車両回転判定手段による判定結果が車両回転運動有りの
場合に、現在の白線画像から抽出された白線候補点列
と、一定時間前の白線画像から抽出された白線候補点列
にその車両回転に相当する補正を施したものとを重ね合
せ、該重ね合せた白線候補点列を近似する直線を求めて
これを白線として認識するように構成してもよい。
両回転検出手段と、前記車両回転検出手段の検出結果に
基づいて車両が回転運動をしたか否かを判定する車両回
転判定手段とをさらに有し、前記白線抽出手段が、前記
車両回転判定手段による判定結果が車両回転運動有りの
場合に、現在の白線画像から抽出された白線候補点列
と、一定時間前の白線画像から抽出された白線候補点列
にその車両回転に相当する補正を施したものとを重ね合
せ、該重ね合せた白線候補点列を近似する直線を求めて
これを白線として認識するように構成してもよい。
【００１７】（作用）上記のとおりの本発明によれば、
白線画像にかすれがある場合は、現在の白線画像から抽
出された白線候補点列に一定時間前の白線画像から抽出
された白線候補点列を重ね合せるようになっているた
め、この重ね合せにより白線候補点の数がほぼ二倍にな
るとともに、かすれた部分の一部（場合によっては全
部）が白線候補点によって埋められることになり、ほぼ
連続した白線候補点を得ることができる。したがって、
その後に行われるハフ変換による直線近似処理の確度が
高くなる。
白線画像にかすれがある場合は、現在の白線画像から抽
出された白線候補点列に一定時間前の白線画像から抽出
された白線候補点列を重ね合せるようになっているた
め、この重ね合せにより白線候補点の数がほぼ二倍にな
るとともに、かすれた部分の一部（場合によっては全
部）が白線候補点によって埋められることになり、ほぼ
連続した白線候補点を得ることができる。したがって、
その後に行われるハフ変換による直線近似処理の確度が
高くなる。
【００１８】また、本発明によれば、車両が回転運動し
た場合には、現在の白線画像から抽出された白線候補点
列と、一定時間前の白線画像から抽出された白線候補点
列にその車両回転に相当する補正を施したものとを重ね
合せるようになっているため、両白線候補点列を重ねた
際の車両回転による画像ずれはほとんど生じない。特
に、一定時間前の白線候補点列の画像を実際の路面上で
等距離間隔となるような距離分割線で区切り、各分割画
像について路面距離に応じた車両回転による画像ずれを
補正するものにおいては、各白線候補点毎に画像ずれの
補正を行う必要がなくなるので、直線近似処理を行う際
の計算量も大幅に低減されることになる。
た場合には、現在の白線画像から抽出された白線候補点
列と、一定時間前の白線画像から抽出された白線候補点
列にその車両回転に相当する補正を施したものとを重ね
合せるようになっているため、両白線候補点列を重ねた
際の車両回転による画像ずれはほとんど生じない。特
に、一定時間前の白線候補点列の画像を実際の路面上で
等距離間隔となるような距離分割線で区切り、各分割画
像について路面距離に応じた車両回転による画像ずれを
補正するものにおいては、各白線候補点毎に画像ずれの
補正を行う必要がなくなるので、直線近似処理を行う際
の計算量も大幅に低減されることになる。
【００１９】
【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。
図面を参照して説明する。
【００２０】図１は、本発明の白線検出装置の一実施形
態を示すブロック図である。この白線検出装置は、画像
入力部１、白線認識処理部２、ヨーレート検出部３から
なる。画像入力部１はビデオカメラより構成され、ビデ
オカメラで撮影された車両前方の画像、すなわち道路の
白線画像が白線認識処理部２へ入力される。ヨーレート
検出部３は、車両重心を通る鉛直軸を回転軸としたとき
の車両の回転角速度（ヨーレート）を検出するものであ
る。このヨーレート検出部３としては、ヨーレートセン
サを用いてヨーレートを検出するもの、各車輪の回転速
度の違いからヨーレートを割り出すもの、ステアリング
の操舵量と車両速度からヨーレートを算出するものな
ど、種々の構成のものを用いることができる。
態を示すブロック図である。この白線検出装置は、画像
入力部１、白線認識処理部２、ヨーレート検出部３から
なる。画像入力部１はビデオカメラより構成され、ビデ
オカメラで撮影された車両前方の画像、すなわち道路の
白線画像が白線認識処理部２へ入力される。ヨーレート
検出部３は、車両重心を通る鉛直軸を回転軸としたとき
の車両の回転角速度（ヨーレート）を検出するものであ
る。このヨーレート検出部３としては、ヨーレートセン
サを用いてヨーレートを検出するもの、各車輪の回転速
度の違いからヨーレートを割り出すもの、ステアリング
の操舵量と車両速度からヨーレートを算出するものな
ど、種々の構成のものを用いることができる。
【００２１】白線認識処理部２は、認識処理対象領域切
り出し部２１、白線候補点抽出部２２、かすれ度合判定
部２３、車両回転判定部２４、および白線抽出部２５か
ら構成される。
り出し部２１、白線候補点抽出部２２、かすれ度合判定
部２３、車両回転判定部２４、および白線抽出部２５か
ら構成される。
【００２２】認識処理対象領域切り出し部２１は、画像
入力部１より入力される白線画像から白線抽出に必要な
領域（認識処理対象領域）を切り出す。白線候補点抽出
部２２は、その切り出された認識処理対象領域画像に対
して周知のフィルタ処理を施してノイズ成分を除去し、
さらに微分処理および二値化処理を施して白線候補点を
抽出する。かすれ度合判定部２３は、その白線候補点が
抽出された画像中に、かすれ度合判定を行うためのウイ
ンドウ（領域）を設定し、そのウインドウ内における白
線候補点の密度、分散具合、連続する候補点列の大きさ
などからかすれ度合を評価する。これらの評価項目がす
べて一定基準値以上であれば、かすれていないと判定
し、いずれか１つの項目でも一定基準値を下回った場合
は、かすれていると判定する。車両回転判定部２４は、
ヨーレート検出部３にて検出されるヨーレート値に基づ
いて車両が回転運動をしたかどうかを判定する。ヨーレ
ート値の変化量が予め設定された基準値以下の場合は、
ほぼ直進状態（車両回転無し）と判定し、基準値を超え
た場合は、車両が回転した（車両回転有り）と判定す
る。白線抽出部２５は、ハフ（Hough）変換により、認
識処理対象領域内の白線候補点の並びを近似する直線を
求める。この白線抽出部２５における近似は、かすれ度
合判定部２３および車両回転判定部２４の判定結果によ
ってその処理が異なる。
入力部１より入力される白線画像から白線抽出に必要な
領域（認識処理対象領域）を切り出す。白線候補点抽出
部２２は、その切り出された認識処理対象領域画像に対
して周知のフィルタ処理を施してノイズ成分を除去し、
さらに微分処理および二値化処理を施して白線候補点を
抽出する。かすれ度合判定部２３は、その白線候補点が
抽出された画像中に、かすれ度合判定を行うためのウイ
ンドウ（領域）を設定し、そのウインドウ内における白
線候補点の密度、分散具合、連続する候補点列の大きさ
などからかすれ度合を評価する。これらの評価項目がす
べて一定基準値以上であれば、かすれていないと判定
し、いずれか１つの項目でも一定基準値を下回った場合
は、かすれていると判定する。車両回転判定部２４は、
ヨーレート検出部３にて検出されるヨーレート値に基づ
いて車両が回転運動をしたかどうかを判定する。ヨーレ
ート値の変化量が予め設定された基準値以下の場合は、
ほぼ直進状態（車両回転無し）と判定し、基準値を超え
た場合は、車両が回転した（車両回転有り）と判定す
る。白線抽出部２５は、ハフ（Hough）変換により、認
識処理対象領域内の白線候補点の並びを近似する直線を
求める。この白線抽出部２５における近似は、かすれ度
合判定部２３および車両回転判定部２４の判定結果によ
ってその処理が異なる。
【００２３】（１）かすれ無し：単純にハフ（Hough）
変換により白線候補点の並びを近似する直線を求める。
変換により白線候補点の並びを近似する直線を求める。
【００２４】（２）かすれ有り：車両回転判定部２４の
判定結果により、以下の（イ）、（ロ）のいずれかの処
理を行う。
判定結果により、以下の（イ）、（ロ）のいずれかの処
理を行う。
【００２５】（イ）車両回転無し：現画像における認識
処理対象領域の白線候補点画像と、所定時間前の画像に
おける認識処理対象領域の白線候補点画像とを重ね合せ
た画像をハフ変換用画像として、ハフ変換によりこの画
像の白線候補点の並びを近似する直線を求める。
処理対象領域の白線候補点画像と、所定時間前の画像に
おける認識処理対象領域の白線候補点画像とを重ね合せ
た画像をハフ変換用画像として、ハフ変換によりこの画
像の白線候補点の並びを近似する直線を求める。
【００２６】（ロ）車両回転有り：現画像における認識
処理対象領域の白線候補点画像と、所定時間前の画像に
おける認識処理対象領域の白線候補点画像にヨーレート
検出部３にて検出されたヨーレート値の変化量に相当す
る補正を施したものとを重ね合せた画像をハフ変換用画
像として、ハフ変換によりこの画像の白線候補点の並び
を近似する直線を求める。
処理対象領域の白線候補点画像と、所定時間前の画像に
おける認識処理対象領域の白線候補点画像にヨーレート
検出部３にて検出されたヨーレート値の変化量に相当す
る補正を施したものとを重ね合せた画像をハフ変換用画
像として、ハフ変換によりこの画像の白線候補点の並び
を近似する直線を求める。
【００２７】次に、この白線検出装置における白線検出
手順を図２を参照して詳細に説明する。
手順を図２を参照して詳細に説明する。
【００２８】画像入力部１から白線画像が入力される
と、まず、認識処理対象領域切り出し部２１によってそ
の入力白線画像から認識処理対象領域が切り出される
（ステップＳ１０）。ここでは、画像入力部１から図３
に示すような白線３３を有する道路および水平線３２を
含む白線画像が入力され、認識処理対象領域切り出し部
２１にて、その白線画像から白線３３を概ね含む認識処
理対象領域３１が切り出されることとし、以下、この認
識処理対象領域３１を例に処理を説明する。
と、まず、認識処理対象領域切り出し部２１によってそ
の入力白線画像から認識処理対象領域が切り出される
（ステップＳ１０）。ここでは、画像入力部１から図３
に示すような白線３３を有する道路および水平線３２を
含む白線画像が入力され、認識処理対象領域切り出し部
２１にて、その白線画像から白線３３を概ね含む認識処
理対象領域３１が切り出されることとし、以下、この認
識処理対象領域３１を例に処理を説明する。
【００２９】続いて、白線候補点抽出部２２にて、その
切り出された認識処理対象領域３１の画像に対して、周
知のノイズ除去フィルタ処理（ステップＳ１１）、微分
処理（ステップＳ１２）、二値化処理（ステップＳ１
３）が順次行われて白線候補点が抽出される。この白線
候補点の抽出では、例えば図４（ａ）に示すようなかす
れのない白線画像の場合は、図４（ｂ）に示すような連
続した白線候補点列が得られる。一方、図５（ａ）に示
すようなかすれた白線画像の場合は、図５（ｂ）に示す
ような不連続な白線候補点列が得られる。なお、図４
（ｂ）および図５（ｂ）には、便宜上、進行方向左側に
ある白線に関する候補点のみを示してある。
切り出された認識処理対象領域３１の画像に対して、周
知のノイズ除去フィルタ処理（ステップＳ１１）、微分
処理（ステップＳ１２）、二値化処理（ステップＳ１
３）が順次行われて白線候補点が抽出される。この白線
候補点の抽出では、例えば図４（ａ）に示すようなかす
れのない白線画像の場合は、図４（ｂ）に示すような連
続した白線候補点列が得られる。一方、図５（ａ）に示
すようなかすれた白線画像の場合は、図５（ｂ）に示す
ような不連続な白線候補点列が得られる。なお、図４
（ｂ）および図５（ｂ）には、便宜上、進行方向左側に
ある白線に関する候補点のみを示してある。
【００３０】続いて、かすれ度合判定部２３にて、その
抽出された白線候補点列に基づいてかすれ度合の判定が
行われる（ステップＳ１４、Ｓ１５）。このかすれ度合
判定では、まず、図６に示すような、直進時の標準的な
白線４１を含む画像（認識処理対象領域３１に相当す
る）中で、かすれ度合判定を行うためのウィンドウとし
て中距離かすれ度合判定ウィンドウ４２および近距離か
すれ度合判定ウィンドウ４３の２つのウィンドウを設定
し、これらウィンドウ４２、４３を上記ステップＳ１１
〜Ｓ１３の処理により抽出された白線候補点列の画像に
当てはめて、各ウィンドウ内における白線候補点の密
度、分散具合、候補点列の大きさなどからかすれ度合を
算出し（ステップＳ１４）、その算出結果に基づいてか
すれが有るか否かの判定を行う（ステップＳ１５）。こ
こでは、白線候補点の密度を、ウィンドウ（４２、４
３）内の画素数に対する、各候補点に対応する画素（有
効画素）の数の比率とし、分散具合を、有効画素のｘ座
標値の分散値とし、候補点列の大きさを、隣接している
有効画素を連続しているものとみなしてその連続有効画
素全体の画素数（面積）として、かすれ度合を算出す
る。ここで、有効画素のｘ座標値の分散値とは、候補点
が抽出された画像において、画像の縦方向をｙ軸、横方
向をｘ軸としたときの、ｘ軸に関する候補点の分散値を
周知の方法により求めたものである。
抽出された白線候補点列に基づいてかすれ度合の判定が
行われる（ステップＳ１４、Ｓ１５）。このかすれ度合
判定では、まず、図６に示すような、直進時の標準的な
白線４１を含む画像（認識処理対象領域３１に相当す
る）中で、かすれ度合判定を行うためのウィンドウとし
て中距離かすれ度合判定ウィンドウ４２および近距離か
すれ度合判定ウィンドウ４３の２つのウィンドウを設定
し、これらウィンドウ４２、４３を上記ステップＳ１１
〜Ｓ１３の処理により抽出された白線候補点列の画像に
当てはめて、各ウィンドウ内における白線候補点の密
度、分散具合、候補点列の大きさなどからかすれ度合を
算出し（ステップＳ１４）、その算出結果に基づいてか
すれが有るか否かの判定を行う（ステップＳ１５）。こ
こでは、白線候補点の密度を、ウィンドウ（４２、４
３）内の画素数に対する、各候補点に対応する画素（有
効画素）の数の比率とし、分散具合を、有効画素のｘ座
標値の分散値とし、候補点列の大きさを、隣接している
有効画素を連続しているものとみなしてその連続有効画
素全体の画素数（面積）として、かすれ度合を算出す
る。ここで、有効画素のｘ座標値の分散値とは、候補点
が抽出された画像において、画像の縦方向をｙ軸、横方
向をｘ軸としたときの、ｘ軸に関する候補点の分散値を
周知の方法により求めたものである。
【００３１】上記のステップＳ１４、Ｓ１５におけるか
すれ度合判定では、例えば図４（ｂ）に示した連続した
白線候補点列が得られた画像の場合は、図７に示すよう
に中距離かすれ度合判定ウィンドウ４２および近距離か
すれ度合判定ウィンドウ４３が設定されてかすれ度合が
算出され、結果、かすれ無しと判定される。また、図５
（ｂ）に示した不連続の白線候補点列が得られた画像の
場合は、図８に示すように中距離かすれ度合判定ウィン
ドウ４２および近距離かすれ度合判定ウィンドウ４３が
設定されてかすれ度合が算出され、結果、かすれ有りと
判定される。
すれ度合判定では、例えば図４（ｂ）に示した連続した
白線候補点列が得られた画像の場合は、図７に示すよう
に中距離かすれ度合判定ウィンドウ４２および近距離か
すれ度合判定ウィンドウ４３が設定されてかすれ度合が
算出され、結果、かすれ無しと判定される。また、図５
（ｂ）に示した不連続の白線候補点列が得られた画像の
場合は、図８に示すように中距離かすれ度合判定ウィン
ドウ４２および近距離かすれ度合判定ウィンドウ４３が
設定されてかすれ度合が算出され、結果、かすれ有りと
判定される。
【００３２】上記ステップＳ１５の判定結果がかすれ無
し（図７の例）の場合は、白線抽出部２５が以下のステ
ップＳ１６〜Ｓ２０を行うことでハフ（Hough）変換に
より白線候補点の並びを近似する直線を求める。このハ
フ（Hough）変換では、具体的には、図９に示すよう
に、ｘ、ｙ座標系において、原点から直線ｌに対して下
ろした垂線とｘ軸とのなす角をθ、その垂線の長さをρ
として、直線ｌをρ＝ｘsinθ＋ｙcosθで近似する。こ
こでは、図４（ｂ）に示した白線候補点画像を例に挙げ
てその処理を説明する。なお、以下の説明において、ハ
フ（Hough）変換を行う際の原点は、白線検出という目
的から、画像の下辺中央に設定してある。
し（図７の例）の場合は、白線抽出部２５が以下のステ
ップＳ１６〜Ｓ２０を行うことでハフ（Hough）変換に
より白線候補点の並びを近似する直線を求める。このハ
フ（Hough）変換では、具体的には、図９に示すよう
に、ｘ、ｙ座標系において、原点から直線ｌに対して下
ろした垂線とｘ軸とのなす角をθ、その垂線の長さをρ
として、直線ｌをρ＝ｘsinθ＋ｙcosθで近似する。こ
こでは、図４（ｂ）に示した白線候補点画像を例に挙げ
てその処理を説明する。なお、以下の説明において、ハ
フ（Hough）変換を行う際の原点は、白線検出という目
的から、画像の下辺中央に設定してある。
【００３３】まず、ステップＳ１６において、図４
（ｂ）に示した白線候補点列の画像を車両からの距離に
応じて複数の帯状の領域に分割する。具体的には、図１
０に示すように、連続した白線候補点列を実際の路面上
で同じ長さ（例えば１０ｍ）となる複数の分割直線５１
〜５６に分割する、等距離間隔の距離分割線６１〜６７
で画像を区切る。続いて、ステップＳ１７において、距
離分割線６１〜６６で区切られた領域ごとにハフ（Houg
h）変換を行い、続くステップＳ１８において、上位投
票数の（ρ，θ）を直線として抽出する。続いて、ステ
ップＳ１９において、上下の分割画像で検出された直線
の交差点と距離分割線が最も近いものを白線として検出
する。そして、ステップＳ２０において、各分割画像ご
とに白線として検出された直線をつなぎ合せて曲線を近
似し、これを白線データとする。なお、１つの分割画像
で白線として１つの直線しか検出されなかった場合は、
各分割画像で検出された直線を単につなぎ合せるだけで
よい。
（ｂ）に示した白線候補点列の画像を車両からの距離に
応じて複数の帯状の領域に分割する。具体的には、図１
０に示すように、連続した白線候補点列を実際の路面上
で同じ長さ（例えば１０ｍ）となる複数の分割直線５１
〜５６に分割する、等距離間隔の距離分割線６１〜６７
で画像を区切る。続いて、ステップＳ１７において、距
離分割線６１〜６６で区切られた領域ごとにハフ（Houg
h）変換を行い、続くステップＳ１８において、上位投
票数の（ρ，θ）を直線として抽出する。続いて、ステ
ップＳ１９において、上下の分割画像で検出された直線
の交差点と距離分割線が最も近いものを白線として検出
する。そして、ステップＳ２０において、各分割画像ご
とに白線として検出された直線をつなぎ合せて曲線を近
似し、これを白線データとする。なお、１つの分割画像
で白線として１つの直線しか検出されなかった場合は、
各分割画像で検出された直線を単につなぎ合せるだけで
よい。
【００３４】上記ステップＳ１５の判定結果がかすれ有
り（図５（ａ）および図８の例）の場合は、続くステッ
プＳ２１でヨーレート検出部３により回転角速度（ヨー
レート）を検出し、続くステップＳ２２で車両回転判定
部２４がその検出結果をもとに車両が回転したかどうか
を判定する。そして、その判定結果に応じて白線抽出部
２５が以下のステップＳ２３〜Ｓ２６を行うことで現在
の白線画像の白線候補点列と一定時間前の白線画像の白
線候補点列とを合成し、その合成画像をハフ（Hough）
変換することにより白線候補点の並びを近似する直線を
求める。
り（図５（ａ）および図８の例）の場合は、続くステッ
プＳ２１でヨーレート検出部３により回転角速度（ヨー
レート）を検出し、続くステップＳ２２で車両回転判定
部２４がその検出結果をもとに車両が回転したかどうか
を判定する。そして、その判定結果に応じて白線抽出部
２５が以下のステップＳ２３〜Ｓ２６を行うことで現在
の白線画像の白線候補点列と一定時間前の白線画像の白
線候補点列とを合成し、その合成画像をハフ（Hough）
変換することにより白線候補点の並びを近似する直線を
求める。
【００３５】まず、車両回転と合成画像のずれの問題に
ついて簡単に説明する。前述の図５（ｂ）に示した不連
続の白線候補点列に対して、Ｔ0時間前の白線候補点列
として図１１（ａ）に示すような車両回転のないもの
（ヨーレート値の変化量＝０）が与えられた場合は、こ
れら白線候補点列を重ねると図１１（ｂ）に示すよう
に、ずれのない白線候補点列を得ることができる。この
場合、候補点の数は２倍程度に増やすことができる。一
方、図５（ｂ）に示した不連続の白線候補点列に対し
て、Ｔ0時間前の白線候補点列として図１２（ａ）に示
すような車両回転のあるもの（ヨーレート値の変化量≠
０）が与えられた場合は、これら白線候補点列を重ねる
と図１２（ｂ）の破線で囲まれた領域のような、白線候
補点列に車両回転によるずれが生じる。このずれの問題
は、詳しくは後で述べるが、白線候補点列を等距離間隔
の距離分割線で区切り、各分割画像について路面距離に
応じたずれを補正することで解消することができる。以
下に述べるステップＳ２３〜Ｓ２６の処理では、そのよ
うな処理が用いられる。
ついて簡単に説明する。前述の図５（ｂ）に示した不連
続の白線候補点列に対して、Ｔ0時間前の白線候補点列
として図１１（ａ）に示すような車両回転のないもの
（ヨーレート値の変化量＝０）が与えられた場合は、こ
れら白線候補点列を重ねると図１１（ｂ）に示すよう
に、ずれのない白線候補点列を得ることができる。この
場合、候補点の数は２倍程度に増やすことができる。一
方、図５（ｂ）に示した不連続の白線候補点列に対し
て、Ｔ0時間前の白線候補点列として図１２（ａ）に示
すような車両回転のあるもの（ヨーレート値の変化量≠
０）が与えられた場合は、これら白線候補点列を重ねる
と図１２（ｂ）の破線で囲まれた領域のような、白線候
補点列に車両回転によるずれが生じる。このずれの問題
は、詳しくは後で述べるが、白線候補点列を等距離間隔
の距離分割線で区切り、各分割画像について路面距離に
応じたずれを補正することで解消することができる。以
下に述べるステップＳ２３〜Ｓ２６の処理では、そのよ
うな処理が用いられる。
【００３６】ステップＳ２２にて車両回転有りと判定さ
れた場合は、続くステップＳ２３において、Ｔ0時間前
の白線候補点列の画像（前回の処理で用いられた白線候
補点列の画像でもよい。）を用意し、これを上述したス
テップＳ１６と同様な方法により、図１３（ａ）に示す
ように等距離間隔の距離分割線７１〜７３で区切る。続
いて、ステップＳ２４において、それら分割画像につい
て、路面距離と車両回転角速度とからずらし量を算出
し、続くステップＳ２５において、その算出したずらし
量に基づいて各分割画像をずらして再合成することで、
図１３（ｂ）に示すような車両回転によるずれのない白
線候補点列を得る。続いて、ステップＳ２６において、
その再合成された白線候補点列と現在の画像における白
線候補点列とを重ね合せて、これをハフ変換用画像とす
る。そして、このハフ変換用画像に対して、前述したス
テップＳ１６〜Ｓ２０の処理を行うことで、白線候補点
列の並びを近似する直線を求め、これを白線データとす
る。
れた場合は、続くステップＳ２３において、Ｔ0時間前
の白線候補点列の画像（前回の処理で用いられた白線候
補点列の画像でもよい。）を用意し、これを上述したス
テップＳ１６と同様な方法により、図１３（ａ）に示す
ように等距離間隔の距離分割線７１〜７３で区切る。続
いて、ステップＳ２４において、それら分割画像につい
て、路面距離と車両回転角速度とからずらし量を算出
し、続くステップＳ２５において、その算出したずらし
量に基づいて各分割画像をずらして再合成することで、
図１３（ｂ）に示すような車両回転によるずれのない白
線候補点列を得る。続いて、ステップＳ２６において、
その再合成された白線候補点列と現在の画像における白
線候補点列とを重ね合せて、これをハフ変換用画像とす
る。そして、このハフ変換用画像に対して、前述したス
テップＳ１６〜Ｓ２０の処理を行うことで、白線候補点
列の並びを近似する直線を求め、これを白線データとす
る。
【００３７】上記ステップＳ２２にて車両回転無しと判
定された場合は、ステップＳ２３〜Ｓ２５の車両回転に
よるずれを補正するための処理は行わずにステップＳ２
６へ移行し、一定時間前の画像の白線候補点列と現在の
画像の白線候補点列とを重ね合せて、これをハフ変換用
画像として、前述したステップＳ１６〜Ｓ２０の処理を
行う。
定された場合は、ステップＳ２３〜Ｓ２５の車両回転に
よるずれを補正するための処理は行わずにステップＳ２
６へ移行し、一定時間前の画像の白線候補点列と現在の
画像の白線候補点列とを重ね合せて、これをハフ変換用
画像として、前述したステップＳ１６〜Ｓ２０の処理を
行う。
【００３８】次に、上述のステップＳ２３〜Ｓ２５の処
理についてさらに具体的に説明する。ここでは、現在の
白線画像とＴ0時間前の白線画像を重ねる場合に、両画
像間に車両回転によるずれがどのように生じ、そのずれ
をどのように補正すれば良いかについて説明する。
理についてさらに具体的に説明する。ここでは、現在の
白線画像とＴ0時間前の白線画像を重ねる場合に、両画
像間に車両回転によるずれがどのように生じ、そのずれ
をどのように補正すれば良いかについて説明する。
【００３９】図１４（ａ）、（ｂ）は、それぞれ車両回
転の無い（ヨーレート値の変化量＝０）場合の、画像入
力部１から入力された現在の白線画像とＴ0時間前の白
線画像である。これら白線画像はほとんど一致すること
から、図１４（ｃ）に示すように、単純に重ね合せても
画像に大きなずれは生じない。このことから分かるよう
に、車両回転の無い場合は、車両が直進している状態の
場合と同様、現在の白線画像とＴ0時間前の白線画像と
を単純に重ね合せることができる。
転の無い（ヨーレート値の変化量＝０）場合の、画像入
力部１から入力された現在の白線画像とＴ0時間前の白
線画像である。これら白線画像はほとんど一致すること
から、図１４（ｃ）に示すように、単純に重ね合せても
画像に大きなずれは生じない。このことから分かるよう
に、車両回転の無い場合は、車両が直進している状態の
場合と同様、現在の白線画像とＴ0時間前の白線画像と
を単純に重ね合せることができる。
【００４０】一方、車両回転有り（ヨーレート値の変化
量≠０）の場合は、上記の場合とは異なり、現在の白線
画像とＴ0時間前の白線画像とを単純に重ね合せること
はできない。一例として、「ヨーレート値の変化量＞
０」の場合の白線画像の重ね合せ例を図１５に示す。図
１５において、（ａ）は現在の白線画像、（ｂ）はＴ0
時間前の白線画像、（ｃ）はそれら白線画像を重ね合せ
た画像を示す。図１５（ａ）、（ｂ）に示すように、現
在の白線画像とＴ0時間前の白線画像との間には車両回
転によりずれが発生する。そのため、これら白線画像を
単純に重ね合せてしまうと、図１５（ｃ）に示すよう
に、Ｔ0時間前の白線画像に対して現在の白線画像が車
両進行方向に対して右方向に流れることとなり、座標の
ずれが生じる。この場合、座標のずれ量は車両からの距
離が遠くなるほど大きくなる。
量≠０）の場合は、上記の場合とは異なり、現在の白線
画像とＴ0時間前の白線画像とを単純に重ね合せること
はできない。一例として、「ヨーレート値の変化量＞
０」の場合の白線画像の重ね合せ例を図１５に示す。図
１５において、（ａ）は現在の白線画像、（ｂ）はＴ0
時間前の白線画像、（ｃ）はそれら白線画像を重ね合せ
た画像を示す。図１５（ａ）、（ｂ）に示すように、現
在の白線画像とＴ0時間前の白線画像との間には車両回
転によりずれが発生する。そのため、これら白線画像を
単純に重ね合せてしまうと、図１５（ｃ）に示すよう
に、Ｔ0時間前の白線画像に対して現在の白線画像が車
両進行方向に対して右方向に流れることとなり、座標の
ずれが生じる。この場合、座標のずれ量は車両からの距
離が遠くなるほど大きくなる。
【００４１】図１５（ｃ）の合成画像における座標のず
れを無くすには、Ｔ0時間前の白線画像に対してその座
標のずれ量に応じた補正を行う必要がある。しかし、上
記のとおり、座標のずれ量は車両からの距離が遠くなる
ほど大きくなるため、例えば白線候補点画像を補正する
場合は、各候補点について、車両からの距離に応じたず
れ量を補正する必要があり、その場合、計算量が膨大な
ものとなって処理に時間がかかる。
れを無くすには、Ｔ0時間前の白線画像に対してその座
標のずれ量に応じた補正を行う必要がある。しかし、上
記のとおり、座標のずれ量は車両からの距離が遠くなる
ほど大きくなるため、例えば白線候補点画像を補正する
場合は、各候補点について、車両からの距離に応じたず
れ量を補正する必要があり、その場合、計算量が膨大な
ものとなって処理に時間がかかる。
【００４２】そこで、図１６に示すように、合成画像を
等距離間隔の距離分割線で分割したものを考える。この
場合、各分割画像における座標のずれ量は、車両からの
距離に応じて多少は変化するが、その変化量は少なくて
すむ。したがって、Ｔ0時間前の白線画像に対しては、
各分割画像毎に座標のずれ量を補正することができる。
この手法によれば、補正計算量を大幅に少なくすること
ができ、処理時間も短くなる。
等距離間隔の距離分割線で分割したものを考える。この
場合、各分割画像における座標のずれ量は、車両からの
距離に応じて多少は変化するが、その変化量は少なくて
すむ。したがって、Ｔ0時間前の白線画像に対しては、
各分割画像毎に座標のずれ量を補正することができる。
この手法によれば、補正計算量を大幅に少なくすること
ができ、処理時間も短くなる。
【００４３】各分割画像における座標のずれ量として
は、図１７に示すように、分割画像の中央における座標
のずれ量を補正量の代表値を用いることが望ましい。ま
た、Ｔ 0時間前の白線画像を分割して補正する場合は、
例えば図１８（ａ）に示すように、各分割画像の中央に
おける座標のずれ量を補正量としてそれぞれの分割画像
をスライドさせて補正する。このようにして分割補正し
たＴ0時間前の白線画像を現在の白線画像に重ね合せる
た結果が図１８（ｂ）である。図１８（ｂ）から分かる
ように、Ｔ0時間前の白線画像と現在の白線画像はほぼ
一致したものとなる。
は、図１７に示すように、分割画像の中央における座標
のずれ量を補正量の代表値を用いることが望ましい。ま
た、Ｔ 0時間前の白線画像を分割して補正する場合は、
例えば図１８（ａ）に示すように、各分割画像の中央に
おける座標のずれ量を補正量としてそれぞれの分割画像
をスライドさせて補正する。このようにして分割補正し
たＴ0時間前の白線画像を現在の白線画像に重ね合せる
た結果が図１８（ｂ）である。図１８（ｂ）から分かる
ように、Ｔ0時間前の白線画像と現在の白線画像はほぼ
一致したものとなる。
【００４４】以上のようにして、Ｔ0時間前の白線画像
と現在の白線画像を重ね合せる処理を行うことにより、
かすれた白線画像における有効候補点列をほぼ倍に増や
すことができ、その後に行われるハフ変換による直線近
似処理の確度を高めることができる。
と現在の白線画像を重ね合せる処理を行うことにより、
かすれた白線画像における有効候補点列をほぼ倍に増や
すことができ、その後に行われるハフ変換による直線近
似処理の確度を高めることができる。
【００４５】以上の動作説明では、道路の左側にある連
続した白線を抽出する場合を例にその手順を説明した
が、道路の右側にある連続した白線についても同様の処
理手順で抽出することができる。また、本実施形態で
は、かすれた白線についても抽出可能になっていること
から、車線を区切る破線状の白線についても抽出可能で
ある。この場合、例えば、高速道路などの１０ｍ間隔で
引かれた破線状の白線（それぞれの破線の長さは１０
ｍ）であれば、車速に応じて、「１０ｍ／（車両速
度）」時間分だけ溯った過去の画像を現在の画像と重ね
合せるようにすることで、連続した白線候補点列を得る
ことができ、白線の認識処理をより確実なものとするこ
とができる。
続した白線を抽出する場合を例にその手順を説明した
が、道路の右側にある連続した白線についても同様の処
理手順で抽出することができる。また、本実施形態で
は、かすれた白線についても抽出可能になっていること
から、車線を区切る破線状の白線についても抽出可能で
ある。この場合、例えば、高速道路などの１０ｍ間隔で
引かれた破線状の白線（それぞれの破線の長さは１０
ｍ）であれば、車速に応じて、「１０ｍ／（車両速
度）」時間分だけ溯った過去の画像を現在の画像と重ね
合せるようにすることで、連続した白線候補点列を得る
ことができ、白線の認識処理をより確実なものとするこ
とができる。
【００４６】（白線検出システム）図１９は、本発明の
白線検出方法が適用されたシステムの構成を示す模式図
である。このシステムは、前方画像撮影用カメラ８０、
画像認識処理・制御ユニット８１、電動パワーステアリ
ングユニット（またはステアリング駆動アクチュエータ
ー）８２からなる。
白線検出方法が適用されたシステムの構成を示す模式図
である。このシステムは、前方画像撮影用カメラ８０、
画像認識処理・制御ユニット８１、電動パワーステアリ
ングユニット（またはステアリング駆動アクチュエータ
ー）８２からなる。
【００４７】前方画像撮影用カメラ８０は、車両前方を
撮影するように車内のフロント部分に取り付けられてお
り、例えば前述の図３に示したような画像を撮影するこ
とができる。この前方画像撮影用カメラ８０にて撮影さ
れた画像は画像認識処理・制御ユニット８１に取り込ま
れる。
撮影するように車内のフロント部分に取り付けられてお
り、例えば前述の図３に示したような画像を撮影するこ
とができる。この前方画像撮影用カメラ８０にて撮影さ
れた画像は画像認識処理・制御ユニット８１に取り込ま
れる。
【００４８】画像認識処理・制御ユニット８１は、例え
ば座席の下などに設置可能で、内部に図１に示したよう
な白線認識処理部を備え、この白線認識処理部で検出さ
れた白線に基づいて車両の進行方向を制御したり、進行
方向の制御を補助したりする。この画像認識処理・制御
ユニット８１による制御は、制御信号を電動パワーステ
アリングユニット８２に送出することにより行われる。
ば座席の下などに設置可能で、内部に図１に示したよう
な白線認識処理部を備え、この白線認識処理部で検出さ
れた白線に基づいて車両の進行方向を制御したり、進行
方向の制御を補助したりする。この画像認識処理・制御
ユニット８１による制御は、制御信号を電動パワーステ
アリングユニット８２に送出することにより行われる。
【００４９】
【発明の効果】以上説明したように、本発明によれば、
白線自体にかすれがあったり、白線画像が不鮮明な場合
であっても、確実に白線を検出することができるので、
白線の誤認識を防止することができ、従来のものより白
線検出精度の高いものを提供することができる。
白線自体にかすれがあったり、白線画像が不鮮明な場合
であっても、確実に白線を検出することができるので、
白線の誤認識を防止することができ、従来のものより白
線検出精度の高いものを提供することができる。
【図１】本発明の白線検出装置の一実施形態を示すブロ
ック図である。
ック図である。
【図２】本発明の白線検出装置における白線検出手順の
一例を示すフローチャート図である。
一例を示すフローチャート図である。
【図３】白線画像の一例を示す模式図である。
【図４】（ａ）はかすれのない白線画像の一例を示す模
式図で、（ｂ）は（ａ）に示す白線画像から抽出された
白線候補点列の一例を示す模式図である。
式図で、（ｂ）は（ａ）に示す白線画像から抽出された
白線候補点列の一例を示す模式図である。
【図５】（ａ）はかすれのある白線画像の一例を示す模
式図で、（ｂ）は（ａ）に示す白線画像から抽出された
白線候補点列の一例を示す模式図である。
式図で、（ｂ）は（ａ）に示す白線画像から抽出された
白線候補点列の一例を示す模式図である。
【図６】かすれ度合判定ウィンドウの一例を示す模式図
である。
である。
【図７】かすれ度合判定の一例を示す模式図である。
【図８】かすれ度合判定の一例を示す模式図である。
【図９】ハフ（Hough）変換を説明するための模式図で
ある。
ある。
【図１０】白線候補点列の画像分割の一例を示す模式図
である。
である。
【図１１】（ａ）は車両回転のない場合の白線候補点列
の一例を示す模式図、（ｂ）は（ａ）の白線候補点列と
図４（ｂ）に示す白線候補点列とを重ね合せた画像を示
す模式図である。
の一例を示す模式図、（ｂ）は（ａ）の白線候補点列と
図４（ｂ）に示す白線候補点列とを重ね合せた画像を示
す模式図である。
【図１２】（ａ）は車両回転のある場合の白線候補点列
の一例を示す模式図、（ｂ）は（ａ）の白線候補点列と
図５（ｂ）に示す白線候補点列とを重ね合せた画像を示
す模式図である。
の一例を示す模式図、（ｂ）は（ａ）の白線候補点列と
図５（ｂ）に示す白線候補点列とを重ね合せた画像を示
す模式図である。
【図１３】（ａ）は白線候補点列の画像分割の一例を示
す模式図、（ｂ）は（ａ）の各分割画像をずらして再合
成した画像の一例を示す模式図である。
す模式図、（ｂ）は（ａ）の各分割画像をずらして再合
成した画像の一例を示す模式図である。
【図１４】（ａ）は車両回転の無い場合の現在の白線画
像の一例を示す模式図、（ｂ）は車両回転の無い場合の
Ｔ0時間前の白線画像の一例を示す模式図、（ｃ）は
（ａ）と（ｂ）の各白線画像を重ね合せた画像を示す模
式図である。
像の一例を示す模式図、（ｂ）は車両回転の無い場合の
Ｔ0時間前の白線画像の一例を示す模式図、（ｃ）は
（ａ）と（ｂ）の各白線画像を重ね合せた画像を示す模
式図である。
【図１５】（ａ）は現在の白線画像、（ｂ）はＴ0時間
前の白線画像、（ｃ）は（ａ）と（ｂ）の白線画像を重
ね合せた画像を示す模式図である。
前の白線画像、（ｃ）は（ａ）と（ｂ）の白線画像を重
ね合せた画像を示す模式図である。
【図１６】分割画像の一例を示す模式図である。
【図１７】分割画像の補正量の一例を示す模式図であ
る。
る。
【図１８】（ａ）は分割補正画像の一例を示す模式図、
（ｂ）は（ａ）に示す分割補正画像を現在の白線画像に
重ね合せた画像の一例を示す模式図である。
（ｂ）は（ａ）に示す分割補正画像を現在の白線画像に
重ね合せた画像の一例を示す模式図である。
【図１９】本発明の白線検出方法が適用されたシステム
の構成を示す模式図である。
の構成を示す模式図である。
【図２０】従来の白線検出方法を説明するための図で、
（ａ）は近距離領域および遠距離領域の確定白線の模式
図、（ｂ）は（ａ）の確定白線に基づくエッジ追跡領域
を示す模式図である。
（ａ）は近距離領域および遠距離領域の確定白線の模式
図、（ｂ）は（ａ）の確定白線に基づくエッジ追跡領域
を示す模式図である。
１ 画像入力部 ２ 白線認識処理部 ３ ヨーレート検出部 ２１ 認識処理対象領域切り出し部 ２２ 白線候補点抽出部 ２３ かすれ度合判定部 ２４ 車両回転判定部 ２５ 白線抽出部
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｇ 1/09 Ｇ０６Ｆ 15/70 ３３０Ｇ 1/16 15/62 ３８０ Ｆターム(参考） 5B057 AA06 BA02 BA29 CC03 CE02 CE06 CF05 DA06 DC13 5H180 AA01 CC04 CC24 LL01 LL02 LL08 5L096 BA04 CA02 EA05 EA07 EA35 EA43 FA03 FA24 GA02 GA55 HA01
Claims (9)
- 【請求項１】 車両前方を撮影して得られる道路の白線
画像から白線の候補点を抽出し、該白線候補点列を近似
する直線を求めてこれを白線として認識する白線検出方
法において、 前記白線画像にかすれがあるか否かを判定し、かすれが
ある場合は、現在の白線画像から抽出された白線候補点
列に一定時間前の白線画像から抽出された白線候補点列
を重ね合せ、該重ね合せた白線候補点列を近似する直線
を求めてこれを白線として認識することを特徴とする白
線検出方法。 - 【請求項２】 請求項１に記載の白線検出方法におい
て、 白線画像中に所定のウインドウを設定し、該ウインドウ
内における白線候補点の密度からかすれ度合を算出し、
該かすれ度合が一定基準値以上の場合をかすれ無しと
し、一定基準値を下回った場合をかすれ有りとして、前
記白線画像のかすれ判定を行うことを特徴とする白線検
出方法。 - 【請求項３】 請求項１に記載の白線検出方法におい
て、 前記白線画像にかすれがある場合に、さらに車両が回転
運動をしたか否かを判定し、車両回転運動有りの場合
は、現在の白線画像から抽出された白線候補点列と、一
定時間前の白線画像から抽出された白線候補点列にその
車両回転に相当する補正を施したものとを重ね合せ、該
重ね合せた白線候補点列を近似する直線を求めてこれを
白線として認識することを特徴とする白線検出方法。 - 【請求項４】 請求項３に記載の白線検出方法におい
て、 前記車両回転運動の有無の判定を、車両回転運動を表わ
すヨーレート値の変化量が一定基準値以下の場合を車両
回転無しとし、一定基準値を上回った場合を車両回転有
りとして行うことを特徴とする白線検出方法。 - 【請求項５】 請求項３に記載の白線検出方法におい
て、 前記車両回転に相当する補正が、一定時間前の白線候補
点列の画像を実際の路面上で等距離間隔となるような距
離分割線で区切り、各分割画像毎に路面距離に応じた車
両回転によるずれを補正することであることを特徴とす
る白線検出方法。 - 【請求項６】 車両前方を撮影する撮像手段と、 前記撮像手段にて撮影された道路の白線画像から白線の
候補点を抽出する白線候補点抽出手段と、 前記白線画像にかすれがあるか否かを判定するかすれ判
定手段と、 前記白線候補点抽出手段にて抽出された白線候補点列を
近似する直線を求めてこれを白線として認識する白線抽
出手段とを少なくとも有し、 前記白線抽出手段が、前記かすれ判定手段による判定結
果がかすれ有りの場合に、現在の白線画像から抽出され
た白線候補点列に一定時間前の白線画像から抽出された
白線候補点列を重ね合せ、該重ね合せた白線候補点列を
近似する直線を求めてこれを白線として認識することを
特徴とする白線検出装置。 - 【請求項７】 請求項６に記載の白線検出装置におい
て、 前記かすれ判定手段が、白線画像中に所定のウインドウ
を設定し、該ウインドウ内における白線候補点の密度か
らかすれ度合を算出し、該かすれ度合が一定基準値以上
の場合はかすれ無しと判定し、一定基準値を下回った場
合はかすれ有りと判定することを特徴とする白線検出装
置。 - 【請求項８】 請求項６に記載の白線検出装置におい
て、 車両の回転運動を検出する車両回転検出手段と、 前記車両回転検出手段の検出結果に基づいて車両が回転
運動をしたか否かを判定する車両回転判定手段とをさら
に有し、 前記白線抽出手段が、前記車両回転判定手段による判定
結果が車両回転運動有りの場合に、現在の白線画像から
抽出された白線候補点列と、一定時間前の白線画像から
抽出された白線候補点列にその車両回転に相当する補正
を施したものとを重ね合せ、該重ね合せた白線候補点列
を近似する直線を求めてこれを白線として認識すること
を特徴とする白線検出装置。 - 【請求項９】 請求項８に記載の白線検出装置におい
て、 前記車両回転検出手段が、車両回転運動を表わすヨーレ
ートを検出する手段であり、 前記車両回転判定手段が、前記ヨーレート値の変化量が
一定基準値以下の場合は車両回転無しと判定し、一定基
準値を上回った場合は車両回転有りと判定することを特
徴とする白線検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000044533A JP3584194B2 (ja) | 2000-02-22 | 2000-02-22 | 白線検出方法および白線検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000044533A JP3584194B2 (ja) | 2000-02-22 | 2000-02-22 | 白線検出方法および白線検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001236506A true JP2001236506A (ja) | 2001-08-31 |
| JP3584194B2 JP3584194B2 (ja) | 2004-11-04 |
Family
ID=18567272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000044533A Expired - Fee Related JP3584194B2 (ja) | 2000-02-22 | 2000-02-22 | 白線検出方法および白線検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3584194B2 (ja) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005111937A1 (ja) * | 2004-05-19 | 2005-11-24 | Honda Motor Co., Ltd. | 車両用走行区分線認識装置 |
| WO2005111964A1 (ja) | 2004-05-19 | 2005-11-24 | Honda Motor Co., Ltd. | 車両用走行区分線認識装置 |
| JP2006252269A (ja) * | 2005-03-11 | 2006-09-21 | Aisin Seiki Co Ltd | 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法 |
| JP2006260358A (ja) * | 2005-03-18 | 2006-09-28 | Honda Elesys Co Ltd | 車線認識装置 |
| JP2006331058A (ja) * | 2005-05-26 | 2006-12-07 | Aisin Aw Co Ltd | 画像修正装置、地物認識装置及び地物認識方法 |
| JP2006350571A (ja) * | 2005-06-14 | 2006-12-28 | Toyota Motor Corp | 道路区画線検出装置 |
| EP1764758A1 (en) * | 2004-05-19 | 2007-03-21 | HONDA MOTOR CO., Ltd. | Lane boundary recognition apparatus for vehicle |
| JP2007102798A (ja) * | 2006-10-11 | 2007-04-19 | Denso Corp | 車両周辺監視システム |
| WO2007129582A1 (ja) * | 2006-05-09 | 2007-11-15 | Nissan Motor Co., Ltd. | 車両周辺画像提供装置及び車両周辺画像提供方法 |
| US7415134B2 (en) | 2005-05-17 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
| US7421094B2 (en) | 2004-05-19 | 2008-09-02 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
| JP2009288867A (ja) * | 2008-05-27 | 2009-12-10 | Toyota Motor Corp | 道路区画線検出装置および道路区画線検出方法 |
| EP2242022A1 (en) * | 2008-01-11 | 2010-10-20 | NEC Corporation | Lane recognition system, lane recognition method, and lane recognition program |
| EP2282295A1 (en) * | 2008-04-25 | 2011-02-09 | Hitachi Automotive Systems, Ltd. | Object recognizing device and object recognizing method |
| JP2011180982A (ja) * | 2010-03-03 | 2011-09-15 | Denso Corp | 区画線検出装置 |
| JP2011215769A (ja) * | 2010-03-31 | 2011-10-27 | Panasonic Corp | 車線位置検出装置および車線位置検出方法 |
| US8385601B2 (en) | 2010-03-08 | 2013-02-26 | Nippon Soken, Inc. | In-vehicle white line recognition apparatus |
| WO2014104183A1 (ja) * | 2012-12-26 | 2014-07-03 | 株式会社日本自動車部品総合研究所 | 境界線認識装置及び分岐路判定装置 |
| JP2014127027A (ja) * | 2012-12-26 | 2014-07-07 | Nippon Soken Inc | 境界線認識装置 |
| JP2015064735A (ja) * | 2013-09-25 | 2015-04-09 | 日産自動車株式会社 | 自車位置推定装置及び自車位置推定方法 |
| JP2016126605A (ja) * | 2015-01-06 | 2016-07-11 | 株式会社日立製作所 | 走行環境認識システム |
| WO2017163367A1 (ja) * | 2016-03-24 | 2017-09-28 | 日産自動車株式会社 | 走路検出方法及び走路検出装置 |
| JP2020021121A (ja) * | 2018-07-30 | 2020-02-06 | エヌ・ティ・ティ・コムウェア株式会社 | 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム |
| JP2020034847A (ja) * | 2018-08-31 | 2020-03-05 | 株式会社デンソー | 地図生成装置及び地図生成プログラム |
| KR20200024913A (ko) * | 2017-07-07 | 2020-03-09 | 닛산 지도우샤 가부시키가이샤 | 주차 지원 방법 및 주차 지원 장치 |
| JP2020160840A (ja) * | 2019-03-27 | 2020-10-01 | エヌ・ティ・ティ・コムウェア株式会社 | 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム |
| WO2022208685A1 (ja) * | 2021-03-30 | 2022-10-06 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
-
2000
- 2000-02-22 JP JP2000044533A patent/JP3584194B2/ja not_active Expired - Fee Related
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1760662A4 (en) * | 2004-05-19 | 2009-06-17 | Honda Motor Co Ltd | TRAVEL SECTION LINE KNOWLEDGE FOR A VEHICLE |
| US7421094B2 (en) | 2004-05-19 | 2008-09-02 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
| EP1764758A4 (en) * | 2004-05-19 | 2009-06-24 | Honda Motor Co Ltd | TRACK LIMIT DETECTION DEVICE FOR A VEHICLE |
| EP1760662A1 (en) * | 2004-05-19 | 2007-03-07 | HONDA MOTOR CO., Ltd. | Travel section line recognizer for vehicle |
| EP1764758A1 (en) * | 2004-05-19 | 2007-03-21 | HONDA MOTOR CO., Ltd. | Lane boundary recognition apparatus for vehicle |
| WO2005111937A1 (ja) * | 2004-05-19 | 2005-11-24 | Honda Motor Co., Ltd. | 車両用走行区分線認識装置 |
| WO2005111964A1 (ja) | 2004-05-19 | 2005-11-24 | Honda Motor Co., Ltd. | 車両用走行区分線認識装置 |
| US7415133B2 (en) | 2004-05-19 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
| US7421095B2 (en) | 2004-05-19 | 2008-09-02 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
| JP2006252269A (ja) * | 2005-03-11 | 2006-09-21 | Aisin Seiki Co Ltd | 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法 |
| JP2006260358A (ja) * | 2005-03-18 | 2006-09-28 | Honda Elesys Co Ltd | 車線認識装置 |
| US7889887B2 (en) | 2005-03-18 | 2011-02-15 | Honda Elesys Co., Ltd. | Lane recognition apparatus |
| JP4637618B2 (ja) * | 2005-03-18 | 2011-02-23 | 株式会社ホンダエレシス | 車線認識装置 |
| US7415134B2 (en) | 2005-05-17 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
| JP2006331058A (ja) * | 2005-05-26 | 2006-12-07 | Aisin Aw Co Ltd | 画像修正装置、地物認識装置及び地物認識方法 |
| JP2006350571A (ja) * | 2005-06-14 | 2006-12-28 | Toyota Motor Corp | 道路区画線検出装置 |
| JP4614826B2 (ja) * | 2005-06-14 | 2011-01-19 | トヨタ自動車株式会社 | 道路区画線検出装置 |
| JP4956799B2 (ja) * | 2006-05-09 | 2012-06-20 | 日産自動車株式会社 | 車両周辺画像提供装置及び車両周辺画像提供方法 |
| WO2007129582A1 (ja) * | 2006-05-09 | 2007-11-15 | Nissan Motor Co., Ltd. | 車両周辺画像提供装置及び車両周辺画像提供方法 |
| US8243994B2 (en) | 2006-05-09 | 2012-08-14 | Nissan Motor Co., Ltd. | Vehicle circumferential image providing device and vehicle circumferential image providing method |
| JP2007102798A (ja) * | 2006-10-11 | 2007-04-19 | Denso Corp | 車両周辺監視システム |
| EP2242022A1 (en) * | 2008-01-11 | 2010-10-20 | NEC Corporation | Lane recognition system, lane recognition method, and lane recognition program |
| EP2242022A4 (en) * | 2008-01-11 | 2012-02-15 | Nec Corp | TRACK IDENTIFICATION SYSTEM, TRACE IDENTIFICATION PROCEDURE AND TRACE IDENTIFICATION PROGRAM |
| EP2282295A1 (en) * | 2008-04-25 | 2011-02-09 | Hitachi Automotive Systems, Ltd. | Object recognizing device and object recognizing method |
| EP2282295A4 (en) * | 2008-04-25 | 2013-10-30 | Hitachi Automotive Systems Ltd | OBJECT RECOGNITION DEVICE AND OBJECT RECOGNITION METHOD |
| US8818026B2 (en) | 2008-04-25 | 2014-08-26 | Hitachi Automotive Systems, Ltd. | Object recognition device and object recognition method |
| JP4622001B2 (ja) * | 2008-05-27 | 2011-02-02 | トヨタ自動車株式会社 | 道路区画線検出装置および道路区画線検出方法 |
| JP2009288867A (ja) * | 2008-05-27 | 2009-12-10 | Toyota Motor Corp | 道路区画線検出装置および道路区画線検出方法 |
| JP2011180982A (ja) * | 2010-03-03 | 2011-09-15 | Denso Corp | 区画線検出装置 |
| US8520954B2 (en) | 2010-03-03 | 2013-08-27 | Denso Corporation | Apparatus for detecting lane-marking on road |
| US8385601B2 (en) | 2010-03-08 | 2013-02-26 | Nippon Soken, Inc. | In-vehicle white line recognition apparatus |
| JP2011215769A (ja) * | 2010-03-31 | 2011-10-27 | Panasonic Corp | 車線位置検出装置および車線位置検出方法 |
| WO2014104183A1 (ja) * | 2012-12-26 | 2014-07-03 | 株式会社日本自動車部品総合研究所 | 境界線認識装置及び分岐路判定装置 |
| US10002433B2 (en) | 2012-12-26 | 2018-06-19 | Nippon Soken, Inc. | Boundary line recognition apparatus and branch road determination apparatus |
| US10891738B2 (en) | 2012-12-26 | 2021-01-12 | Nippon Soken, Inc. | Boundary line recognition apparatus and branch road determination apparatus |
| JP2014127027A (ja) * | 2012-12-26 | 2014-07-07 | Nippon Soken Inc | 境界線認識装置 |
| JP2015064735A (ja) * | 2013-09-25 | 2015-04-09 | 日産自動車株式会社 | 自車位置推定装置及び自車位置推定方法 |
| JP2016126605A (ja) * | 2015-01-06 | 2016-07-11 | 株式会社日立製作所 | 走行環境認識システム |
| US10614321B2 (en) | 2016-03-24 | 2020-04-07 | Nissan Motor Co., Ltd. | Travel lane detection method and travel lane detection device |
| WO2017163367A1 (ja) * | 2016-03-24 | 2017-09-28 | 日産自動車株式会社 | 走路検出方法及び走路検出装置 |
| JPWO2017163367A1 (ja) * | 2016-03-24 | 2019-02-14 | 日産自動車株式会社 | 走路検出方法及び走路検出装置 |
| KR102145747B1 (ko) | 2017-07-07 | 2020-08-20 | 닛산 지도우샤 가부시키가이샤 | 주차 지원 방법 및 주차 지원 장치 |
| KR20200024913A (ko) * | 2017-07-07 | 2020-03-09 | 닛산 지도우샤 가부시키가이샤 | 주차 지원 방법 및 주차 지원 장치 |
| JP2020021121A (ja) * | 2018-07-30 | 2020-02-06 | エヌ・ティ・ティ・コムウェア株式会社 | 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム |
| WO2020045231A1 (ja) * | 2018-08-31 | 2020-03-05 | 株式会社デンソー | 地図生成装置及び地図生成プログラム |
| JP2020034847A (ja) * | 2018-08-31 | 2020-03-05 | 株式会社デンソー | 地図生成装置及び地図生成プログラム |
| JP7127436B2 (ja) | 2018-08-31 | 2022-08-30 | 株式会社デンソー | 地図生成装置及び地図生成プログラム |
| JP2020160840A (ja) * | 2019-03-27 | 2020-10-01 | エヌ・ティ・ティ・コムウェア株式会社 | 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム |
| WO2022208685A1 (ja) * | 2021-03-30 | 2022-10-06 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3584194B2 (ja) | 2004-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3584194B2 (ja) | 白線検出方法および白線検出装置 | |
| CN110517521B (zh) | 一种基于路车融合感知的车道偏离预警方法 | |
| US7190282B2 (en) | Nose-view monitoring apparatus | |
| JP5276637B2 (ja) | 車線推定装置 | |
| Tsugawa | Vision-based vehicles in Japan: Machine vision systems and driving control systems | |
| EP2103500B1 (en) | Vehicle and steering control device for vehicle | |
| JP4433887B2 (ja) | 車両用外界認識装置 | |
| CN106428209A (zh) | 转向辅助装置 | |
| WO2014129312A1 (ja) | 車線境界線逸脱抑制装置 | |
| EP3557527B1 (en) | Object detection device | |
| WO2010122409A1 (en) | Object detection device | |
| JP2002197470A (ja) | 車線検出装置 | |
| JP2005148817A (ja) | 車両用画像処理装置 | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| JP2009033743A (ja) | 物体を認識するための方法 | |
| JP3293441B2 (ja) | 撮像装置 | |
| WO1999060545A1 (fr) | Procede et appareil de detection de la deviation d'une automobile par rapport a une voie de circulation | |
| JP7426174B2 (ja) | 車両周囲画像表示システム及び車両周囲画像表示方法 | |
| JP2009139306A (ja) | 路面標示認識装置 | |
| JP2003281700A (ja) | 割り込み車両検出装置及びその方法 | |
| JPH0789443A (ja) | 車両用自動操縦装置 | |
| JP2007299045A (ja) | 車線認識装置 | |
| JP2003036500A (ja) | 車両の走行区分線認識装置 | |
| JPH07302325A (ja) | 車載用画像認識装置 | |
| JP2005190375A (ja) | 白線検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040802 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100806 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110806 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110806 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |