JP2002352226A - 走行路検出装置 - Google Patents
走行路検出装置Info
- Publication number
- JP2002352226A JP2002352226A JP2001156520A JP2001156520A JP2002352226A JP 2002352226 A JP2002352226 A JP 2002352226A JP 2001156520 A JP2001156520 A JP 2001156520A JP 2001156520 A JP2001156520 A JP 2001156520A JP 2002352226 A JP2002352226 A JP 2002352226A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- traveling
- vehicle
- lane marker
- travel path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
Abstract
ようにする。 【解決手段】走行路モデルパラメータとして走行車線中
央に対する自車両横変位yC をカルマンフィルタ等によ
り算出すると共に、この自車両横変位yC が所定値yC1
以下であり、走行車線両側の二本のレーンマーカーを検
出できるときには、それらのレーンマーカーで規定され
る走行車線の車線幅Wを用いてカルマンフィルタ等の計
算を行う。一方、前記自車両横変位yC が所定値yC1以
下ではあるものの、それより小さい所定値yC2より大き
くなったら、自車両に最も近いレーンマーカーの線幅L
を算出し、当該自車両横変位yC が所定値yC1より大き
くなったら、検出すべきレーンマーカーの数を一本と
し、そのレーンマーカーの線幅Lを用いてカルマンフィ
ルタ等の計算を行う。
Description
ている走行路の形状を検出する走行路検出装置に関し、
特に走行路の形状を走行路モデルパラメータで表すのに
好適なものである。
ば特開平8−5388号公報に記載されるものがある。
この従来の走行路検出装置では、CCDカメラなどの撮
像装置で自車両前方の走行路の状態を撮像し、その撮像
内に、自車両が走行している走行車線の両側のレーンマ
ーカーを二本検出し、そのレーンマーカーを用いて、自
車両の走行車線における横変位などの走行路モデルパラ
メータを算出する。また、車線変更等により自車両の走
行車線における横変位が大きくなり、当該走行車線の中
央から所定値以上離れたら、その離れた方向に隣接する
走行車線があると見なし、現在走行中の走行車線を挟む
二本のレーンマーカーに加えて、隣接する走行車線の向
こう側のレーンマーカーを含む三本のレーンマーカーを
検出し、それらのレーンマーカーを用いて走行路モデル
パラメータを連続して算出するようにしている。
来の走行路検出装置では、例えば車線変更等により自車
両が走行車線の中央から離れたら、隣接する走行車線の
レーンマーカーを含む三本のレーンマーカーを検出し、
それらのレーンマーカーを用いて走行路モデルパラメー
タを算出するようにしているものの、特に隣接する走行
車線の向こう側のレーンマーカーは、当該隣接する走行
車線を走行している他の車両等に隠れて見えない、つま
り前記撮像装置で撮像できないことがあるため、そのよ
うな場合には前記三本のレーンマーカーを用いる走行路
モデルパラメータの算出ができなくなってしまうという
問題がある。
のレーンマーカーを用いることなく、車線変更等により
自車両が走行車線の中央から離れたときでも、走行路モ
デルパラメータの算出を連続して行うことができる走行
路検出装置を提供することを目的とするものである。
に、本発明のうち請求項1に係る走行路検出装置は、自
車両前方の走行路を撮像する撮像手段と、前記撮像手段
で撮像された走行路にレーンマーカーを検出するための
小領域を設定するレーンマーカー検出領域設定手段と、
前記レーンマーカー検出領域設定手段で設定された検出
領域内でレーンマーカーの一部をレーンマーカー候補点
として検出するレーンマーカー検出手段と、前記レーン
マーカー検出手段で検出されたレーンマーカー候補点の
情報から、自車両前方の走行路の形状を表すための走行
路モデルパラメータを算出する走行路モデルパラメータ
算出手段と、前記走行路モデルパラメータ算出手段で算
出された走行路モデルパラメータに基づいて前記レーン
マーカー検出領域設定手段が対象とするレーンマーカー
の検出数を切替えるレーンマーカー検出数切替え手段と
を備えたことを特徴とするものである。
検出装置は、前記請求項1の発明において、前記走行路
モデルパラメータ算出手段は、前記レーンマーカー検出
数切替え手段が、自車両が走行する走行車線の両側の二
本のレーンマーカーを検出対象としたときには、当該走
行車線の車線幅を走行路モデルに用い、当該レーンマー
カー検出数切替え手段が、自車両に最も近い一本のレー
ンマーカーを検出対象としたときには、当該レーンマー
カーの線幅を走行路モデルに用いることを特徴とするも
のである。
検出装置は、前記請求項2の発明において、前記走行路
モデルパラメータ算出手段は、前記撮像手段により、自
車両が走行する走行車線の両側の二本のレーンマーカー
を撮像可能であり、当該走行車線に対して自車両が横方
向にずれて二本のレーンマーカーを撮像できなくなると
きに、前記レーンマーカーの線幅を検出することを特徴
とするものである。
検出装置は、前記請求項1乃至3の発明において、前記
走行路モデルパラメータ算出手段は、走行路モデルのパ
ラメータとして、レーンマーカーで規定される走行車線
の曲率、当該走行車線に対する自車両の横変位、当該走
行車線に対する自車両のヨー角、自車両のピッチ角、前
記撮像手段の取付け位置の地上からの高さを算出するこ
とを特徴とするものである。
検出装置は、前記請求項1乃至4の発明において、前記
レーンマーカー検出数切替え手段は、自車両が走行する
走行車線に対する自車両の横変位に基づいてレーンマー
カーの検出数を切替えることを特徴とするものである。
また、本発明のうち請求項6に係る走行路検出装置は、
前記請求項1乃至4の発明において、前記レーンマーカ
ー検出数切替え手段は、前記撮像手段で撮像された撮像
画面上での、自車両とレーンマーカーとの傾きに基づい
てレーンマーカーの検出数を切替えることを特徴とする
ものである。
検出装置は、前記請求項1乃至4の発明において、前記
レーンマーカー検出数切替え手段は、前記自車両が走行
する走行車線に対する自車両の横変位及びヨー角に基づ
いてレーンマーカーの検出数を切替えることを特徴とす
るものである。また、本発明のうち請求項8に係る走行
路検出装置は、前記請求項1乃至7の発明において、前
記レーンマーカー検出数切替え手段は、自車両の走行速
度に基づいてレーンマーカーの検出数を切替えることを
特徴とするものである。
検出装置は、前記請求項1乃至8の発明において、前記
レーンマーカー検出数切替え手段は、自車両の操舵角に
基づいてレーンマーカーの検出数を切替えることを特徴
とするものである。また、本発明のうち請求項10に係
る走行路検出装置は、前記請求項1乃至7の発明におい
て、前記レーンマーカー検出数切替え手段は、自車両が
レーンマーカーに到達するまでの時間に基づいてレーン
マーカーの検出数を切替えることを特徴とするものであ
る。
行路検出装置によれば、撮像された走行路にレーンマー
カーを検出するための小領域を設定し、その検出領域内
でレーンマーカーの一部をレーンマーカー候補点として
検出し、そのレーンマーカー候補点の情報から、自車両
前方の走行路の形状を表すための走行路モデルパラメー
タを算出すると共に、算出された走行路モデルパラメー
タに基づいて検出対象とするレーンマーカーの検出数を
切替える構成としたため、例えば走行している走行車線
の中央に対して自車両が横方向にさほどずれていないと
きには、当該走行車線の両側の二本のレーンマーカーを
検出して車線幅を求め、その車線幅に基づいて走行路モ
デルパラメータを算出するようにし、走行している走行
車線の中央に対して自車両が横方向にずれているときに
は、ずれている方の一本のレーンマーカーを検出してそ
の線幅を求め、その線幅に基づいて走行路モデルパラメ
ータを算出するようにすれば、走行路モデルパラメータ
の算出に必要なレーンマーカーを見失うことがなく、走
行路モデルパラメータを連続して算出することができ
る。
検出装置によれば、自車両が走行する走行車線の両側の
二本のレーンマーカーを検出対象としたときには、当該
走行車線の車線幅を走行路モデルに用い、自車両に最も
近い一本のレーンマーカーを検出対象としたときには、
当該レーンマーカーの線幅を走行路モデルに用いる構成
としたため、走行モデルパラメータの算出に必要なレー
ンマーカーを見失うことがなく、走行路モデルパラメー
タを連続して算出することができる。
検出装置によれば、自車両が走行する走行車線の両側の
二本のレーンマーカーを撮像可能であり、当該走行車線
に対して自車両が横方向にずれて二本のレーンマーカー
を撮像できなくなるときに、前記レーンマーカーの線幅
を検出する構成としたため、走行している走行車線の中
央に対して自車両が横方向にずれようとするとき、当該
走行車線の両側の二本のレーンマーカーが路面となす少
なくとも三つの境界に基づいて、当該自車両がずれよう
とする側のレーンマーカーの線幅を正確に検出すること
ができ、これにより一本のレーンマーカーの線幅を用い
て走行モデルパラメータを算出することが可能となる。
検出装置によれば、レーンマーカーで規定される走行車
線の曲率、当該走行車線に対する自車両の横変位、当該
走行車線に対する自車両のヨー角、自車両のピッチ角、
前記撮像手段の取付け位置の地上からの高さを算出する
構成としたため、これらの走行路モデルパラメータを用
いて、走行している走行車線の中央に対して自車両が横
方向にずれている若しくはずれようとしていることを検
出することができる。
検出装置によれば、自車両が走行する走行車線に対する
自車両の横変位に基づいてレーンマーカーの検出数を切
替える構成としたため、レーンマーカーの検出数の切替
えを適切なタイミングで行うことができる。また、本発
明のうち請求項6に係る走行路検出装置によれば、撮像
された撮像画面上での、自車両とレーンマーカーとの傾
きに基づいてレーンマーカーの検出数を切替える構成と
したため、レーンマーカーの検出数の切替えを適切なタ
イミングで行うことができる。
検出装置によれば、自車両が走行する走行車線に対する
自車両の横変位及びヨー角に基づいてレーンマーカーの
検出数を切替える構成としたため、レーンマーカーの検
出数の切替えを適切なタイミングで行うことができる。
また、本発明のうち請求項8に係る走行路検出装置によ
れば、自車両の走行速度に基づいてレーンマーカーの検
出数を切替える構成としたため、レーンマーカーの検出
数の切替えを、自車両の走行状態に応じた適切なタイミ
ングで行うことができる。
検出装置によれば、自車両の操舵角に基づいてレーンマ
ーカーの検出数を切替える構成としたため、レーンマー
カーの検出数の切替えを、自車両の走行状態に応じた適
切なタイミングで行うことができる。また、本発明のう
ち請求項10に係る走行路検出装置によれば、自車両が
レーンマーカーに到達するまでの時間に基づいてレーン
マーカーの検出数を切替える構成としたため、レーンマ
ーカーの検出数の切替えを、自車両の走行状態に応じた
適切なタイミングで行うことができる。
に基づいて説明する。図1は本発明の走行路検出装置の
第1実施形態を示すシステム構成図である。この実施形
態の走行路検出装置は、撮像部1、前処理部2、レーン
マーカー検出領域設定部3、レーンマーカー検出部4、
走行路モデルパラメータ算出部5、処理結果出力部6、
レーンマーカー検出数切替え判定部7、レーンマーカー
検出数切替え部8を備えている。このうち、前記撮像部
1は、CCDカメラやカメラコントローラ等から構成さ
れ、自車両の前方の状態を撮像するものである。また、
前記前処理部2は、前記撮像部1で撮像された自車両前
方の画像に対し、レーンマーカーのエッジ、即ちレーン
マーカーと路面との境界を明瞭にするフィルタ処理を施
すものである。また、前記レーンマーカー検出領域設定
部3は、後述するレーンマーカー検出数切替え部8で設
定されたレーンマーカー検出数に応じ、前記前処理部2
でフィルタ処理された自車両前方の撮像情報に、レーン
マーカーを検出するための小領域を設定するものであ
る。
記レーンマーカー検出領域設定部3で設定された各検出
小領域の中から、最もレーンマーカーらしいレーンマー
カーの一部を抽出し、それをレーンマーカー候補点とし
て検出するものである。また、前記走行路モデルパラメ
ータ算出部5は、後述するレーンマーカー検出数切替え
部8で切替え設定されるレーンマーカー検出数に応じ、
前記レーンマーカー検出部4で検出されたレーンマーカ
ー候補点の撮像画像における位置情報から、レーンマー
カーで規定される走行車線の曲率ρ、当該走行車線に対
する自車両の横変位yC 、当該走行車線に対する自車両
のヨー角φ、自車両のピッチ角η、前記撮像部1のCC
Dカメラの取付け位置の地上からの高さh等を走行路モ
デルパラメータとして算出するものである。また、前記
処理結果出力部6は、前記走行路モデルパラメータ算出
部5で叉出された走行路モデルパラメータを、例えばデ
ィスプレイやスピーカ、或いはその他の制御装置に向け
て出力するものである。
定部7は、前記走行路モデルパラメータ算出部5で算出
された走行路モデルパラメータを用いて、レーンマーカ
ーの検出数を切替えるか否か判定するものである。ま
た、前記レーンマーカー検出数切替え部8は、前記レー
ンマーカー検出数切替え判定部7で判定されたレーンマ
ーカー検出数の判定結果に応じて、レーンマーカーの検
出数を切替え設定するものである。
Dカメラ等を除き、実質的には演算処理によって構成さ
れている。そこで、まず撮像部1で撮像された自車両前
方の状況から、走行路モデルパラメータを算出する原理
について説明する。まず、走行路上の空間座標系につい
て、例えば本実施形態では、前記CCDカメラの撮像レ
ンズの中心を原点とし、車両前方に向かって水平方向右
方から左方にX軸、車両の高さ方向上方にY軸、車両前
方にZ軸をとる直交三次元座標系を設定する。一方、撮
像画面上の平面座標系は、NTSC等のテレビジョン通
信方式の画面走査方向に従って、画面左上を原点とし、
水平方向左方から右方にx軸、垂直方向上方から下方に
y軸をとる直交二次元座標系を設定する。ここで、簡略
化のために、前記撮像画面上の平面座標系の原点が、走
行路上の空間座標系のZ軸上にあるとすると、走行路上
空間座標系から撮像画面上平面座標系への座標変換は下
記1式及び2式で行われる。
曲率一定の曲線、及びこれらを滑らかに結ぶための曲率
変化率一定のクロソイド曲線で定義されるが、自車両前
方の数十m区間は曲率一定の曲線路又は直線路と見なせ
る。そこで、走行車線を規定するレーンマーカーの形状
を、図3aに従って下記3式のように定式化した。ま
た、同様に、縦断構造についてはほぼ一定勾配と見なせ
るので、図3bに従って下記4式のように定式化した。
ると、下記5式〜10式が得られる。
いて、平面座標系の原点を空間座標系のZ軸上であると
しているのに対して、実際の平面座標系の原点は撮像画
像の左上としているため、両者のずれを補正するための
値である。このように、車線幅Wを既知とし、撮像され
た自車両前方のレーンマーカー候補点(レーンマーカー
の代表的な一点)の座標情報が満たす前記5式のパラメ
ータa〜eを求めることにより、走行路曲率ρ、自車両
のピッチ角η、ヨー角φ、自車両の横変位yC 、CCD
カメラの地上高h等の走行路モデルパラメータを算出す
ることができる。また、このときは、走行路モデル式中
に車線幅Wを用いているので、自車両が走行している走
行車線の両側のレーンマーカーを二本検出する必要があ
る。即ち、前記レーンマーカー検出数切替え部8で切替
え設定されるレーンマーカー検出数は二本である。
述した各種の走行路モデルパラメータを算出するため
に、本実施形態では、例えば拡張カルマンフィルタを用
いる。前記1式〜4式から、下記11式が得られる。こ
れは拡張カルマンフィルタを構成する際の出力方程式と
して用いられ、走行路曲率と車両状態量から撮像画像平
面上に定義したy座標値におけるx座標値を算出するも
のである。
状態量を、前記走行路曲率ρ、自車両のピッチ角η、ヨ
ー角φ、横変位yC 、CCDカメラの地上高hとし、レ
ンズ焦点距離f、車線幅Wを一定値とする。そして、各
推定状態量は確率的な振る舞いをするものとし、白色ガ
ウス雑音νによって駆動される離散系のランダムウォー
クモデルとして定義すると、状態方程式は下記12式で
表れる。
1式で表れる出力方程式を下記13式及び14式のよう
に簡略化して表記すると、前記拡張カルマンフィルタは
下記15〜18式で構成される。
出力方程式に、車線幅Wを用いた場合の説明であるが、
この車線幅Wに代えて、レーンマーカーの実際の線幅L
を用いても同様の拡張カルマンフィルタを構成すること
ができる。即ち、走行路の状態として、車線幅Wとレー
ンマーカーの線幅Lとは、幅の比率が異なるだけで、自
車両前方の雪像画像の中では同様に変化するのである。
図4は、走行中の走行車線の中で、自車両が走行車線の
中央から何れかのレーンマーカー方向(図では右方)に
ずれた状態で撮像した自車両前方の撮像画像である。こ
のように自車両が走行車線の中央から横方向にずれる
と、ずれてゆく方向のレーンマーカーはより明瞭に検出
できるが、走行車線を挟む反対側のレーンマーカーは次
第に検出しにくくなる。そのため、前記従来技術では、
ずれてゆく方向の隣の走行車線のレーンマーカーを検出
しようとするのであるが、そのレーンマーカーは当該隣
の走行車線を走行している車両などによって検出できな
い恐れがある。そこで、本実施形態では、このように自
車両が走行車線の中央から横方向にずれていったら、そ
のずれていった方向の、つまり自車両に最も近いレーン
マーカーの線幅Lを用いて拡張カルマンフィルタを構成
する。具体的には、自車両が走行している走行車線を規
定する二本のレーンマーカーの内側の境界、図4に示す
、を検出し、その走行車線内で自車両がずれていっ
た方向の、自車両に最も近いレーンマーカー自身を規定
する境界、図4に示す、を検出する。そして、前記
境界、の検出結果から得られる走行路モデルパラメ
ータより、下記19式の線幅L以外の値を代入し、次い
で、の検出結果から線幅Lを算出する。線幅Lの算
出には、前記カルマンフィルタや最小二乗法等の方法を
用いればよい。
処理を、図5のフローチャートに従って説明する。この
演算処理は、マイクロコンピュータ等の演算処理装置内
で、例えば10msec. 程度に設定された所定のサンプリ
ング時間ΔT毎に、タイマ割込として実行される。ま
た、演算処理で用いられるレーンマーカー検出数NL の
初期値は二本(NL =2)である。
記撮像部1で撮像された自車両前方の撮像画像を読込
む。次にステップS2に移行して、前記ステップS1で
読込んだ自車両前方の撮像画像から、レーンマーカーを
検出するための前処理を行う。具体的には、例えばSob
elフィルタによる一次空間微分によって、レーンマーカ
ーと路面との境界、つまりエッジを強調する。本実施形
態では、レーンマーカーの検出には、この境界を検出対
象とする。なお、エッジ強調フィルタ処理は、前記に限
定されるものではなく、またレーンマーカーの検出対象
も、前記に限定されるものではない。
プS2でエッジ強調フィルタ処理を施された自車両前方
の撮像画像中に、レーンマーカーを検出するための小領
域を設定する。この実施形態では、後述のように二本の
レーンマーカー、具体的には走行している走行車線を規
定する二本のレーンマーカーを検出する場合と、一本の
レーンマーカー、具体的には自車両に最も近いレーンマ
ーカーを検出する場合とがあるので、例えば二本のレー
ンマーカーを検出する場合(レーンマーカー検出数NL
=2)には図6aのようにレーンマーカー検出小領域を
設定し、一本のレーンマーカーを検出する場合(レーン
マーカー検出数NL =1)には図6bのようにレーンマ
ーカー検出領域を設定する。このレーンマーカー検出数
NL は、前回の演算処理のサンプリング時刻に更新記憶
されているか、若しくは初期設定されたものを用いる。
プS3で設定されたレーンマーカー検出小領域内におい
て、レーンマーカーを検出する。具体的には、図7に示
すように、各レーンマーカー検出小領域内において、最
もレーンマーカーと路面との境界らしい直線を検出し、
その直線上の一点をレーンマーカー候補点として検出す
る。図7の例では、直線検出結果の最上点をレーンマー
カー候補点として検出している。
プS4で検出されたレーンマーカー候補点の位置情報を
用いて、前記11式〜18式の拡張カルマンフィルタか
ら、例えば走行車線中央に対する自車両の横変位yC 等
の走行路モデルパラメータを算出する。次にステップS
6に移行して、現在設定されているレーンマーカー検出
数NLが二本であるか否かを判定し、当該レーンマーカ
ー検出数NL が二本である場合にはステップS7に移行
し、そうでない場合にはステップS8に移行する。
の拡張カルマンフィルタで求められた走行路モデルパラ
メータのうち、走行車線中央に対する自車両横変位yC
が、例えば図8に示すように予め設定された比較的大き
い所定値yC1以下であるか否かを判定し、当該自車両横
変位yC が所定値yC1以下である場合にはステップS9
に移行し、そうでない場合にはステップS10に移行す
る。
の拡張カルマンフィルタで求められた走行路モデルパラ
メータのうち、走行車線中央に対する自車両横変位yC
が、例えば図8に示すように予め設定された比較的小さ
い所定値yC2(yC2<yC1)以下であるか否かを判定
し、当該自車両横変位yC が所定値yC2以下である場合
にはメインプログラムに復帰し、そうでない場合にはス
テップS11に移行する。
いて、自車両に最も近いレーンマーカーの線幅Lを検出
してからメインプログラムに復帰する。また、前記ステ
ップS10では、レーンマーカー検出数NL を一本に設
定してからメインプログラムに復帰する。一方、前記ス
テップS8では、前記ステップS7と同様に、前記ステ
ップS5の拡張カルマンフィルタで求められた走行路モ
デルパラメータのうち、走行車線中央に対する自車両横
変位yC が前記所定値yC1以下であるか否かを判定し、
当該自車両横変位yC が所定値yC1以下である場合には
メインプログラムに復帰し、そうでない場合にはステッ
プS12に移行する。
マーカー検出数NL を二本に設定してからメインプログ
ラムに復帰する。このように、本実施形態では、カルマ
ンフィルタ等により推定状態量として求めた走行車線中
央に対する自車両横変位yC が所定値yC1以下であると
き、つまり撮像部1で、走行中の走行車線の両側のレー
ンマーカーを検出できるときには、レーンマーカー検出
数NL を二本に設定し、当該走行車線の両側の二本のレ
ーンマーカーで規定される走行車線の車線幅Wを用いて
カルマンフィルタ等により走行路モデルパラメータを算
出する。一方、同じくカルマンフィルタ等により推定状
態量として求めた走行車線中央に対する自車両横変位y
C が所定値yC1以下でないとき、つまり撮像部1で、走
行中の走行車線の両側のレーンマーカーを検出できな
い、若しくは検出しにくいときには、レーンマーカー検
出数NL を一本に設定し、自車両に最も近い一本のレー
ンマーカーの線幅Lを用いてカルマンフィルタ等により
走行路モデルパラメータを算出する。
規定される走行車線内を定常的に走行しており、走行車
線の中央に対する自車両横変位が大きくなり、撮像部1
で、走行車線両側のレーンマーカーを検出できない、若
しくは検出しにくいというのは、車線変更等によって、
自車両を横方向に移動させる過渡的な状況であると考え
られる。そこで、初期設定として、検出すべきレーンマ
ーカー検出数NL は二本に設定する。運転者に車線変更
の意思がなく、そのまま走行車線に沿って走行し続けれ
ば、自車両横変位yC は前記比較的大きな所定値yC1以
下であり、且つ前記比較的小さな所定値yC2以下でもあ
ろうから、前記図5の演算処理ではステップS7からス
テップ9を経てメインプログラムに復帰してしまい、結
果的にレーンマーカー検出数NL は二本のままである。
従って、この間は、常に自車両が走行する走行車線の両
側のレーンマーカーを二本検出し、それらによって得ら
れる車線幅Wを用いてカルマンフィルタ等により各走行
路モデルパラメータを算出する。
おうと試み、前記カルマンフィルタ等により算出される
自車両横変位yC が、前記比較的小さな所定値yC2より
大きくなると(未だ、比較的大きな所定値yC1以下であ
るとする)、図5の演算処理ではステップS9からステ
ップS11に移行し、ここで自車両に最も近いレーンマ
ーカー、即ち自車両が横方向にずれていこうとする側の
レーンマーカーの線幅Lを検出する。但し、この場合に
は、前述のように自車両が走行している走行車線の両側
のレーンマーカーは検出可能であるので、未だレーンマ
ーカー検出数N L は二本のままとし、前述と同様に、そ
れらによって得られる車線幅Wを用いてカルマンフィル
タ等により各走行路モデルパラメータを算出する。つま
り、この状態は、前記撮像部1によって自車両が走行し
ている走行車線の両側の二本のレーンマーカーを検出す
ることは可能であるが、これ以上、自車両が横方向にず
れると、それら二本のレーンマーカーを検出できなくな
る又は検出しにくくなるという状態である。
り、前記比較的大きな所定値yC1より大きくなると、図
5の演算処理のステップS7からステップS10に移行
し、レーンマーカー検出数NL は一本に切替えられる。
従って、これ以後、前記ステップS5のカルマンフィル
タは、前記ステップS11で検出したレーンマーカーの
線幅Lを用いて、各走行路モデルパラメータを算出す
る。これに対し、例えば車線変更が終了し、隣接してい
た走行車線の中央に対する自車両横変位yC が前記比較
的大きな所定値yC1以下となると、図5の演算処理のス
テップS8からステップS12に移行し、レーンマーカ
ー検出数NL は二本に切り替えられるので、これ以後、
前記ステップS5のカルマンフィルタは、前述のように
走行している走行車線の車線幅Wを用いて、各走行路モ
デルパラメータを算出する。
では、走行車線に対する自車両の横方向への位置によっ
てレーンマーカー検出数NL を切替え、それが二本であ
るときには、走行車線の車線幅Wを用いて、カルマンフ
ィルタ等により各走行路モデルパラメータを算出し、一
本であるときには、レーンマーカーの線幅Lを用いて同
様に各走行路モデルパラメータを算出することができる
ので、車線変更などによる走行状態の変化に関わらず、
各走行路モデルパラメータを算出し続けることができ
る。また、前記撮像部1によって自車両が走行している
走行車線の両側の二本のレーンマーカーを検出すること
は可能であるが、これ以上、自車両が横方向にずれる
と、それら二本のレーンマーカーを検出できなくなる又
は検出しにくくなるというときに、自車両に最も近いレ
ーンマーカーの線幅Lを正確に検出することができるの
で、その後、一本のレーンマーカーしか検出できなくな
ったときには、その線幅Lを用いて、カルマンフィルタ
等により各走行路パラメータを正確に算出することがで
きる。また、自車両が走行する走行車線に対する自車両
横変位yC に基づいてレーンマーカー検出数NL を切替
えることにより、レーンマーカー検出数の切替えを適切
なタイミングで行うことができる。
記6式及び10式で得られる、撮像された撮像画面上で
の、自車両とレーンマーカーとの傾きに基づいてレーン
マーカーの検出数を切替えるようにしてもよく、その場
合にも、前記と同様にレーンマーカー検出数の切替えを
適切なタイミングで行うことができる。更に、前記自車
両横変位yC に加え、自車両が走行している走行車線に
対するヨー角φを用い、例えば図9に示すように、自車
両前方Nmの点が走行車線中央からどれだけ変位してい
るかに基づいて、レーンマーカの検出数を切替えるよう
にしてもよく、その場合にも、前記と同様にレーンマー
カー検出数の切替えを適切なタイミングで行うことがで
きる。
形態について説明する。この実施形態の走行路検出装置
は、装置概要が、前記図1のものから図10のものに変
更されている。この図10の装置構成は、前記第1実施
形態の図1のものに類似しており、同等の構成要素も多
い。そこで、同等の構成要素には同等の符号を付して説
明を省略する。この図10の装置構成では、図1のもの
に、車両状態量検出部9を付加し、この車両状態量検出
部9で検出された自車両状態量をレーンマーカー検出数
切替え判定部7で読込んでレーンマーカー検出数切替え
の判定を行う。前記車両状態量検出部9では、具体的に
自車両の走行速度V及び操舵角θを検出する。
めの演算処理について図11のフローチャートを用いて
説明する。この演算処理も、前記第1実施形態の図5の
演算処理と同様にマイクロコンピュータ等の演算処理装
置内で、例えば10msec. 程度に設定された所定のサン
プリング時間ΔT毎に、タイマ割込として実行される。
で、前記第1実施形態と同様に、前記撮像部1で撮像さ
れた自車両前方の撮像画像を読込む。次にステップS2
2に移行して、前記第1実施形態と同様に、前記ステッ
プS21で読込んだ自車両前方の撮像画像から、レーン
マーカーを検出するための前処理、つまりエッジ強調フ
ィルタ処理を行う。
実施形態と同様に、前記ステップS22でエッジ強調フ
ィルタ処理を施された自車両前方の撮像画像中に、レー
ンマーカーを検出するための小領域を設定する。次にス
テップS24に移行して、前記第1実施形態と同様に、
前記ステップS23で設定されたレーンマーカー検出小
領域内において、レーンマーカーを検出する。
実施形態と同様に、前記ステップS24で検出されたレ
ーンマーカー候補点の位置情報を用いて、前記11式〜
18式の拡張カルマンフィルタから、例えば走行車線中
央に対する自車両の横変位y C 、走行車線に対するヨー
角φ等の走行路モデルパラメータを算出する。次にステ
ップS26に移行して、前記車両状態量検出部9で検出
された車両状態量、具体的には自車両の走行速度V及び
操舵角θを読込む。
ップS25で算出された走行路モデルパラメータの走行
車線中央に対する自車両横変位yC 、走行車線に対する
ヨー角φ、前記ステップS26で読込んだ自車両走行速
度V、操舵角θを用いて、自車両が近づきつつある、或
いはより近いレーンマーカーまでの到達時間Thを算出
する。具体的には、前記走行車線中央に対する自車両横
変位yC 及び走行車線に対するヨー角φを初期値とし、
現在の車速Vと現在の操舵角θが維持されたとして、近
づきつつある、或いはより近いレーンマーカーに自車両
の中心点が到達するまでの到達所要時間を算出する。
実施形態と同様に、現在設定されているレーンマーカー
検出数NL が二本であるか否かを判定し、当該レーンマ
ーカー検出数NL が二本である場合にはステップS29
に移行し、そうでない場合にはステップS30に移行す
る。前記ステップS29では、前記ステップS27で算
出されたレーンマーカー到達時間Thが、予め設定され
た比較的小さい所定値Th1 以上であるか否かを判定
し、当該レーンマーカー到達時間Thが所定値Th1 以
上である場合にはステップS31に移行し、そうでない
場合にはステップS32に移行する。
27で算出されたレーンマーカー到達時間Thが、予め
設定された比較的大きい所定値Th2 (Th1 <T
h2 )以上であるか否かを判定し、当該レーンマーカー
到達時間Thが所定値Th2 以上である場合にはメイン
プログラムに復帰し、そうでない場合にはステップS3
3に移行する。
態と同様に、前記19式を用いて、自車両に最も近いレ
ーンマーカーの線幅Lを検出してからメインプログラム
に復帰する。また、前記ステップS32では、レーンマ
ーカー検出数NL を一本に設定してからメインプログラ
ムに復帰する。
ップS29と同様に、前記ステップS27で算出された
レーンマーカー到達時間Thが前記所定値Th1 以上で
あるか否かを判定し、当該レーンマーカー到達時間Th
が所定値Th1 以上である場合にはメインプログラムに
復帰し、そうでない場合にはステップS34に移行す
る。
マーカー検出数NL を二本に設定してからメインプログ
ラムに復帰する。このように、本実施形態では、近づき
つつある或いはより近いレーンマーカーに自車両が到達
するまでの到達時間Thが所定値Th1 以上であると
き、つまり走行している走行車線の両側のレーンマーカ
ーの何れよりも遠く、撮像部1で、走行中の走行車線の
両側のレーンマーカーを検出できるときには、レーンマ
ーカー検出数NL を二本に設定し、当該走行車線の両側
の二本のレーンマーカーで規定される走行車線の車線幅
Wを用いてカルマンフィルタ等により走行路モデルパラ
メータを算出する。一方、同じく近づきつつある或いは
より近いレーンマーカーに自車両が到達するまでの到達
時間Thが所定値Th1 以上でないとき、つまり撮像部
1で、走行中の走行車線の両側のレーンマーカーを検出
できない、若しくは検出しにくいときには、レーンマー
カー検出数NL を一本に設定し、自車両に最も近い一本
のレーンマーカーの線幅Lを用いてカルマンフィルタ等
により走行路モデルパラメータを算出する。
二本のレーンマーカーで規定される走行車線内を定常的
に走行しており、走行車線の中央に対する自車両横変位
が大きくなり、撮像部1で、走行車線両側のレーンマー
カーを検出できない、若しくは検出しにくいというの
は、車線変更等によって、自車両を横方向に移動させる
過渡的な状況であると考えられる。そこで、初期設定と
して、検出すべきレーンマーカー検出数NL は二本に設
定する。運転者に車線変更の意思がなく、そのまま走行
車線に沿って走行し続ければ、ステップS27で算出さ
れるレーンマーカー到達時間Thは前記比較的小さな所
定値Th1 以上であり、且つ前記比較的大きな所定値T
h2 以上でもあろうから、前記図10の演算処理ではス
テップS29からステップ31を経てメインプログラム
に復帰してしまい、結果的にレーンマーカー検出数NL
は二本のままである。従って、この間は、常に自車両が
走行する走行車線の両側のレーンマーカーを二本検出
し、それらによって得られる車線幅Wを用いてカルマン
フィルタ等により各走行路モデルパラメータを算出す
る。
おうと試み、前記ステップS27で算出されるレーンマ
ーカー到達時間Thが、前記比較的大きな所定値Th2
より小さくなると(未だ、比較的小さな所定値Th1 以
上であるとする)、図10の演算処理ではステップS3
1からステップS33に移行し、ここで自車両に最も近
いレーンマーカー、即ち自車両が横方向にずれていこう
とする側のレーンマーカーの線幅Lを検出する。但し、
この場合には、前述のように自車両が走行している走行
車線の両側のレーンマーカーは検出可能であるので、未
だレーンマーカー検出数NL は二本のままとし、前記第
1実施形態と同様に、それらによって得られる車線幅W
を用いてカルマンフィルタ等により各走行路モデルパラ
メータを算出する。つまり、この状態は、前記撮像部1
によって自車両が走行している走行車線の両側の二本の
レーンマーカーを検出することは可能であるが、これ以
上、自車両が横方向にずれると、それら二本のレーンマ
ーカーを検出できなくなる又は検出しにくくなるという
状態である。
が小さくなり、前記比較的小さな所定値Th1 より小さ
くなると、図10の演算処理のステップS29からステ
ップS32に移行し、レーンマーカー検出数NL は一本
に切替えられる。従って、これ以後、前記ステップS2
5のカルマンフィルタは、前記ステップS33で検出し
たレーンマーカーの線幅Lを用いて、各走行路モデルパ
ラメータを算出する。これに対し、例えば車線変更が終
了し、前記ステップS27で、隣接していた走行車線の
両側のレーンマーカーに到達する到達時間Thが算出さ
れるようになり、このレーンマーカー到達時間Thが前
記比較的小さな所定値Th1 以上となると、図10の演
算処理のステップS30からステップS34に移行し、
レーンマーカー検出数NL は二本に切り替えられるの
で、これ以後、前記ステップS25のカルマンフィルタ
は、前述のように走行している走行車線の車線幅Wを用
いて、各走行路モデルパラメータを算出する。
では、走行車線に対する自車両の横方向への位置によっ
てレーンマーカー検出数NL を切替え、それが二本であ
るときには、走行車線の車線幅Wを用いて、カルマンフ
ィルタ等により各走行路モデルパラメータを算出し、一
本であるときには、レーンマーカーの線幅Lを用いて同
様に各走行路モデルパラメータを算出することができる
ので、車線変更などによる走行状態の変化に関わらず、
各走行路モデルパラメータを算出し続けることができ
る。また、前記撮像部1によって自車両が走行している
走行車線の両側の二本のレーンマーカーを検出すること
は可能であるが、これ以上、自車両が横方向にずれる
と、それら二本のレーンマーカーを検出できなくなる又
は検出しにくくなるというときに、自車両に最も近いレ
ーンマーカーの線幅Lを正確に検出することができるの
で、その後、一本のレーンマーカーしか検出できなくな
ったときには、その線幅Lを用いて、カルマンフィルタ
等により各走行路パラメータを正確に算出することがで
きる。また、自車両の状態量、つまり走行速度V、操舵
角θ、或いはレーンマーカー到達時間Thに基づいてレ
ーンマーカー検出数NLを切替えることにより、レーン
マーカー検出数の切替えを適切なタイミングで行うこと
ができる。
値として扱い、CCDカメラの地上高hを推定している
が、例えばCCDカメラの地上高hを固定値とし、車線
幅Wを推定してもよい。また、前記実施形態では、走行
路モデルパラメータの算出にカルマンフィルタを用いた
が、他の推定装置や最小二乗法等の同定方法を用いて算
出するようにしてもよい。
概略構成図である。
である。
説明図である。
る。
る。
す概略構成図である。
である。
Claims (10)
- 【請求項1】 自車両前方の走行路を撮像する撮像手段
と、前記撮像手段で撮像された走行路にレーンマーカー
を検出するための小領域を設定するレーンマーカー検出
領域設定手段と、前記レーンマーカー検出領域設定手段
で設定された検出領域内でレーンマーカーの一部をレー
ンマーカー候補点として検出するレーンマーカー検出手
段と、前記レーンマーカー検出手段で検出されたレーン
マーカー候補点の情報から、自車両前方の走行路の形状
を表すための走行路モデルパラメータを算出する走行路
モデルパラメータ算出手段と、前記走行路モデルパラメ
ータ算出手段で算出された走行路モデルパラメータに基
づいて前記レーンマーカー検出領域設定手段が対象とす
るレーンマーカーの検出数を切替えるレーンマーカー検
出数切替え手段とを備えたことを特徴とする走行路検出
装置。 - 【請求項2】 前記走行路モデルパラメータ算出手段
は、前記レーンマーカー検出数切替え手段が、自車両が
走行する走行車線の両側の二本のレーンマーカーを検出
対象としたときには、当該走行車線の車線幅を走行路モ
デルに用い、当該レーンマーカー検出数切替え手段が、
自車両に最も近い一本のレーンマーカーを検出対象とし
たときには、当該レーンマーカーの線幅を走行路モデル
に用いることを特徴とする請求項1に記載の走行路検出
装置。 - 【請求項3】 前記走行路モデルパラメータ算出手段
は、前記撮像手段により、自車両が走行する走行車線の
両側の二本のレーンマーカーを撮像可能であり、当該走
行車線に対して自車両が横方向にずれて二本のレーンマ
ーカーを撮像できなくなるときに、前記レーンマーカー
の線幅を検出することを特徴とする請求項2に記載の走
行路検出装置。 - 【請求項4】 前記走行路モデルパラメータ算出手段
は、走行路モデルのパラメータとして、レーンマーカー
で規定される走行車線の曲率、当該走行車線に対する自
車両の横変位、当該走行車線に対する自車両のヨー角、
自車両のピッチ角、前記撮像手段の取付け位置の地上か
らの高さを算出することを特徴とする請求項1乃至3の
何れかに記載の走行路検出装置。 - 【請求項5】 前記レーンマーカー検出数切替え手段
は、自車両が走行する走行車線に対する自車両の横変位
に基づいてレーンマーカーの検出数を切替えることを特
徴とする請求項1乃至4の何れかに記載の走行路検出装
置。 - 【請求項6】 前記レーンマーカー検出数切替え手段
は、前記撮像手段で撮像された撮像画面上での、自車両
とレーンマーカーとの傾きに基づいてレーンマーカーの
検出数を切替えることを特徴とする請求項1乃至4の何
れかに記載の走行路検出装置。 - 【請求項7】 前記レーンマーカー検出数切替え手段
は、前記自車両が走行する走行車線に対する自車両の横
変位及びヨー角に基づいてレーンマーカーの検出数を切
替えることを特徴とする請求項1乃至4の何れかに記載
の走行路検出装置。 - 【請求項8】 前記レーンマーカー検出数切替え手段
は、自車両の走行速度に基づいてレーンマーカーの検出
数を切替えることを特徴とする請求項1乃至7の何れか
に記載の走行路検出装置。 - 【請求項9】 前記レーンマーカー検出数切替え手段
は、自車両の操舵角に基づいてレーンマーカーの検出数
を切替えることを特徴とする請求項1乃至8の何れかに
記載の走行路検出装置。 - 【請求項10】 前記レーンマーカー検出数切替え手段
は、自車両がレーンマーカーに到達するまでの時間に基
づいてレーンマーカーの検出数を切替えることを特徴と
する請求項1乃至7の何れかに記載の走行路検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001156520A JP3807253B2 (ja) | 2001-05-25 | 2001-05-25 | 走行路検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001156520A JP3807253B2 (ja) | 2001-05-25 | 2001-05-25 | 走行路検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002352226A true JP2002352226A (ja) | 2002-12-06 |
JP3807253B2 JP3807253B2 (ja) | 2006-08-09 |
Family
ID=19000517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001156520A Expired - Fee Related JP3807253B2 (ja) | 2001-05-25 | 2001-05-25 | 走行路検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3807253B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006121221A1 (ja) * | 2005-05-13 | 2006-11-16 | National University Corporation Tokyo University Of Agriculture And Technology | 車線追従制御装置および車線追従制御方法 |
JP2009187169A (ja) * | 2008-02-05 | 2009-08-20 | Hitachi Ltd | 走行レーン検出装置 |
JP2013061934A (ja) * | 2011-08-22 | 2013-04-04 | Nissan Motor Co Ltd | レーン認識装置 |
JP2013117811A (ja) * | 2011-12-02 | 2013-06-13 | Fujitsu Ltd | 道路形状推定装置及びプログラム |
JP2013120458A (ja) * | 2011-12-06 | 2013-06-17 | Fujitsu Ltd | 道路形状推定装置及びプログラム |
KR101401932B1 (ko) * | 2012-06-07 | 2014-06-03 | 주식회사 만도 | 차선 인식 장치 및 차선 인식 방법 |
JP2014194361A (ja) * | 2013-03-28 | 2014-10-09 | Fujitsu Ltd | 移動距離推定装置、移動距離推定方法、及びプログラム |
US9600988B2 (en) | 2012-11-22 | 2017-03-21 | Fujitsu Limited | Image processing device and method for processing image |
US9988082B2 (en) | 2015-04-14 | 2018-06-05 | Denso Corporation | Traveling path estimation apparatus |
JP2021088358A (ja) * | 2016-07-21 | 2021-06-10 | モービルアイ ビジョン テクノロジーズ リミテッド | 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信 |
JP7067866B2 (ja) | 2014-06-19 | 2022-05-16 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 車線中心合わせのための道路分岐部検出法及び経路選択法 |
CN116026345A (zh) * | 2020-01-03 | 2023-04-28 | 御眼视觉技术有限公司 | 用于车辆导航的***和方法 |
-
2001
- 2001-05-25 JP JP2001156520A patent/JP3807253B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006121221A1 (ja) * | 2005-05-13 | 2006-11-16 | National University Corporation Tokyo University Of Agriculture And Technology | 車線追従制御装置および車線追従制御方法 |
JPWO2006121221A1 (ja) * | 2005-05-13 | 2008-12-18 | 国立大学法人東京農工大学 | 車線追従制御装置および車線追従制御方法 |
JP2009187169A (ja) * | 2008-02-05 | 2009-08-20 | Hitachi Ltd | 走行レーン検出装置 |
JP2013061934A (ja) * | 2011-08-22 | 2013-04-04 | Nissan Motor Co Ltd | レーン認識装置 |
JP2013117811A (ja) * | 2011-12-02 | 2013-06-13 | Fujitsu Ltd | 道路形状推定装置及びプログラム |
JP2013120458A (ja) * | 2011-12-06 | 2013-06-17 | Fujitsu Ltd | 道路形状推定装置及びプログラム |
KR101401932B1 (ko) * | 2012-06-07 | 2014-06-03 | 주식회사 만도 | 차선 인식 장치 및 차선 인식 방법 |
US9600988B2 (en) | 2012-11-22 | 2017-03-21 | Fujitsu Limited | Image processing device and method for processing image |
JP2014194361A (ja) * | 2013-03-28 | 2014-10-09 | Fujitsu Ltd | 移動距離推定装置、移動距離推定方法、及びプログラム |
US9311757B2 (en) | 2013-03-28 | 2016-04-12 | Fujitsu Limited | Movement distance estimating device and movement distance estimating method |
JP7067866B2 (ja) | 2014-06-19 | 2022-05-16 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 車線中心合わせのための道路分岐部検出法及び経路選択法 |
US9988082B2 (en) | 2015-04-14 | 2018-06-05 | Denso Corporation | Traveling path estimation apparatus |
JP2021088358A (ja) * | 2016-07-21 | 2021-06-10 | モービルアイ ビジョン テクノロジーズ リミテッド | 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信 |
JP7020728B2 (ja) | 2016-07-21 | 2022-02-16 | モービルアイ ビジョン テクノロジーズ リミテッド | システム、方法およびプログラム |
CN116026345A (zh) * | 2020-01-03 | 2023-04-28 | 御眼视觉技术有限公司 | 用于车辆导航的***和方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3807253B2 (ja) | 2006-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2863181B1 (en) | Intersection navigation system, method, and program | |
JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
JP3690283B2 (ja) | 車線追従制御装置 | |
JP3729095B2 (ja) | 走行路検出装置 | |
JP3780848B2 (ja) | 車両の走行路認識装置 | |
JP6867184B2 (ja) | 運転支援装置 | |
JP5862670B2 (ja) | 走行支援装置および走行支援方法 | |
JP2019156174A (ja) | 車両制御装置、車両、車両制御方法およびプログラム | |
JP6045888B2 (ja) | 車載画像処理装置 | |
JP6613795B2 (ja) | 表示制御装置および車両制御装置 | |
JP5966747B2 (ja) | 車両走行制御装置及びその方法 | |
US9734581B2 (en) | On-vehicle control device | |
JP2003308598A (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
JP2004098717A (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
JP2002096702A (ja) | 車間距離推定装置 | |
US8730325B2 (en) | Traveling lane detector | |
CN105103210A (zh) | 用于引导在对象的周围环境中的车辆的方法和设备 | |
JP2002352226A (ja) | 走行路検出装置 | |
JP3704987B2 (ja) | 車両走行制御装置 | |
JP2007264712A (ja) | 車線検出装置 | |
JP2004106697A (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
JP4721278B2 (ja) | 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 | |
JP2007034989A (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
JP6606472B2 (ja) | 走路形状認識装置、走路形状認識方法 | |
JP3440956B2 (ja) | 車両用走行路検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050929 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060223 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060508 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090526 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140526 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |