JP3559212B2 - Driving support device - Google Patents

Driving support device Download PDF

Info

Publication number
JP3559212B2
JP3559212B2 JP2000051243A JP2000051243A JP3559212B2 JP 3559212 B2 JP3559212 B2 JP 3559212B2 JP 2000051243 A JP2000051243 A JP 2000051243A JP 2000051243 A JP2000051243 A JP 2000051243A JP 3559212 B2 JP3559212 B2 JP 3559212B2
Authority
JP
Japan
Prior art keywords
vehicle
stationary object
distance
alarm
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000051243A
Other languages
Japanese (ja)
Other versions
JP2001243598A (en
Inventor
満 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2000051243A priority Critical patent/JP3559212B2/en
Publication of JP2001243598A publication Critical patent/JP2001243598A/en
Application granted granted Critical
Publication of JP3559212B2 publication Critical patent/JP3559212B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Controls For Constant Speed Travelling (AREA)
  • Control Of Vehicle Engines Or Engines For Specific Uses (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両周辺物体を検知し、検知内容に応じて、運転者の車の運転を支援する運転支援装置に関する。
【0002】
【従来の技術】
車両周辺物体を検知し、検知内容に応じて、運転者の車の運転を支援する運転支援装置としては、たとえば特開平11−66496号公報や特開平11−39586号公報に記載の装置がある。
【0003】
特開平11−66496号公報記載の装置では、先行車両や前方障害物との車間距離を何らかの距離計測用センサにより検知し、先行車両や前方障害物に接近しすぎたときに、警報音などを鳴らしてドライバに注意を促す。
【0004】
また、特開平11−39586号公報記載の装置では、設定した先行車との車間距離が維持されるように、自動的に車速を調整しつつ追従走行を行うACC(Adaptive Cruise Control)を行う。通常、ACCでは、先行車との距離と方位角度を測定して先行車の横位置を求め、その横位置から車線判断を行い、同一車線上にあると判断される先行車に対して、車間距離を調整する。また、相対速度を用いて、先行車との車間距離に対して接近の速度が大きすぎる場合には通常よりも早めのブレーキ制御で減速させる等の制御を行う場合もある。
【0005】
なお、これらの装置に用いられる距離計測用センサとしては、レーザレーダを用いるものとミリ波レーダを用いるものとが知られている。ミリ波レーダは、反射物とレーダ搭載車両(自車両)との距離、および、反射物とレーダ搭載車両とのドップラ周波数から、反射物とレーダ搭載車両との相対速度を直接検出できることから、高精度な制御を実現できるポテンシャルを有している。
【0006】
【発明が解決しようとする課題】
さて、従来、これらの運転支援装置における、車間距離の制御または車間距離に対する警報の出力は、静止物は無視し移動物に対してのみ行われていた。
【0007】
これは、検知した静止物が停車中の車両であるか標識や看板などの路側物であるか判断することが一般的に難しいためである。たとえば、カーブ入口などでは路側物が、直線走行時の自車線上の停止車両と同様、正面に位置するため、両者を区別することは容易でない。
【0008】
しかし、本発明者らの知見によれば、通常、運転者は各種静止物体の情報をも考慮して運転を行っているのであるから、より高度な運転支援を行うためには、このような静止物体の情報をも考慮することが必要となる。
【0009】
そこで、本発明は、静止物体の情報をも考慮した高度な運転支援を行うことを課題とする。
【0010】
【課題を解決するための手段】
前記課題達成のために、本発明の運転支援装置では、周辺物体および自車間の距離と、周辺物体および自車の相対速度と、周辺物体の方位角度と、自車速度とを測定する測定手段を設ける。そして、前記測定手段により測定された自車速度と相対速度の比較から周辺物体が静止物であるか否かを判定し、静止物と判定された周辺物体の、前記測定手段により測定された距離と方位角度から定まる配置パターンより周辺状況を推定する。このようにして推定された周辺状況に応じて運転支援を行う。
【0011】
本発明によれば、以下の発明の実施の形態で例示するように、静止物と判定された周辺物体の、測定された距離と方位角度から定まる配置パターンより、たとえば、道路幅や交差点位置や渋滞位置を検出し、これらの検出内容に応じた、たとえば、車速に関する警報や車速の制御などの運転支援を行うことができるようになる。
【0012】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【0013】
まず、第1の実施形態として、運転者に警報を出力する警報システムへの適用を例にとり、運転支援装置の実施形態を説明する。
【0014】
図1に、本実施形態に係る警報システム1の構成を示す。
【0015】
図示するように、本警報システム1は、自車2から先行車3等に向けて、アンテナユニット4からミリ波レーダ信号を発して周囲の物体を検知し、適宜警報を出力するものである。
【0016】
本警報システム1において、ジャイロセンサ6は角速度計測を行い、ステアリングセンサ7は舵角計測を行う。車線判断部10は、ジャイロセンサ6およびステアリングセンサ7で計測された角速度および舵角により、自車位置の車線判断を行う。
【0017】
車間距離・相対速度・方位角度計測部5は、アンテナユニット4からFSKモノパルスレーダ方式によるミリ波レーダを出射し、その反射波を受信して、前方ターゲットとの距離、相対速度および方位角度を算出する。ここで、ミリ波レーダは、FMCWスキャン式のものであってもよいし、ミリ波レーダに代えてレーザレーダを用いるようにしてもよい。
【0018】
先行車判定部11は、車間距離・相対速度・方位角度計測部5で計測された距離、相対速度および方位角度と、車線判断部10で行った車線判断により、先行車の情報を生成する。静止物判定部12は、車間距離・相対速度・方位角度計測部5で計測された計測された距離、相対速度および方位角度と、車線判断部10で行った車線判断により、静止物の情報を生成する。
【0019】
警報判断部14は、先行車判定部11で生成された先行車の情報と、静止物判定部12で生成された静止物の情報と、車速およびブレーキセンサ26から出力された車速を表す車速信号および制動状態を表すブレーキ信号とに、警報判定アルゴリズム13を適用して、警報の要否を判定する。そして、警報が必要と判定された場合には、警報指示部15を介して、警報信号を出力し、ドライバディスプレイ17に警報の点灯や表示を行ったり、当該ディスプレイ17内蔵のスピーカから警報音を出力したりする。たとえば、先行車の情報が、先行車が自車線内にあり且つ車速や相対速度に対して定まる距離以上接近していることを表しているときに警報を出力したり、静止物の情報が、静止物が自車線内に存在することを表しているときに警報を出力したりする。
【0020】
ここで、先行車判定部11と静止物判定部12における、先行車と静止物の判定法について説明する。
【0021】
図2に示すように、レーダにより検知されたターゲットまでの距離rと方位角度θにより、ターゲットの横位置yはy=rsinθより計算される。また、検知したターゲットが静止物であるか、それとも先行車であるか否かは、ターゲットの相対速度Vrと車両速度Vsを比較して判定される。その和が微小:|Vr+Vs|<εであれば静止物と判定される。
【0022】
なお、あらかじめ設定されたΔ/2に対し、Δ/2>yであれば自車線内にあるとして、前述したように、警報判断部14において、車間距離等に応じて警報を出力する対象の先行車や、警報を出力する対象の静止物となる。ここでΔは、自車の車幅に関連づけられた値として定義される。
【0023】
以下、警報判断部14が、静止物判定部12が生成した静止物情報に応じて警報を行う対静止物警報処理について説明する。
【0024】
この静止物警報処理は、予測処理と警報要否判定処理に大きく分けられる。
【0025】
まず、予測処理から説明する。
【0026】
予測処理は、路幅予測処理、交差点予測処理および渋滞予測処理の3つの処理からなる。
【0027】
まず、路幅予測処理について説明する。
【0028】
図3は、街路樹など路側に多数の静止物が存在する走行シーンにおいて、ミリ波レーダがこれらを同時に検知している様子を示している。
【0029】
路幅予測処理では、車両が走行している最中に、次々とこれら静止物を検知していき、その横位置をマッピングしていく。そして、左側静止物の横位置平均値と右側静止物の横位置平均値を算出し、これより走行中の道路幅を推定する。
【0030】
すなわち、図4に示すように、ステップ51においてミリ波レーダがターゲットを検知すると、ステップ52において車両の自車速度Vsと相対速度Vrの比較から、ターゲットが静止物か移動物であるかを判断する。
【0031】
そして、静止物であると判定された場合には、ステップ53に進み、静止物ターゲットまでの距離rと方位角度θから、横方向距離y=rsinθを算出する。
【0032】
次に、ステップ54において、|y|>Δ/2を判定し、|y|<=Δ/2の場合は、自車線内に静止物が存在することになるので、無条件に警報を出力する。
【0033】
一方、|y|>Δ/2の横位置にある静止物は、隣接車線もしくは路側上にある静止物ターゲットと考えることが出来るので、ステップ55において、y>Δ/2ならば左側静止物、y<−Δ/2ならば右側静止物として判定して、各々、ステップ56、57へ進む。(ここで、Y座標系は左側を正にとっている。)
ステップ56、57では、左側、右側各々について、過去N回分の横方向距離の移動平均YL、YRを取る。それから、ステップ58において、その時の移動平均の値YL、YRに対して道路幅RW=YL+YRを計算する。
【0034】
このように、時々刻々の道路幅RWを計算していくことにより、たとえば図3(b)のように、急に道幅が狭くなった場合なども予測できるようになる。
【0035】
次に、交差点予測処理について説明する。
【0036】
図5は、前方に交差点が存在する走行シーンを表している。
【0037】
図示するように、前方に交差点が存在する場合、以下の事態が考えられる。
【0038】
1.左右にある静止物の配置が横切る道路の道路幅分離れている。
【0039】
2.自車線上に停止車両がいない場合でも複数車線の場合、隣接車線に車両が止まっている場合がある。
【0040】
3.対向車線の位置に対向車が止まっている。
【0041】
4.横切り車を検知する場合がある(横方向移動車両として検知)。
【0042】
すべての場合において、上記条件が成立するわけではないが、多くのケースにおいて、上記1−4の条件が成立する。そこで、上記条件より、交差点の予測が可能である。
【0043】
すなわち、自車線上前方に静止物は検知されていないものとして、図6に示すように、まず、検知ターゲットのうち静止物を右側および左側静止物に分離する(ステップ71)。次に、各静止物ターゲットに対し、横位置yのみならず縦方向距離xを算出し、マッピング処理を行う(ステップ72)。図3のような場合、静止物は、縦方向に並んで存在するが、交差点がある場合、縦方向の並びに隙間が存在する。
【0044】
つぎに、ステップ73において、対向車線上に静止物(停止車両)があるか判断する(ここで、対向車線は事前に、前方車両情報が示す前方車両の位置の推移などより対向車を検知して、その横位置を判定しておく)。また、車線が2車線以上ある場合には(ステップ74)、ステップ75に進み、隣接車線上の前方に静止物(停止車両)がないか確認する(ここで、隣接車線は事前に、前方車両情報が示す前方車両の位置の推移などより隣接車を検知し、その存在と横位置を判定しておく)。
【0045】
そして、対向車線上に停止車両があり、隣接車線上の前方に停止車両がある場合、交差点が存在し且つ信号等により停止する必要があるとして、交差点ありと判定する。
【0046】
なお、このような交差点予測処理は、道路地図データと現在位置算出機能を備えたナビゲーションシステムの、道路地図情報や現在位置情報を併用することにより、より高精度に行うことができる。
【0047】
次に、渋滞予測処理について説明する。
【0048】
図7は、前方で道路渋滞が発生している走行シーンを表している。
【0049】
このような走行シーンにおいて、渋滞予測処理は、この道路渋滞を予測する。
【0050】
すなわち、図8に示すように、まず、図6の処理と同様、検知ターゲットのうち静止物を、右側および左側静止物に分離し、その横位置を求める(ステップ91)。ここで、左右の隣接車線前方に、停止車両列(静止物体列)が存在する場合、図7に示すように、左右の停止車両列A、Bは、各々、横位置yは同一で縦方向距離xは長い幅XWを持って検出される。そして、遠方においては、最後列の車両(静止物体)のみ検知することになるが、近傍になるとビーム角度からより前の車両(静止物体)も検知できるようになる。このようなときには、渋滞が発生している可能性が高く、現時点で自車線上に車両が検知されていなくても、先に停止車両が存在する可能性が高い。
【0051】
そこで、ステップ92では、この縦方向距離xの幅XWを測定し、XW>XW0であったとき、渋滞が発生していると判定する(ステップ93)。ここで、XW0は、車両数台分の長さとして設定する。
【0052】
以上、予測処理について説明した。
【0053】
以下、警報要否判定処理について説明する。
【0054】
警報要否判定処理は、予測処理に含まれる3つの処理、すなわち、路幅予測処理、交差点予測処理、渋滞予測処理の3つの処理に各々対応した、3つの処理よりなる。
【0055】
第1の処理は、路幅予測処理に対応する処理であり、路幅予測処理で予測された道路幅に応じた車速を推定し、当該車両の運転速度がこれを上回った場合には警報を発生する処理である。
【0056】
図9に示すように、この処理では、まず、ステップ111で、推定された道路幅RWにもっとも近い指標値RWiを選定する。ステップ112でこの指標値RWiに対応する上限車速Vsiを求め、これと現状の車速Vsを比較し(ステップ113)、Vs<Vsiであれば警報は発生しない。もし、Vs>Vsiであれば警報を発生させ(ステップ114)、走行速度を下げるように運転者に注意を促す。ここで、道路幅RWについての複数の指標値RW0、RW1、・・、RWIと、各指標値に対応した上限車速Vs0、Vs1,・・・、VsIは予め設定しておく。なお、警報は、指標値に対してオーバーしている度合いに応じて数段階に設定してもよい。
【0057】
次に、第2の処理は、交差点予測処理に対応する処理であり、交差点予測処理で予測された交差点に対して、車両停止位置を推定し、推定された車両停止位置に接近した場合、車速に応じて警報を発生させる処理である。
【0058】
すなわち、図10に示すように、前方交差点ありと判断された場合、ステップ121で交差点停止位置までの予想距離Dsをセットする。次に、自車の現在の車速Vsを測定し、停止位置までの到達時間TD=Ds/Vsを計算する(ステップ122)。それから、到達時間TDが所定値TDWより小さい場合(ステップ123)は、距離に比して車速が大きいとして警報を発生する(ステップ124)。ここで、予想距離Dsは、たとえば、隣接車線上の静止物(停止車両)の位置より推定する。
【0059】
次に第3の処理は、渋滞予測処理に対応する処理であり、渋滞予測処理で渋滞が予測された場合に、検知された左右静止物体列(停止車両列)に所定距離だけ近づいた距離において、所定値以上の車両速度を有していた場合には、警報を発生させる処理である。
【0060】
すなわち、図11に示すように、ステップ141で渋滞を検知した場合、ステップ142で隣接車線停止車両列の最後尾までの距離dを求め、所定値d0と比較しd<d0であれば(ステップ143)、警報を出力する(ステップ144)。
【0061】
以上、本発明の第1の実施形態について説明した。
【0062】
以下、本発明の第2の実施形態を、運転支援装置のACCシステム(先行車と所定の車間距離を保ちつつ追従走行行うシステム)への適用を例にとり説明する。
【0063】
図12に、本第2実施形態に係るACCシステムの構成を示す。
【0064】
本実施形態のACCシステム21と図1に示した警報システム1との相違は、図1の警報判断部14、警報判定アルゴリズム13、警報信号16、ドライバディスプレイ17に代えて、加減速判断部25、車間距離制御アルゴリズム24、加速減速信号27、スロットル制御部29、A/Tシステム制御部30、ブレーキ制御部31、車速設定スイッチ32、および、車間距離設定スイッチ33を備えている点である。
【0065】
加減速判断部25は、先行車判定部22および静止物判定部23で各々生成された先行車情報および静止物情報と、車速およびブレーキセンサ26から出力された車速を表す車速信号および制動状態を表すブレーキ信号と、車速設定スイッチ32によって設定された目標車速と、車間距離設定スイッチ33によって設定された目標車間距離とに、車間距離制御アルゴリズム24を適用して、運転制御の要否を判定する。そして、運転制御が必要と判定された場合には、加速減速信号により、スロットル制御部29やA/Tシステム制御部30やブレーキ制御部31を制御する運転制御を行う。
【0066】
たとえば、加減速判断部25は、車速設定スイッチ32および車間距離設定スイッチ33により設定された目標車速および目標車間距離に合致するように、運転を制御する。すなわち、先行車がいない場合、車速設定スイッチ32により設定された目標車速値を保つように運転制御を行う。また、先行車が存在する場合は、先行車が目標車速以下で走行しているときは、先行車との車間距離が車間距離設定スイッチ33で設定された目標車間距離を保つように、先行車の車速変化に合わせて運転制御を行い車間距離を調整する。なお、先行車が目標車速以上で、かつ目標車間距離より遠くに離間していった場合は、目標車速での一定速度走行をするように運転制御を行う。
【0067】
また、加減速判断部25は、第1実施形態で説明した路幅予測処理と、渋滞予測処理と、これら2つの処理に対応する運転制御処理を行う。
【0068】
第1の運転制御処理は、路幅予測処理に対応するものであり、この処理では、図13に示すように、まず、ステップ101において、路幅予測処理で予測された道路幅RWに最も近い指標値RWiを選定する。次にステップ102でRWiに対応する目標車速Vsiを読み出し、現在の目標車速Vsetと比較する。(ステップ103)。そして、比較の結果、Vset<Vsiであれば何も行わず、Vset>Vsiであれば、Vset=Vsiに変更するよう運転制御を行う(ステップ104)。こで、道路幅RWについての複数の指標値RW0、RW1、・・・、RWIと、各指標値に対応した目標車速Vs0、Vs1、・・・、VsIは予め設定しておく。
【0069】
次に、第2の運転制御処理は、渋滞予測処理に対応するものであり、この処理では、図14に示すように、ステップ131において、渋滞予測処理で渋滞が検知されると、ステップ132で隣接車線停止車両列の最後尾までの距離dを求め、一定値d0と比較しd<d0であれば(ステップ133)、現在の目標車速Vsetを解除しブレーキ等を用いて減速させる運転制御を行う(ステップ134)。
【0070】
以上、本発明の第2の実施形態について説明した。
【0071】
なお、第1の実施形態に係る警報システムと、第2の実施形態に係るACCシステムは、適宜融合させて実施するようにしてかまわない。
【0072】
以上、本発明の実施形態について説明した。
【0073】
以上説明したように、本発明の各実施形態によれば、路幅や、渋滞や交差点の存在などの、移動物体の情報のみでは予測し得ない高度な状況判断を、静止物体の情報より行い、これに基づいた警報出力や運転制御などの運転支援を行うことができる。
【0074】
【発明の効果】
以上のように、本発明によれば、静止物体の情報をも考慮した高度な運転支援を行うことができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る警報システムの構成を示すブロック図である。
【図2】本発明の第1実施形態に係る横位置計測、車線判断の様子を示す図である。
【図3】本発明の第1実施形態に係る路幅予測時の運転シーン例を示す図である。
【図4】本発明の第1実施形態に係る路幅予測処理の処理手順を示すフロー図である。
【図5】本発明の第1実施形態に係る交差点予測時の運転シーン例を示す図である。
【図6】本発明の第1実施形態に係る交差点予測処理の処理手順を示すフロー図である。
【図7】本発明の第1実施形態に係る渋滞予測時の運転シーン例を示す図である。
【図8】本発明の第1実施形態に係る渋滞予測処理の処理手順を示すフロー図である。
【図9】本発明の第1実施形態に係る路幅予測処理結果に応じた警報要否判定処理の処理手順を示すフロー図である。
【図10】本発明の第1実施形態に係る交差点予測処理結果に応じた警報要否判定処理の処理手順を示すフロー図である。
【図11】本発明の第1実施形態に係る渋滞予測処理結果に応じた警報要否判定処理の処理手順を示すフロー図である。
【図12】本発明の第2実施形態に係るACCシステムの構成を示すブロック図である。
【図13】本発明の第2実施形態に係る路幅予測処理結果に応じた運転制御処理の処理手順を示すフロー図である。
【図14】本発明の第2実施形態に係る渋滞予測処理結果に応じた運転制御処理の処理手順を示すフロー図である。
【符号の説明】
1…車間距離警報システム、2…自車、3…先行車、4…アンテナユニット
5…車間距離・対向速度・角度計測部、6…ジャイロセンサ
7…ステアリングセンサ、10…車線判断部、11…先行車判定部
12…静止物判定部、13…警報判定アルゴリズム、14…警報判断部
15…警報指示部、21……ACCシステム
24…車間距離制御アルゴリズム、25…加減速判断部
26…車速・ブレーキセンサ、28…車間距離制御部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a driving support device that detects an object around a vehicle and assists a driver in driving a vehicle according to the detection content.
[0002]
[Prior art]
Examples of a driving assistance device that detects an object around a vehicle and assists the driver in driving the vehicle according to the detection content include, for example, devices described in JP-A-11-66496 and JP-A-11-39586. .
[0003]
In the device described in JP-A-11-66496, an inter-vehicle distance to a preceding vehicle or a preceding obstacle is detected by a distance measuring sensor, and an alarm sound or the like is issued when the preceding vehicle or the preceding obstacle is approached too much. Ring to alert the driver.
[0004]
Further, in the device described in Japanese Patent Application Laid-Open No. H11-39586, ACC (Adaptive Cruise Control) for automatically following the vehicle while automatically adjusting the vehicle speed so as to maintain the set inter-vehicle distance with the preceding vehicle is performed. Normally, in ACC, the lateral position of the preceding vehicle is determined by measuring the distance and the azimuth angle to the preceding vehicle, and the lane is determined from the lateral position. Adjust the distance. In addition, when the approach speed is too large with respect to the inter-vehicle distance to the preceding vehicle using the relative speed, control such as deceleration with brake control earlier than usual may be performed.
[0005]
As a distance measuring sensor used in these devices, a sensor using a laser radar and a sensor using a millimeter wave radar are known. Millimeter-wave radar can directly detect the relative speed between a reflector and a radar-equipped vehicle from the distance between the reflector and the radar-equipped vehicle (own vehicle) and the Doppler frequency between the reflector and the radar-equipped vehicle. It has the potential to realize accurate control.
[0006]
[Problems to be solved by the invention]
Conventionally, the control of the distance between vehicles or the output of an alarm for the distance between vehicles in these driving support devices have been performed only on moving objects, ignoring stationary objects.
[0007]
This is because it is generally difficult to determine whether the detected stationary object is a stopped vehicle or a roadside object such as a sign or a signboard. For example, a roadside object is located in front of a vehicle at a curve entrance or the like, like a stopped vehicle on its own lane when traveling straight, and it is not easy to distinguish between the two.
[0008]
However, according to the knowledge of the present inventors, since a driver usually drives in consideration of information of various stationary objects, such driver is required to perform more advanced driving support. It is necessary to consider information about stationary objects.
[0009]
Therefore, an object of the present invention is to provide advanced driving support that also takes into account information on stationary objects.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, in the driving assistance apparatus according to the present invention, a measuring unit that measures a distance between a peripheral object and the own vehicle, a relative speed of the peripheral object and the own vehicle, an azimuth angle of the peripheral object, and a own vehicle speed. Is provided. Then, it is determined whether or not the peripheral object is a stationary object based on a comparison between the own vehicle speed and the relative speed measured by the measuring unit, and the distance of the peripheral object determined as the stationary object measured by the measuring unit is determined. And the surrounding situation is estimated from the arrangement pattern determined from the azimuth and angle. Driving support is performed according to the surrounding situation estimated in this way.
[0011]
According to the present invention, as exemplified in the following embodiments of the present invention, a peripheral object determined to be a stationary object, from an arrangement pattern determined from a measured distance and an azimuth angle, for example, a road width, an intersection position, It becomes possible to detect congestion positions and provide driving assistance in accordance with the detected contents, for example, a warning relating to the vehicle speed and control of the vehicle speed.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described.
[0013]
First, as a first embodiment, an embodiment of a driving support device will be described by taking an application to an alarm system that outputs an alarm to a driver as an example.
[0014]
FIG. 1 shows a configuration of an alarm system 1 according to the present embodiment.
[0015]
As shown in the figure, the alarm system 1 emits a millimeter wave radar signal from an antenna unit 4 from a host vehicle 2 to a preceding vehicle 3 or the like, detects surrounding objects, and outputs an appropriate alarm.
[0016]
In the alarm system 1, the gyro sensor 6 measures an angular velocity, and the steering sensor 7 measures a steering angle. The lane determining unit 10 determines the lane of the own vehicle position based on the angular velocity and the steering angle measured by the gyro sensor 6 and the steering sensor 7.
[0017]
The inter-vehicle distance / relative speed / azimuth angle measurement unit 5 emits a millimeter wave radar using the FSK monopulse radar system from the antenna unit 4, receives the reflected wave, and calculates the distance, relative speed, and azimuth angle with the target in front. I do. Here, the millimeter wave radar may be an FMCW scan type, or a laser radar may be used instead of the millimeter wave radar.
[0018]
The preceding vehicle determination unit 11 generates information on the preceding vehicle based on the distance, relative speed, and azimuth measured by the inter-vehicle distance / relative speed / azimuth angle measurement unit 5 and the lane determination performed by the lane determination unit 10. The stationary object determination unit 12 determines the information of the stationary object based on the distance, relative speed, and azimuth measured by the inter-vehicle distance / relative speed / azimuth angle measurement unit 5 and the lane determination performed by the lane determination unit 10. Generate.
[0019]
The warning determination unit 14 is configured to output information on the preceding vehicle generated by the preceding vehicle determination unit 11, information on the stationary object generated by the stationary object determination unit 12, and a vehicle speed signal indicating the vehicle speed and the vehicle speed output from the brake sensor 26. The alarm determination algorithm 13 is applied to the brake signal indicating the braking state and the necessity of the alarm is determined. When it is determined that an alarm is necessary, an alarm signal is output via the alarm instruction unit 15 to turn on or display the alarm on the driver display 17 or to output an alarm sound from a speaker built in the display 17. Output. For example, when the information of the preceding vehicle indicates that the preceding vehicle is within the own lane and is approaching by a distance that is determined with respect to the vehicle speed or the relative speed, an alarm is output, or the information of the stationary object is An alarm is output when a stationary object is present in the own lane.
[0020]
Here, a method of determining the preceding vehicle and the stationary object in the preceding vehicle determination unit 11 and the stationary object determination unit 12 will be described.
[0021]
As shown in FIG. 2, the lateral position y of the target is calculated from y = rsin θ based on the distance r to the target detected by the radar and the azimuth angle θ. Whether the detected target is a stationary object or a preceding vehicle is determined by comparing the relative speed Vr of the target with the vehicle speed Vs. If the sum is minute: | Vr + Vs | <ε, it is determined to be a stationary object.
[0022]
It should be noted that if Δ / 2> y with respect to Δ / 2 set in advance, it is determined that the vehicle is within the own lane, and as described above, the alarm determination unit 14 determines whether or not to output an alarm according to the following distance. It is a preceding vehicle or a stationary object that outputs an alarm. Here, Δ is defined as a value associated with the width of the host vehicle.
[0023]
Hereinafter, the stationary object alerting process in which the alert determining unit 14 issues an alert in accordance with the stationary object information generated by the stationary object determining unit 12 will be described.
[0024]
The stationary object warning process is roughly divided into a prediction process and a warning necessity determination process.
[0025]
First, the prediction process will be described.
[0026]
The prediction process includes three processes: a road width prediction process, an intersection prediction process, and a traffic jam prediction process.
[0027]
First, the road width prediction processing will be described.
[0028]
FIG. 3 shows a state in which a millimeter-wave radar detects these at the same time in a traveling scene in which many stationary objects such as a roadside tree exist on the roadside.
[0029]
In the road width prediction processing, these stationary objects are detected one after another while the vehicle is traveling, and the lateral position is mapped. Then, the average value of the horizontal position of the left stationary object and the average value of the horizontal position of the right stationary object are calculated, and the road width during traveling is estimated from the calculated average value.
[0030]
That is, as shown in FIG. 4, when the millimeter wave radar detects a target in step 51, it is determined in step 52 whether the target is a stationary object or a moving object by comparing the own vehicle speed Vs and the relative speed Vr. I do.
[0031]
If it is determined that the object is a stationary object, the process proceeds to step 53, and a lateral distance y = rsinθ is calculated from the distance r to the stationary object target and the azimuth angle θ.
[0032]
Next, in step 54, | y |> Δ / 2 is determined. If | y | <= Δ / 2, a stationary object is present in the own lane, and an alarm is output unconditionally. I do.
[0033]
On the other hand, a stationary object located at the lateral position of | y |> Δ / 2 can be considered as a stationary object target on an adjacent lane or on the road side. If y <−Δ / 2, it is determined as a right stationary object, and the process proceeds to steps 56 and 57, respectively. (Here, the left side of the Y coordinate system is positive.)
In steps 56 and 57, the moving averages YL and YR of the horizontal distances for the past N times are obtained for each of the left and right sides. Then, in step 58, the road width RW = YL + YR is calculated for the moving average values YL and YR at that time.
[0034]
Thus, by calculating the road width RW every moment, it becomes possible to predict, for example, a case where the road width suddenly becomes narrow as shown in FIG. 3B.
[0035]
Next, the intersection prediction processing will be described.
[0036]
FIG. 5 illustrates a driving scene in which an intersection exists in front.
[0037]
As shown in the figure, when an intersection is present ahead, the following situations can be considered.
[0038]
1. The left and right stationary objects are separated by the width of the crossing road.
[0039]
2. Even when there is no stopped vehicle on the own lane, in the case of a plurality of lanes, the vehicle may be stopped on an adjacent lane.
[0040]
3. The oncoming vehicle has stopped at the position of the oncoming lane.
[0041]
4. A crossing vehicle may be detected (detected as a laterally moving vehicle).
[0042]
In all cases, the above conditions are not satisfied, but in many cases, the above conditions 1-4 are satisfied. Therefore, the intersection can be predicted based on the above conditions.
[0043]
That is, assuming that no stationary object is detected ahead of the own lane, the stationary object is first separated into right and left stationary objects as shown in FIG. 6 (step 71). Next, for each stationary target, not only the horizontal position y but also the vertical distance x is calculated, and mapping processing is performed (step 72). In the case of FIG. 3, the stationary objects exist in a line in the vertical direction, but when there is an intersection, there are gaps in the vertical direction.
[0044]
Next, in step 73, it is determined whether or not there is a stationary object (stopped vehicle) on the oncoming lane (here, the oncoming lane is detected in advance based on the transition of the position of the preceding vehicle indicated by the preceding vehicle information). To determine its lateral position). If there are two or more lanes (step 74), the process proceeds to step 75, where it is checked whether there is a stationary object (stopped vehicle) ahead in the adjacent lane. An adjacent vehicle is detected based on a change in the position of the preceding vehicle indicated by the information, and the presence and the lateral position are determined).
[0045]
When there is a stopped vehicle on the oncoming lane and a stopped vehicle ahead on the adjacent lane, it is determined that there is an intersection and that it is necessary to stop by a signal or the like, and that there is an intersection.
[0046]
Such an intersection prediction process can be performed with higher accuracy by using the road map data and the current position information of the navigation system having the road map data and the current position calculation function together.
[0047]
Next, the congestion prediction processing will be described.
[0048]
FIG. 7 illustrates a traveling scene in which a traffic jam occurs in front of the vehicle.
[0049]
In such a running scene, the traffic congestion prediction process predicts this road congestion.
[0050]
That is, as shown in FIG. 8, first, as in the process of FIG. 6, a stationary object among the detection targets is separated into right and left stationary objects, and the horizontal position thereof is obtained (step 91). Here, when a stationary vehicle row (stationary object row) exists in front of the left and right adjacent lanes, as shown in FIG. 7, the left and right stationary vehicle rows A and B have the same horizontal position y and the same vertical position. The distance x is detected with a long width XW. Then, in a distant place, only the last vehicle (stationary object) is detected, but in the vicinity, a vehicle (stationary object) ahead of the beam angle can be detected. In such a case, there is a high possibility that congestion has occurred, and even if no vehicle is detected on the own lane at this time, there is a high possibility that a stopped vehicle exists first.
[0051]
Therefore, in step 92, the width XW of the vertical distance x is measured, and when XW> XW0, it is determined that traffic congestion has occurred (step 93). Here, XW0 is set as a length for several vehicles.
[0052]
The prediction processing has been described above.
[0053]
Hereinafter, the alarm necessity determination processing will be described.
[0054]
The warning necessity determination processing includes three processings included in the prediction processing, that is, three processings respectively corresponding to three processings of a road width prediction processing, an intersection prediction processing, and a traffic congestion prediction processing.
[0055]
The first process is a process corresponding to the road width prediction process, and estimates a vehicle speed corresponding to the road width predicted by the road width prediction process, and issues an alarm when the driving speed of the vehicle exceeds the vehicle speed. This is the process that occurs.
[0056]
As shown in FIG. 9, in this process, first, in step 111, an index value RWi closest to the estimated road width RW is selected. In step 112, the upper limit vehicle speed Vsi corresponding to the index value RWi is obtained, and this is compared with the current vehicle speed Vs (step 113). If Vs <Vsi, no alarm is issued. If Vs> Vsi, an alarm is generated (step 114), and the driver is warned to reduce the traveling speed. Here, a plurality of index values RW0, RW1,..., RWI for the road width RW and upper limit vehicle speeds Vs0, Vs1,..., VsI corresponding to each index value are set in advance. Note that the warning may be set in several stages according to the degree of overrun of the index value.
[0057]
Next, the second process is a process corresponding to the intersection prediction process. In the second process, a vehicle stop position is estimated for the intersection predicted by the intersection prediction process. This is a process for generating an alarm according to
[0058]
That is, as shown in FIG. 10, when it is determined that there is an intersection ahead, an expected distance Ds to the intersection stop position is set in step 121. Next, the current vehicle speed Vs of the own vehicle is measured, and the arrival time TD = Ds / Vs to the stop position is calculated (step 122). Then, if the arrival time TD is smaller than the predetermined value TDW (step 123), an alarm is issued assuming that the vehicle speed is higher than the distance (step 124). Here, the estimated distance Ds is estimated from, for example, the position of a stationary object (stopped vehicle) on an adjacent lane.
[0059]
Next, a third process is a process corresponding to the traffic congestion prediction process. When a traffic congestion is predicted in the traffic congestion prediction process, at a distance approaching the detected left / right stationary object row (stopped vehicle row) by a predetermined distance. If the vehicle speed is equal to or higher than a predetermined value, a process for generating an alarm is performed.
[0060]
That is, as shown in FIG. 11, when traffic congestion is detected in step 141, the distance d to the end of the adjacent lane stop vehicle row is obtained in step 142, compared with a predetermined value d0, and if d <d0 (step 143), and outputs an alarm (step 144).
[0061]
As above, the first embodiment of the present invention has been described.
[0062]
Hereinafter, the second embodiment of the present invention will be described with reference to an example in which the driving support device is applied to an ACC system (a system that performs a following operation while maintaining a predetermined inter-vehicle distance with a preceding vehicle).
[0063]
FIG. 12 shows a configuration of the ACC system according to the second embodiment.
[0064]
The difference between the ACC system 21 of the present embodiment and the alarm system 1 shown in FIG. 1 is that an acceleration / deceleration judgment unit 25 is used instead of the alarm judgment unit 14, the alarm judgment algorithm 13, the alarm signal 16, and the driver display 17 in FIG. , An inter-vehicle distance control algorithm 24, an acceleration / deceleration signal 27, a throttle control unit 29, an A / T system control unit 30, a brake control unit 31, a vehicle speed setting switch 32, and an inter-vehicle distance setting switch 33.
[0065]
The acceleration / deceleration determination unit 25 outputs the preceding vehicle information and the stationary object information respectively generated by the preceding vehicle determination unit 22 and the stationary object determination unit 23, the vehicle speed signal indicating the vehicle speed and the vehicle speed output from the brake sensor 26, and the braking state. The inter-vehicle distance control algorithm 24 is applied to the brake signal, the target vehicle speed set by the vehicle speed setting switch 32, and the target inter-vehicle distance set by the inter-vehicle distance setting switch 33 to determine whether driving control is necessary. . If it is determined that operation control is necessary, operation control for controlling the throttle control unit 29, the A / T system control unit 30, and the brake control unit 31 is performed based on the acceleration / deceleration signal.
[0066]
For example, the acceleration / deceleration determination unit 25 controls the driving so as to match the target vehicle speed and the target following distance set by the vehicle speed setting switch 32 and the following distance setting switch 33. That is, when there is no preceding vehicle, operation control is performed so as to maintain the target vehicle speed value set by the vehicle speed setting switch 32. When a preceding vehicle is present, when the preceding vehicle is traveling at a target vehicle speed or less, the preceding vehicle is controlled so that the inter-vehicle distance with the preceding vehicle maintains the target inter-vehicle distance set by the inter-vehicle distance setting switch 33. The driving control is performed according to the vehicle speed change of the vehicle to adjust the inter-vehicle distance. When the preceding vehicle is separated from the target vehicle speed at a speed higher than the target vehicle speed and farther than the target inter-vehicle distance, the driving control is performed so that the vehicle travels at a constant speed at the target vehicle speed.
[0067]
In addition, the acceleration / deceleration determination unit 25 performs the road width prediction processing, the traffic congestion prediction processing, and the driving control processing corresponding to these two processings described in the first embodiment.
[0068]
The first operation control processing corresponds to the road width prediction processing. In this processing, as shown in FIG. 13, first, in step 101, the closest to the road width RW predicted by the road width prediction processing. Select the index value RWi. Next, at step 102, the target vehicle speed Vsi corresponding to RWi is read and compared with the current target vehicle speed Vset. (Step 103). As a result of the comparison, if Vset <Vsi, nothing is performed, and if Vset> Vsi, operation control is performed so as to change to Vset = Vsi (step 104). Here, a plurality of index values RW0, RW1,..., RWI for the road width RW and target vehicle speeds Vs0, Vs1,.
[0069]
Next, the second operation control process corresponds to the traffic congestion prediction process. In this process, as shown in FIG. 14, when the traffic congestion is detected in the traffic congestion prediction process in step 131, the process proceeds to step 132. The distance d to the end of the adjacent lane stop vehicle row is obtained and compared with a constant value d0. If d <d0 (step 133), the driving control for releasing the current target vehicle speed Vset and decelerating by using a brake or the like is performed. Perform (step 134).
[0070]
As above, the second embodiment of the present invention has been described.
[0071]
In addition, the alarm system according to the first embodiment and the ACC system according to the second embodiment may be appropriately combined and implemented.
[0072]
The embodiments of the present invention have been described above.
[0073]
As described above, according to each embodiment of the present invention, an advanced situation determination that cannot be predicted only with information on a moving object, such as a road width, the presence of a traffic jam or an intersection, is performed based on information on a stationary object. Driving support such as alarm output and driving control based on this can be performed.
[0074]
【The invention's effect】
As described above, according to the present invention, it is possible to perform advanced driving support in consideration of information on a stationary object.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an alarm system according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a state of lateral position measurement and lane judgment according to the first embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of a driving scene at the time of road width prediction according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing a processing procedure of a road width prediction processing according to the first embodiment of the present invention.
FIG. 5 is a diagram showing an example of a driving scene at the time of intersection prediction according to the first embodiment of the present invention.
FIG. 6 is a flowchart illustrating a processing procedure of an intersection prediction process according to the first embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of a driving scene at the time of congestion prediction according to the first embodiment of the present invention.
FIG. 8 is a flowchart showing a processing procedure of a traffic congestion prediction process according to the first embodiment of the present invention.
FIG. 9 is a flowchart showing a processing procedure of a warning necessity determination process according to a road width prediction process result according to the first embodiment of the present invention.
FIG. 10 is a flowchart showing a processing procedure of a warning necessity determination process according to an intersection prediction process result according to the first embodiment of the present invention.
FIG. 11 is a flowchart showing a processing procedure of an alarm necessity determination process according to a traffic jam prediction process result according to the first embodiment of the present invention.
FIG. 12 is a block diagram illustrating a configuration of an ACC system according to a second embodiment of the present invention.
FIG. 13 is a flowchart showing a processing procedure of an operation control process according to a result of a road width prediction process according to the second embodiment of the present invention.
FIG. 14 is a flowchart illustrating a processing procedure of an operation control process according to a result of a traffic jam prediction process according to the second embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Inter-vehicle distance warning system, 2 ... own vehicle, 3 ... preceding vehicle, 4 ... antenna unit 5 ... inter-vehicle distance / opposing speed / angle measurement unit, 6 ... gyro sensor 7 ... steering sensor, 10 ... lane judgment unit, 11 ... Preceding vehicle determination unit 12: stationary object determination unit 13: alarm determination algorithm 14, alarm determination unit 15: warning instruction unit 21, ACC system 24: inter-vehicle distance control algorithm, 25: acceleration / deceleration determination unit 26: vehicle speed / Brake sensor, 28: Inter-vehicle distance control unit

Claims (2)

運転者の車の運転を支援する運転支援装置であって、
前方静止物を検出し、検出した前方静止物を右側静止物と左側静止物とに分離する手段と、
前記右側静止物および左側静止物の縦方向距離を検出する手段と、
前記検出した縦方向距離が第1の所定値より長い場合に、前記右側静止物および前記左側静止物の最後尾を前方の渋滞発生位置推定する手段と、
前記推定した渋滞発生位置までの距離を検出し、該距離が第2の所定値より短い場合に警告を出力して、運転者の運転を支援する支援手段と、を有すること
を特徴とする運転支援装置。
A driving assistance device that assists a driver in driving a car,
Means for detecting a forward stationary object and separating the detected forward stationary object into a right stationary object and a left stationary object;
Means for detecting the vertical distance between the right stationary object and the left stationary object,
Means longitudinal distance the detected is longer than the first predetermined value, to estimate the front of the congestion occurrence position the end of the right stationary object and the left stationary object,
Operating said detecting the distance to the estimated traffic jam occurrence position, the distance is a warning is shorter than a second predetermined value, and having a support means for supporting the driving of the driver, the Support device.
運転者の車の運転を目標車速で走行するように支援する運転支援装置であって、
前方静止物を検出し、検出した前方静止物を右側静止物と左側静止物とに分離する手段と、
前記右側静止物および左側静止物の縦方向距離を検出する手段と、
前記検出した縦方向距離が第1の所定値より長い場合に、前記右側静止物および前記左側静止物の最後尾を前方の渋滞発生位置推定する手段と、
前記推定した渋滞発生位置までの距離を検出し、該距離が第2の所定値より短い場合に前記目標車速の設定を解除して減速させるように、運転者の運転を支援する支援手段と、を有すること
を特徴とする運転支援装置。
A driving assistance device that assists a driver in driving a car at a target vehicle speed ,
Means for detecting a forward stationary object and separating the detected forward stationary object into a right stationary object and a left stationary object;
Means for detecting the vertical distance between the right stationary object and the left stationary object,
Means longitudinal distance the detected is longer than the first predetermined value, to estimate the front of the congestion occurrence position the end of the right stationary object and the left stationary object,
Wherein detecting the distance to the estimated traffic jam occurrence position, so as to decelerate the distance to unset the target vehicle speed is shorter than a second predetermined value, and support means for supporting the driving of the driver, A driving assistance device comprising:
JP2000051243A 2000-02-28 2000-02-28 Driving support device Expired - Fee Related JP3559212B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000051243A JP3559212B2 (en) 2000-02-28 2000-02-28 Driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000051243A JP3559212B2 (en) 2000-02-28 2000-02-28 Driving support device

Publications (2)

Publication Number Publication Date
JP2001243598A JP2001243598A (en) 2001-09-07
JP3559212B2 true JP3559212B2 (en) 2004-08-25

Family

ID=18572910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000051243A Expired - Fee Related JP3559212B2 (en) 2000-02-28 2000-02-28 Driving support device

Country Status (1)

Country Link
JP (1) JP3559212B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3900111B2 (en) 2003-05-20 2007-04-04 日産自動車株式会社 Vehicle external recognition device
JP2005173917A (en) * 2003-12-10 2005-06-30 Nissan Motor Co Ltd Device and method for detecting branching path
JP4622330B2 (en) * 2004-06-18 2011-02-02 トヨタ自動車株式会社 Vehicle travel control device
GB2490878B8 (en) * 2011-05-12 2014-07-23 Jaguar Cars Monitoring apparatus and method
DE112020007488B4 (en) * 2020-10-06 2024-03-07 Mitsubishi Electric Corporation OBJECT DETECTION DEVICE, RADAR DEVICE AND OBJECT DETECTION METHOD

Also Published As

Publication number Publication date
JP2001243598A (en) 2001-09-07

Similar Documents

Publication Publication Date Title
US11987238B2 (en) Driving support apparatus
US10322720B2 (en) Vehicle control device including object detection, speed distribution area setting and avoidance control execution sections
US10479373B2 (en) Determining driver intention at traffic intersections for automotive crash avoidance
US9669760B2 (en) Warning device
JP4728427B2 (en) Vehicle collision warning device
JP3918656B2 (en) Obstacle detection device for vehicle
US11208084B2 (en) Brake assistance apparatus and brake assistance control method for vehicle
JP7154482B2 (en) Vehicle driving support system
US11608062B2 (en) Vehicle control method and vehicle control device
US11780448B2 (en) Vehicle behavior estimation method, vehicle control method, and vehicle behavior estimation device
JP2020163975A (en) Vehicle drive assisting system
US11878697B2 (en) Vehicle control device
JP3559212B2 (en) Driving support device
JP7214076B2 (en) Vehicle driving support system
JP2021126991A (en) Travel route production system and vehicle operation support system
JP2020163967A (en) Vehicle drive assisting system
CN114148328B (en) Device and method for controlling driving of vehicle
JP2004164188A (en) Annunciator for vehicle
JP7209946B2 (en) Vehicle driving support system
JP3271473B2 (en) Inter-vehicle distance notification device
US20220332312A1 (en) Apparatus and method for assisting driving of vehicle
WO2023233767A1 (en) Vehicle control device
JP7205799B2 (en) Vehicle driving support system
JP2021126990A (en) Travel route production system and vehicle operation support system

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040120

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040322

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040520

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080528

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080528

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees