JP2005128603A - 物体認知装置および物体認知方法 - Google Patents

物体認知装置および物体認知方法 Download PDF

Info

Publication number
JP2005128603A
JP2005128603A JP2003360312A JP2003360312A JP2005128603A JP 2005128603 A JP2005128603 A JP 2005128603A JP 2003360312 A JP2003360312 A JP 2003360312A JP 2003360312 A JP2003360312 A JP 2003360312A JP 2005128603 A JP2005128603 A JP 2005128603A
Authority
JP
Japan
Prior art keywords
vehicle
map data
signal
ghost
position signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003360312A
Other languages
English (en)
Other versions
JP4416078B2 (ja
Inventor
Masaaki Sugano
正明 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2003360312A priority Critical patent/JP4416078B2/ja
Publication of JP2005128603A publication Critical patent/JP2005128603A/ja
Application granted granted Critical
Publication of JP4416078B2 publication Critical patent/JP4416078B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】 地図データを利用して目的としない物体の検出信号を除去することができる「物体認知装置および物体認知方法」を提供することを目的とする。
【解決手段】 物体認知装置10は、自車位置を検出しその検出結果を示す自車位置信号22を出力する自車位置検出部20と、自車に対して相対的な移動をする物体について、自車に対する物体の相対的な距離および相対的な方向を検出し、その検出結果を示す物***置信号32を出力する物***置検出部30と、地図データを記憶する記憶部40と、自車位置信号22に基づき自車位置を基準とする地図データを記憶部40から読出し、読み出された地図データと物***置信号32とを照合し、物体が地図データの道路上に位置しないとき物***置信号32をゴースト信号と判定するゴースト判定部50とを有している。
【選択図】 図1

Description

本発明は、自車に対して相対的な移動をする物体を認知するための物体認知装置およびその方法に関し、特に、車両に搭載されるレーダー装置を用いて物体の認知を行う物体認知装置に関する。
道路上の車両や障害物を認知し障害物との衝突を回避するシステム、車間距離を測定するシステム、および前方を走行する車両を追尾するシステム等において車載用レーダー装置が利用されている。レーダー装置は、電波を送信し対象物による反射波を受信することで対象物までの距離、方向および速度等を検出するものである。
レーダー装置により位置検出等を行う場合、目的の対象物からの受信信号の他に、他の障害物等からの反射波である2次エコー信号またはゴースト信号が含まれることがある。このような信号は、位置検出精度の劣化を招き、また誤った位置検出を生じさせてしまう。
こうした問題を解決するために、特許文献1は、送信信号による受信信号を送信位相に基づいてフーリエ変換し、ゴーストになる2次エコー信号を検出してこれを除去するレーダー装置を開示している。
特開平8−146124号
しかしながら上記従来のレーダー装置を用いた位置検出には次のような課題がある。車両の走行中に、車載用レーダー装置から電波を送信すると、目的とする道路の車両からはもとより、目的としない道路内や道路沿いの種々の物体からも電波が反射してくる。後者の目的としない物体からの反射信号は雑音成分として除去する必要があるが、上記特許文献1に示す方法を用いた場合には、道路以外の対象物からの信号を効率よく除去することが難しく、またフーリエ変換等の複雑な信号処理を必要とするために処理時間および処理コストが増加してしまう。
本発明は、上記従来の課題を解決し、地図データを利用して目的としない物体の検出信号を効率よく除去することができる、物体認知装置および物体認知方法を提供することを目的とする。
本発明に係る物体認知装置は、自車位置を検出し、その検出結果を示す自車位置信号を出力する自車位置検出手段と、地図データを記憶する記憶手段と、自車に対して相対的な移動をする物体について、自車に対する物体の相対的な距離および相対的な方向を検出し、その検出結果を示す物***置信号を出力する物***置検出手段と、自車位置信号に基づき自車位置を基準とする地図データを記憶手段から読出し、読み出された地図データと物***置信号とを照合し、物体が地図データの道路上に位置しないとき物***置信号をゴースト信号と判定するゴースト判定手段とを有するものである。
本発明に係る物体認知方法は、自車位置を検出し、検出された自車位置周辺の地図データをディスプレイに表示する機能を備えたナビゲーション装置において以下のステップを有する。自車に対して相対的に移動する物体について、当該物体の相対的な距離および相対的な方向を検出し、その検出結果を示す物***置信号を出力するステップと、自車位置周辺の地図データと物***置信号とを照合し、物体が地図データの道路上に位置しないとき物***置信号をゴースト信号と判定するステップとを有する。
本発明の物体認知装置によれば、物***置信号と地図データを照合し、物体が地図データの道路上に位置しないとき、当該物***置信号をゴースト信号と判定するようにしたので、道路以外の目的としない対象物によるゴースト信号を非常に簡単にかつ効率よく除去することができる。さらに、既存のナビゲーション装置の地図データを活用することで、一層の低コスト化を実現することができる。
以下、本発明の実施の形態について詳細に説明する。本実施の形態に係る物体認知装置は、車両に搭載されて当該車両に対して相対的な運動をする物体を認知するものである。図1は物体認知装置10の構成を示すブロック図である。すなわち、物体認知装置10は、自車位置を検出しその検出結果を示す自車位置信号22を出力する自車位置検出部20と、自車に対して相対的な移動をする物体について自車に対する物体の相対的な距離および相対的な方向を検出しその検出結果を示す物***置信号32を出力する物***置検出部30と、地図データを記憶する記憶部40と、自車位置信号22に基づき自車位置を基準とする地図データを記憶部40から読出し、読み出された地図データと物***置信号32とを照合し、物体が地図データの道路上に位置しないとき物***置信号32をゴースト信号と判定するゴースト判定部50とを有している。
好ましくは、ゴースト信号と判定された物***置信号32を除去する。またゴースト判定部50は、物体が道路上に位置するとき当該物体を車両と判定する。物***置検出部30は、例えばレーダーにより物体の位置を検出する車載用レーダー装置を含んで構成される。
さらに物体認知装置10は、表示制御部60とディスプレイ70を含むことができる。表示制御部60は、自車位置検出部20によって検出された自車位置周辺の地図をディスプレイ70に表示させ、かつ、ゴースト判定部50により物体が地図データの道路上に位置すると判定されたとき当該物体をディスプレイの道路上に表示させる。他方、物***置信号32がゴースト信号と判定されたとき当該物体をディスプレイ上に表示させないようにする。
次に、本発明の実施例について説明する。好ましくは本実施例に係る物体認知装置100は、図2に示すように車載用レーダー装置200と車載用ナビゲーション装置300を用いて構成される。車載用レーダー装置200は、図3に示すように、自車210の前方に取り付けられる。車載用レーダー装置200は、自車210の走行中にその前方からレーダー波Rを発し、目的とする対象物からの反射波を受信することで物体の位置検出を行う。
一方、車載用ナビゲーション装置300は、GPS(Global Positioning System)を利用することで自車210の位置検出を行い、検出された自車位置周辺の地図データをハードディスク等の記憶媒体から読出してこれをディスプレイに描画するとともに自車位置マークを重ねて描画する。そして、自車210の移動により現在位置が変化すると、その位置変化に応じて地図がスクロールされ、現在位置が分かるようになっている。
図4は、車載用レーダー装置200および車載用ナビゲーション装置300の内部構成を示すブロック図である。車載用レーダー装置200は、自車210の前方から一定の広がり角度(±10度程度)でミリ波レーダーを送信する送信部220と、送信部220から一定の周期(例えば1/10秒)でレーダー波を送信させる送信駆動部230と、自車210に対して相対的に移動する物体やそれ以外の障害物において反射された反射波を受信する受信部240と、受信部240で受けた反射波を処理することで、移動する物体の位置を解析する位置解析部250とを含んで構成される。位置解析部250は、受信信号を解析することで自車210に対する物体の相対的な距離および相対的な方向を解析し、これらの情報を含む物***置信号252を出力する。
ナビゲーション装置300は、GPSを利用して自車位置を検出するGPS受信装置310と、GPS信号との交信ができないときなどにジャイロセンサや車速センサにより自車位置を検出する自立航法用センサ320と、ユーザーからの指示等を入力する操作入力部330と、無線通信を介して他の車両との車々間通信や路車間通信を行う通信制御部340と、ナビゲーションに必要な地図データ等を記憶する記憶部350と、スピーカ362から音声出力をさせるための音声信号を供給する音声出力部360と、ディスプレイ372に地図や自車位置を描画させるための表示制御部370と、ナビゲーション機能を実行するためのプログラムや物体認知動作を実行するためのプログラムを記憶するプログラムメモリ380と、プログラムに従い上記各部を制御する制御部390とを含んで構成される。
プログラムメモリ380は、例えば、現在地から目的地までの最適な経路を探索するための経路探索プログラム382や、探索された経路に沿って目的地までの誘導を行う誘導案内プログラム384を含み、さらに、車載用レーダー装置200からの物***置信号252がゴースト信号か否かを判定するプログラム386や、この判定に応じて物体の表示を制御するプログラム388等を記憶している。
次に本実施例による物体の認知動作について図5のフローチャートを参照して説明する。ナビゲーション装置300が起動されると、自車210の現在位置がGPS受信装置310および/また自立航法用センサ320によって検出される(ステップS101)。制御部390は、検出結果を示す自車位置信号を受け取り、記憶部350が自車位置を基準とする地図データを読出す(ステップS102)。制御部390は、読み出した地図データをディスプレイ372に表示させる(ステップS103)。このとき、ディスプレイ372には、図6に示すように、地図データの道路T上に自車位置マークMが重ねて描画される。
一方、車載用レーダー装置200は、自車210の前方を走行する車両(物体)400の位置検出を行う(ステップS104)。上記したように、前方を走行する車両400からの反射波により自車210との相対的な距離および相対的な方向が検出され、これが物***置信号252としてナビゲーション装置300側に出力される(ステップS105)。制御部390は、ゴースト判定プログラム386に従い、車載用レーダー装置200からの物***置信号252を受け取り、物***置信号252と自車位置を基準とする地図データとの照合を行う(ステップS106)。
制御部390は、物***置信号252に基づき自車位置に対する車両400の相対的位置を認識し、その車両位置が道路上にあるか否かを判別する(ステップS107)。車両位置が地図データの道路上に一致していれば、車両と判定する(ステップS108)。例えば図6に示すように、自車210に対する車両400の相対的な位置は、自車の基準位置C1と車両400の位置C22とを結ぶベクトルVで捕らえることができ、また、地図データに含まれる道路(リンク)は緯度、経度の座標データを有している。このため、物***置信号252と地図データをマップマッチングすることで、容易に車両400が道路上に位置するか否かを判定することができる。
車両位置が道路上に一致していないとき、制御部390は、車載用レーダー装置200によって検出された物***置信号252がゴースト信号であると判定する(ステップS109)。例えば図7に示すように、自車210の前方の道路が右側にカーブし、その前方を車両400が走行し、かつ道路の左側に沿ってガードレール410が配置されているとする。このような場合、自車210から発射されたレーダー波Rの一部R1が直接に車両400に当たらずガードレール410で反射されてしまい、この結果、位置解析部250が車両400の本来の位置ではなく、そのゴースト(虚像)420の位置を検出してしまうことがある。制御部390は、道路上に位置しない車両はゴーストであると判定し、当該物***置信号252を除去する(ステップS110)。
一方、制御部390は、車両400の位置が地図データの道路上に一致している場合には、図6に示すように車両400を道路T上に描画することができ(ステップS111)、ディスプレイ上にリアリティのある表示を与えるようにしてもよい。運転者は前方の車両400との車間距離を一定に保つための指標に利用することができる。勿論、ゴースト信号と判定された車両は地図上に示されることはない。
このように本実施例によれば、車載用レーダー装置と車両との間にあるガードレールのような反射物の影響で生じるゴーストの除去に、ナビゲーション装置に搭載の地図データを利用することができ、これにより道路以外の場所からの車両等の物体の信号を取り込まないようにすることができる。
以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
上記実施例では、物体の認知対象として車両を例にしたが、これ以外の二輪車等の移動する物体であってもよい。また、車載用レーダー装置として、ミリ波レーダーを例示したが、必ずしもこれに限定されるものではない。
上記実施例では物体認知装置を例示するが、ここにいう装置とは限定的に解釈されるべきではなく、複数の装置が結合されたシステムを含む概念である。また、好適な例として車載用レーダー装置とナビゲーション装置とを結合する構成を示したが、例えばナビゲーション装置が車載用レーダー機能を包含するものであっても良いし、その反対に車載用レーダー装置がナビゲーション機能を包含するものであっても良い。
本発明に係る物体認知装置および物体認知方法は、自車に対して相対的に移動する物体を認知する車載用装置として利用され、好ましくは、車載用レーダー装置と結合される車載用ナビゲーション装置、ナビゲーションシステム、あるいはナビゲーション機能を含むオーディオシステムにおいて利用することができる。
本発明の実施の形態に係る物体認知装置の構成を示すブロック図である。 本発明の実施例に係る物体認知装置の構成を示すブロック図である。 車載用レーダー装置の取り付け位置を示す図である。 車載用レーダー装置およびナビゲーション装置の内部構成を示すブロック図である。 本実施例に係る物体認知装置の動作を示すフローチャートである。 ディスプレイの表示例を示す図である。 車載用レーダー装置によるゴーストの発生を説明する図である。
符号の説明
10、100:物体認知装置 20:自車位置検出部
30:物***置検出部 40:記憶部
50:ゴースト判定部 60:表示制御部
70:ディスプレイ 200:車載用レーダー装置
210:自車 300:ナビゲーション装置
310:GPS受信装置 320:自立航法用センサ
350:記憶部 380:プログラムメモリ

Claims (10)

  1. 自車位置を検出し、その検出結果を示す自車位置信号を出力する自車位置検出手段と、
    地図データを記憶する記憶手段と、
    自車に対して相対的な移動をする物体について、自車に対する物体の相対的な距離および相対的な方向を検出し、その検出結果を示す物***置信号を出力する物***置検出手段と、
    自車位置信号に基づき自車位置を基準とする地図データを記憶手段から読出し、読み出された地図データと物***置信号とを照合し、物体が地図データの道路上に位置しないとき物***置信号をゴースト信号と判定するゴースト判定手段と、を有する物体認知装置。
  2. ゴースト判定手段は、ゴースト信号と判定された物***置信号を除去する、請求項1に記載の物体認知装置。
  3. ゴースト判定手段は、物体が地図データの道路上に位置するとき当該物体を車両と判定する、請求項1または2に記載の物体認知装置。
  4. 物***置検出手段は、レーダーにより物体の位置を検出する車載用レーダー装置を含む、請求項1ないし3いずれかに記載の物体認知装置。
  5. 物体認知装置はさらに、自車位置周辺の地図を表示する表示手段と、前記ゴースト判定手段により物体が車両と判定されたとき当該物体を表示手段に表示させる表示制御手段とを有する、請求項1ないし4いずれかに記載の物体認知装置。
  6. 表示制御手段は、前記ゴースト判定手段により物***置信号がゴースト信号と判定されたとき、当該物体を表示手段に表示させない、請求項1ないし5いずれかに記載の物体認知装置。
  7. 自車位置を検出し、検出された自車位置周辺の地図データをディスプレイに表示する機能を備えたナビゲーション装置における移動物体の認知方法であって、
    自車に対して相対的に移動する物体について、当該物体の相対的な距離および相対的な方向を検出し、その検出結果を示す物***置信号を出力するステップと、
    自車位置周辺の地図データと物***置信号とを照合し、物体が地図データの道路上に位置しないとき物***置信号をゴースト信号と判定するステップとを有する物体認知方法。
  8. 前記判定するステップは、ゴースト信号と判定された物***置信号を除去し、当該物体をディスプレイに表示しない、請求項7に記載の物体認知方法。
  9. 移動物体の認知方法はさらに、物体が地図データの道路上に位置するとき、当該物体をディスプレイの道路上に表示するステップを有する、請求項7に記載の物体認知方法。
  10. 物***置信号は、自車に搭載されたレーダー装置により検出される、請求項7ないし9いずれかに記載の物体認知方法。
JP2003360312A 2003-10-21 2003-10-21 物体認知装置および物体認知方法 Expired - Fee Related JP4416078B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003360312A JP4416078B2 (ja) 2003-10-21 2003-10-21 物体認知装置および物体認知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003360312A JP4416078B2 (ja) 2003-10-21 2003-10-21 物体認知装置および物体認知方法

Publications (2)

Publication Number Publication Date
JP2005128603A true JP2005128603A (ja) 2005-05-19
JP4416078B2 JP4416078B2 (ja) 2010-02-17

Family

ID=34640655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003360312A Expired - Fee Related JP4416078B2 (ja) 2003-10-21 2003-10-21 物体認知装置および物体認知方法

Country Status (1)

Country Link
JP (1) JP4416078B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250151A (ja) * 2012-05-31 2013-12-12 Fujitsu Ten Ltd レーダ装置、および、信号処理方法
CN109213142A (zh) * 2017-06-30 2019-01-15 卡西欧计算机株式会社 自主移动装置、自主移动方法以及存储介质
JP2021001812A (ja) * 2019-06-21 2021-01-07 パナソニック株式会社 監視システム、及び、監視方法
JP2021076422A (ja) * 2019-11-06 2021-05-20 日産自動車株式会社 物体認識方法及び物体認識装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08146124A (ja) * 1994-11-24 1996-06-07 Mitsubishi Electric Corp レーダ装置
JPH08313282A (ja) * 1995-05-18 1996-11-29 Nippondenso Co Ltd 車両位置表示装置
JPH09166452A (ja) * 1995-12-14 1997-06-24 Pioneer Electron Corp 運転支援装置
JPH11328591A (ja) * 1998-05-13 1999-11-30 Mitsubishi Electric Corp 後続車監視装置
JP2001116839A (ja) * 1999-10-22 2001-04-27 Fujitsu Ten Ltd 車間距離センサ
JP2002340583A (ja) * 2001-05-17 2002-11-27 Honda Motor Co Ltd 周辺車両情報提供装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08146124A (ja) * 1994-11-24 1996-06-07 Mitsubishi Electric Corp レーダ装置
JPH08313282A (ja) * 1995-05-18 1996-11-29 Nippondenso Co Ltd 車両位置表示装置
JPH09166452A (ja) * 1995-12-14 1997-06-24 Pioneer Electron Corp 運転支援装置
JPH11328591A (ja) * 1998-05-13 1999-11-30 Mitsubishi Electric Corp 後続車監視装置
JP2001116839A (ja) * 1999-10-22 2001-04-27 Fujitsu Ten Ltd 車間距離センサ
JP2002340583A (ja) * 2001-05-17 2002-11-27 Honda Motor Co Ltd 周辺車両情報提供装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250151A (ja) * 2012-05-31 2013-12-12 Fujitsu Ten Ltd レーダ装置、および、信号処理方法
CN109213142A (zh) * 2017-06-30 2019-01-15 卡西欧计算机株式会社 自主移动装置、自主移动方法以及存储介质
CN109213142B (zh) * 2017-06-30 2021-07-27 卡西欧计算机株式会社 自主移动装置、自主移动方法以及存储介质
JP2021001812A (ja) * 2019-06-21 2021-01-07 パナソニック株式会社 監視システム、及び、監視方法
JP7352393B2 (ja) 2019-06-21 2023-09-28 パナソニックホールディングス株式会社 監視システム、及び、監視方法
JP2021076422A (ja) * 2019-11-06 2021-05-20 日産自動車株式会社 物体認識方法及び物体認識装置
JP7366695B2 (ja) 2019-11-06 2023-10-23 日産自動車株式会社 物体認識方法及び物体認識装置

Also Published As

Publication number Publication date
JP4416078B2 (ja) 2010-02-17

Similar Documents

Publication Publication Date Title
US10259458B2 (en) Path planning apparatus and method for autonomous vehicle
JP4293917B2 (ja) ナビゲーション装置及び交差点案内方法
JP4905840B2 (ja) ナビゲーション装置及びナビゲーションプログラム
JP4562471B2 (ja) ナビゲーション装置及び進行方向案内方法
US7756640B2 (en) Vehicle control system, vehicle control method, and vehicle control program
US20100026804A1 (en) Route guidance systems, methods, and programs
JP6952778B2 (ja) 運転支援装置および運転支援方法
JP4424425B2 (ja) 車車間通信装置
KR19980046502A (ko) 차량의 진행을 예측하여 안내하는 방법
JP5545109B2 (ja) 運転支援装置、情報配信装置、運転支援方法、情報配信方法及びコンピュータプログラム
JP2018146461A (ja) 情報生成装置及び情報生成方法
US20200118433A1 (en) Drive assistance system
CN111189464B (zh) 自动驾驶装置以及导航装置
JP2012234373A (ja) 運転支援装置
JP2008128927A (ja) ナビゲーションシステム、ナビゲーション装置
JPWO2005054783A1 (ja) ナビゲーション装置
JP4249037B2 (ja) 周辺車両表示装置、ナビゲーション装置及び車両表示方法
JP2009204392A (ja) ナビゲーション装置
JP4416078B2 (ja) 物体認知装置および物体認知方法
JP6435798B2 (ja) 車両情報案内システム、車両情報案内方法及びコンピュータプログラム
JP2007003372A (ja) ナビゲーション装置
JP4757220B2 (ja) ナビゲーションシステム及び方法
JP2009128316A (ja) 経路案内システム及びプログラム
JP2007292643A (ja) 周辺物体識別装置
KR20220047456A (ko) 자율주행 시스템 및 자율주행 시스템의 정밀지도 생성방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091118

R150 Certificate of patent or registration of utility model

Ref document number: 4416078

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees