JP2006215982A - 交差点までの距離算出方法、装置及びシステム - Google Patents
交差点までの距離算出方法、装置及びシステム Download PDFInfo
- Publication number
- JP2006215982A JP2006215982A JP2005030913A JP2005030913A JP2006215982A JP 2006215982 A JP2006215982 A JP 2006215982A JP 2005030913 A JP2005030913 A JP 2005030913A JP 2005030913 A JP2005030913 A JP 2005030913A JP 2006215982 A JP2006215982 A JP 2006215982A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- intersection
- distance
- signal lamp
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】車両Aに設置された車載カメラ3により、車両A前方の画像を撮像して信号灯器4aを認識するとともに、路側通信装置6から信号機4の高さ情報を取得する。前記車載カメラ3の画面に写った信号灯器4aの座標と、前記高さ情報とに基づいて、当該車両Aから前記交差点までの距離を算出する。
【効果】ドライバが安全に交差点の手前で停止でき、又は交差点を通過できるように支援することができる。
【選択図】 図1
Description
従来、直近交差点までの距離を算出する方法としては、下記のようなものが考えられている。
(2)GPS等の電波測位システムを利用するとともに、距離センサを併用して車両の位置を知る。車両が道路上を走行することを前提として地図データベースを利用して道路上の車両の位置を得る。これらの情報に基づき、直近交差点までの距離を算出する。
しかしながら、電波の状態が悪ければGPS等の電波測位システムの位置誤差が大きくなり、位置が求められない場合もある。
また、距離センサを利用する場合、長期的に経年変化が起こり得る。また安全運転支援を目的としたシステムでは、必ずしも車両位置検出を前提としていないため、距離センサを搭載していないこともある。
小橋雄一朗,石川直人,中島 真人「道路標識,交通信号灯器の自動認識」第1回 ITSシンポジウム2002,Proceedings pp321-327,2002
そこで、本発明は、車両に車載カメラを設置するとともに、路車間通信により信号灯器の高さなどの情報を入手して、ドライバが安全に交差点の手前で停止できる、又は交差点を通過できるように支援することのできる交差点までの距離算出方法、装置及びシステムを提供することを目的とする。
本発明の交差点までの距離算出装置は、路側に設置した通信装置から、当該通信装置から交差点の信号機までの距離情報を受信する受信部と、車両に設置された車載カメラと、前記車載カメラにより車両前方を撮像した画像から前記信号機の信号灯器を認識する画像認識処理部と、前記距離情報を受信した時点の前記画像における信号灯器の座標と、前記距離情報とに基づいて、信号灯器の高さを算出する高さ算出処理部と、前記高さ算出処理部によって算出された信号灯器の高さを記録するメモリと、前記画像における信号灯器の座標と、前記メモリに記録された信号灯器の高さとから、当該車両から前記交差点までの距離を算出する距離算出処理部とを有するものである(請求項4)。
当該車両から前記交差点までの距離は、当該車両から交差点の停止線までの距離としてもよい(請求項5)。安全運転支援や自動運転支援を行うシステムでは、特に交差点の停止線までの距離が重要になるからである。
−交差点までの距離算出方法1−
図1は、本発明の交差点までの距離算出方法を実施するための信号機、路側通信装置の配置図である。
図1では、交差点手前の道路脇に、路側通信装置6を設置している。路側通信装置6の設置地点は、車載装置が画像処理で信号灯器が認識できる程度に、交差点に近い距離である必要がある。
図1において、前方を撮影可能な車載カメラ3を搭載した車両Aが、交差点に向かって走行している。車載カメラ3は、フロントに近い車体の、車両Aのタイヤ接地点から高さhの位置に取り付けられているものとする。
また、交差点には横断歩道があり、その手前には停止線5が存在している。
図2は、道路座標系と車載カメラ座標系との相対関係を示す座標図である。
道路の座標系を(X,Y,Z)、車載カメラ3の座標系を(X′,Y′,Z′)とし、原点はともに車載カメラ3の撮像画像の中心とする。
また車載カメラ座標系は、車載カメラ3の光軸をY′軸、これに垂直な平面上の車載カメラ3の右方向をX′軸、車載カメラ3の上方向をZ′軸とする。
さらに、車載カメラ座標軸の道路座標軸に対する回転角(車載カメラ3パラメータ)を、それぞれθ(ピッチ角)、φ(ロール角)、ψ(ヨー角)とし、全て右ねじの進む方向を正(θ:水平面より上向きが正、φ:右回りが正、ψ:左回りが正)とする。θ、φ、ψはいずれも既知とする。
P11=cos φcos ψ−sin θsin φsin ψ
P12=cos φsin ψ+sin θsin φcos ψ
P13=−cos θsin φ
P21=−cos θsin ψ
P22=cos θcos ψ
P23=sin θ
P31=sin φcos ψ+sin θcos φsin ψ
P32=sin φsin ψ−sin θcos φcos ψ
P33=cos θcos φ
図3は、車載カメラ3の撮像画像を示す図であり、右方向をx軸、上方向をy軸とする。x軸は前記X′軸と一致し、y軸は前記Z′軸と一致する。
x=f・X′/Y′
=f(P11X+P12Y+P13Z)/(P21X+P22Y+P23Z) (1)
y=f・Z′/Y′
=f(P31X+P32Y+P33Z)/(P21X+P22Y+P23Z) (2)
なお、前記θ(ピッチ角)、φ(ロール角)、ψ(ヨー角)といった車載カメラ3パラメータは、車体への取り付け時に設定可能であるが、走行の振動(ピッチ角の変動)や車線変更(ヨー角の変動)により変化し得る。したがって、車載カメラ3パラメータは固定値として扱えない場合がある。このため、例えば以下のような方法で対処可能である。ただしここでは、簡単なノーテーションとするために、ロール角φは、取り付け時に0となるようにしておくものとする。
xa=f(P12/P22)=sin ψ/cos θcos ψ (3)
ya=f(P32/P22)=−sin θ/cos θ (4)
これらの(3),(4)式から、θ、ψを求めると車載カメラ3パラメータを決定することができる。
一方、カメラから見た道路面の高さは、−hである。信号灯器の道路面からの高さをHとすると、信号灯器は道路座標系(X,Y,H−h)で表される。車載カメラ3の撮像画像上に写った信号灯器の点を(x0,y0)とする。これらx0,y0も観測できる値である。
算出された信号灯器の座標X,Y、又は撮像画像内の信号灯器の座標x,yは、車両Aの走行につれてブレが起こるので時間の関数となる。これらを、座標X(t),Y(t)、座標x(t),y(t)と書く。それぞれ時間的な移動平均をとったり、指数平滑化したり、又は線形回帰する等して、時間的なばらつきを押さえることができる。
−距離算出装置及びシステム1−
次に、本発明の距離算出システムを説明する。
路側通信装置6は、前述したように、交差点手前の道路脇などに設置されている。路側通信装置6は、交差点の信号灯器4aの高さ情報を持っている。この信号機4の高さは、信号機4設置時の調査で把握し、予め路側通信装置6に記憶させておく。
なお、路側通信装置6から車載装置7に送られるデータは、高さの他に、信号機4と停止線5との距離があり、その他路側通信装置6から信号機4までの距離のデータ、交差点形状のデータも含めてもよい。
前記通信装置8は、路側通信装置6から送られてくるデータを受信するものであり、復調方式や復号化方式は、路側通信装置6のものに対応している。
スピーカ15は、交差点までの距離をドライバにアナウンスするためのものである。
メモリ10は、路側通信装置6から送られてくる信号灯器4aの高さ、信号機4と停止線5との距離、交差点形状などのデータを記憶する。
以下、この処理装置11の機能を、フローチャート(図5)に基づいて詳細に説明する。
処理装置11は、路側通信装置6との通信が確立しているかどうかを確認し(ステップS1)、確立していれば、路側通信装置6から、信号灯器4aの高さ、信号機4と停止線5との距離、交差点形状などのデータを受信してメモリ10に記憶する(ステップS2)。
図6に、信号機4の正面図を示す。信号機4は、信号灯器4aと、信号灯器4aを支持するポール4bを有している。
信号灯器4aの認識は、例えば、信号機4の下記の特徴を利用して行う。
次に、赤、青、黄の3つの信号灯と、点灯している信号灯(輝度が高い)を検知する。検知する信号灯は、図6に示すように円形である。よって本来ならば、エッジを抽出し、信号使用色を持つ円を信号候補として、容易に判別することができる。しかし車載カメラ3は広範囲を撮像するため、撮像される信号の点灯部は半径2〜12ピクセルほどである。この条件では、エッジを抽出しても円形か四角形かの判別は難しい。そこで、例えば信号灯を、信号使用色の範囲の色を持った画素の連結であると考える。すなわち色抽出を行い、抽出後ラベリングを行う。ラベリングによって、連結した画素をとらえ、各ラベルの外接四角形をとる。そして外接四角形の大きさ、縦横比、撮像画像上の位置、外接四角形内の抽出画素数の占有率などを考慮して適切なラベルを信号として認識する(前記非特許文献1参照)。
前記交差点までの距離算出方法で説明した、車載カメラ3の撮像画像内の信号灯器4aの位置座標(x0,y0)に基づいて、車両Aを基準とした信号機4の相対位置(X,Y)を算出する。そして、この位置に(X,Y)に基づいて、車両Aから信号機4までの平面上の距離Yを算出する。
このようにして、車両Aから交差点の停止線5までの距離を求めることができる。
この車両Aから交差点の停止線5までの距離情報を、ディスプレイ14に表示し、及び/又はスピーカ15から、ドライバにアナウンスする(ステップS5)。
次に、車両Aが路側に設置した路側通信装置6と通信して、当該路側通信装置6から交差点の信号機4までの距離情報が得られる場合の、交差点までの距離算出方法を解説する。
車載装置は、路側通信装置6を通過した時点で、当該路側通信装置6から交差点の信号機4までの距離情報が得られるので、これをY0とおく。この時点の信号灯器4aは道路座標系(X,Y0,Z−h)で表される。
その後、車両Aが路側通信装置6を通過すると、算出された信号灯器4aの前記高さHを用いて、信号灯器4aを道路座標系(X,Y,H−h)で表す。したがって、前記(1),(2)式からX,Yを算出することができる。
−距離算出装置及びシステム2−
車両Aが路側に設置した路側通信装置6と通信して、当該路側通信装置6から交差点の信号機4までの距離情報が得られる場合の距離算出システムの構成は、基本的に、図4と変わりない。
車載コンピュータは、路側通信装置6の側を通り過ぎた後は、信号灯器4aの高さHと、車載カメラ3で撮像した画像における信号灯器4aの座標とに基づいて、信号機4までの距離Yを算出し、この距離Yを含む表示用、音声出力用のデータを作成する。
−その他−
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、いままでの説明では、信号機4は、交差点の向こう側に設置されていた。しかし、図7に示すように、交差点の向こう側とともに、交差点の手前にも設置される場合がある。この場合、車載装置7は、交差点の手前に設置される信号機4′の信号灯器を認識して、その撮像画像上の位置を判別し、当該信号機4′までの距離を求めても良い。
4,4′ 信号機
4a 信号灯器
5 停止線
6 路側通信装置
7 車載装置
8 通信装置
10 メモリ
11 処理装置
14 ディスプレイ
15 スピーカ
A 車両
Claims (6)
- 車両に設置された車載カメラにより、車両前方を撮像した画像から交差点の信号機の信号灯器を認識し、
路側に設置した通信装置との通信により、当該信号灯器の高さ情報を取得し、
前記画像における信号灯器の座標と、前記信号灯器の高さ情報とに基づいて、当該車両から前記交差点までの距離を算出することを特徴とする交差点までの距離算出方法。 - 車両に設置された車載カメラにより、車両前方を撮像した画像から交差点の信号機の信号灯器を認識し、
路側に設置した通信装置との通信により、当該通信装置から前記信号機までの距離情報を取得し、
当該距離情報を取得した時点の前記画像における信号灯器の座標と、当該距離情報とに基づいて、信号灯器の高さを算出して記憶し、
前記画像における信号灯器の座標と、前記信号灯器の高さとに基づいて、当該車両から前記交差点までの距離を算出することを特徴とする交差点までの距離算出方法。 - 車両に搭載され、当該車両から交差点までの距離を算出する交差点までの距離算出装置であって、
路側に設置した通信装置から、交差点の信号機の信号灯器の高さ情報を受信する受信部と、
車両に設置された車載カメラと、
前記車載カメラにより車両前方を撮像した画像から前記信号灯器を認識する画像認識処理部と、
前記信号灯器の高さ情報を記録するメモリと、
前記画像における信号灯器の座標と、前記メモリに記録された信号灯器の高さ情報とから、当該車両から前記交差点までの距離を算出する距離算出処理部とを有することを特徴とする交差点までの距離算出装置。 - 車両に搭載され、当該車両から交差点までの距離を算出する交差点までの距離算出装置であって、
路側に設置した通信装置から、当該通信装置から交差点の信号機までの距離情報を受信する受信部と、
車両に設置された車載カメラと、
前記車載カメラにより車両前方を撮像した画像から前記信号機の信号灯器を認識する画像認識処理部と、
前記距離情報を受信した時点の前記画像における信号灯器の座標と、前記距離情報とに基づいて、信号灯器の高さを算出する高さ算出処理部と、
前記高さ算出処理部によって算出された信号灯器の高さを記録するメモリと、
前記画像における信号灯器の座標と、前記メモリに記録された信号灯器の高さとから、当該車両から前記交差点までの距離を算出する距離算出処理部とを有することを特徴とする交差点までの距離算出装置。 - 当該車両から前記交差点までの距離は、当該車両から交差点の停止線までの距離である請求項3又は請求項4記載の交差点までの距離算出装置。
- 路側に設置した通信装置と、車両に搭載した請求項3又は請求項4に記載の距離算出装置とを含む距離算出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005030913A JP4052310B2 (ja) | 2005-02-07 | 2005-02-07 | 交差点までの距離算出方法、装置及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005030913A JP4052310B2 (ja) | 2005-02-07 | 2005-02-07 | 交差点までの距離算出方法、装置及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006215982A true JP2006215982A (ja) | 2006-08-17 |
JP4052310B2 JP4052310B2 (ja) | 2008-02-27 |
Family
ID=36979154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005030913A Expired - Fee Related JP4052310B2 (ja) | 2005-02-07 | 2005-02-07 | 交差点までの距離算出方法、装置及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4052310B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008182557A (ja) * | 2007-01-25 | 2008-08-07 | Sumitomo Electric Ind Ltd | 路車間通信システム及びこれに用いる光ビーコン |
JP2009026033A (ja) * | 2007-07-19 | 2009-02-05 | Sumitomo Electric Ind Ltd | 路車間通信システム、光ビーコン、車載機、及び車両 |
JP2009036571A (ja) * | 2007-07-31 | 2009-02-19 | Toshiba Corp | 可視光通信システムを利用した位置測定システム、位置測定装置及び位置測定方法 |
JP2010002225A (ja) * | 2008-06-18 | 2010-01-07 | Toshiba Corp | 可視光通信を利用した位置測定装置、位置測定システム、及び位置測定方法 |
JP2010280271A (ja) * | 2009-06-03 | 2010-12-16 | Toyota Motor Corp | ブレーキ制御装置 |
JP2012128870A (ja) * | 2012-03-01 | 2012-07-05 | Sumitomo Electric Ind Ltd | 路車間通信システム、光ビーコン、車載機、及び車両 |
JP2013145530A (ja) * | 2012-01-16 | 2013-07-25 | Isuzu Motors Ltd | 路車間通信システム及び車両位置検出装置 |
JP2013177098A (ja) * | 2012-02-29 | 2013-09-09 | Nissan Motor Co Ltd | 車両制御装置及び車両制御方法 |
JP2014137321A (ja) * | 2013-01-18 | 2014-07-28 | Nec Corp | 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム |
CN104077917A (zh) * | 2014-07-10 | 2014-10-01 | 张士栋 | 道路路口同一通行方向上设置两条停止线的通行*** |
WO2014166532A1 (en) * | 2013-04-10 | 2014-10-16 | Harman Becker Automotive Systems Gmbh | Navigation system and method of determining a vehicle position |
WO2015148195A1 (en) * | 2014-03-25 | 2015-10-01 | Osram Sylvania Inc. | Techniques for determining a light-based communication receiver position |
US9489584B2 (en) | 2012-05-25 | 2016-11-08 | Denso Corporation | Intersection recognition device and road type recognition device |
KR20220137266A (ko) * | 2021-04-02 | 2022-10-12 | 주식회사 멕서스 | 촬영 정보를 이용하여 통신장비의 위치를 파악하는 원격 관제 솔루션 서버 |
CN115497286A (zh) * | 2022-09-02 | 2022-12-20 | 东风悦享科技有限公司 | 一种基于v2x的前方路口实时交通状态显示***及方法 |
-
2005
- 2005-02-07 JP JP2005030913A patent/JP4052310B2/ja not_active Expired - Fee Related
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008182557A (ja) * | 2007-01-25 | 2008-08-07 | Sumitomo Electric Ind Ltd | 路車間通信システム及びこれに用いる光ビーコン |
JP2009026033A (ja) * | 2007-07-19 | 2009-02-05 | Sumitomo Electric Ind Ltd | 路車間通信システム、光ビーコン、車載機、及び車両 |
JP2009036571A (ja) * | 2007-07-31 | 2009-02-19 | Toshiba Corp | 可視光通信システムを利用した位置測定システム、位置測定装置及び位置測定方法 |
JP2010002225A (ja) * | 2008-06-18 | 2010-01-07 | Toshiba Corp | 可視光通信を利用した位置測定装置、位置測定システム、及び位置測定方法 |
JP2010280271A (ja) * | 2009-06-03 | 2010-12-16 | Toyota Motor Corp | ブレーキ制御装置 |
JP2013145530A (ja) * | 2012-01-16 | 2013-07-25 | Isuzu Motors Ltd | 路車間通信システム及び車両位置検出装置 |
JP2013177098A (ja) * | 2012-02-29 | 2013-09-09 | Nissan Motor Co Ltd | 車両制御装置及び車両制御方法 |
JP2012128870A (ja) * | 2012-03-01 | 2012-07-05 | Sumitomo Electric Ind Ltd | 路車間通信システム、光ビーコン、車載機、及び車両 |
US9489584B2 (en) | 2012-05-25 | 2016-11-08 | Denso Corporation | Intersection recognition device and road type recognition device |
JP2014137321A (ja) * | 2013-01-18 | 2014-07-28 | Nec Corp | 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム |
WO2014166532A1 (en) * | 2013-04-10 | 2014-10-16 | Harman Becker Automotive Systems Gmbh | Navigation system and method of determining a vehicle position |
CN104884898A (zh) * | 2013-04-10 | 2015-09-02 | 哈曼贝克自动***股份有限公司 | 确定车辆位置的导航***和方法 |
US9797733B2 (en) | 2013-04-10 | 2017-10-24 | Harman Becker Automotive Systems Gmbh | Navigation system and method of determining a vehicle position |
CN104884898B (zh) * | 2013-04-10 | 2018-03-23 | 哈曼贝克自动***股份有限公司 | 确定车辆位置的导航***和方法 |
WO2015148195A1 (en) * | 2014-03-25 | 2015-10-01 | Osram Sylvania Inc. | Techniques for determining a light-based communication receiver position |
CN104077917A (zh) * | 2014-07-10 | 2014-10-01 | 张士栋 | 道路路口同一通行方向上设置两条停止线的通行*** |
KR20220137266A (ko) * | 2021-04-02 | 2022-10-12 | 주식회사 멕서스 | 촬영 정보를 이용하여 통신장비의 위치를 파악하는 원격 관제 솔루션 서버 |
KR102595122B1 (ko) * | 2021-04-02 | 2023-10-27 | 주식회사 멕서스 | 촬영 정보를 이용하여 통신장비의 위치를 파악하는 원격 관제 솔루션 서버 |
CN115497286A (zh) * | 2022-09-02 | 2022-12-20 | 东风悦享科技有限公司 | 一种基于v2x的前方路口实时交通状态显示***及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4052310B2 (ja) | 2008-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4052310B2 (ja) | 交差点までの距離算出方法、装置及びシステム | |
US7894632B2 (en) | Apparatus and method of estimating center line of intersection | |
JP5472163B2 (ja) | 速度規制値通知装置及び速度規制値通知システム | |
US8676492B2 (en) | Map-aided vision-based lane sensing | |
EP2984451B1 (en) | Navigation system and method of determining a vehicle position | |
CN103105168B (zh) | 用于确定位置的方法 | |
JP4859760B2 (ja) | カーナビゲーション装置、道路標識認識方法およびプログラム | |
US20100292895A1 (en) | Driving support device | |
JP4577655B2 (ja) | 地物認識装置 | |
JP2008299666A (ja) | 車両運転支援システム、運転支援装置、車両及び車両運転支援方法 | |
JP2019099138A (ja) | 車線維持補助方法及び装置 | |
JP2009266003A (ja) | 物体認識装置、および物体認識方法 | |
US20200247404A1 (en) | Information processing device, information processing system, information processing method, and program | |
US20200318989A1 (en) | Route guidance apparatus and method | |
JP6129268B2 (ja) | 車両用運転支援システムおよび運転支援方法 | |
JP5274984B2 (ja) | 運転支援システム | |
CN112305499A (zh) | 一种根据光源进行定位的方法及装置 | |
JP4968369B2 (ja) | 車載装置及び車両認識方法 | |
JP2017126213A (ja) | 交差点状況確認システム、撮像装置、車載装置、交差点状況確認プログラムおよび交差点状況確認方法 | |
JP4687381B2 (ja) | 車両認識方法及び車載装置 | |
JP7192541B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20230347910A1 (en) | Vehicle orientation estimation system and vehicle orientation estimation method | |
JP2005092516A (ja) | 車載用移動体検出装置 | |
JP2007072948A (ja) | 信号機点灯状態識別方法および装置 | |
WO2024028985A1 (ja) | 運転支援装置および運転支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4052310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |