JP2011008320A - 自律移動体、自己位置推定装置、およびプログラム - Google Patents
自律移動体、自己位置推定装置、およびプログラム Download PDFInfo
- Publication number
- JP2011008320A JP2011008320A JP2009148424A JP2009148424A JP2011008320A JP 2011008320 A JP2011008320 A JP 2011008320A JP 2009148424 A JP2009148424 A JP 2009148424A JP 2009148424 A JP2009148424 A JP 2009148424A JP 2011008320 A JP2011008320 A JP 2011008320A
- Authority
- JP
- Japan
- Prior art keywords
- data
- environment
- wall surface
- self
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 25
- 230000007613 environmental effect Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 31
- 238000013519 translation Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000002245 particle Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【解決手段】自律移動体100は、移動環境計測用の視覚センサ2と、視覚センサ2による計測結果を用いて移動環境内に存在する障害物の3次元の位置データ群を含む環境データを生成する3次元環境データ生成部4と、環境データを用いて、移動環境内に存在する平らな壁面を検出する壁面検出部6と、環境データに含まれる位置データ群のうち第1の高さ範囲に属する位置データによって特定される障害物の位置情報及び壁面の位置情報を、移動環境内に固定的に存在する固定障害物の位置を示す参照マップと照合することで、自己の位置を推定する自己位置推定部8と、を備える。
【選択図】図1
Description
また、特許文献2には床面に段差がある領域での移動においても、移動可能か否か判定するための環境マップを作成することができる装置が開示されている。
このように、近年では移動体が適切な自律移動をするための手法について開発されている。
しかし、前記所定環境内に固定的に存在する障害物は平らな壁面(以下、壁面)だけに限られない。例えば、円弧を描く壁面(以下、曲壁面)、円柱状の柱および所定環境内の床面と高さの異なる段差などが存在している場合もある。
また、曲壁面および円柱状の柱などは平面検出手段などで検出することはできない。
人間や台車または他の移動体のような移動障害物は、壁や柱などの固定障害物に比べて、高さが低く、3次元空間内の一部に存在する。したがって、特定の高さよりも高い位置データを有する位置情報を基に参照マップと照合することによって、自律移動体が自己位置を推定する際に移動障害物の影響を受け難くするとともに、壁面以外の障害物の計測情報も自己位置推定に利用することが可能となり、正確な自己位置推定が可能となる。
図1に実施の形態1に係る自律移動体(以下、移動体)100の構成を示す。移動体100は視覚センサ2、3次元環境データ生成部4、壁面検出部6および自己位置推定部8など備えている。
本実施の形態における平面検出には、プレーンセグメントファインダ(Plane Segment Finder(PLS))と呼ばれる手法を用いればよい。プレーンセグメントファインダでは、まず、3次元の点群から2点をランダムにサンプリングする。次いで、当該2点のベクトルをクラスタリングすることにより、平面の位置姿勢を求めるアルゴリズムである。
具体的には、プレーンセグメントファインダでは、まず、環境データに対してランダマイズド3次元ハフ変換を行って、最大平面の傾きを検出する。次に、再び、ランダマイズド3次元ハフ変換を用いて、当該最大平面と原点との距離を検出する。そして、当該最大平面に属する点を抽出することにより、平面領域(プレーンセグメント)を検出する。
ρ=(x0cos(θ)+y0sin(θ))cos(φ)+z0sin(φ)
・・・・・・(1)
数式(1)において、ρは平面から原点へ下ろした垂線の長さ、θは当該垂線をxy平面に投影した線とx軸とのなす角、φは当該垂線とxy平面とのなす角である。
そして、環境データ内の各測定点(x0,y0,z0)を(ρ,θ,φ)空間に投影し、ピークを検出することにより、平面を検出する。プレーンセグメントファインダでは、複数に分割された平面であっても検出することができる。また、環境データの所定部分の測定点のみを(ρ,θ,φ)空間の部分空間に投影して、検出範囲を狭めることができる。これにより、計算コストを大幅に低減することも可能である。
まず、壁面位置情報取得部10は、前記壁面検出部6で検出された壁面41〜43の3次元の環境データに含まれる位置データ群を取得する。取得した壁面41〜43の位置データ群から2次元の位置情報を取得し、前記位置情報を2次元の環境マップに直線で図示した。
次に、高さ範囲情報取得部12は、図5のように、環境データ中の前記高さ範囲に設定されたデータ取得空間46に含まれる位置データを取得する。本実施の形態ではデータ取得空間46に含まれる円柱45の位置データ群から2次元の位置情報を取得し、前記位置情報を2次元環境マップの円で図示した。前記データ取得空間46は高さに幅を持たせてもよく、環境データに含まれる位置データ数などによって高さの幅を任意に決めることが可能である。
これにより、柱などの背の高い固定障害物をマップに出力でき、より正確なマッチングが可能となる。
図7を用いて、ICPアルゴリズムによる処理を説明する。ICPアルゴリズムは、2つの異なる座標系のデータを合わせるために用いる。本実施の形態では、参照マップに含まれる位置情報と前記壁面位置情報取得部10および高さ範囲情報取得部12で検出された壁面の位置情報を前記2つの異なる座標系のデータとして処理をする。一方のデータに含まれる点(図7において白抜きの丸で示す)から最も近傍にある他方のデータに含まれる点(図7においてハッチングが付された丸で示す)に着目し、当該他方のデータに含まれる点が属する平面の平面IDを検出する。そして、対応壁面検出部18では一方のデータに含まれる平面に属するすべての点から最も近傍にある他方のデータに含まれる点が属する平面IDとして最も多く検出された平面IDを有する平面を、対応する壁面として検出する。
この座標変換を簡単にするため、一方の形状の座標系を固定し、もう一方の形状を座標変換する。データ全体の点に対してこれらの対応点間で定義されるユークリッド距離が最小化される回転Rおよび並進Tを算出する。
なお、本実施の形態におけるマッチングは、ICPアルゴリズムを用いた手法を紹介したが、各データのマッチングが可能であればどのような手法であってもよい。また、ICPアルゴリズムの代わりにWeissのマッチング手法またはパーティクルフィルタを用いたマッチング手法などを利用してもよい。パーティクルフィルタなどを利用することによって、3次元環境内に壁面が存在せず、柱や段差などが存在する場合であっても、対応壁面検出部18の処理を飛ばして回転Rおよび並進Tを算出することも可能である。
壁面検出ステップにおいて、壁面の検出がされなかった場合には、高さ範囲情報取得ステップに移行する。また、マッチングが適切に行われなかった場合には、再度高さ範囲情報取得ステップに移行し、位置データ群を取得する高さ範囲を変更したうえで、位置情報を取得し、マッチングを再度行う。該マッチングは適切に行われるまで、あるいは、全ての高さ範囲情報を取得するまで繰り返されてもよい。
実施の形態2について図9を用いて説明する。移動体100の自己位置推定部8は、信頼度設定部22をさらに有していてもよい。信頼度設定部22は、前記壁面位置情報取得部10および前記高さ範囲情報取得部12で取得された位置情報に信頼度を設定する。前記のように壁面は平面検出手法を用いて検出されるため、床面に垂直な平面を確実に検出することができるが、弧を描く壁面および円柱状の柱などは平面検出手段では検出することができない。また、柱や段差などは移動障害物の可能性がある。そこで、曲壁面、柱または段差などの障害物の信頼度を低く設定することで、より正確な自己位置推定が可能である。なお、信頼度を設定するタイミングは、壁面位置情報取得部10および高さ範囲情報取得部12で位置情報を取得する前でもよく、その場合は、環境データに対して信頼度を設定してもよいし、位置データに対して信頼度を設定してもよい。
(段差の信頼度)=(段差の高さ)/(壁面の高さ) ・・・・・・(2)
なお、視覚センサ2が、移動環境内に存在する障害物に関する3次元の位置データ群を含む環境データを生成した際に、傾斜したときは、信頼度を低く設定してもよい。正確なマッチングができないおそれがあるからである。
次に、前記のマッチングとは異なるマッチング手法について述べる。実施の形態3では、環境データ中の壁面データが有する法線ベクトルに着目してマッチングをする。なお、移動体100が備える自己の周囲の参照マップは、あらかじめその壁面の法線ベクトル情報を保持している。
なお、本実施の形態3では、初期位置の設定については、実施の形態1と同様に、初期位置設定部16においてデッドレコニングによる自己位置推定方法によって設定されている。また、対応する壁面の検出についても、実施の形態1と同様に、対応壁面検出部18において行われる。よって、実施の形態1と共通しているこれらの処理に関する説明を省略する。
R=Min(R・normal(a)−normal(A)+R・normal(b)−normal(B)+・・・) ・・・・・・(3)
2 ・・・視覚センサ
4 ・・・3次元環境データ生成部
41 ・・・壁面
42 ・・・壁面
43 ・・・壁面
44 ・・・段差
45 ・・・円柱
46 ・・・データ取得空間
6 ・・・壁面検出部
8 ・・・自己位置推定部
10 ・・・壁面位置情報取得部
12 ・・・高さ範囲情報取得部
14 ・・・マッチング部
16 ・・・初期位置設定部
18 ・・・対応壁面検出部
20 ・・・剛体変換パラメータ算出部
22 ・・・信頼度設定部
24 ・・・回転R算出部
26 ・・・並進T算出部
Claims (9)
- 移動環境を計測する視覚センサと、
前記視覚センサによる計測結果を用いて、前記移動環境内に存在する障害物に関する3次元の位置データ群を含む環境データを生成する3次元環境データ生成部と、
前記環境データを用いて、前記移動環境内に存在する平らな壁面を検出する壁面検出部と、
前記環境データに含まれる前記位置データ群のうち第1の高さ範囲に属する位置データによって特定される障害物の位置情報、および前記壁面の位置情報を、前記移動環境内に固定的に存在する固定障害物の位置を示す参照マップと照合することによって、自己の位置を推定する自己位置推定部と、
を備える自律移動体。 - 前記第1の高さ範囲は、前記位置データ群の高さ分布に基づいて決定される請求項1に記載の自律移動体。
- 前記第1の高さ範囲は、前記位置データ群のうち最も高さが高いデータを含むように決定される請求項1または2に記載の自律移動体。
- 前記位置データ群は、前記環境データに含まれる前記位置データ群から前記壁面に対応する位置データ群を除いた残りのデータ群である請求項2または3に記載の自律移動体。
- 前記位置データに信頼度を付与する信頼度設定部をさらに備え、
前記信頼度設定部は、前記位置データ群のうち第1の高さ範囲に属する位置データによって特定される障害物の位置情報に設定する信頼度よりも、前記壁面の位置情報に設定する信頼度を高くし、
前記自己位置推定部は、前記信頼度の高い位置情報を参照マップとの照合に優先的に用いる、請求項1〜4のいずれか一項に記載の自律移動体。 - 前記信頼度設定部は、前記環境データに含まれる前記位置データ群のうち第1の高さ範囲に属する位置データによって特定される障害物の位置情報および前記壁面の位置情報をグリッドデータに変換し、
前記位置データの夫々が対応する各グリッドに、前記位置データの数に基づいて信頼度を設定する請求項5に記載の自律移動体。 - 前記自己位置推定部は、前記壁面の法線ベクトルを用いて、前記参照マップによって特定される前記固定障害物の配置に前記壁面を重ね合わせるための回転角度を算出する請求項1〜4のいずれか一項に記載の自律移動体。
- 移動環境内に存在する障害物に関する3次元の位置データ群を含む環境データに含まれる前記位置データ群のうち第1の高さ範囲に属する位置データによって特定される障害物の位置情報と、前記環境データを用いて検出された平らな壁面の位置情報を、前記移動環境内に固定的に存在する固定障害物の位置を示す参照マップと照合することによって、自己の位置を推定する自己位置推定装置。
- 移動環境内に存在する障害物に関する3次元の位置データ群を含む環境データに含まれる前記位置データ群のうち第1の高さ範囲に属する位置データによって特定される障害物の位置情報と、前記環境データを用いて検出された平らな壁面の位置情報を、前記移動環境内に固定的に存在する固定障害物の位置を示す参照マップと照合することによって、自己の位置を推定する自己位置推定ステップを備える、
自己位置推定処理をコンピュータに実行させるための自己位置推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009148424A JP5141644B2 (ja) | 2009-06-23 | 2009-06-23 | 自律移動体、自己位置推定装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009148424A JP5141644B2 (ja) | 2009-06-23 | 2009-06-23 | 自律移動体、自己位置推定装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011008320A true JP2011008320A (ja) | 2011-01-13 |
JP5141644B2 JP5141644B2 (ja) | 2013-02-13 |
Family
ID=43564951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009148424A Expired - Fee Related JP5141644B2 (ja) | 2009-06-23 | 2009-06-23 | 自律移動体、自己位置推定装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5141644B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102650886A (zh) * | 2012-04-28 | 2012-08-29 | 浙江工业大学 | 基于主动全景视觉传感器的机器人视觉*** |
JP2013200604A (ja) * | 2012-03-23 | 2013-10-03 | Toyota Motor Corp | 移動ロボット |
JP2014174683A (ja) * | 2013-03-07 | 2014-09-22 | Advanced Telecommunication Research Institute International | 位置推定装置、位置推定プログラムおよび位置推定方法 |
JP2015001820A (ja) * | 2013-06-14 | 2015-01-05 | シャープ株式会社 | 自律移動体、その制御システム、および自己位置検出方法 |
JP2016095590A (ja) * | 2014-11-12 | 2016-05-26 | 村田機械株式会社 | 移動量推定装置、自律移動体、及び移動量の推定方法 |
JP2016099172A (ja) * | 2014-11-19 | 2016-05-30 | 株式会社豊田中央研究所 | 車両位置推定装置及びプログラム |
CN106574836A (zh) * | 2014-04-14 | 2017-04-19 | 软银机器人欧洲公司 | 用于在定位平面中定位机器人的方法 |
JP2017538915A (ja) * | 2014-09-17 | 2017-12-28 | ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー | 測位・マッピング方法及び測位・マッピングシステム |
WO2019111702A1 (ja) * | 2017-12-05 | 2019-06-13 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2019109653A (ja) * | 2017-12-18 | 2019-07-04 | パイオニア株式会社 | 自己位置推定装置 |
JP2022079622A (ja) * | 2017-12-18 | 2022-05-26 | ジオテクノロジーズ株式会社 | 自己位置推定装置および車両位置推定システム |
WO2022153390A1 (ja) * | 2021-01-13 | 2022-07-21 | 株式会社Acsl | 無人航空機の自己位置を推定する自己位置推定システム、飛行制御システム、無人航空機、プログラム、及び、記録媒体 |
US11520341B2 (en) | 2019-05-07 | 2022-12-06 | Toshiba Tec Kabushiki Kaisha | Information processing apparatus and information processing method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001266123A (ja) * | 2000-03-22 | 2001-09-28 | Honda Motor Co Ltd | 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 |
JP2006343881A (ja) * | 2005-06-07 | 2006-12-21 | Institute Of Physical & Chemical Research | 自己位置推定システムおよび自己位置推定方法 |
JP4169043B2 (ja) * | 2006-04-24 | 2008-10-22 | 松下電工株式会社 | 移動装置群制御システム |
JP2009110250A (ja) * | 2007-10-30 | 2009-05-21 | Ihi Corp | 自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法 |
-
2009
- 2009-06-23 JP JP2009148424A patent/JP5141644B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001266123A (ja) * | 2000-03-22 | 2001-09-28 | Honda Motor Co Ltd | 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 |
JP2006343881A (ja) * | 2005-06-07 | 2006-12-21 | Institute Of Physical & Chemical Research | 自己位置推定システムおよび自己位置推定方法 |
JP4169043B2 (ja) * | 2006-04-24 | 2008-10-22 | 松下電工株式会社 | 移動装置群制御システム |
JP2009110250A (ja) * | 2007-10-30 | 2009-05-21 | Ihi Corp | 自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013200604A (ja) * | 2012-03-23 | 2013-10-03 | Toyota Motor Corp | 移動ロボット |
CN102650886A (zh) * | 2012-04-28 | 2012-08-29 | 浙江工业大学 | 基于主动全景视觉传感器的机器人视觉*** |
JP2014174683A (ja) * | 2013-03-07 | 2014-09-22 | Advanced Telecommunication Research Institute International | 位置推定装置、位置推定プログラムおよび位置推定方法 |
JP2015001820A (ja) * | 2013-06-14 | 2015-01-05 | シャープ株式会社 | 自律移動体、その制御システム、および自己位置検出方法 |
JP2017514124A (ja) * | 2014-04-14 | 2017-06-01 | ソフトバンク・ロボティクス・ヨーロッパSoftbank Robotics Europe | 定位面内にロボットを定位する方法 |
CN106574836A (zh) * | 2014-04-14 | 2017-04-19 | 软银机器人欧洲公司 | 用于在定位平面中定位机器人的方法 |
JP2017538915A (ja) * | 2014-09-17 | 2017-12-28 | ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー | 測位・マッピング方法及び測位・マッピングシステム |
JP2016095590A (ja) * | 2014-11-12 | 2016-05-26 | 村田機械株式会社 | 移動量推定装置、自律移動体、及び移動量の推定方法 |
JP2016099172A (ja) * | 2014-11-19 | 2016-05-30 | 株式会社豊田中央研究所 | 車両位置推定装置及びプログラム |
US10032278B2 (en) | 2014-11-19 | 2018-07-24 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Vehicle position estimation device, method and computer readable recording medium |
WO2019111702A1 (ja) * | 2017-12-05 | 2019-06-13 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11531354B2 (en) | 2017-12-05 | 2022-12-20 | Sony Corporation | Image processing apparatus and image processing method |
JP2019109653A (ja) * | 2017-12-18 | 2019-07-04 | パイオニア株式会社 | 自己位置推定装置 |
JP7051416B2 (ja) | 2017-12-18 | 2022-04-11 | ジオテクノロジーズ株式会社 | 自己位置推定装置 |
JP2022079622A (ja) * | 2017-12-18 | 2022-05-26 | ジオテクノロジーズ株式会社 | 自己位置推定装置および車両位置推定システム |
US11520341B2 (en) | 2019-05-07 | 2022-12-06 | Toshiba Tec Kabushiki Kaisha | Information processing apparatus and information processing method |
WO2022153390A1 (ja) * | 2021-01-13 | 2022-07-21 | 株式会社Acsl | 無人航空機の自己位置を推定する自己位置推定システム、飛行制御システム、無人航空機、プログラム、及び、記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP5141644B2 (ja) | 2013-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5141644B2 (ja) | 自律移動体、自己位置推定装置、およびプログラム | |
CN108051002B (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及*** | |
AU2016213835B2 (en) | Adaptive mapping with spatial summaries of sensor data | |
KR101782057B1 (ko) | 지도 생성 장치 및 방법 | |
KR101072876B1 (ko) | 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치 | |
JP4942733B2 (ja) | 物体認識及び認識された物体を含む周辺環境情報に基づいたロボットの自己位置推定方法 | |
US8467902B2 (en) | Method and apparatus for estimating pose of mobile robot using particle filter | |
US8600603B2 (en) | Apparatus and method of localization of mobile robot | |
KR101686170B1 (ko) | 주행 경로 계획 장치 및 방법 | |
JP5803367B2 (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
KR101581197B1 (ko) | 로봇 및 그 제어방법 | |
KR101705601B1 (ko) | 3차원 깊이정보기반 자율주행 로봇의 위치추정 장치 및 그 방법 | |
JP6328327B2 (ja) | 画像処理装置及び画像処理方法 | |
KR20110097140A (ko) | 이동 로봇의 위치 추정 장치 및 방법 | |
US20130158865A1 (en) | Method and apparatus for estimating position of moving object | |
JP2010033447A (ja) | 画像処理装置および画像処理方法 | |
JP5819257B2 (ja) | 移動***置推定方法及び移動体 | |
JP2010066595A (ja) | 環境地図生成装置及び環境地図生成方法 | |
JP6638753B2 (ja) | 自律移動装置、自律移動方法及びプログラム | |
Lee et al. | A novel method for estimating the heading angle for a home service robot using a forward-viewing mono-camera and motion sensors | |
Fabian et al. | One-point visual odometry using a RGB-depth camera pair | |
Lu et al. | SLAM estimation in dynamic outdoor environments | |
CN115700507B (zh) | 地图更新方法及其装置 | |
Wang et al. | Real-time visual odometry estimation based on principal direction detection on ceiling vision | |
JP2004132933A (ja) | アクティブセンサの位置・姿勢推定方法及びその装置、並びにアクティブセンサの位置・姿勢推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121023 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121105 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5141644 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |