JP6374984B2 - 定位面内にロボットを定位する方法 - Google Patents
定位面内にロボットを定位する方法 Download PDFInfo
- Publication number
- JP6374984B2 JP6374984B2 JP2016562518A JP2016562518A JP6374984B2 JP 6374984 B2 JP6374984 B2 JP 6374984B2 JP 2016562518 A JP2016562518 A JP 2016562518A JP 2016562518 A JP2016562518 A JP 2016562518A JP 6374984 B2 JP6374984 B2 JP 6374984B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- estimate
- orientation
- image
- glob
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004807 localization Effects 0.000 title claims description 23
- 238000000034 method Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 22
- 238000009826 distribution Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 6
- 210000003414 extremity Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- GELKBWJHTRAYNV-UHFFFAOYSA-K lithium iron phosphate Chemical compound [Li+].[Fe+2].[O-]P([O-])([O-])=O GELKBWJHTRAYNV-UHFFFAOYSA-K 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012776 robust process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
- Numerical Control (AREA)
Description
−定位面内のロボットの座標x1とy1の推定値および基準方向に対するその配向θ1の推定値をオドメータにより判断する工程と、
−少なくとも二対の関心点を識別する仮想コンパスを使用することによりロボットの配向の推定値θ2を判断する工程であって、各対の第1の点は基準パノラマ内で識別され、各対の第2の点はクエリーパノラマ(query panorama)内で識別され、この工程はθ1により初期化される、工程と、
−基準パノラマの一部分とクエリーパノラマの一部分とを相関付けることによりおよびいつ当該相関が最大化されるかを識別することによりロボットの配向の推定値θ3を判断する工程であって、この工程は配向の既推定値のうちの1つにより初期化される、工程と、
−Iterative Closest Points技術を使用することにより定位場所のロボット位置の推定値x4、y4を判断する工程であって、この工程はx1とy1により初期化される、工程と、
−前述の推定値の標準偏差σ_x1、σ_x2、σ_θ1、σ_θ2、σ_θ3、σ_x4、σ_y4を判断する工程と、
−前記標準偏差を使用することにより各利用可能推定値の確率分布G(x1)、G(y1)、G(θ1)、G(θ2)、G(θ3)、G(x4)、G(y4)を判断する工程と、
−前記ガウス確率分布を組み合わせることによりロボットのxとy軸に沿った座標と配向θの3つのグローバル分布GLOB(x)、GLOB(y)、GLOB(θ)をそれぞれ判断し、最尤法をグローバル分布へ適用することにより定位面内のロボットの座標のグローバル推定値xg、ygおよびその配向のグローバル推定値θgを判断する工程と、を含む。
GLOB(x)=G(x1)×G(x4)
GLOB(y)=G(y1)×G(y4)
GLOB(θ)=G(θ1)×G(θ2)×G(θ3)
−少なくとも1つの画像抽出器と、
−前述の特許請求項のいずれか一項に記載の方法を実施するようにされた処理能力と、を少なくとも含むヒューマノイドロボットに関わる。
●x1:x定位座標の推定値、
●y1:y定位座標の推定値、
●θ1:角度θの推定値。
GLOB(x)=G(x1)×G(x4)
GLOB(y)=G(y1)×G(y4)
GLOB(θ)=G(θ1)×G(θ2)×G(θ3)
−例えばその眼、耳内に、およびその肩上にLEDと、
−その耳内に配置される拡声器(例えば2つの)と、を含み得る。
Claims (8)
- 2つの軸xとyを有する二次元基準に関連付けられた定位面内にロボットを定位する方法であって、
−前記定位面内の前記ロボットの座標x1とy1の推定値および基準方向に対するその配向θ1の推定値をオドメータにより判断する工程(200)と、
−少なくとも二対の関心点を識別する仮想コンパスを使用することにより前記ロボットの配向の推定値θ2を判断する工程(202)であって、各対の第1の点は基準パノラマ内で識別され、各対の第2の点はクエリーパノラマ内で識別され、この工程はθ1により初期化される、工程と、
−前記基準パノラマの一部分と前記クエリーパノラマの一部分とを相関付けることによりおよびいつ前記相関が最大化されるかを識別することにより前記ロボットの配向の推定値θ3を判断する工程(204)であって、この工程は前記配向の既推定値のうちの1つにより初期化される、工程と、
−Iterative Closest Points技術を使用することにより定位面内の前記ロボット位置の推定値x4、y4を判断する工程(206)であって、この工程はx1とy1により初期化され、前記iterative Closest Points技術は配向の入力および初期仮定として3Dポイントクラウドを使用する、工程と、
−前述の推定値の標準偏差σ_x1、σ_y1、σ_θ1、σ_θ2、σ_θ3、σ_x4、σ_y4を判断する工程と、
−前記標準偏差を使用することにより各利用可能推定値のガウス確率分布G(x1)、G(y1)、G(θ1)、G(θ2)、G(θ3)、G(x4)、G(y4)を判断する工程(220)と、
−前記ガウス確率分布を組み合わせることにより前記ロボットのxとy軸に沿った座標と配向θとの3つのグローバル分布GLOB(x)、GLOB(y)、GLOB(θ)をそれぞれ判断し(221)、最尤法を前記グローバル分布へ適用することにより前記定位面内の前記ロボットの座標のグローバル推定値xg、ygおよびその配向のグローバル推定値θgを判断する工程と、を含む方法。 - 所与の工程により提供される前記推定値は、信頼できると考えられる場合(201, 203, 205, 207)だけ、その後の工程により使用される、請求項1に記載の方法。
- 推定値は、その標準偏差が所定閾値未満であると信頼できると考えられる、請求項2に記載の方法。
- 前記グローバル確率分布は次のように導出される:
GLOB(x)=G(x1)*G(x4)
GLOB(y)=G(y1)*G(y4)
GLOB(θ)=G(θ1)*G(θ2)*G(θ3)、請求項1乃至3のいずれか一項に記載の方法。 - θ3値は2つの画像ピラミッドにわたって行われる画像テンプレートマッチングに基づき推定され(204)、
第1の画像ピラミッド(401)は、いくつかのスケーリング工程を使用することによりその規模を縮小することにより単一基準画像(420)から生成され、
前記第2の画像ピラミッド(400)はいくつかのスケーリング工程を使用することによりその規模を縮小することにより単一クエリー画像(410)から生成される、請求項1乃至4のいずれか一項に記載の方法。 - −少なくとも1つの基準画像を含むクエリーパノラマを構築するために2D RGBカメラと
−前記クエリーパノラマに基づき請求項1乃至5のいずれか一項に記載の前記ロボットを定位するための方法を実施するようにされた処理能力とを少なくとも含むヒューマノイドロボット(510)。 - Iterative Closest Point技術を実施するためにポイントクラウドを計算する(206)ために3Dセンサが使用される請求項6に記載のヒューマノイドロボット。
- 請求項1乃至5のいずれか一項に記載の方法をコンピュータに実施させるコード手段を含むコンピュータ可読媒体上に格納されたコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14305543.2 | 2014-04-14 | ||
EP14305543.2A EP2933604B1 (en) | 2014-04-14 | 2014-04-14 | A method for localizing a robot in a localization plane |
PCT/EP2015/058011 WO2015158682A1 (en) | 2014-04-14 | 2015-04-14 | A method for localizing a robot in a localization plane |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017514124A JP2017514124A (ja) | 2017-06-01 |
JP6374984B2 true JP6374984B2 (ja) | 2018-08-15 |
Family
ID=51178823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016562518A Expired - Fee Related JP6374984B2 (ja) | 2014-04-14 | 2015-04-14 | 定位面内にロボットを定位する方法 |
Country Status (14)
Country | Link |
---|---|
US (1) | US10197399B2 (ja) |
EP (1) | EP2933604B1 (ja) |
JP (1) | JP6374984B2 (ja) |
KR (1) | KR101901042B1 (ja) |
CN (1) | CN106574836A (ja) |
AU (1) | AU2015248967B2 (ja) |
CA (1) | CA2945860C (ja) |
DK (1) | DK2933604T3 (ja) |
ES (1) | ES2617307T3 (ja) |
MX (1) | MX2016013023A (ja) |
NZ (1) | NZ725015A (ja) |
RU (1) | RU2662913C2 (ja) |
SG (1) | SG11201608198PA (ja) |
WO (1) | WO2015158682A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2952993B1 (en) | 2014-06-05 | 2018-04-25 | Softbank Robotics Europe | Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot |
EP3287286A4 (en) * | 2015-04-21 | 2018-12-26 | Shibaura Mechatronics Corporation | Tablet printing device and tablet printing method |
FR3051383B1 (fr) * | 2016-05-23 | 2020-02-14 | Softbank Robotics Europe | Robot mobile maitre motorise |
US10427305B2 (en) * | 2016-07-21 | 2019-10-01 | Autodesk, Inc. | Robotic camera control via motion capture |
CN109141437B (zh) * | 2018-09-30 | 2021-11-26 | 中国科学院合肥物质科学研究院 | 一种机器人全局重定位方法 |
US11747825B2 (en) | 2018-10-12 | 2023-09-05 | Boston Dynamics, Inc. | Autonomous map traversal with waypoint matching |
CN109916431B (zh) * | 2019-04-12 | 2021-01-29 | 成都天富若博特科技有限责任公司 | 一种针对四轮移动机器人的车轮编码器标定算法 |
EP4010659A1 (en) | 2019-08-06 | 2022-06-15 | Boston Dynamics, Inc. | Intermediate waypoint generator |
US11577395B2 (en) | 2020-02-17 | 2023-02-14 | Toyota Research Institute, Inc. | Systems for determining location using robots with deformable sensors |
CN112004183B (zh) * | 2020-07-08 | 2022-05-31 | 武汉科技大学 | 一种基于卷积神经网络融合IMU和WiFi信息的机器人自主定位方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR1353295A (fr) | 1962-04-04 | 1964-02-21 | Parnall & Sons Ltd | Appareil fournisseur pour machines à trier des documents |
JPH0953939A (ja) * | 1995-08-18 | 1997-02-25 | Fujitsu Ltd | 自走車の自己位置測定装置および自己位置測定方法 |
WO2003102706A1 (fr) * | 2002-05-31 | 2003-12-11 | Fujitsu Limited | Robot telecommande et procede d'identification automatique de la position de robot. |
US7774158B2 (en) * | 2002-12-17 | 2010-08-10 | Evolution Robotics, Inc. | Systems and methods for landmark generation for visual simultaneous localization and mapping |
US7689321B2 (en) * | 2004-02-13 | 2010-03-30 | Evolution Robotics, Inc. | Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system |
US8073528B2 (en) * | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
JP2008084135A (ja) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | 移動制御方法、移動ロボットおよび移動制御プログラム |
KR100877071B1 (ko) * | 2007-07-18 | 2009-01-07 | 삼성전자주식회사 | 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치 |
JP2009187204A (ja) * | 2008-02-05 | 2009-08-20 | Toyota Motor Corp | 画像処理装置 |
CN101630162B (zh) * | 2008-07-16 | 2011-06-08 | 中国科学院自动化研究所 | 多移动机器人局部跟随控制方法 |
JP5141644B2 (ja) * | 2009-06-23 | 2013-02-13 | トヨタ自動車株式会社 | 自律移動体、自己位置推定装置、およびプログラム |
US9599461B2 (en) * | 2010-11-16 | 2017-03-21 | Ectoscan Systems, Llc | Surface data acquisition, storage, and assessment system |
CN102359784B (zh) * | 2011-08-01 | 2013-07-24 | 东北大学 | 一种室内移动机器人自主导航避障***及方法 |
US10027952B2 (en) * | 2011-08-04 | 2018-07-17 | Trx Systems, Inc. | Mapping and tracking system with features in three-dimensional space |
US8908913B2 (en) * | 2011-12-19 | 2014-12-09 | Mitsubishi Electric Research Laboratories, Inc. | Voting-based pose estimation for 3D sensors |
US9420265B2 (en) * | 2012-06-29 | 2016-08-16 | Mitsubishi Electric Research Laboratories, Inc. | Tracking poses of 3D camera using points and planes |
FR3004570B1 (fr) | 2013-04-11 | 2016-09-02 | Aldebaran Robotics | Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference |
-
2014
- 2014-04-14 ES ES14305543.2T patent/ES2617307T3/es active Active
- 2014-04-14 DK DK14305543.2T patent/DK2933604T3/en active
- 2014-04-14 EP EP14305543.2A patent/EP2933604B1/en not_active Not-in-force
-
2015
- 2015-04-14 WO PCT/EP2015/058011 patent/WO2015158682A1/en active Application Filing
- 2015-04-14 MX MX2016013023A patent/MX2016013023A/es unknown
- 2015-04-14 JP JP2016562518A patent/JP6374984B2/ja not_active Expired - Fee Related
- 2015-04-14 NZ NZ725015A patent/NZ725015A/en not_active IP Right Cessation
- 2015-04-14 SG SG11201608198PA patent/SG11201608198PA/en unknown
- 2015-04-14 KR KR1020167028740A patent/KR101901042B1/ko active IP Right Grant
- 2015-04-14 AU AU2015248967A patent/AU2015248967B2/en not_active Ceased
- 2015-04-14 CA CA2945860A patent/CA2945860C/en not_active Expired - Fee Related
- 2015-04-14 CN CN201580019722.4A patent/CN106574836A/zh active Pending
- 2015-04-14 US US15/128,901 patent/US10197399B2/en not_active Expired - Fee Related
- 2015-04-14 RU RU2016143549A patent/RU2662913C2/ru not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
AU2015248967A1 (en) | 2016-10-27 |
US10197399B2 (en) | 2019-02-05 |
DK2933604T3 (en) | 2017-03-13 |
NZ725015A (en) | 2017-11-24 |
ES2617307T3 (es) | 2017-06-16 |
RU2662913C2 (ru) | 2018-07-31 |
EP2933604B1 (en) | 2016-11-30 |
CN106574836A (zh) | 2017-04-19 |
EP2933604A1 (en) | 2015-10-21 |
US20170131102A1 (en) | 2017-05-11 |
SG11201608198PA (en) | 2016-10-28 |
RU2016143549A (ru) | 2018-05-14 |
MX2016013023A (es) | 2017-05-30 |
RU2016143549A3 (ja) | 2018-05-14 |
JP2017514124A (ja) | 2017-06-01 |
CA2945860A1 (en) | 2015-10-22 |
WO2015158682A1 (en) | 2015-10-22 |
KR101901042B1 (ko) | 2018-09-20 |
CA2945860C (en) | 2018-01-23 |
AU2015248967B2 (en) | 2018-03-29 |
KR20170023782A (ko) | 2017-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6374984B2 (ja) | 定位面内にロボットを定位する方法 | |
AU2018271237B2 (en) | Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot | |
CN106573377B (zh) | 具有冲突避免和轨迹恢复能力的类人机器人 | |
WO2018159168A1 (en) | System and method for virtually-augmented visual simultaneous localization and mapping | |
TW201722657A (zh) | 使用來自一機器人之攝影機的攝影機影像之經偵測邊緣以及從一環境的3d模型推得的經偵測邊緣來定位該環境中的機器人 | |
Shu et al. | Application of extended Kalman filter for improving the accuracy and smoothness of Kinect skeleton-joint estimates | |
JP6919882B2 (ja) | 人推定システムおよび推定プログラム | |
Kobzili et al. | Multi-rate robust scale estimation of monocular SLAM | |
Dam et al. | Person following mobile robot using pedestrian dead-reckoning with inertial data of smartphones | |
Zhang et al. | A depth-enhanced visual inertial odometry for a robotic navigation aid for blind people | |
Liu et al. | Processed RGB-D slam based on hog-man algorithm | |
Hwang et al. | A study on robust motion control of humanoid type robot for cooperative working | |
Kundu et al. | Canescanner: Obstacle detection for people with visual disabilities | |
Ki et al. | A Stable Walking Control of Two–Legs Biped Robot | |
Zhao et al. | Obstacles Perception for Serpentine Robot Based on Optical Flow Modules and Multi-Sensor Fusion | |
Sung et al. | A study on stable motion control of humanoid robot for unmanned FA | |
Ho | A stereo vision based target tracking and obstacle avoidance | |
Cong-Nguyen et al. | A study on robust walking technology of humanoid robots | |
Sung et al. | A real-time implementation of walking control for humanoid robot | |
Heshmat et al. | Dynamic feature detection using virtual correction and camera oscillations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171024 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6374984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |