JP2019212291A - コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法 - Google Patents
コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法 Download PDFInfo
- Publication number
- JP2019212291A JP2019212291A JP2019062813A JP2019062813A JP2019212291A JP 2019212291 A JP2019212291 A JP 2019212291A JP 2019062813 A JP2019062813 A JP 2019062813A JP 2019062813 A JP2019062813 A JP 2019062813A JP 2019212291 A JP2019212291 A JP 2019212291A
- Authority
- JP
- Japan
- Prior art keywords
- computer vision
- geomagnetic
- weight
- coordinates
- confidence value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000010276 construction Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 239000002245 particle Substances 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
- H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/04—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
- G01C21/08—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means involving use of the magnetic field of the earth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1654—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Environmental & Geological Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
- Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
Description
地磁気信号軌跡を検出して地磁気信号座標を構築するための地磁気検出ユニットを少なくとも含む地磁気信号位置決めモジュールと、
確立されたコンピュータビジョン座標及び地磁気信号座標を格納するデータベースと、現在位置及び走行軌跡を検出するための慣性測定ユニットとを少なくとも含み、該コンピュータビジョン座標と該地磁気信号座標とを組み合わせてコンピュータビジョンマップ及び地磁気データマップを生成するためのマップ構築モジュールと、
構築された該コンピュータビジョン座標と該地磁気信号座標とに基づいて、コンピュータビジョンウェイトと地磁気信号ウェイトとを算出するとともに、該コンピュータビジョンウェイトと該地磁気信号ウェイトとに基づいてウェイト方程式に代入することで現在位置を統合推定するウェイトモジュールと、を備え、
該ウェイト方程式は、
コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステムを提供する。
地磁気検出ユニットにより地磁気信号軌跡を検出して地磁気信号座標を構築する工程と、
構築された該コンピュータビジョン座標及び該地磁気信号座標をデータベースで格納する工程と、
慣性測定ユニットにより現在位置及び走行軌跡を検出することで該コンピュータビジョン座標と該地磁気信号座標とを組み合わせてコンピュータビジョンマップ及び地磁気データマップを生成する工程と、
構築された該コンピュータビジョン座標と該地磁気信号座標とに基づいて、コンピュータビジョンウェイトと地磁気信号ウェイトとを算出するとともに、該コンピュータビジョンウェイトと該地磁気信号ウェイトとに基づいてウェイト方程式に代入することで現在位置を統合推定する工程と、を備え、
該ウェイト方程式は、
コンピュータビジョンと結合される地磁気信号に基づいた室内位置決め方法を提供する。
11 コンピュータビジョン位置決めモジュール
111 撮像ユニット
13 地磁気信号位置決めモジュール
131 地磁気検出ユニット
15 マップ構築モジュール
151 データベース
153 慣性測定ユニット
17 ウェイトモジュール
Claims (18)
- 周囲環境の空間画像を取得してコンピュータビジョン座標を構築するための撮像ユニットを少なくとも含むコンピュータビジョン位置決めモジュールと、
地磁気信号軌跡を検出して地磁気信号座標を構築するための地磁気検出ユニットを少なくとも含む地磁気信号位置決めモジュールと、
構築されたコンピュータビジョン座標及び地磁気信号座標を格納するデータベースと、現在位置及び走行軌跡を検出するための慣性測定ユニットとを少なくとも含み、該コンピュータビジョン座標と該地磁気信号座標とを組み合わせてコンピュータビジョンマップ及び地磁気データマップを生成するためのマップ構築モジュールと、
構築された該コンピュータビジョン座標と該地磁気信号座標とに基づいて、コンピュータビジョンウェイトと地磁気信号ウェイトとを算出するとともに、該コンピュータビジョンウェイトと該地磁気信号ウェイトとに基づいてウェイト方程式に代入することで現在位置を統合推定するウェイトモジュールと、を備え、
該ウェイト方程式は、
コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム。 - 該記述子はSIFT−like記述子またはbinary記述子を含む、
請求項4に記載の室内位置決めシステム。 - 該マップ構築モジュールは、画像フレームの次元を降下させ、照合に必要な時間を減少するためのBOW(Bag of Words)モデル学習モジュールを含む、
請求項1に記載の室内位置決めシステム。 - 該マップ構築モジュールは、視覚慣性走行距離計測(Visual−Inertial Odometry、VIO)演算法により移動軌跡を追跡することで、該コンピュータビジョン座標を構築する、
請求項1に記載の室内位置決めシステム。 - 該マップ構築モジュールは、粒子フィルタ演算法により磁場差異曲線移動軌跡を照合することで、該地磁気信号座標を構築する、
請求項1に記載の室内位置決めシステム。 - 撮像ユニットにより周囲環境の空間画像を取得してコンピュータビジョン座標を構築する工程と、
地磁気検出ユニットにより地磁気信号軌跡を検出して地磁気信号座標を構築する工程と、
構築された該コンピュータビジョン座標及び該地磁気信号座標をデータベースで格納する工程と、
慣性測定ユニットにより現在位置及び走行軌跡を検出することで該コンピュータビジョン座標と該地磁気信号座標とを組み合わせてコンピュータビジョンマップ及び地磁気データマップを生成する工程と、
構築された該コンピュータビジョン座標と該地磁気信号座標とに基づいて、コンピュータビジョンウェイトと地磁気信号ウェイトとを算出するとともに、該コンピュータビジョンウェイトと該地磁気信号ウェイトとに基づいてウェイト方程式に代入することで現在位置を統合推定する工程と、を備え、
該ウェイト方程式は、
コンピュータビジョンと結合される地磁気信号に基づいた室内位置決め方法。 - 該記述子はSIFT−like記述子またはbinary記述子を含む、
請求項13に記載の室内位置決め方法。 - 該コンピュータビジョン座標の構築は、画像フレームの次元を降下させ、照合に必要な時間を減少するためのBOW(Bag of Words)モデル学習モジュールを含む、
請求項10に記載の室内位置決め方法。 - 該コンピュータビジョン座標は、視覚慣性走行距離計測(Visual−Inertial Odometry、VIO)演算法により移動軌跡を追跡することで構築される、
請求項10に記載の室内位置決め方法。 - 該コンピュータビジョン座標は、粒子フィルタ演算法により磁場差異曲線移動軌跡を照合することで構築される、
請求項10に記載の室内位置決め方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862681721P | 2018-06-07 | 2018-06-07 | |
US62/681,721 | 2018-06-07 | ||
TW107145464 | 2018-12-17 | ||
TW107145464A TWI671740B (zh) | 2018-06-07 | 2018-12-17 | 基於地磁訊號結合電腦視覺的室內定位系統及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019212291A true JP2019212291A (ja) | 2019-12-12 |
JP6820967B2 JP6820967B2 (ja) | 2021-01-27 |
Family
ID=68618732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019062813A Active JP6820967B2 (ja) | 2018-06-07 | 2019-03-28 | コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10645668B2 (ja) |
JP (1) | JP6820967B2 (ja) |
CN (1) | CN110579207B (ja) |
TW (1) | TWI671740B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112367614A (zh) * | 2020-10-27 | 2021-02-12 | 华南师范大学 | 一种基于LSTM的Wi-Fi与地磁场融合的室内定位算法 |
CN114222240A (zh) * | 2021-10-29 | 2022-03-22 | 中国石油大学(华东) | 一种基于粒子滤波的多源融合定位方法 |
CN114543791A (zh) * | 2022-01-20 | 2022-05-27 | 长安大学 | 基于地磁特征量的高精度实时导航定位方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI671740B (zh) * | 2018-06-07 | 2019-09-11 | 光禾感知科技股份有限公司 | 基於地磁訊號結合電腦視覺的室內定位系統及方法 |
CN111432368B (zh) * | 2020-03-31 | 2022-10-21 | 中国人民解放军国防科技大学 | 一种适用于稀疏锚节点wsn的测距定位方法 |
CN111783849B (zh) * | 2020-06-15 | 2022-10-28 | 清华大学 | 一种室内定位方法、装置、电子设备及存储介质 |
CN112013842A (zh) * | 2020-08-29 | 2020-12-01 | 桂林电子科技大学 | 一种基于图像地磁场和惯性传感器的多模态室内定位方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8498811B2 (en) * | 2011-02-09 | 2013-07-30 | SenionLab AB | Method and device for indoor positioning |
US9109889B2 (en) * | 2011-06-24 | 2015-08-18 | Trimble Navigation Limited | Determining tilt angle and tilt direction using image processing |
US9134127B2 (en) * | 2011-06-24 | 2015-09-15 | Trimble Navigation Limited | Determining tilt angle and tilt direction using image processing |
US8818424B2 (en) * | 2013-01-03 | 2014-08-26 | Qualcomm Incorporated | Inter-AP distance estimation using crowd sourcing |
CN104390643B (zh) * | 2014-11-24 | 2017-05-31 | 上海赛特斯信息科技股份有限公司 | 基于多信息融合实现室内定位的方法 |
US10114464B2 (en) * | 2015-06-30 | 2018-10-30 | Stmicroelectronics S.R.L. | Device and method for determination of angular position in three-dimensional space, and corresponding electronic apparatus |
US9772395B2 (en) * | 2015-09-25 | 2017-09-26 | Intel Corporation | Vision and radio fusion based precise indoor localization |
JP2017067469A (ja) * | 2015-09-28 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
WO2017058732A1 (en) * | 2015-09-28 | 2017-04-06 | Nextnav, Llc | Altitude-based indoor or outdoor detection |
GB2551521A (en) * | 2016-06-20 | 2017-12-27 | Nokia Technologies Oy | Distributed audio capture and mixing controlling |
CN106403955A (zh) * | 2016-10-13 | 2017-02-15 | 北京国承万通信息科技有限公司 | 定位方法及*** |
CN106648116B (zh) * | 2017-01-22 | 2023-06-20 | 隋文涛 | 一种基于动作捕捉的虚拟现实综合*** |
CN106843484B (zh) * | 2017-01-22 | 2019-12-13 | 隋文涛 | 一种融合室内定位数据与动作捕捉数据的方法 |
CN107339990B (zh) * | 2017-06-27 | 2020-05-08 | 北京邮电大学 | 多模式融合定位***及方法 |
CN107576325B (zh) * | 2017-08-25 | 2019-10-11 | 北京麦钉艾特科技有限公司 | 一种融合视觉里程计和磁传感器的室内定位终端 |
CN107830862A (zh) * | 2017-10-13 | 2018-03-23 | 桂林电子科技大学 | 一种基于智能手机的室内定位行人追踪的方法 |
TWI671740B (zh) * | 2018-06-07 | 2019-09-11 | 光禾感知科技股份有限公司 | 基於地磁訊號結合電腦視覺的室內定位系統及方法 |
US10262437B1 (en) * | 2018-10-31 | 2019-04-16 | Booz Allen Hamilton Inc. | Decentralized position and navigation method, device, and system leveraging augmented reality, computer vision, machine learning, and distributed ledger technologies |
-
2018
- 2018-12-17 TW TW107145464A patent/TWI671740B/zh active
-
2019
- 2019-03-28 JP JP2019062813A patent/JP6820967B2/ja active Active
- 2019-03-29 CN CN201910250720.6A patent/CN110579207B/zh active Active
- 2019-05-24 US US16/421,540 patent/US10645668B2/en active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112367614A (zh) * | 2020-10-27 | 2021-02-12 | 华南师范大学 | 一种基于LSTM的Wi-Fi与地磁场融合的室内定位算法 |
CN112367614B (zh) * | 2020-10-27 | 2022-10-21 | 华南师范大学 | 一种基于LSTM的Wi-Fi与地磁场融合的室内定位算法 |
CN114222240A (zh) * | 2021-10-29 | 2022-03-22 | 中国石油大学(华东) | 一种基于粒子滤波的多源融合定位方法 |
CN114543791A (zh) * | 2022-01-20 | 2022-05-27 | 长安大学 | 基于地磁特征量的高精度实时导航定位方法 |
CN114543791B (zh) * | 2022-01-20 | 2023-05-26 | 长安大学 | 基于地磁特征量的高精度实时导航定位方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190380106A1 (en) | 2019-12-12 |
TWI671740B (zh) | 2019-09-11 |
JP6820967B2 (ja) | 2021-01-27 |
TW202001892A (zh) | 2020-01-01 |
CN110579207A (zh) | 2019-12-17 |
CN110579207B (zh) | 2022-09-13 |
US10645668B2 (en) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019212291A (ja) | コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法 | |
Liu et al. | Fusion of magnetic and visual sensors for indoor localization: Infrastructure-free and more effective | |
Xie et al. | A reliability-augmented particle filter for magnetic fingerprinting based indoor localization on smartphone | |
CN109584276A (zh) | 关键点检测方法、装置、设备及可读介质 | |
Yin et al. | Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments | |
CN105424026A (zh) | 一种基于点云轨迹的室内导航定位方法与*** | |
Peng et al. | CrowdGIS: Updating digital maps via mobile crowdsensing | |
Wang et al. | Pedestrian heading estimation based on spatial transformer networks and hierarchical LSTM | |
WO2023083256A1 (zh) | 位姿显示方法、装置及***、服务器以及存储介质 | |
Peng et al. | Indoor floor plan construction through sensing data collected from smartphones | |
CN114485640A (zh) | 基于点线特征的单目视觉惯性同步定位与建图方法及*** | |
US20230236219A1 (en) | Visual inertial odometry with machine learning depth | |
Zhang et al. | NaviGlass: Indoor Localisation Using Smart Glasses. | |
CN113721633B (zh) | 一种基于行人轨迹预测的移动机器人路径规划方法 | |
Wen et al. | CAE-RLSM: Consistent and efficient redundant line segment merging for online feature map building | |
Cai et al. | Multitask learning method for detecting the visual focus of attention of construction workers | |
Liu et al. | Multi-modal context propagation for person re-identification with wireless positioning | |
Teng et al. | SISE: Self-updating of indoor semantic floorplans for general entities | |
Wang et al. | CrowdMagMap: Crowdsourcing based magnetic map construction for shopping mall | |
CA2894863A1 (en) | Indoor localization using crowdsourced data | |
CN112396831A (zh) | 一种交通标识的三维信息生成方法和装置 | |
Gu et al. | Spotlight: Hot target discovery and localization with crowdsourced photos | |
Liu et al. | A visual SLAM method assisted by IMU and deep learning in indoor dynamic blurred scenes | |
Chai et al. | Tourist Street View Navigation and Tourist Positioning Based on Multimodal Wireless Virtual Reality | |
Zhong et al. | DynaTM-SLAM: Fast filtering of dynamic feature points and object-based localization in dynamic indoor environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190328 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190805 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6820967 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |