JP6773471B2 - 自律移動体と環境地図更新装置 - Google Patents
自律移動体と環境地図更新装置 Download PDFInfo
- Publication number
- JP6773471B2 JP6773471B2 JP2016146615A JP2016146615A JP6773471B2 JP 6773471 B2 JP6773471 B2 JP 6773471B2 JP 2016146615 A JP2016146615 A JP 2016146615A JP 2016146615 A JP2016146615 A JP 2016146615A JP 6773471 B2 JP6773471 B2 JP 6773471B2
- Authority
- JP
- Japan
- Prior art keywords
- map
- credibility
- moving body
- estimated position
- autonomous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007613 environmental effect Effects 0.000 title claims description 92
- 238000004364 calculation method Methods 0.000 claims description 197
- 238000000034 method Methods 0.000 claims description 80
- 230000001419 dependent effect Effects 0.000 claims description 28
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000012935 Averaging Methods 0.000 claims 2
- 239000002245 particle Substances 0.000 description 44
- 230000008569 process Effects 0.000 description 42
- 230000006870 function Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 17
- 238000012549 training Methods 0.000 description 14
- 230000007423 decrease Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000000491 multivariate analysis Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010494 dissociation reaction Methods 0.000 description 1
- 230000005593 dissociations Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Instructional Devices (AREA)
Description
自律移動体から障害物までの距離と方位を観測する観測装置が用意されていれば、その観測結果から、自律移動体から障害物までの距離と方位の情報を特定することができる。以下では、観測装置で観測した障害物までの距離と方位の情報を観測結果という。
複数の位置を仮定し、仮定した位置の各々で計算結果を計算することが可能である。この場合、観測結果に最もよく一致する計算結果をもたらす仮定位置に自律移動体が存在しているとすることができる。
(特徴2)観測装置は、自律移動体に対する方位角を変化させながら、方位角に対応づけて障害物までの距離を観測する。
(特徴3)観測装置は、自律移動体に搭載されている。
(特徴4)環境地図から、障害物の輪郭上に位置している点群の位置を導出可能である。
(特徴5)観測装置から、障害物の輪郭上に位置している点群の位置を導出可能である。
(特徴6)環境地図更新手段は、同一方位角において、観測装置で観測した距離が環境地図から計算した距離よりも短い場合に、環境地図が記憶している点を観測装置が観測した点に置き換える。
三角測量センサ16については、後記する。
演算装置18は、後述する様々な処理を実行する。CPU20がROM24に記憶された演算プログラムを実行することで、CPU20は、図2に示す地図依存式推定位置計算部28、地図不依存式推定位置計算部29、図3に示す位置誤差計算部34等として機能する。なお、演算装置18による移動体10の走行制御については、公知の方法で行うことができるため、ここでは、演算装置18による推定位置計算処理と環境地図更新処理等について詳細に説明する。
図2に示すように、演算装置18は、環境地図記憶部26と、地図依存式推定位置計算部(第1計算部と略称する)28を備える。第1計算部28は、時間間隔をおいて繰り返して移動体10の推定位置を計算する。
MCLによって地図に依存する推定位置を計算する処理では、
(1)1つ前のステップにおいて計算された統合推定位置を用いる。現在のステップが、移動体10がスタート地点から移動を開始してからの最初のステップであるときは、上記「1つ前のステップにおいて計算された統合推定位置」はスタート地点の位置を表す。
(2)1つ前のステップにおいて計算された統合推定位置を、移動体10の運動モデルに従って移動させ、現在のステップの実行時における推定位置を計算する。この段階では、運動モデルに従って推定位置を計算する。
(3)前記(2)の推定位置を中心にし、その周囲に分布しているパーティクル集合を生成する。ここでいうパーティクルとは、その位置にあると仮定して計算を進める仮定位置のことをいい、移動体10のx座標、y座標、及びヨー角を備える。
(4)次に、環境地図記憶部26から取得した環境地図と、パーティクルの位置とヨー角から、パーティクル毎に、方位角に対する障害物までの距離を計算する。すなわち、計算結果を求める。
(5)LRF14も、方位角に対する障害物までの距離を観測している。すなわち、観測結果が得られている。
(6)そこで、前記(4)で計算した方位角に対する障害物までの距離の分布(計算結果)と、前記(5)で観測した方位角に対する障害物までの距離の分布(観測結果)を対比する。
(7)環境地図が正確なものであれば、特定の1個のパーティクルにおいて(4)の計算結果と(5)の観察結果が一致し、その他のパーティクルの全部で(4)と(5)が不一致となる。この場合、移動体10がその特定のパーティクルに位置している確率が高く、他のパーティクルに位置している確率が低いといえる。すなわち、(4)の計算結果と(5)の観察結果の一致度から、移動体10が各パーティクルに位置している確率を計算することができる。
(8)パーティクル毎に確率を計算すれば、確率の分布を得ることができる。その確率分布がピークとなる位置に、移動体10が位置しているとすることができる。
(9)パーティクルの選択が不適切であり、正しい推定位置が計算できない場合がある。その場合は、確率分布において、高い確率が分布している領域ではパーティクル密度を上げ、低い確率が分布している領域ではパーティクル密度を下げる処理をして、(4)以降の処理を繰り返す。これによって、パーティクルの分布が適正化され、正しい推定位置が計算可能となる。
前記(2)に代えて、1つ前のステップにおいて計算された統合推定位置に、最新1ステップ分の移動ベクトル(エンコーダ12から得られる)を加算した推定位置を、パーティクル群の中央位置としてもよい。この場合も、前記(8)で計算される推定位置は、地図に依存して推定した位置となる。
移動体10は、自律走行を行う前に、学習走行と呼ばれる走行を行う。以下では、移動体10の学習走行、及び学習走行時に得られるデータを元に学習データを生成する処理について説明する。なお、学習データとは、後述する信憑度計算式を生成する処理に用いられるデータである。
移動体10が信憑度計算式を生成する処理について説明する。図6に示すように、演算装置18は、上述した処理で使用される各部の他に、信憑度計算式生成部46と、信憑度計算式記憶部48を備える。
説明変数X1〜X3に用いる変数(σx、σy、wmax)は互いに独立しているため、回帰係数b1〜b3は、項目間の影響が排除された係数となる。従って、不信度を算出する際に、より正確に項目ごとの影響度を量ることができる。信憑度計算式生成処理はCPU20で行われる。
信憑度計算式記憶部48は、ROM24に設けられており、信憑度計算式生成部46で生成された信憑度計算式を記憶する。
移動体10が不信度pを計算する処理について説明する。演算装置18は、上述した処理で使用される各部の他に、信憑度計算部50を備える(図2参照)。
不信度pは、重み係数計算部52にも伝えられる。これについては後記する。
図2に示すように、演算装置18は、地図に依存する推定位置を計算する第1計算部28の他に、地図に依存しない推定位置を計算する地図不依存式推定位置計算部(第2計算部と略称する)29と、統合推定位置計算部54と、統合推定位置記憶部56を備える。統合推定位置記憶部56は、RAM22に設けられており、統合推定位置計算部54によって推定された統合推定位置(厳密には、環境地図上の座標)をステップごとに記憶している。第2計算部29は、統合推定位置記憶部56に記憶されている統合推定位置のうち、1つ前のステップにおける統合推定位置に、移動体10の1ステップ分の移動量ベクトルを加算することにより算出される値を、現在のステップにおける移動体10の位置と推定する。移動量ベクトルはエンコーダ12から入手可能である。上記の説明から明らかなように、第2計算部29は、直接的には環境地図を用いずに推定位置を計算する。なお、第2計算部29が計算した推定位置に、環境地図に依存した要素が含まれる場合がある。1つ前のステップにおける統合推定位置に、地図に依存する要素が含まれているからである。
移動体10は、第2領域において自律走行を行う前に、上述した学習データ生成処理及び信憑度計算式生成処理を実施する。そして、移動体10が自律走行を行う際は、信憑度計算式から算出した信憑度に基づいて重み係数を計算し、その重み係数を用いて統合推定位置を計算する。以下では、移動体10の自律走行時における統合推定位置計算処理について説明する。図2に示すように、演算装置18は、上述した処理で使用される各部の他に、重み係数計算式記憶部51と、重み係数計算部52と、統合推定位置計算部54を備える。
重み係数計算部52は、重み係数計算式記憶部51から取得した重み係数計算式に、信憑度計算部50から取得した現在のステップにおける不信度pを入力して重み係数αを求める。この処理はCPU20で行われる。重み係数計算部52で算出された重み係数αは、統合推定位置計算部54に出力される。
次に、地図更新判断処理について説明する。移動体10が、自律走行領域において自律走行用環境地図(第2環境地図)には記録されていない障害物の付近を走行すると、LRF14で取得される観測結果と環境地図から計算される計算結果とのマッチング度が低くなるため、「地図に依存する推定位置」の推定精度が低下する。このため、不信度pが高くなる。即ち、たとえパーティクル集合の中に真値が含まれていたとしても、移動体10が真値に相当するパーティクルを適合パーティクルと見なすことができず、別のパーティクルを適合パーティクルと見なすことになる。実施例の移動体10では、第1計算部28は、MCLの手法に則り、地図に依存する推定位置を計算する。このため、移動体10が第2環境地図に記録されていない障害物の付近を走行する場合は、第1計算部28により計算される地図に依存する推定位置が真値から離れていくことになり、最終的にはパーティクル集合に真値が含まれなくなる。一旦パーティクル集合に真値が含まれなくなると、この後でたとえ移動体10が自律走行領域(第2領域)において正しい環境地図が記憶されている領域を走行するようになったとしても(即ち、有用な観測結果を取得できるようになったとしても)、MCLの手法では、真値が含まれる範囲にパーティクル集合を生成することが不可能になることがある。即ち、第1計算部28で、精度良く地図に依存する推定位置を計算することが不可能になることがある。地図更新判断部58は、このような事態を避けるために、不信度pが高くなっていき、不信度pが20%を超えると、環境地図の更新指令を観測点群生成部60に出力する。すなわち、地図更新判断部58は、不信度pが0<p≦0.2を満たすとき(地図に依存する推定位置の信憑度が高いとき)は、環境地図の更新指令を出力せず、0.2<pを満たすとき(地図に依存する推定位置の信憑度が低いとき)は、観測点群生成部60に環境地図の更新指令を出力する。この処理はCPU20で行われる。なお、本実施例では、第1計算部28の重みと第2計算部29の重みが50:50となる値(すなわち、p=0.2)を環境地図の更新指令の閾値としているが、環境地図の更新を実行するか否かを判定する基準となる不信度pは、上記に限られない。例えば、20%未満であってもよいし、20%超であってもよい。
次に、演算装置18が環境地図を更新する処理の一例について図9、10を参照して説明する。まず、地図点群生成部62が、移動体10が記憶している環境地図(図10中のA参照)をxy座標値で表される地図点群(図10中のB参照)に変換する(S10)。次に、観測点群生成部60が、LRF14による現在の観測結果をxy座標値で表される観測点群(図10中のC参照)に変換する(S12)。観測点群生成部60には、統合推定位置計算部54から、現在のステップにおける統合推定位置が入力されている。観測点群生成部60は、この統合推定位置に基づいてLRF14による観測結果を環境地図座標系(xy座標系)へ変換することにより、観測点群を生成する。ステップS12、S14で変換された地図点群及び観測点群は、点群合わせ込み部64にそれぞれ出力される。なお、ステップS12とステップS14の処理は、いずれを先に実行するように演算装置18を構成してもよい。
本実施例の自律移動体は、地図依存式の推定位置計算部と、地図不依存式の推定位置計算部を合わせ持っており、両者を統合して統合推定位置を計算する。その際に、地図依存式の推定位置計算部の信憑度に基づいて、いずれの推定位置を重視するかを決定する。地図依存式の推定位置計算部の信憑度が高ければ地図に依存する推定位置を重視したものを統合推定位置とし、地図依存式の推定位置計算部の信憑度が低ければ、地図に依存しない推定位置を重視したものを統合推定位置とする。統合推定位置の信憑度が高く、環境地図の更新時に用いる自律移動体の位置の信憑度が高い。
12:エンコーダ
14:レーザレンジファインダ(LRF)
26:環境地図記憶部
28:第1計算部(地図依存式推定位置計算部)
29:第2計算部(地図不依存式推定位置計算部)
46:信憑度計算式生成部
48:信憑度計算式記憶部
50:信憑度計算部
51:重み係数計算式記憶部
52:重み係数計算部
54:統合推定位置計算部
56:統合推定位置記憶部
58:地図更新判断部
60:観測点群生成部
62:地図点群生成部
64:点群合わせ込み部
66:環境地図更新部
Claims (9)
- 自律移動体であり、
前記自律移動体が移動する領域内に存在する障害物の位置を示す環境地図を記憶している環境地図記憶手段と、
前記自律移動体から障害物までの距離と方位を観測する観測装置と、
前記自律移動体が前記環境地図上に位置すると仮定した仮定位置と前記環境地図から計算される障害物までの距離と方位の情報と、前記観測装置で観測した障害物までの距離と方位の情報から、前記自律移動体の位置を推定する地図依存式の推定位置計算手段と、
前記地図依存式の位置推定手段による推定位置の信憑度を計算する信憑度計算手段と、
前記信憑度が所定値より低下したときに、前記観測装置が観測した障害物までの距離と方位の情報に基づいて、前記環境地図記憶手段が記憶している前記環境地図を更新する環境地図更新手段、
を備えている自律移動体。 - 前記地図依存式の推定位置計算手段が、前記仮定位置毎に前記自律移動体がその仮定位置に存在する確率を計算し、前記確率の分布から位置を推定することを特徴とする請求項1に記載の自律移動体。
- 前記信憑度計算手段が、前記確率の分布から、前記信憑度を計算することを特徴とする請求項2に記載の自律移動体。
- 前記信憑度計算手段が、前記確率の分布から、前記推定位置が真値から許容範囲内に留まる信憑度を計算することを特徴とする請求項3に記載の自律移動体。
- 前記自律移動体が、移動距離と移動方向から前記自律移動体の位置を推定する地図不依存式の位置推定手段をさらに備えており、
前記信憑度が前記所定値より低下したときに、前記信憑度が前記所定値以上であった最後の推定位置にその後の移動量と移動方向を加算した最新位置を求め、前記最新位置と前記観測装置で観測した障害物までの距離と方位の情報から、前記環境地図を更新することを特徴とする請求項1〜4のいずれかの1項に記載の自律移動体。 - 前記信憑度が前記所定値より低下したときに、前記信憑度が前記所定値以上であった最後の推定位置と、前記最後の推定位置において前記観測装置で観測した障害物までの距離と方位の情報から、前記環境地図を更新することを特徴とする請求項1〜4のいずれかの1項に記載の自律移動体。
- 前記自律移動体が、
移動距離と移動方向から前記自律移動体の位置を推定する地図不依存式の推定位置計算手段と、
前記地図依存式の推定位置計算手段による推定位置と、前記地図不依存式の推定位置計算手段による推定位置を重み平均して統合推定位置を計算する装置を備えており、
前記重み平均に用いる重みを前記信憑度に基づいて決定することを特徴とする請求項1〜6のいずれかの1項に記載の自律移動体。 - 前記地図依存式の推定位置計算手段が、モンテカルロ位置同定法(Monte Carlo Localization、MCL)または拡張カルマンフィルタのいずれかの手法を用いて位置を推定する、請求項1〜7のいずれかの1項に記載の自律移動体。
- 障害物までの距離と方位を観測する観測装置を備え、移動領域内に存在する障害物の位置を示す環境地図を記憶している自律移動体のための環境地図更新装置であり、
前記自律移動体が前記環境地図上に位置すると仮定した仮定位置と前記環境地図から計算される障害物までの距離と方位の情報と、前記観測装置で観測した障害物までの距離と方位の情報から、前記自律移動体の位置を推定する地図依存式の推定位置計算手段と、
前記地図依存式の推定位置計算手段による推定位置の信憑度を計算する信憑度計算手段と、
前記信憑度が所定値より低下した場合に、前記観測装置が観測した前記障害物までの距離と方位の情報に基づいて、前記環境地図を更新する環境地図更新手段、
を備えている環境地図更新装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016146615A JP6773471B2 (ja) | 2016-07-26 | 2016-07-26 | 自律移動体と環境地図更新装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016146615A JP6773471B2 (ja) | 2016-07-26 | 2016-07-26 | 自律移動体と環境地図更新装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018017826A JP2018017826A (ja) | 2018-02-01 |
JP6773471B2 true JP6773471B2 (ja) | 2020-10-21 |
Family
ID=61075258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016146615A Active JP6773471B2 (ja) | 2016-07-26 | 2016-07-26 | 自律移動体と環境地図更新装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6773471B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7034264B2 (ja) * | 2018-04-20 | 2022-03-11 | 本田技研工業株式会社 | 自己位置推定方法 |
GB2590779B (en) * | 2018-08-06 | 2022-03-23 | Dyson Technology Ltd | A mobile robot and method of controlling thereof |
JP2020107116A (ja) * | 2018-12-27 | 2020-07-09 | 株式会社豊田自動織機 | 自律移動体 |
KR102243179B1 (ko) * | 2019-03-27 | 2021-04-21 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
CN111982133B (zh) * | 2019-05-23 | 2023-01-31 | 北京地平线机器人技术研发有限公司 | 基于高精地图对车辆进行定位的方法、装置及电子设备 |
JP2021099383A (ja) * | 2019-12-19 | 2021-07-01 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7304284B2 (ja) * | 2019-12-23 | 2023-07-06 | 株式会社構造計画研究所 | 位置推定装置、移動体、位置推定方法及びプログラム |
US11571813B2 (en) * | 2020-02-28 | 2023-02-07 | Irobot Corporation | Systems and methods for managing a semantic map in a mobile robot |
CN113225090B (zh) * | 2021-05-19 | 2024-03-22 | 上海高仙自动化科技发展有限公司 | 一种压缩方法、装置、电子设备和存储介质 |
CN113534805B (zh) * | 2021-07-19 | 2024-04-19 | 美智纵横科技有限责任公司 | 机器人回充控制方法、装置和存储介质 |
CN113703443B (zh) * | 2021-08-12 | 2023-10-13 | 北京科技大学 | 一种不依赖gnss的无人车自主定位与环境探索方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4860847B2 (ja) * | 2001-09-03 | 2012-01-25 | パイオニア株式会社 | 通信ナビゲーションシステム及び方法、並びにコンピュータプログラム |
JP2009193240A (ja) * | 2008-02-13 | 2009-08-27 | Toyota Motor Corp | 移動ロボット及び環境地図の生成方法 |
JP5402335B2 (ja) * | 2009-07-10 | 2014-01-29 | アイシン・エィ・ダブリュ株式会社 | 信頼度評価装置、信頼度評価方法および信頼度評価プログラム |
JP2011027598A (ja) * | 2009-07-27 | 2011-02-10 | Toyota Central R&D Labs Inc | 環境認識装置及びそれを備えた移動体 |
JP2014203145A (ja) * | 2013-04-02 | 2014-10-27 | パナソニック株式会社 | 自律移動装置 |
JPWO2015147111A1 (ja) * | 2014-03-28 | 2017-04-13 | ヤンマー株式会社 | 自律走行作業車両 |
WO2015193941A1 (ja) * | 2014-06-16 | 2015-12-23 | 株式会社日立製作所 | 地図生成システム及び地図生成方法 |
JP6240595B2 (ja) * | 2014-12-10 | 2017-11-29 | 株式会社豊田中央研究所 | 自己位置推定装置及び自己位置推定装置を備えた移動体 |
-
2016
- 2016-07-26 JP JP2016146615A patent/JP6773471B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018017826A (ja) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6773471B2 (ja) | 自律移動体と環境地図更新装置 | |
Santos et al. | An evaluation of 2D SLAM techniques available in robot operating system | |
CN110858076B (zh) | 一种设备定位、栅格地图构建方法及移动机器人 | |
KR102096398B1 (ko) | 자율 이동 로봇의 위치 인식 방법 | |
KR101619076B1 (ko) | 모바일 플랫폼의 동적 물체 검출 및 추적 방법 | |
KR101503903B1 (ko) | 이동 로봇의 지도 구성 장치 및 방법 | |
CN109932713B (zh) | 定位方法、装置、计算机设备、可读存储介质和机器人 | |
JP6240595B2 (ja) | 自己位置推定装置及び自己位置推定装置を備えた移動体 | |
CN109186610B (zh) | 一种auv地形匹配导航的鲁棒bslam方法 | |
CN112880694B (zh) | 确定车辆的位置的方法 | |
Lee et al. | Probabilistic map merging for multi-robot RBPF-SLAM with unknown initial poses | |
KR102547274B1 (ko) | 이동 로봇 및 이의 위치 인식 방법 | |
TWI772743B (zh) | 資訊處理裝置以及移動機器人 | |
JP2016024598A (ja) | 自律移動装置の制御方法 | |
Miller et al. | Optimal planning for target localization and coverage using range sensing | |
CN117011378A (zh) | 一种移动机器人目标定位、跟踪方法及相关设备 | |
JP2019191498A (ja) | 地図作成装置 | |
JP6438354B2 (ja) | 自己位置推定装置及び自己位置推定装置を備えた移動体 | |
Leung et al. | Evaluating set measurement likelihoods in random-finite-set slam | |
JP2017129681A (ja) | 地図作成方法 | |
Xiong et al. | A scan matching simultaneous localization and mapping algorithm based on particle filter | |
Ray et al. | Simultaneous Localisation and Image Intensity Based Occupancy Grid Map Building--A New Approach | |
Khaksar et al. | Multiquery motion planning in uncertain spaces: Incremental adaptive randomized roadmaps | |
Kim et al. | EKF-based simultaneous localization and mapping using laser corner-pattern matching | |
Boussard et al. | Observation planning for object search by a mobile robot with uncertain recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200923 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6773471 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |