JP7210429B2 - 視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体 - Google Patents
視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体 Download PDFInfo
- Publication number
- JP7210429B2 JP7210429B2 JP2019229698A JP2019229698A JP7210429B2 JP 7210429 B2 JP7210429 B2 JP 7210429B2 JP 2019229698 A JP2019229698 A JP 2019229698A JP 2019229698 A JP2019229698 A JP 2019229698A JP 7210429 B2 JP7210429 B2 JP 7210429B2
- Authority
- JP
- Japan
- Prior art keywords
- image frame
- sliding window
- reference image
- frame
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 47
- 230000000007 visual effect Effects 0.000 title claims description 36
- 238000005457 optimization Methods 0.000 claims description 64
- 238000004891 communication Methods 0.000 claims description 16
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000000429 assembly Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
参照画像フレームを確定することと、
前記参照画像フレームを修正することと、
最初画像フレームと修正後の参照画像フレームに基づいて、前記参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行うことと、を含む。
現画像フレームに基づいて、最初画像フレームが周辺化を必要とする画像フレームであるか否かを判定することと、
イエスならば、最初画像フレームを、周辺化を必要とする画像フレームとして確定することと、
ノーならば、さらに現画像フレームと前画像フレームが同じであるか否かを判定し、同じであれば、前画像フレームを参照画像フレームとして確定し、最初画像フレームを、周辺化を必要とする画像フレームとして確定することと、
現画像フレームと前画像フレームが同じではなければ、前画像フレームを、周辺化を必要とする画像フレームとして確定し、その後、参照画像フレームを修正しないことと、を含む。
現画像フレームと前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、小さくなければ、現画像フレームと前画像フレームが同じであると考えられ、小さければ、現画像フレームと前画像フレームが同じではないと考えられることである。
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、最初画像フレームを周辺化し、参照画像フレームを最初画像フレームの方向へ1フレーム平行移動させることを含む。
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、ノーならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前画像フレームを周辺化することを含む。
前記参照画像フレームがスライディングウインドウ内にあるか否かW判定し、なければ、すべてのフレームに対して非線形最適化を行うこと含む。
現在のスライディングウインドウ内の参照画像フレームを確定するための参照画像フレーム確定モジュールと、
参照画像フレームを修正するための参照画像フレーム修正モジュールと、
最初画像フレームと修正後の参照画像フレームに基づいて、前記参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行うための非線形最適化モジュールと、を含む。
現在のスライディングウインドウ内の参照画像フレームを確定するための参照画像フレーム確定モジュール1002と、
参照画像フレームを修正するための参照画像フレーム修正モジュール1003と、
最初画像フレームと修正後の参照画像フレームに基づいて、参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行うための非線形最適化モジュール1004と、を含む。
プロセッサ、通信インタフェース及びメモリは通信バスにより、相互の通信を完了する。
通信インタフェースは、クライアントまたは他のサーバなど、他の機器のネットワークエレメントと通信するために用いられる。
参照画像フレームを確定し、
前記参照画像フレームを修正し、
参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行う。
同じフレームの前画像フレームを参照画像フレームとして確定する。
現画像フレームに基づいて、最初画像フレームが周辺化を必要とする画像フレームであるか否かを判定することと、
イエスならば、最初画像フレームを、周辺化を必要とする画像フレームとして確定することと、
ノーならば、さらに現画像フレームと前画像フレームが同じであるか否かを判定し、同じであれば、前画像フレームを参照画像フレームとして確定し、最初画像フレームを、周辺化を必要とする画像フレームとして確定し、現画像フレームと前画像フレームが同じではなければ、前画像フレームを、周辺化を必要とする画像フレームとして確定し、その後、参照画像フレームを修正しないことと、を含む。
現画像フレームと前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、小さくなければ、現画像フレームと前画像フレームが同じであると考えられ、小さければ、現画像フレームと前画像フレームが同じではないと考えられることである。
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、最初画像フレームを周辺化し、参照画像フレームを最初画像フレームの方向へ1フレーム平行移動させることを含む。
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前画像フレームを周辺化することを含む。
前記参照画像フレームがスライディングウインドウ内にあるか否かを判定し、なければ、すべてのフレームに対して非線形最適化を行うことを含む。
Claims (11)
- 視覚的慣性オドメトリシステムのスライディングウインドウ内において、参照画像フレームを確定することと、
前記参照画像フレームの速度及び回転を修正することと、
最初画像フレームと修正後の参照画像フレームに基づいて、前記スライディングウインドウ内における前記参照画像フレームと前記最初画像フレーム以外の画像フレームに対して非線形最適化を行うことと、
を含み、
前記参照画像フレームは、前記スライディングウインドウ内の同じ画像フレームにおけるスライディングウインドウ内に入った時間が最も早い画像フレームであり、前記同じ画像フレームは、画像の内容が同じ画像フレームである、
ことを特徴とする視覚的慣性オドメトリシステムのロバストネスを向上させる方法。 - 参照画像フレームを確定することは、
現画像フレームと前画像フレームの画像内容が同じであるか否かを判定し、前記現画像フレームと前記前画像フレームの画像内容が同じであれば、前記前画像フレームを前記参照画像フレームとして確定し、前記最初画像フレームを、周辺化を必要とする画像フレームとして確定することを含み、
前記現画像フレームは、前記スライディングウインドウ内の全ての画像フレームのうち前記スライディングウインドウに入った時間が最も遅い画像フレームであり、前記前画像フレームは、前記スライディングウインドウの全ての画像フレームのうち前記スライディングウインドウに入った時間が2番目に遅い画像フレームである、ことを特徴とする請求項1に記載の方法。 - 前記現画像フレームと前記前画像フレームが同じではなければ、前記前画像フレームを、周辺化を必要とする画像フレームとして確定し、その後、前記参照画像フレームを修正しないことを特徴とする請求項2に記載の方法。
- 前記現画像フレームと前記前画像フレームの画像内容が同じであるか否かを判定することは、具体的には、
前記現画像フレームと前記前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、前記現画像フレームと前記前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さくなければ、前記現画像フレームと前記前画像フレームが同じであると考えられ、前記現画像フレームと前記前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さければ、前記現画像フレームと前記前画像フレームが同じではないと考えられることであることを特徴とする請求項2または請求項3に記載の方法。 - 前記スライディングウインドウ内における前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
前記周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、前記周辺化を必要とする画像フレームが前記最初画像フレームであれば、前記スライディングウインドウ内における前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前記最初画像フレームを周辺化し、前記スライディングウインドウ内において前記参照画像フレームを前記最初画像フレームの参照画像フレームのフラグNumNeedFixをNumNeedFix-1に修正することを含むことを特徴とする請求項2又は3に記載の方法。 - 前記スライディングウインドウ内における前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
前記周辺化を必要とする画像フレームが前記最初画像フレームであるか否かを判定し、前記周辺化を必要とする画像フレームが前記最初画像フレームでなければ、前記スライディングウインドウ内において前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前記前画像フレームを周辺化することを含むことを特徴とする請求項2又は3に記載の方法。 - 前記スライディングウインドウにおける前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行う前に、さらに、
前記参照画像フレームが前記スライディングウインドウ内にあるか否かを判定し、前記参照画像フレームが前記スライディングウインドウ内になければ、前記スライディングウインドウにおけるすべての画像フレームに対して非線形最適化を行うことを含むことを特徴とする請求項1に記載の方法。 - 視覚的慣性オドメトリシステムのスライディングウインドウ内において、参照画像フレームを確定するための参照画像フレーム確定モジュールと、
参照画像フレームの速度及び回転を修正するための参照画像フレーム修正モジュールと、
最初画像フレームと修正後の参照画像フレームに基づいて、前記スライディングウインドウ内における前記参照画像フレームと前記最初画像フレーム以外の画像フレームに対して非線形最適化を行うための非線形最適化モジュールと、
を含み、
前記参照画像フレームは、前記スライディングウインドウ内の同じ画像フレームにおけるスライディングウインドウ内に入った時間が最も早い画像フレームであり、前記同じ画像フレームは、画像の内容が同じ画像フレームであることを特徴とする視覚的慣性オドメトリシステムのロバストネスを向上させる装置。 - プロセッサ、メモリ、通信インタフェース及び通信バスを含み、前記プロセッサ、前記メモリ及び前記通信インタフェースは、前記通信バスにより、相互の通信を完了し、
前記メモリは少なくとも1つの実行可能なコマンドを記憶するために用いられ、前記実行可能なコマンドは前記プロセッサに請求項1から請求項8のいずれか一項に記載の視覚的慣性オドメトリシステムのロバストネスを向上させる方法に対応する操作を実行させることを特徴とするロボット。 - コンピュータ記憶媒体であって、前記コンピュータ記憶媒体には少なくとも1つの実行可能なコマンドが記憶されており、前記実行可能なコマンドはプロセッサに請求項1から請求項8のいずれか一項に記載の視覚的慣性オドメトリシステムのロバストネスを向上させる方法に対応する操作を実行させることを特徴とするコンピュータ記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811603305.6 | 2018-12-26 | ||
CN201811603305.6A CN109917644B (zh) | 2018-12-26 | 2018-12-26 | 一种提高视觉惯导***鲁棒性的方法、装置和机器人设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020107336A JP2020107336A (ja) | 2020-07-09 |
JP7210429B2 true JP7210429B2 (ja) | 2023-01-23 |
Family
ID=66960013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019229698A Active JP7210429B2 (ja) | 2018-12-26 | 2019-12-19 | 視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11188754B2 (ja) |
JP (1) | JP7210429B2 (ja) |
CN (1) | CN109917644B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112633122B (zh) * | 2020-12-17 | 2024-01-23 | 厦门大学 | 一种单目vio***的前端里程计算法及*** |
EP4024005A1 (en) * | 2021-01-04 | 2022-07-06 | Aptiv Technologies Limited | Method, device, and computer program for determining the change in position and/or orientation of the mobile apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108592919A (zh) | 2018-04-27 | 2018-09-28 | 百度在线网络技术(北京)有限公司 | 相对边缘化的制图与定位方法、装置、存储介质和终端设备 |
US10162362B2 (en) | 2016-08-29 | 2018-12-25 | PerceptIn, Inc. | Fault tolerance to provide robust tracking for autonomous positional awareness |
JP2020057264A (ja) | 2018-10-03 | 2020-04-09 | 株式会社日立製作所 | 計算機システム及びデータ分類の分析方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9576183B2 (en) * | 2012-11-02 | 2017-02-21 | Qualcomm Incorporated | Fast initialization for monocular visual SLAM |
US20140192210A1 (en) * | 2013-01-04 | 2014-07-10 | Qualcomm Incorporated | Mobile device based text detection and tracking |
US9658070B2 (en) * | 2014-07-11 | 2017-05-23 | Regents Of The University Of Minnesota | Inverse sliding-window filters for vision-aided inertial navigation systems |
US10365363B2 (en) * | 2015-05-08 | 2019-07-30 | Humatics Corporation | Mobile localization using sparse time-of-flight ranges and dead reckoning |
US10132933B2 (en) * | 2016-02-02 | 2018-11-20 | Qualcomm Incorporated | Alignment of visual inertial odometry and satellite positioning system reference frames |
US10317214B2 (en) * | 2016-10-25 | 2019-06-11 | Massachusetts Institute Of Technology | Inertial odometry with retroactive sensor calibration |
CN107869989B (zh) * | 2017-11-06 | 2020-02-07 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及*** |
CN108827315B (zh) * | 2018-08-17 | 2021-03-30 | 华南理工大学 | 基于流形预积分的视觉惯性里程计位姿估计方法及装置 |
-
2018
- 2018-12-26 CN CN201811603305.6A patent/CN109917644B/zh active Active
-
2019
- 2019-12-19 JP JP2019229698A patent/JP7210429B2/ja active Active
- 2019-12-23 US US16/725,755 patent/US11188754B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10162362B2 (en) | 2016-08-29 | 2018-12-25 | PerceptIn, Inc. | Fault tolerance to provide robust tracking for autonomous positional awareness |
CN108592919A (zh) | 2018-04-27 | 2018-09-28 | 百度在线网络技术(北京)有限公司 | 相对边缘化的制图与定位方法、装置、存储介质和终端设备 |
JP2020057264A (ja) | 2018-10-03 | 2020-04-09 | 株式会社日立製作所 | 計算機システム及びデータ分類の分析方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200210701A1 (en) | 2020-07-02 |
US11188754B2 (en) | 2021-11-30 |
CN109917644A (zh) | 2019-06-21 |
JP2020107336A (ja) | 2020-07-09 |
CN109917644B (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110118554B (zh) | 基于视觉惯性的slam方法、装置、存储介质和设备 | |
CN110084832B (zh) | 相机位姿的纠正方法、装置、***、设备和存储介质 | |
CN110310326B (zh) | 一种视觉定位数据处理方法、装置、终端及计算机可读存储介质 | |
CN112734852A (zh) | 一种机器人建图方法、装置及计算设备 | |
US11363192B2 (en) | Method, and apparatus for clock synchronization, device, storage medium and vehicle | |
JP7210429B2 (ja) | 視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体 | |
JP7369847B2 (ja) | 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両 | |
CN111209978A (zh) | 三维视觉重定位方法、装置及计算设备、存储介质 | |
US20190080190A1 (en) | System and method of selecting a keyframe for iterative closest point | |
CN111985300B (zh) | 自动驾驶动态目标定位方法、装置、电子设备及存储介质 | |
CN114623817A (zh) | 基于关键帧滑窗滤波的含自标定的视觉惯性里程计方法 | |
JP2020052687A (ja) | 位置推定装置 | |
CN112884840A (zh) | 一种视觉定位方法、装置、设备及存储介质 | |
CN111127551A (zh) | 一种目标检测的方法及装置 | |
CN111192303A (zh) | 一种点云数据处理方法及装置 | |
CN114268787B (zh) | 基于ar-hud的延时补偿方法、装置、设备及存储介质 | |
CN116105742A (zh) | 复合场景巡检导航方法、***及相关设备 | |
CN111721305A (zh) | 定位方法和装置、自动驾驶车辆、电子设备和存储介质 | |
CN111783611B (zh) | 无人车的定位方法、装置、无人车及存储介质 | |
CN112731503B (zh) | 一种基于前端紧耦合的位姿估计方法及*** | |
CN107993247B (zh) | 追踪定位方法、***、介质和计算设备 | |
CN114440877B (zh) | 一种异步多相机视觉惯性里程计定位方法 | |
CN115984417A (zh) | 一种语义建图方法、装置及存储介质 | |
CN113899357B (zh) | 视觉slam的增量建图方法、装置、机器人及可读存储介质 | |
CN115128655B (zh) | 自动驾驶车辆的定位方法和装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210405 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211005 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220202 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220712 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221110 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20221206 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20230104 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20230104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7210429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |