JP7145599B2 - 2d-3d位置合わせの収束を改善するための方法及びシステム - Google Patents
2d-3d位置合わせの収束を改善するための方法及びシステム Download PDFInfo
- Publication number
- JP7145599B2 JP7145599B2 JP2017195801A JP2017195801A JP7145599B2 JP 7145599 B2 JP7145599 B2 JP 7145599B2 JP 2017195801 A JP2017195801 A JP 2017195801A JP 2017195801 A JP2017195801 A JP 2017195801A JP 7145599 B2 JP7145599 B2 JP 7145599B2
- Authority
- JP
- Japan
- Prior art keywords
- medical image
- medical
- image
- digital
- simulated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000002591 computed tomography Methods 0.000 claims description 27
- 239000007943 implant Substances 0.000 claims description 19
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 16
- 239000000463 material Substances 0.000 claims description 5
- 230000000975 bioactive effect Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000003325 tomography Methods 0.000 claims 2
- 239000012636 effector Substances 0.000 description 79
- 210000003484 anatomy Anatomy 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 23
- 239000003550 marker Substances 0.000 description 21
- 238000001356 surgical procedure Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 239000003826 tablet Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 6
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003014 reinforcing effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000004696 Poly ether ether ketone Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000696 magnetic material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920002530 polyetherether ketone Polymers 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000003381 stabilizer Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30052—Implant; Prosthesis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
本出願は、2016年5月18日に出願された米国特許出願第15/157,444号の一部継続であり、その米国特許出願は、2016年4月11日に出願された米国特許出願第15/095,883号の一部継続であり、その米国特許出願は、2013年10月24日に出願された米国特許出願第14/062,707号の一部継続であり、その米国特許出願は、2013年6月21日に出願された米国特許出願第13/924,505号の一部継続出願であり、その米国特許出願は、2012年6月21日に出願された仮出願第61/662,702号に対する優先権を主張し、及び2013年3月15日に出願された仮出願第61/800,527号に対する優先権を主張し、それらの全ては、全ての目的のためにその全体として参照することにより本明細書に組み込まれる。
[技術分野]
[背景技術]
[発明の概要]
[図面の簡単な説明]
[図2]一実施形態に係る患者に対する外科用ロボット及びカメラの位置付けを含むロボットシステムを例解する。
[図3]例示的な実施形態に従う外科用ロボットシステムを例解する。
[図4]例示的な実施形態に従う外科用ロボットの一部を例解する。
[図5]例示的な実施形態に従う外科用ロボットのブロック図を例解する。
[図6]例示的な実施形態に従う外科用ロボットを例解する。
[図7A~7C]例示的な実施形態に従うエンドエフェクタを例解する。
[図8]一実施形態に係るエンドエフェクタの誘導管への外科用器具の挿入前及び後の、外科用器具及びエンドエフェクタを例解する。
[図9A~9C]例示的な実施形態に従うエンドエフェクタ及びロボットアームの一部分を例解する。
[図10]例示的な実施形態に従う動的参照アレイ、画像化アレイ、及び他の構成要素を例解する。
[図11]例示的な実施形態に従う位置合わせ方法を例解する。
[図12A~12B]例示的な実施形態に係る画像化デバイスの実施形態を例解する。
[図13]コンピュータ断層撮影ボリュームの複数のスライスにおける1つの腰椎上の椎弓根スクリューの軌道を計画する工程を例解する。
[図14]X線上の複数の図による単一の腰椎上の椎弓根スクリューの軌道を計画する工程を例解する。
[図15]本開示と一致する例示的方法を例解する。
[発明を実施するための形態]
Claims (18)
- ロボットアーム及びロボット基部を有するロボットであって、前記ロボット基部は、三次元(3D)医用画像及びX線システムからの二次元(2D)医用画像を受信するように構成された画像位置合わせ機能を備える、ロボットと、
解剖学的座標系において、1つ以上の追跡マーカを検出するように構成された少なくとも1つのカメラと、を備える、外科用ロボットシステムであって、
前記画像位置合わせ機能は、前記3D医用画像からシミュレートされた2Dデジタル医用画像を生成し、エラー許容値に達するまで前記シミュレートされた2Dデジタル医用画像の位置のピクセル強度と2D医用画像の位置のピクセル強度とを比較する反復工程を用いることによって前記シミュレートされた2Dデジタル医用画像を前記2D医用画像と一致させるように構成され、
前記画像位置合わせ機能は、最初に、前記3D医用画像上に仮想的に配置した第1のデジタル医用物体を前記2D医用画像上に仮想的に配置した第2のデジタル医用物体に対応させることによって、前記シミュレートされた2Dデジタル医用画像を前記2D医用画像に関連付け、前記3D医用画像及び前記2D医用画像上に関心領域を決定し、
前記反復工程は、比較のために決定された前記関心領域内に収束し、前記第1のデジタル医用物体及び前記第2のデジタル医用物体において動作するように構成され、
前記画像位置合わせ機能は、
(i)3D解剖学的特徴及び第1の座標系を含む、3D医用画像を記憶することと、
(ii)2D解剖学的特徴及び第2の座標系を含む、2D医用画像を記憶することと、
(iii)前記3D医用画像及び前記2D医用画像上のデジタル医用物体の配置を記憶することと、
(iv)前記3D医用画像から、前記3D解剖学的特徴に対応しているシミュレートされた2D解剖学的特徴を含む、シミュレートされた2Dデジタル医用画像を生成することと、
(v)一致に到達するまで、前記2D解剖学的特徴を前記シミュレートされた2D解剖学的特徴と比較することと、
(vi)前記一致に基づいて、前記第1の座標系を前記第2の座標系と位置合わせすることと、によって位置合わせするように更に構成され、
前記解剖学的座標系における前記ロボットアームの位置及び患者の位置が、前記1つ以上の追跡マーカを用いて、前記第1の座標系を描写する表示器上に表現されてもよい、外科用ロボットシステム。 - 前記3D医用画像は、コンピュータ断層撮影(CT)システム及び磁気共鳴画像(MRI)システムのうちの少なくとも1つによって生成される、請求項1に記載のシステム。
- 前記解剖学的座標系は、前記患者の位置を追跡する画像追跡システムによって少なくとも一部決定される、請求項1に記載のシステム。
- 前記3D医用画像は、断層撮影(CT)システム及び磁気共鳴画像(MRI)システムのうちの1つから術前に得られ、前記2D医用画像は、X線システムから術中に得られる、請求項1に記載のシステム。
- 前記デジタル医用物体は、外科用医用インプラントデバイスである、請求項1に記載のシステム。
- 前記デジタル医用物体は、デジタル式にシミュレートされた生体活性インプラントデバイス、電子式医用インプラントデバイス、及び人工医用移植材料のうちの少なくとも1つである、請求項1に記載のシステム。
- 前記デジタル医用物体の前記配置は、陰影として現れる、請求項1に記載のシステム。
- 前記3D医用画像及び前記生成された2Dデジタル医用画像に配置された前記対応するデジタル医用物体の前記配置には、配置許容差が提供される、請求項1に記載のシステム。
- 前記一致は、一致許容差内で決定される、請求項1に記載のシステム。
- 外科用ロボットシステムによってデジタル医用画像座標系を位置合わせするための方法であって、
3D解剖学的特徴及び第1の座標系を含む、3D医用画像を記憶するステップと、
2D解剖学的特徴及び第2の座標系を含む、X線システムからの2D医用画像を記憶するステップと、
前記3D医用画像及び前記2D医用画像上のデジタル医用物体の仮想的な配置を記憶するステップと、
仮想的に配置された前記デジタル医用物体に基づいて、前記3D医用画像及び前記2D医用画像上における関心領域を決定するステップと、
前記3D医用画像から、前記3D解剖学的特徴に対応しているシミュレートされた2D解剖学的特徴を含む、シミュレートされた2Dデジタル医用画像を生成するステップと、
一致に到達するまで、決定された前記関心領域において前記2D解剖学的特徴を前記シミュレートされた2D解剖学的特徴と比較するステップと、
前記一致に基づいて、前記第1の座標系と前記第2の座標系との位置合わせを決定するステップと、を含む、方法。 - 前記3D医用画像は、コンピュータ断層撮影(CT)システム及び磁気共鳴画像(MRI)システムのうちの少なくとも1つによって生成される、請求項10に記載の方法。
- 前記第2の座標系は、医療手技中、患者の解剖学的座標系を参照する、請求項10に記載の方法。
- 前記解剖学的座標系は、前記患者の位置を追跡する画像追跡システム及びX線システムによって少なくとも一部決定される、請求項12に記載の方法。
- 前記3D医用画像は、断層撮影(CT)システム及び磁気共鳴画像(MRI)システムのうちの1つから術前に得られ、前記2D医用画像は、術中に得られる、請求項10に記載の方法。
- 前記デジタル医用物体は、デジタル式にシミュレートされた外科用医用インプラントデバイスである、請求項10に記載の方法。
- 前記デジタル医用物体は、デジタル式にシミュレートされた生体活性インプラントデバイス、電子式医用インプラントデバイス、及び人工医用移植材料のうちの少なくとも1つである、請求項10に記載の方法。
- 前記デジタル医用物体の前記配置は、医用画像上の実際の物体の複製として現れる、請求項10に記載の方法。
- 前記3D医用画像及び前記生成された2Dデジタル医用画像に配置された前記対応するデジタル医用物体の前記配置には、配置許容差が提供される、請求項10に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/289,537 | 2016-10-10 | ||
US15/289,537 US10758315B2 (en) | 2012-06-21 | 2016-10-10 | Method and system for improving 2D-3D registration convergence |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018079304A JP2018079304A (ja) | 2018-05-24 |
JP7145599B2 true JP7145599B2 (ja) | 2022-10-03 |
Family
ID=60191089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017195801A Active JP7145599B2 (ja) | 2016-10-10 | 2017-10-06 | 2d-3d位置合わせの収束を改善するための方法及びシステム |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP3306567B1 (ja) |
JP (1) | JP7145599B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3773301B1 (en) | 2018-04-13 | 2024-03-06 | Karl Storz SE & Co. KG | Guidance system and associated computer program |
US11452566B2 (en) * | 2018-12-21 | 2022-09-27 | Intellijoint Surgical Inc. | Pre-operative planning for reorientation surgery: surface-model-free approach using simulated x-rays |
KR102166149B1 (ko) * | 2019-03-13 | 2020-10-15 | 큐렉소 주식회사 | 페디클 스크류 고정 플래닝 시스템 및 방법 |
US20200297357A1 (en) | 2019-03-22 | 2020-09-24 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
US11419616B2 (en) | 2019-03-22 | 2022-08-23 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
US11571265B2 (en) | 2019-03-22 | 2023-02-07 | Globus Medical Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
US11317978B2 (en) | 2019-03-22 | 2022-05-03 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
US11382549B2 (en) | 2019-03-22 | 2022-07-12 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices |
US11806084B2 (en) | 2019-03-22 | 2023-11-07 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices |
EP3714792A1 (en) * | 2019-03-26 | 2020-09-30 | Koninklijke Philips N.V. | Positioning of an x-ray imaging system |
IT201900005350A1 (it) | 2019-04-08 | 2020-10-08 | Medacta Int Sa | Metodo ottenuto mediante calcolatore per verificare il corretto allineamento di una protesi dell’anca e sistema per attuare tale verifica |
US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
CN113081269A (zh) * | 2020-01-08 | 2021-07-09 | 格罗伯斯医疗有限公司 | 用于对患者的解剖特征进行手术的手术机器人*** |
US20210251591A1 (en) * | 2020-02-17 | 2021-08-19 | Globus Medical, Inc. | System and method of determining optimal 3-dimensional position and orientation of imaging device for imaging patient bones |
CN114159160B (zh) * | 2020-09-10 | 2023-09-05 | 杭州三坛医疗科技有限公司 | 手术导航方法、装置、电子设备、存储介质 |
CN112132876B (zh) * | 2020-09-25 | 2022-03-29 | 天津大学 | 2d-3d图像配准中的初始位姿估计方法 |
US11941814B2 (en) * | 2020-11-04 | 2024-03-26 | Globus Medical Inc. | Auto segmentation using 2-D images taken during 3-D imaging spin |
CN114469354B (zh) * | 2022-04-13 | 2022-06-24 | 深圳市爱博医疗机器人有限公司 | 一种介入手术机器人从端初始化方法和可读存储介质 |
US20240016549A1 (en) * | 2022-07-15 | 2024-01-18 | Globus Medical, Inc. | REGISTRATION OF 3D and 2D IMAGES FOR SURGICAL NAVIGATION AND ROBOTIC GUIDANCE WITHOUT USING RADIOPAQUE FIDUCIALS IN THE IMAGES |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040215071A1 (en) | 2003-04-25 | 2004-10-28 | Frank Kevin J. | Method and apparatus for performing 2D to 3D registration |
US20100228340A1 (en) | 2009-03-03 | 2010-09-09 | Stephan Erbel | Stent and method for determining the position of a stent |
US20130051647A1 (en) | 2011-08-23 | 2013-02-28 | Siemens Corporation | Automatic Initialization for 2D/3D Registration |
DE102012215001A1 (de) | 2012-08-23 | 2014-02-27 | Siemens Aktiengesellschaft | Verfahren zur 2D-3D-Registrierung eines Modells mit einem Röntgenbild |
US20160256225A1 (en) | 2012-06-21 | 2016-09-08 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
-
2017
- 2017-10-06 JP JP2017195801A patent/JP7145599B2/ja active Active
- 2017-10-09 EP EP17195511.5A patent/EP3306567B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040215071A1 (en) | 2003-04-25 | 2004-10-28 | Frank Kevin J. | Method and apparatus for performing 2D to 3D registration |
US20100228340A1 (en) | 2009-03-03 | 2010-09-09 | Stephan Erbel | Stent and method for determining the position of a stent |
US20130051647A1 (en) | 2011-08-23 | 2013-02-28 | Siemens Corporation | Automatic Initialization for 2D/3D Registration |
US20160256225A1 (en) | 2012-06-21 | 2016-09-08 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
DE102012215001A1 (de) | 2012-08-23 | 2014-02-27 | Siemens Aktiengesellschaft | Verfahren zur 2D-3D-Registrierung eines Modells mit einem Röntgenbild |
Also Published As
Publication number | Publication date |
---|---|
EP3306567A1 (en) | 2018-04-11 |
JP2018079304A (ja) | 2018-05-24 |
EP3306567B1 (en) | 2020-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7145599B2 (ja) | 2d-3d位置合わせの収束を改善するための方法及びシステム | |
US11911225B2 (en) | Method and system for improving 2D-3D registration convergence | |
US11850012B2 (en) | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices | |
US12004905B2 (en) | Medical imaging systems using robotic actuators and related methods | |
US10102640B2 (en) | Registering three-dimensional image data of an imaged object with a set of two-dimensional projection images of the object | |
US20220022979A1 (en) | System And Method For Registration Between Coordinate Systems And Navigation | |
JP2020096829A (ja) | ドリルガイド固定具、頭蓋挿入固定具、および関連する方法およびロボットシステム | |
US20220378526A1 (en) | Robotic positioning of a device | |
CN111714206A (zh) | 神经导航配准和机器人轨迹引导***及相关方法和装置 | |
JP7058521B2 (ja) | ロボット支援手術における監視マーカのためのシステム及び方法 | |
EP3908221B1 (en) | Method for registration between coordinate systems and navigation | |
JP7029932B2 (ja) | 器具類の深さを測定するためのシステム及び方法 | |
US20200297430A1 (en) | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices | |
US20240148357A1 (en) | Medical imaging systems using robotic actuators and related methods | |
EP4306071A1 (en) | System for registration of 3d and 2d images for surgical navigation and robotic guidance without using radiopaque fiducials in the images | |
EP3733112A1 (en) | System for robotic trajectory guidance for navigated biopsy needle | |
US20240020862A1 (en) | REGISTRATION OF 3D and 2D IMAGES FOR SURGICAL NAVIGATION AND ROBOTIC GUIDANCE WITHOUT USING RADIOPAQUE FIDUCIALS IN THE IMAGES | |
CN113081269A (zh) | 用于对患者的解剖特征进行手术的手术机器人*** | |
JP7258107B2 (ja) | 3d画像化スピン中に撮影された2d画像を用いた自動セグメント化 | |
US20210251591A1 (en) | System and method of determining optimal 3-dimensional position and orientation of imaging device for imaging patient bones | |
US20240197434A1 (en) | Method and system for improving 2d-3d registration convergence | |
CN117398185A (zh) | 用于恢复3d图像体积的配准的*** | |
US20200297451A1 (en) | System for robotic trajectory guidance for navigated biopsy needle, and related methods and devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7145599 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |