JP2018000949A - Deformed grid based intra-operative system and method of use - Google Patents
Deformed grid based intra-operative system and method of use Download PDFInfo
- Publication number
- JP2018000949A JP2018000949A JP2017113292A JP2017113292A JP2018000949A JP 2018000949 A JP2018000949 A JP 2018000949A JP 2017113292 A JP2017113292 A JP 2017113292A JP 2017113292 A JP2017113292 A JP 2017113292A JP 2018000949 A JP2018000949 A JP 2018000949A
- Authority
- JP
- Japan
- Prior art keywords
- grid
- image
- anatomical
- dimensioned
- strain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 230000006978 adaptation Effects 0.000 claims abstract description 13
- 210000003484 anatomy Anatomy 0.000 claims description 32
- 238000001356 surgical procedure Methods 0.000 claims description 21
- 230000003190 augmentative effect Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000013481 data capture Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 239000007943 implant Substances 0.000 abstract description 22
- 238000012937 correction Methods 0.000 abstract description 16
- 208000014674 injury Diseases 0.000 abstract description 8
- 230000008733 trauma Effects 0.000 abstract description 8
- 230000009467 reduction Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 17
- 238000005259 measurement Methods 0.000 description 8
- 210000000988 bone and bone Anatomy 0.000 description 7
- 238000012800 visualization Methods 0.000 description 7
- 210000001624 hip Anatomy 0.000 description 6
- 238000011882 arthroplasty Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 5
- 210000004197 pelvis Anatomy 0.000 description 5
- 206010017076 Fracture Diseases 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 208000010392 Bone Fractures Diseases 0.000 description 3
- 206010049514 Traumatic fracture Diseases 0.000 description 3
- 210000000588 acetabulum Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 210000003041 ligament Anatomy 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011541 total hip replacement Methods 0.000 description 2
- 206010053206 Fracture displacement Diseases 0.000 description 1
- 208000002658 Intra-Articular Fractures Diseases 0.000 description 1
- 206010053652 Limb deformity Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 206010003246 arthritis Diseases 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 210000003405 ileum Anatomy 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000003447 ipsilateral effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003562 morphometric effect Effects 0.000 description 1
- 238000013425 morphometry Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/30—Anatomical models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3966—Radiopaque markers visible in an X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- Algebra (AREA)
- Robotics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computational Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Analysis (AREA)
- Medicinal Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
本発明の主題は、放射線像形成グリッド位置合わせ装置（アナログまたはデジタル）と共に使用するためのひずみ適応システムと、関節置換、脊椎、外傷性骨折の整復および変形矯正、ならびにインプラントの配置／位置合わせのための術中使用の方法とである。 The subject of the present invention is a strain adaptation system for use with a radiographic grid alignment device (analog or digital) and for joint replacement, spine, traumatic fracture reduction and correction, and implant placement / alignment. For intraoperative use.
摩耗性および安定性など、完全股関節形成術（ＴＨＡ：ｔｏｔａｌ ｈｉｐ ａｒｔｈｒｏｐｌａｓｔｙ）における部品の動作実現に必須である放射線像形成パラメータの多くは、術中に蛍光透視法を使用して評価され得る。しかし、術中の蛍光透視による補助を使用しても、インプラントの配置、または骨片の整復は、依然として、外科医の要望に沿わないものであり得る。例えば、股関節形成術中における寛骨臼部品の位置異常が問題を引き起こし得る。寛骨臼インプラントの場合、股関節形成術中に骨盤に対する適切な位置に挿入されるためには、手術中に外科医が患者の骨盤の位置を知ることが必要である。残念ながら、患者の骨盤の位置は、手術中に大きく変化し、患者ごとに大きく異なる。外傷手術中、適切に骨折を処置することは、特に関節内骨折の場合、適切に回復する最善の機会を解剖学的関節に提供するために、および、さらなる長期の損傷を最小化して、可能であればその正常な機能を取り戻すために、元の解剖学的構造に対して骨片を最適に整復することを外科医に要求する。残念ながら、骨折の場合には、これらの骨片の元の解剖学的位置が保たれておらず、正しい解剖学的構造に対する骨片の自然な関係は不確かであり、適切な回復を促進して、後に良好な結果をもたらすために、外科医が最善の判断を下すことを要求する。 Many of the radiological imaging parameters that are essential for achieving part movement in total hip arthroplasty (THA), such as wear and stability, can be evaluated using fluoroscopy during the procedure. However, even with intraoperative fluoroscopic assistance, implant placement or bone fragment reduction may still not meet the surgeon's desire. For example, abnormal positioning of the acetabular part during hip arthroplasty can cause problems. In the case of an acetabular implant, it is necessary for the surgeon to know the position of the patient's pelvis during surgery in order to be inserted into the proper position relative to the pelvis during hip arthroplasty. Unfortunately, the position of the patient's pelvis varies greatly during the surgery and varies greatly from patient to patient. Proper treatment of fractures during trauma surgery is possible, especially in the case of intra-articular fractures, to provide the best opportunity for proper recovery to the anatomical joint and to minimize further long-term damage If so, it requires the surgeon to optimally reduce the bone fragment relative to the original anatomy to regain its normal function. Unfortunately, in the case of a fracture, the original anatomical position of these fragments is not preserved, and the natural relationship of the fragments to the correct anatomy is uncertain, facilitating proper recovery. And require the surgeon to use his best judgment to produce good results later.
これらの手術関連要素の位置異常を減らすために、様々な装置が知られている。例えば、寛骨臼横靭帯が、寛骨臼の向きの定性的な目印として提案されている。（Archbold HA, et al. The Transverse Acetabular Ligament; an Aid to Orientation of the Acetabular Component During Primary Total Hip Replacement: A Preliminary Study of 200 Cases Investigating Postoperative Stability, J Bone Joint Surg BR. 2006 Jul; 88(7):883-7）。しかし、関節炎により寛骨臼が劣化し得ることが示唆される。人工寛骨臼部品を配置するためのガイドとして、同側の片側骨盤の解剖学的構造を使用する三脚装置を使用することを提案する人もいる。米国特許出願公開第２００９０３０６６７９号。この機器は、３点を含む。第１の脚は、後下寛骨臼の領域内に配置され、第２の脚は、前上腸骨棘の領域内に配置され、第３の脚は、被術者の回腸上に位置する。米国特許出願公開第２００９０３０６６７９号。さらに、骨折の固定、または、変形または変形癒合の矯正に関し、骨片の適切な再建整復を補助する様々な装置が提案されている。例えば、橈骨遠位端手掌固定板は、折れた骨の解剖学的構造を再度位置合わせする際に役立つように、外科医に対する基準を固定および提供する、侵襲性の術中における定量的補助支持体として機能することが提案されている。 Various devices are known to reduce the position abnormality of these surgical elements. For example, the acetabular transverse ligament has been proposed as a qualitative landmark for the orientation of the acetabulum. (Archbold HA, et al. The Transverse Acetabular Ligament; an Aid to Orientation of the Acetabular Component During Primary Total Hip Replacement: A Preliminary Study of 200 Cases Investigating Postoperative Stability, J Bone Joint Surg BR. 2006 Jul; 88 (7): 883-7). However, it is suggested that arthritis can degrade the acetabulum. Some have suggested using a tripod device that uses the anatomical structure of the ipsilateral pelvis as a guide for placement of the artificial acetabular component. US Patent Application Publication No. 20090306679. This instrument includes three points. The first leg is located in the area of the posterior inferior acetabulum, the second leg is located in the area of the anterior superior iliac spine, and the third leg is located on the ileum of the subject. To do. US Patent Application Publication No. 20090306679. In addition, various devices have been proposed to assist in the proper reconstruction and reduction of bone fragments with respect to fracture fixation or correction of deformation or deformation fusion. For example, the distal radius palmar fixation plate serves as a quantitative auxiliary support during invasive procedures that fixes and provides a reference to the surgeon to help realign the fractured bone anatomy It has been proposed to work.
放射線像、特に蛍光透視像におけるひずみは、よく知られた現象である（Jares V. The effect of electron optics on the properties of the x-ray image intensifier. Adv Electron Elect Phys. 10-9-85; 64(B): 549-59）。これまで、例えば、Kedgely AE, et al, in J Appl Clin Med Phys. 2012 Jan 5;13(1):3441, doi: 10.1120/jacmp.v13i1.3441. Image intensifier distortion correction for fluoroscopic RSA: the need for independent accuracy assessment.といった、ひずみ修正技術がいくつか公開されている。これらの方法は、像におけるひずみ量を較正するための一連のビーズを使用してひずみを修正するように試み、さらに、そのひずみを、ひずみのない像画像に修正するように試みる。測定、インプラントの位置決め、および解剖学的構造の位置合わせにおいて使用される（アナログの、仮想的な、拡張された、ホログラムの、または３Ｄ形状モデルの）グリッドの術中におけるリアルタイムの適応を可能にすることと、放射線像形成グリッド位置合わせ装置を使用してひずみ適応を提供することとの必要性が、この産業界に存在する。 Distortion in radiographic images, especially fluoroscopic images, is a well-known phenomenon (Jares V. The effect of electron optics on the properties of the x-ray image intensifier. Adv Electron Elect Phys. 10-9-85; 64 (B): 549-59). So far, for example, Kedgely AE, et al, in J Appl Clin Med Phys. 2012 Jan 5; 13 (1): 3441, doi: 10.1120 / jacmp.v13i1.3441. Image intensifier distortion correction for fluoroscopic RSA: the need for Several distortion correction techniques, such as independent accuracy assessment. These methods attempt to correct the distortion using a series of beads to calibrate the amount of distortion in the image, and further attempt to correct the distortion to an undistorted image image. Enables intraoperative real-time adaptation of grids (analog, virtual, expanded, holographic, or 3D shape models) used in measurement, implant positioning, and anatomical alignment There is a need in the industry for this and to provide strain adaptation using a radiographic grid alignment device.
本主題は、ひずみ較正アレイにより形成された、ひずんだ寸法付きグリッドの位置合わせ装置を含み、寸法付きグリッドを可視化したものが、解剖学的医用像内の定量的ゆがみ量に正確に合致するように変形される。本主題は、少なくとも１つの解剖学的標識を選択することにより寸法付きグリッドに解剖学的像をレジストレーションして、少なくとも１つのグリッドインジケータを寸法付きグリッドに提供することにより、患者の解剖学的構造の像に対して寸法付きグリッドを較正して、較正後の寸法付きグリッドを提供することにより、および、解剖学的像のひずみに合わせて修正するように較正後の寸法付きグリッドを変形して、変形された較正後の寸法付きグリッド像を生成することにより、像形成系から取り込まれた解剖学的像のひずみに合わせて修正する方法を含む。本方法は、変形された較正後の寸法付きグリッドを基準として患者の解剖学的構造の像内における対象点を術中に算出するステップをさらに含む。 The present subject matter includes a strained dimensioned grid alignment device formed by a strain calibration array so that a visualization of the dimensioned grid accurately matches the amount of quantitative distortion in the anatomical medical image. Transformed into The present subject matter registers a anatomical image on a dimensioned grid by selecting at least one anatomical landmark and provides at least one grid indicator on the dimensioned grid to provide an anatomical image of the patient. Calibrating the dimensioned grid against the image of the structure, providing a calibrated dimensioned grid, and deforming the calibrated dimensioned grid to correct for anatomical distortion And calibrating the distortion of the anatomical image captured from the imaging system by generating a deformed calibrated dimensioned grid image. The method further includes intraoperatively calculating target points in the image of the patient's anatomy with respect to the deformed calibrated dimensioned grid.
本主題の他の一態様は、アプリケーションソフトウェアを形成するコンピュータ可読命令を使用して符号化された非一時的なコンピュータ可読記憶媒体と、命令を処理するプロセッサとにより作られた、グリッドを使用した術中システムであって、アプリケーションソフトウェアが、像形成装置により捕捉されたデジタル像を取り込みおよび記憶するように構成されたデータ取り込みモジュールと、グリッドに解剖学的像をレジストレーションするように構成されたグリッドレジストレーションモジュールと、解剖学的像内のひずみに合わせて修正するようにグリッドを適応させるように構成されたひずみ適応モジュールと、術中にユーザに対して少なくとも１つの視覚および／または聴覚的教示を提供するように構成された結果モジュールと、を含むグリッドを使用した術中システムである。データ取り込みモジュールは、検出器からデータを取得するように構成され得る。検出器は、拡張現実または複合現実のグリッドと電子的に通信し得るか、または追跡可能であり得る。本発明の一実施形態における結果モジュールは、拡張現実表示装置であり得、結果モジュールは、３Ｄ形状モデルまたはホログラフィック表示装置であり得る。
図面は、本発明の例示的な形態に従った、蛍光透視位置合わせ板装置および使用方法を概略的に示す。本発明の説明は、添付図面を参照する。
Another aspect of the present subject matter uses a grid made by a non-transitory computer readable storage medium encoded using computer readable instructions forming application software and a processor that processes the instructions. A data acquisition module, wherein the application software is configured to capture and store digital images captured by the imaging device, and a grid configured to register anatomical images in the grid A registration module, a strain adaptation module configured to adapt the grid to correct for the strain in the anatomical image, and at least one visual and / or auditory instruction to the user during surgery Results module configured to provide A intraoperative system using a grid comprising a. The data acquisition module may be configured to acquire data from the detector. The detector may be in electronic communication or trackable with an augmented or mixed reality grid. The result module in one embodiment of the present invention may be an augmented reality display device, and the result module may be a 3D shape model or a holographic display device.
The drawings schematically illustrate a fluoroscopic alignment plate device and method of use, according to an exemplary embodiment of the invention. The description of the invention refers to the accompanying drawings.
本発明は、本発明の以下の詳細な説明を参照することで、より容易に理解され得る。本発明が本明細書で説明する特定の装置、方法、条件、またはパラメータに限定されないことと、本明細書で用いられる用語が、単に例示的に特定の実施形態を説明することを目的としており、請求項に記載された発明を限定することは意図していないこととが理解される。さらに、付属の請求項を含め、本明細書で使用される場合、文脈上、他の意味に明白に規定される場合を除き、単数形の「１つ（ａ）」「１つ（ａｎ）」および「前記（ｔｈｅ）」は、複数形を含み、特定の数値の参照は、少なくともその特定の値を含む。本明細書において、「約（ａｂｏｕｔ）」または「約（ａｐｐｒｏｘｉｍａｔｅｌｙ）」ある特定の値から、および／または、「約（ａｂｏｕｔ）」または「約（ａｐｐｒｏｘｉｍａｔｅｌｙ）」他の特定の値までとして、範囲が表記され得る。このような範囲が記載された場合、他の一実施形態は、そのようなある特定の値から、および／または、そのような他の特定の値までを含む。同様に、前置される「約（ａｂｏｕｔ）」の使用により、値が近似として記載された場合、その特定の値が、他の一実施形態を形成することが理解されると考えられる。本発明のこれらの、および、他の態様、特徴および利点は、本明細書の詳細な説明を参照して理解されると考えられ、付属の請求項において特に示された様々な構成要素および組み合わせにより実現されると考えられる。前述の全体的な説明と以下の本発明の詳細な説明との両方が、本発明の好ましい実施形態の例示的な説明であり、請求項に記載された発明の限定ではないことが理解される。別段の定めがない限り、本明細書で用いられる技術用語および科学用語は、すべて、本発明が属する技術分野の当業者により通例理解されるのと同じ意味をもつ。 The present invention may be understood more readily by reference to the following detailed description of the invention. It is intended that the invention be not limited to the specific apparatus, methods, conditions, or parameters described herein, and that the terminology used herein is for the purpose of describing particular embodiments only by way of example. It will be understood that it is not intended to limit the invention described in the claims. Further, as used herein, including the appended claims, the singular forms "a", "an", "an", unless the context clearly indicates otherwise. "And" the "include plurals and reference to a particular numerical value includes at least that particular value. As used herein, ranges from a certain value “about” or “approximate” and / or to a certain value “about” or “approximate”. Can be written. When such a range is described, another embodiment includes from the one particular value and / or to the other particular value. Similarly, by the use of a prefix “about” it will be understood that when a value is described as an approximation, that particular value forms another embodiment. These and other aspects, features and advantages of the present invention will be understood by reference to the detailed description herein, and various components and combinations particularly pointed out in the appended claims. It is thought that it is realized by. It is understood that both the foregoing general description and the following detailed description of the invention are exemplary descriptions of preferred embodiments of the invention and are not limitations of the claimed invention. . Unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.
本開示は、外科手術中に患者のＸ線像などの放射線像を捕捉することから始まる。関節置換、ならびに外傷性骨折の整復および変形矯正、ならびにインプラントの配置／位置合わせなどの外科手術中に、デジタルＸ線像が、術中に捕捉される。捕捉された像は、表示装置において見られるか、または、さらに処理され得る。グリッド位置合わせ装置（アナログまたはデジタル）は、術中に捕捉されるデジタル放射線像形成、超音波、ＣＴ、または他の像形成系の像と共に使用され得、外科手術中、インプラントの位置合わせまたは配置をしやすくし得る。 The present disclosure begins with capturing a radiographic image, such as an x-ray image of a patient, during a surgical procedure. During surgical procedures such as joint replacement and traumatic fracture reduction and deformation correction and implant placement / alignment, digital x-ray images are captured intraoperatively. The captured image can be viewed on a display device or further processed. Grid alignment devices (analog or digital) can be used with digital radiographic imaging, ultrasound, CT, or other imaging system images captured during surgery to align or position the implant during surgery. Can make it easier.
現在の技術の１つの目的は、デジタル像の術間使用を可能にするひずみ適応工程を提供することである。外科医が手術を実施しているとき、グリッドを使用した術中システムは、術中モードにおいて動作し得、これにより、外科医は、患者内でインプラントの配置を調節するための、または変形の矯正のためのガイドとして、システムを利用し得る。寸法付きグリッドは、患者内の解剖学的構造とインプラントの配置との位置合わせパラメータを規定するために使用される。グリッドは、その最も単純な形態において、解剖学的構造上にデジタルで表示され得、外科医は、位置合わせおよび位置決め測定値を視覚的に決定し得る。しかし、解剖学的像内のひずみに合わせて修正するために、解剖学的像内での特定の対象領域における特定の解剖学的特徴に類似または合致する幾何学的形状または線の位置合わせグリッドが使用されて、グリッド位置合わせ装置のひずみ適応を実現する。この方法により、解剖学的構造は、あらゆる筋骨格用途において、ひずんだ解剖学的幾何学的グリッドを使用して術中に位置合わせされ、これにより、ひずんだグリッド位置合わせ装置によりガイドされながら、解剖学的構造に対するインプラントのリアルタイムでの術中配置が可能となる。 One goal of current technology is to provide a strain adaptation process that allows for the interoperative use of digital images. When the surgeon is performing the surgery, the intraoperative system using the grid can operate in the intraoperative mode, which allows the surgeon to adjust the placement of the implant within the patient or to correct the deformation. The system can be used as a guide. The dimensioned grid is used to define alignment parameters between the anatomy within the patient and the placement of the implant. The grid, in its simplest form, can be displayed digitally on the anatomy, and the surgeon can visually determine alignment and positioning measurements. However, a geometric grid or line alignment grid that resembles or matches a specific anatomical feature in a specific area of interest in the anatomical image to correct for distortion in the anatomical image Is used to achieve strain adaptation of the grid alignment device. In this way, anatomical structures are aligned intraoperatively using a distorted anatomical geometric grid in any musculoskeletal application, thereby being anatomically guided by a distorted grid alignment device. Real-time intraoperative placement of the implant relative to the anatomy is possible.
例示的な実施形態において、寸法付きグリッドは、放射線像形成ビームの伝達経路中に固定される（像増強装置に装着されるなど）。解剖学的像は、ひずみを含む場合または含まない場合があり得るが、像内に現れるひずみ量に関わらず、寸法付きグリッドは像内に現れるひずみ量に関連してひずみ、それにより、解剖学的像の様々な対象点上にひずみに適応された寸法付きグリッドが適切に重ね合わせられた状態で、ひずんだ解剖学的像における視覚による定量分析が可能になる。 In an exemplary embodiment, the dimensioned grid is fixed in the transmission path of the radiation imaging beam (such as attached to an image intensifier). The anatomical image may or may not contain strain, but regardless of the amount of strain that appears in the image, the dimensioned grid is distorted in relation to the amount of strain that appears in the image, thereby anatomical. Visually analyzing the distorted anatomical image is possible with the appropriate overlay of dimensioned grids adapted to strain on various target points of the target image.
本工程は、術前または術中における初期像の捕捉を可能にし、その初期像は、例えば、アフィン変換などの変換工程を施され、それにより、回転、並進、および拡大縮小をするように解剖学的位置を調節する。次に、Ｂスプラインフィッティング処理などの他のプロセシック変換を使用して、寸法付きグリッドのグリッド線は、解剖学的構造に適合するように術中にリアルタイムで適応され、従って、筋骨格の解剖学的構造、または、インプラントまたは外傷の形状に合致または適合するように湾曲した、ひずんだ線を生成する。 This process allows the capture of an initial image before or during surgery, which is subjected to a transformation process such as, for example, an affine transformation, thereby causing anatomy to rotate, translate, and scale. Adjust the target position. Next, using other processic transformations such as a B-spline fitting process, the grid lines of the dimensioned grid are adapted in real time during the operation to fit the anatomy, and thus the musculoskeletal anatomy Generate a distorted line that is curved to conform or conform to the structure or shape of the implant or trauma.
図１を参照すると、ひずんだ術中像に示すように、筋骨格の解剖学的構造またはインプラントの形状に合致または適合するように湾曲した線などのひずんだ寸法付きグリッドを提供するための、グリッドまたはひずみ較正アレイを使用した術中システム１００が提供される。グリッドまたはひずみ較正アレイを使用した術中システム１００は、コンピュータワークステーション１０４を含む。コンピュータワークステーション１０４は、像データ取り込み装置１０６と、像データ生成装置１０８と、非一時的なコンピュータ可読像データ記憶媒体１１０と、プロセッサ１１２と、コンピュータ可読命令１２０とで作られる。非一時的なコンピュータ可読記憶媒体１１０は、コンピュータ可読命令を使用して符号化されて、アプリケーションソフトウェア１２０を形成する。コンピュータワークステーション１０４は、キーボードなどの入力装置１１８と、モニタなどの表示装置１１４とをさらに含む。グリッドひずみ較正アレイを使用した術中システム１００は、任意選択的に、動き追跡装置１１６を含み得る。例示的な実施形態において、像取り込み装置１０６と像データ生成装置１０８とは測定値を含み、データが捕捉されて、ＡＲ／Ｈｏｌｏレンズ、眼鏡、またはヘッドアップ表示装置に表示され得る。 Referring to FIG. 1, a grid for providing a distorted dimensioned grid, such as a curved line to match or fit the musculoskeletal anatomy or implant shape, as shown in the distorted intraoperative image. Alternatively, an intraoperative system 100 using a strain calibration array is provided. Intraoperative system 100 using a grid or strain calibration array includes a computer workstation 104. The computer workstation 104 is made up of an image data capture device 106, an image data generation device 108, a non-transitory computer readable image data storage medium 110, a processor 112, and computer readable instructions 120. Non-transitory computer readable storage medium 110 is encoded using computer readable instructions to form application software 120. The computer workstation 104 further includes an input device 118 such as a keyboard and a display device 114 such as a monitor. Intraoperative system 100 using a grid strain calibration array may optionally include a motion tracker 116. In an exemplary embodiment, image capture device 106 and image data generation device 108 include measurements, and data can be captured and displayed on an AR / Holo lens, glasses, or a heads-up display device.
コンピュータワークステーション１０４は、例えば、Ｃアームおよび平板などの像形成系２２０に電子的に接続される。患者２０４などの被写体が、像形成系２２０内のテーブル２０６上に配置される。アナログな実施形態のようなひずみ較正アレイ２００は、像形成系２２０の像増強装置２０８に装着される。他の一実施形態において、寸法付きグリッド２００は、アプリケーションソフトウェア１２０により寸法付きグリッドのデジタル表現を生成することを可能にする。
図１と図２とを参照すると、アプリケーションソフトウェア１２０は、像形成装置２２０により捕捉されたデジタル像を取り込みおよび記憶する像取り込みモジュール３００を含む。一実施形態において、像は、ＤＩＣＯＭ画像形式である。捕捉された像は、レジストレーションのために、ひずみ較正アレイレジストレーションモジュール４００に送信される。レジストレーションされたひずみ較正アレイは、寸法付きグリッドの適応のために、ひずみ適応モジュール５００に送信される。次に、少なくとも１つの視覚的および／または聴覚的教示は、結果モジュール６００に送信される。このモジュールは、外科医が満足するまで、インプラントの配置および／または位置合わせを調節するように、外科医に対して少なくとも１つの教示をもたらす。以下、これらのソフトウェアモジュールの機能について詳細に説明する。
The computer workstation 104 is electronically connected to an image forming system 220 such as a C arm and a flat plate. A subject such as a patient 204 is placed on a table 206 in the image forming system 220. A strain calibration array 200, such as an analog embodiment, is attached to the image intensifier 208 of the imaging system 220. In another embodiment, the dimensioned grid 200 allows the application software 120 to generate a digital representation of the dimensioned grid.
With reference to FIGS. 1 and 2, the application software 120 includes an image capture module 300 that captures and stores a digital image captured by the imaging device 220. In one embodiment, the image is in DICOM image format. The captured image is sent to the strain calibration array registration module 400 for registration. The registered strain calibration array is sent to the strain adaptation module 500 for dimensioned grid adaptation. Next, at least one visual and / or audio teaching is transmitted to the results module 600. This module provides at least one teaching to the surgeon to adjust the placement and / or alignment of the implant until the surgeon is satisfied. Hereinafter, functions of these software modules will be described in detail.
一実施形態において、アプリケーションソフトウェア１２０は、モジュールに組み込まれ、この図に示すように、各モジュールは、少なくとも１つの機能ブロックを含む。各ブロックの詳細な動作を示すために、例示的な外科手術として股関節位置合わせの実施形態が使用される。本明細書で開示されるひずみ較正アレイを使用した術中システム１００が、この外科手術だけを実施することには限定されないと理解されると考えられる。例えば、本発明は、股関節、膝、脊椎、足関節、および肩の関節形成手術、ならびに、筋骨格再建のための外傷手術などの他の筋骨格用途に適用可能であり得る。本発明が、以下に説明される特定の詳細事項の変形例を使用して実施され得ることが当業者には明らかと考えられる。 In one embodiment, application software 120 is incorporated into modules, and each module includes at least one functional block, as shown in this figure. To illustrate the detailed operation of each block, the hip alignment embodiment is used as an exemplary surgical procedure. It will be understood that the intraoperative system 100 using the strain calibration array disclosed herein is not limited to performing only this surgery. For example, the present invention may be applicable to other musculoskeletal applications such as hip, knee, spine, ankle and shoulder arthroplasty and trauma surgery for musculoskeletal reconstruction. It will be apparent to those skilled in the art that the present invention may be practiced using variations of the specific details described below.
アプリケーションソフトウェア１２０は、術中にリアルタイムで、被術者の解剖学的構造に適合させるようにデジタルの寸法付きグリッドパターンを適応させ、従って、ひずんだパターンを生成して、筋骨格の解剖学的構造またはインプラントまたは外傷の形状に合致または適合させ、少なくとも１つの視覚的および／または聴覚的教示を生成するか、または、術中に外科医２０２などのユーザに対するフィードバックを生成する。ユーザ２０２は、レジストレーションされた解剖学的像を、ひずみ調節された寸法付きグリッドを使用して確認する。患者または診断装置の調節が必要な場合、外科医は、患者の解剖学的構造における位置を選択し、例えば、入力装置１１２を使用して、選択された解剖学的位置をワークステーションに入力し、または代替例において、外科医により自動区分が選択され得る。位置が入力されると、それらの位置が、寸法付きグリッドの配置のためのパターンインジケータとなる。 The application software 120 adapts the digital dimensional grid pattern to match the anatomy of the subject in real time during the operation, thus generating a distorted pattern to generate the musculoskeletal anatomy Or, match or adapt to the shape of the implant or trauma to generate at least one visual and / or audible teaching, or generate feedback to a user, such as the surgeon 202, during the procedure. User 202 verifies the registered anatomical image using a strain-adjusted sized grid. If adjustment of the patient or diagnostic device is required, the surgeon selects a position in the patient's anatomy, for example using the input device 112, and inputs the selected anatomical position to the workstation; Or, in the alternative, automatic segmentation may be selected by the surgeon. As positions are entered, these positions become pattern indicators for the placement of dimensioned grids.
ここで図３を参照すると、例示的な実施形態において、寸法付きグリッド２００が示される。寸法付きグリッド２００は、アナログであるか、またはデジタルで生成され得る。一実施形態のアナログの寸法付きグリッド２００に関して、このアナログの寸法付きグリッド２００は、手術変数に関する複数の寸法付き放射線不透過線、例えば、２３０を含む。寸法付きグリッド２００の不透過ではない部分は、放射線透過性である。寸法付きグリッド２００は、角度、長さの位置決めまたは目標決めの基準となる、あらゆる形状またはパターンの幾何学的特徴または文字列を含み得る。寸法付きグリッド２００は、手術変数に対応した、単一の線、幾何学的パターン、数字、文字、または複数の線および形状の複雑なパターンであり得る。グリッドパターンは、事前設計されるか、または、形態計測文献と、解剖学的標識間の主要な関係および寸法を特定する研究との解釈、および、特定の処置に関係する場合に良好な手術技術を支援することにおけるその応用を含んだ、解剖学的構造と臨床経験とに関する外科医の知識に基づいて、術中にリアルタイムで構築され得る。アナログの寸法付きグリッド２００は、例えば、Ｃアームおよび平板など、像形成系２２０を使用して術中に像形成される物体と共に使用される。デジタルの寸法付きグリッドに関し、この形態の寸法付きグリッド２００は、アプリケーションソフトウェア１２０により生成される。 Referring now to FIG. 3, in an exemplary embodiment, a dimensioned grid 200 is shown. The dimensioned grid 200 can be analog or digitally generated. With respect to the analog dimensioned grid 200 of one embodiment, the analog dimensioned grid 200 includes a plurality of dimensioned radiopaque lines, eg, 230, for surgical variables. The non-opaque portion of the dimensioned grid 200 is radiolucent. The dimensioned grid 200 may include any shape or pattern of geometric features or strings that serve as a basis for angle, length positioning or targeting. The dimensioned grid 200 can be a single line, geometric pattern, numbers, letters, or a complex pattern of multiple lines and shapes, corresponding to surgical variables. Grid patterns are pre-designed or interpreted as morphometric literature and studies that identify key relationships and dimensions between anatomical landmarks, and good surgical techniques when related to specific procedures Based on the surgeon's knowledge of anatomy and clinical experience, including its application in assisting, it can be constructed in real time during surgery. The analog dimensioned grid 200 is used with objects that are imaged intraoperatively using the imaging system 220, such as, for example, C-arms and plates. With respect to digital dimensioned grids, this form of dimensioned grid 200 is generated by application software 120.
図１と図４とは、本発明の方法の詳細なフロー図を示す。データ取り込みモジュール３００において、デジタル像は、デジタル像を投影する表示装置を含むコンピュータワークステーション１０４に伝達される。デジタル像は、放射線像形成、ＭＲＩ、または超音波像であり得る。デジタル像は、外科医の指示により撮影され、または、一実施形態において、デジタル像は、手術の全期間中における既定の期間において、連続的に撮影される。 1 and 4 show a detailed flow diagram of the method of the present invention. In the data capture module 300, the digital image is transmitted to a computer workstation 104 that includes a display device that projects the digital image. The digital image can be a radiographic image, MRI, or ultrasound image. Digital images are taken at the direction of the surgeon, or in one embodiment, digital images are taken continuously for a predetermined period during the entire period of surgery.
グリッドを使用した術中システム１００は、外科医に、デジタル像、他の関連文字列、および画像情報を表示するように構成されたモニタスクリーンなどの表示装置１１４を含む。グリッドを使用した術中システム１００は、さらに、例えば、キーボード、マウス、トラックボール、または赤外線ポインタなどの同様のポインティング装置といった入力装置１１２に接続され、さらに、他の外部サーバおよびコンピュータと通信し得るようにネットワーク通信周辺機器（図示せず）に接続され得る。例示的な実施形態において、グリッドまたはひずみ較正アレイを使用した術中システム１００は、Ｃアームなどの像形成系２２０から撮影側からのＤＩＣＯＭ画像を受信し、さらに患者の反対側のＤＩＣＯＭ画像を受信する。しかし、骨盤における手術などのいくつかの用途では、片側のＸ線像のみが必要とされる。工程のこのステップにおいて、患者の解剖学的部位の像は、像を処理して解剖学的像モデルの生成を行い、像を保存して可視化スクリーンに像を表示するシステムにより、術中にリアルタイムで、または術前に、放射線像形成／ＣＴ／ＭＲＩ／超音波（ステップ４１０）により取り込まれる（ステップ４２０）。 The intraoperative system 100 using the grid includes a display device 114, such as a monitor screen, configured to display digital images, other related text strings, and image information to the surgeon. The intraoperative system 100 using a grid is further connected to an input device 112 such as, for example, a keyboard, mouse, trackball, or similar pointing device such as an infrared pointer, and can communicate with other external servers and computers. To a network communication peripheral device (not shown). In an exemplary embodiment, intraoperative system 100 using a grid or strain calibration array receives a DICOM image from the imaging side from an imaging system 220, such as a C-arm, and further receives a DICOM image on the opposite side of the patient. . However, in some applications, such as surgery on the pelvis, only one side X-ray image is required. In this step of the process, the image of the patient's anatomy is processed in real time during the operation by a system that processes the image to generate an anatomical image model, and stores the image and displays the image on a visualization screen. Or, prior to surgery, captured by radiographic imaging / CT / MRI / ultrasound (step 410) (step 420).
グリッドレジストレーションモジュール４００において、外科医などのユーザ２０２は、可視化スクリーン上の解剖学的像において少なくとも１つの解剖学的標識３１０を選択する。表示装置は、コンピュータ／タブレットモニタ、像形成系モニタ、ＴＶモニタ、ＨＵＤ、複合現実眼鏡、眼鏡またはコンタクトレンズなどの拡張現実またはホログラフィック装置などの表示媒体を見ることにより外科医が視覚的に利用可能である。デジタル像は、２Ｄまたは３Ｄで生成された形状モデルであり得る。解剖学的標識３１０選択は、限定はされないが、ソフトウェアが特徴／パターン認識処理を使用して、既知の目標とされた解剖学的標識を自動検出する自動区分、ジャイロマウスなどの遠隔赤外線装置の使用、音声命令、空中のジェスチャ、凝視（外科医は、凝視と、目または頭の動きの方向とを使用して、選択された解剖学的標識３１０の位置での、可視化スクリーンへの目標決めまたは接触を制御する、を含む様々な方法により実現され得る。 In the grid registration module 400, a user 202, such as a surgeon, selects at least one anatomical landmark 310 in the anatomical image on the visualization screen. The display device is visually available to the surgeon by viewing display media such as augmented reality or holographic devices such as computer / tablet monitors, imaging monitors, TV monitors, HUD, mixed reality glasses, glasses or contact lenses It is. The digital image can be a shape model generated in 2D or 3D. Anatomical landmark 310 selection includes, but is not limited to, automatic segmentation where the software uses a feature / pattern recognition process to automatically detect known targeted anatomical landmarks, remote infrared devices such as gyro mice, etc. Use, voice command, air gesture, gaze (the surgeon uses the gaze and direction of eye or head movement to target or visualize the visualization screen at the location of the selected anatomical landmark 310 or It can be realized by various methods including controlling contact.
例示的な埋め込みにおいて、外科医は、手動で、または、赤外線ポインタなどの様々な入力装置１１２または拡張現実装置を使用してワークステーション１０４に解剖学的標識３１０の選択を入力する。アプリケーションソフトウェアは、寸法付きグリッド２００を選択された解剖学的標識３１０にレジストレーションする。本方法は、少なくとも１つの解剖学的標識３１０を選択して、寸法付きグリッドに少なくとも１つのグリッドインジケータを提供することにより、寸法付きグリッドに解剖学的像をレジストレーションするステップを含む（ステップ４３０）。 In an exemplary implantation, the surgeon inputs a selection of anatomical landmarks 310 to the workstation 104 manually or using various input devices 112 or augmented reality devices such as an infrared pointer. The application software registers the dimensioned grid 200 with the selected anatomical landmark 310. The method includes registering the anatomical image in the dimensioned grid by selecting at least one anatomical landmark 310 and providing at least one grid indicator on the dimensioned grid (step 430). ).
ひずみ修正モジュール５００において、デジタルグリッドインジケータの変形を算出するためにレジストレーション手順が使用される。レジストレーション工程における最初のステップは、較正である（ステップ４４０）。ソフトウェアは、像内で放射線不透過な較正点５２０を特定および認識する。これらは、寸法が既知の形状である。これらの点をグループ化したものが、ひずみ較正アレイ５２２である。像が撮影されて取り込まれたときに、既知のひずみ較正アレイ線／点が特定されるように、ひずみ較正アレイ５２２は、像増強装置２０８上、またはあらゆる像形成系２２０の視界内に位置する。これらの既知のパターンは、ひずみ適応／矯正工程において使用するため保存される（ステップ４５０）。ひずみ較正アレイ５２２は、不明瞭にしないように、および、不必要な線／点により像を乱さないように表示媒体における可視化から除外される（ステップ４５０）。
ここで図５Ａと図５Ｂとを参照すると、ひずみ較正アレイ５２２が示される。この例示的な実施形態におけるひずみ較正アレイ５２２は、寸法付きグリッド２００のひずみ適応を補助するために配置された一連の線または点により形成される。ひずみ工程が解剖学的構造に対するこれらの点／線５２２の位置を算出し得るように、および、各像が撮影される間のひずみ量を定量化し得るように、ひずみ較正アレイ点または線５２０は、放射線不透過性である。これらの点／線が特定されてひずみ工程で使用された後、寸法付きグリッド２００と解剖学的像とを見るときに、それらの点／線が外科医の視界を妨げないように、解剖学的像におけるこれらの点／線の可視化を防ぐ他の工程が行われる。
In the strain correction module 500, a registration procedure is used to calculate the deformation of the digital grid indicator. The first step in the registration process is calibration (step 440). The software identifies and recognizes a radiopaque calibration point 520 in the image. These are shapes with known dimensions. A group of these points is a strain calibration array 522. The strain calibration array 522 is located on the image intensifier 208 or in the field of view of any imaging system 220 so that known strain calibration array lines / points are identified when the image is captured and captured. . These known patterns are saved for use in the strain adaptation / correction process (step 450). The strain calibration array 522 is excluded from visualization on the display medium so as not to obscure and not disturb the image with unnecessary lines / points (step 450).
Referring now to FIGS. 5A and 5B, a strain calibration array 522 is shown. The strain calibration array 522 in this exemplary embodiment is formed by a series of lines or points arranged to assist in strain adaptation of the dimensioned grid 200. The strain calibration array points or lines 520 are such that the strain process can calculate the position of these points / lines 522 relative to the anatomy and so that the amount of strain can be quantified while each image is taken. , Radiopaque. After these points / lines have been identified and used in the strain process, the anatomical view is such that when viewing the dimensioned grid 200 and the anatomical image, the points / lines do not interfere with the surgeon's view. Other steps are performed to prevent visualization of these points / lines in the image.
一実施形態において、レジストレーション工程は、解剖学的像に重ね合わせられた寸法付きグリッド２００上でグリッド標識（グリッド線の交点、点、および線分など）を手動または自動で検出することと、次に、アフィンレジストレーションと変形場とを使用してそれらの標識を、デジタルで表された既知の形状のひずみ較正アレイ５２２における対応する標識と位置合わせすることとを伴う。本方法は、解剖学的像のひずみに合わせて修正するように較正後の寸法付きグリッドを変形し、変形された較正後の寸法付きグリッド像を生成するステップを含む。（ひずみ較正アレイ５２０における）既知の放射線不透過線／点は、各解剖学的像内におけるＥＭひずみの測定基準を提供するために使用される。ひずみが定量化され、次に、ソフトウェアにより生成された仮想グリッドが、各解剖学的像２４０内のひずんだ解剖学的構造に合致するように適応される（ステップ４６０）。 In one embodiment, the registration process includes manually or automatically detecting grid markers (such as grid line intersections, points, and line segments) on a dimensioned grid 200 superimposed on an anatomical image; The process then involves using affine registration and deformation fields to align the labels with corresponding labels in a known shape strain calibration array 522 represented digitally. The method includes deforming the calibrated dimensioned grid to correct for anatomical image distortion and generating a deformed calibrated dimensioned grid image. Known radiopaque lines / points (in strain calibration array 520) are used to provide a measure of EM strain within each anatomical image. The strain is quantified and the virtual grid generated by the software is then adapted to match the distorted anatomy in each anatomical image 240 (step 460).
ここで図６と図７Ａと図７Ｂとを参照すると、ひずみ較正アレイ２００は、一様でない設計であるので、外科医の対象とする領域において変形修正がより高い精度で推定され得るように、外科医の対象とする領域内で選択された解剖学的標識３１０がより密に集められる。変形推定は、次のように進行する。すなわち、選択された解剖学的標識３１０がアレイ像において（手動または自動で）特定されると、対応する選択された解剖学的標識３１０の間における寸法付きグリッド２００からアレイ像への最適な写像を生成するアフィン変換が算出される。アレイ像に対して並進、回転、および拡大縮小のための標識を調節するアフィン変換によるグリッド点の変換の後、（変換されたグリッド点とアレイ像点との間の残差である）変形場における標識は、シンプレートスプラインまたは何らかの他の適切な放射基底関数を使用してモデル化される。シンプレートスプラインまたは放射基底関数のパラメータは、連立一次方程式を解くことにより推定される。 Referring now to FIG. 6, FIG. 7A and FIG. 7B, the strain calibration array 200 is a non-uniform design so that the deformation correction can be estimated with higher accuracy in the region of interest of the surgeon. The anatomical landmarks 310 selected in the region of interest are collected more closely. The deformation estimation proceeds as follows. That is, once the selected anatomical landmark 310 is identified (manually or automatically) in the array image, an optimal mapping from the sized grid 200 to the array image between the corresponding selected anatomical landmarks 310. The affine transformation that generates is calculated. Deformation field (which is the residual between the transformed grid point and the array image point) after transformation of the grid point by an affine transformation that adjusts the labels for translation, rotation, and scaling with respect to the array image The label in is modeled using a symplate spline or some other suitable radial basis function. The parameters of the symplate spline or radial basis function are estimated by solving simultaneous linear equations.
変形場が算出されると、寸法付きグリッドは、患者の解剖学的構造に適合するように術中にリアルタイムで適応されることにより、筋骨格の解剖学的構造またはインプラントの形状に合致または適合するように使用され得る湾曲した線などの、ひずんだグリッドインジケータを生成する。次に、グリッドインジケータの変形は、まず、アフィン変換を適用した後、変形場に沿ってグリッドインジケータをゆがませることによりリアルタイムで適用される。標識特定において規定されて目標とされた解剖学的位置に基づいたグリッドパターンが生成される。ソフトウェアプログラムは、各像内のひずみ量を算出するように構成され、それが、解剖学的構造／解剖学的構造の像に対してこの量を定量化し、次に、算出されたグリッド／像関係を表示し、定量的にひずんだ寸法付きグリッド像と共に患者の解剖学的構造の像を表示する。これらの変形されたグリッドは、新しい各像が撮影されるのに伴ってリアルタイムで追跡される。変形されたグリッドは、外科医などのユーザにより自動または手動で、解剖学的構造、インプラント、および骨折箇所に対して配置され得る（ステップ４７０）。 Once the deformation field is calculated, the dimensioned grid is adapted or matched to the musculoskeletal anatomy or the shape of the implant by adapting in real time during surgery to fit the patient's anatomy. Generate a distorted grid indicator, such as a curved line that can be used. Next, the deformation of the grid indicator is applied in real time by first applying an affine transformation and then distorting the grid indicator along the deformation field. A grid pattern based on the targeted anatomical position defined in the marker identification is generated. The software program is configured to calculate the amount of strain in each image, which quantifies this amount against the anatomy / anatomical image, and then calculates the calculated grid / image. The relationship is displayed and an image of the patient's anatomy is displayed along with a quantitatively distorted grid image with dimensions. These deformed grids are tracked in real time as each new image is taken. The deformed grid can be placed relative to the anatomy, implant, and fracture site, either automatically or manually by a user, such as a surgeon (step 470).
測定値、差分、角度、グリッドおよびインプラント位置、骨折によるずれを算出して、インプラントまたは外傷に関係する手術変数の少なくとも１つの測定値を決定するために、アルゴリズム内で多くの方程式および式が使用される（ステップ４８０）。出力モジュール５００において、インプラントまたは外傷に関係する手術変数の少なくとも１つの測定値が、ユーザに示される。これが、患者内におけるインプラントの配置、または、外傷の処置をしやすくする（ステップ４９０）。術前計画が用意および確認されると、外科医が被術者を配置し、例えば、Ｘ線装置などの放射線像形成システムに対して患者を配置する。外科医が、対象領域のＸ線などの放射線像を取得する。方法の第１のステップにおいて、放射線像が生成され、表示装置を含むワークステーションに伝達される。解剖学的像が表示され、外科医が放射線像を確認する。外科医により解剖学的位置が選択され、次に、選択された解剖学的標識点に基づいて、像レジストレーションを使用して、像にグリッドがレジストレーションされる。像レジストレーションは、グリッドのアフィン変換として規定され、グリッドにおける既定の標識点と、それらの対応する解剖学的標識点との間の最適な適合をもたらす。最適な適合をもたらすアフィン変換パラメータは、既定の標識点と解剖学的標識点との間における最小の最小二乗差を生成するパラメータとして規定され得るが、他の最適化基準をさらに含み得る。像レジストレーションの後、解剖学的標識間の差分と患者の解剖学的構造の対称性の仮定とを使用して、患者の解剖学的構造の３Ｄにおけるピッチとヨーとの推定が行われ得る。 A number of equations and formulas are used in the algorithm to calculate measurements, differences, angles, grid and implant position, fracture displacement and determine at least one measurement of surgical variables related to the implant or trauma (Step 480). In the output module 500, at least one measurement of the surgical variable related to the implant or trauma is presented to the user. This facilitates placement of the implant within the patient or treatment of the trauma (step 490). Once the preoperative plan is prepared and confirmed, the surgeon places the subject and places the patient relative to a radiographic imaging system, such as an x-ray machine. The surgeon acquires a radiographic image such as an X-ray of the target region. In a first step of the method, a radiation image is generated and transmitted to a workstation that includes a display device. An anatomical image is displayed and the surgeon confirms the radiation image. An anatomical location is selected by the surgeon, and then a grid is registered in the image using image registration based on the selected anatomical landmarks. Image registration is defined as an affine transformation of the grid and provides an optimal fit between the predefined landmarks in the grid and their corresponding anatomical landmarks. The affine transformation parameters that result in the best fit can be defined as parameters that produce the smallest least squares difference between the predefined landmark points and the anatomical landmark points, but may further include other optimization criteria. After image registration, a 3D pitch and yaw estimation of the patient anatomy can be performed using the difference between the anatomical landmarks and the assumption of symmetry of the patient anatomy. .
測定値およびデータは、さらに、ロボットシステム、触覚制御装置またはタッチ／力検出器に送信され、またはこれらと通信され得、寸法付きグリッド、手術器具、およびインプラントのリアルタイムによる複合現実／拡張現実での追跡のために、複合現実／拡張現実のグリッドデータおよび像測定値を投影することにより、術中にリアルタイムで手術環境において、寸法付きグリッドと共に、機器、骨またはインプラントの可視化、位置合わせ、および配置を２Ｄ／３Ｄの複合現実／拡張現実／ホログラフィック現実の像／形状モデルにより表示する複合現実／拡張現実／ホログラフィック現実表示装置に送信され、またはこれらと通信され得る（ステップ４９５）。 Measurements and data can also be transmitted to or communicated to robotic systems, haptic controllers or touch / force detectors, in real-time mixed reality / augmented reality of dimensioned grids, surgical instruments, and implants Projecting mixed reality / augmented reality grid data and image measurements for tracking, visualization, alignment, and placement of instruments, bones or implants along with dimensioned grids in a surgical environment in real time during surgery A 2D / 3D mixed reality / augmented reality / holographic reality image / shape model may be transmitted to or communicated to a mixed reality / augmented reality / holographic reality display device (step 495).
ここで図８と図９とを参照すると、自動区分モジュールが示される。自動区分において、連続する解剖学的像の各々について、外科医により選択された少なくとも１つの解剖学的標識３１０が自動的に選択される。自動区分は、外科医がより迅速に作業することを可能にする。自動区分は、以下の技術、すなわち、強度閾値処理、ハフ変換または他の方法を使用した形状検出を含む像内の強度縁部における特徴検出、特徴検出後における既定の標識位置との２Ｄまたは３Ｄの解剖学的地図のレジストレーションの１つまたは複数の組み合わせにより実現される。一実施形態において、システムに関連して、アプリケーションソフトウェア１２０がモジュールに組み込まれ、各モジュールが、この図に示す少なくとも１つの機能ブロックを含む。機能８１０は、自動区分を含み、機能８２０は、自動グリッド点選択を含む、機能８３０は、選択された点からのグリッド生成を伴い、機能８４０は、解剖学的像上におけるグリッドの重ね合わせを伴う。 Referring now to FIGS. 8 and 9, an automatic sorting module is shown. In automatic segmentation, at least one anatomical landmark 310 selected by the surgeon is automatically selected for each successive anatomical image. Automatic segmentation allows the surgeon to work more quickly. Automatic segmentation is the following techniques: feature detection at an intensity edge in an image, including shape detection using intensity thresholding, Hough transform or other methods, 2D or 3D with a predetermined marker position after feature detection This is accomplished by one or more combinations of anatomical map registrations. In one embodiment, in conjunction with the system, application software 120 is incorporated into the modules, each module including at least one functional block shown in this figure. Function 810 includes automatic segmentation, function 820 includes automatic grid point selection, function 830 involves grid generation from the selected points, and function 840 performs grid overlay on the anatomical image. Accompany.
ここで図１と図１０とを参照すると、代替的な実施形態のシステム１００が示される。システムの構成要素は、選択された手術部位の一連のＸ線または蛍光透視像の入力と、手術像を処理するシステム１００と、外科医などのユーザ２０２による寸法付きグリッド２００の操作を提供する入力装置１１２を使用した、仮想的な、拡張された、またはホログラフィックの寸法付きグリッド２００の重ね合わせとを含む。一実施形態において、電子表示装置１１４は、例えば、コンピュータモニタ、または眼鏡（Ｇｏｏｇｌｅ）などのヘッドアップ表示装置といった電子表示装置である。他の一実施形態において、電子表示装置スクリーン１１４は、動画ＦＰＶゴーグルである。電子表示装置１１４への出力は、ユーザ２０２が一連の像および寸法付きグリッド２００の重ね合わせを見るために提供される。拡張現実またはホログラフィックの寸法付きグリッド２００は、手術装置の正確な位置合わせ／配置を固定しやすくする電子表示装置１１４上に表示される解剖学的標識を見つめることにより、ユーザ２０２により操作され得る。システム１００は、ユーザ２０２が透過型視覚表示装置を使用して視界内で直接、重要な作業情報を見ることを可能にし、さらに、慣れ親しんだジェスチャ、音声命令、および動き追跡を使用してそれと相互作用することを可能にする。データは、データ記憶装置１１０内に記憶され得る。用途は、股関節、膝、肩、肘、および足関節の関節形成術、外傷性骨折および四肢変形矯正、脊椎、および大腿骨寛骨臼インピンジメント／ＰＡＯなどのスポーツ医学的処置を含む。 Referring now to FIGS. 1 and 10, an alternate embodiment system 100 is shown. The system components include a series of x-ray or fluoroscopic image inputs of a selected surgical site, a system 100 for processing the surgical image, and an input device that provides manipulation of the dimensioned grid 200 by a user 202 such as a surgeon. 112, and a superposition of a virtual, expanded, or holographic dimensioned grid 200 using 112. In one embodiment, the electronic display device 114 is an electronic display device such as a computer monitor or a head-up display device such as glasses. In another embodiment, the electronic display screen 114 is animated FPV goggles. Output to the electronic display 114 is provided for the user 202 to see a series of images and an overlay of the sized grid 200. Augmented reality or holographic dimensioned grid 200 can be manipulated by user 202 by looking at anatomical landmarks displayed on electronic display 114 that facilitates securing the correct alignment / placement of the surgical device. . The system 100 allows a user 202 to view important work information directly in the field of view using a transmissive visual display, and to interact with it using familiar gestures, voice commands, and motion tracking. Makes it possible to act. Data may be stored in the data storage device 110. Applications include sports medical procedures such as hip, knee, shoulder, elbow and ankle arthroplasty, traumatic fracture and limb deformity correction, spine, and femoral acetabular impingement / PAO.
好ましい例示的実施形態を参照して本発明について説明してきたが、後述の請求項により定義されるように、様々な変形、追加、および除外をしたものが本発明の範囲内であることが当業者により理解されると考えられる。 Although the invention has been described with reference to preferred exemplary embodiments, it is to be understood that various modifications, additions and exclusions are within the scope of the invention as defined by the following claims. It is thought that it is understood by the contractor.
１００ 術中システム
１０４ コンピュータワークステーション
１０６ 像データ取り込み装置、像取り込み装置
１０８ 像データ生成装置
１１０ 非一時的なコンピュータ可読像データ記憶媒体、データ記憶装置、非一時的なコンピュータ可読記憶媒体
１１２ プロセッサ
１１４ 電子表示装置スクリーン、表示装置
１１６ 動き追跡装置
１１８ 入力装置
１２０ コンピュータ可読命令、アプリケーションソフトウェア
２００ ひずみ較正アレイ、寸法付きグリッド
２０２ ユーザ、外科医
２０４ 患者
２０６ テーブル
２０８ 像増強装置
２２０ 像形成系、像形成装置
３００ 像取り込みモジュール、データ取り込みモジュール
３１０ 解剖学的標識
４００ ひずみ較正アレイレジストレーションモジュール、グリッドレジストレーションモジュール
５００ ひずみ適応モジュール、ひずみ修正モジュール、出力モジュール
５２０ 較正点、ひずみ較正アレイ点または線、ひずみ較正アレイ
５２２ ひずみ較正アレイ、点／線
６００ 結果モジュール
８１０ 機能
８２０ 機能
８３０ 機能
８４０ 機能
100 intraoperative system 104 computer workstation 106 image data capture device, image capture device 108 image data generation device 110 non-transitory computer readable image data storage medium, data storage device, non-transitory computer readable storage medium 112 processor 114 electronic display Device screen, display device 116 motion tracking device 118 input device 120 computer readable instructions, application software 200 strain calibration array, dimensioned grid 202 user, surgeon 204 patient 206 table 208 image enhancement device 220 imaging system, imaging device 300 image capture Module, Data Acquisition Module 310 Anatomical Marking 400 Strain Calibration Array Registration Module, Grid Registration Module 500 strain adaptation module, strain correction module, output module 520 calibration point, strain calibration array point or line, strain calibration array 522 strain calibration array, point / line 600 results module 810 function 820 function 830 function 840 function
Claims (18)
少なくとも１つの解剖学的標識を選択して寸法付きグリッドに少なくとも１つのグリッドインジケータを提供することにより、寸法付きグリッドに患者の解剖学的構造の像をレジストレーションするステップと、
患者の解剖学的構造の前記像に対して前記寸法付きグリッドを較正して較正後の寸法付きグリッドを提供するステップと、
患者の解剖学的構造の前記像のひずみに合わせて修正するように前記較正後の寸法付きグリッドを変形し、変形された較正後の寸法付きグリッド像を生成するステップと、
を含む方法。 A computer-implemented method performed by a processor configured with readable program code to perform the method,
Registering an image of the patient's anatomy in the dimensioned grid by selecting at least one anatomical landmark and providing at least one grid indicator in the dimensioned grid;
Calibrating the dimensioned grid with respect to the image of a patient's anatomy to provide a calibrated dimensioned grid;
Deforming the calibrated dimensioned grid to correct for distortion of the image of a patient's anatomy and generating a deformed calibrated dimensioned grid image;
Including methods.
請求項１に記載の方法。 A deformation field is calculated from the at least one anatomical landmark using a thin plate spline;
The method of claim 1.
請求項１に記載の方法。 Registering an image using an affine transformation and the deformation field to position the at least one anatomical landmark of the dimensioned grid with at least one anatomical landmark and position in a strain calibration array image; Further comprising the step of combining,
The method of claim 1.
請求項１に記載の方法。 Further comprising intraoperatively calculating a point of interest in the image of the patient's anatomy with respect to the deformed calibrated dimensioned grid image as a reference;
The method of claim 1.
請求項４に記載の方法。 Further comprising displaying an image of the patient's anatomy with reference to the deformed calibrated dimensioned grid image.
The method of claim 4.
請求項１に記載の方法。 Automatically receiving a selection of at least one anatomical landmark prior to registering the anatomical image to the dimensioned grid image;
The method of claim 1.
請求項１に記載の方法。 Providing the user with at least one visual or audible instruction during surgery;
The method of claim 1.
請求項１に記載の方法。 Further comprising selecting at least one anatomical landmark to provide at least one grid indicator for a second anatomical image;
The method of claim 1.
請求項８に記載の方法。 Adapting the at least one grid indicator in real time by applying a deformation field to match the anatomy of the patient;
The method of claim 8.
請求項１に記載の方法。 Selecting at least one anatomical landmark includes receiving input from a user from a device selected from the group consisting of mixed reality, augmented reality, and holographic device.
The method of claim 1.
請求項１１に記載のシステム。 Further comprising an automatic segmentation module configured to automatically select for successive anatomical images for at least one anatomical landmark;
The system of claim 11.
請求項１２に記載のシステム。 Further comprising a calibration grid,
The system of claim 12.
請求項１３に記載のシステム。 The calibration grid is selected from the group consisting of points and lines;
The system of claim 13.
請求項１２に記載のシステム。 The result module comprises a grid selected from the group consisting of a mixed reality grid, an augmented reality grid, and a holographic grid;
The system of claim 12.
請求項１２に記載のシステム。 The data capture module is configured to acquire data from a detector;
The system of claim 12.
請求項１６に記載のシステム。 The detector is in electronic communication with a grid selected from the group consisting of a mixed reality grid, an augmented reality grid and a holographic grid;
The system of claim 16.
請求項１２に記載のシステム。 The result module comprises a display device selected from the group consisting of a mixed reality display device, an augmented reality display device and a holographic display device,
The system of claim 12.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662357293P | 2016-06-30 | 2016-06-30 | |
| US62/357,293 | 2016-06-30 | ||
| US15/383,975 | 2016-12-19 | ||
| US15/383,975 US10201320B2 (en) | 2015-12-18 | 2016-12-19 | Deformed grid based intra-operative system and method of use |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018000949A true JP2018000949A (en) | 2018-01-11 |
| JP2018000949A5 JP2018000949A5 (en) | 2020-05-07 |
| JP6873832B2 JP6873832B2 (en) | 2021-05-19 |
Family
ID=60787770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017113292A Active JP6873832B2 (en) | 2016-06-30 | 2017-06-08 | Intraoperative system and usage with deformed grid |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6873832B2 (en) |
| WO (1) | WO2018005907A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210405549A1 (en) * | 2020-06-25 | 2021-12-30 | Canon Kabushiki Kaisha | Toner |
| JP2023506602A (en) * | 2020-03-20 | 2023-02-16 | コーニンクレッカ フィリップス エヌ ヴェ | 3D measurement grid tool for X-ray images |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008518688A (en) * | 2004-10-28 | 2008-06-05 | サージカル・ナビゲーション・テクノロジーズ・インコーポレーテッド | Method and apparatus for calibrating linear instruments |
| US20150085979A1 (en) * | 2012-05-01 | 2015-03-26 | Universitat Bern | Image distortion correction and robust phantom detection |
| JP2016111616A (en) * | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | Information processing device and curve calculation method, and image display device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69733689T2 (en) * | 1997-12-01 | 2006-05-18 | Agfa-Gevaert | Method and device for recording a radiation image of an elongated body |
| US7693564B2 (en) * | 2004-11-19 | 2010-04-06 | General Electric Company | System, apparatus and method for forensic facial approximation |
| US8311306B2 (en) * | 2008-04-30 | 2012-11-13 | Otismed Corporation | System and method for image segmentation in generating computer models of a joint to undergo arthroplasty |
| US10553130B2 (en) * | 2012-05-03 | 2020-02-04 | Regents Of The University Of Minnesota | Systems and methods for analyzing surgical techniques |
-
2017
- 2017-06-08 JP JP2017113292A patent/JP6873832B2/en active Active
- 2017-06-30 WO PCT/US2017/040173 patent/WO2018005907A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008518688A (en) * | 2004-10-28 | 2008-06-05 | サージカル・ナビゲーション・テクノロジーズ・インコーポレーテッド | Method and apparatus for calibrating linear instruments |
| US20150085979A1 (en) * | 2012-05-01 | 2015-03-26 | Universitat Bern | Image distortion correction and robust phantom detection |
| JP2016111616A (en) * | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | Information processing device and curve calculation method, and image display device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023506602A (en) * | 2020-03-20 | 2023-02-16 | コーニンクレッカ フィリップス エヌ ヴェ | 3D measurement grid tool for X-ray images |
| JP7366286B2 (en) | 2020-03-20 | 2023-10-20 | コーニンクレッカ フィリップス エヌ ヴェ | 3D measurement grid tool for X-ray images |
| US20210405549A1 (en) * | 2020-06-25 | 2021-12-30 | Canon Kabushiki Kaisha | Toner |
| US11714363B2 (en) * | 2020-06-25 | 2023-08-01 | Canon Kabushiki Kaisha | Toner |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018005907A1 (en) | 2018-01-04 |
| JP6873832B2 (en) | 2021-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10201320B2 (en) | Deformed grid based intra-operative system and method of use | |
| US10991070B2 (en) | Method of providing surgical guidance | |
| JP6919106B2 (en) | Systems and methods for intraoperative image analysis | |
| US11937888B2 (en) | Artificial intelligence intra-operative surgical guidance system | |
| Fotouhi et al. | Plan in 2-D, execute in 3-D: an augmented reality solution for cup placement in total hip arthroplasty | |
| US10548667B2 (en) | System and method for patient implant alignment | |
| US20060015030A1 (en) | Method for placing multiple implants during a surgery using a computer aided surgery system | |
| US20160331463A1 (en) | Method for generating a 3d reference computer model of at least one anatomical structure | |
| US11864934B2 (en) | Method for verifying hard tissue location using implant imaging | |
| US11883219B2 (en) | Artificial intelligence intra-operative surgical guidance system and method of use | |
| JP6873832B2 (en) | Intraoperative system and usage with deformed grid | |
| US11386556B2 (en) | Deformed grid based intra-operative system and method of use | |
| JP6943884B2 (en) | Hybrid X-ray / camera intervention motion compensation | |
| Bong et al. | Development of a surgical navigation system for corrective osteotomy based on augmented reality | |
| US20240206990A1 (en) | Artificial Intelligence Intra-Operative Surgical Guidance System and Method of Use | |
| Zhao et al. | Computer-assisted orthopedic surgery research and implementation of measurement techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200324 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200324 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200324 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200720 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201020 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210421 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6873832 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |