JP6823665B2 - 手術支援システム - Google Patents
手術支援システム Download PDFInfo
- Publication number
- JP6823665B2 JP6823665B2 JP2018546971A JP2018546971A JP6823665B2 JP 6823665 B2 JP6823665 B2 JP 6823665B2 JP 2018546971 A JP2018546971 A JP 2018546971A JP 2018546971 A JP2018546971 A JP 2018546971A JP 6823665 B2 JP6823665 B2 JP 6823665B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- jig
- surgical
- femur
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 claims description 56
- 239000007943 implant Substances 0.000 claims description 39
- 238000001356 surgical procedure Methods 0.000 claims description 32
- 239000003550 marker Substances 0.000 claims description 31
- 210000000988 bone and bone Anatomy 0.000 claims description 23
- 210000000689 upper leg Anatomy 0.000 description 113
- 238000000034 method Methods 0.000 description 59
- 230000008569 process Effects 0.000 description 50
- 230000036544 posture Effects 0.000 description 38
- 238000003384 imaging method Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 17
- 210000000629 knee joint Anatomy 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 210000002303 tibia Anatomy 0.000 description 10
- 238000011883 total knee arthroplasty Methods 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000002324 minimally invasive surgery Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 210000001185 bone marrow Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 229910001069 Ti alloy Inorganic materials 0.000 description 1
- 241001227561 Valgus Species 0.000 description 1
- 241000469816 Varus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000011882 arthroplasty Methods 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 229920006122 polyamide resin Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3983—Reference marker arrangements for use with image guided surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Robotics (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Gynecology & Obstetrics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Surgical Instruments (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Prostheses (AREA)
Description
本発明は、外科手術、特に、患者の体内にインプラントを取付ける等の整形外科手術を支援する手術支援システムに関する。
従来、脊椎の固定、矯正及び安定化等のために脊椎ケージや人工椎体などを取付け固定する外科手術や、膝関節や股関節などを金属やセラミックス製の人工関節に置き換える置換手術等が知られている。
これらの外科手術においては、事前に患者のインプラントの取付け予定部位の医療用断層画像を用いて、取付け予定のインプラントの形状や寸法や取付位置や取付角度等をシミュレーションする術前計画が行われる（例えば、特許文献１参照）。また、術前計画の内容にしたがってインプラントを取付けるために、ナビゲーションシステムや各種の案内治具を用いる手法が知られている（例えば、特許文献２参照）。
これらの外科手術においては、事前に患者のインプラントの取付け予定部位の医療用断層画像を用いて、取付け予定のインプラントの形状や寸法や取付位置や取付角度等をシミュレーションする術前計画が行われる（例えば、特許文献１参照）。また、術前計画の内容にしたがってインプラントを取付けるために、ナビゲーションシステムや各種の案内治具を用いる手法が知られている（例えば、特許文献２参照）。
ところで、ナビゲーションシステムは、高額で装置自体も大きく、普及率が高くないといった問題がある。一方、案内治具は、比較的安いコストで導入可能であるが、当該案内治具が骨の所定位置に正確に取付けられていないと、インプラントの取付けや骨切りを正確に行うことができなくなる。そこで、患者の骨の形状に対応する表面形状を有する身体適合型の案内治具を骨に嵌合させることで、当該案内治具の取付け精度を向上させる手法が提案されているが、例えば、表面が滑らかで特徴的な凹凸部分が少ない骨に対しては取付け精度が低下してしまう。
すなわち、身体適合型の案内治具といえども取付け精度の低下に起因するインプラントの取付け精度等の低下を招く虞があるため、当該案内治具自体が骨の所定位置に正確に取付けられているかどうかを確認する手法の実現が望まれている。
さらに、外科的処置による身体への侵襲を最小にするための最小侵襲手術が行なわれる場合には、皮膚切開幅が相対的に小さくなるため、案内治具の寸法によっては骨の所定位置に取付けることができないといった問題も生じてしまう。
すなわち、身体適合型の案内治具といえども取付け精度の低下に起因するインプラントの取付け精度等の低下を招く虞があるため、当該案内治具自体が骨の所定位置に正確に取付けられているかどうかを確認する手法の実現が望まれている。
さらに、外科的処置による身体への侵襲を最小にするための最小侵襲手術が行なわれる場合には、皮膚切開幅が相対的に小さくなるため、案内治具の寸法によっては骨の所定位置に取付けることができないといった問題も生じてしまう。
本発明は、このような問題に鑑みてなされたものであり、身体適合型治具の取付け精度の向上を図るとともに、最小侵襲手術にも適用可能なより小型の身体適合型治具を提供することを課題とする。
上記課題を解決するため、本発明の一態様の手術支援システムは、
外科手術が施される身体の所定の取付部に取付けられる身体適合型治具と、拡張現実画像を表示して前記外科手術を支援する手術支援装置と、を備える手術支援システムであって、
前記身体適合型治具は、
前記所定の取付部に嵌合可能な部位嵌合部と、
前記手術支援装置による拡張現実画像の表示のために画像認識され得る特徴を具備する画像認識用部と、を有し、
前記手術支援装置は、
身体の前記所定の取付部及び前記外科手術が施される施術部の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記身体適合型治具の取付位置を含む第１治具情報とを取得する第１取得手段と、
前記所定の取付部、当該所定の取付部に取付けられた前記身体適合型治具及び前記施術部が撮像された撮像画像を取得する第２取得手段と、
前記第２取得手段により取得された撮像画像内の前記身体適合型治具の前記画像認識用部を認識して、前記撮像画像内での前記身体適合型治具の位置及び姿勢を推定する推定手段と、
前記第１取得手段により取得された前記基準画像及び前記第１治具情報に基づいて、前記推定手段により推定された前記撮像画像内での前記身体適合型治具の位置及び姿勢に対応する位置及び姿勢で前記施術部を仮想的に表す第１拡張現実画像として前記施術部及び前記所定の取付部の前記基準画像に基づく三次元モデルを前記撮像画像に重畳させて表示部に表示させる表示制御手段と、を有することを特徴としている。
外科手術が施される身体の所定の取付部に取付けられる身体適合型治具と、拡張現実画像を表示して前記外科手術を支援する手術支援装置と、を備える手術支援システムであって、
前記身体適合型治具は、
前記所定の取付部に嵌合可能な部位嵌合部と、
前記手術支援装置による拡張現実画像の表示のために画像認識され得る特徴を具備する画像認識用部と、を有し、
前記手術支援装置は、
身体の前記所定の取付部及び前記外科手術が施される施術部の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記身体適合型治具の取付位置を含む第１治具情報とを取得する第１取得手段と、
前記所定の取付部、当該所定の取付部に取付けられた前記身体適合型治具及び前記施術部が撮像された撮像画像を取得する第２取得手段と、
前記第２取得手段により取得された撮像画像内の前記身体適合型治具の前記画像認識用部を認識して、前記撮像画像内での前記身体適合型治具の位置及び姿勢を推定する推定手段と、
前記第１取得手段により取得された前記基準画像及び前記第１治具情報に基づいて、前記推定手段により推定された前記撮像画像内での前記身体適合型治具の位置及び姿勢に対応する位置及び姿勢で前記施術部を仮想的に表す第１拡張現実画像として前記施術部及び前記所定の取付部の前記基準画像に基づく三次元モデルを前記撮像画像に重畳させて表示部に表示させる表示制御手段と、を有することを特徴としている。
本発明によれば、身体適合型治具の取付け精度の向上を図ることができるとともに、最小侵襲手術にも適用可能なより小型の身体適合型治具を提供することができる。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
以下に、本発明を適用した一実施形態の手術支援システム１００について、図１〜図５Ｃを参照して説明する。
図１は、手術支援システム１００の概略構成を説明するための斜視図である。
図１は、手術支援システム１００の概略構成を説明するための斜視図である。
図１に示すように、本実施形態の手術支援システム１００は、例えば、人工膝関節置換術（外科手術）に用いられるシステムであり、具体的には、患者Ｐの身体に取付けられる身体適合型治具１と、外科手術の術中支援を行う手術支援装置２とを備えている。
なお、本実施形態では、外科手術の一例として人工膝関節置換術を例示するが、一例であってこれに限られるものではなく、例えば、脊椎の固定、矯正及び安定化等のために脊椎ケージや人工椎体などを取付け固定する外科手術や人工股関節置換術など手術支援システム１００が適用される外科手術は適宜任意に変更可能である。
また、図１には、手術台Ｔ上での患者Ｐが固定されていない状態を表しているが、医者が外科手術を施術し易くなるように固定されていても良い。
なお、本実施形態では、外科手術の一例として人工膝関節置換術を例示するが、一例であってこれに限られるものではなく、例えば、脊椎の固定、矯正及び安定化等のために脊椎ケージや人工椎体などを取付け固定する外科手術や人工股関節置換術など手術支援システム１００が適用される外科手術は適宜任意に変更可能である。
また、図１には、手術台Ｔ上での患者Ｐが固定されていない状態を表しているが、医者が外科手術を施術し易くなるように固定されていても良い。
＜身体適合型治具＞
先ず、身体適合型治具１について、図２Ａ及び図２Ｂを参照して詳細に説明する。図２Ａは、身体適合型治具１を示す斜視図である。
身体適合型治具１は、例えば、人工膝関節置換術等の外科手術が施される患者Ｐの身体の骨（所定の取付部）に取付けられるものである（図１参照）。ここで、身体適合型とは、各患者Ｐ毎の固有の骨Ｂの形状に合わせて形成され、当該骨Ｂ（例えば、大腿骨Ｂ１の遠位端部）の表面の凹凸形状に対して相補的な関係の表面形状の接触面を有することを言う。すなわち、身体適合型治具１は、患者Ｐの骨Ｂの所定の取付部に嵌合可能となっている。
先ず、身体適合型治具１について、図２Ａ及び図２Ｂを参照して詳細に説明する。図２Ａは、身体適合型治具１を示す斜視図である。
身体適合型治具１は、例えば、人工膝関節置換術等の外科手術が施される患者Ｐの身体の骨（所定の取付部）に取付けられるものである（図１参照）。ここで、身体適合型とは、各患者Ｐ毎の固有の骨Ｂの形状に合わせて形成され、当該骨Ｂ（例えば、大腿骨Ｂ１の遠位端部）の表面の凹凸形状に対して相補的な関係の表面形状の接触面を有することを言う。すなわち、身体適合型治具１は、患者Ｐの骨Ｂの所定の取付部に嵌合可能となっている。
具体的には、図２Ａに示すように、身体適合型治具１は、大腿骨Ｂ１の遠位端部の所定位置に嵌合可能な部位嵌合部１１と、手術支援装置２による拡張現実画像（図５Ｂ参照）の表示のためのマーカ１２ａを具備する画像認識用部１２とが本体部１ａに形成されている。
ここで、本体部１ａは、例えば、大腿骨Ｂ１の遠位端から骨盤（図示略）側に延在するように形成されているが、一例であってこれに限られるものではなく、当該本体部１ａの形状は適宜任意に変更可能である。
ここで、本体部１ａは、例えば、大腿骨Ｂ１の遠位端から骨盤（図示略）側に延在するように形成されているが、一例であってこれに限られるものではなく、当該本体部１ａの形状は適宜任意に変更可能である。
部位嵌合部１１は、本体部１ａにおける大腿骨Ｂ１側の面に形成され、当該大腿骨Ｂ１の遠位端部の表面の凹凸形状に対して相補的な関係の表面形状を有している。すなわち、後述するように手術支援装置２により断層画像データＩを用いて術前計画処理が行われて、当該身体適合型治具１の大腿骨Ｂ１の遠位端部での取付け位置がシミュレーションにより特定されると、例えば、ブーリアン演算処理により大腿骨Ｂ１の遠位端部での取付け位置の形状に対して相補的な関係を有する部位嵌合部１１の表面形状を特定する。そして、特定された表面形状の部位嵌合部１１を有する本体部１ａを図示しない三次元（３Ｄ）プリンタを用いて作成する。なお、本体部１ａには、画像認識用部１２におけるマーカ１２ａが嵌合可能なマーカ嵌合部１２ｂ（後述）も一体となって作成される。
このようにして、大腿骨Ｂ１の遠位端部の取付け位置（所定の取付部）に嵌合可能な部位嵌合部１１が形成される。
このようにして、大腿骨Ｂ１の遠位端部の取付け位置（所定の取付部）に嵌合可能な部位嵌合部１１が形成される。
画像認識用部１２は、手術支援装置２による拡張現実画像の表示のために画像認識され得る特徴を具備するものであり、具体的には、本体部１ａの所定位置（例えば、部位嵌合部１１が設けられていない位置等）に設けられ、当該所定位置の表面から座刳られたマーカ嵌合部１２ｂにマーカ１２ａが嵌合して形成されている。
マーカ嵌合部１２ｂは、例えば、平面視にて略矩形状に形成されるとともに所定の深さを有する凹部である。マーカ１２ａは、例えば、外縁部がマーカ嵌合部１２ｂの外形と略等しい略矩形状をなし、寸法がマーカ嵌合部１２ｂよりも僅かに小さく形成されている。また、マーカ１２ａは、マーカ嵌合部１２ｂの凹部の深さと略等しい厚さを有している。
これにより、マーカ嵌合部１２ｂにマーカ１２ａが収容されて所定の接着手段（例えば、接着剤や両面テープ等）により接着されることで、前後方向、左右方向及び上下方向の各方向に位置決めされた状態となる。
また、マーカ１２ａのマーカ嵌合部１２ｂの底部と反対側の面の所定位置には、手術支援装置２による画像認識用の所定の模様（例えば、ハート）が形成されている。
マーカ嵌合部１２ｂは、例えば、平面視にて略矩形状に形成されるとともに所定の深さを有する凹部である。マーカ１２ａは、例えば、外縁部がマーカ嵌合部１２ｂの外形と略等しい略矩形状をなし、寸法がマーカ嵌合部１２ｂよりも僅かに小さく形成されている。また、マーカ１２ａは、マーカ嵌合部１２ｂの凹部の深さと略等しい厚さを有している。
これにより、マーカ嵌合部１２ｂにマーカ１２ａが収容されて所定の接着手段（例えば、接着剤や両面テープ等）により接着されることで、前後方向、左右方向及び上下方向の各方向に位置決めされた状態となる。
また、マーカ１２ａのマーカ嵌合部１２ｂの底部と反対側の面の所定位置には、手術支援装置２による画像認識用の所定の模様（例えば、ハート）が形成されている。
なお、画像認識用部１２は、例えば、図２Ｂに示すように、本体部１ｃに一体となって形成されたマーカ１２ｃを有していても良い。マーカ１２ｃは、上記したマーカ１２ａと略同様に、手術支援装置２による画像認識用の所定の模様（例えば、ハート）が形成され、この所定の模様の位置、形状及び向きはマーカ１２ａにおけるものと略等しくなっている。
また、マーカ１２ｃ（画像認識用部１２）は、上記したように三次元プリンタを用いて本体部１ｃを作成する際に、部位嵌合部１１とともに本体部１ｃに形成された状態となっても良いし、本体部１ｃの作成後にレーザーなどにより刻印されても良い。
また、マーカ１２ｃ（画像認識用部１２）は、上記したように三次元プリンタを用いて本体部１ｃを作成する際に、部位嵌合部１１とともに本体部１ｃに形成された状態となっても良いし、本体部１ｃの作成後にレーザーなどにより刻印されても良い。
また、本体部１ａには、大腿骨Ｂ１に取り付けられた当該身体適合型治具１を固定するためのピン（図示略）が挿通されるピン挿通孔１３が二つ形成されている。
また、身体適合型治具１は、例えば、ポリアミド系樹脂やチタン合金等から形成されるが、素材は一例であってこれらに限られるものではなく、生体適合性を有する材料であれば適宜任意に変更可能である。
＜手術支援装置＞
次に、手術支援装置２について、図３を参照して詳細に説明する。図３は、手術支援装置２の機能的構成を示すブロック図である。
手術支援装置２は、例えば、ＰＣ（Personal Computer）等から構成されている。また、手術支援装置２には、患者Ｐの施術部（例えば、膝関節等）を撮像する撮像装置３が接続されている。例えば、図１に示すように、手術支援装置２の表示部２０４や操作部２０５（後述）等は、基台４に搭載されており、この基台４には、先端に撮像装置３が取付けられた支持アーム４１が設けられている。この支持アーム４１によって撮像装置３による撮像方向や高さ等を調整可能となっている。
次に、手術支援装置２について、図３を参照して詳細に説明する。図３は、手術支援装置２の機能的構成を示すブロック図である。
手術支援装置２は、例えば、ＰＣ（Personal Computer）等から構成されている。また、手術支援装置２には、患者Ｐの施術部（例えば、膝関節等）を撮像する撮像装置３が接続されている。例えば、図１に示すように、手術支援装置２の表示部２０４や操作部２０５（後述）等は、基台４に搭載されており、この基台４には、先端に撮像装置３が取付けられた支持アーム４１が設けられている。この支持アーム４１によって撮像装置３による撮像方向や高さ等を調整可能となっている。
手術支援装置２は、図３に示すように、具体的には、中央制御部２０１と、メモリ２０２と、記憶部２０３と、表示部２０４と、操作部２０５と、インターフェイス（Ｉ／Ｆ）部２０６とを備えている。また、手術支援装置２の各部は、バス２０７を介して接続されている。
中央制御部２０１は、当該手術支援装置２の各部を制御するものである。すなわち、中央制御部２０１は、図示は省略するが、ＣＰＵ（Central Processing Unit）を備え、ＣＰＵは、記憶部２０３に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出し、メモリ２０２のワークエリアに展開し、当該プログラムに従って各種処理を実行する。その際に、中央制御部２０１のＣＰＵは、メモリ２０２内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０４に表示させる。
メモリ２０２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部２０１のＣＰＵにより読み出された各種のプログラムやデータを一時的に格納するワークエリアを有している。
記憶部２０３は、例えば、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＨＤＤ（Hard Disk Drive）等により構成され、データ及びプログラムを書き込み及び読み出し可能な記憶部である。
具体的には、記憶部２０３は、断層画像データＩ、術前計画用プログラム２０３ａ、術前計画データＤ、第１取得プログラム２０３ｂ、第２取得プログラム２０３ｃ、推定プログラム２０３ｄ、表示制御プログラム２０３ｅ等を記憶している。
具体的には、記憶部２０３は、断層画像データＩ、術前計画用プログラム２０３ａ、術前計画データＤ、第１取得プログラム２０３ｂ、第２取得プログラム２０３ｃ、推定プログラム２０３ｄ、表示制御プログラム２０３ｅ等を記憶している。
断層画像データＩは、例えば、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging system）装置などの医療用断層画像診断装置（図示略）により患者Ｐの外科手術が施される施術部（例えば、人工膝関節により置換される膝関節）が撮像された画像データである。すなわち、断層画像データＩは、例えば、人工膝関節置換術前に、医療用断層画像診断装置により患者Ｐの膝関節を構成する大腿骨Ｂ１及び脛骨（図示略）が撮像された画像データである。
なお、断層画像データＩは、医療用断層画像診断装置から院内ＬＡＮ等のネットワークを介して手術支援装置２に送信されたものであっても良いし、メモリカード等の記憶媒体を介して手術支援装置２により取得されたものであっても良い。
なお、断層画像データＩは、医療用断層画像診断装置から院内ＬＡＮ等のネットワークを介して手術支援装置２に送信されたものであっても良いし、メモリカード等の記憶媒体を介して手術支援装置２により取得されたものであっても良い。
術前計画用プログラム２０３ａは、人工膝関節置換術の術前計画処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から術前計画用プログラム２０３ａを読み出して、この術前計画用プログラム２０３ａに従って、取付け予定の人工膝関節（大腿骨側部材や脛骨側部材等；図示略）の形状や寸法、大腿骨Ｂ１に刺入される大腿骨髄内ロッドの向き及び刺入点の位置、大腿骨Ｂ１の骨切り位置、脛骨に刺入される脛骨髄内ロッドの向き及び刺入点の位置、脛骨の骨切り位置等をシミュレーションにより特定する。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から術前計画用プログラム２０３ａを読み出して、この術前計画用プログラム２０３ａに従って、取付け予定の人工膝関節（大腿骨側部材や脛骨側部材等；図示略）の形状や寸法、大腿骨Ｂ１に刺入される大腿骨髄内ロッドの向き及び刺入点の位置、大腿骨Ｂ１の骨切り位置、脛骨に刺入される脛骨髄内ロッドの向き及び刺入点の位置、脛骨の骨切り位置等をシミュレーションにより特定する。
なお、術前計画処理は、公知の技術であり、ここでは詳細な説明は省略するが、例えば、中央制御部２０１のＣＰＵは、人工膝関節置換術前に医療用断層画像診断装置により撮像された断層画像データＩから患者Ｐの大腿骨Ｂ１の三次元形状を表す基準画像の画像データを生成する。ここで、断層画像データＩに代えて、二方向から撮像されたレントゲン画像に基づいて骨Ｂ（大腿骨Ｂ１）の三次元形状を推定し、当該骨Ｂの三次元形状を表す画像データを生成して基準画像として用いても良い。
そして、中央制御部２０１のＣＰＵは、表示部２０４に表示された大腿骨Ｂ１の三次元モデル上で座標系を構築し、人工膝関節を構成する大腿骨側部材の設置予定位置等をシミュレーションして特定する。また、中央制御部２０１のＣＰＵは、断層画像データＩに基づいて表示部２０４に表示された大腿骨Ｂ１の三次元モデル上での、大腿骨Ｂ１に対する身体適合型治具１の適切な取付位置や取付けの向き等を含む第１治具情報をシミュレーションして生成する。このとき、中央制御部２０１のＣＰＵは、例えば、ブーリアン演算処理により大腿骨Ｂ１の遠位端部での取付け位置の形状に対して相補的な関係を有する部位嵌合部１１の表面形状も特定する。また、中央制御部２０１のＣＰＵは、大腿骨Ｂ１の三次元モデル上での身体適合型治具１の位置を基準として、大腿骨Ｂ１に対する大腿骨側部材（インプラント）の取付けを案内支援するために大腿骨Ｂ１に刺入される大腿骨髄内ロッドや、この大腿骨髄内ロッドを基準として大腿骨Ｂ１の骨切りを案内する大腿骨骨切り案内部材（何れも図示略）の各種案内支援治具について、取付位置や取付けの向き等を含む第２治具情報をシミュレーションして生成する。さらに、中央制御部２０１のＣＰＵは、例えば、機能軸、大腿骨Ｂ１の骨頭中心の位置、内／外反角、屈曲・伸展角、回旋角等の各種の術中支援パラメータを生成しても良い。
なお、第１治具情報や第２治具情報の生成は、シミュレーションにより自動的に行われても良いし、医者による操作部２０５の所定操作に基づいて治具の向きや位置の微調整が行われても良い。
また、膝関節の脛骨側についても同様に、人工膝関節を構成する脛骨側部材の設置予定位置等や第１治具情報や第２治具情報等がシミュレーションにより特定されるが、ここでは詳細な説明は省略する。
そして、中央制御部２０１のＣＰＵは、表示部２０４に表示された大腿骨Ｂ１の三次元モデル上で座標系を構築し、人工膝関節を構成する大腿骨側部材の設置予定位置等をシミュレーションして特定する。また、中央制御部２０１のＣＰＵは、断層画像データＩに基づいて表示部２０４に表示された大腿骨Ｂ１の三次元モデル上での、大腿骨Ｂ１に対する身体適合型治具１の適切な取付位置や取付けの向き等を含む第１治具情報をシミュレーションして生成する。このとき、中央制御部２０１のＣＰＵは、例えば、ブーリアン演算処理により大腿骨Ｂ１の遠位端部での取付け位置の形状に対して相補的な関係を有する部位嵌合部１１の表面形状も特定する。また、中央制御部２０１のＣＰＵは、大腿骨Ｂ１の三次元モデル上での身体適合型治具１の位置を基準として、大腿骨Ｂ１に対する大腿骨側部材（インプラント）の取付けを案内支援するために大腿骨Ｂ１に刺入される大腿骨髄内ロッドや、この大腿骨髄内ロッドを基準として大腿骨Ｂ１の骨切りを案内する大腿骨骨切り案内部材（何れも図示略）の各種案内支援治具について、取付位置や取付けの向き等を含む第２治具情報をシミュレーションして生成する。さらに、中央制御部２０１のＣＰＵは、例えば、機能軸、大腿骨Ｂ１の骨頭中心の位置、内／外反角、屈曲・伸展角、回旋角等の各種の術中支援パラメータを生成しても良い。
なお、第１治具情報や第２治具情報の生成は、シミュレーションにより自動的に行われても良いし、医者による操作部２０５の所定操作に基づいて治具の向きや位置の微調整が行われても良い。
また、膝関節の脛骨側についても同様に、人工膝関節を構成する脛骨側部材の設置予定位置等や第１治具情報や第２治具情報等がシミュレーションにより特定されるが、ここでは詳細な説明は省略する。
また、上記した術前計画処理により生成された各種の情報は、術前計画データＤとして記憶部２０３に記憶される。
なお、術前計画処理は当該手術支援装置２以外の装置で行われても良く、例えば、術前計画データＤが院内ＬＡＮ等のネットワークを介して手術支援装置２に送信されたり、メモリカード等の記憶媒体を介して手術支援装置２により取得される構成であっても良い。
なお、術前計画処理は当該手術支援装置２以外の装置で行われても良く、例えば、術前計画データＤが院内ＬＡＮ等のネットワークを介して手術支援装置２に送信されたり、メモリカード等の記憶媒体を介して手術支援装置２により取得される構成であっても良い。
第１取得プログラム２０３ｂは、基準画像及び治具情報を取得する第１取得処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第１取得プログラム２０３ｂを読み出して、この第１取得プログラム２０３ｂに従って、第１取得処理を行う。ここで、中央制御部２０１のＣＰＵは、第１取得プログラム２０３ｂとの協働により、第１取得手段として機能する。
具体的には、中央制御部２０１のＣＰＵは、例えば、術前計画データＤを記憶部２０３から読み出して取得し、患者Ｐの人工膝関節が取り付けられる予定の大腿骨Ｂ１や脛骨の三次元形状を表す基準画像の画像データを取得する。また、中央制御部２０１のＣＰＵは、術前計画データＤを記憶部２０３から読み出して取得し、大腿骨Ｂ１の三次元モデル上での大腿骨Ｂ１の遠位端部に取付けられる身体適合型治具１の取付位置を含む第１治具情報を取得する。また、中央制御部２０１のＣＰＵは、術前計画データＤを記憶部２０３から読み出して取得し、大腿骨Ｂ１の三次元モデル上での大腿骨Ｂ１に対する大腿骨側部材（インプラント）の取付けを案内支援するための大腿骨髄内ロッド等の取付位置や取付けの向きを含む第２治具情報を取得する。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第１取得プログラム２０３ｂを読み出して、この第１取得プログラム２０３ｂに従って、第１取得処理を行う。ここで、中央制御部２０１のＣＰＵは、第１取得プログラム２０３ｂとの協働により、第１取得手段として機能する。
具体的には、中央制御部２０１のＣＰＵは、例えば、術前計画データＤを記憶部２０３から読み出して取得し、患者Ｐの人工膝関節が取り付けられる予定の大腿骨Ｂ１や脛骨の三次元形状を表す基準画像の画像データを取得する。また、中央制御部２０１のＣＰＵは、術前計画データＤを記憶部２０３から読み出して取得し、大腿骨Ｂ１の三次元モデル上での大腿骨Ｂ１の遠位端部に取付けられる身体適合型治具１の取付位置を含む第１治具情報を取得する。また、中央制御部２０１のＣＰＵは、術前計画データＤを記憶部２０３から読み出して取得し、大腿骨Ｂ１の三次元モデル上での大腿骨Ｂ１に対する大腿骨側部材（インプラント）の取付けを案内支援するための大腿骨髄内ロッド等の取付位置や取付けの向きを含む第２治具情報を取得する。
第２取得プログラム２０３ｃは、撮像画像Ｆ（図５Ａ参照）を逐次取得する第２取得処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第２取得プログラム２０３ｃを読み出して、この第２取得プログラム２０３ｃに従って、第２取得処理を行う。ここで、中央制御部２０１のＣＰＵは、第２取得プログラム２０３ｃとの協働により、第２取得手段として機能する。
具体的には、中央制御部２０１のＣＰＵは、手術台Ｔ上の患者Ｐの大腿骨Ｂ１の遠位端部に取付けられた身体適合型治具１及び当該大腿骨Ｂ１の遠位端部、すなわち、身体適合型治具１が取り付けられた状態の大腿骨Ｂ１の遠位端部が撮像装置３により撮像された撮像画像Ｆを取得する。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第２取得プログラム２０３ｃを読み出して、この第２取得プログラム２０３ｃに従って、第２取得処理を行う。ここで、中央制御部２０１のＣＰＵは、第２取得プログラム２０３ｃとの協働により、第２取得手段として機能する。
具体的には、中央制御部２０１のＣＰＵは、手術台Ｔ上の患者Ｐの大腿骨Ｂ１の遠位端部に取付けられた身体適合型治具１及び当該大腿骨Ｂ１の遠位端部、すなわち、身体適合型治具１が取り付けられた状態の大腿骨Ｂ１の遠位端部が撮像装置３により撮像された撮像画像Ｆを取得する。
ここで、撮像装置３の構成について説明する。
撮像装置３は、Ｉ／Ｆ部２０６を介して手術支援装置２と接続されている。また、撮像装置３は、公知のものであれば如何なる構成であっても良く、詳細な説明は省略するが、例えば、中央制御部３０１と、撮像部３０２と、信号処理部３０３と、通信制御部３０４とを備えている。
撮像装置３は、Ｉ／Ｆ部２０６を介して手術支援装置２と接続されている。また、撮像装置３は、公知のものであれば如何なる構成であっても良く、詳細な説明は省略するが、例えば、中央制御部３０１と、撮像部３０２と、信号処理部３０３と、通信制御部３０４とを備えている。
中央制御部３０１は、当該撮像装置３の各部を制御するものである。具体的には、図示は省略するが、中央制御部３０１のＣＰＵは、記憶手段（図示略）から読み出した所定のプログラムをメモリ（図示略）のワークエリアに展開し、当該プログラムに従って各種処理を実行する。
撮像部３０２は、例えば、図示は省略するが、ズームレンズやフォーカスレンズ等の各種のレンズから構成されたレンズ部と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部と、タイミング発生器やドライバ等により電子撮像部を走査駆動する撮像制御部とを備えている。そして、撮像制御部は、所定周期毎にレンズ部により結像された光学像を電子撮像部により二次元の画像信号に変換させ、この電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して信号処理部３０３に出力させる。
信号処理部３０３は、例えば、電子撮像部から転送されたフレーム画像のアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整し、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行って、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
通信制御部３０４は、信号処理部３０３により生成されたフレーム画像の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を取得して、取得されたフレーム画像（撮像画像Ｆ）のＹＵＶデータを手術支援装置２に送信する。
そして、手術支援装置２では、中央制御部２０１のＣＰＵは、第２取得処理によって、撮像装置３の通信制御部３０４から送信されてＩ／Ｆ部２０６を介して受信された撮像画像Ｆのデジタル値の画像データ（ＹＵＶデータ）を取得する。この撮像画像Ｆの画像データの取得は、撮像装置３による撮像画像Ｆの撮像（フレーム画像のＹＵＶデータの生成）が行われる毎に逐次行われても良いし、ユーザによる操作部２０５の所定操作に基づいてユーザが所望するタイミングで行われても良い。
推定プログラム２０３ｄは、撮像画像Ｆ内での身体適合型治具１の位置及び姿勢を推定する推定処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から推定プログラム２０３ｄを読み出して、この推定プログラム２０３ｄに従って、推定処理を行う。ここで、中央制御部２０１のＣＰＵは、推定プログラム２０３ｄとの協働により、推定手段として機能する。
具体的には、中央制御部２０１のＣＰＵは、第２取得処理により取得された撮像画像Ｆ内の身体適合型治具１の画像認識用部１２を認識して、その認識結果に基づいて撮像画像Ｆ内での身体適合型治具１の位置及び姿勢を推定する。つまり、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での画像認識用部１２のマーカ１２ａの形状（マーカ１２ａから抽出される特徴量）から当該マーカ１２ａの位置及び姿勢を特定し、特定された結果から撮像画像Ｆ内での身体適合型治具１の位置及び姿勢を推定する。
なお、画像認識用部１２を認識する手法、すなわち、マーカ１２ａの位置及び姿勢を特定する手法は、公知の技術であり、ここでは詳細な説明は省略する。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から推定プログラム２０３ｄを読み出して、この推定プログラム２０３ｄに従って、推定処理を行う。ここで、中央制御部２０１のＣＰＵは、推定プログラム２０３ｄとの協働により、推定手段として機能する。
具体的には、中央制御部２０１のＣＰＵは、第２取得処理により取得された撮像画像Ｆ内の身体適合型治具１の画像認識用部１２を認識して、その認識結果に基づいて撮像画像Ｆ内での身体適合型治具１の位置及び姿勢を推定する。つまり、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での画像認識用部１２のマーカ１２ａの形状（マーカ１２ａから抽出される特徴量）から当該マーカ１２ａの位置及び姿勢を特定し、特定された結果から撮像画像Ｆ内での身体適合型治具１の位置及び姿勢を推定する。
なお、画像認識用部１２を認識する手法、すなわち、マーカ１２ａの位置及び姿勢を特定する手法は、公知の技術であり、ここでは詳細な説明は省略する。
表示制御プログラム２０３ｅは、拡張現実（augmented reality：ＡＲ）技術を用いて、表示部２０４に拡張現実画像を撮像画像Ｆに重畳させて表示させる表示制御処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から表示制御プログラム２０３ｅを読み出して、この表示制御プログラム２０３ｅに従って、表示制御処理を行う。ここで、中央制御部２０１のＣＰＵは、表示制御プログラム２０３ｅとの協働により、表示制御手段として機能する。
具体的には、中央制御部２０１のＣＰＵは、第１取得処理により取得された基準画像及び第１治具情報に基づいて、推定処理により推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢で施術部（大腿骨Ｂ１）を仮想的に表す第１拡張現実画像Ａ１を撮像画像Ｆに重畳させて表示部２０４に表示させる（図５Ｂ参照）。より具体的には、第１治具情報には、大腿骨Ｂ１の三次元モデル上での身体適合型治具１の適切な取付位置や取付けの向き、つまり、大腿骨Ｂ１の遠位端部と身体適合型治具１との相対的な位置関係が含まれているため、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢での大腿骨Ｂ１の遠位端部の三次元モデルを第１拡張現実画像Ａ１として撮像画像Ｆに重畳させて表示部２０４に表示させる（図５Ｂ参照）。
なお、図５Ｂにあっては、大腿骨Ｂ１の遠位端部の三次元モデルの輪郭部分のみを破線で表示するようにしているが、例えば、大腿骨Ｂ１の遠位端部の三次元モデル全体を半透過の状態で表示しても良い。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から表示制御プログラム２０３ｅを読み出して、この表示制御プログラム２０３ｅに従って、表示制御処理を行う。ここで、中央制御部２０１のＣＰＵは、表示制御プログラム２０３ｅとの協働により、表示制御手段として機能する。
具体的には、中央制御部２０１のＣＰＵは、第１取得処理により取得された基準画像及び第１治具情報に基づいて、推定処理により推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢で施術部（大腿骨Ｂ１）を仮想的に表す第１拡張現実画像Ａ１を撮像画像Ｆに重畳させて表示部２０４に表示させる（図５Ｂ参照）。より具体的には、第１治具情報には、大腿骨Ｂ１の三次元モデル上での身体適合型治具１の適切な取付位置や取付けの向き、つまり、大腿骨Ｂ１の遠位端部と身体適合型治具１との相対的な位置関係が含まれているため、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢での大腿骨Ｂ１の遠位端部の三次元モデルを第１拡張現実画像Ａ１として撮像画像Ｆに重畳させて表示部２０４に表示させる（図５Ｂ参照）。
なお、図５Ｂにあっては、大腿骨Ｂ１の遠位端部の三次元モデルの輪郭部分のみを破線で表示するようにしているが、例えば、大腿骨Ｂ１の遠位端部の三次元モデル全体を半透過の状態で表示しても良い。
また、第１拡張現実画像Ａ１として表示されている大腿骨Ｂ１の遠位端部の三次元モデルと合致するように、大腿骨Ｂ１と身体適合型治具１との位置関係、具体的には、大腿骨Ｂ１の遠位端部に対する身体適合型治具１の取付位置や取付けの向き等が調整されると、中央制御部２０１のＣＰＵは、第１取得処理により取得された基準画像、第１治具情報及び第２治具情報に基づいて、大腿骨Ｂ１に対する大腿骨側部材（図示略）の取付けを案内支援するために大腿骨Ｂ１に刺入される大腿骨髄内ロッドの取付位置や取付けの向きを仮想的に表す第２拡張現実画像Ａ２を撮像画像Ｆに重畳させて表示部２０４に表示させる。より具体的には、第２治具情報には、大腿骨Ｂ１の三次元モデル上での身体適合型治具１の位置を基準とする大腿骨髄内ロッドや大腿骨骨切り案内部材等の各種案内支援治具の取付位置や取付けの向き、つまり、身体適合型治具１に対する相対的な位置関係が含まれているため、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢での各種案内支援治具（例えば、大腿骨髄内ロッド）の取付位置や取付けの向きを第２拡張現実画像Ａ２として撮像画像Ｆに重畳させて表示部２０４に表示させる（図５Ｃ参照）。
さらに、中央制御部２０１のＣＰＵは、大腿骨髄内ロッドを基準として大腿骨Ｂ１の骨切り面の位置や向きを仮想的に表す第２拡張現実画像Ａ２を撮像画像Ｆに重畳させて表示部２０４に表示させても良い。この大腿骨Ｂ１の骨切り面の位置や向きを表す第２拡張現実画像Ａ２の表示は、大腿骨髄内ロッドの取付位置や取付けの向きを表す第２拡張現実画像Ａ２の表示と同時に行われても良いし、異なるタイミングで行われても良い。
さらに、中央制御部２０１のＣＰＵは、大腿骨髄内ロッドを基準として大腿骨Ｂ１の骨切り面の位置や向きを仮想的に表す第２拡張現実画像Ａ２を撮像画像Ｆに重畳させて表示部２０４に表示させても良い。この大腿骨Ｂ１の骨切り面の位置や向きを表す第２拡張現実画像Ａ２の表示は、大腿骨髄内ロッドの取付位置や取付けの向きを表す第２拡張現実画像Ａ２の表示と同時に行われても良いし、異なるタイミングで行われても良い。
なお、図５Ｃにあっては、大腿骨髄内ロッドの三次元モデルの輪郭部分のみを破線で表示するようにしているが、例えば、大腿骨髄内ロッドの三次元モデル全体を半透過の状態で表示しても良い。また、大腿骨Ｂ１の骨切り面の位置や向きを表す第２拡張現実画像Ａ２として、平面状のものを例示したが、一例であってこれに限られるものではなく、形状や寸法は適宜任意に変更可能である。また、この第２拡張現実画像Ａ２は、半透過の状態で表示されるのが好ましいが、例えば、大腿骨Ｂ１の骨切り面の位置や向きを識別可能であれば如何なる表示態様であっても良い。
また、脛骨の場合も処理内容は略同様であり、ここでは詳細な説明は省略するが、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での身体適合型治具の位置及び姿勢に対応する位置及び姿勢での脛骨の近位端部の三次元モデルを第１拡張現実画像として撮像画像Ｆに重畳させて表示部２０４に表示させる（図示略）。また、同様に、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での身体適合型治具の位置及び姿勢に対応する位置及び姿勢での各種案内支援治具（例えば、脛骨髄内ロッド）の取付位置や取付けの向きを第２拡張現実画像として撮像画像Ｆに重畳させて表示部２０４に表示させる（図示略）。同様に、中央制御部２０１のＣＰＵは、脛骨髄内ロッドの位置を基準として脛骨の骨切り面の位置や向きを第２拡張現実画像として撮像画像Ｆに重畳させて表示部２０４に表示させても良い。
なお、図５Ａ〜図５Ｃにあっては、患者Ｐの大腿骨Ｂ１以外の部分の図示は省略しているが、実際には、例えば、軟骨、腱、靱帯、皮膚等の大腿骨Ｂ１の周囲の組織も撮像装置３により撮像されて表示部２０４に表示された状態となる。
表示部２０４は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等から構成されている。また、表示部２０４には、中央制御部２０１のＣＰＵから出力されて入力される表示信号の指示に従って、各種画面を表示する（図５Ｂ及び図５Ｃ等参照）。
操作部２０５は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備えている。そして、操作部２０５は、これらキーボードやマウスの操作に応じて所定の操作信号を中央制御部２０１に出力する。
Ｉ／Ｆ部２０６は、例えば、有線ケーブル（図示略）や無線通信回線（例えば、無線ＬＡＮやBluetooth（登録商標））を介して撮像装置３と情報通信可能に接続されている。
＜支援処理＞
以下に、人工膝関節置換術における支援処理について、図４並びに図５Ａ〜図５Ｃを参照して説明する。
図４は、手術支援システム１００を用いた支援処理に係る動作の一例を示すフローチャートである。また、図５Ａは、撮像装置３による撮像画像Ｆの一例を示す図であり、図５Ｂ及び図５Ｃは、手術支援装置２に表示される画像の一例を示す図である。
以下に、人工膝関節置換術における支援処理について、図４並びに図５Ａ〜図５Ｃを参照して説明する。
図４は、手術支援システム１００を用いた支援処理に係る動作の一例を示すフローチャートである。また、図５Ａは、撮像装置３による撮像画像Ｆの一例を示す図であり、図５Ｂ及び図５Ｃは、手術支援装置２に表示される画像の一例を示す図である。
なお、以下の説明では、人工膝関節置換術にて大腿骨Ｂ１に対する大腿骨側部材（インプラント）の取付けを支援する方法について説明するが、脛骨側についても略同様であり、詳細な説明は省略する。
図４に示すように、先ず、中央制御部２０１のＣＰＵは、人工膝関節置換術の術前計画処理を行う（ステップＳ１）。
具体的には、中央制御部２０１のＣＰＵは、術前計画用プログラム２０３ａに従って、記憶部２０３から断層画像データＩを読み出して取得し、患者Ｐの脛骨及び大腿骨Ｂ１の三次元形状を表す基準画像の画像データを生成し、大腿骨Ｂ１の三次元モデル上での人工膝関節を構成する大腿骨側部材の設置予定位置等をシミュレーションして特定する。また、中央制御部２０１のＣＰＵは、大腿骨Ｂ１の三次元モデル上での、大腿骨Ｂ１に対する身体適合型治具１の取付位置や取付けの向き等を含む第１治具情報、大腿骨Ｂ１に対する大腿骨側部材の取付けを案内支援するための大腿骨髄内ロッドや大腿骨骨切り案内部材等の各種案内支援治具の取付位置や取付けの向き等を含む第２治具情報をシミュレーションして生成する。なお、身体適合型治具１については、中央制御部２０１のＣＰＵは、大腿骨Ｂ１の遠位端部での取付け位置の形状に対して相補的な関係を有する部位嵌合部１１の表面形状も特定する。
具体的には、中央制御部２０１のＣＰＵは、術前計画用プログラム２０３ａに従って、記憶部２０３から断層画像データＩを読み出して取得し、患者Ｐの脛骨及び大腿骨Ｂ１の三次元形状を表す基準画像の画像データを生成し、大腿骨Ｂ１の三次元モデル上での人工膝関節を構成する大腿骨側部材の設置予定位置等をシミュレーションして特定する。また、中央制御部２０１のＣＰＵは、大腿骨Ｂ１の三次元モデル上での、大腿骨Ｂ１に対する身体適合型治具１の取付位置や取付けの向き等を含む第１治具情報、大腿骨Ｂ１に対する大腿骨側部材の取付けを案内支援するための大腿骨髄内ロッドや大腿骨骨切り案内部材等の各種案内支援治具の取付位置や取付けの向き等を含む第２治具情報をシミュレーションして生成する。なお、身体適合型治具１については、中央制御部２０１のＣＰＵは、大腿骨Ｂ１の遠位端部での取付け位置の形状に対して相補的な関係を有する部位嵌合部１１の表面形状も特定する。
次に、中央制御部２０１のＣＰＵは、患者Ｐの大腿骨Ｂ１の三次元形状を表す基準画像、並びに、第１治具情報及び第２治具情報を含む術前計画データＤを取得する（ステップＳ２；第１取得処理）。
具体的には、中央制御部２０１のＣＰＵは、第１取得プログラム２０３ｂに従って、術前計画データＤを記憶部２０３から読み出して取得し、術前計画処理にて生成された大腿骨Ｂ１の三次元形状を表す基準画像の画像データ、大腿骨Ｂ１の三次元モデル上での大腿骨Ｂ１の遠位端部に取付けられる身体適合型治具１の取付位置を含む第１治具情報、大腿骨Ｂ１の三次元モデル上での大腿骨Ｂ１に対する大腿骨側部材の取付けを案内支援するための大腿骨髄内ロッド等の取付位置や取付けの向きを含む第２治具情報を取得する。
具体的には、中央制御部２０１のＣＰＵは、第１取得プログラム２０３ｂに従って、術前計画データＤを記憶部２０３から読み出して取得し、術前計画処理にて生成された大腿骨Ｂ１の三次元形状を表す基準画像の画像データ、大腿骨Ｂ１の三次元モデル上での大腿骨Ｂ１の遠位端部に取付けられる身体適合型治具１の取付位置を含む第１治具情報、大腿骨Ｂ１の三次元モデル上での大腿骨Ｂ１に対する大腿骨側部材の取付けを案内支援するための大腿骨髄内ロッド等の取付位置や取付けの向きを含む第２治具情報を取得する。
その後、三次元プリンタを用いて、大腿骨Ｂ１の遠位端部での取付け位置の形状に対して相補的な関係を有する表面形状の部位嵌合部１１を有する本体部１ａが身体適合型治具１を構成する部材として作成され、当該身体適合型治具１が大腿骨Ｂ１の遠位端部に取り付けられる（ステップＳ３）。なお、身体適合型治具１の作成や大腿骨Ｂ１の遠位端部に対する取付けは、術前計画処理（ステップＳ１）後であれば良く、例えば、術前計画データＤの取得（ステップＳ２）前に行われても良い。
そして、撮像装置３によって身体適合型治具１が取り付けられた状態の大腿骨Ｂ１の遠位端部が撮像され、中央制御部２０１のＣＰＵは、撮像装置３により撮像された撮像画像Ｆを取得する（ステップＳ４）。
具体的には、例えば、手術台Ｔ上の患者Ｐの大腿骨Ｂ１の遠位端部、すなわち、身体適合型治具１が取り付けられた状態の大腿骨Ｂ１の遠位端部が写るように撮像装置３のズーム倍率や画角等が調整された後、撮像装置３により当該大腿骨Ｂ１の遠位端部が逐次撮像され、中央制御部２０１のＣＰＵは、第２取得プログラム２０３ｃに従って、撮像装置３から逐次送信された撮像画像Ｆの画像データをＩ／Ｆ部２０６を介して逐次取得する。
そして、撮像装置３によって身体適合型治具１が取り付けられた状態の大腿骨Ｂ１の遠位端部が撮像され、中央制御部２０１のＣＰＵは、撮像装置３により撮像された撮像画像Ｆを取得する（ステップＳ４）。
具体的には、例えば、手術台Ｔ上の患者Ｐの大腿骨Ｂ１の遠位端部、すなわち、身体適合型治具１が取り付けられた状態の大腿骨Ｂ１の遠位端部が写るように撮像装置３のズーム倍率や画角等が調整された後、撮像装置３により当該大腿骨Ｂ１の遠位端部が逐次撮像され、中央制御部２０１のＣＰＵは、第２取得プログラム２０３ｃに従って、撮像装置３から逐次送信された撮像画像Ｆの画像データをＩ／Ｆ部２０６を介して逐次取得する。
その後、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での身体適合型治具１の位置及び姿勢を推定する（ステップＳ５；推定処理）。
具体的には、中央制御部２０１のＣＰＵは、推定プログラム２０３ｄに従って、第２取得処理により取得された撮像画像Ｆ内の身体適合型治具１の画像認識用部１２を認識して、撮像画像Ｆ内での画像認識用部１２のマーカ１２ａの形状から当該マーカ１２ａの位置及び姿勢を特定し、特定された結果から撮像画像Ｆ内での身体適合型治具１の位置及び姿勢を推定する。
具体的には、中央制御部２０１のＣＰＵは、推定プログラム２０３ｄに従って、第２取得処理により取得された撮像画像Ｆ内の身体適合型治具１の画像認識用部１２を認識して、撮像画像Ｆ内での画像認識用部１２のマーカ１２ａの形状から当該マーカ１２ａの位置及び姿勢を特定し、特定された結果から撮像画像Ｆ内での身体適合型治具１の位置及び姿勢を推定する。
次に、中央制御部２０１のＣＰＵは、大腿骨Ｂ１の遠位端部を拡張現実技術を用いて仮想的に表す第１拡張現実画像Ａ１を撮像画像Ｆに重畳させて表示部２０４に表示させる（ステップＳ６；表示制御処理）。
具体的には、中央制御部２０１のＣＰＵは、表示制御プログラム２０３ｅに従って、第１取得処理により取得された基準画像及び第１治具情報に基づいて、推定処理により推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢での大腿骨Ｂ１の遠位端部の三次元モデルを第１拡張現実画像Ａ１として撮像画像Ｆに重畳させて表示部２０４に表示させる（図５Ｂ参照）。
これにより、医者は第１拡張現実画像Ａ１を視認して、大腿骨Ｂ１の遠位端部と身体適合型治具１との位置関係、すなわち、大腿骨Ｂ１の遠位端部に対する身体適合型治具１の取付位置や取付けの向きのずれ等を把握することができる。そして、医者やその他のスタッフ等により第１拡張現実画像Ａ１として表示されている大腿骨Ｂ１の遠位端部の三次元モデルと合致するように、大腿骨Ｂ１と身体適合型治具１との位置関係、具体的には、大腿骨Ｂ１の遠位端部に対する身体適合型治具１の取付位置や取付けの向き等が調整される（ステップＳ７）。
具体的には、中央制御部２０１のＣＰＵは、表示制御プログラム２０３ｅに従って、第１取得処理により取得された基準画像及び第１治具情報に基づいて、推定処理により推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢での大腿骨Ｂ１の遠位端部の三次元モデルを第１拡張現実画像Ａ１として撮像画像Ｆに重畳させて表示部２０４に表示させる（図５Ｂ参照）。
これにより、医者は第１拡張現実画像Ａ１を視認して、大腿骨Ｂ１の遠位端部と身体適合型治具１との位置関係、すなわち、大腿骨Ｂ１の遠位端部に対する身体適合型治具１の取付位置や取付けの向きのずれ等を把握することができる。そして、医者やその他のスタッフ等により第１拡張現実画像Ａ１として表示されている大腿骨Ｂ１の遠位端部の三次元モデルと合致するように、大腿骨Ｂ１と身体適合型治具１との位置関係、具体的には、大腿骨Ｂ１の遠位端部に対する身体適合型治具１の取付位置や取付けの向き等が調整される（ステップＳ７）。
その後、中央制御部２０１のＣＰＵは、大腿骨Ｂ１に刺入される大腿骨髄内ロッドの取付位置や取付けの向きを拡張現実技術を用いて仮想的に表す第２拡張現実画像Ａ２を撮像画像Ｆに重畳させて表示部２０４に表示させる（ステップＳ７；表示制御処理）。
具体的には、例えば、医者等による手術支援装置２の操作部２０５の所定操作に基づいて、第２拡張現実画像Ａ２の表示が選択されると、中央制御部２０１のＣＰＵは、表示制御プログラム２０３ｅに従って、第１取得処理により取得された基準画像、第１治具情報及び第２治具情報に基づいて、推定処理により推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢での大腿骨髄内ロッドの取付位置や取付けの向きを第２拡張現実画像Ａ２として撮像画像Ｆに重畳させて表示部２０４に表示させる（図５Ｃ参照）。
これにより、医者は第２拡張現実画像Ａ２を視認して、大腿骨Ｂ１に対する大腿骨髄内ロッドの取付位置や取付けの向きを把握することができる。
具体的には、例えば、医者等による手術支援装置２の操作部２０５の所定操作に基づいて、第２拡張現実画像Ａ２の表示が選択されると、中央制御部２０１のＣＰＵは、表示制御プログラム２０３ｅに従って、第１取得処理により取得された基準画像、第１治具情報及び第２治具情報に基づいて、推定処理により推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢での大腿骨髄内ロッドの取付位置や取付けの向きを第２拡張現実画像Ａ２として撮像画像Ｆに重畳させて表示部２０４に表示させる（図５Ｃ参照）。
これにより、医者は第２拡張現実画像Ａ２を視認して、大腿骨Ｂ１に対する大腿骨髄内ロッドの取付位置や取付けの向きを把握することができる。
なお、ステップＳ７の表示制御処理にて、中央制御部２０１のＣＰＵは、大腿骨Ｂ１の骨切り面の位置や向きを第２拡張現実画像Ａ２として撮像画像Ｆに重畳させて表示部２０４に表示させても良い。
この場合、医者は第２拡張現実画像Ａ２を視認して、骨切り面の位置や向きを把握することができる。
この場合、医者は第２拡張現実画像Ａ２を視認して、骨切り面の位置や向きを把握することができる。
以上のように、本実施形態の手術支援システム１００によれば、外科手術が施される患者Ｐの身体の所定の取付部（例えば、大腿骨Ｂ１の遠位端部等）に取付けられた身体適合型治具１及び施術部（例えば、大腿骨Ｂ１等）が撮像された撮像画像Ｆを取得し、撮像画像Ｆ内の身体適合型治具１の画像認識用部１２を認識して、撮像画像Ｆ内での身体適合型治具１の位置及び姿勢を推定することができる。そして、身体の所定の取付部及び施術部の三次元形状に係る基準画像と、基準画像に基づく三次元モデル上での身体適合型治具１の取付位置を含む第１治具情報とに基づいて、推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢で施術部を仮想的に表す第１拡張現実画像Ａ１を撮像画像Ｆに重畳させて表示部２０４に表示させるので、医者が表示部２０４に表示されている第１拡張現実画像Ａ１を視認するだけで取付部に対する身体適合型治具１の取付位置や取付けの向きのずれ等を把握することができ、施術部に対する身体適合型治具１の取付位置や取付けの向き等を容易に調整可能となって、身体適合型治具１の取付け精度の向上を図ることができる。また、身体適合型治具１は、必ずしも大腿骨髄内ロッド等の案内支援治具を案内支援する構造を具備する必要がないため、例えば、皮膚切開幅が相対的に小さくなる最小侵襲手術にも適用可能なより小型の身体適合型治具１を提供することができる。
また、基準画像に基づく三次元モデル上での骨Ｂ（例えば、大腿骨Ｂ１）に対するインプラントの取付けを案内支援する案内支援治具（例えば、大腿骨髄内ロッド）の向き及び位置のうちの少なくとも一方を含む第２治具情報に基づいて、推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢で案内支援治具の向き及び位置のうちの少なくとも一方を仮想的に表す第２拡張現実画像Ａ２を撮像画像Ｆに重畳させて表示部２０４に表示させるので、医者が表示部２０４に表示されている第２拡張現実画像Ａ２を視認するだけで骨Ｂに対する案内支援治具の取付位置や取付けの向きを把握することができ、結果として、より正確にインプラントの取付けを行うことができるようになる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、手術支援システム１００の変形例について、図６Ａ及び図６Ｂを参照して説明する。
以下に、手術支援システム１００の変形例について、図６Ａ及び図６Ｂを参照して説明する。
この変形例では、手術支援装置２は、撮像画像Ｆ内での身体適合型治具１０１の位置及び姿勢に対応する位置及び姿勢で頸椎用スクリュー（インプラント）の向き及び位置のうちの少なくとも一方を仮想的に表す第３拡張現実画像Ａ３を撮像画像Ｆに重畳させて表示部２０４に表示させる。
先ず、身体適合型治具１０１は、例えば、頸椎Ｂ２の所定位置（例えば、第４頸椎の棘突起等）に取付けられるものである（図６Ａ及び図６Ｂ参照）。また、身体適合型治具１０１は、上記実施形態と略同様に、頸椎Ｂ２の所定位置に嵌合可能な部位嵌合部１１と、手術支援装置２による拡張現実画像の表示のためのマーカ１２ａを具備する画像認識用部１２とが形成された本体部１ａを有している。
なお、図示は省略するが、身体適合型治具１０１は、頸椎Ｂ２の所定位置に取り付けられた状態で、例えば、ピンや除去可能な生体適合性セメント等を用いて固定されるようになっている。
なお、図示は省略するが、身体適合型治具１０１は、頸椎Ｂ２の所定位置に取り付けられた状態で、例えば、ピンや除去可能な生体適合性セメント等を用いて固定されるようになっている。
手術支援装置２は、術前計画処理にて、取付け予定の頸椎用スクリュー（図示略）の形状や寸法、当該頸椎用スクリューの頸椎に対する取付け位置や取付けの向き等をシミュレーションにより特定する。すなわち、中央制御部２０１のＣＰＵは、表示部２０４に表示された頸椎Ｂ２の三次元モデル上で座標系を構築し、頸椎用スクリューの取付け位置や取付けの向き等を含むインプラント情報をシミュレーションして特定する。また、中央制御部２０１のＣＰＵは、断層画像データＩに基づいて表示部２０４に表示された大腿骨Ｂ１の三次元モデル上での、頸椎Ｂ２に対する身体適合型治具１０１の適切な取付位置や取付けの向き等を含む第１治具情報をシミュレーションして生成する。
そして、中央制御部２０１のＣＰＵは、第１取得処理にて、術前計画データＤを記憶部２０３から読み出して取得し、頸椎Ｂ２の三次元モデル上での頸椎Ｂ２に対する頸椎用スクリュー（インプラント）の取付け位置や取付けの向きを含むインプラント情報を取得する。
なお、頸椎用スクリューについては、詳細な説明は省略するが、頸椎に螺子込まれ、当該頸椎の固定のためにロッド（図示略）に取付け固定されるものである。
そして、中央制御部２０１のＣＰＵは、第１取得処理にて、術前計画データＤを記憶部２０３から読み出して取得し、頸椎Ｂ２の三次元モデル上での頸椎Ｂ２に対する頸椎用スクリュー（インプラント）の取付け位置や取付けの向きを含むインプラント情報を取得する。
なお、頸椎用スクリューについては、詳細な説明は省略するが、頸椎に螺子込まれ、当該頸椎の固定のためにロッド（図示略）に取付け固定されるものである。
また、中央制御部２０１のＣＰＵは、第１取得処理により取得された基準画像、第１治具情報及びインプラント情報に基づいて、頸椎Ｂ２に対する頸椎用スクリュー（図示略）の取付位置や取付けの向きを仮想的に表す第３拡張現実画像Ａ３を撮像画像Ｆに重畳させて表示部２０４に表示させる。
すなわち、頸椎Ｂ２に身体適合型治具１０１が取り付けられた状態（図６Ａ及び図６Ｂ参照）、中央制御部２０１のＣＰＵは、撮像装置３により撮像された撮像画像Ｆ内の身体適合型治具１０１の画像認識用部１２を認識して、その認識結果に基づいて撮像画像Ｆ内での身体適合型治具１０１の位置及び姿勢を推定する。そして、図示は省略するが、中央制御部２０１のＣＰＵは、第１取得処理により取得された基準画像及び第１治具情報に基づいて、推定処理により推定された撮像画像Ｆ内での身体適合型治具１０１の位置及び姿勢に対応する位置及び姿勢で頸椎Ｂ２を仮想的に表す第１拡張現実画像を撮像画像Ｆに重畳させて表示部２０４に表示させる。このとき、施術部となる第４頸椎だけでなく、他の頸椎、例えば、第１〜第６頸椎までを仮想的に表す第１拡張現実画像を表示しても良い。
その後、第１拡張現実画像Ａ１として表示されている頸椎Ｂ２の三次元モデルと合致するように、頸椎Ｂ２と身体適合型治具１０１との位置関係、具体的には、頸椎Ｂ２の棘突起に対する身体適合型治具１０１の取付位置や取付けの向き等が調整されると、中央制御部２０１のＣＰＵは、第１取得処理により取得された基準画像、第１治具情報及びインプラント情報に基づいて、頸椎Ｂ２に対する頸椎用スクリューの取付位置や取付けの向きを仮想的に表す第３拡張現実画像Ａ３を撮像画像Ｆに重畳させて表示部２０４に表示させる。より具体的には、インプラント情報には、頸椎Ｂ２の三次元モデル上での身体適合型治具１０１の位置を基準とする頸椎用スクリュー等のインプラントの取付位置や取付けの向き、つまり、身体適合型治具１０１に対する相対的な位置関係が含まれているため、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での身体適合型治具１０１の位置及び姿勢に対応する位置及び姿勢での各種インプラント（例えば、頸椎用スクリュー）の取付位置や取付けの向きを第３拡張現実画像Ａ３として撮像画像Ｆに重畳させて表示部２０４に表示させる（図６Ａ参照）。
これにより、医者は第３拡張現実画像Ａ３を視認して、頸椎Ｂ２に対する頸椎用スクリューの取付位置や取付けの向きを把握することができる。
すなわち、頸椎Ｂ２に身体適合型治具１０１が取り付けられた状態（図６Ａ及び図６Ｂ参照）、中央制御部２０１のＣＰＵは、撮像装置３により撮像された撮像画像Ｆ内の身体適合型治具１０１の画像認識用部１２を認識して、その認識結果に基づいて撮像画像Ｆ内での身体適合型治具１０１の位置及び姿勢を推定する。そして、図示は省略するが、中央制御部２０１のＣＰＵは、第１取得処理により取得された基準画像及び第１治具情報に基づいて、推定処理により推定された撮像画像Ｆ内での身体適合型治具１０１の位置及び姿勢に対応する位置及び姿勢で頸椎Ｂ２を仮想的に表す第１拡張現実画像を撮像画像Ｆに重畳させて表示部２０４に表示させる。このとき、施術部となる第４頸椎だけでなく、他の頸椎、例えば、第１〜第６頸椎までを仮想的に表す第１拡張現実画像を表示しても良い。
その後、第１拡張現実画像Ａ１として表示されている頸椎Ｂ２の三次元モデルと合致するように、頸椎Ｂ２と身体適合型治具１０１との位置関係、具体的には、頸椎Ｂ２の棘突起に対する身体適合型治具１０１の取付位置や取付けの向き等が調整されると、中央制御部２０１のＣＰＵは、第１取得処理により取得された基準画像、第１治具情報及びインプラント情報に基づいて、頸椎Ｂ２に対する頸椎用スクリューの取付位置や取付けの向きを仮想的に表す第３拡張現実画像Ａ３を撮像画像Ｆに重畳させて表示部２０４に表示させる。より具体的には、インプラント情報には、頸椎Ｂ２の三次元モデル上での身体適合型治具１０１の位置を基準とする頸椎用スクリュー等のインプラントの取付位置や取付けの向き、つまり、身体適合型治具１０１に対する相対的な位置関係が含まれているため、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での身体適合型治具１０１の位置及び姿勢に対応する位置及び姿勢での各種インプラント（例えば、頸椎用スクリュー）の取付位置や取付けの向きを第３拡張現実画像Ａ３として撮像画像Ｆに重畳させて表示部２０４に表示させる（図６Ａ参照）。
これにより、医者は第３拡張現実画像Ａ３を視認して、頸椎Ｂ２に対する頸椎用スクリューの取付位置や取付けの向きを把握することができる。
したがって、基準画像に基づく三次元モデル上での骨Ｂ（例えば、頸椎Ｂ２）に対するインプラント（例えば、頸椎用スクリュー）の取付けの向き及び位置のうちの少なくとも一方を含むインプラント情報に基づいて、推定された撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢でインプラントの向き及び位置のうちの少なくとも一方を仮想的に表す第３拡張現実画像Ａ３を撮像画像Ｆに重畳させて表示部２０４に表示させるので、医者が表示部２０４に表示されている第３拡張現実画像Ａ３を視認するだけで骨Ｂに対するインプラントの取付位置や取付けの向きを把握することができ、結果として、より正確にインプラントの取付けを行うことができるようになる。
また、上記実施形態や変形例では、例えば、インプラントとして、人工膝関節や頸椎用スクリューを例示したが、一例であってこれに限られるものではなく、例えば、脊椎ケージや人工椎体など適宜任意に変更可能である。なお、インプラントの形状データについては、公知のＣＡＤ（Computer Aided Design）システムを用いて作成されて、手術支援装置２や当該手術支援装置２以外の装置における術前計画処理に利用されても良い。
さらに、上記実施形態にあっては、第２拡張現実画像Ａ２として、大腿骨髄内ロッド等の治具の向き及び位置の両方を仮想的に表すものを例示したが、一例であってこれに限られるものではなく、例えば、当該治具の向き及び位置のうち、何れか一方を仮想的に表すものであっても良い。
同様に、変形例にあっては、第３拡張現実画像Ａ３として、頸椎用スクリュー等のインプラントの向き及び位置の両方を仮想的に表すものを例示したが、一例であってこれに限られるものではなく、例えば、当該インプラントの向き及び位置のうち、何れか一方を仮想的に表すものであっても良い。
同様に、変形例にあっては、第３拡張現実画像Ａ３として、頸椎用スクリュー等のインプラントの向き及び位置の両方を仮想的に表すものを例示したが、一例であってこれに限られるものではなく、例えば、当該インプラントの向き及び位置のうち、何れか一方を仮想的に表すものであっても良い。
また、上記実施形態や変形例にあっては、施術部として骨Ｂ（例えば、大腿骨Ｂ１や頸椎Ｂ２等）を例示したが、例えば、軟部組織等であっても良い。具体的には、例えば、変形可能なウェブ状のもの（例えば、布等）にマーカを複数入れた状態で、その変形を認識してそれを踏まえて拡張現実画像の重畳表示を行うことで、肝臓等の変形する臓器に対する外科手術に適用することが可能となる。
さらに、本発明は、例えば、骨折手術に適用されても良く、この場合には、一の骨折片に身体適合型治具１を取付けて、当該一の骨折片と接続される他の骨折片を施術部として仮想的に表す第１拡張現実画像を表示させるようにしても良い。
さらに、本発明は、例えば、骨折手術に適用されても良く、この場合には、一の骨折片に身体適合型治具１を取付けて、当該一の骨折片と接続される他の骨折片を施術部として仮想的に表す第１拡張現実画像を表示させるようにしても良い。
さらに、上記実施形態や変形例にあっては、画像認識用部１２として、マーカ１２ａ、１２ｃ等を具備するものを例示したが、一例であってこれに限られるものではなく、マーカ１２ａ、１２ｃを具備するか否かは適宜任意に変更可能である。すなわち、所謂、マーカーレスの構造であっても、画像認識用部が画像認識され得る特徴（例えば、形状や色等）を具備し、撮像画像Ｆ内での身体適合型治具１、１０１の位置及び姿勢を推定することが可能に構成されていれば良い。
また、上記実施形態における身体適合型治具１は、例えば、インプラント（図示略）の取付けを案内支援するための案内部を着脱自在に構成されていても良い。この案内部としては、例えば、大腿骨Ｂ１に対する大腿骨髄内ロッド（図示略）の刺入位置や刺入方向等を案内するものや、大腿骨Ｂ１の骨切り位置を案内するものなどが挙げられる。
ここで、案内部が、例えば、大腿骨Ｂ１の表面に接触可能に構成されている場合、上記した部位嵌合部１１と同様に、患者Ｐの大腿骨Ｂ１の遠位端部の表面の凹凸形状に対して相補的な関係の表面形状の接触面を有しているのが好ましい。
なお、身体適合型治具１に案内部を取付けるのではなく、当該身体適合型治具１の代わりに、外科手術に用いられる治具や支援内容に応じて案内治具を付け代えるようにしても良い。すなわち、例えば、ピン挿通孔１３にピンを挿通して大腿骨Ｂ１に刺入した状態で身体適合型治具１を取り外し、ピンの位置を基準として案内治具を取り付けるようにしても良い。この案内治具にも画像認識用部を設けておくことで、手術支援装置２は、撮像装置３により撮像された撮像画像Ｆ内の案内治具の画像認識用部を認識して所望の拡張現実画像を表示可能となる。
ここで、案内部が、例えば、大腿骨Ｂ１の表面に接触可能に構成されている場合、上記した部位嵌合部１１と同様に、患者Ｐの大腿骨Ｂ１の遠位端部の表面の凹凸形状に対して相補的な関係の表面形状の接触面を有しているのが好ましい。
なお、身体適合型治具１に案内部を取付けるのではなく、当該身体適合型治具１の代わりに、外科手術に用いられる治具や支援内容に応じて案内治具を付け代えるようにしても良い。すなわち、例えば、ピン挿通孔１３にピンを挿通して大腿骨Ｂ１に刺入した状態で身体適合型治具１を取り外し、ピンの位置を基準として案内治具を取り付けるようにしても良い。この案内治具にも画像認識用部を設けておくことで、手術支援装置２は、撮像装置３により撮像された撮像画像Ｆ内の案内治具の画像認識用部を認識して所望の拡張現実画像を表示可能となる。
さらに、上記実施形態や変形例にあっては、手術支援装置２として、ＰＣを例示したが、一例であってこれに限られるものではなく、例えば、スマートフォンやタブレット等の携帯端末から構成されていても良い。また、携帯端末に撮像部が搭載されている場合には、当該撮像部を撮像装置３の代わりに用いても良い。
また、上記実施形態の手術支援装置２にあっては、第１取得手段、第２取得手段、推定手段及び表示制御手段等としての機能が、中央制御部２０１のＣＰＵにより所定のプログラム等が実行されることにより実現されるようにしたが、所定のロジック回路により第１取得部、第２取得部、推定部及び表示制御部が構成されて実現されても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記憶媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
加えて、今回開示された実施形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
以上説明したように、本発明の好ましい実施の形態によれば、撮像画像Ｆ内での身体適合型治具１の位置及び姿勢に対応する位置及び姿勢で施術部を仮想的に表す第１拡張現実画像Ａ１を撮像画像Ｆに重畳させて表示部２０４に表示させることができ、医者に第１拡張現実画像Ａ１を視認させて取付部に対する身体適合型治具１の取付位置や取付けの向きのずれ等を把握させることができる。
これにより、本発明は、外科手術において、施術部に対する身体適合型治具１の取付位置や取付けの向き等を容易に調整可能となって、身体適合型治具１の取付け精度の向上を図ることができるとともに、最小侵襲手術にも適用可能なより小型の身体適合型治具１を提供することができる技術に特に好適に利用できる。
これにより、本発明は、外科手術において、施術部に対する身体適合型治具１の取付位置や取付けの向き等を容易に調整可能となって、身体適合型治具１の取付け精度の向上を図ることができるとともに、最小侵襲手術にも適用可能なより小型の身体適合型治具１を提供することができる技術に特に好適に利用できる。
１００ 手術支援システム
１、１０１ 身体適合型治具
１１ 部位嵌合部
１２ 画像認識用部
１２ａ、１２ｃ マーカ
２ 手術支援装置
２０１ 中央制御部（第１取得手段、第２取得手段、推定手段、表示制御手段）
２０３ 記憶部
２０４ 表示部
３ 撮像装置
Ａ１〜Ａ３ 第１〜第３拡張現実画像
Ｂ 骨
Ｂ１ 大腿骨
Ｂ２ 頸椎
Ｆ 撮像画像
１、１０１ 身体適合型治具
１１ 部位嵌合部
１２ 画像認識用部
１２ａ、１２ｃ マーカ
２ 手術支援装置
２０１ 中央制御部（第１取得手段、第２取得手段、推定手段、表示制御手段）
２０３ 記憶部
２０４ 表示部
３ 撮像装置
Ａ１〜Ａ３ 第１〜第３拡張現実画像
Ｂ 骨
Ｂ１ 大腿骨
Ｂ２ 頸椎
Ｆ 撮像画像
Claims (7)
- 外科手術が施される身体の所定の取付部に取付けられる身体適合型治具と、拡張現実画像を表示して前記外科手術を支援する手術支援装置と、を備える手術支援システムであって、
前記身体適合型治具は、
前記所定の取付部に嵌合可能な部位嵌合部と、
前記手術支援装置による拡張現実画像の表示のために画像認識され得る特徴を具備する画像認識用部と、を有し、
前記手術支援装置は、
身体の前記所定の取付部及び前記外科手術が施される施術部の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記身体適合型治具の取付位置を含む第１治具情報とを取得する第１取得手段と、
前記所定の取付部、当該所定の取付部に取付けられた前記身体適合型治具及び前記施術部が撮像された撮像画像を取得する第２取得手段と、
前記第２取得手段により取得された撮像画像内の前記身体適合型治具の前記画像認識用部を認識して、前記撮像画像内での前記身体適合型治具の位置及び姿勢を推定する推定手段と、
前記第１取得手段により取得された前記基準画像及び前記第１治具情報に基づいて、前記推定手段により推定された前記撮像画像内での前記身体適合型治具の位置及び姿勢に対応する位置及び姿勢で前記施術部を仮想的に表す第１拡張現実画像として前記施術部及び前記所定の取付部の前記基準画像に基づく三次元モデルを前記撮像画像に重畳させて表示部に表示させる表示制御手段と、を有する手術支援システム。 - 前記外科手術は、前記施術部としての骨に対するインプラントの取付けを含み、
前記第１取得手段は、前記基準画像に基づく三次元モデル上での前記骨に対するインプラントの取付けを案内支援する案内支援治具の前記身体適合型治具の位置を基準とする向き及び位置のうちの少なくとも一方を含む第２治具情報を更に取得し、
前記表示制御手段は、
前記第１取得手段により取得された前記第２治具情報に基づいて、前記推定手段により推定された前記撮像画像内での前記身体適合型治具の位置及び姿勢に対応する位置及び姿勢で前記案内支援治具の向き及び位置のうちの少なくとも一方を示す前記案内支援治具の三次元モデルを仮想的に表す第２拡張現実画像を前記撮像画像に重畳させて前記表示部に表示させる請求項１に記載の手術支援システム。 - 前記第１取得手段は、前記基準画像に基づく三次元モデル上での前記骨に対するインプラントの取付けの向き及び位置のうちの少なくとも一方を含むインプラント情報を更に取得し、
前記表示制御手段は、
前記第１取得手段により取得された前記インプラント情報に基づいて、前記推定手段により推定された前記撮像画像内での前記身体適合型治具の位置及び姿勢に対応する位置及び姿勢で前記インプラントの向き及び位置のうちの少なくとも一方を示す画像を第３拡張現実画像として前記撮像画像に重畳させて前記表示部に表示させる請求項２に記載の手術支援システム。 - 前記手術支援装置は、
前記第１〜第３拡張現実画像の中で、前記表示制御手段により前記撮像画像に重畳させて表示させる拡張現実画像を選択可能に構成されている請求項３に記載の手術支援システム。 - 前記画像認識用部は、前記身体適合型治具本体とは別体で形成され、当該身体適合型治具本体の表面の所定位置に嵌合するマーカを有する請求項１〜４の何れか一項に記載の手術支援システム。
- 前記画像認識用部は、前記身体適合型治具本体の表面の所定位置に当該身体適合型治具本体と一体となって形成されている請求項１〜４の何れか一項に記載の手術支援システム。
- 前記身体適合型治具は、前記施術部に対する前記外科手術を案内支援するための案内部を更に有する請求項１〜４の何れか一項に記載の手術支援システム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/081600 WO2018078723A1 (ja) | 2016-10-25 | 2016-10-25 | 手術支援システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018078723A1 JPWO2018078723A1 (ja) | 2019-09-05 |
| JP6823665B2 true JP6823665B2 (ja) | 2021-02-03 |
Family
ID=62023264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018546971A Active JP6823665B2 (ja) | 2016-10-25 | 2016-10-25 | 手術支援システム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11376078B2 (ja) |
| EP (1) | EP3533407A4 (ja) |
| JP (1) | JP6823665B2 (ja) |
| CN (1) | CN109906062A (ja) |
| WO (1) | WO2018078723A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4278956A3 (en) * | 2017-03-10 | 2024-02-21 | Biomet Manufacturing, LLC | Augmented reality supported knee surgery |
| CN113317876A (zh) * | 2021-06-07 | 2021-08-31 | 上海盼研机器人科技有限公司 | 一种基于增强现实的颅颌面骨折修复导航*** |
| CN115844712B (zh) * | 2023-02-17 | 2023-05-26 | 四川大学 | 一种穴位定位方法、装置、中医理疗设备及存储介质 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6917827B2 (en) | 2000-11-17 | 2005-07-12 | Ge Medical Systems Global Technology Company, Llc | Enhanced graphic features for computer assisted surgery system |
| CA2473963A1 (en) * | 2003-07-14 | 2005-01-14 | Sunnybrook And Women's College Health Sciences Centre | Optical image-based position tracking for magnetic resonance imaging |
| EP1722705A2 (en) * | 2004-03-10 | 2006-11-22 | Depuy International Limited | Orthopaedic operating systems, methods, implants and instruments |
| CA2502802C (en) | 2004-11-02 | 2012-10-30 | Zimmer Technology, Inc. | Navigated orthopaedic guide and method |
| JP2008526422A (ja) * | 2005-01-13 | 2008-07-24 | メイザー サージカル テクノロジーズ リミテッド | 鍵穴脳神経外科用画像ガイドロボットシステム |
| US20080319491A1 (en) | 2007-06-19 | 2008-12-25 | Ryan Schoenefeld | Patient-matched surgical component and methods of use |
| JP5171193B2 (ja) | 2007-09-28 | 2013-03-27 | 株式会社 レキシー | 人工膝関節置換手術の術前計画用プログラム |
| US8690776B2 (en) * | 2009-02-17 | 2014-04-08 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image guided surgery |
| CN101797182A (zh) * | 2010-05-20 | 2010-08-11 | 北京理工大学 | 一种基于增强现实技术的鼻内镜微创手术导航*** |
| JP6188685B2 (ja) * | 2011-06-10 | 2017-08-30 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 介入治療に対するアプリケータ配置のリアルタイム変化を決定する光ファイバ感知 |
| KR102162952B1 (ko) * | 2012-09-18 | 2020-10-07 | 씽크 써지컬, 인크. | 정형 외과 응용들에서의 정합을 위한 시스템 및 방법 |
| JP2014097220A (ja) * | 2012-11-15 | 2014-05-29 | Toshiba Corp | 手術支援装置 |
| US20140180430A1 (en) * | 2012-12-20 | 2014-06-26 | Michael Gillman | Devices and methods for hip replacement |
| US10467752B2 (en) * | 2013-06-11 | 2019-11-05 | Atsushi Tanji | Bone cutting support system, information processing apparatus, image processing method, and image processing program |
| WO2014200016A1 (ja) * | 2013-06-11 | 2014-12-18 | Tanji Atsushi | 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置 |
| US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
| GB2534359A (en) * | 2015-01-15 | 2016-07-27 | Corin Ltd | System and method for patient implant alignment |
| WO2016154557A1 (en) * | 2015-03-26 | 2016-09-29 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
| US20160287337A1 (en) | 2015-03-31 | 2016-10-06 | Luke J. Aram | Orthopaedic surgical system and method for patient-specific surgical procedure |
| CN104799950A (zh) * | 2015-04-30 | 2015-07-29 | 上海昕健医疗技术有限公司 | 基于医学图像的个性化最小创伤膝关节定位导板 |
-
2016
- 2016-10-25 JP JP2018546971A patent/JP6823665B2/ja active Active
- 2016-10-25 EP EP16920226.4A patent/EP3533407A4/en not_active Withdrawn
- 2016-10-25 CN CN201680090405.6A patent/CN109906062A/zh active Pending
- 2016-10-25 WO PCT/JP2016/081600 patent/WO2018078723A1/ja unknown
- 2016-10-25 US US16/344,718 patent/US11376078B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11376078B2 (en) | 2022-07-05 |
| EP3533407A4 (en) | 2020-05-13 |
| WO2018078723A1 (ja) | 2018-05-03 |
| EP3533407A1 (en) | 2019-09-04 |
| US20190328463A1 (en) | 2019-10-31 |
| CN109906062A (zh) | 2019-06-18 |
| JPWO2018078723A1 (ja) | 2019-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11484368B2 (en) | Systems and methods for a robotic-assisted revision procedure | |
| JP2022133440A (ja) | ナビゲーション手術における拡張現実ディスプレイのためのシステム及び方法 | |
| US8706197B2 (en) | Planning method and planning device for knee implants | |
| US20200390503A1 (en) | Systems and methods for surgical navigation and orthopaedic fixation | |
| US9411939B2 (en) | Method for producing patient-specific plate | |
| US20160117817A1 (en) | Method of planning, preparing, supporting, monitoring and/or subsequently checking a surgical intervention in the human or animal body, apparatus for carrying out such an intervention and use of the apparatus | |
| AU2015353523B2 (en) | Computer-assisted cranioplasty | |
| US10376318B2 (en) | Surgical assistance apparatus, program, storage medium, and surgical assistance method | |
| CN112386302A (zh) | 用于无线超声跟踪和通信的超宽带定位 | |
| JP7012302B2 (ja) | 手術支援端末及びプログラム | |
| JP2015516228A (ja) | 携帯型追跡システム、携帯型追跡システムを用いる方法 | |
| JP7498163B2 (ja) | 医療技術機器及び方法 | |
| JP6823665B2 (ja) | 手術支援システム | |
| JP2022525294A (ja) | 拡張現実支援外科処置で使用するための患者適合型装置及びそれを使用するための方法 | |
| US20140324182A1 (en) | Control system, method and computer program for positioning an endoprosthesis | |
| AU2022384283A1 (en) | Systems, methods and devices for augmented reality assisted surgery | |
| KR20190004591A (ko) | 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법 | |
| JP2019516492A (ja) | ハイブリッドｘ線／カメラ介入の動き補償 | |
| CN115666409A (zh) | 为基于荧光透视的导航***生成图像的*** | |
| Świątek-Najwer et al. | The Maxillo-Facial Surgery System for guided cancer resection and bone reconstruction | |
| JP6534940B2 (ja) | 手術支援装置、手術支援システム及びプログラム | |
| Espinoza Orías | Personalized Surgical Instruments | |
| JP2024504482A (ja) | ナビゲーション脊椎手術のための拡張現実脊椎ロッドプランニングおよび屈曲のためのコンピュータ実装方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6823665 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |