JP2021045341A - Arthroscopic surgery support device, arthroscopic surgery support method, and program - Google Patents
Arthroscopic surgery support device, arthroscopic surgery support method, and program Download PDFInfo
- Publication number
- JP2021045341A JP2021045341A JP2019169672A JP2019169672A JP2021045341A JP 2021045341 A JP2021045341 A JP 2021045341A JP 2019169672 A JP2019169672 A JP 2019169672A JP 2019169672 A JP2019169672 A JP 2019169672A JP 2021045341 A JP2021045341 A JP 2021045341A
- Authority
- JP
- Japan
- Prior art keywords
- port
- surgical instrument
- virtual
- processing unit
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims description 38
- 238000012545 processing Methods 0.000 claims abstract description 122
- 238000003780 insertion Methods 0.000 claims abstract description 59
- 230000037431 insertion Effects 0.000 claims abstract description 59
- 238000004088 simulation Methods 0.000 claims description 39
- 208000005646 Pneumoperitoneum Diseases 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 15
- 239000012491 analyte Substances 0.000 abstract 3
- 230000010365 information processing Effects 0.000 description 93
- 210000000056 organ Anatomy 0.000 description 24
- 210000001519 tissue Anatomy 0.000 description 17
- 210000000988 bone and bone Anatomy 0.000 description 15
- 210000004185 liver Anatomy 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 210000004204 blood vessel Anatomy 0.000 description 8
- 239000003550 marker Substances 0.000 description 8
- 238000011282 treatment Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000002432 robotic surgery Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000003187 abdominal effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000002357 laparoscopic surgery Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000002767 hepatic artery Anatomy 0.000 description 2
- 210000002989 hepatic vein Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003240 portal vein Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 210000004003 subcutaneous fat Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
Abstract
Description
本開示は、鏡視下手術支援装置、鏡視下手術支援方法、及びプログラムに関する。 The present disclosure relates to a arthroscopic surgery support device, a arthroscopic surgery support method, and a program.
従来、腹腔鏡下手術ナビゲーションシステムにおけるカメラの位置姿勢の制御手法が検討されている(非特許文献1参照)。非特許文献1のシステムでは、腹腔鏡カメラとして、鉗子の先端にCCDカメラを取り付けた擬似カメラを利用する。この擬似カメラに取り付けた正六角形の台座の各面のマーカを外部カメラで測定することで、PC上で疑似カメラの先端の位置姿勢を算出する。 Conventionally, a method for controlling the position and orientation of a camera in a laparoscopic surgical navigation system has been studied (see Non-Patent Document 1). In the system of Non-Patent Document 1, a pseudo camera in which a CCD camera is attached to the tip of forceps is used as a laparoscopic camera. By measuring the markers on each surface of the regular hexagonal pedestal attached to the pseudo camera with an external camera, the position and orientation of the tip of the pseudo camera are calculated on the PC.
非特許文献1のシステムを手術ナビゲーションに用いると、疑似カメラに対応する腹腔鏡カメラの位置を導出するために、腹腔鏡カメラの他に、手術時の様子を撮像するために例えば天井に設置される外部カメラを必要とする。そのため、手術ナビゲーションを行うためのシステムが大がかりとなる。また、外部カメラは、例えば手術室の天井に設置されるので、手術室を基準とした座標系(手術室座標系ともいう)を用いることとなる。一方、腹腔鏡カメラは、患者に設置されるポートを基準に患者の体内において操作されるので、患者を基準とした座標系(患者座標系)を用いることとなる。そのため、術中ナビゲーションにおいて手術室座標系を用いた画像と患者座標系を用いた画像とを参照する場合、相互に位置合わせが必要となる。そのため、手術ナビゲーションにおいて、事前に座標をレジストレーションする工程が必要になる。また、術中に患者の動きに応じて再レジストレーションが必要になる。 When the system of Non-Patent Document 1 is used for surgical navigation, it is installed on the ceiling, for example, to image the state during surgery in addition to the laparoscopic camera in order to derive the position of the laparoscopic camera corresponding to the pseudo camera. Requires an external camera. Therefore, the system for performing surgical navigation becomes large-scale. Further, since the external camera is installed on the ceiling of the operating room, for example, a coordinate system based on the operating room (also referred to as an operating room coordinate system) is used. On the other hand, since the laparoscopic camera is operated in the patient's body based on the port installed in the patient, the coordinate system based on the patient (patient coordinate system) is used. Therefore, when referring to an image using the operating room coordinate system and an image using the patient coordinate system in the intraoperative navigation, mutual alignment is required. Therefore, in surgical navigation, a step of registering coordinates in advance is required. In addition, re-registration is required during the operation according to the movement of the patient.
本開示は、上記事情に鑑みてされたものであって、システム構成を単純化して簡便に手術ナビゲーションを実施できる鏡視下手術支援装置、鏡視下手術支援方法、及びプログラムを提供する。 The present disclosure provides a arthroscopic surgery support device, a arthroscopic surgery support method, and a program that can simplify the system configuration and easily perform surgical navigation in view of the above circumstances.
本開示の一態様は、鏡視下手術を支援する鏡視下手術支援装置であって、処理部を備え、前記処理部は、被検体の3Dデータを取得し、前記3Dデータにおける前記被検体の体表に仮想ポートを設定し、前記仮想ポートに対応した実ポートから前記被検体の内部に挿入された手術器具の挿入距離を取得し、少なくとも前記仮想ポートの位置と前記手術器具の挿入距離とに基づいて、前記3Dデータを可視化した第1の画像に、前記手術器具を示す情報を重畳して表示部に表示させる、機能を有する、鏡視下手術支援装置である。 One aspect of the present disclosure is a arthroscopic surgery support device that supports arthroscopic surgery, comprising a processing unit, the processing unit acquires 3D data of a subject, and the subject in the 3D data. A virtual port is set on the body surface of the body surface, the insertion distance of the surgical instrument inserted inside the subject is obtained from the real port corresponding to the virtual port, and at least the position of the virtual port and the insertion distance of the surgical instrument are obtained. Based on the above, it is a spectroscopic surgery support device having a function of superimposing information indicating the surgical instrument on the first image that visualizes the 3D data and displaying it on the display unit.
本開示によれば、システム構成を単純化して簡便に手術ナビゲーションを実施できる。 According to the present disclosure, the system configuration can be simplified and surgical navigation can be easily performed.
以下、本開示の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.
(第1の実施形態)
図1は、第1の実施形態における医用画像処理装置100の構成例を示すブロック図である。医用画像処理装置100は、取得部110、UI120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。医用画像処理装置100は、鏡視下手術(ロボット手術を含む)を画像処理によって支援する。医用画像処理装置100は、手術ナビゲーションを行う。手術ナビゲーションは、例えば、手術前の計画(術前計画)を行うための術前シミュレーションや手術中のサポートを行うための術中ナビゲーションを含む。
(First Embodiment)
FIG. 1 is a block diagram showing a configuration example of the medical
医用画像処理装置100には、CT装置200が接続される。医用画像処理装置100は、CT装置200からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。医用画像処理装置100は、PCとPCに搭載されたソフトウェアにより構成されてもよい。
A
CT装置200は、被検体へX線を照射し、体内の組織によるX線の吸収の違いを利用して、画像(CT画像)を撮像する。被検体は、生体、人体、動物、等を含んでよい。CT装置200は、被検体内部の任意の箇所の情報を含むボリュームデータを生成する。CT装置200は、CT画像としてのボリュームデータを医用画像処理装置100へ、有線回線又は無線回線を介して送信する。CT画像の撮像には、CT撮像に関する撮像条件や造影剤の投与に関する造影条件が考慮されてよい。
The
医用画像処理装置100には、手術器具300からの情報が入力される。手術器具300は、手術において用いられる器具であり、内視鏡(カメラ)、鉗子、等を含む。医用画像処理装置100は、手術器具300から、例えば、後述する手術器具300の挿入距離情報、向き情報、位置情報、手術器具300により撮像されたカメラ画像を取得し、処理を行う。
Information from the
医用画像処理装置100内の取得部110は、例えば、通信ポートや外部装置接続ポート、組み込みデバイスへの接続ポートを含む。取得部110は、CT装置200で得られたボリュームデータを取得する。取得されたボリュームデータは、直ぐにプロセッサ140に送られて各種処理されてもよいし、メモリ150において保管された後、必要時にプロセッサ140へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。また、ボリュームデータは中間データ、圧縮データやシノグラムの形で取得されてもよい。また、ボリュームデータは医用画像処理装置100に取り付けられたセンサデバイスからの情報から取得されてもよい。このように、取得部110は、ボリュームデータ等の各種データを取得する機能を有する。
The
UI120は、例えば、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。UI120は、医用画像処理装置100のユーザから、任意の入力操作を受け付ける。ユーザは、術者、医師、看護師、放射線技師、学生、等を含んでよい。
The UI 120 may include, for example, a touch panel, a pointing device, a keyboard, or a microphone. The
UI120は、各種操作を受け付ける。例えば、ボリュームデータやボリュームデータに基づく画像(例えば後述する3次元画像、2次元画像)における、関心領域(ROI)の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織(例えば、血管、気管支、臓器、器官、骨、脳)の領域を含んでよい。組織は、病変組織、正常組織、腫瘍組織、等を含んでよい。 The UI 120 accepts various operations. For example, it accepts operations such as designation of a region of interest (ROI) and setting of luminance conditions in volume data or an image based on volume data (for example, a three-dimensional image or a two-dimensional image described later). Regions of interest may include regions of various tissues (eg, blood vessels, bronchi, organs, organs, bones, brain). Tissue may include lesioned tissue, normal tissue, tumor tissue, and the like.
ディスプレイ130は、例えばLCDを含んでよく、各種情報を表示する。各種情報は、ボリュームデータから得られる3次元画像や2次元画像を含んでよい。3次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像、仮想超音波画像、CPR画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム(RaySum)画像、MIP画像、MinIP画像、平均値画像、レイキャスト画像、等を含んでもよい。2次元画像は、アキシャル画像、サジタル画像、コロナル画像、MPR画像、等を含んでよい。
The
メモリ150は、各種ROMやRAMの一次記憶装置を含む。メモリ150は、HDDやSSDの二次記憶装置を含んでもよい。メモリ150は、USBメモリやSDカードの三次記憶装置を含んでもよい。メモリ150は、各種情報やプログラムを記憶する。各種情報は、取得部110により取得されたボリュームデータ、プロセッサ140により生成された画像、プロセッサ140により設定された設定情報、各種プログラムを含んでもよい。メモリ150は、プログラムが記録される非一過性の記録媒体の一例である。
The
プロセッサ140は、CPU、DSP、又はGPUを含んでよい。プロセッサ140は、メモリ150に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う処理部160として機能する。
図2は、処理部160の機能構成例を示すブロック図である。処理部160は、領域処理部161、変形処理部162、モデル設定部163、ポート情報処理部164、手術器具情報処理部165、画像生成部166、及び表示制御部167を備える。なお、処理部160に含まれる各部は、1つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部160に含まれる各部は、専用のハードウェア部品により実現されてもよい。
FIG. 2 is a block diagram showing a functional configuration example of the
領域処理部161は、例えば取得部110を介して、被検体のボリュームデータを取得する。領域処理部161は、ボリュームデータに含まれる任意の領域を抽出する。領域処理部161は、例えばボリュームデータの画素値に基づいて、自動で関心領域を指定し、関心領域を抽出してよい。領域処理部161は、例えばUI120を介して、手動で関心領域を指定し、関心領域を抽出してよい。関心領域は、臓器、骨、血管、患部(例えば病変組織や腫瘍組織)、等の領域を含んでよい。
The
また、関心領域は、単一の組織だけでなく、その組織の周囲の組織を含んでセグメンテーション(区分)されて抽出されてもよい。例えば、関心領域としての臓器が肝臓の場合、肝臓本体だけでなく、肝臓に接続する又は肝臓内若しくは肝臓周辺を走行する血管(例えば肝動脈、肝静脈、門脈)や、肝臓周辺の骨(例えば背骨、肋骨)を含んでもよい。また、上記の肝臓本体と肝臓内又は肝臓周辺の血管と肝臓周辺の骨とは、別々の組織としてセグメンテーションされて得られてもよい。 Further, the region of interest may be segmented and extracted including not only a single tissue but also the tissues surrounding the tissue. For example, when the organ of interest is the liver, not only the liver itself, but also blood vessels that connect to the liver or run in or around the liver (eg, hepatic arteries, hepatic veins, portal veins), and bones around the liver (eg, hepatic arteries, hepatic veins, portal veins). For example, the liver, ribs) may be included. Further, the above-mentioned liver body, blood vessels in or around the liver, and bone around the liver may be obtained by segmentation as separate tissues.
モデル設定部163は、組織のモデルを設定する。モデルは関心領域とボリュームデータに基づいて設定されてよい。モデルは、ボリュームデータが表現する組織を、ボリュームデータよりも簡素化して表現するものである。したがって、モデルのデータ量は、モデルに対応するボリュームデータのデータ量よりも小さい。モデルは、例えば手術における各種処置を模した変形処理や変形操作の対象となる。モデルは、例えばボーン変形モデルでよい。この場合、モデルは簡易な有限要素において骨組みを仮定して、有限要素の頂点を移動させることで、ボーンが変形する。組織の変形は、ボーンの変形を追従することによって表現できる。モデルは、臓器(例えば肝臓)を模した臓器モデルを含んでよい。モデルは、単純な形状の多角形(例えば三角形)に類似する形状を有してもよいし、その他の形状を有してもよい。モデルは、例えば、臓器を示すボリュームデータの輪郭線であってもよい。モデルは、3次元モデルであっても2次元モデルであってもよい。なお、骨についてはモデルの変形ではなく、ボリュームデータの変形で表現されてもよい。骨は変形の自由度が小さいため、ボリュームデータのアフィン変換で表現できるためである。
The
モデル設定部163は、ボリュームデータに基づいて、モデルを生成することで、モデルを取得してよい。また、モデルのテンプレートが複数予め決まっており、メモリ150や外部サーバに保持されていてもよい。モデル設定部163は、ボリュームデータに合わせて、予め用意された複数のモデルのテンプレートから1つのモデルのテンプレートをメモリ150や外部サーバから取得することで、モデルを取得してもよい。
The
モデル設定部163は、ボリュームデータに含まれる被検体の組織におけるターゲットの位置を設定する。または、モデル設定部163は、組織を模したモデルにおけるターゲットの位置を設定する。ターゲットは、任意の組織(例えば臓器)内に設定される。モデル設定部163は、U120を介してターゲット位置を指定してよい。また、過去に被検体に対して処置されたターゲット(例えば患部)の位置がメモリ150に保持されていてもよい。モデル設定部163は、メモリ150からターゲット位置を取得して設定してもよい。モデル設定部163は、術式に応じてターゲット位置を設定してもよい。術式は、被検体に対する外科手術の方式を示す。ターゲット位置は、ターゲットの領域の位置を含んでよい。
The
ポート情報処理部164は、手術器具300を被検体の内部に挿入するために被検体の体表に設けられるポートの位置を設定する。
The port
なお、手術計画において被検体の体表に設けられる(計画される)ポートを、仮想ポートとも称する。仮想ポートに対応して実際に被検体の体表上に設置される(穿孔される)ポートを、実ポートとも称する。仮想ポートの位置と、この仮想ポートに対して実際に穿孔される実ポートの位置とでは、多少の誤差が生じることがある。また、ポートには、内視鏡が挿入されるカメラポート、鉗子が挿入される鉗子ポート、等が含まれる。例えば、カメラポートとしての仮想ポートとし、仮想カメラポート、鉗子ポートとしての実ポートを実鉗子ポートとするように、ポートの種類を組み合わせて記載することもある。 The port provided (planned) on the body surface of the subject in the surgical plan is also referred to as a virtual port. The port that is actually installed (perforated) on the body surface of the subject corresponding to the virtual port is also called a real port. There may be some error between the position of the virtual port and the position of the real port that is actually drilled against this virtual port. Further, the port includes a camera port into which an endoscope is inserted, a forceps port into which forceps are inserted, and the like. For example, a combination of port types may be described such that a virtual port as a camera port and a virtual camera port and a real port as a forceps port are used as a real forceps port.
ポート情報処理部164は、ボリュームデータに基づく3Dデータにおける被検体の体表において仮想ポートの位置を決定し、設定する。ポート情報処理部164は、後述するポート位置シミュレーション、ポート位置スコア算出、ポート位置調整、等に基づいて仮想ポートの位置を決定してよい。この仮想ポートの決定例の詳細について後述する。また、仮想ポートの位置は、術式に従って定まる標準的なポート位置でよい。ポート情報処理部164は、メモリ150から標準的なポート位置の情報を取得してもよいし、取得部110を介して外部装置から取得してもよい。
The port
なお、3Dデータは、例えば被検体の後述する未気腹状態のボリュームデータでもよいし、気腹シミュレーションが施された被検体の後述する仮想気腹状態のボリュームデータでもよい。また、3Dデータは、ボリュームデータから生成されたサーフィスデータであってよい。また、3Dデータは、前述のモデルを含んでよい。また、3Dデータは、手術に関わる臓器のセグメンテーション情報を含んでよい。 The 3D data may be, for example, volume data of a subject in a non-pneumoperitoneum state described later, or volume data of a subject subjected to a pneumoperitoneum simulation in a virtual pneumoperitoneum state described later. Further, the 3D data may be surface data generated from the volume data. Further, the 3D data may include the above-mentioned model. In addition, the 3D data may include segmentation information of organs involved in surgery.
変形処理部162は、手術対象の被検体における変形に関する処理を行う。例えば、変形に関する処理として、仮想的に被検体に対して気腹する気腹シミュレーションを行ってよい。気腹シミュレーションの具体的な方法は、公知の方法であってよく、例えば参考非特許文献1に記載された方法でよい。つまり、変形処理部162は、非気腹状態のボリュームデータを基に、気腹シミュレーションを行い、仮想気腹状態のボリュームデータを生成してよい。気腹シミュレーションにより、ユーザは、被検体に対して実際に気腹しなくても、被検体が気腹された状態を仮定し、仮想的に気腹された状態を観察できる。なお、気腹状態のうち、気腹シミュレーションにより推定される気腹の状態を仮想気腹状態と称し、実際の気腹された状態を実気腹状態と称してよい。
The
(参考非特許文献1)Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI (Medical Image Computing and Computer-Assisted Intervention), 2004, P559-P567 (Reference Non-Patent Document 1) Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI (Medical Image Computing and Computer- Assisted Intervention), 2004, P559-P567
気腹シミュレーションは、有限要素法を用いた大変形シミュレーションでよい。この場合、変形処理部162は、領域処理部161を介して、被検体の皮下脂肪を含む体表と、被検体の腹部内臓と、をセグメンテーションしてよい。そして、変形処理部162は、モデル設定部163を介して、体表を皮膚と体脂肪との2層の有限要素にモデル化し、腹部内臓を有限要素にモデル化してよい。変形処理部162は、任意に、例えば肺と骨とをセグメンテーションし、モデルに追加してよい。また、体表と腹部内臓との間にガス領域を設け、仮想的なガス注入に応じてガス領域(気腹空間)が拡張(膨張)してよい。なお、気腹シミュレーションが行われなくてもよい。
The pneumoperitoneum simulation may be a large deformation simulation using the finite element method. In this case, the
また、被検体内の臓器等の組織は、手術における術者の各種処置を模してユーザによって各種の変形操作がされ得る。変形操作は、臓器を持ち上げる操作、ひっくり返す操作、切る操作、等を含んでよい。これに対応して、変形処理部162は、変形に関する処理として、被検体内の臓器等の組織に対応するモデルを変形させてよい。例えば、臓器が鉗子(例えば把持鉗子、剥離鉗子、電気メス)により引っ張られたり押されたり、切断されたりし得るが、この様子をモデルの変形によりシミュレートしてよい。モデルが変形すると、モデルにおけるターゲットも変形し得る。
In addition, tissues such as organs in a subject can be subjected to various deformation operations by a user, imitating various procedures of an operator in surgery. The deformation operation may include an operation of lifting an organ, an operation of turning over, an operation of cutting, and the like. Correspondingly, the
変形操作による変形は、モデルに対して行われ、有限要素法を用いた大変形シミュレーションでよい。例えば、***変換による臓器の移動をシミュレートしてよい。この場合、臓器や病変の接点に加わる弾性力や臓器や病変の剛性、その他の物理的な特性が加味されてよい。モデルに対する変形処理は、ボリュームデータに対する変形処理と比較すると、演算量が低減される。変形シミュレーションにおける要素数が低減されるためである。なお、モデルに対しての変形処理が行われず、ボリュームデータに対して直接、変形処理が行われてもよい。 The deformation by the deformation operation is performed on the model, and a large deformation simulation using the finite element method may be used. For example, the movement of organs due to repositioning may be simulated. In this case, the elastic force applied to the contact point of the organ or the lesion, the rigidity of the organ or the lesion, and other physical characteristics may be added. The amount of calculation is reduced in the transformation processing for the model as compared with the transformation processing for the volume data. This is because the number of elements in the deformation simulation is reduced. It should be noted that the transformation processing may be performed directly on the volume data without performing the transformation processing on the model.
手術器具情報処理部165は、UI120を介して入力された手術器具300の操作情報を取得する。手術器具300の操作情報は、操作の種類(例えば移動、回転)、操作位置、操作速度、等の情報を含んでよい。なお、手術器具情報処理部165は、手術器具300からの情報(例えば操作情報、その他の情報)を手術器具300又は他の装置(例えば各種センサ)から直接取得してもよいし、取得部110を介して取得してもよい。
The surgical instrument
手術器具情報処理部165は、手術器具300に関する情報(手術器具情報)の少なくとも一部を取得する。手術器具情報は、内視鏡20に関する情報や鉗子30に関する情報を含んでよい。内視鏡20に関する情報は、例えば取得部110を介して内視鏡20を含む内視鏡装置から取得されてよい。鉗子30に関する情報は、例えばメモリ150又は外部装置から取得されてよい。内視鏡20は、実カメラポートから挿入されて被検体内を撮像する。鉗子30は、実鉗子ポートから挿入されて被検体内において各種処置に使用される。
The surgical instrument
手術器具情報は、手術器具300の向き(つまり手術器具300の延在方向、手術器具300の挿入方向)及び手術器具300の挿入距離を含んでよい。ここでの手術器具300の向きは、手術器具300全体の主要な向きでよい。手術器具300の向きは、重力方向に対する手術器具300の傾きの方向を含み、手術器具300の延在方向を回転中心とした時計回り又は半時計回りの傾き、つまりねじりの向きを含んでよい。挿入距離は、例えば、手術器具300が挿入される実ポートとこの手術器具300の先端位置との間の距離に相当する。例えば、手術器具300に、手術器具300の挿入距離を示す目盛りが付されていてよい。手術器具情報処理部165は、この目盛りを電子的に読み取り、手術器具300の挿入距離を取得してよい。この場合、例えばリアルエンコーダ(読取装置)がトロッカーに取り付けられ、手術器具300にはエンコード用のマーカが付されてよい。また、手術器具情報処理部165は、この目盛りをユーザが読んでUI120を介して挿入距離を入力することで、手術器具300の挿入距離を取得してもよい。
The surgical instrument information may include the orientation of the surgical instrument 300 (that is, the extending direction of the
また、手術器具情報処理部165は、角度センサから手術器具300の角度(つまり向き)の情報を取得してよい。角度センサは、例えば手術器具300又はトロッカーに取り付けられてよい。トロッカーの角度は、手術器具300の角度に対応した角度となる。角度センサによる検出値については後述する。手術器具情報処理部165は、角度センサの検出値に基づいて、手術器具300の向きを導出する。
Further, the surgical instrument
また、手術器具情報処理部165は、手術器具300の向きを算出してよい。例えば、手術器具300の向きを、予め定められた向きとして算出してよい。予め定められた向きは、例えば、術式に応じて標準的に考えられるポートから患部にアプローチする方向でよい。また、予め定められた向きは、ユーザが設定した方向であってよい。また、手術器具300の向きを、ポート情報処理部164から取得される仮想ポートから、モデル設定部163から取得されるターゲットへと向かう方向として算出してよい。また、手術器具300の向きを、モデル設定部163から取得されるターゲットの位置の変化に追従して算出してよい。また、手術器具300の向きを、モデル設定部163から取得されるターゲットへと向かう方向に対して、予め定められた角度を変化させたものとして算出してもよい。
Further, the surgical instrument
手術器具情報は、内視鏡20の向き(延在方向)及び内視鏡20の挿入距離を含んでよい。手術器具情報は、鉗子30の向き及び鉗子30の挿入距離を含んでよい。
The surgical instrument information may include the orientation (extending direction) of the
手術器具情報処理部165は、手術器具300の先端位置(先端部の位置)と先端向き(先端部の向き)とを導出する。例えば、手術器具情報処理部165は、少なくとも仮想カメラポートの位置と内視鏡20の挿入距離とに基づいて、内視鏡20の先端位置を算出してよい。また、例えば内視鏡20が直線的に延びる形状である場合、仮想カメラポートの位置と内視鏡20の挿入距離と内視鏡20の向きとに基づいて、内視鏡20の先端位置を算出してよい。また、例えば内視鏡20が非直線的な形状(例えば折れ曲がる形状、湾曲した形状)を有する場合、仮想カメラポートの位置と内視鏡20の挿入距離と内視鏡20の形状とに基づいて、内視鏡20の先端位置を算出してよい。内視鏡20の形状の情報は、例えばメモリ150に保持されていてもよいし、取得部110を介して外部装置から取得されてもよい。例えば内視鏡20が直線的に延びる形状(例えば硬性内視鏡)である場合、内視鏡20全体の向きを内視鏡20の先端向きとして算出してよい。例えば内視鏡20が非直線的な形状である場合、内視鏡20全体の向きと内視鏡20の形状とに基づいて、内視鏡20の先端向きを算出してよい。
The surgical instrument
また、手術器具情報処理部165は、少なくとも仮想鉗子ポートの位置と鉗子30の挿入距離とに基づいて、鉗子30の先端位置を算出してよい。また、例えば鉗子30が直線的に延びる形状である場合、仮想鉗子ポートの位置と鉗子30の挿入距離と鉗子30の向きとに基づいて、鉗子30の先端位置を算出してよい。また、例えば鉗子30が非直線的な形状(例えば折れ曲がる形状や湾曲した形状)を有する場合、仮想鉗子ポートの位置と鉗子30の挿入距離と鉗子30の形状とに基づいて、鉗子30の先端位置を算出してよい。鉗子30の形状の情報は、例えばメモリ150に保持されていてもよいし、取得部110を介して外部装置から取得されてもよい。例えば鉗子30が直線的に延びる形状である場合、鉗子30全体の向きを鉗子30の先端向きとして算出してよい。例えば鉗子30が非直線的な形状である場合、鉗子30全体の向きと鉗子30の形状とに基づいて、鉗子30の先端向きを算出してよい。例えば鉗子30が非直線的な形状である場合、鉗子30全体の向きと鉗子30の形状とに基づいて、鉗子30の先端向きを算出してよい。
Further, the surgical instrument
画像生成部166は、各種画像を生成する。画像生成部166は、取得されたボリュームデータの少なくとも一部(例えばボリュームデータにおいて抽出された領域)に基づいて、3次元画像や2次元画像を生成する。画像生成部166は、変形処理部162により変形されたボリュームデータ(例えば仮想気腹状態のボリュームデータ)に基づいて、3次元画像や2次元画像を生成してよい。例えば、ボリュームレンダリング画像や、内視鏡20の位置から内視鏡20の向きを見た状態を表現する仮想内視鏡画像を生成してよい。
The
表示制御部167は、各種データ、情報、画像をディスプレイ130に表示させる。表示制御部167は、画像生成部166で生成された画像(例えばレンダリング画像)を表示させる。また、表示制御部167は、この画像とともに各種情報を重畳して表示させる。重畳表示される情報は、手術器具300の先端からターゲットまでの距離の情報、手術器具300の挿入距離、等の情報を含んでよい。また、表示制御部167は、レンダリング画像の輝度調整を行ってよい。輝度調整は、例えばウインドウ幅(WW:Window Width)及びウインドウレベル(WL:Window Level)の少なくとも一方の調整を含んでよい。
The
図3は、ターゲット40を含む臓器と、ターゲット40に対する処置に用いる手術器具300と、手術器具300が挿入されるポートPTと、の位置関係の一例を示す図である。図3では、手術器具300は、内視鏡20及び鉗子30を含む。ポートPTとして、仮想ポートと実ポートが想定される。ポートPTの実ポートは、ポートPTの仮想ポートに対して穿孔されたポートである。ポートPT、カメラポートPT1及び鉗子ポートPT2を含む。図3では、被検体は気腹されている。図3では、臓器は肝臓10である。肝臓10には、手術対象となるターゲット40が含まれる。図3では、肝臓10周辺の骨15(例えば背骨、肋骨)も示されている。
FIG. 3 is a diagram showing an example of the positional relationship between the organ including the
仮想気腹状態の被検体の体表70には、カメラポートPT1の仮想ポートが設定される。気腹された体表70には、カメラポートPT1の仮想ポートに対応する実ポートが設置される。カメラポートPT1の実ポートには、トロッカー60が配置され、被検体の内部が気密に維持される。このトロッカー60には、被検体の内部に向かって内視鏡20が挿通される。内視鏡20は、カメラポートPT1の実ポートの位置を基点として操作可能である。内視鏡20の先端部にはイメージセンサが配置され、イメージセンサにより撮像可能である。カメラポートPT1の実ポートから内視鏡20の先端部までの距離が、内視鏡20の挿入距離ID1となる。
A virtual port of camera port PT1 is set on the
また、仮想気腹状態の被検体の体表70には、鉗子ポートPT2の仮想ポートが設定される。気腹された体表70には、鉗子ポートPT2の仮想ポートに対応する実ポートが設置される。鉗子ポートPT2の実ポートには、トロッカー60が配置され、被検体の内部が気密に維持される。このトロッカー60には、被検体の内部に向かって鉗子30が挿通される。鉗子30は、鉗子ポートPT2の実ポートの位置を基点として操作可能である。鉗子ポートPT2の実ポートから鉗子30の先端部までの距離が、鉗子30の挿入距離ID2となる。
Further, a virtual port of the forceps port PT2 is set on the
鉗子30は、例えばターゲット40に向かって被検体の内部に進行し、ターゲット40に対する各種処置(例えば、把持、切除、剥離、縫合)に用いられる。内視鏡20は、例えばターゲット40や鉗子30が撮像範囲23に含まれるように操作される。よって、医用画像処理装置100は、内視鏡20による内視鏡画像に対応する画像を可視化することで、鉗子30によるターゲット40の処置を視認可能とし、例えば術者が鉗子30とターゲット40との位置関係を確認しながら鏡視下手術を行うことを支援できる。
The
また、図3では、被検体を基準とした被検体座標系(患者座標系)のx方向、y方向、及びz方向も示されている。被検体座標系は、直交座標系である。x方向は、被検体を基準とした左右方向に沿ってよい。y方向は、被検体を基準とした前後方向(被検体の厚み方向)でよい。z方向は、被検体を基準とした上下方向(被検体の体軸方向)でよい。x方向、y方向、z方向は、DICOM(Digital Imaging and COmmunications in Medicine)で規定された3方向でよい。例えば、被検体の3Dデータや被検体の内部の領域や仮想ポートの位置等には、被検体座標系の値が用いられる。 Further, FIG. 3 also shows the x-direction, the y-direction, and the z-direction of the subject coordinate system (patient coordinate system) with respect to the subject. The subject coordinate system is a Cartesian coordinate system. The x direction may be along the left-right direction with respect to the subject. The y direction may be the anteroposterior direction (thickness direction of the subject) with respect to the subject. The z direction may be the vertical direction (the body axis direction of the subject) with respect to the subject. The x-direction, y-direction, and z-direction may be three directions defined by DICOM (Digital Imaging and COmmunications in Medicine). For example, the values of the subject coordinate system are used for the 3D data of the subject, the area inside the subject, the position of the virtual port, and the like.
図4は、ポートPTを基準としたポート座標系の一例を示す図である。ポート座標系は、球面座標系(極座標系)で示され、動径r、第1角度θ、及び第2角度φが示されている。ポート座標系の原点は、ポートPTの位置となる。動径rは、内視鏡20の延在方向に平行である。第1角度θは、所定の軸(例えば被検体座標系のy軸)と動径rとの成す角度である。第2角度φは、所定の軸に垂直な平面にある別の軸(例えば被検体座標系のz軸)とこの平面への動径rの射影とが成す角度である。内視鏡20の延在方向は、内視鏡画像(実内視鏡画像)及び仮想内視鏡画像の奥行方向となる。
FIG. 4 is a diagram showing an example of a port coordinate system with reference to the port PT. The port coordinate system is represented by a spherical coordinate system (polar coordinate system), and the diameter r, the first angle θ, and the second angle φ are shown. The origin of the port coordinate system is the position of the port PT. The radius r is parallel to the extending direction of the
例えば、ポート位置を基準とした手術器具300の挿入距離や向きは、ポート座標系の値が用いられる。手術器具300の挿入距離は、動径rの座標として示されてよい。手術器具300の向きは、例えば第1角度θ及び第2角度φの値として検出されてよい。第1角度θ及び第2角度φの値は、角度センサによる検出値であってもよい。また、手術器具情報処理部165は、角度センサによる検出値を基に、第1角度θ及び第2角度φを算出して得てもよい。この場合、例えば、角度センサは、加速度センサであり、重力方向に対して直交する2方向の傾斜角度を検出してもよい。また、角度センサは、3軸角度センサでもよい。
For example, the value of the port coordinate system is used as the insertion distance and orientation of the
ポート座標系を用いる手術器具300の挿入距離や向きは、被検体の3Dデータに対する処理に利用される場合、ポート座標系の値から被検体座標系の値に変換する必要がある。ここで、ポート座標系(球面座標系)から被検体座標系(直交座標系)への変換は、被検体座標系から手術室座標系への変換(異なる直交座標系での変換)と比較すると、演算量が少なく、比較的容易に実施できる。なお、手術器具300の向きは、被検体の動き(例えば検査時の患者の身動き、心臓の拍動)が多少存在しても、位置の検出値と比較すると変化が小さく、位置合わせと比較すると角度合わせが容易である。
When the insertion distance and orientation of the
図5は、内視鏡20の先端位置21と先端向き22と撮像範囲23と鉗子30との位置関係の一例を示す図である。内視鏡20の先端位置21と先端向き22と撮像範囲23は、内視鏡20に関する情報に含まれる。鉗子30の位置は、鉗子30に関する情報に含まれる。内視鏡20の先端向き22は、動径rの方向と一致し、内視鏡20(カメラ)の光軸の方向と一致してよい。内視鏡20の撮像範囲23は、例えば、内視鏡20の先端位置21、内視鏡20の先端向き22、及び内視鏡20の画角に基づいて定まってよい。内視鏡20の撮像範囲23は、仮想内視鏡画像の画像範囲と一致する。
FIG. 5 is a diagram showing an example of the positional relationship between the
なお、内視鏡20の先端位置21は、被検体を観察するための術者の視点とも言える。内視鏡20の先端向き22は、視点を起点とした術者の視線の向きとも言える。内視鏡20の画角は、視点を基点とした術者の視野角とも言える。内視鏡20の撮像範囲23は、術者の視野とも言える。
The
図6は、ボリュームレンダリング画像G1と各種情報とを重畳表示した表示例を示す図である。なお、図6に表示される表示対象は、仮想的な情報であり、例えば、ポートPTとして仮想ポート、鉗子30として仮想鉗子、内視鏡20として仮想内視鏡、が表示される。
FIG. 6 is a diagram showing a display example in which the volume rendering image G1 and various types of information are superimposed and displayed. The display target displayed in FIG. 6 is virtual information. For example, a virtual port is displayed as the port PT, a virtual forceps is displayed as the
ボリュームレンダリング画像G1では、被検体の一部が可視化されている。図6では、ボリュームレンダリング画像G1ともに各種情報が表示される。この各種情報は、内視鏡20に関する情報、鉗子30に関する情報、カメラポートPT1の仮想ポートの情報、鉗子ポートPT2の仮想ポートの情報、ターゲット40の情報、各種距離情報、等を含んでよい。なお、各種情報の一部の表示が省略されてもよい。
In the volume rendered image G1, a part of the subject is visualized. In FIG. 6, various information is displayed together with the volume rendered image G1. The various information may include information about the
内視鏡20に関する情報は、内視鏡20の位置、向き、撮像範囲、大きさ、形状、等の情報を含んでよい。鉗子30に関する情報は、鉗子30の位置、向き、大きさ、形状、等の情報を含んでよい。図6では、内視鏡20及び鉗子30は、単純化して直線で示されているが、これに限られず、内視鏡20及び鉗子30の向き、大きさ、形状、等に基づいて示されてもよい。
The information about the
カメラポートPT1の仮想ポートの情報は、カメラポートPT1の仮想ポートの位置、大きさ、形状、等の情報を含んでよい。鉗子ポートPT2の仮想ポートの情報は、カメラポートPT1の仮想ポートの位置、大きさ、形状、等の情報を含んでよい。ターゲット40の情報は、ターゲット40の位置、大きさ、形状、等の情報を含んでよい。図6では、ターゲットは単純化して〇で示されているが、これに限られず、ターゲット40の向き、大きさ、形状、等に基づいて示されてもよい。
The information on the virtual port of the camera port PT1 may include information such as the position, size, and shape of the virtual port of the camera port PT1. The information on the virtual port of the forceps port PT2 may include information such as the position, size, and shape of the virtual port of the camera port PT1. The information of the
各種距離情報は、内視鏡20の挿入距離ID1の情報、鉗子30の挿入距離ID2の情報、鉗子30の先端部からターゲット40までの距離d1の情報、等を含んでよい。距離d1は、例えば、鉗子30の向きに基づいて、鉗子30の先端位置とターゲット40の位置との差により算出可能である。
The various distance information may include information on the insertion distance ID1 of the
図7は、仮想内視鏡画像G2と各種情報とを重畳表示した表示例を示す図である。図7の説明では、図6で説明した事項と同様の事項については、その説明を省略又は簡略化する。 FIG. 7 is a diagram showing a display example in which the virtual endoscopic image G2 and various types of information are superimposed and displayed. In the description of FIG. 7, the same items as those described in FIG. 6 will be omitted or simplified.
図7の仮想内視鏡画像G2では、被検体の一部が可視化されている。図7では、仮想内視鏡画像G2ともに各種情報が表示される。この各種情報は、この各種情報は、1つ以上の鉗子30(例えば鉗子31及び鉗子32)に関する情報、ターゲット40の情報、各種距離情報、等を含んでよい。なお、各種情報の一部の表示が省略されてもよい。
In the virtual endoscopic image G2 of FIG. 7, a part of the subject is visualized. In FIG. 7, various information is displayed together with the virtual endoscopic image G2. The various information may include information on one or more forceps 30 (for example, forceps 31 and forceps 32), information on the
各種距離情報は、内視鏡20の挿入距離ID1、鉗子31の挿入距離ID21の情報、鉗子32の挿入距離ID22の情報、鉗子31の先端部(先端位置)からターゲット40までの距離d11の情報、鉗子32の先端部からターゲット40までの距離d1の情報、等を含んでよい。なお、距離情報として、鉗子30の先端部からターゲット40までの距離の情報の代わりに、ポートPTの仮想ポートからターゲット40までの距離の情報や、ポートPTの仮想ポートからターゲット40までの距離から鉗子30の挿入距離ID2を減算した距離の情報が含まれ、表示されてもよい。
Various distance information includes the insertion distance ID1 of the
図6及び図7の表示例によれば、術者は、2次元の画像の確認では認識し難い画像の奥行方向を加味した距離を容易に確認できる。例えば、術者は、ターゲット40までの距離があと何mである等の情報を確認できる。
According to the display examples of FIGS. 6 and 7, the operator can easily confirm the distance including the depth direction of the image, which is difficult to recognize by confirming the two-dimensional image. For example, the surgeon can confirm information such as how many meters the distance to the
図8は、医用画像処理装置100の動作例を示すフローチャートである。なお、S11〜S15は、例えば術前に実施され、S16〜S20は、例えば術中に実施される。
FIG. 8 is a flowchart showing an operation example of the medical
まず、被検体(例えば患者)のボリュームデータを取得する(S11)。気腹シミュレーションを実行する(S12)。臓器、骨、及び血管の領域を抽出するセグメンテーションを実行する(S13)。ボリュームデータに基づいて、モデル(例えば肝臓の臓器モデル)を生成する(S14)。ポート位置シミュレーション、ポート位置スコア算出、ポート位置調整、等を行い、仮想ポートとしての鉗子ポートPT2、仮想ポートとしてのカメラポートPT1、及びターゲット40の情報(例えば位置情報)を取得する(S15)。 First, the volume data of the subject (for example, the patient) is acquired (S11). A pneumoperitoneum simulation is executed (S12). Segmentation is performed to extract regions of organs, bones, and blood vessels (S13). A model (for example, a liver organ model) is generated based on the volume data (S14). Port position simulation, port position score calculation, port position adjustment, and the like are performed to acquire information (for example, position information) of the forceps port PT2 as a virtual port, the camera port PT1 as a virtual port, and the target 40 (for example, position information).
UI120を介して、鉗子30の操作情報及び内視鏡20の操作情報を取得する(S16)。内視鏡20の向き及び挿入距離ID1を取得する(S17)。鉗子30の向き及び挿入距離ID2を取得する(S17)。内視鏡20の先端位置及び先端向きを取得する(S18)。鉗子30の先端位置及び先端向きを取得する(S18)。S12の処理により得られた仮想気腹状態のボリュームデータをレンダリングし、ボリュームレンダリング画像G1を生成する(S19)。ボリュームレンダリング画像G1とともに、各種情報を表示させる(S19)。この各種情報は、図6に示した各種情報、内視鏡20を示す情報、鉗子30を示す情報、内視鏡20の先端位置及び先端向き、鉗子30の先端位置及び先端向き、等を含んでよい。また、S12の処理により仮想気腹状態のボリュームデータを基に、仮想内視鏡画像G2を生成する(S20)。仮想内視鏡画像G2とともに、各種情報を表示させる(S20)。この各種情報は、図7に示した各種情報、鉗子30を示す情報、鉗子30の先端位置及び先端向き、等を含んでよい。
The operation information of the
なお、処理部160は、S20における表示後に、S16に進み、S16〜S20を反復して実行してよい。これにより、術者は、術中における内視鏡20及び鉗子30を処置に応じて適宜操作して動かしながら、この動きに合わせた画像(例えばボリュームレンダリング画像G1、仮想内視鏡画像G2)を確認できる。
After the display in S20, the
なお、S13における臓器セグメンテーション、骨セグメンテーション、及び血管セグメンテーションの精度は、高精度でなくてもよい。例えば臓器や骨や血管の輪郭に多少の誤差があっても、術中シミュレーションへの支障が少なければ足りるためである。 The accuracy of organ segmentation, bone segmentation, and blood vessel segmentation in S13 does not have to be high. For example, even if there is some error in the contours of organs, bones, and blood vessels, it is sufficient if there is little hindrance to the intraoperative simulation.
このように、医用画像処理装置100は、3次元位置センサを用いなくても、設定された仮想ポートの位置や手術器具300の挿入距離ID、等の情報に基づいて、手術器具300の先端位置とターゲット40との距離を導出できる。よって、術者は、2次元の内視鏡画像では奥行き感が把握し難いが、手術器具300の先端位置とターゲット40との位置関係を把握し易くなる。よって、例えば、ターゲット40にどの程度近づいているかを把握できる。また、術者は、このような画像による手術支援により、術者の処置が正しいことを確信できる。
As described above, the medical
したがって、医用画像処理装置100は、手術ナビゲーションにおいて、外部カメラによる手術室座標系や3次元位置センサによるセンサ座標系と、被検体を基準とした被検体座標系との位置合わせが不要となり、演算量を低減できる。
Therefore, in the surgical navigation, the medical
また、実ポートの3次元位置の計測を省略しても、例えば、臓器の変形の大きい腹部や肺部では3次元位置が取得されても移動するため、厳密な3次元座標の重要性が低く、手術ナビゲーションへの影響は小さい。また、3次元位置センサによる3次元座標を基にした情報よりも、3Dデータを可視化した画像における2次元位置の方が、術者が、直感的に手術器具300とターゲット40等との位置関係を把握し易い。仮想内視鏡画像G2は、内視鏡20の位置を基準とした画像であり、術者が参照する内視鏡画像に近い画像であるためである。
In addition, even if the measurement of the 3D position of the actual port is omitted, for example, in the abdomen and lungs where the organs are greatly deformed, the 3D position moves even if the 3D position is acquired, so that the exact 3D coordinates are less important. , The effect on surgical navigation is small. In addition, the operator can intuitively determine the positional relationship between the
このように、医用画像処理装置100は、簡易な仕組みで手術ナビゲーションを実施でき、手術の安全性を向上でき、手術時間を短縮できる。
As described above, the medical
次に、仮想ポートの位置の決定例の詳細について説明する。 Next, the details of the example of determining the position of the virtual port will be described.
ポート情報処理部164は、ポート位置シミュレーションを実行する。ポート位置シミュレーションは、ユーザがUI120を操作することで、被検体における所望の手術が可能か否かを判定するためのシミュレーションである。ポート位置シミュレーションでは、ユーザが手術を想定しながら、仮想空間において、各仮想ポートの位置(仮想ポート位置)から挿入された手術器具300を動作させ、鉗子30が手術対象となるターゲット40へアクセス可能か否かを判定してよい。つまり、ポート位置シミュレーションでは、手術器具300を手動で操作しながら、手術器具300がターゲット40へ問題なくアクセス可能か否かが判定されてよい。ポート情報処理部164は、ポート位置シミュレーションにより仮想ポート位置の計画情報を得てよい。
The port
ポート位置シミュレーションでは、被検体のボリュームデータ、取得された複数の仮想ポート位置の組み合わせ、手術器具300が可能な動作に関する可動情報(例えば動作可能な位置や範囲)、術式、仮想気腹状態のボリュームデータ、等に基づいて、上記のアクセスが可能か否かが判定されてよい。手術器具300の可動情報は、手術器具300の形状に関する形状情報や動作に関する動作情報を含んでよい。この形状情報は、手術器具300の長さ、重さ、形状等の少なくとも一部の情報を含んでよい。この動作情報は、手術器具300の被検体の内部への挿入可能距離、被検体に対する挿入可能角度、等の少なくとも一部の情報を含んでよい。ロボット手術の場合、手術器具300の可動情報は、エンドエフェクタのキネマティクスに相当してよい。ポート情報処理部164は、手術器具300の可動情報を、メモリ150から取得してもよいし、取得部110を介して外部装置から取得してもよい。ポート情報処理部164は、術式の情報を、メモリ150から取得してもよいし、取得部110を介して外部装置から取得してもよい。
In the port position simulation, the volume data of the subject, the combination of the acquired multiple virtual port positions, the movable information (for example, the movable position and range) regarding the movement of the
ポート情報処理部164は、被検体の体表における複数の仮想ポート位置を変えながら、各仮想ポート位置においてターゲット40にアクセス可能か否かを判定してよく、順次ポート位置シミュレーションを行ってよい。ポート情報処理部164は、最終的に好ましい(例えば最適な)ポート位置の組み合わせの情報を、UI120を介してユーザ入力に応じて指定してよい。これにより、ポート情報処理部164が、複数の仮想ポート位置を計画してよい。
The port
ポート情報処理部164は、被検体の体表上に設けられる複数の仮想ポート位置を用いて手術する場合の適切度を示すポート位置スコアを算出してよい。つまり、複数の仮想ポート位置の組み合わせに基づくポート位置スコアは、手術を行うための複数の仮想ポート位置の組み合わせの価値を示している。ポート位置スコアは、複数の仮想ポート位置の組み合わせ、手術器具300の可動情報、術式、仮想気腹状態のボリュームデータ、等に基づいて算出されてよい。ポート位置スコアは、仮想ポート位置毎に算出される。
The port
ポート情報処理部164は、ポート位置スコアに基づいて、ポート位置を調整してよい。この場合、ポート情報処理部164は、ポート位置の移動に伴うポート位置スコアの変動量に基づいて、ポート位置を調整してよい。
The port
このように、ポート情報処理部164は、ポート位置シミュレーションに従って、複数の仮想ポート位置を算出してよい。また、ポート情報処理部164は、ポート位置スコアに基づいて、複数の仮想ポート位置を算出してよい。
In this way, the port
図9は、ポート位置シミュレーションの手順の一例を示すフローチャートである。 FIG. 9 is a flowchart showing an example of the procedure of port position simulation.
まず、ポート情報処理部164は、例えば取得部110を介して、被検体を含むボリュームデータを取得する(S111)。ポート情報処理部164は、例えば取得部110を介して、手術器具300の可動情報を取得する(S112)。変形処理部162は、気腹シミュレーションを実行し(S113)、被検体の仮想気腹状態のボリュームデータを生成する。
First, the port
ポート情報処理部164は、術式の情報を取得する(S114)。ポート情報処理部164は、取得された術式に応じた複数の仮想ポート位置(初期位置)を取得し、設定する(S114)。この場合、ポート情報処理部164は、3次元座標で複数の仮想ポート位置を設定してよい。
The port
ポート情報処理部164は、ターゲット40(ターゲット領域)の位置を設定する(S115)。
The port
ポート情報処理部164は、S114で取得された複数の仮想ポート位置とターゲット領域の位置とに基づいて、各仮想ポートから挿入された各鉗子30がターゲット40にアクセス可能か否かを判定する(S116)。各鉗子30がターゲット40にアクセス可能か否かは、ターゲット領域における全ての位置に、各鉗子30が到達可能であるか否かに相当してよい。つまり、鉗子30(必要に応じて複数の鉗子30)によって、取得された術式に従った手術が可能であるか否かを示しており、アクセス可能な場合には、手術が可能であることを示している。
The port
各鉗子30の少なくも1つがターゲット領域の少なくとも一部にアクセス不可能である場合、ポート情報処理部164は、複数の仮想ポートに含まれる少なくとも1つの仮想ポートの位置を、被検体の体表に沿って、移動する(S117)。この場合、ポート情報処理部164は、UI120を介したユーザ入力を基に、仮想ポート位置を移動してよい。移動させる仮想ポートは、少なくとも、ターゲット領域の少なくとも一部にアクセス不能であった鉗子30が挿入された仮想鉗子ポートを含む。仮想ポートの移動後、S116の処理に進む。
When at least one of each
各鉗子30がターゲット領域にアクセス可能である場合、処理部160は、図9のポート位置シミュレーションの処理を終了する。
When each forceps 30 has access to the target region, the
このように、医用画像処理装置100は、ポート位置シミュレーションを実施することで、取得された複数の仮想ポート位置を用いてターゲット領域にアクセス可能であるか否かによって、取得された複数の仮想ポート位置を用いた手術が可能であるか否かを判定できる。複数の仮想ポート位置を用いてターゲット領域にアクセス不能である場合、UI120を介して仮想ポート位置の少なくとも一部を変更して、変更された複数の仮想ポート位置を用いてターゲット領域にアクセス可能であるか否かを再度判定してよい。ポート情報処理部164は、ターゲット領域にアクセス可能である複数の仮想ポート位置の組み合わせを、複数の仮想ポートの位置に設定してよい。このように、医用画像処理装置100は、ユーザ手動で仮想ポート位置を調整し、仮想ポート位置を計画できる。
In this way, the medical
なお、ポート位置シミュレーションは、図8のS15の一部の処理として実施されてよい。この場合、図8の処理と重複する処理(例えばS111、S113)を省略可能である。 The port position simulation may be performed as a part of the process of S15 in FIG. In this case, processing that overlaps with the processing of FIG. 8 (for example, S111 and S113) can be omitted.
次に、ポート位置スコアの算出例について説明する。 Next, an example of calculating the port position score will be described.
複数の仮想ポート位置は、例えば術式に従って定められ、被検体の体表上の任意の位置にそれぞれ配置されることが仮定されてよい。よって、複数の仮想ポート位置の組み合わせも、様々な仮想ポート位置の組み合わせが仮定されてよい。1つの仮想ポートから、1つの手術器具300が被検体内に挿入可能である。よって、複数の仮想ポートから、複数の手術器具300が被検体内に挿入可能である。
It may be assumed that the plurality of virtual port positions are determined according to, for example, a surgical procedure, and are arranged at arbitrary positions on the body surface of the subject. Therefore, as for the combination of a plurality of virtual port positions, various combinations of virtual port positions may be assumed. One
1つの鉗子30が仮想ポートを介して被検体内において到達可能な範囲が、1つの鉗子30によって作業(処置)が可能なワーキングエリア(個別ワーキングエリアWA1(図11参照))となる。よって、複数の鉗子30による個別ワーキングエリアWA1が重複するエリアが、複数の鉗子30が複数の仮想ポートを介して被検体内において同時に到達可能なワーキングエリア(全体ワーキングエリアWA2(図11参照))となる。術式に従った処置では、所定数(例えば3つ)の鉗子30が同時動作することが必要であるので、所定数の鉗子30が同時に到達可能な全体ワーキングエリアWA2が考慮される。
The range that one
また、鉗子30の可動情報によって鉗子30が到達可能な被検体における位置が異なるので、鉗子30が被検体内に挿入される位置である仮想ポート位置の導出にこの可動情報が加味される。また、術式によって確保すべき全体ワーキングエリアWA2の被検体内における位置が異なるので、全体ワーキングエリアWA2の位置に対応する仮想ポート位置の導出にこの位置が加味される。
Further, since the position of the
ポート情報処理部164は、複数の仮想ポート位置の組み合わせ毎に、ポート位置スコアを算出してよい。ポート情報処理部164は、複数の仮想ポート位置の組み合わせのうち、所定条件を満たすポート位置スコア(例えば最大となるポートスコア)となる仮想ポート位置の組み合わせを計画してよい。つまり、計画された仮想ポート位置の組み合わせに含まれる複数の仮想ポート位置を、穿孔対象の複数のポート位置に計画してよい。
The port
なお、ロボット手術の場合、仮想ポート位置と手術支援ロボットの可動部の動作との関係性は、例えば参考非特許文献2,3に記載された関係性を満たしてよい。
(参考非特許文献2):Mitsuhiro Hayashibe, Naoki Suzuki, Makoto Hashizume, Kozo Konishi, Asaki Hattori, “Robotic surgery setup simulation with the integration of inverse-kinematics computation and medical imaging”, computer methods and programs in biomedicine, 2006, P63-P72
(参考非特許文献3)Pal Johan From, “On the Kinematics of Robotic-assisted Minimally Invasive Surgery”, Modeling Identication and Control, Vol.34, No.2, 2013, P69-P82
In the case of robotic surgery, the relationship between the position of the virtual port and the operation of the movable part of the surgery support robot may satisfy the relationship described in, for example, Reference Non-Patent Documents 2 and 3.
(Reference Non-Patent Document 2): Mitsuhiro Hayashibe, Naoki Suzuki, Makoto Hashizume, Kozo Konishi, Asaki Hattori, “Robotic surgery setup simulation with the integration of inverse-kinematics computation and medical imaging”, computer methods and programs in biomedicine, 2006, P63-P72
(Reference Non-Patent Document 3) Pal Johan From, “On the Kinematics of Robotic-assisted Minimally Invasive Surgery”, Modeling Identication and Control, Vol.34, No.2, 2013, P69-P82
図10は、医用画像処理装置100によるポート位置スコアを算出する場合の動作例を示すフローチャートである。
FIG. 10 is a flowchart showing an operation example when calculating the port position score by the medical
図10の処理前には、図9に示したポート位置シミュレーションのS111〜S114と同様に、被検体のボリュームデータの取得、手術器具300の可動情報の取得、気腹シミュレーションの実行、及び術式の情報の取得が事前に行われる。なお、ポート位置スコアの初期値は値0である。ポート位置スコアは、ポート位置の組み合わせの価値を示す評価関数(評価値)である。なお、変数iは、作業の識別情報の一例であり、変数jは、ポートの識別情報の一例である。
Before the processing of FIG. 10, the volume data of the subject, the movement information of the
ポート情報処理部164は、術式に応じて、各手術器具300を用いた作業work_iのリストである作業リストworksを生成する(S121)。作業work_iには、術式に従った手術手順で各鉗子30を用いて作業するための情報が含まれる。作業work_iには、例えば把持、切除、縫合等が含まれてよい。なお、作業には、単一の鉗子30による単独作業、複数の鉗子30による協調作業、が含まれてよい。
The port
ポート情報処理部164は、術式及び仮想気腹状態のボリュームデータに基づいて、作業リストworksに含まれる作業work_iを行うために最低限必要な領域である最小領域least_region_iを計画する(S122)。最小領域は、被検体における3次元領域で定められてよい。ポート情報処理部164は、最小領域least_region_iのリストである最小領域リストLeast_regionsを生成する(S122)。
The port
ポート情報処理部164は、術式、手術器具300の可動情報、及び仮想気腹状態のボリュームデータに基づいて、作業リストworksに含まれる作業work_iを行うために推奨される領域である推奨領域effective_region_iを計画する(S123)。ポート情報処理部164は、推奨領域effective_region_iのリストである推奨領域リストeffective_regionsを生成する(S123)。推奨領域には、作業を行うための最低限の空間(最小領域)とともに、例えば鉗子30が動作するために推奨される空間が含まれてよい。
The port
ポート情報処理部164は、複数の仮想ポート位置port_jのリストであるポート位置リストportsの情報を取得する(S124)。仮想ポート位置は、被検体を基準とした3次元座標(x,y,z)で定められる。ポート情報処理部164は、例えば、UI120を介してユーザ入力を受け付け、ユーザにより指定された1つ以上の仮想ポート位置を含むポート位置リストportsを取得してよい。ポート情報処理部164は、メモリ150にテンプレートとして保持されたポート位置リストportsを取得してもよい。
The port
ポート情報処理部164は、術式、鉗子30の可動情報、仮想気腹状態のボリュームデータ、及び複数の仮想ポート位置に基づいて、各作業work_iについて、各仮想ポート位置port_jを介して各鉗子30が作業可能な領域であるポート作業領域region_iを計画する(S125)。ポート作業領域は、3次元領域で定められてよい。ポート情報処理部164は、ポート作業領域region_iのリストであるポート作業領域リストregionsを生成する(S125)。
The port
ポート情報処理部164は、作業work_i毎に、最小領域least_region_iからポート作業領域region_iを引いて、減算領域(減算値)を算出する(S126)。ポート情報処理部164は、減算領域が空領域(減算値が負の値)でないか否かを判定する(S126)減算領域が空領域でないか否かは、最小領域least_region_i内の少なくとも一部に、ポート作業領域region_iに覆われていない領域(仮想ポートを介して鉗子30が到達しない領域)が存在する否かを示している。
The port
減算領域が空領域である場合、ポート情報処理部164は、推奨領域effective_region_iとポート作業領域region_iとの積である体積値Volume_iを算出する(S127)。そして、ポート情報処理部164は、作業work_i毎に算出された体積値Volume_iを合計し、合計値Volume_sumを算出する。ポート情報処理部164は、合計値Volume_sumをポート位置スコアに設定する(S127)。
When the subtraction area is an empty area, the port
つまり、減算領域が空領域である場合、最小領域内にポート作業領域に覆われていない領域が存在せず、このポート位置リストports(仮想ポート位置port_jの組み合わせ)が選択されることが好ましいので、このポート位置リストが選択され易くように、ポート位置スコアに作業work_i毎の値が加算される。また、体積値Volume_iを基準にポート位置スコアが計画されることで、最小領域やポート作業領域が大きい程、ポート位置スコアが大きくなり、このポート位置リストportsが選択され易くなる。よって、ポート情報処理部164は、最小領域やポート作業領域が大きく、手術における各処置が容易になる仮想ポート位置の組み合わせを選択し易くできる。
That is, when the subtraction area is an empty area, there is no area not covered by the port work area in the minimum area, and it is preferable that this port position list ports (combination of virtual port position ports_j) is selected. , A value for each work work_i is added to the port position score so that this port position list can be easily selected. Further, since the port position score is planned based on the volume value Volume_i, the larger the minimum area or the port work area, the larger the port position score, and the port position list ports can be easily selected. Therefore, the port
一方、減算領域が空領域でない場合、ポート情報処理部164は、ポート位置リストportsについてのポート位置スコアを、値0に設定する(S128)。つまり、最小領域内の少なくとも一部にポート作業領域に覆われていない領域が存在し、対象の作業work_iの作業を完結できない可能性があるので、このポート位置リストPostsが選択されることが好ましくない。そのため、ポート情報処理部164は、このポート位置リストPostsが選択されにくくなるように、ポート位置スコアを値0とし、選択候補から除外する。この場合、ポート情報処理部164は、同じポート位置リストportsを用いて他の作業work_iを行う場合に空領域となっても、全体でのポート位置スコアを値0に設定する。
On the other hand, when the subtraction area is not an empty area, the port
なお、ポート情報処理部164は、全ての作業work_iについて図10の各ステップを繰り返し、全作業work_iを加味したポート位置スコアを算出してよい。
The port
このように、医用画像処理装置100は、ポート位置スコアを導出することで、被検体の体表上に設けられる複数の仮想ポート位置を用いて手術する場合に、仮想ポート位置の組み合わせが、どの程度適切であるかを把握できる。個別ワーキングエリアWA1や全体ワーキングエリアWA2は、複数の仮想ポートの配置位置によって左右される。この場合でも、医用画像処理装置100は、複数の仮想ポート位置の組み合わせ毎のスコア(ポート位置スコア)を加味することで、例えばポート位置スコアが閾値th1以上(例えば最大)となる複数の仮想ポート位置の組み合わせを導出でき、手術を実施し易い仮想ポート位置を設定できる。
In this way, when the medical
また、ポート位置スコアに基づいてワーキングエリアが適切に確保されることで、ユーザは、手術において直接目視できない被検体内での視野を広く確保でき、ポート作業領域を広く確保でき、不測の事態に対処し易くなる。 In addition, by appropriately securing the working area based on the port position score, the user can secure a wide field of view in the subject that cannot be directly seen in the operation, and can secure a wide port working area, which is an unexpected situation. It will be easier to deal with.
また、鏡視下手術では、仮想ポートに対応して穿孔される実ポートの位置は不変であるが、実ポートに挿入される鉗子30は所定範囲で移動可能である。そのため、鏡視下手術では、計画される仮想ポート位置によって手術における各処置の難易度が変化するので、仮想ポート位置の計画は重要である。
Further, in the arthroscopic surgery, the position of the actual port to be perforated corresponding to the virtual port does not change, but the
図11は、仮想ポート位置を基に定められるワーキングエリアの一例を示す図である。個別ワーキングエリアWA1は、各仮想ポート位置port_jに対応する個別のワーキングエリアである。個別ワーキングエリアWA1は、個別のエンドエフェクタが到達可能な被検体PS内の領域でよい。各個別ワーキングエリアWA1が重複するエリアが、全体ワーキングエリアWA2である。全体ワーキングエリアWA2は、ポート作業領域region_iに相当してよい。医用画像処理装置100は、ポート位置スコアを用いることで、各仮想ポート位置を最適化でき、好適な個別ワーキングエリアWA1及び全体ワーキングエリアWA2を導出できる。
FIG. 11 is a diagram showing an example of a working area determined based on the virtual port position. The individual working area WA1 is an individual working area corresponding to each virtual port position port_j. The individual working area WA1 may be an area within the subject PS that is reachable by individual end effectors. The area where each individual working area WA1 overlaps is the entire working area WA2. The entire working area WA2 may correspond to the port working area region_i. The medical
次に、ポート位置調整の詳細について説明する。 Next, the details of the port position adjustment will be described.
ポート情報処理部164は、例えばメモリ150に保持されたテンプレートやUI120を介したユーザ指示を基に、複数の仮想ポート位置(候補位置)の情報を取得する。ポート情報処理部164は、取得された複数の仮想ポート位置の組み合わせに基づいて、この複数の仮想ポート位置を用いた場合のポート位置スコアを算出する。
The port
ポート情報処理部164は、ポート位置スコアに基づいて、仮想ポートの位置を調整してよい。この場合、ポート情報処理部164は、取得された複数の仮想ポート位置の場合のポート位置スコアと、この複数の仮想ポート位置のうちの少なくとも1つの仮想ポート位置を変更した場合のポート位置スコアと、に基づいて、仮想ポート位置を調整してよい。この場合、ポート情報処理部164は、3次元空間での各方向(x方向、y方向、z方向)に沿ったポート位置の微小移動や微分を加味してよい。
The port
例えば、ポート情報処理部164は、(式1)に従って、複数の仮想ポート位置に対して、ポート位置スコアF(ports)を算出し、Fの微分値F’を算出してよい。
For example, the port
F(port_j(x+Δx, y, z)) - F(port_j(x, y, z))
F(port_j(x, y+Δy, z)) - F(port_j(x, y, z)) ・・・(式1)
F(port_j(x, y, z+Δz)) - F((port_j(x, y, z))
F (port_j (x + Δx, y, z)) --F (port_j (x, y, z))
F (port_j (x, y + Δy, z)) --F (port_j (x, y, z)) ・ ・ ・ (Equation 1)
F (port_j (x, y, z + Δz)) --F ((port_j (x, y, z)))
つまり、ポート情報処理部164は、仮想ポート位置F(port_j(x+Δx, y, z))の場合のポート位置スコアFを算出し、仮想ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、仮想ポート位置F(port_j(x, y, z))におけるx方向の微小変化に対するポート位置スコアFの変化を示し、つまり、x方向のFの微分値F’を示す。
That is, the port
また、ポート情報処理部164は、仮想ポート位置F(port_j(x, y+Δy, z))の場合のポート位置スコアFを算出し、仮想ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、仮想ポート位置F(port_j(x, y, z))におけるy方向の微小変化に対するポート位置スコアFの変化を示し、つまり、y方向のFの微分値F’を示す。
Further, the port
また、ポート情報処理部164は、仮想ポート位置F(port_j(x, y, z+Δz))の場合のポート位置スコアFを算出し、仮想ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、仮想ポート位置F(port_j(x, y, z))におけるz方向の微小変化に対するポート位置スコアFの変化を示し、つまり、z方向のFの微分値F’を示す。
Further, the port
ポート情報処理部164は、各方向の微分値F’に基づいて、ポート位置スコアの最大値を算出する。この場合、ポート情報処理部164は、微分値F’に基づいて、最急降下法に従ってポート位置スコアが最大となる仮想ポート位置を算出してよい。ポート情報処理部164は、算出された仮想ポート位置を穿孔対象のポート位置とするように、仮想ポート位置を調整し、仮想ポート位置を最適化してよい。なお、ポート位置スコアが最大となる仮想ポート位置でなくても、例えばポート位置スコアが閾値th2以上となる位置でもよく、ポート位置スコアが改善されれば(高くなれば)よい。
The port
ポート情報処理部164は、このような仮想ポート位置の調整を、複数の仮想ポート位置の組み合わせに含まれる他の仮想ポート位置の調整に適用したり、複数の仮想ポート位置の他の組み合わせにおける仮想ポート位置の調整に適用したりしてよい。これにより、ポート情報処理部164は、各仮想ポート位置が調整された(例えば最適化された)複数の仮想ポートを、穿孔対象のポート位置に計画できる。このように、医用画像処理装置100は、自動で仮想ポート位置を調整し、仮想ポートの位置を設定できる。
The port
なお、複数のポート位置では、仮想ポートの位置(穿孔予定位置)と実ポートの位置(実際の穿孔位置)とで所定長(例えば25mm)程度の誤差が生じ得、また仮想ポート位置の計画精度は精々3mmあれば十分であると考えられる。そのため、ポート情報処理部164は、被検体の体表において所定長毎に仮想ポート位置の候補を設定し、仮想ポート位置の候補を総当たりで複数の仮想ポート位置の組み合わせを決定し、この複数の仮想ポート位置の組み合わせについてのポート位置スコアをそれぞれ算出してよい。つまり、被検体の体表における所定長(例えば3mm)の格子状(グリッド)に、仮想ポート位置の候補が配置されてよい。また、体表上に仮定されるポート数(例えば格子状の交点の数)がn個であり、仮想ポート位置の組み合わせに含まれるポート数がm個である場合、ポート情報処理部164は、n個の仮想ポート位置の候補からm個の仮想ポート位置を順番に選択して組み合わせ、それぞれの組み合わせでのポート位置スコアを算出してよい。このように、3mm間隔の格子状のようにグリッドが過度に細かくない場合には、ポート情報処理部164の計算負荷が過大となることを抑制でき、全組み合わせのポート位置スコアを算出可能である。
In addition, at a plurality of port positions, an error of about a predetermined length (for example, 25 mm) may occur between the position of the virtual port (planned drilling position) and the position of the actual port (actual drilling position), and the planning accuracy of the virtual port position. It is considered that 3 mm at most is sufficient. Therefore, the port
なお、ポート情報処理部164は、公知の方法に従って、複数の仮想ポート位置の調整を行ってよい。ポート情報処理部164は、穿孔対象のポート位置を、調整後の仮想ポート位置の組み合わせに含まれる複数の仮想ポート位置に計画してよい。ポート位置調整の公知の方法は、以下の参考非特許文献4,5及び参考特許文献1に記載された技術を含んでよい。
The port
(参考非特許文献4)Shaun Selha、Pierre Dupont, Robert Howe, David Torchiana, “Dexterity optimization by port placement in robot-assisted minimally invasive surgery”, SPIE International Symposium on Intelligent Systems and Advanced Manufacturing, Newton, MA, 28-31, 2001
(参考非特許文献5)Zhi Li, Dejan Milutinovic, Jacob Rosen, “Design of a Multi-Arm Surgical Robotic System for Dexterous Manipulation”, Journal of Mechanisms and Robotics, 2016
(参考特許文献1)米国特許出願公開第2007/0249911号明細書
(Reference Non-Patent Document 4) Shaun Selha, Pierre Dupont, Robert Howe, David Torchiana, “Dexterity optimization by port placement in robot-assisted minimally invasive surgery”, SPIE International Symposium on Intelligent Systems and Advanced Manufacturing, Newton, MA, 28- 31, 2001
(Reference Non-Patent Document 5) Zhi Li, Dejan Milutinovic, Jacob Rosen, “Design of a Multi-Arm Surgical Robotic System for Dexterous Manipulation”, Journal of Mechanisms and Robotics, 2016
(Reference Patent Document 1) U.S. Patent Application Publication No. 2007/0249911
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。 Although various embodiments have been described above with reference to the drawings, it goes without saying that the present disclosure is not limited to such examples. It is clear that a person skilled in the art can come up with various modifications or modifications within the scope of the claims, which naturally belong to the technical scope of the present disclosure. Understood.
例えば、術前シミュレーション及び術中ナビゲーションが行われる鏡視下手術は、腹腔鏡手術、関節鏡手術、気管支鏡手術、大腸鏡手術、又はその他の鏡視下手術であってもよい。また、鏡視下手術は、術者が鉗子を直接操作して手術する手術であっても、手術ロボットを用いたロボット手術であってもよい。 For example, the arthroscopic surgery in which preoperative simulation and intraoperative navigation are performed may be laparoscopic surgery, arthroscopic surgery, bronchoscopic surgery, colonoscopic surgery, or other arthroscopic surgery. Further, the arthroscopic surgery may be a surgery in which the surgeon directly operates the forceps or a robotic surgery using a surgical robot.
また、気腹シミュレーションは省略されてもよい。例えば、関節鏡手術及び気管支鏡手術では、気腹シミュレーションが省略されてもよい。 Also, the pneumoperitoneum simulation may be omitted. For example, in arthroscopic surgery and bronchoscopic surgery, pneumoperitoneum simulation may be omitted.
また、手術器具情報処理部165は、取得部110を介して、内視鏡20を含む内視鏡装置から内視鏡画像を取得してよい。そして、画像認識等により、この内視鏡画像に映り込んだ手術器具300の位置、つまり内視鏡画像に対する手術器具300の相対位置を認識してよい。手術器具情報処理部165は、この内視鏡画像に映り込んだ手術器具300の位置に基づいて、取得された手術器具300の位置を補正(調整)してもよい。また、手術器具情報処理部165は、内視鏡画像に映り込んだ手術器具300の位置に基づいて、内視鏡20の先端位置を補正(調整)してもよい。したがって、内視鏡画像を用いて、イメージセンサが配置される内視鏡20の先端位置を視点とした仮想内視鏡画像G2の画像範囲を調整可能である。これにより、手術器具300の位置や向き(角度)の導出精度が不十分である場合でも、内視鏡20の内視鏡画像を用いて、ボリュームレンダリング画像G1における手術器具300の位置の精度や仮想内視鏡画像G2の生成精度が向上する。
In addition, the surgical instrument
手術器具情報処理部165は、例えば、以下の参考特許文献2や参考非特許文献6,7の手法に従って、内視鏡20の内視鏡画像における手術器具300の位置を基に、ボリュームレンダリング画像G1における手術器具300の位置や仮想内視鏡画像G2の視点となる内視鏡20の先端位置を補正してよい。
(参考特許文献2:特許第4869189号公報)
(参考非特許文献6:中口 俊哉、外5名、“腹腔鏡下手術における自動拡大追尾システムの実装”、[online]、日本生体医工学会、2005年43巻4号、P685−P693、[令和1年8月9日検索]、インターネット<URL:https://www.jstage.jst.go.jp/article/jsmbe/43/4/43_4_685/_pdf/-char/en>)
(参考非特許文献7:南部 恭二郎、外3名、“内視鏡などによる低侵襲高度手術支援システム”、[online]、東芝レビュー、Vol.56、No.9、2001年、[令和1年8月9日検索]、インターネット<URL:https://www.toshiba.co.jp/tech/review/2001/09/56_09pdf/a09.pdf#search=%27%E3%80%8C%E5%86%85%E8%A6%96%E9%8F%A1%E3%81%AA%E3%81%A9%E3%81%AB%E3%82%88%E3%82%8B%E4%BD%8E%E4%BE%B5%E8%A5%B2%E9%AB%98%E5%BA%A6%E6%89%8B%E8%A1%93%E6%94%AF%E6%8F%B4%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%80%8D%E5%8D%97%E9%83%A8+%E6%9D%B1%E8%8A%9D%E3%83%AC%E3%83%93%E3%83%A5%E3%83%BC2001%27>)
The surgical instrument
(Reference Patent Document 2: Japanese Patent No. 4869189)
(Reference Non-Patent Document 6: Toshiya Nakaguchi, 5 outsiders, "Implementation of automatic magnifying tracking system in laparoscopic surgery", [online], Japanese Society for Medical and Biological Engineering, 2005 Vol. 43, No. 4, P685-P693, [Search on August 9, 1991], Internet <URL: https://www.jstage.jst.go.jp/article/jsmbe/43/4/43_4_685/_pdf/-char/en>)
(Reference Non-Patent Document 7: Kyojiro Minami, 3 outsiders, "Minimally Invasive Advanced Surgery Support System by Endoscopy", [online], Toshiba Review, Vol.56, No.9, 2001, [Reiwa Search on August 9, 1], Internet <URL: https://www.toshiba.co.jp/tech/review/2001/09/56_09pdf/a09.pdf#search=%27%E3%80%8C% E5% 86% 85% E8% A6% 96% E9% 8F% A1% E3% 81% AA% E3% 81% A9% E3% 81% AB% E3% 82% 88% E3% 82% 8B% E4% BD% 8E% E4% BE% B5% E8% A5% B2% E9% AB% 98% E5% BA% A6% E6% 89% 8B% E8% A1% 93% E6% 94% AF% E6% 8F% B4% E3% 82% B7% E3% 82% B9% E3% 83% 86% E3% 83% A0% E3% 80% 8D% E5% 8D% 97% E9% 83% A8 +% E6% 9D% B1% E8% 8A% 9D% E3% 83% AC% E3% 83% 93% E3% 83% A5% E3% 83% BC2001% 27>)
また、各種センサが、実際の手術中に、ポートの位置や手術器具300の位置や手術器具300の角度を計測(実計測)してもよい。例えば、手術器具300やトロッカー60に3次元位置センサや角度センサを取り付けて、3次元位置センサや角度センサの実計測値が取得されてよい。手術器具情報処理部165は、各種センサにより取得された実計測値を取得してよい。表示制御部167は、実計測値の情報を表示させてよい。術者は、表示された実計測値の情報を確認して、UI120を介して仮想的な手術器具300の位置や向きや仮想ポート位置を手動で調整してもよい。または、処理部160は、上記の実計測値に基づいて、例えば実計測された手術器具300の位置や向きや実ポート位置に一致するように、仮想的な手術器具300の位置や向きや仮想ポート位置を自動で調整してもよい。この場合、調整された仮想ポート位置に基づいて、ボリュームレンダリング画像G1や仮想内視鏡画像G2が生成され、表示されてよい。これにより、医用画像処理装置100は、仮想的な演算結果による手術器具300の位置や向きやポートを、実際の手術中の状態に合わせることができ、術中ナビゲーションの精度を一層向上できる。また、高精度な情報が要求される場合(例えば手術器具300が重要なターゲットの近くに存在する場合)に限り、3次元位置センサにより実ポート位置を実計測してもよい。これにより、実計測の計測頻度を小さくして処理負荷を軽減したり、実計測のタイミングを遅くしたりすることができる。また、3次元位置センサや角度センサの精度は低くてもよい。手術器具情報処理部165は、計測された実計測値の精度に応じて、仮想的な手術器具300の位置や向きや仮想ポート位置を調整してもよい。
Further, various sensors may measure (actual measurement) the position of the port, the position of the
また、実ポート位置の位置を部分的に計測してもよい。部分的に計測して得られる情報は、例えば、3次元位置のうちのX座標のみ、手術室のカメラから取得される情報、巻き尺で計測される特定ランドポートからの距離、がある。また、部分的に計測された実測情報の精度は低くてもよい。手術器具情報処理部165は、計測された実計測値の精度及び自由度に応じて、仮想的な手術器具300の位置や向きや仮想ポート位置を調整してもよい。
Further, the position of the actual port position may be partially measured. The information obtained by partially measuring includes, for example, only the X coordinate of the three-dimensional position, the information acquired from the camera in the operating room, and the distance from the specific land port measured by the tape measure. In addition, the accuracy of the partially measured actual measurement information may be low. The surgical instrument
また、ターゲット40と同様に、術者が術中に留意すべき危険部位(例えば切断してはいけない血管、ターゲット40が含まれない他の臓器)の領域や位置を設定してもよい。処理部160は、ターゲット40に対する処理と同様の処理を、危険部位に対して行ってよい。例えば、処理部160が、ボリュームデータにおける危険部位を設定し、被検体の3Dデータが可視化された画像に、手術器具300と危険部位との間の距離に基づく情報等を重畳して表示させてよい。この場合、術者は、例えば、2次元の内視鏡画像では奥行き感が把握し難いが、手術器具300の位置や手術器具300の先端位置と危険部位との位置関係を把握し易くなる。よって、例えば、危険部位にどの程度近づいているかを把握できる。
Further, similarly to the
また、手術器具300やポートの位置を特定するための3次元位置センサやマーカを備えないことを示したが、3次元位置センサやマーカが補助的に設けられてもよい。例えば、トロッカー60に3次元位置検出センサ又はマーカを取り付け、手術器具300情報処理部165は、3次元位置検出センサ又はマーカを用いて、ポート位置や手術器具300の位置や方向を取得してよい。マーカを用いたポート位置や手術器具300の方向の取得方法は、非特許文献1に示された方法と同じでよい。これにより、医用画像処理装置100は、手術器具300の位置及び向きや手術器具300の先端位置及び先端向きの導出精度が低い場合に、3次元位置検出センサ又はマーカを用いたポート位置や手術器具300の位置や方向の情報を補助的に取得できる。また、3次元位置センサやマーカがトロッカー60に配置されることで、例えば鉗子30の根本部分が見やすくなり、術者が手術しやすくなる。
Further, although it was shown that the
また、角度センサの検出値に基づくポート座標系の値を被検体座標系の値に変換することを例示したが、これに限られない。例えば、手術器具情報処理部165は、角度センサの検出値に基づくポート座標系の値を、被検体が載置されるベッドを基準とした座標系(直交座標系)の値に変換してもよい。また、処理部160は、重力方向に対する手術器具300の傾斜角度を用いて画像生成や距離情報の導出を行ってもよいし、手術器具300の傾斜角度を基に被検体座標系での手術器具300の向きを算出し、被検体座標系での手術器具300の向きを基に、画像生成や距離情報の導出を行ってもよい。
Further, the conversion of the value of the port coordinate system based on the value detected by the angle sensor into the value of the subject coordinate system has been illustrated, but the present invention is not limited to this. For example, the surgical instrument
また、内視鏡20及び鉗子30の双方について角度情報を導出することを例示したが、鉗子30の角度情報の導出が省略されてもよい。術者は、鉗子30がどの方向に向いているかは、内視鏡20による内視鏡画像又は仮想内視鏡画像G2における鉗子30の位置や向きによって把握できるためである。つまり、鉗子30の角度は、内視鏡20による内視鏡画像又は仮想内視鏡画像G2に対する鉗子30の相対位置や相対向きによって擬制できる。したがって、鉗子30の向きの情報が不在でも、術者は、鉗子30の先端位置とターゲット40の位置との位置関係を把握可能である。
Further, although it has been illustrated that the angle information is derived for both the
また、医用画像処理装置100は、少なくともプロセッサ140及びメモリ150を備えていればよい。取得部110、UI120、及びディスプレイ130は、医用画像処理装置100に対して外付けであってもよい。
Further, the medical
また、撮像されたCT画像としてのボリュームデータは、CT装置200から医用画像処理装置100へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ(例えば画像データサーバ(PACS)(不図示))等へ送信され、保管されてもよい。この場合、必要時に医用画像処理装置100の取得部110が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体(不図示)を介して取得してもよい。
Further, it is exemplified that the volume data as the captured CT image is transmitted from the
また、撮像されたCT画像としてのボリュームデータは、CT装置200から医用画像処理装置100へ取得部110を経由して送信されることを例示した。これは、実質的にCT装置200と医用画像処理装置100とを併せて一製品として成立している場合も含まれるものとする。また、医用画像処理装置100がCT装置200のコンソールとして扱われている場合も含む。
Further, it is exemplified that the volume data as the captured CT image is transmitted from the
また、CT装置200により画像を撮像し、被検体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、血管造影装置(Angiography装置)、又はその他のモダリティ装置を含む。また、PET装置は、他のモダリティ装置と組み合わせて用いられてもよい。
Further, although it has been illustrated that the
また、医用画像処理装置100における動作が規定された医用画像処理方法として表現可能である。また、コンピュータに医用画像処理方法の各ステップを実行させるためのプログラムとして表現可能である。
Further, it can be expressed as a medical image processing method in which the operation in the medical
(上記実施形態の概要)
上記実施形態の一態様は、鏡視下手術を支援する医用画像処理装置100(鏡視下手術支援装置の一例)であって、処理部160と、を備える。処理部160は、被検体の3Dデータ(例えば、未気腹状態のボリュームデータ、仮想気腹状態のボリュームデータ、3次元モデル)を取得する。処理部160は、3Dデータにおける被検体の体表70に仮想ポートを設定する。処理部160は、仮想ポートに対応した実ポートから被検体の内部に挿入された手術器具300の挿入距離IDを取得する。処理部160は、少なくとも仮想ポートの位置と手術器具300の挿入距離IDとに基づいて、3Dデータを可視化した第1の画像に、手術器具300を示す情報を重畳してディスプレイ130(表示部の一例)に表示させる。仮想ポートに対応した実ポートは、例えば、仮想ポートに対して計画通りに設置された実ポートでもよいし、計画された仮想ポートの位置からずれて設置された実ポートでもよい。
(Outline of the above embodiment)
One aspect of the above embodiment is a medical image processing device 100 (an example of a arthroscopic surgery support device) that supports arthroscopic surgery, and includes a
これにより、医用画像処理装置100は、手術器具300の位置を導出するための高精度な3次元位置センサを手術室に設置することが不要となり、手術ナビゲーションにおけるシステム構成を簡素化できる。この3次元位置センサは、例えば非特許文献1における手術室の天井に設置される外部カメラに相当する。また、3次元位置センサが不要となることで、3次元位置センサが設置される手術室座標系が不在となる。これにより、術前にり、手間のかかる被検体座標系と手術室座標系との位置関係の計測が不要となり、被検体座標系と手術室座標系をレジストレーションする工程が不要となる。また、術中に患者の動きに応じて再レジストレーションする工程が不要となる。
As a result, the medical
また、3Dデータは、気腹シミュレーションが施された仮想気腹状態の3Dデータを含んでよい。これにより、医用画像処理装置100は、実際の手術において気腹が必要な被検体についても、術前に被検体座標系と手術室座標系座標をレジストレーションする工程が不要となる。また、術中に患者の動きに応じて再レジストレーションする工程が不要となる。
Further, the 3D data may include 3D data of a virtual pneumoperitoneum state in which a pneumoperitoneum simulation has been performed. As a result, the medical
また、処理部160は、被検体の内部における手術器具300の挿入方向を取得し、手術器具300の挿入方向に基づいて、手術器具300を示す情報を表示させてよい。これにより、医用画像処理装置100は、第1の画像中に、手術器具300の方向(向き)を反映して表示させることができる。よって、術者は、例えば、内視鏡20の視野に対する手術器具300の向きを直感的に把握できる。また、手術ナビゲーションの精度を向上させることが出来る。
Further, the
また、処理部160は、被検体の内部における手術器具300の挿入方向を算出し、手術器具300の挿入方向に基づいて、手術器具300を示す情報を表示させてよい。これにより、医用画像処理装置100は、第1の画像中に、算出されて推測される手術器具300の方向(向き)を反映して表示させることができる。よって、術者は、例えば、内視鏡20の視野に対する手術器具300の向きを直感的に把握できる。また、手術ナビゲーションの精度を向上させることが出来る。また、角度センサが不要となり、手術ナビゲーションにおけるシステム構成を簡素化できる。また、角度センサが不要となることで、術前に被検体座標系と手術室座標系における角度をレジストレーションする工程が不要となる。また、術中に患者の動きに応じて再レジストレーションする工程が不要となる。
In addition, the
また、手術器具300は、2以上あり、少なくともそのうちの一つは内視鏡20を含んでよい。仮想ポートは、2以上あり、少なくともそのうちの一つは被検体の体表70において内視鏡20が挿入される仮想カメラポートを含んでよい。処理部160は、仮想カメラポートに対応した実カメラポートから被検体の内部に挿入された内視鏡20の挿入距離ID1を取得してよい。処理部160は、少なくとも仮想カメラポートの位置と内視鏡20の挿入距離ID1とに基づいて、内視鏡20の先端位置21を算出してよい。第1の画像は、内視鏡20の先端位置21を視点とする仮想内視鏡画像G2でよい。これにより、医用画像処理装置100は、簡単なシステム構成と少ない演算量で内視鏡20の先端位置を導出でき、この位置に基づく仮想内視鏡画像G2を可視化できる。これによって、手術ナビゲーションの精度を向上させることが出来る。
In addition, there are two or more
また、処理部160は、内視鏡20で撮像された画像である実内視鏡画像を取得してよい。処理部160は、実内視鏡画像に含まれる手術器具300の映像に基づいて、算出された内視鏡20の先端位置又は前記仮想内視鏡画像G2における前記手術器具300の位置を調整してよい。手術器具300の映像は、実内視鏡画像における手術器具300の相対情報(例えば実内視鏡画像における位置)を示してよい。これにより、医用画像処理装置100は、例えば、実内視鏡画像と仮想内視鏡画像G2との内容が近づくように(例えば一致するように)、仮想内視鏡の視野を変更すべく内視鏡20の先端位置21を調整したり、仮想内視鏡画像G2に示される手術器具300の位置を調整したりできる。よって、術者は、より実空間に近い手術器具300の位置を把握できる。
In addition, the
また、処理部160は、3Dデータにおけるターゲット40を設定し、第1の画像に、手術器具300とターゲット40との間の距離(例えば距離d1)に基づく情報を重畳して表示させてよい。これにより、術者は、術中に術者が操作可能な手術器具300からターゲット40までの距離を把握しながら、ターゲット40に対する各種処置を実施できる。
Further, the
また、処理部160は、3Dデータにおける危険部位を設定し、第1の画像に、手術器具300と危険部位との間の距離に基づく情報を重畳して表示させてよい。これにより、術者は、術中に術者が操作可能な手術器具300から危険部位までの距離を把握できる。よって、術者は、例えば危険部位を避けながら、ターゲット40に対する各種処置を実施できる。
Further, the
また、処理部160は、実ポートが計測された計測情報(例えば計測位置)を取得し、実ポートの計測情報と実ポートに対応する仮想ポートの位置とに基づいて、第1の画像に手術器具300を示す情報を重畳して表示させてよい。これにより、実ポートの計測位置と仮想ポートの設定位置とにずれが存在しても、医用画像処理装置100は、例えば、このずれが小さくなるように仮想ポートの位置を調整して、実際の実ポートの位置を基準とした第1の画像を提供できる。
Further, the
上記実施形態の一態様は、被検体の3Dデータを取得するステップと、3Dデータにおける被検体の体表に仮想ポートを設定するステップと、仮想ポートに対応した実ポートから被検体の内部に挿入された手術器具300の挿入距離を取得するステップと、少なくとも仮想ポートの位置と手術器具300の挿入距離とに基づいて、3Dデータを可視化した第1の画像に、手術器具300を示す情報を重畳して表示部に表示させるステップと、を有する鏡視下手術支援方法、である。
One aspect of the above embodiment is a step of acquiring 3D data of the subject, a step of setting a virtual port on the body surface of the subject in the 3D data, and inserting into the inside of the subject from a real port corresponding to the virtual port. Information indicating the
本実施形態の一態様は、上記の鏡視下手術支援方法をコンピュータに実行させるためのプログラムである。 One aspect of this embodiment is a program for causing a computer to execute the above-mentioned arthroscopic surgery support method.
本開示は、システム構成を単純化して簡便に手術ナビゲーションを実施できる鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム等に有用である。 The present disclosure is useful for a arthroscopic surgery support device, a arthroscopic surgery support method, a program, and the like that can simplify the system configuration and easily perform surgical navigation.
10 肝臓
15 骨
21 内視鏡の先端位置
22 内視鏡の先端向き
23 撮像範囲
30,31,32 鉗子
40 ターゲット
60 トロッカー
70 体表
100 医用画像処理装置
110 取得部
120 UI
130 ディスプレイ
140 プロセッサ
150 メモリ
160 処理部
161 領域処理部
162 変形処理部
163 モデル設定部
164 ポート情報処理部
165 手術器具情報処理部
166 画像生成部
167 表示制御部
200 CT装置
300 手術器具
PT ポート
PT1 カメラポート
PT2 鉗子ポート
ID,ID1,ID2,ID21,ID22 挿入距離
10
130
Claims (11)
処理部を備え、
前記処理部は、
被検体の3Dデータを取得し、
前記3Dデータにおける前記被検体の体表に仮想ポートを設定し、
前記仮想ポートに対応した実ポートから前記被検体の内部に挿入された手術器具の挿入距離を取得し、
少なくとも前記仮想ポートの位置と前記手術器具の挿入距離とに基づいて、前記3Dデータを可視化した第1の画像に、前記手術器具を示す情報を重畳して表示部に表示させる、機能を有する、
鏡視下手術支援装置。 It is a arthroscopic surgery support device that supports arthroscopic surgery.
Equipped with a processing unit
The processing unit
Acquire 3D data of the subject and
A virtual port is set on the body surface of the subject in the 3D data, and the virtual port is set.
The insertion distance of the surgical instrument inserted inside the subject is obtained from the real port corresponding to the virtual port.
It has a function of superimposing information indicating the surgical instrument on the first image that visualizes the 3D data based on at least the position of the virtual port and the insertion distance of the surgical instrument and displaying it on the display unit.
Mirror surgery support device.
請求項1に記載の鏡視下手術支援装置。 The 3D data includes 3D data of a virtual pneumoperitoneum state in which a pneumoperitoneum simulation is performed.
The arthroscopic surgery support device according to claim 1.
前記被検体の内部における前記手術器具の挿入方向を取得し、
前記手術器具の挿入方向に基づいて、前記手術器具を示す情報を表示させる、
請求項1又は2に記載の鏡視下手術支援装置。 The processing unit
The insertion direction of the surgical instrument inside the subject is acquired, and the insertion direction is obtained.
Information indicating the surgical instrument is displayed based on the insertion direction of the surgical instrument.
The arthroscopic surgery support device according to claim 1 or 2.
前記被検体の内部における前記手術器具の挿入方向を算出し、
前記手術器具の挿入方向に基づいて、前記手術器具を示す情報を表示させる、
請求項1又は2に記載の鏡視下手術支援装置。 The processing unit
The insertion direction of the surgical instrument inside the subject is calculated.
Information indicating the surgical instrument is displayed based on the insertion direction of the surgical instrument.
The arthroscopic surgery support device according to claim 1 or 2.
前記仮想ポートは、2以上あり、少なくともそのうちの一つは前記被検体の体表において前記内視鏡が挿入される仮想カメラポートを含み、
前記処理部は、
前記仮想カメラポートに対応した実カメラポートから前記被検体の内部に挿入された前記内視鏡の挿入距離を取得し、
少なくとも前記仮想カメラポートの位置と前記内視鏡の挿入距離とに基づいて、前記内視鏡の先端位置を算出し、
前記第1の画像は、前記内視鏡の先端位置を視点とする仮想内視鏡画像である、
請求項1〜4のいずれか1項に記載の鏡視下手術支援装置。 There are two or more of the surgical instruments, at least one of which includes an endoscope.
There are two or more virtual ports, at least one of which includes a virtual camera port into which the endoscope is inserted on the body surface of the subject.
The processing unit
The insertion distance of the endoscope inserted inside the subject is acquired from the real camera port corresponding to the virtual camera port.
The tip position of the endoscope is calculated based on at least the position of the virtual camera port and the insertion distance of the endoscope.
The first image is a virtual endoscope image with the tip position of the endoscope as a viewpoint.
The arthroscopic surgery support device according to any one of claims 1 to 4.
前記内視鏡で撮像された画像である実内視鏡画像を取得し、
前記実内視鏡画像に含まれる前記手術器具の映像に基づいて、算出された前記内視鏡の先端位置又は前記仮想内視鏡画像における前記手術器具の位置を調整する、
請求項5に記載の鏡視下手術支援装置。 The processing unit
An actual endoscopic image, which is an image captured by the endoscope, is acquired.
The position of the tip of the endoscope calculated or the position of the surgical instrument in the virtual endoscopic image is adjusted based on the image of the surgical instrument included in the real endoscopic image.
The arthroscopic surgery support device according to claim 5.
前記3Dデータにおけるターゲットを設定し、
前記第1の画像に、前記手術器具と前記ターゲットとの間の距離に基づく情報を重畳して表示させる、
請求項1〜6のいずれか1項に記載の鏡視下手術支援装置。 The processing unit
Set the target in the 3D data and
Information based on the distance between the surgical instrument and the target is superimposed and displayed on the first image.
The arthroscopic surgery support device according to any one of claims 1 to 6.
前記3Dデータにおける危険部位を設定し、
前記第1の画像に、前記手術器具と前記危険部位との間の距離を示す情報を重畳して表示させる、
請求項1〜7のいずれか1項に記載の鏡視下手術支援装置。 The processing unit
Set the dangerous part in the 3D data,
Information indicating the distance between the surgical instrument and the dangerous part is superimposed and displayed on the first image.
The arthroscopic surgery support device according to any one of claims 1 to 7.
前記実ポートが計測された計測情報を取得し、
前記実ポートの計測情報と、前記実ポートに対応する前記仮想ポートの位置と、に基づいて、前記第1の画像に前記手術器具を示す情報を重畳して表示させる、
請求項1〜8のいずれか1項に記載の鏡視下手術支援装置。 The processing unit
Acquire the measurement information measured by the actual port,
Based on the measurement information of the real port and the position of the virtual port corresponding to the real port, the information indicating the surgical instrument is superimposed and displayed on the first image.
The arthroscopic surgery support device according to any one of claims 1 to 8.
前記3Dデータにおける前記被検体の体表に仮想ポートを設定するステップと、
前記仮想ポートに対応した実ポートから前記被検体の内部に挿入された手術器具の挿入距離を取得するステップと、
少なくとも前記仮想ポートの位置と前記手術器具の挿入距離とに基づいて、前記3Dデータを可視化した第1の画像に、前記手術器具を示す情報を重畳して表示部に表示させるステップと、
を有する鏡視下手術支援方法。 Steps to acquire 3D data of the subject and
A step of setting a virtual port on the body surface of the subject in the 3D data,
The step of acquiring the insertion distance of the surgical instrument inserted inside the subject from the real port corresponding to the virtual port, and
A step of superimposing information indicating the surgical instrument on the first image that visualizes the 3D data based on at least the position of the virtual port and the insertion distance of the surgical instrument and displaying it on the display unit.
Mirror surgery support method having.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019169672A JP7495216B2 (en) | 2019-09-18 | 2019-09-18 | Endoscopic surgery support device, endoscopic surgery support method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019169672A JP7495216B2 (en) | 2019-09-18 | 2019-09-18 | Endoscopic surgery support device, endoscopic surgery support method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021045341A true JP2021045341A (en) | 2021-03-25 |
JP7495216B2 JP7495216B2 (en) | 2024-06-04 |
Family
ID=74876858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019169672A Active JP7495216B2 (en) | 2019-09-18 | 2019-09-18 | Endoscopic surgery support device, endoscopic surgery support method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7495216B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013145730A1 (en) * | 2012-03-29 | 2013-10-03 | パナソニック株式会社 | Surgery assistance device and surgery assistance program |
JP2015083040A (en) * | 2013-10-25 | 2015-04-30 | 富士フイルム株式会社 | Image processing apparatus, method, and program |
US20160199147A1 (en) * | 2015-01-12 | 2016-07-14 | Electronics And Telecommunications Research Institute | Method and apparatus for coordinating position of surgery region and surgical tool during image guided surgery |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5580637B2 (en) | 2010-03-30 | 2014-08-27 | オリンパス株式会社 | Image processing apparatus, operation method of endoscope apparatus, and program |
EP2720636B8 (en) | 2011-06-17 | 2020-04-08 | Koninklijke Philips N.V. | System for guided injection during endoscopic surgery |
-
2019
- 2019-09-18 JP JP2019169672A patent/JP7495216B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013145730A1 (en) * | 2012-03-29 | 2013-10-03 | パナソニック株式会社 | Surgery assistance device and surgery assistance program |
JP2015083040A (en) * | 2013-10-25 | 2015-04-30 | 富士フイルム株式会社 | Image processing apparatus, method, and program |
US20160199147A1 (en) * | 2015-01-12 | 2016-07-14 | Electronics And Telecommunications Research Institute | Method and apparatus for coordinating position of surgery region and surgical tool during image guided surgery |
Also Published As
Publication number | Publication date |
---|---|
JP7495216B2 (en) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102014355B1 (en) | Method and apparatus for calculating location information of surgical device | |
US11883118B2 (en) | Using augmented reality in surgical navigation | |
EP2637593B1 (en) | Visualization of anatomical data by augmented reality | |
JP7188970B2 (en) | ROBOT SURGERY ASSISTANCE DEVICE, OPERATION METHOD OF ROBOT SURGERY ASSISTANCE DEVICE, AND PROGRAM | |
JP7469120B2 (en) | Robotic surgery support system, operation method of robotic surgery support system, and program | |
JP2019517291A (en) | Image-based fusion of endoscopic and ultrasound images | |
KR20190080703A (en) | System, method and program for calculating the optimum entering position of surgical equipment | |
Traub et al. | Advanced display and visualization concepts for image guided surgery | |
JP2017164075A (en) | Image alignment device, method and program | |
US20210298848A1 (en) | Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system | |
US11771508B2 (en) | Robotically-assisted surgical device, robotically-assisted surgery method, and system | |
Nimmagadda et al. | Patient-specific, touch-based registration during robotic, image-guided partial nephrectomy | |
US11779412B2 (en) | Robotically-assisted surgical device, robotically-assisted surgery method, and system | |
Bockholt et al. | Augmented reality for enhancement of endoscopic interventions | |
KR20200056855A (en) | Method, apparatus and program for generating a pneumoperitoneum model | |
Schenkenfelder et al. | Elastic registration of abdominal MRI scans and RGB-D images to improve surgical planning of breast reconstruction | |
US20220354579A1 (en) | Systems and methods for planning and simulation of minimally invasive therapy | |
JP7495216B2 (en) | Endoscopic surgery support device, endoscopic surgery support method, and program | |
JP7172086B2 (en) | Surgery simulation device and surgery simulation program | |
JP2011131020A (en) | Trocar port positioning simulation method and device therefor | |
JP7414611B2 (en) | Robotic surgery support device, processing method, and program | |
JP7182127B2 (en) | ROBOT SURGERY SUPPORT DEVICE, INFORMATION OUTPUT METHOD, AND PROGRAM | |
De Paolis | An augmented reality platform for preoperative surgical planning | |
JP7444569B2 (en) | Arthroscopic surgery support device, arthroscopic surgery support method, and program | |
Cotin et al. | Augmented Reality for Computer-Guided Interventions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7495216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |