JP2014104328A - Operation support system, operation support method, and operation support program - Google Patents
Operation support system, operation support method, and operation support program Download PDFInfo
- Publication number
- JP2014104328A JP2014104328A JP2012262128A JP2012262128A JP2014104328A JP 2014104328 A JP2014104328 A JP 2014104328A JP 2012262128 A JP2012262128 A JP 2012262128A JP 2012262128 A JP2012262128 A JP 2012262128A JP 2014104328 A JP2014104328 A JP 2014104328A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional model
- control unit
- projection plane
- support system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、体内器官の内部に存在する患部に対する手術を支援するための手術支援システム、手術支援方法及び手術支援プログラムに関する。 The present invention relates to an operation support system, an operation support method, and an operation support program for supporting an operation on an affected part existing inside a body organ.
患者の手術負担を軽減するために、内視鏡を利用することがある。この内視鏡を用いることにより、体内器官を直接、観察することができる。そこで、内視鏡を用いたシミュレータシステムが検討されている（例えば、特許文献１を参照。）。この文献に記載されているシミュレータシステムにおいては、挿入部とこの挿入部の動きを操作可能な操作部とを有する内視鏡と、この挿入部の動きを検出する検出手段と、体内の所望の臓器を３次元計測して臓器形状データを得る３次元画像計測装置を備える。 An endoscope may be used to reduce a patient's surgical burden. By using this endoscope, the internal organs can be observed directly. Therefore, a simulator system using an endoscope has been studied (for example, see Patent Document 1). In the simulator system described in this document, an endoscope having an insertion unit and an operation unit capable of operating the movement of the insertion unit, detection means for detecting the movement of the insertion unit, A three-dimensional image measurement device is provided that obtains organ shape data by three-dimensionally measuring an organ.
また、マニピュレータを用いて内視鏡下外科手術を行なう場合、挿入孔の位置を教示するための医療用マニピュレータについても検討されている（例えば、特許文献２を参照。）。この文献に記載されている医療用マニピュレータにおいては、挿入体を保持する保持部とアーム部とを有するマニピュレータ部と、挿入孔の位置を指示するポインタ部とを備えている。 In addition, when an endoscopic surgical operation is performed using a manipulator, a medical manipulator for teaching the position of an insertion hole has been studied (see, for example, Patent Document 2). The medical manipulator described in this document includes a manipulator part having a holding part and an arm part for holding the insertion body, and a pointer part for indicating the position of the insertion hole.
また、開腹手術等と異なり、内視鏡カメラを利用する場合には、視野が制限される。この制限された視野の中で手術を行なうために、関節鏡手術において術前計画を手術中に再現するための関節鏡手術ナビゲーションシステムも検討されている（例えば、特許文献３を参照。）。この文献に記載されている技術においては、関節鏡の内部変数及び外部変数と、予め計測した骨の３次元骨モデルの情報と、骨と関節鏡にそれぞれ設置した赤外線反射マーカーの位置をトラッキングする。そして、骨の位置、姿勢及び関節鏡の位置関係の情報に基づいて骨の仮想鏡視画像を作成して、この仮想鏡視画像と実際の鏡視画像とを重ね合わせてリアルタイム表示を行なう。 In addition, unlike the laparotomy, the field of view is limited when using an endoscopic camera. In order to perform an operation within the limited visual field, an arthroscopic surgical navigation system for reproducing a preoperative plan during an operation in an arthroscopic operation has been studied (for example, see Patent Document 3). In the technique described in this document, the internal and external variables of the arthroscope, the information of the three-dimensional bone model of the bone measured in advance, and the position of the infrared reflective marker respectively installed on the bone and the arthroscope are tracked. . Then, a virtual endoscopic image of the bone is created based on information on the position and posture of the bone and the positional relationship of the arthroscope, and the virtual endoscopic image and the actual endoscopic image are superimposed and displayed in real time.
体内器官の内部空間全体に患部がある場合、患部全体を漏れなく観察したり、処置したりする必要がある。しかしながら、患部が広範囲に存在する場合、手術前や手術中においても、処置領域を漏れなく確認することが困難な場合がある。更に、内視鏡カメラの視野には制限があるため、内視鏡カメラの存在位置と患部との位置関係を把握することが困難である。また、患部の形状によっては、窪みや突起が生じていることがある。この場合には、内視鏡カメラの視野において陰領域が生じ、患部を隅々まで観察することができない場合がある。 When there is an affected part in the entire internal space of a body organ, it is necessary to observe or treat the entire affected part without omission. However, when the affected area exists in a wide range, it may be difficult to check the treatment area without omission even before or during the operation. Furthermore, since the field of view of the endoscope camera is limited, it is difficult to grasp the positional relationship between the position of the endoscope camera and the affected part. Depending on the shape of the affected area, a dent or protrusion may be formed. In this case, a shadow area is generated in the field of view of the endoscope camera, and the affected part may not be observed in every corner.
本発明は、上述の問題に鑑みてなされたものであり、この目的は、体内器官の内部に存在する患部の状態を手術前に確認し、円滑な手術を支援するための手術支援システム、手術支援方法及び手術支援プログラムを提供することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to confirm a state of an affected area existing in a body organ before surgery, and a surgery support system and surgery for supporting smooth surgery. It is to provide a support method and a surgery support program.
上記問題点を解決するために、請求項１に記載の発明は、体内器官の内部画像に基づいて、器官形状と、前記体内器官の内部空間の表面に存在する患部領域についての３次元モデルを記憶する３次元モデルデータ記憶部と、表示部に接続された制御部とを備えた手術支援システムであって、前記制御部が、前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において、仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力することを要旨とする。 In order to solve the above problem, the invention according to claim 1 is based on an internal image of a body organ and obtains a three-dimensional model of an organ shape and an affected area existing on the surface of the internal space of the body organ. A surgical operation support system comprising a 3D model data storage unit for storage and a control unit connected to a display unit, wherein the control unit includes a 3D model recorded in the 3D model data storage unit In the virtual three-dimensional space, a projection plane is specified based on the viewpoint position and the line-of-sight direction of the virtual endoscopic camera, and the whole image displaying the viewpoint position and the line-of-sight direction with respect to the three-dimensional model; The gist is to output a simulation image including a virtual endoscopic image of the surface of the internal space of the projected three-dimensional model to the display unit.
請求項２に記載の発明は、請求項１に記載の手術支援システムにおいて、前記制御部が、中心軸変換により、前記内部空間の中心軸を特定し、前記中心軸上の点に前記投影面の投影面中心を設定することを要旨とする。 According to a second aspect of the present invention, in the surgery support system according to the first aspect, the control unit specifies a central axis of the internal space by central axis conversion, and the projection plane is set at a point on the central axis. The gist is to set the center of the projection plane.
請求項３に記載の発明は、請求項２に記載の手術支援システムにおいて、前記投影面中心において、前記内部空間を出ない大きさで投影面を設定することを要旨とする。
請求項４に記載の発明は、請求項１〜３のいずれか一つに記載の手術支援システムにおいて、前記仮想内視鏡画像において、内部空間の表面における凹凸に応じた陰影画像と、前記凹凸を表した線画像とを画面切り換えにより出力することを要旨とする。
The gist of the invention described in claim 3 is that, in the surgery support system according to claim 2, the projection plane is set at a size that does not exit the internal space at the center of the projection plane.
Invention of Claim 4 is the surgery assistance system as described in any one of Claims 1-3, In the said virtual endoscopic image, the shadow image according to the unevenness | corrugation in the surface of internal space, and the said unevenness | corrugation The gist of this is to output a line image representing the image by switching the screen.
請求項５に記載の発明は、請求項４に記載の手術支援システムにおいて、内部空間の凹凸状態に応じて、前記陰影画像と線画像との画面切り換えの時期を決定することを要旨とする。 The gist of the invention described in claim 5 is that, in the surgery support system according to claim 4, the timing of screen switching between the shadow image and the line image is determined according to the uneven state of the internal space.
請求項６に記載の発明は、請求項１〜５のいずれか一つに記載の手術支援システムにおいて、前記仮想内視鏡画像において出力した患部領域を表示済み領域として記録し、前記全体画像において、前記表示済み領域と、仮想内視鏡画像を出力していない未表示領域とを識別して出力することを要旨とする。 The invention according to claim 6 is the operation support system according to any one of claims 1 to 5, wherein the affected area output in the virtual endoscopic image is recorded as a displayed area, The gist is to identify and output the displayed area and the non-displayed area where the virtual endoscopic image is not output.
請求項７に記載の発明は、請求項１〜６のいずれか一つに記載の手術支援システムにおいて、前記仮想内視鏡カメラの視線方向の投影面において、前記患部領域の凹凸状態により表示されていない陰領域がある場合には、前記表示部に注意表示を出力することを要旨とする。 The invention described in claim 7 is the operation support system according to any one of claims 1 to 6, which is displayed by the uneven state of the affected area on the projection plane in the line-of-sight direction of the virtual endoscopic camera. When there is a shadow area that is not present, the gist is to output a caution display on the display unit.
請求項８に記載の発明は、請求項１〜７のいずれか一つに記載の手術支援システムにおいて、手術時に用いる内視鏡カメラの視点位置及び視線方向を取得し、手術時に用いる手術具の操作情報を取得して、前記手術具による処置済み領域を特定して記録し、前記内視鏡カメラの視点位置及び視線方向に基づいて、前記３次元モデルにおけるシミュレーション画像を生成し、前記処置済み領域を前記シミュレーション画像において表示することを要旨とする。 According to an eighth aspect of the present invention, in the surgical operation support system according to any one of the first to seventh aspects, the viewpoint position and the line-of-sight direction of the endoscope camera used at the time of operation are acquired, and the surgical instrument used at the time of the operation is obtained. Acquire operation information, specify and record the treated region by the surgical tool, generate a simulation image in the three-dimensional model based on the viewpoint position and the line-of-sight direction of the endoscopic camera, The gist is to display the region in the simulation image.
請求項９に記載の発明は、体内器官の内部画像に基づいて、器官形状と、前記体内器官の内部空間の表面に存在する患部領域についての３次元モデルを記憶する３次元モデルデータ記憶部と、表示部に接続された制御部とを備えた手術支援システムを用いて、手術支援を実行する方法であって、前記制御部が、前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力することを要旨とする。 The invention according to claim 9 is a three-dimensional model data storage unit for storing a three-dimensional model of an organ shape and an affected area existing on the surface of the internal space of the internal organ based on an internal image of the internal organ. A method for performing surgical support using a surgical support system including a control unit connected to a display unit, wherein the control unit stores a three-dimensional model recorded in the three-dimensional model data storage unit. A projection plane is identified based on a viewpoint position and a line-of-sight direction of a virtual endoscopic camera in a virtual three-dimensional space including the whole image displaying the viewpoint position and the line-of-sight direction with respect to the three-dimensional model; and The gist is to output a simulation image including a virtual endoscopic image of the surface of the internal space of the projected three-dimensional model to the display unit.
請求項１０に記載の発明は、体内器官の内部画像に基づいて、器官形状と、前記体内器官の内部空間の表面に存在する患部領域についての３次元モデルを記憶する３次元モデルデータ記憶部と、表示部に接続された制御部とを備えた手術支援システムを用いて、手術支援を実行するためのプログラムであって、前記制御部を、前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力する手段として機能させることを要旨とする。 The invention according to claim 10 is a three-dimensional model data storage unit for storing a three-dimensional model of an organ shape and an affected area existing on the surface of the internal space of the internal organ based on an internal image of the internal organ. A program for performing surgery support using a surgery support system including a control unit connected to a display unit, wherein the control unit is recorded in the three-dimensional model data storage unit. An entire image in which a projection plane is specified based on a viewpoint position and a line-of-sight direction of a virtual endoscopic camera in a virtual three-dimensional space including a model, and the viewpoint position and line-of-sight direction are displayed on the three-dimensional model; and the projection A function of outputting a simulation image including a virtual endoscopic image of the surface of the internal space of the three-dimensional model projected onto a surface to the display unit To.
（作用）
請求項１、９又は１０に記載の発明によれば、仮想内視鏡カメラの位置を特定する全体画像と、仮想内視鏡により撮影された仮想内視鏡画像を出力するので、仮想内視鏡カメラの位置を確認しながら、体内器官内に広がった患部を効率的に観察することができる。
(Function)
According to the invention described in claim 1, 9 or 10, since the entire image for specifying the position of the virtual endoscope camera and the virtual endoscope image taken by the virtual endoscope are output, the virtual endoscope While confirming the position of the mirror camera, it is possible to efficiently observe the affected area that has spread into the internal organs.
請求項２に記載の発明によれば、３次元モデルの中心軸において投影面中心を設定するので、投影面において３次元モデルからの飛び出しを抑制することができる。
請求項３に記載の発明によれば、内部空間にある患部を的確に観察することができる。
According to the second aspect of the invention, since the center of the projection plane is set on the central axis of the three-dimensional model, it is possible to suppress the projection from the three-dimensional model on the projection plane.
According to invention of Claim 3, the affected part in internal space can be observed exactly.
請求項４に記載の発明によれば、実際の内視鏡画像に近い陰影画像で患部状態を観察するとともに、患部の凹凸状態を線画像により確認することができる。
請求項５に記載の発明によれば、患部の状態に応じて、陰影画像と線画像とを使い分けることができる。
According to the fourth aspect of the present invention, it is possible to observe the affected area state with a shadow image close to an actual endoscopic image and to confirm the uneven state of the affected area with a line image.
According to invention of Claim 5, according to the state of an affected part, a shadow image and a line image can be used properly.
請求項６に記載の発明によれば、表示済み領域と未表示領域とを識別できるので、確認漏れを抑制することができる。
請求項７に記載の発明によれば、視点から確認できていない領域がある場合には注意喚起することができる。
According to the invention described in claim 6, since the displayed area and the undisplayed area can be identified, omission of confirmation can be suppressed.
According to the seventh aspect of the present invention, when there is a region that cannot be confirmed from the viewpoint, it is possible to call attention.
請求項８に記載の発明によれば、実際の内視鏡画像と、３次元モデルによるシミュレーション画像とを比較しながら手術を行なうことができる。特に、内視鏡カメラの周囲が患部で囲まれている場合、視界が悪くなるが、シミュレーション画像により、状態を確認しながら、手術を行なうことができる。 According to the invention described in claim 8, it is possible to perform an operation while comparing an actual endoscopic image and a simulation image based on a three-dimensional model. In particular, when the periphery of the endoscopic camera is surrounded by an affected area, the field of view deteriorates, but surgery can be performed while confirming the state from a simulation image.
本発明によれば、体内器官の内部に存在する患部の状態を術前に確認し、円滑な手術を支援するための手術支援システム、手術支援方法及び手術支援プログラムを提供することができる。 According to the present invention, it is possible to provide a surgery support system, a surgery support method, and a surgery support program for confirming the state of an affected part existing inside a body organ before surgery and for supporting smooth surgery.
以下、本発明を具体化した一実施形態を、図１〜図１０に従って説明する。本実施形態では、骨の内部に生じた患部に対して行なう手術を支援する場合を想定する。
具体的には、図１０に示すように、腕骨格（体内器官）は、上腕骨５１、橈骨５２、尺骨５３により構成されている。そして、上腕骨５１の骨頭部５１１内が空洞化し、液体が溜まった患部（骨嚢腫５１２）が生じている場合を想定する。この場合、掻爬手術（患部の対する処置）において、骨嚢腫５１２内の嚢腫壁を削り、膜組織を掻爬する。このために、骨（５１、５２、５３）及び骨嚢腫５１２のＣＴ画像を生成し、このＣＴ画像により各構造の３次元モデルを生成する。そして、手術前に、この３次元モデルを用いて、仮想内視鏡を用いた３次元シミュレーションを行なう。更に、手術中には、実際の内視鏡により撮影された画像を用いて掻爬手術を支援する。
Hereinafter, an embodiment embodying the present invention will be described with reference to FIGS. In the present embodiment, a case is assumed in which an operation performed on an affected part inside a bone is supported.
Specifically, as shown in FIG. 10, the arm skeleton (internal organ) is composed of a humerus 51, a radius 52, and an ulna 53. Then, a case is assumed where the inside of the bone head 511 of the humerus 51 is hollowed out and an affected part (bone cyst 512) in which liquid is accumulated is generated. In this case, in curettage surgery (treatment of the affected area), the cyst wall in the bone cyst 512 is shaved and the membrane tissue is scraped. For this purpose, CT images of the bones (51, 52, 53) and the bone cyst 512 are generated, and a three-dimensional model of each structure is generated from the CT images. Before the operation, a three-dimensional simulation using a virtual endoscope is performed using the three-dimensional model. Furthermore, during surgery, curettage surgery is supported using images taken with an actual endoscope.
本実施形態では、図１に示す手術支援システム２０を用いる。この手術支援システム２０は、手術前のシミュレーションを行なうとともに、手術中には掻爬術を支援するコンピュータ装置である。 In this embodiment, the surgery support system 20 shown in FIG. 1 is used. The surgery support system 20 is a computer device that performs simulation before surgery and supports curettage during surgery.
図１に示すように、この手術支援システム２０は、入力部１０、表示部１５に接続されている。入力部１０は、キーボードやポインティングデバイス等、各種指示を入力するために用いられる。また、表示部１５は、ディスプレイ等、情報処理結果を出力するために用いられる。 As shown in FIG. 1, the surgery support system 20 is connected to an input unit 10 and a display unit 15. The input unit 10 is used for inputting various instructions such as a keyboard and a pointing device. The display unit 15 is used to output information processing results such as a display.
更に、手術支援システム２０は、手術室に設置された内視鏡装置３０、シェーバー操作装置４０に接続されている。
内視鏡装置３０は、遠隔操作により、体内器官を観察するための装置である。この内視鏡装置３０は、マニピュレータにより、内視鏡カメラの位置や、撮影方向を制御することが可能であり、この位置や撮影方向（視点方向）に関する情報を、手術支援システム２０に供給する。
Further, the surgery support system 20 is connected to an endoscope device 30 and a shaver operation device 40 installed in the operating room.
The endoscope apparatus 30 is an apparatus for observing a body organ by remote control. The endoscope apparatus 30 can control the position of the endoscopic camera and the imaging direction with a manipulator, and supplies information regarding the position and the imaging direction (viewpoint direction) to the surgery support system 20. .
シェーバー操作装置４０は、遠隔操作されたマニピュレータを駆動して、手術具（シェーバー）により、患部を処置（掻爬）するための手術補助ロボットである。このシェーバー操作装置４０は、患部を掻爬するシェーバーの位置を制御することが可能であり、この位置に関する情報を、手術支援システム２０に供給する。 The shaver operating device 40 is a surgical assisting robot for driving a remotely operated manipulator and treating (curetting) an affected area with a surgical tool (shaver). The shaver operating device 40 can control the position of the shaver that scrapes the affected area, and supplies information related to the position to the surgery support system 20.
この手術支援システム２０は、制御部２１、ＣＴ画像データ記憶部２２、３次元モデルデータ記憶部２３、手術支援データ記憶部２４を備えている。
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成された制御手段として機能し、後述する処理（画像取込段階、表示管理段階、全体画像制御段階、内視鏡画像制御段階、手術支援段階、操作情報管理段階、内視鏡管理段階等を含む処理）を行なう。このための手術支援プログラムを実行することにより、制御部２１は、画像取込部２１１、表示管理部２１２、全体画像制御部２１３、内視鏡画像制御部２１４、手術支援部２１５、シェーバー管理部２１６、内視鏡管理部２１７等として機能する。
The surgery support system 20 includes a control unit 21, a CT image data storage unit 22, a three-dimensional model data storage unit 23, and a surgery support data storage unit 24.
The control unit 21 functions as a control unit including a CPU, a RAM, a ROM, and the like, and processes (image capture stage, display management stage, overall image control stage, endoscopic image control stage, surgery support stage, Processing including an operation information management stage and an endoscope management stage). By executing a surgery support program for this purpose, the control unit 21 is configured to have an image capture unit 211, a display management unit 212, an overall image control unit 213, an endoscopic image control unit 214, a surgery support unit 215, and a shaver management unit. 216, the endoscope management unit 217, and the like.
画像取込部２１１は、患部のＸ線ＣＴ画像を取得し、３次元シミュレーションに用いる３次元モデルを生成する処理を実行する。本実施形態では、上腕骨５１、橈骨５２、尺骨５３、骨嚢腫５１２の３次元モデルを生成する。 The image capturing unit 211 acquires an X-ray CT image of the affected part and executes a process for generating a three-dimensional model used for the three-dimensional simulation. In the present embodiment, a three-dimensional model of the humerus 51, the radius 52, the ulna 53, and the bone cyst 512 is generated.
表示管理部２１２は、３次元モデルを用いて、仮想内視鏡カメラの視点位置や投影面を特定して、射影変換により手術のシミュレーション画像を生成する処理を実行する。
全体画像制御部２１３は、３次元シミュレーションにおいて、手術対象の３次元モデル（骨格や骨嚢腫）や仮想内視鏡の視点や視野領域を示す画像を出力する処理を実行する。
The display management unit 212 uses the three-dimensional model to specify the viewpoint position and projection plane of the virtual endoscopic camera, and executes a process of generating a surgical simulation image by projective transformation.
In the three-dimensional simulation, the whole image control unit 213 executes processing for outputting a three-dimensional model (skeleton or bone cyst) to be operated and an image showing the viewpoint and field of view of the virtual endoscope.
内視鏡画像制御部２１４は、３次元シミュレーションにおいて、仮想内視鏡カメラにより撮影された画像を出力する処理を実行する。本実施形態では、陰影画像と線画像とを切り換えながら表示する。 The endoscopic image control unit 214 executes processing for outputting an image photographed by the virtual endoscopic camera in the three-dimensional simulation. In the present embodiment, display is performed while switching between a shadow image and a line image.
手術支援部２１５は、手術時に処置すべき患部領域を特定して手術を支援する処理を実行する。
シェーバー管理部２１６は、手術室に設置されたシェーバー操作装置４０から、シェーバーの操作情報を取得して、シェーバーの動きに基づいて、患部の処置済み領域を特定する処理を実行する。
内視鏡管理部２１７は、内視鏡装置３０のカメラにより撮影された領域を特定する処理を実行する。
The surgery support unit 215 executes a process of identifying the affected area to be treated at the time of surgery and supporting the surgery.
The shaver management unit 216 acquires shaver operation information from the shaver operating device 40 installed in the operating room, and executes processing for specifying a treated region of the affected part based on the movement of the shaver.
The endoscope management unit 217 executes processing for specifying an area photographed by the camera of the endoscope apparatus 30.
ＣＴ画像データ記憶部２２には、手術対象の患部の各断面を撮影したＣＴ画像データが記録される。このＣＴ画像データは、コンピュータ断層撮影（ＣＴ：Computed Tomography ）処理を行なうことにより撮影された画像データが登録された場合に記録される。ＣＴ画像データは、放射線などを利用して物体を走査しコンピュータを用いて処理した物体の内部画像であり、医用画像のフォーマット（ＤＩＣＯＭ：Digital Imaging and COmmunication in Medicine ）により記録される。 The CT image data storage unit 22 records CT image data obtained by imaging each cross section of the affected area to be operated. This CT image data is recorded when image data captured by performing computed tomography (CT) processing is registered. CT image data is an internal image of an object scanned with radiation and processed using a computer, and is recorded in a medical image format (DICOM: Digital Imaging and Communication in Medicine).
３次元モデルデータ記憶部２３には、ＣＴ画像データに基づいて生成された３次元モデルが記録される。この３次元モデルは、ＣＴ画像から３次元モデル化を行なった場合に記録される。 A three-dimensional model generated based on CT image data is recorded in the three-dimensional model data storage unit 23. This three-dimensional model is recorded when three-dimensional modeling is performed from a CT image.
手術支援データ記憶部２４には、患部の３次元モデルにおいて、シミュレーションに用いた各種データが記録される。本実施形態では、仮想内視鏡のカメラの視野角、挿入位置に関するデータ、骨嚢腫の内部表面において観察された領域を特定するための情報が記録される。また、手術中には、３次元モデルにおいて、シェーバーが骨嚢腫５１２の膜組織を掻爬した領域を特定する情報（座標）が記録される。 In the surgery support data storage unit 24, various data used for the simulation in the three-dimensional model of the affected part are recorded. In this embodiment, the viewing angle of the camera of the virtual endoscope, data on the insertion position, and information for specifying the region observed on the internal surface of the bone cyst are recorded. Further, during the operation, information (coordinates) that identifies the region where the shaver scraped the membrane tissue of the bone cyst 512 in the three-dimensional model is recorded.
次に、図２〜図７を用いて、上記のように構成された手術支援システム２０において、骨嚢腫に対する手術を支援する処理手順について説明する。
（内視鏡シミュレーション処理）
まず、図２を用いて、内視鏡シミュレーション処理を説明する。この処理は、手術前に、内視鏡カメラにより撮影される画像をシミュレーションする。ここでは、患者の患部のコンピュータ断層撮影処理を行ない、ＤＩＣＯＭフォーマットによりＣＴ画像を作成し、手術支援システム２０の記憶部（ハードディスク等）や記憶媒体に保存する。そして、手術支援システム２０の手術支援プログラムを起動する。
Next, with reference to FIG. 2 to FIG. 7, a processing procedure for supporting a surgery for a bone cyst in the surgery support system 20 configured as described above will be described.
(Endoscope simulation process)
First, an endoscope simulation process will be described with reference to FIG. This process simulates an image taken by the endoscope camera before surgery. Here, computer tomography processing of the affected area of the patient is performed, a CT image is created in the DICOM format, and stored in a storage unit (such as a hard disk) or a storage medium of the surgery support system 20. Then, the surgery support program of the surgery support system 20 is activated.
この場合、手術支援システム２０の制御部２１は、Ｘ線ＣＴ画像の取込処理を実行する（ステップＳ１−１）。具体的には、制御部２１の画像取込部２１１は、表示部１５に、処理対象を撮影したＣＴ画像を指定するための画像指定画面を出力する。ここで、画像指定画面を用いて、手術支援システム２０の記憶部（ハードディスク等）や記憶媒体内に記録された評価対象のＣＴ画像を指定する。この場合、画像取込部２１１は、指定された記憶領域に格納されたＣＴ画像を取得し、ＣＴ画像データ記憶部２２に登録する。 In this case, the control unit 21 of the surgery support system 20 executes an X-ray CT image capturing process (step S1-1). Specifically, the image capturing unit 211 of the control unit 21 outputs an image designation screen for designating a CT image obtained by photographing the processing target to the display unit 15. Here, the CT image to be evaluated recorded in the storage unit (hard disk or the like) or storage medium of the surgery support system 20 is specified using the image designation screen. In this case, the image capturing unit 211 acquires the CT image stored in the designated storage area and registers it in the CT image data storage unit 22.
次に、手術支援システム２０の制御部２１は、３次元モデル生成処理を実行する（ステップＳ１−２）。具体的には、制御部２１の画像取込部２１１は、公知の方法を用いて、ＤＩＣＯＭフォーマットのＣＴ画像から、サーフェスデータ（メッシュソリッド表現ファイル形式）を生成する。そして、画像取込部２１１は、このサーフェスデータを用いて、上腕骨５１、橈骨５２、尺骨５３の３次元モデルを生成し、３次元モデルデータ記憶部２３に記録する。 Next, the control unit 21 of the surgery support system 20 executes a three-dimensional model generation process (step S1-2). Specifically, the image capturing unit 211 of the control unit 21 generates surface data (mesh solid representation file format) from a DICOM format CT image using a known method. Then, the image capturing unit 211 generates a three-dimensional model of the humerus 51, the radius 52, and the ulna 53 using the surface data, and records it in the three-dimensional model data storage unit 23.
次に、手術支援システム２０の制御部２１は、患部領域の特定処理を実行する（ステップＳ１−３）。具体的には、制御部２１の画像取込部２１１は、３次元モデルデータ記憶部２３に記録された上腕骨５１の３次元モデルの内部において、骨内部の空洞領域を骨嚢腫５１２（患部領域）として特定する。そして、画像取込部２１１は、骨嚢腫５１２についての３次元モデルを生成し、３次元モデルデータ記憶部２３に記録する。 Next, the control unit 21 of the surgery support system 20 executes an affected area identification process (step S1-3). Specifically, the image capturing unit 211 of the control unit 21 converts the hollow region inside the bone into a bone cyst 512 (affected region) within the three-dimensional model of the humerus 51 recorded in the three-dimensional model data storage unit 23. ). Then, the image capturing unit 211 generates a three-dimensional model for the bone cyst 512 and records it in the three-dimensional model data storage unit 23.
次に、手術支援システム２０の制御部２１は、中心軸の特定処理を実行する（ステップＳ１−４）。具体的には、制御部２１の表示管理部２１２は、特定した骨嚢腫５１２の３次元モデルにおいて中心軸を特定する。ここでは、骨嚢腫５１２の輪郭線からの距離が釣り合う点の集合を生成する中心軸変換により、患部領域（骨嚢腫５１２）の中心軸を生成する。そして、表示管理部２１２は、特定した中心軸の位置情報を手術支援データ記憶部２４に仮記憶する。 Next, the control unit 21 of the surgery support system 20 executes a center axis specifying process (step S1-4). Specifically, the display management unit 212 of the control unit 21 identifies the central axis in the identified three-dimensional model of the bone cyst 512. Here, the central axis of the affected area (the bone cyst 512) is generated by central axis conversion that generates a set of points where the distance from the contour line of the bone cyst 512 is balanced. Then, the display management unit 212 temporarily stores the specified position information of the central axis in the surgery support data storage unit 24.
次に、手術支援システム２０の制御部２１は、内視鏡カメラの挿入孔の特定処理を実行する（ステップＳ１−５）。具体的には、制御部２１の表示管理部２１２は、３次元モデルデータ記憶部２３に記録された上腕骨５１、橈骨５２、尺骨５３の３次元モデル画像を表示部１５に出力する。この場合、ユーザは、入力部１０を用いて、表示部１５の３次元モデル画像において、上腕骨５１の表面上に仮想内視鏡カメラの挿入位置と挿入方向を指定する。この場合、制御部２１の表示管理部２１２は、指定された挿入位置と挿入方向を手術支援データ記憶部２４に仮記憶する。 Next, the control unit 21 of the surgery support system 20 performs an insertion hole specifying process for the endoscope camera (step S1-5). Specifically, the display management unit 212 of the control unit 21 outputs a 3D model image of the humerus 51, the radius 52, and the ulna 53 recorded in the 3D model data storage unit 23 to the display unit 15. In this case, the user uses the input unit 10 to specify the insertion position and the insertion direction of the virtual endoscopic camera on the surface of the humerus 51 in the three-dimensional model image of the display unit 15. In this case, the display management unit 212 of the control unit 21 temporarily stores the designated insertion position and insertion direction in the surgery support data storage unit 24.
次に、手術支援システム２０の制御部２１は、投影面中心の特定処理を実行する（ステップＳ１−６）。具体的には、制御部２１の表示管理部２１２は、骨嚢腫５１２の中心軸上の任意の点（座標）を投影面中心として特定する。この場合、例えば、中心軸線の端部の座標や、内視鏡カメラの挿入孔に最も近い中心軸上の座標を、投影面中心の初期設定位置として特定する。そして、表示管理部２１２は、投影面中心の座標を、手術支援データ記憶部２４に仮記憶する。なお、この投影面中心は、中心軸において初期設定位置から所定の間隔で複数、設定することも可能である。また、入力部１０を用いて、中心軸上にない座標を特定することも可能である。 Next, the control unit 21 of the surgery support system 20 executes a projection plane center specifying process (step S1-6). Specifically, the display management unit 212 of the control unit 21 specifies an arbitrary point (coordinate) on the central axis of the bone cyst 512 as the projection plane center. In this case, for example, the coordinates of the end of the central axis and the coordinates on the central axis closest to the insertion hole of the endoscope camera are specified as the initial setting position of the projection plane center. Then, the display management unit 212 temporarily stores the coordinates of the projection plane center in the surgery support data storage unit 24. Note that a plurality of projection plane centers can be set at predetermined intervals from the initial setting position on the central axis. It is also possible to specify coordinates that are not on the central axis using the input unit 10.
次に、手術支援システム２０の制御部２１は、投影面のサイズの特定処理を実行する（ステップＳ１−７）。具体的には、制御部２１の表示管理部２１２は、特定した投影面中心を中心とする球体を生成する。この場合、表示管理部２１２は、球体のサイズとして、患部領域（骨嚢腫５１２）の３次元モデルから外に出ない大きさとする。そして、表示管理部２１２は、最大サイズの球体に含まれる投影面のサイズを特定して、手術支援データ記憶部２４に仮記憶する。これにより、特定した投影面中心を中心として視線方向を任意に変更した場合にも、患部領域の３次元モデルから外に出ない投影面を生成することができる。 Next, the control unit 21 of the surgery support system 20 executes a projection plane size specifying process (step S1-7). Specifically, the display management unit 212 of the control unit 21 generates a sphere centered on the specified projection plane center. In this case, the display management unit 212 sets the size of the sphere so that it does not go out of the three-dimensional model of the affected area (bone cyst 512). Then, the display management unit 212 specifies the size of the projection plane included in the maximum size sphere, and temporarily stores it in the surgery support data storage unit 24. Thereby, even when the line-of-sight direction is arbitrarily changed around the specified projection plane center, a projection plane that does not go out of the three-dimensional model of the affected area can be generated.
次に、手術支援システム２０の制御部２１は、視点の位置操作処理を実行する（ステップＳ１−８）。具体的には、ユーザは、入力部１０を用いて、視点の位置を移動させる。この場合、制御部２１の表示管理部２１２は、入力部１０において操作された視点位置（座標）を特定する。 Next, the control unit 21 of the surgery support system 20 executes viewpoint position operation processing (step S1-8). Specifically, the user uses the input unit 10 to move the viewpoint position. In this case, the display management unit 212 of the control unit 21 specifies the viewpoint position (coordinates) operated on the input unit 10.
次に、手術支援システム２０の制御部２１は、視点移動に伴う投影面の特定処理を実行する（ステップＳ１−９）。具体的には、制御部２１の表示管理部２１２は、特定された視点位置から投影面中心に対する視線方向を特定する。次に、表示管理部２１２は、投影面中心を中心として、視線方向に垂直な面を投影面として特定する。この場合、表示管理部２１２は、視線方向に対する内視鏡カメラの視野角に基づいて、投影面の大きさを規定する。 Next, the control unit 21 of the surgery support system 20 executes a projection plane specifying process associated with the viewpoint movement (step S1-9). Specifically, the display management unit 212 of the control unit 21 specifies the line-of-sight direction with respect to the projection plane center from the specified viewpoint position. Next, the display management unit 212 specifies a plane perpendicular to the line-of-sight direction as the projection plane centered on the projection plane center. In this case, the display management unit 212 defines the size of the projection plane based on the viewing angle of the endoscope camera with respect to the viewing direction.
次に、図３に示すように、手術支援システム２０の制御部２１は、全体画像の出力処理を実行する（ステップＳ１−１０）。具体的には、制御部２１の表示管理部２１２は、表示部１５に、全体図表示エリア７０１と内視鏡表示エリア７０２とを備えたシミュレーション画面を出力する。この全体図表示エリア７０１は全体画像を出力するための画面領域である。一方、内視鏡表示エリア７０２は、仮想内視鏡により撮影された画像を出力するための画面領域である。 Next, as illustrated in FIG. 3, the control unit 21 of the surgery support system 20 executes an entire image output process (step S <b> 1-10). Specifically, the display management unit 212 of the control unit 21 outputs a simulation screen including an overall view display area 701 and an endoscope display area 702 on the display unit 15. This overall view display area 701 is a screen area for outputting the entire image. On the other hand, the endoscope display area 702 is a screen area for outputting an image photographed by the virtual endoscope.
そして、全体画像制御部２１３は、３次元モデルデータ記憶部２３に記録された骨嚢腫５１２の３次元モデルを仮想３次元空間に配置し、骨嚢腫５１２の全体を観察可能な視点、投影面において投影変換した画像（全体図）を出力する。更に、全体画像制御部２１３は、仮想内視鏡カメラの位置（空間定位）を全体図表示エリア７０１に出力する。この場合、上腕骨５１、橈骨５２、尺骨５３の３次元モデルの輪郭を半透明にすることにより、骨内部の患部（骨嚢腫５１２）を表示させる。更に、全体画像制御部２１３は、骨嚢腫の中心軸線を表示する。そして、全体画像制御部２１３は、手術支援データ記憶部２４に記録された視点、投影面中心、投影面、視線方向を表したワイヤーフレームモデルを３次元モデル画像に重畳させて出力する。 Then, the entire image control unit 213 arranges the three-dimensional model of the bone cyst 512 recorded in the three-dimensional model data storage unit 23 in the virtual three-dimensional space, and at the viewpoint and projection plane where the entire bone cyst 512 can be observed. Output the projected image (overall view). Further, the overall image control unit 213 outputs the position (spatial localization) of the virtual endoscopic camera to the overall view display area 701. In this case, the affected part (bone cyst 512) inside the bone is displayed by making the outline of the three-dimensional model of the humerus 51, the radius 52, and the ulna 53 translucent. Further, the overall image control unit 213 displays the central axis of the bone cyst. Then, the overall image control unit 213 superimposes the wire frame model representing the viewpoint, projection center, projection plane, and line-of-sight direction recorded in the surgery support data storage unit 24 on the three-dimensional model image and outputs it.
ここで、図４を用いて、内視鏡表示エリア７０２に表示される視点と投影面との関係を説明する。ここでは、上腕骨５１内の骨嚢腫５１２において、中心軸６０１が表示される。そして、視点６０２から投影面中心６０３への視線方向が規定される。また、視点６０２と投影面中心６０３との距離、及び仮想内視鏡カメラの視野角により投影面６０４が決まる。そして、視点６０２、投影面６０４による投射変換により決まるビューボリュームに含まれる骨嚢腫５１２の内部表面を、投影面６０４において観察することができる。 Here, the relationship between the viewpoint displayed in the endoscope display area 702 and the projection plane will be described with reference to FIG. Here, the central axis 601 is displayed in the bone cyst 512 in the humerus 51. A line-of-sight direction from the viewpoint 602 to the projection plane center 603 is defined. Further, the projection plane 604 is determined by the distance between the viewpoint 602 and the projection plane center 603 and the viewing angle of the virtual endoscopic camera. Then, the internal surface of the bone cyst 512 included in the view volume determined by the projection conversion by the viewpoint 602 and the projection plane 604 can be observed on the projection plane 604.
更に、手術支援システム２０の制御部２１は、内視鏡画像の出力処理を実行する（ステップＳ１−１１）。具体的には、制御部２１の内視鏡画像制御部２１４は、仮想内視鏡のカメラ（視点）から観察し、患部領域（骨嚢腫）の内部表面を投影面に対して射影表示させた画像を、内視鏡表示エリア７０２に出力する。 Further, the control unit 21 of the surgery support system 20 executes an endoscopic image output process (step S1-11). Specifically, the endoscopic image control unit 214 of the control unit 21 observes from the camera (viewpoint) of the virtual endoscope and projects the internal surface of the affected area (bone cyst) onto the projection plane. The image is output to the endoscope display area 702.
更に、手術支援システム２０の制御部２１は、観察領域の記録処理を実行する（ステップＳ１−１２）。具体的には、制御部２１の内視鏡画像制御部２１４は、内視鏡表示エリア７０２に出力された患部の表面領域（表示済み領域）を特定する情報（座標）を手術支援データ記憶部２４に記録する。 Further, the control unit 21 of the surgery support system 20 executes observation region recording processing (step S1-12). Specifically, the endoscopic image control unit 214 of the control unit 21 stores information (coordinates) specifying the surface area (displayed area) of the affected part output to the endoscope display area 702 as a surgery support data storage unit. 24.
次に、手術支援システム２０の制御部２１は、既に表示した領域の識別処理を実行する（ステップＳ１−１３）。具体的には、制御部２１の全体画像制御部２１３は、手術支援データ記憶部２４に記録された表面領域（表示済み領域）について、全体図像において、未表示領域と識別できるように配色を変更する。 Next, the control part 21 of the surgery assistance system 20 performs the identification process of the area | region already displayed (step S1-13). Specifically, the overall image control unit 213 of the control unit 21 changes the color scheme of the surface area (displayed area) recorded in the surgery support data storage unit 24 so that it can be identified as an undisplayed area in the overall image. To do.
更に、手術支援システム２０の制御部２１は、画像切換処理を実行する（ステップＳ１−１４）。具体的には、制御部２１の表示管理部２１２は、所定の画面切換条件の下に、全体画像制御部２１３、内視鏡画像制御部２１４に対して、患部領域について陰影画像から線画像への切換指示を供給する。本実施形態では、画面切換条件としては、予め定められた時間間隔を用いる。 Furthermore, the control part 21 of the surgery assistance system 20 performs an image switching process (step S1-14). Specifically, the display management unit 212 of the control unit 21 changes the shadow image from the shadow image to the line image with respect to the entire image control unit 213 and the endoscope image control unit 214 under a predetermined screen switching condition. The switching instruction is supplied. In the present embodiment, a predetermined time interval is used as the screen switching condition.
図５には、シミュレーション画面において、光の角度と光源からの距離を考慮して色を変化させるシェーディングにより加工された陰影画像が表示されている。
図６には、図５の陰影画像に対応する線画像が表示されている。この線画像においては、形態の変化が大きい領域や、視線方向に対して傾斜が大きい領域は、メッシュが小さく表示される。一方、形態の変化が小さく、視線方向に対して直交に近い領域は、メッシュが大きく表示される。
FIG. 5 shows a shadow image processed by shading that changes the color in consideration of the angle of light and the distance from the light source on the simulation screen.
In FIG. 6, a line image corresponding to the shaded image in FIG. 5 is displayed. In this line image, an area having a large change in shape and an area having a large inclination with respect to the line-of-sight direction are displayed with a small mesh. On the other hand, a mesh is displayed large in a region where the change in form is small and the region is nearly orthogonal to the viewing direction.
（手術中の支援処理）
次に、図７を用いて、手術中の支援処理を説明する。この処理では、手術中に内視鏡の操作とシェーバーの操作とに基づいて、患部に対する処置（掻爬）状況を出力する。ここでは、患者の骨格と、３次元モデルデータ記憶部２３に記録された３次元モデルとの位置合わせを行なう。この場合、例えば、患部に設けたマーカーや挿入孔の位置をトラッキングすることにより、実際の骨格位置と３次元モデルの位置とを同期させる。
(Support processing during surgery)
Next, the support process during the operation will be described with reference to FIG. In this process, the treatment (curettage) status for the affected area is output based on the operation of the endoscope and the operation of the shaver during the operation. Here, the patient's skeleton and the 3D model recorded in the 3D model data storage unit 23 are aligned. In this case, for example, the actual skeleton position and the position of the three-dimensional model are synchronized by tracking the position of the marker or insertion hole provided in the affected area.
そして、手術支援システム２０の制御部２１は、シェーバー操作状況の取得処理を実行する（ステップＳ２−１）。具体的には、制御部２１のシェーバー管理部２１６は、シェーバー操作装置４０から、シェーバーの位置情報を取得する。 And the control part 21 of the surgery assistance system 20 performs the acquisition process of a shaver operation condition (step S2-1). Specifically, the shaver management unit 216 of the control unit 21 acquires shaver position information from the shaver operating device 40.
次に、手術支援システム２０の制御部２１は、掻爬領域の特定処理を実行する（ステップＳ２−２）。具体的には、制御部２１のシェーバー管理部２１６は、シェーバー操作装置４０から取得した位置情報に基づいて、骨嚢腫５１２の３次元モデルにおける位置を特定する。そして、シェーバー管理部２１６は、シェーバーが骨嚢腫５１２の輪郭位置にある場合には、膜組織を掻爬していると判定する。 Next, the control unit 21 of the surgery support system 20 executes a curettage area specifying process (step S2-2). Specifically, the shaver management unit 216 of the control unit 21 specifies the position of the bone cyst 512 in the three-dimensional model based on the position information acquired from the shaver operation device 40. Then, when the shaver is at the contour position of the bone cyst 512, the shaver management unit 216 determines that the membrane tissue is curbed.
次に、手術支援システム２０の制御部２１は、掻爬領域の記録処理を実行する（ステップＳ２−３）。具体的には、制御部２１のシェーバー管理部２１６は、シェーバーが骨嚢腫５１２の膜組織を掻爬した領域を特定する情報（座標）を、手術支援データ記憶部２４に記録する。 Next, the control unit 21 of the surgery support system 20 executes a curettage region recording process (step S2-3). Specifically, the shaver management unit 216 of the control unit 21 records information (coordinates) specifying the region where the shaver has scraped the membrane tissue of the bone cyst 512 in the surgery support data storage unit 24.
また、手術支援システム２０の制御部２１は、内視鏡位置の特定処理を実行する（ステップＳ３−１）。具体的には、制御部２１の内視鏡管理部２１７は、内視鏡装置３０から、内視鏡カメラの位置情報と視線方向に関する情報を取得する。 Moreover, the control part 21 of the surgery assistance system 20 performs the specific process of an endoscope position (step S3-1). Specifically, the endoscope management unit 217 of the control unit 21 acquires information regarding the position information and the line-of-sight direction of the endoscope camera from the endoscope device 30.
次に、手術支援システム２０の制御部２１は、内視鏡画像の表示処理を実行する（ステップＳ３−２）。具体的には、制御部２１の内視鏡管理部２１７は、内視鏡装置３０から、内視鏡カメラにより撮影された実画像を取得する。そして、内視鏡管理部２１７は、手術室内に設置された表示部１５に、内視鏡装置３０から取得した実画像を出力する。 Next, the control unit 21 of the surgery support system 20 executes an endoscopic image display process (step S3-2). Specifically, the endoscope management unit 217 of the control unit 21 acquires an actual image captured by the endoscope camera from the endoscope device 30. And the endoscope management part 217 outputs the real image acquired from the endoscope apparatus 30 to the display part 15 installed in the operating room.
次に、手術支援システム２０の制御部２１は、視点、視線方向の特定処理を実行する（ステップＳ３−３）。具体的には、制御部２１の手術支援部２１５は、内視鏡装置３０から取得した内視鏡カメラの位置情報と視線方向に基づいて、仮想３次元空間内の位置（座標）及び視点方向を特定する。 Next, the control unit 21 of the surgery support system 20 executes the viewpoint and line-of-sight direction identification processing (step S3-3). Specifically, the surgery support unit 215 of the control unit 21 determines the position (coordinates) and the viewpoint direction in the virtual three-dimensional space based on the position information and the line-of-sight direction of the endoscope camera acquired from the endoscope apparatus 30. Is identified.
次に、手術支援システム２０の制御部２１は、シミュレーション画像の出力処理を実行する（ステップＳ３−４）。具体的には、制御部２１の手術支援部２１５は、表示管理部２１２に、仮想３次元空間内の位置（座標）及び視点方向についての情報を提供する。この場合、表示管理部２１２は、取得した視点、視線方向及び内視鏡カメラの視野角に基づいて、投影面を特定する。そして、ステップＳ１−１１、Ｓ１−１２と同様に、シミュレーション画像（全体画像、仮想内視鏡画像）の出力を行なう。 Next, the control unit 21 of the surgery support system 20 executes a simulation image output process (step S3-4). Specifically, the surgery support unit 215 of the control unit 21 provides the display management unit 212 with information on the position (coordinates) and the viewpoint direction in the virtual three-dimensional space. In this case, the display management unit 212 identifies the projection plane based on the acquired viewpoint, line-of-sight direction, and viewing angle of the endoscope camera. Then, similarly to steps S1-11 and S1-12, a simulation image (entire image, virtual endoscopic image) is output.
次に、手術支援システム２０の制御部２１は、掻爬領域の出力処理を実行する（ステップＳ３−５）。具体的には、制御部２１の手術支援部２１５は、手術支援データ記憶部２４に記録された掻爬領域の情報（座標）を取得する。そして、手術支援部２１５は、骨嚢腫５１２の３次元モデルにおいて、掻爬領域を特定する。そして、手術支援部２１５は、表示部に出力された全体画像、仮想内視鏡画像において、掻爬領域を識別できるように表示する。 Next, the control unit 21 of the surgery support system 20 executes a curettage region output process (step S3-5). Specifically, the surgery support unit 215 of the control unit 21 acquires information (coordinates) of the curettage region recorded in the surgery support data storage unit 24. Then, the surgery support unit 215 specifies a curettage region in the three-dimensional model of the bone cyst 512. Then, the surgery support unit 215 displays the curettage region in the entire image and virtual endoscopic image output to the display unit so that the curettage region can be identified.
次に、手術支援システム２０の制御部２１は、視野内に未掻爬領域があるかどうかについての判定処理を実行する（ステップＳ３−６）。具体的には、制御部２１の手術支援部２１５は、仮想３次元空間の３次元モデルにおいて、掻爬領域に含まれない未掻爬領域の有無を確認する。 Next, the control unit 21 of the surgery support system 20 performs a determination process as to whether or not there is an uncurved region in the visual field (step S3-6). Specifically, the surgery support unit 215 of the control unit 21 checks the presence or absence of an uncured region that is not included in the curettage region in the three-dimensional model of the virtual three-dimensional space.
未掻爬領域があると判定した場合（ステップＳ３−６において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、未掻爬の残存領域の表示処理を実行する（ステップＳ３−７）。具体的には、制御部２１の手術支援部２１５は、仮想３次元空間において特定した未掻爬領域を特定するための情報（座標）を取得する。そして、手術支援部２１５は、内視鏡装置３０から取得した実画像に対して、未掻爬領域の座標に、未掻爬領域を示す付加情報を重畳させて表示する。ここでは、実画像に対して、拡張現実技術（ＡＲ技術）を用いて出力する。未掻爬領域がないと判定した場合（ステップＳ３−６において「ＮＯ」の場合）、手術支援システム２０の制御部２１は、未掻爬の残存領域の表示処理（ステップＳ３−７）をスキップする。 When it is determined that there is an uncuretted area (in the case of “YES” in step S3-6), the control unit 21 of the surgery support system 20 performs a display process of an uncured remaining area (step S3-7). Specifically, the surgery support unit 215 of the control unit 21 acquires information (coordinates) for specifying the uncurved region specified in the virtual three-dimensional space. Then, the surgery support unit 215 superimposes and displays additional information indicating the uncurettage region on the coordinates of the uncurettage region on the actual image acquired from the endoscope device 30. Here, an actual image is output using augmented reality technology (AR technology). When it determines with there being no uncurettage area | region (in the case of "NO" in step S3-6), the control part 21 of the surgery assistance system 20 skips the display process (step S3-7) of the remaining area of uncurettage.
次に、手術支援システム２０の制御部２１は、陰領域があるかどうかについての判定処理を実行する（ステップＳ３−８）。具体的には、制御部２１の手術支援部２１５は、視点からのビューボリュームにおいて、骨嚢腫５１２の３次元モデル上で観察できない陰領域の有無を確認する。 Next, the control part 21 of the surgery assistance system 20 performs the determination process about whether there exists a shadow area (step S3-8). Specifically, the surgery support unit 215 of the control unit 21 confirms the presence or absence of a shadow region that cannot be observed on the three-dimensional model of the bone cyst 512 in the view volume from the viewpoint.
投影面に表示されていない陰領域があると判定した場合（ステップＳ３−８において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、陰領域について注意喚起処理を実行する（ステップＳ３−９）。具体的には、制御部２１の手術支援部２１５は、この陰領域の座標と、手術支援データ記憶部２４に記録された掻爬領域とを比較する。そして、手術支援部２１５は、比較結果に基づいて、未掻爬領域が残っているかどうかを判定する。そして、手術支援部２１５は、内視鏡装置３０から取得した実画像において陰領域の近傍に、観察できない領域があることを示すアイコンを出力する。このアイコンには、未掻爬領域の有無を示す情報を含める。 When it is determined that there is a shadow area that is not displayed on the projection plane (in the case of “YES” in step S3-8), the control unit 21 of the surgery support system 20 executes a warning process for the shadow area (step S3). -9). Specifically, the surgery support unit 215 of the control unit 21 compares the coordinates of the shadow region with the curettage region recorded in the surgery support data storage unit 24. Then, the surgery support unit 215 determines whether or not an uncurved region remains based on the comparison result. Then, the surgery support unit 215 outputs an icon indicating that there is a region that cannot be observed in the vicinity of the shadow region in the actual image acquired from the endoscope apparatus 30. This icon includes information indicating the presence / absence of an uncut region.
一方、陰領域がないと判定した場合（ステップＳ３−８において「ＮＯ」の場合）、手術支援システム２０の制御部２１は、陰領域について注意喚起処理（ステップＳ３−９）をスキップする。 On the other hand, when it determines with there being no shadow area | region (in the case of "NO" in step S3-8), the control part 21 of the surgery assistance system 20 skips alert processing (step S3-9) about a shadow area | region.
次に、手術支援システム２０の制御部２１は、視野以外に未掻爬領域があるかどうかについての判定処理を実行する（ステップＳ３−１０）。具体的には、制御部２１の手術支援部２１５は、視点からのビューボリューム以外の領域において、骨嚢腫５１２の３次元モデル上で未掻爬域の有無を確認する。 Next, the control part 21 of the surgery assistance system 20 performs the determination process about whether there exists an uncured area other than a visual field (step S3-10). Specifically, the surgery support unit 215 of the control unit 21 confirms the presence or absence of an uncut region on the three-dimensional model of the bone cyst 512 in a region other than the view volume from the viewpoint.
視野以外に未掻爬領域があると判定した場合（ステップＳ３−１０において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、未掻爬領域へのナビゲーション処理を実行する（ステップＳ３−１１）。具体的には、制御部２１の手術支援部２１５は、未掻爬域が存在する座標を特定する。そして、手術支援部２１５は、現在の投影面中心から未掻爬域が存在する座標の方向を特定する。そして、手術支援部２１５は、内視鏡装置３０から取得した実画像の表示画面において未掻爬域が存在する方向を特定し、この方向に、未掻爬領域があることを示すアイコン（ナビゲーション）を出力する。 When it is determined that there is an uncurettage region other than the visual field (in the case of “YES” in step S3-10), the control unit 21 of the surgery support system 20 executes a navigation process to the uncurettage region (step S3-11). ). Specifically, the surgery support unit 215 of the control unit 21 specifies coordinates where an uncurved area exists. Then, the surgery support unit 215 specifies the direction of coordinates where an uncurved area exists from the center of the current projection plane. Then, the surgery support unit 215 identifies the direction in which the uncurved area exists on the display screen of the actual image acquired from the endoscope apparatus 30, and displays an icon (navigation) indicating that the uncurved area exists in this direction. Output.
一方、視野以外に未掻爬領域がないと判定した場合（ステップＳ３−１０において「ＮＯ」の場合）、手術支援システム２０の制御部２１は、未掻爬領域へのナビゲーション処理（ステップＳ３−１１）をスキップする。
そして、手術支援システム２０の制御部２１は、手術中の支援処理の終了指示が入力されるまで、ステップＳ２−１、Ｓ３−１からの処理を繰り返す。
On the other hand, when it determines with there being no uncurettage area | regions other than a visual field (in the case of "NO" in step S3-10), the control part 21 of the surgery assistance system 20 performs the navigation process to an uncurettage area (step S3-11). To skip.
And the control part 21 of the surgery assistance system 20 repeats the process from step S2-1 and S3-1 until the completion | finish instruction | indication of the assistance process during a surgery is input.
本実施形態の手術支援システムによれば、以下のような効果を得ることができる。
（１）本実施形態では、手術支援システム２０の制御部２１は、全体画像の出力処理（ステップＳ１−１０）、内視鏡画像の出力処理（ステップＳ１−１１）を実行する。これにより、仮想３次元空間において内視鏡の視点位置を確認しながら、３次元モデルにおける患部状態を観察することができる。
According to the surgery support system of the present embodiment, the following effects can be obtained.
(1) In the present embodiment, the control unit 21 of the surgery support system 20 executes an overall image output process (step S1-10) and an endoscopic image output process (step S1-11). Thereby, it is possible to observe the affected part state in the three-dimensional model while confirming the viewpoint position of the endoscope in the virtual three-dimensional space.
（２）本実施形態では、手術支援システム２０の制御部２１は、中心軸の特定処理を実行する（ステップＳ１−４）。そして、手術支援システム２０の制御部２１は、投影面中心の特定処理を実行する（ステップＳ１−６）。中心軸を用いることにより、３次元モデルの輪郭から、できる限り遠い位置に投影面を設定することができる。これにより、体内器官の内部空間に患部がある場合においても、投影面の飛び出しを抑制しながら、患部の観察を行なうことができる。 (2) In this embodiment, the control part 21 of the surgery assistance system 20 performs the center axis | shaft specific process (step S1-4). And the control part 21 of the surgery assistance system 20 performs the specific process of the projection plane center (step S1-6). By using the central axis, the projection plane can be set at a position as far as possible from the outline of the three-dimensional model. Thereby, even when there is an affected part in the internal space of the internal organ, it is possible to observe the affected part while suppressing the projection of the projection surface.
（３）本実施形態では、手術支援システム２０の制御部２１は、撮影領域の記録処理を実行する（ステップＳ１−１２）。そして、手術支援システム２０の制御部２１は、既に表示した領域の識別処理を実行する（ステップＳ１−１３）。これにより、観察していない領域の発生を抑制することができる。 (3) In this embodiment, the control part 21 of the surgery assistance system 20 performs the imaging region recording process (step S1-12). And the control part 21 of the surgery assistance system 20 performs the identification process of the already displayed area | region (step S1-13). Thereby, generation | occurrence | production of the area | region which is not observed can be suppressed.
（４）本実施形態では、手術支援システム２０の制御部２１は、画像切換処理を実行する（ステップＳ１−１４）。これにより、全体の状況を実際の状態に近い陰影画像により観察するとともに、陰影画像では確認しにくい領域を線画像により確認することができる。 (4) In this embodiment, the control part 21 of the surgery assistance system 20 performs an image switching process (step S1-14). As a result, the entire situation can be observed with a shadow image close to the actual state, and an area that is difficult to confirm with the shadow image can be confirmed with the line image.
（５）本実施形態では、手術支援システム２０の制御部２１は、シェーバー操作状況の取得処理（ステップＳ２−１）、掻爬領域の特定処理（ステップＳ２−２）、掻爬領域の記録処理（ステップＳ２−３）を実行する。手術支援システム２０の制御部２１は、内視鏡位置の特定処理（ステップＳ３−１）、内視鏡画像の表示処理（ステップＳ３−２）、視点、視線方向の特定処理（ステップＳ３−３）、シミュレーション画像の出力処理（ステップＳ３−４）を実行する。そして、手術支援システム２０の制御部２１は、掻爬領域の出力処理を実行する（ステップＳ３−５）。これにより、仮想３次元空間の３次元モデルにおいて、掻爬領域を確認することができる。 (5) In this embodiment, the control unit 21 of the surgery support system 20 acquires the shaver operation status acquisition process (step S2-1), the curettage area specifying process (step S2-2), and the curettage area recording process (step S2-3) is executed. The control unit 21 of the surgery support system 20 includes an endoscope position specifying process (step S3-1), an endoscope image display process (step S3-2), and a viewpoint and line-of-sight direction specifying process (step S3-3). ), A simulation image output process (step S3-4) is executed. And the control part 21 of the surgery assistance system 20 performs the output process of a curettage area | region (step S3-5). Thereby, the curettage region can be confirmed in the three-dimensional model of the virtual three-dimensional space.
（６）本実施形態では、手術支援システム２０の制御部２１は、視野内に未掻爬領域があるかどうかについての判定処理を実行する（ステップＳ３−６）。未掻爬領域があると判定した場合（ステップＳ３−６において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、未掻爬の残存領域の表示処理を実行する（ステップＳ３−７）。これにより、内視鏡カメラで撮影した実画像において、未処置領域を確認することができる。 (6) In the present embodiment, the control unit 21 of the surgery support system 20 executes a determination process as to whether or not there is an uncurved region in the visual field (step S3-6). When it is determined that there is an uncuretted area (in the case of “YES” in step S3-6), the control unit 21 of the surgery support system 20 performs a display process of an uncured remaining area (step S3-7). Thereby, it is possible to confirm the untreated area in the actual image taken by the endoscope camera.
（７）本実施形態では、手術支援システム２０の制御部２１は、陰領域があるかどうかについての判定処理を実行する（ステップＳ３−８）。投影面に表示されていない陰領域があると判定した場合（ステップＳ３−８において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、陰領域について注意喚起処理を実行する（ステップＳ３−９）。これにより、窪みや突起等の患部形状により、観察できていない領域について注意喚起することができる。 (7) In this embodiment, the control part 21 of the surgery assistance system 20 performs the determination process about whether there exists a shadow area | region (step S3-8). When it is determined that there is a shadow area that is not displayed on the projection plane (in the case of “YES” in step S3-8), the control unit 21 of the surgery support system 20 executes a warning process for the shadow area (step S3). -9). Thereby, it is possible to alert a region that cannot be observed due to the shape of the affected part such as a depression or a protrusion.
（８）本実施形態では、手術支援システム２０の制御部２１は、視野以外に未掻爬領域があるかどうかについての判定処理を実行する（ステップＳ３−１０）。視野以外に未掻爬領域があると判定した場合（ステップＳ３−１０において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、未掻爬領域へのナビゲーション処理を実行する（ステップＳ３−１１）。これにより、内視鏡カメラによって撮影された実画像において、未掻爬領域に誘導することができる。 (8) In this embodiment, the control part 21 of the surgery assistance system 20 performs the determination process about whether there exists an uncured area other than a visual field (step S3-10). When it is determined that there is an uncurettage region other than the visual field (in the case of “YES” in step S3-10), the control unit 21 of the surgery support system 20 executes a navigation process to the uncurettage region (step S3-11). ). Thereby, in the real image image | photographed with the endoscopic camera, it can guide | invade to an uncured area.
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態では、骨の内部に生じた患部に対して行なう手術を支援する場合を想定する。本発明の適用は、これに限定されるものではなく、体内器官についての手術に応用することができる。
Moreover, you may change the said embodiment as follows.
In the above embodiment, a case is assumed in which an operation performed on an affected part inside a bone is supported. The application of the present invention is not limited to this, and can be applied to surgery on a body organ.
・上記実施形態では、手術支援システム２０の制御部２１は、内視鏡カメラの挿入孔の特定処理を実行する（ステップＳ１−５）。ここで、手術において、内視鏡カメラやシェーバーを操作しやすい（操作自由度が高い）挿入孔の位置を特定するためのシミュレーションを行なうようにしてもよい。 In the above embodiment, the control unit 21 of the surgery support system 20 executes the process for specifying the insertion hole of the endoscope camera (step S1-5). Here, in the operation, a simulation may be performed for specifying the position of the insertion hole that facilitates the operation of the endoscope camera or the shaver (the degree of freedom of operation is high).
具体的には、図８に示す挿入孔位置の特定処理を実行する。
ここでは、予め複数の挿入孔候補の位置情報を準備しておき、骨嚢腫表面において以下の処理を繰り返す。
Specifically, the insertion hole position specifying process shown in FIG. 8 is executed.
Here, positional information of a plurality of insertion hole candidates is prepared in advance, and the following processing is repeated on the surface of the bone cyst.
まず、手術支援システム２０の制御部２１は、挿入孔の特定処理を実行する（ステップＳ４−１）。具体的には、制御部２１は、仮想３次元空間における３次元モデルにおいて、挿入孔候補を特定する。本実施形態では、２つの挿入孔候補の組み合わせを特定する。これらの挿入孔は、内視鏡の挿入及びシェーバーの挿入に用いられる。 First, the control unit 21 of the surgery support system 20 executes an insertion hole specifying process (step S4-1). Specifically, the control unit 21 specifies insertion hole candidates in a three-dimensional model in a virtual three-dimensional space. In this embodiment, a combination of two insertion hole candidates is specified. These insertion holes are used for insertion of an endoscope and insertion of a shaver.
次に、手術支援システム２０の制御部２１は、陰になる領域の特定処理を実行する（ステップＳ４−２）。具体的には、制御部２１は、２つの挿入孔候補から、直線的に内視鏡カメラやシェーバーを挿入した場合、到達可能な範囲を特定する。 Next, the control unit 21 of the surgery support system 20 executes a process for identifying the shadowed area (step S4-2). Specifically, the control unit 21 specifies a reachable range when an endoscopic camera or a shaver is linearly inserted from two insertion hole candidates.
ここでは、図９に示すように、２つの挿入孔候補を特定する。尺骨側に近い領域に設けた挿入孔７１（第１の挿入孔）と、尺骨側から遠い領域に設けた挿入孔７２（第２の挿入孔）とを示している。そして、挿入孔７１，７２から、直線的に挿入した内視鏡カメラやシェーバーが到達できない範囲を陰として特定している。両者の到達可能範囲を組み合わせて、いずれもが到達できない範囲が陰領域となる。ここで、制御部２１は、特定した陰領域をメモリに仮記憶する。 Here, as shown in FIG. 9, two insertion hole candidates are specified. An insertion hole 71 (first insertion hole) provided in a region close to the ulna side and an insertion hole 72 (second insertion hole) provided in a region far from the ulna side are shown. And the range which the endoscopic camera and shaver which were inserted linearly from the insertion holes 71 and 72 cannot reach | attain is specified as shadow. By combining the reachable ranges of the two, the range where neither of them can be reached is the shadow area. Here, the control unit 21 temporarily stores the specified shadow area in the memory.
そして、骨嚢腫表面上のすべての挿入孔候補の組み合わせについて終了するまで処理を繰り返す。
そして、手術支援システム２０の制御部２１は、陰が少ない挿入孔の特定処理を実行する（ステップＳ４−３）。具体的には、制御部２１は、メモリに記録された挿入孔の組み合わせにおいて、陰領域が小さい組み合わせを特定する。そして、制御部２１は、陰領域が小さい挿入孔の組み合わせを候補として表示部１５に出力する。
Then, the process is repeated until the combination of all insertion hole candidates on the surface of the bone cyst is completed.
And the control part 21 of the surgery assistance system 20 performs the specific process of the insertion hole with few shades (step S4-3). Specifically, the control unit 21 specifies a combination with a small shadow area in the combination of the insertion holes recorded in the memory. And the control part 21 outputs the combination of the insertion hole with a small shadow area to the display part 15 as a candidate.
なお、陰領域の特定においては、挿入孔候補の孔の大きさを順次、変更して、処理を繰り返すことも可能である。これにより、多様な形状をした骨嚢腫に対して、手術に適した挿入孔を選択することができる。また、挿入孔候補の数は２個に限定されるものではなく、３個以上の候補を用いて、シミュレーションを行なうことも可能である。 In specifying the shadow region, it is possible to sequentially change the size of the insertion hole candidate holes and repeat the process. Thereby, an insertion hole suitable for surgery can be selected for bone cysts having various shapes. Further, the number of insertion hole candidates is not limited to two, and it is possible to perform simulation using three or more candidates.
・上記実施形態では、手術支援システム２０の制御部２１は、線画像の表示処理を実行する。この場合、画面切換条件としては、予め定められた時間間隔を用いる。これに代えて、凹凸状況に応じて、線画像を出力するようにしてもよい。例えば、内部表面の凹凸状況を、表面粗さを表す指標（統計値）を用いて特定する。そして、表面の凹凸が激しい場合には、激しさに応じて画面切換の時間間隔を短くする。一方、表面がなだらかな場合には、画面切換の時間間隔を長くする。また、視点から観察した場合の陰の発生状況によって凹凸状況を決定することも可能である。この場合には、投影面内おいて陰の割合が多い場合には、この割合に応じて画面切換の時間間隔を短くする。一方、陰の割合が少ない場合には、画面切換の時間間隔を長くする。 In the above embodiment, the control unit 21 of the surgery support system 20 performs a line image display process. In this case, a predetermined time interval is used as the screen switching condition. Instead of this, a line image may be output according to the uneven state. For example, the unevenness state of the inner surface is specified using an index (statistical value) representing the surface roughness. And when the surface unevenness | corrugation is intense, the time interval of screen switching is shortened according to severity. On the other hand, when the surface is gentle, the screen switching time interval is lengthened. It is also possible to determine the uneven state according to the shadow generation state when observed from the viewpoint. In this case, when the shadow ratio is large in the projection plane, the screen switching time interval is shortened according to this ratio. On the other hand, when the shadow ratio is small, the screen switching time interval is lengthened.
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
（ａ）体内器官の外部から内部空間に貫通する２つの挿入孔の位置を、順次特定し、前記挿入孔の位置から手術具を挿入した場合に、前記患部領域において、前記手術具の操作自由度を算出し、前記操作自由度が最も大きい挿入孔の位置を出力することを特徴とする手術支援システム。
これにより、シェーバーが届かない領域が少ない操作自由度が高い挿入孔を特定することができる。
Next, technical ideas that can be grasped from the above-described embodiment and other examples will be described below together with their effects.
(A) When the positions of two insertion holes penetrating from the outside of the body organ into the internal space are sequentially identified and the surgical tool is inserted from the position of the insertion hole, the surgical tool can be freely operated in the affected area. A surgery support system characterized by calculating a degree and outputting the position of the insertion hole having the largest degree of freedom of operation.
As a result, it is possible to specify an insertion hole with a high degree of freedom in operation with a small area where the shaver cannot reach.
１０…入力部、１５…表示部、２０…手術支援システム、２１…制御部、２１１…画像取込部、２１２…表示管理部、２１３…全体画像制御部、２１４…内視鏡画像制御部、２１５…手術支援部、２１６…シェーバー管理部、２１７…内視鏡管理部、２２…ＣＴ画像データ記憶部、２３…３次元モデルデータ記憶部、２４…手術支援データ記憶部、３０…内視鏡装置、４０…シェーバー操作装置、６０１…中心軸、６０３…投影面中心、６０４…投影面。 DESCRIPTION OF SYMBOLS 10 ... Input part, 15 ... Display part, 20 ... Surgery support system, 21 ... Control part, 211 ... Image capture part, 212 ... Display management part, 213 ... Whole image control part, 214 ... Endoscopic image control part, 215 ... Surgery support unit, 216 ... Shaver management unit, 217 ... Endoscope management unit, 22 ... CT image data storage unit, 23 ... Three-dimensional model data storage unit, 24 ... Surgery support data storage unit, 30 ... Endoscope 40, Shaver operation device, 601 ... Center axis, 603 ... Projection center, 604 ... Projection surface.
Claims (10)
表示部に接続された制御部とを備えた手術支援システムであって、
前記制御部が、
前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において、仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、
前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力することを特徴とする手術支援システム。 A three-dimensional model data storage unit that stores a three-dimensional model of an organ shape and an affected area existing on the surface of the internal space of the internal organ based on an internal image of the internal organ;
A surgical operation support system including a control unit connected to a display unit,
The control unit is
In the virtual three-dimensional space including the three-dimensional model recorded in the three-dimensional model data storage unit, the projection plane is specified based on the viewpoint position and the line-of-sight direction of the virtual endoscopic camera,
A simulation image including an entire image displaying the viewpoint position and line-of-sight direction with respect to the three-dimensional model, and a virtual endoscopic image of the surface of the internal space of the three-dimensional model projected onto the projection plane; A surgical operation support system that outputs to the display unit.
前記全体画像において、前記表示済み領域と、仮想内視鏡画像を出力していない未表示領域とを識別して出力することを特徴とする請求項１〜５のいずれか一つに記載の手術支援システム。 Record the affected area output in the virtual endoscopic image as a displayed area,
The operation according to any one of claims 1 to 5, wherein in the entire image, the displayed region and a non-display region where a virtual endoscopic image is not output are identified and output. Support system.
手術時に用いる手術具の操作情報を取得して、前記手術具による処置済み領域を特定して記録し、
前記内視鏡カメラの視点位置及び視線方向に基づいて、前記３次元モデルにおけるシミュレーション画像を生成し、
前記処置済み領域を前記シミュレーション画像において表示することを特徴とする請求項１〜７のいずれか一つに記載の手術支援システム。 Obtain the viewpoint position and line-of-sight direction of the endoscopic camera used at the time of surgery,
Obtain operation information of the surgical tool used at the time of surgery, specify and record the treated area by the surgical tool,
Based on the viewpoint position and line-of-sight direction of the endoscopic camera, generate a simulation image in the three-dimensional model,
The surgery support system according to any one of claims 1 to 7, wherein the treated region is displayed in the simulation image.
表示部に接続された制御部とを備えた手術支援システムを用いて、手術支援を実行する方法であって、
前記制御部が、
前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、
前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力することを特徴とする手術支援方法。 A three-dimensional model data storage unit that stores a three-dimensional model of an organ shape and an affected area existing on the surface of the internal space of the internal organ based on an internal image of the internal organ;
A method for performing surgical support using a surgical support system including a control unit connected to a display unit,
The control unit is
Specifying a projection plane based on a viewpoint position and a line-of-sight direction of a virtual endoscopic camera in a virtual three-dimensional space including a three-dimensional model recorded in the three-dimensional model data storage unit;
A simulation image including an entire image displaying the viewpoint position and line-of-sight direction with respect to the three-dimensional model, and a virtual endoscopic image of the surface of the internal space of the three-dimensional model projected onto the projection plane; An operation support method comprising: outputting to the display unit.
表示部に接続された制御部とを備えた手術支援システムを用いて、手術支援を実行するためのプログラムであって、
前記制御部を、
前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、
前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力する手段として機能させることを特徴とする手術支援プログラム。 A three-dimensional model data storage unit that stores a three-dimensional model of an organ shape and an affected area existing on the surface of the internal space of the internal organ based on an internal image of the internal organ;
A program for performing surgical support using a surgical support system including a control unit connected to a display unit,
The control unit
Specifying a projection plane based on a viewpoint position and a line-of-sight direction of a virtual endoscopic camera in a virtual three-dimensional space including a three-dimensional model recorded in the three-dimensional model data storage unit;
A simulation image including an entire image displaying the viewpoint position and line-of-sight direction with respect to the three-dimensional model, and a virtual endoscopic image of the surface of the internal space of the three-dimensional model projected onto the projection plane; A surgery support program which functions as means for outputting to the display unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012262128A JP2014104328A (en) | 2012-11-30 | 2012-11-30 | Operation support system, operation support method, and operation support program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012262128A JP2014104328A (en) | 2012-11-30 | 2012-11-30 | Operation support system, operation support method, and operation support program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014104328A true JP2014104328A (en) | 2014-06-09 |
Family
ID=51026296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012262128A Pending JP2014104328A (en) | 2012-11-30 | 2012-11-30 | Operation support system, operation support method, and operation support program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014104328A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190024194A (en) * | 2017-08-31 | 2019-03-08 | (주)레벨소프트 | Medical Image Processing Apparatus Using Augmented Reality and Medical Image Processing Method Using The Same |
| US11183295B2 (en) | 2017-08-31 | 2021-11-23 | Gmeditec Co., Ltd. | Medical image processing apparatus and medical image processing method which are for medical navigation device |
| CN114533277A (en) * | 2022-02-24 | 2022-05-27 | 上海电气集团股份有限公司 | Control method of mechanical arm, electronic device and storage medium |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10234664A (en) * | 1997-02-27 | 1998-09-08 | Toshiba Corp | Image processor |
| JPH11309A (en) * | 1997-06-12 | 1999-01-06 | Hitachi Ltd | Image processor |
| JP2005131319A (en) * | 2003-10-31 | 2005-05-26 | Olympus Corp | Insertion support system |
| JP2005211530A (en) * | 2004-01-30 | 2005-08-11 | Olympus Corp | Operative technique supporting system |
| JP2006198031A (en) * | 2005-01-18 | 2006-08-03 | Olympus Corp | Surgery support system |
| US20120230565A1 (en) * | 2007-03-08 | 2012-09-13 | Sync-Rx, Ltd. | Automatic quantitative vessel analysis |
-
2012
- 2012-11-30 JP JP2012262128A patent/JP2014104328A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10234664A (en) * | 1997-02-27 | 1998-09-08 | Toshiba Corp | Image processor |
| JPH11309A (en) * | 1997-06-12 | 1999-01-06 | Hitachi Ltd | Image processor |
| JP2005131319A (en) * | 2003-10-31 | 2005-05-26 | Olympus Corp | Insertion support system |
| JP2005211530A (en) * | 2004-01-30 | 2005-08-11 | Olympus Corp | Operative technique supporting system |
| JP2006198031A (en) * | 2005-01-18 | 2006-08-03 | Olympus Corp | Surgery support system |
| US20120230565A1 (en) * | 2007-03-08 | 2012-09-13 | Sync-Rx, Ltd. | Automatic quantitative vessel analysis |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190024194A (en) * | 2017-08-31 | 2019-03-08 | (주)레벨소프트 | Medical Image Processing Apparatus Using Augmented Reality and Medical Image Processing Method Using The Same |
| KR101977650B1 (en) * | 2017-08-31 | 2019-05-13 | (주)레벨소프트 | Medical Image Processing Apparatus Using Augmented Reality and Medical Image Processing Method Using The Same |
| US11183295B2 (en) | 2017-08-31 | 2021-11-23 | Gmeditec Co., Ltd. | Medical image processing apparatus and medical image processing method which are for medical navigation device |
| US11676706B2 (en) | 2017-08-31 | 2023-06-13 | Gmeditec Co., Ltd. | Medical image processing apparatus and medical image processing method which are for medical navigation device |
| CN114533277A (en) * | 2022-02-24 | 2022-05-27 | 上海电气集团股份有限公司 | Control method of mechanical arm, electronic device and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111655184B (en) | Guidance for placement of surgical ports | |
| US10580325B2 (en) | System and method for performing a computerized simulation of a medical procedure | |
| JP2022017422A (en) | Augmented reality surgical navigation | |
| RU2608322C2 (en) | Holographic user interfaces for medical procedures | |
| US9554772B2 (en) | Non-invasive imager for medical applications | |
| JP6083103B2 (en) | Image complementation system for image occlusion area, image processing apparatus and program thereof | |
| US20150287236A1 (en) | Imaging system, operating device with the imaging system and method for imaging | |
| JP5417609B2 (en) | Medical diagnostic imaging equipment | |
| JP2019517291A (en) | Image-based fusion of endoscopic and ultrasound images | |
| JP2010264232A (en) | Apparatus, program and method for supporting diagnosis | |
| JP2021510107A (en) | Three-dimensional imaging and modeling of ultrasound image data | |
| CN111588464B (en) | Operation navigation method and system | |
| JP2019162339A (en) | Surgery supporting system and display method | |
| JP5114121B2 (en) | Medical image processing device | |
| CN111973273A (en) | Operation navigation system, method, device and medium based on AR technology | |
| JP2014104328A (en) | Operation support system, operation support method, and operation support program | |
| CN106028943A (en) | Ultrasonic virtual endoscopic imaging system and method, and apparatus thereof | |
| US11771508B2 (en) | Robotically-assisted surgical device, robotically-assisted surgery method, and system | |
| JP6605212B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| Bockholt et al. | Augmented reality for enhancement of endoscopic interventions | |
| US10854005B2 (en) | Visualization of ultrasound images in physical space | |
| Vogt | Real-Time Augmented Reality for Image-Guided Interventions | |
| JP2011131020A (en) | Trocar port positioning simulation method and device therefor | |
| JP2013048688A (en) | Image processing device, image processing method and program | |
| JP7469961B2 (en) | Image processing device and computer program for image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20141105 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151208 |