JP2021151431A - Medical image processing device, trocar, medical observation system, image processing method, and program - Google Patents

Medical image processing device, trocar, medical observation system, image processing method, and program Download PDF

Info

Publication number
JP2021151431A
JP2021151431A JP2020215825A JP2020215825A JP2021151431A JP 2021151431 A JP2021151431 A JP 2021151431A JP 2020215825 A JP2020215825 A JP 2020215825A JP 2020215825 A JP2020215825 A JP 2020215825A JP 2021151431 A JP2021151431 A JP 2021151431A
Authority
JP
Japan
Prior art keywords
image
medical
state
image processing
medical device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020215825A
Other languages
Japanese (ja)
Other versions
JP2021151431A5 (en
Inventor
潔 市川
Kiyoshi Ichikawa
潔 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to US17/183,373 priority Critical patent/US20210295980A1/en
Publication of JP2021151431A publication Critical patent/JP2021151431A/en
Publication of JP2021151431A5 publication Critical patent/JP2021151431A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)

Abstract

To provide a medical image processing device, a trocar, a medical observation system, an image processing method, and a program capable of assisting an operator executing surgery without interfering with the operator during surgery.SOLUTION: On the basis of a detection result of one or more trocars capable of detecting a first state and a second state indicating the insertion of a medical device gripped by an operator, and an insertion state of the medical device into a subject, a medical image processing device includes a control unit 87 for causing a display device to display at least one of a first image generated by imaging an observation object in the subject, and a second image of the observation object in the subject obtained beforehand.SELECTED DRAWING: Figure 2

Description

本開示は、被検体の患部を撮像したライブビュー画像および被検体の観察を仮想的に表したシミュレーション画像の少なくとも一方を表示する医療用画像処理装置、トロッカー、医療用観察システム、画像処理方法およびプログラムに関する。 The present disclosure discloses a medical image processing device, a trocar, a medical observation system, an image processing method, and a medical image processing apparatus, a trocar, a medical observation system, and an image processing method for displaying at least one of a live view image of an affected part of a subject and a simulation image that virtually represents the observation of the subject. Regarding the program.

従来、外科手術システムにおいて、患者の患部にモーションキャプチャー装置で計測された患者の患部に、ＣＴおよびＭＲＩ等により得られた画像を重畳表示する技術が知られている（例えば特許文献１参照）。この技術では、患者に対して所定の間隔で配置した複数のマーカからの反射光を複数のモーションキャプチャー装置の各々で受光することによって、複数のマーカ群の座標位置および複数のマーカ群の回転量に応じて、患者の患部に重畳表示する画像を変化させる。 Conventionally, in a surgical operation system, there is known a technique of superimposing and displaying an image obtained by CT, MRI, or the like on the affected part of a patient measured by a motion capture device (see, for example, Patent Document 1). In this technique, the coordinate positions of a plurality of marker groups and the amount of rotation of the plurality of marker groups are received by receiving the reflected light from a plurality of markers arranged at predetermined intervals with respect to the patient by each of the plurality of motion capture devices. The image superimposed on the affected area of the patient is changed accordingly.

特開２０１６−１５８９１１号公報Japanese Unexamined Patent Publication No. 2016-158911

ところで、術者は、術中に手術部位にアプローチする場合、メルクマークとなる重要な血管および神経を確認しながら切除を行う。しかしながら、術者は、アプローチが難しい手技の場合、術前に確認したＣＴ（Computed Tomography）画像（コンピュータ断層撮影による画像）またはＭＲＩ（Magnetic Resonance Imaging）画像（核磁気共鳴画像法による画像）において、読影できなかった箇所、患者の開腹後における部位形状および部位の位置がＣＴ画像またはＭＲＩ画像とずれてしまうことで、術者がメルクマークを瞬時に発見することが難しかった。 By the way, when approaching the surgical site during the operation, the surgeon performs the excision while confirming the important blood vessels and nerves that become the Merck mark. However, in the case of a procedure that is difficult to approach, the surgeon uses a CT (Computed Tomography) image (computed tomography image) or MRI (Magnetic Resonance Imaging) image (image by magnetic resonance imaging) confirmed before the operation. It was difficult for the surgeon to instantly find the Merck mark because the part that could not be read, the shape of the part after the patient's abdomen was opened, and the position of the part deviated from the CT image or MRI image.

さらに、上述した特許文献１では、単にＣＴ画像またはＭＲＩ画像を重畳しているにすぎないため、実際の患者の状態から乖離しているうえ、重畳画像が邪魔になるという問題点があった。 Further, in the above-mentioned Patent Document 1, since the CT image or the MRI image is merely superposed, there is a problem that the superposed image is an obstacle in addition to deviating from the actual state of the patient.

本開示は、上記に鑑みてなされたものであって、術中における術者の邪魔をすることなく、術中の術者を補助することができる医療用画像処理装置、トロッカー、医療用観察システム、画像処理方法およびプログラムを提供することを目的とする。 The present disclosure has been made in view of the above, and is a medical image processing device, a tracker, a medical observation system, and an image capable of assisting an intraoperative surgeon without disturbing the intraoperative surgeon. The purpose is to provide processing methods and programs.

上述した課題を解決し、目的を達成するために、本開示に係る医療用画像処理装置は、術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象に関する第２の画像の少なくとも一方を表示装置に表示させる制御部を備える。 In order to solve the above-mentioned problems and achieve the object, the medical image processing apparatus according to the present disclosure is in a state in which a medical device grasped by an operator is inserted and the medical device is inserted into a subject. Based on the detection results of one or more trocars capable of detecting the first state and the second state indicating, the first image generated by imaging the observation target in the subject and the pre-acquired first image. A control unit for displaying at least one of the second images of the observation target in the subject on the display device is provided.

また、本開示に係るトロッカーは、筒状をなし、外部から医療器具が挿入可能な穴部を有する本体部と、前記穴部の挿入方向に沿って設けられ、前記穴部に挿入された前記医療器具の位置を第１の状態として検出する第１の検出部と、前記穴部の挿入方向に沿って前記第１の検出部より挿入距離が長い位置に設けられ、前記穴部に挿入された前記医療器具の位置を第２の状態として検出する第２の検出部と、を備える。 Further, the trocar according to the present disclosure has a tubular shape and has a main body portion having a hole into which a medical device can be inserted from the outside, and the trocar provided along the insertion direction of the hole and inserted into the hole. A first detection unit that detects the position of the medical device as the first state and a position that is longer than the first detection unit along the insertion direction of the hole portion are provided and inserted into the hole portion. A second detection unit that detects the position of the medical device as a second state is provided.

また、本開示に係る医療用観察システムは、被検体の観察対象を撮像することによって第１の画像を生成する撮像部と、予め取得された前記被検体の観察対象の３次元画像データまたは２次元画像データに基づく第２の画像を記録する記録部と、前記第１の画像および前記第２の画像を表示可能な表示装置と、術者によって把持された医療器具が挿入され、かつ、該医療器具の前記被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーと、前記トロッカーの検出結果に基づいて、前記第１の画像および前記第２の画像像の少なくとも一方を前記表示装置に表示させる制御部と、を備える。 Further, the medical observation system according to the present disclosure includes an imaging unit that generates a first image by imaging the observation target of the subject, and three-dimensional image data or 2 of the observation target of the subject acquired in advance. A recording unit that records a second image based on the three-dimensional image data, a display device that can display the first image and the second image, and a medical device grasped by the operator are inserted and said. The first image and the first image based on the detection result of one or more trackers capable of detecting the first state and the second state indicating the insertion state of the medical device into the subject, and the detection result of the tracker. A control unit for displaying at least one of the two image images on the display device is provided.

また、本開示に係る画像処理方法は、術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させる。 Further, the image processing method according to the present disclosure can detect a first state and a second state in which a medical device grasped by an operator is inserted and the state of insertion of the medical device into a subject is indicated. A first image generated by imaging an observation target in the subject and a second image of the observation target in the subject obtained in advance based on the detection results of one or more trocars. Display at least one on the display device.

また、本開示に係るプログラムは、医療用画像処理装置に実行させるプログラムであって、術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させる。 Further, the program according to the present disclosure is a program to be executed by a medical image processing apparatus, and indicates a state in which a medical instrument grasped by an operator is inserted and the medical instrument is inserted into a subject. Based on the detection results of one or more trocars capable of detecting the first state and the second state, the first image generated by imaging the observation target in the subject and the previously acquired subject. At least one of the second images to be observed in the sample is displayed on the display device.

本開示によれば、術中における術者の邪魔をすることなく、術中の術者を補助することができるという効果を奏する。 According to the present disclosure, there is an effect that the operator can be assisted during the operation without disturbing the operator during the operation.

図１は、実施の形態１に係る医療用観察システムの概略構成を示す図である。FIG. 1 is a diagram showing a schematic configuration of a medical observation system according to the first embodiment. 図２は、実施の形態１に係る医療用観察システムの要部の機能構成を示すブロック図である。FIG. 2 is a block diagram showing a functional configuration of a main part of the medical observation system according to the first embodiment. 図３は、実施の形態１に係るトロッカーの断面を示す模式図である。FIG. 3 is a schematic view showing a cross section of the trocar according to the first embodiment. 図４Ａは、実施の形態１に係るトロッカーに医療器具を挿入した際の検出状況を模式的に示す断面図である。FIG. 4A is a cross-sectional view schematically showing a detection state when a medical device is inserted into the trocar according to the first embodiment. 図４Ｂは、実施の形態１に係るトロッカーに医療器具を挿入した際の検出状況を模式的に示す断面図である。FIG. 4B is a cross-sectional view schematically showing a detection state when a medical device is inserted into the trocar according to the first embodiment. 図４Ｃは、実施の形態１に係るトロッカーに医療器具を挿入した際の検出状況を模式的に示す断面図である。FIG. 4C is a cross-sectional view schematically showing a detection state when a medical device is inserted into the trocar according to the first embodiment. 図４Ｄは、実施の形態１に係るトロッカーに医療器具を挿入した際の検出状況を模式的に示す断面図である。FIG. 4D is a cross-sectional view schematically showing a detection state when a medical device is inserted into the trocar according to the first embodiment. 図４Ｅは、実施の形態１に係るトロッカーに医療器具を挿入した際の検出状況を模式的に示す断面図である。FIG. 4E is a cross-sectional view schematically showing a detection state when a medical device is inserted into the trocar according to the first embodiment. 図５は、実施の形態１に係る医療用観察システムが実行する処理の概要を示すフローチャートである。FIG. 5 is a flowchart showing an outline of the processing executed by the medical observation system according to the first embodiment. 図６は、実施の形態１に係る表示装置が表示するライブビュー画像の一例を示す図である。FIG. 6 is a diagram showing an example of a live view image displayed by the display device according to the first embodiment. 図７は、実施の形態１に係る表示装置が表示するライブビュー画像の別の一例を示す図である。FIG. 7 is a diagram showing another example of the live view image displayed by the display device according to the first embodiment. 図８は、図５のシミュレーションモード処理の概要を示すフローチャートである。FIG. 8 is a flowchart showing an outline of the simulation mode processing of FIG. 図９は、実施の形態１に係る表示装置が表示するシミュレーション画像の一例を示す図である。FIG. 9 is a diagram showing an example of a simulation image displayed by the display device according to the first embodiment. 図１０は、実施の形態１に係る表示装置が表示する医学情報の一例を示す図である。FIG. 10 is a diagram showing an example of medical information displayed by the display device according to the first embodiment. 図１１は、実施の形態１に係る表示装置が表示するシミュレーション画像の別の一例を示す図である。FIG. 11 is a diagram showing another example of a simulation image displayed by the display device according to the first embodiment. 図１２は、実施の形態１に係る表示装置が表示するシミュレーション画像の一例を示す図である。FIG. 12 is a diagram showing an example of a simulation image displayed by the display device according to the first embodiment. 図１３は、実施の形態２に係る医療用観察システムが実行する処理の概要を示すフローチャートである。FIG. 13 is a flowchart showing an outline of the processing executed by the medical observation system according to the second embodiment.

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において、参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、本開示に係る医療用観察システムの一例として、腹腔鏡による内視鏡システムについて説明する。 Hereinafter, a mode for carrying out the present disclosure will be described in detail together with drawings. The present disclosure is not limited to the following embodiments. Further, in the following description, each of the referenced figures merely schematically shows the shape, size, and positional relationship to the extent that the contents of the present disclosure can be understood. That is, the present disclosure is not limited to the shape, size, and positional relationship exemplified in each figure. Further, in the description of the drawings, the same parts will be described with the same reference numerals. Furthermore, as an example of the medical observation system according to the present disclosure, an endoscopic system using a laparoscope will be described.

（実施の形態１）
〔医療用観察システムの概略構成〕
図１は、実施の形態１に係る医療用観察システムの概略構成を示す図である。図１に示す医療用観察システム１は、医療分野に用いられ、人や動物の被検体Ｏ１の腹部にトロッカーを用いて複数の穴を形成し、炭酸ガス等によって被検体Ｏ１の腹部を膨らませた状態で、医療用撮像装置（硬性鏡等のビデオスコープ）と、鉗子および電気メス等のエネルギーデバイスの医療器具と、を被検体Ｏ１内に挿入しながら観察および処置を行う腹腔鏡手術に用いられるシステムである。なお、図１では、被検体Ｏ１に対して穴を３カ所形成しているが、術式や手技に応じて適宜変更することができる。 (Embodiment 1)
[Outline configuration of medical observation system]
FIG. 1 is a diagram showing a schematic configuration of a medical observation system according to the first embodiment. The medical viewing system 1 shown in FIG. 1 is used in the medical field, a plurality of holes formed using a trocar into the abdomen of the subject O 1 of a human or animal, the abdomen of the subject O 1 by carbon dioxide gas in a state where inflated, the medical imaging device (videoscope such rigid endoscope), laparoscopic surgery to observe and treat while inserting the object O 1 and the medical device of the energy device, the like forceps and electrocautery It is a system used for. In FIG. 1, but are formed three places holes to the subject O 1, they can be appropriately changed in accordance with the operative procedure and procedures.

図１に示す医療用観察システム１は、トロッカー１０と、複数のトロッカー２０と、医療用撮像装置３０と、医療器具４０と、医療器具５０と、光源装置６０と、表示装置７０と、制御装置８０と、画像サーバ９０と、を備える。 The medical observation system 1 shown in FIG. 1 includes a trocar 10, a plurality of trocars 20, a medical imaging device 30, a medical device 40, a medical device 50, a light source device 60, a display device 70, and a control device. The 80 and the image server 90 are provided.

トロッカー１０は、筒状をなし、被検体Ｏ１に挿入される。トロッカー１０は、後述する医療用撮像装置３０が挿入される。トロッカー１０は、被検体Ｏ１の臍に挿入される。なお、実施の形態１では、トロッカー１０は、図示しない被検体Ｏ１内の腹部を膨らませる炭酸ガス等が供給される供給口を有し、この供給口を経由して外部から供給された炭酸ガスを被検体Ｏ１内の腹部に供給する。 Trocar 10, a cylindrical shape, is inserted into the subject O 1. The medical imaging device 30 described later is inserted into the trocar 10. Trocar 10 is inserted into the subject O 1 umbilicus. In the first embodiment, the trocar 10 has a supply port to which carbon dioxide gas or the like that inflates the abdomen in the subject O 1 (not shown) is supplied, and carbon dioxide supplied from the outside via this supply port. supplying gas to the abdomen of the subject O 1.

トロッカー２０は、筒状をなし、被検体Ｏ１に対して複数挿入される。トロッカー２０は、後述する医療器具４０および医療器具５０のいずれか一方が挿入される。以下においては、医療器具４０が挿入されるトロッカー２０をトロッカー２０Ｌと表現し、医療器具５０が挿入されるトロッカー２０をトロッカー２０Ｒと表現する。また、トロッカー２０Ｌおよびトロッカー２０Ｒのどちらか一方を指す場合、単にトロッカー２０と表現する。 Trocar 20, a cylindrical shape, is more inserted into the subject O 1. Either one of the medical device 40 and the medical device 50, which will be described later, is inserted into the trocar 20. In the following, the trocar 20 into which the medical device 40 is inserted is referred to as a trocar 20L, and the trocar 20 into which the medical device 50 is inserted is referred to as a trocar 20R. Further, when referring to either the trocar 20L or the trocar 20R, it is simply expressed as the trocar 20.

医療用撮像装置３０は、トロッカー１０を経由して被検体Ｏ１内に挿入され、被検体Ｏ１内における観察対象を撮像することによって画像データを生成し、この画像データを制御装置８０へ出力する。 The medical imaging device 30 is inserted into the subject O 1 via the trocar 10, generates image data by imaging the observation target in the subject O 1, and outputs the image data to the control device 80. do.

医療器具４０は、トロッカー２０Ｌを経由して被検体Ｏ１内に挿入される。医療器具４０は、医者等の術者の操作に応じて観察対象に対して処置を行う。医療器具４０は、例えば注射、鉗子、ナイフ、高周波スネア、処置具および高周波メスや電気メス等のエネルギーデバイスである。 The medical device 40 is inserted into the subject O 1 via the trocar 20L. The medical device 40 treats the observation target according to the operation of an operator such as a doctor. The medical device 40 is, for example, an injection, forceps, a knife, a high frequency snare, a treatment tool, and an energy device such as a high frequency scalpel or an electric scalpel.

医療器具５０は、トロッカー２０Ｒを経由して被検体Ｏ１に挿入される。医療器具５０は、術者の操作に応じて観察対象に対して処置を行う。医療器具５０は、例えば注射、鉗子、ナイフ、高周波スネア、処置具および高周波メスや電気メス等のエネルギーデバイスである。 Medical device 50 is inserted into the subject O 1 via the trocar 20R. The medical device 50 treats the observation target according to the operation of the operator. The medical device 50 is, for example, an injection, forceps, a knife, a high frequency snare, a treatment tool, and an energy device such as a high frequency scalpel or an electric scalpel.

光源装置６０は、制御装置８０の制御のもと、医療用撮像装置３０を経由して被検体Ｏ１の観察対象に向けて照明光を照射する。光源装置６０は、例えばライトガイドを経由して照明光として白色光、特殊光およびマルチスペクトル光のいずれか一つを医療用撮像装置３０へ供給する。ここで、特殊光とは、所定の波長帯域を有する励起光や狭帯域光である。例えば、励起光は、波長帯域が４００ｎｍ〜４３０ｎｍ（中心波長が４１５ｎｍ）である。また、狭帯域光は、波長帯域が４００ｎｍ〜４３０ｎｍ（中心波長が４１５ｎｍ）と、波長帯域５３０ｎｍ〜５５０ｎｍ（中心波長が５４０ｎｍ）と、を含む光である。また、マルチスペクトル光は、少なくとも反射周波数毎に生体組織、例えば臓器を判別可能な光の波長帯域を含む。例えば、膵臓の場合、反射周波数は、１６７１２ｎｍである。光源装置６０は、白色ＬＥＤ（Light Emitting Diode）、赤色ＬＥＤ、青色ＬＥＤ、緑色ＬＥＤ、紫色ＬＥＤ、橙色ＬＥＤ等の光源、半導体レーザ、所定の波長帯域を透過する透過フィルタを有する回転フィルタおよび集光レンズ等を用いて実現される。 Under the control of the control device 80, the light source device 60 irradiates the observation target of the subject O1 with illumination light via the medical imaging device 30. The light source device 60 supplies any one of white light, special light, and multispectral light as illumination light to the medical imaging device 30 via, for example, a light guide. Here, the special light is excitation light or narrow band light having a predetermined wavelength band. For example, the excitation light has a wavelength band of 400 nm to 430 nm (center wavelength is 415 nm). Further, the narrow band light is light having a wavelength band of 400 nm to 430 nm (center wavelength of 415 nm) and a wavelength band of 530 nm to 550 nm (center wavelength of 540 nm). Further, the multispectral light includes a wavelength band of light capable of discriminating a living tissue, for example, an organ, at least for each reflection frequency. For example, in the case of the pancreas, the reflection frequency is 16712 nm. The light source device 60 includes a light source such as a white LED (Light Emitting Diode), a red LED, a blue LED, a green LED, a purple LED, and an orange LED, a semiconductor laser, a rotation filter having a transmission filter that transmits a predetermined wavelength band, and a condenser. It is realized by using a lens or the like.

表示装置７０は、制御装置８０の制御のもと、制御装置８０から入力された画像を表示する。表示装置７０は、例えば液晶ディスプレイや有機ＥＬディスプレイ（Organic Electroluminescent Display）等および音声スピーカ等を用いて実現される。 The display device 70 displays an image input from the control device 80 under the control of the control device 80. The display device 70 is realized by using, for example, a liquid crystal display, an organic electroluminescent display, an audio speaker, or the like.

制御装置８０は、医療用観察システム１の各部を制御する。制御装置８０は、医療用撮像装置３０から入力された画像データに対して各種の画像処理を行って表示装置７０へ出力することによって表示装置７０に表示させる。また、制御装置８０は、ネットワーク１００を経由して画像サーバ９０から患者である被検体Ｏ１に対して予め取得された３次元画像データ、ＭＲＩ画像データおよびＣＴ画像データを用いて構成されたシミュレーション画像データを取得し、取得したシミュレーション画像に対して各種の画像処理を行って表示装置７０に出力することによって表示装置７０に表示させる。制御装置８０は、メモリと、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）およびＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアと、を備えるプロセッサを用いて実現される。なお、実施の形態１では、制御装置８０が医療用画像処理装置として機能する。 The control device 80 controls each part of the medical observation system 1. The control device 80 performs various image processing on the image data input from the medical imaging device 30 and outputs the image data to the display device 70 to display the image data on the display device 70. Further, the control unit 80, the three-dimensional image data previously obtained for the subject O 1 which via the network 100 is the patient from the image server 90, simulated constructed using the MRI image data and CT image data The image data is acquired, various image processing is performed on the acquired simulation image, and the image data is output to the display device 70 to be displayed on the display device 70. The control device 80 is realized by using a processor including a memory and hardware such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field-Programmable Gate Array). In the first embodiment, the control device 80 functions as a medical image processing device.

画像サーバ９０は、ネットワーク１００を経由して制御装置８０から要求されたシミュレーション画像データを送信する。画像サーバ９０は、複数の患者の各々をＣＴまたはＭＲＩ等によって取得した２次元画像データまたは３次元画像データ、および２次元画像データまたは３次元画像データに基づくシミュレーション画像データ等を記録する。画像サーバ９０は、メモリと、ＣＰＵ、ＧＰＵやＦＰＧＡ等のハードウェアを備えるプロセッサと、ＨＤＤ（Hard Disk Drive）およびＳＳＤ（Solid State Drive）等の記録媒体と、を用いて実現される。 The image server 90 transmits the simulation image data requested by the control device 80 via the network 100. The image server 90 records two-dimensional image data or three-dimensional image data obtained by CT or MRI of each of the plurality of patients, and simulation image data based on the two-dimensional image data or the three-dimensional image data. The image server 90 is realized by using a memory, a processor including hardware such as a CPU, GPU and FPGA, and a recording medium such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive).

〔医療用観察システムの要部の機能構成〕
次に、上述した医療用観察システム１の要部の機能構成について説明する。図２は、医療用観察システム１の要部の機能構成を示すブロック図である。 [Functional configuration of the main parts of the medical observation system]
Next, the functional configuration of the main part of the medical observation system 1 described above will be described. FIG. 2 is a block diagram showing a functional configuration of a main part of the medical observation system 1.

〔トロッカーの構成〕
まず、トロッカー２０の構成について説明する。図３は、トロッカー２０の断面を示す模式図である。図２および図３に示すトロッカー２０は、第１の検出部２１と、第２の検出部２２と、取得部２３と、通信部２４と、第３の検出部２５と、第４の検出部２６と、本体部２７と、を備える。 [Structure of trocar]
First, the configuration of the trocar 20 will be described. FIG. 3 is a schematic view showing a cross section of the trocar 20. The trocar 20 shown in FIGS. 2 and 3 includes a first detection unit 21, a second detection unit 22, an acquisition unit 23, a communication unit 24, a third detection unit 25, and a fourth detection unit. 26 and a main body 27 are provided.

第１の検出部２１は、本体部２７に設けられた挿入部２７１（孔）の挿入方向に沿って設けられ、挿入部２７１に挿入された医療器具４０の位置を第１の状態として検出する。具体的には、第１の検出部２１は、医療器具４０がトロッカー２０内に位置することを第１の状態として検出する。第１の検出部２１は、圧力センサ２１１と、付勢部材２１２と、嵌合部材２１３と、を有する。圧力センサ２１１は、付勢部材２１２の付勢状態を検出する。付勢部材２１２は、嵌合部材２１３を挿入部２７１に向けて付勢する。嵌合部材２１３は、挿入部２７１に突出可能に設けられ、後述する医療器具４０に設けられた凹部４３に嵌合する。 The first detection unit 21 is provided along the insertion direction of the insertion portion 271 (hole) provided in the main body portion 27, and detects the position of the medical device 40 inserted in the insertion portion 271 as the first state. .. Specifically, the first detection unit 21 detects that the medical device 40 is located in the trocar 20 as the first state. The first detection unit 21 includes a pressure sensor 211, an urging member 212, and a fitting member 213. The pressure sensor 211 detects the urging state of the urging member 212. The urging member 212 urges the fitting member 213 toward the insertion portion 271. The fitting member 213 is provided so as to protrude from the insertion portion 271, and fits into the recess 43 provided in the medical device 40 described later.

第２の検出部２２は、本体部２７に設けられた挿入部２７１の挿入方向に沿って第１の検出部２１より挿入距離が長い位置に設けられ、挿入部２７１に挿入された医療器具４０の位置を第２の状態として検出する。具体的には、第２の検出部２２は、少なくとも医療器具４０の一部がトロッカー２０を経由して被検体Ｏ１内に挿入されて露出した状態を第２の状態として検出する。第２の検出部２２は、圧力センサ２２１と、付勢部材２２２と、嵌合部材２２３と、を有する。圧力センサ２２１は、付勢部材２２２の付勢状態を検出する。付勢部材２２２は、嵌合部材２２３を挿入部２７１に向けて付勢する。嵌合部材２２３は、挿入部２７１に突出可能に設けられ、後述する医療器具４０に設けられた凹部４２に嵌合する。 The second detection unit 22 is provided at a position where the insertion distance is longer than that of the first detection unit 21 along the insertion direction of the insertion unit 271 provided in the main body unit 27, and the medical instrument 40 inserted into the insertion unit 271. The position of is detected as the second state. Specifically, the second detection unit 22 detects a state in which at least a part of the medical device 40 is inserted into the subject O 1 via the trocar 20 and is exposed as the second state. The second detection unit 22 includes a pressure sensor 221, an urging member 222, and a fitting member 223. The pressure sensor 221 detects the urging state of the urging member 222. The urging member 222 urges the fitting member 223 toward the insertion portion 271. The fitting member 223 is provided so as to be projectable from the insertion portion 271 and fits into the recess 42 provided in the medical device 40 described later.

取得部２３は、本体部２７の挿入部２７１に挿入された医療器具４０に関する医療器具情報を取得する。具体的には、取得部２３は、後述する医療器具４０内に設けられたＩＣチップ４１であって、医療器具４０に関する医療器具情報を記録したＩＣチップ４１から無線通信によって、ＩＣチップ４１から医療器具情報を取得する。例えば、取得部２３は、医療器具４０内に設けられたＲＦＩＤ（Radio Frequency Identifier）から医療器具情報を取得する。取得部２３は、ＩＣチップリーダまたはＲＦＩＤリーダ等を用いて実現される。ここで、医療器具情報には、医療器具４０の種別（例えば鉗子や電気メス）、医療器具４０の型番、医療器具４０が使用される手技、医療器具４０の形状および医療器具４０の製造年月日の少なくとも１つ以上が含まれる。なお、図２および図３では、取得部２３がトロッカー２０の本体部２７に設けられているが、医療器具４０のＩＣチップ４１から医療器具情報を取得することができればよく、例えば本体部２７に着脱自在なものであってもよい。例えば、取得部２３は、医療器具４０に印字された２次元コード等を読み取り可能なリーダ等であってもよい。 The acquisition unit 23 acquires medical device information regarding the medical device 40 inserted into the insertion unit 271 of the main body 27. Specifically, the acquisition unit 23 is an IC chip 41 provided in the medical device 40, which will be described later, and medical treatment is performed from the IC chip 41 by wireless communication from the IC chip 41 that records medical device information related to the medical device 40. Get device information. For example, the acquisition unit 23 acquires medical device information from an RFID (Radio Frequency Identifier) provided in the medical device 40. The acquisition unit 23 is realized by using an IC chip reader, an RFID reader, or the like. Here, the medical device information includes the type of the medical device 40 (for example, forceps or electric knife), the model number of the medical device 40, the procedure in which the medical device 40 is used, the shape of the medical device 40, and the date of manufacture of the medical device 40. Includes at least one or more of the days. In addition, in FIGS. 2 and 3, the acquisition unit 23 is provided in the main body 27 of the trocar 20, but it is sufficient if the medical device information can be acquired from the IC chip 41 of the medical device 40, for example, in the main body 27. It may be removable. For example, the acquisition unit 23 may be a reader or the like capable of reading a two-dimensional code or the like printed on the medical device 40.

通信部２４は、第１の検出部２１の検出結果、第２の検出部２２の検出結果、取得部２３の取得結果、第３の検出部２５の検出結果および第４の検出部２６の検出結果の各々を、伝送ケーブルを経由して医療用撮像装置３０へ送信する。通信部２４は、所定の通信フォーマットに従って送信する。通信部２４は、通信モジュール等を用いて実現される。なお、通信部２４は、図１〜図３において、有線によって医療用撮像装置３０へ各種の検出結果および取得結果を送信しているが、例えば無線通信によって医療用撮像装置３０または制御装置８０へ送信してもよい。無線通信としては、Ｗｉ−Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）が用いられる。 The communication unit 24 detects the detection result of the first detection unit 21, the detection result of the second detection unit 22, the acquisition result of the acquisition unit 23, the detection result of the third detection unit 25, and the detection of the fourth detection unit 26. Each of the results is transmitted to the medical imaging device 30 via a transmission cable. The communication unit 24 transmits according to a predetermined communication format. The communication unit 24 is realized by using a communication module or the like. In addition, in FIGS. 1 to 3, the communication unit 24 transmits various detection results and acquisition results to the medical image pickup device 30 by wire, and for example, to the medical image pickup device 30 or the control device 80 by wireless communication. You may send it. As wireless communication, Wi-Fi (registered trademark) or Bluetooth (registered trademark) is used.

第３の検出部２５は、本体部２７の挿入部２７１に挿入される医療器具４０の挿入量を検出する。具体的には、第３の検出部２５は、医療器具４０の先端からトロッカー２０の先端から突出した医療器具４０の長さを挿入量として検出する。第３の検出部２５は、例えば変位センサ、エンコーダまたは光電センサ等を用いて実現される。 The third detection unit 25 detects the insertion amount of the medical device 40 inserted into the insertion unit 271 of the main body 27. Specifically, the third detection unit 25 detects the length of the medical device 40 protruding from the tip of the trocar 20 from the tip of the medical device 40 as the insertion amount. The third detection unit 25 is realized by using, for example, a displacement sensor, an encoder, a photoelectric sensor, or the like.

第４の検出部２６は、所定の時間毎に、本体部２７の挿入部２７１を軸に回転する医療器具４０の回転量を検出する。第４の検出部２６は、例えば変位センサ、エンコーダまたは光電センサ等を用いて実現される。 The fourth detection unit 26 detects the amount of rotation of the medical device 40 that rotates about the insertion unit 271 of the main body 27 at predetermined time intervals. The fourth detection unit 26 is realized by using, for example, a displacement sensor, an encoder, a photoelectric sensor, or the like.

本体部２７は、筒状をなし、外部から医療器具４０が挿入可能な挿入部２７１と、被検体Ｏ１内に挿入される突部２７２と、被検体Ｏ１から露出する露出部２７３と、を有する。本体部２７は、被検体Ｏ１に形成された穴（図示せず）を経由して被検体Ｏ１内に突部２７２が挿入される。 Body portion 27, a cylindrical shape, the medical instrument 40 can be inserted insertion portion 271 from the outside, a projection 272 to be inserted into the object O 1, and the exposed portion 273 exposed from the object O 1, Has. Body portion 27, the projection 272 to the object O 1 via the insertion holes formed in the object O 1 (not shown).

〔医療用撮像装置の構成〕
次に、医療用撮像装置３０の構成について説明する。医療用撮像装置３０は、撮像部３１と、通信部３２と、撮像制御部３３と、を備える。 [Configuration of medical imaging device]
Next, the configuration of the medical imaging device 30 will be described. The medical imaging device 30 includes an imaging unit 31, a communication unit 32, and an imaging control unit 33.

撮像部３１は、撮像制御部３３の制御のもと、被検体Ｏ１内における観察対象を撮像することによって画像データを生成し、この画像データを通信部３２へ出力する。撮像部３１は、光学系３１１と、撮像素子３１２と、を有する。光学系３１１は、１または複数のレンズを用いて構成される。光学系３１１は、観察対象からの反射光および戻り光を集光して被写体像を撮像素子３１２の受光面に結像する。撮像素子３１２は、ＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサを用いて実現される。撮像素子３１２は、撮像制御部３３の制御のもと、光学系３１１が受光面に結像した被写体像に対して光電変換を行うことによって画像データを生成し、この画像データを通信部３２へ送信する。 Under the control of the image pickup control unit 33, the image pickup unit 31 generates image data by imaging the observation target in the subject O1, and outputs the image data to the communication unit 32. The image pickup unit 31 includes an optical system 311 and an image pickup device 312. The optical system 311 is configured using one or more lenses. The optical system 311 collects the reflected light and the return light from the observation target and forms a subject image on the light receiving surface of the image pickup device 312. The image sensor 312 is realized by using an image sensor such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor. Under the control of the image pickup control unit 33, the image pickup element 312 generates image data by performing photoelectric conversion on the subject image imaged on the light receiving surface by the optical system 311 and transfers this image data to the communication unit 32. Send.

通信部３２は、撮像制御部３３の制御のもと、撮像部３１から入力された画像データ、トロッカー２０から入力された検出結果および取得結果を制御装置８０へ送信する。通信部３２は、画像データに対してＰ／Ｓ変換処理等を行って制御装置８０へ送信する。通信部３２は、Ｐ／Ｓ変換回路および通信モジュール等を用いて実現される。なお、通信部３２は、無線通信または光通信によって画像データ等を制御装置８０へ送信してもよい。 Under the control of the image pickup control unit 33, the communication unit 32 transmits the image data input from the image pickup unit 31 and the detection result and the acquisition result input from the trocar 20 to the control device 80. The communication unit 32 performs P / S conversion processing or the like on the image data and transmits the image data to the control device 80. The communication unit 32 is realized by using a P / S conversion circuit, a communication module, and the like. The communication unit 32 may transmit image data or the like to the control device 80 by wireless communication or optical communication.

撮像制御部３３は、医療用撮像装置３０を構成する各部を制御する。撮像制御部３３は、メモリと、ＣＰＵまたはＦＰＧＡ等のハードウェアを有するプロセッサと、を用いて実現される。 The image pickup control unit 33 controls each unit constituting the medical image pickup device 30. The image pickup control unit 33 is realized by using a memory and a processor having hardware such as a CPU or FPGA.

〔制御装置の構成〕
次に、制御装置８０の構成について説明する。制御装置８０は、第１の通信部８１と、画像処理部８２と、入力部８３と、推論部８４と、記録部８５と、第２の通信部８６と、制御部８７と、を備える。 [Control device configuration]
Next, the configuration of the control device 80 will be described. The control device 80 includes a first communication unit 81, an image processing unit 82, an input unit 83, an inference unit 84, a recording unit 85, a second communication unit 86, and a control unit 87.

第１の通信部８１は、制御部８７の制御のもと、医療用撮像装置３０に各種の制御データを送信し、かつ、医療用撮像装置３０から送信された各種のデータを画像処理部８２または制御部８７へ出力する。第１の通信部８１は、例えばＳ／Ｐ変換回路および通信モジュール等を用いて実現される。また、第１の通信部８１は、医療用撮像装置３０に対して無線通信または光通信によって各種データを送信してもよい。 Under the control of the control unit 87, the first communication unit 81 transmits various control data to the medical image pickup device 30, and also transmits various data transmitted from the medical image pickup device 30 to the image processing unit 82. Alternatively, it is output to the control unit 87. The first communication unit 81 is realized by using, for example, an S / P conversion circuit, a communication module, or the like. Further, the first communication unit 81 may transmit various data to the medical imaging device 30 by wireless communication or optical communication.

画像処理部８２は、制御部８７の制御のもと、第１の通信部８１を経由して医療用撮像装置３０から入力された画像データに対して各種の画像処理を行って表示装置７０へ出力することによって画像データに基づくライブビュー画像を表示装置７０に表示させる。また、画像処理部８２は、制御部８７の制御のもと、後述する画像サーバ９０から取得されたシミュレーション画像データ（ポリンゴン画像データ）と、後述する推論部８４の推論結果と、に基づいて、被検体Ｏ１内の観察対象のシミュレーション画像（ポリゴンデータにグラフィック化を施したシミュレーション画像）を生成し、このシミュレーション画像を表示装置７０へ出力することによってシミュレーション画像を表示させる。画像処理部８２は、メモリと、ＧＰＵ（Graphics Processing Unit）およびＦＰＧＡ等のハードウェアを有するプロセッサを用いて実現される。 Under the control of the control unit 87, the image processing unit 82 performs various image processing on the image data input from the medical imaging device 30 via the first communication unit 81 to the display device 70. By outputting, a live view image based on the image data is displayed on the display device 70. Further, the image processing unit 82 is based on the simulation image data (poringon image data) acquired from the image server 90 described later and the inference result of the inference unit 84 described later under the control of the control unit 87. A simulation image of an observation target (simulation image obtained by graphicizing polygon data) in the subject O 1 is generated, and the simulation image is displayed by outputting the simulation image to the display device 70. The image processing unit 82 is realized by using a memory and a processor having hardware such as a GPU (Graphics Processing Unit) and an FPGA.

入力部８３は、ユーザからの操作の入力を受け付け、受け付けた操作内容に応じて信号を制御部８７へ出力する。入力部８３は、マウス、キーボード、タッチパネル、スイッチおよびボタン等を用いて実現される。 The input unit 83 receives an input of an operation from the user and outputs a signal to the control unit 87 according to the received operation content. The input unit 83 is realized by using a mouse, a keyboard, a touch panel, switches, buttons, and the like.

推論部８４は、制御部８７の制御のもと、画像データに基づくライブビュー画像と、第２の通信部８６を経由して画像サーバ９０から取得されたシミュレーション画像データと、に基づいて、ライブビュー画像に写る被検体Ｏ１の観察対処の臓器および位置を推定し、この推定結果を画像処理部８２および制御部８７へ出力する。推論部８４は、学習パラメータとして、ライブビュー画像、このライブビュー画像に写る臓器および位置、医療用撮像装置３０の先端から臓器までの距離を示す距離情報およびライブビュー画像の特徴量、複数のシミュレーション画像データ（例えばＣＴ画像データおよびＭＲＩ画像データの少なくとも一方に基づくポリゴンデータ）等を学習パラメータ（教師データ）として、この学習パラメータをディープラーニング（Deep Learning）等によって機械学習され、出力パラメータとしてライブビュー画像に写る被検体Ｏ１の観察対処の臓器および位置を推定した推定結果を出力する学習済みモデルを用いて実現される。ここで、機械学習としては、ＤＮＮ（Deep Neural Network）、ＣＮＮ（Convolutional Neural Network）およびＲＮＮ（Recurrent Neural Network）等が用いられる。また、推論部８４は、医療用撮像装置３０によって生成された画像データに基づくライブビュー画像が光源装置６０によってマルチスペクトル光が照射されたマルチスペクトル画像データである場合、マルチスペクトル画像データに含まれる反射光周波数（各スペクトル毎）の違いを用いてマルチスペクトル画像データに写る被検体Ｏ１の観察対象の各部の生体組織種別（例えば胆嚢や膵臓等の臓器、血管、神経、リンパ、尿管および脂肪等）と、それらの位置（領域）と、を推定し、この推定結果を画像処理部８２および制御部８７へ出力する。また、推論部８４は、メモリと、ＧＰＵ等のハードウェアを有するプロセッサを用いて実現される。 Under the control of the control unit 87, the inference unit 84 performs live based on the live view image based on the image data and the simulation image data acquired from the image server 90 via the second communication unit 86. estimating an organ and the position of the observation addressed the subject O 1 caught on view image, and outputs the estimation result to the image processing unit 82 and the control unit 87. As learning parameters, the inference unit 84 includes a live view image, organs and positions reflected in the live view image, distance information indicating the distance from the tip of the medical imaging device 30 to the organ, feature quantities of the live view image, and a plurality of simulations. Image data (for example, polygon data based on at least one of CT image data and MRI image data) is used as a learning parameter (teacher data), and this learning parameter is machine-learned by deep learning or the like, and live view is used as an output parameter. is implemented using the learned model for outputting the estimation result to estimate the organ and the position of the observation addressed the subject O 1 caught on the image. Here, as machine learning, DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network) and the like are used. Further, the inference unit 84 is included in the multispectral image data when the live view image based on the image data generated by the medical imaging device 30 is the multispectral image data irradiated with the multispectral light by the light source device 60. It reflected light frequency organs such as the living tissue type (e.g. gallbladder and pancreatic each part of the observation target object O 1 caught on multispectral image data using the difference between (each per spectrum), blood vessels, nerves, lymph, urinary tract and (Fat, etc.) and their positions (regions) are estimated, and the estimation results are output to the image processing unit 82 and the control unit 87. Further, the inference unit 84 is realized by using a processor having hardware such as a memory and a GPU.

記録部８５は、医療用観察システム１に関する各種のデータを記録する。記録部８５は、医療用観察システム１が実行する各種のプログラムを記録するプログラム記録部８５１を有する。記録部８５は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）およびＳＳＤ（Solid State Drive）等を用いて実現される。 The recording unit 85 records various data related to the medical observation system 1. The recording unit 85 has a program recording unit 851 that records various programs executed by the medical observation system 1. The recording unit 85 is realized by using a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like.

第２の通信部８６は、制御部８７の制御のもと、ネットワーク１００を経由して画像サーバ９０から被検体Ｏ１に対応する患者シミュレーションデータを取得し、取得した患者シミュレーション画像データを制御部８７および画像処理部８２へ出力する。第２の通信部８６は、通信モジュール等を用いて実現される。 The second communication unit 86, under the control of the control unit 87 acquires the patient simulation data via the network 100 corresponds from the image server 90 to the object O 1, control the patient simulation image data acquisition unit It is output to 87 and the image processing unit 82. The second communication unit 86 is realized by using a communication module or the like.

制御部８７は、制御装置８０を構成する各部を制御する。制御部８７は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて実現される。制御部８７は、術者によって把持された医療器具４０，５０が挿入され、かつ、医療器具４０，５０の被検体Ｏ１内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカー２０の検出結果に基づいて、被検体Ｏ１内の観察対象を撮像することによって生成された第１の画像および予め取得された被検体Ｏ１内の観察対象の第２の画像の少なくとも一方を表示装置７０に表示させる。第１の画像とは、ライブビュー画像である。また、第２の画像とは、シミュレーション画像である。具体的には、制御部８７は、医療器具４０，５０が第２の状態である場合、ライブビュー画像を表示装置７０に表示させる。また、制御部８７は、医療器具４０，５０が第１の状態である場合、ライブビュー画像およびシミュレーション画像の少なくとも一方を表示装置７０に表示させる。さらに、制御部８７は、トロッカー２０によって検出された医療器具４０，５０に関する医療器具情報に基づいて、シミュレーション画像上に医療器具に対応する医療器具画像を重畳して表示装置７０に表示させる。 The control unit 87 controls each unit constituting the control device 80. The control unit 87 is realized by using a processor having hardware such as a memory and a CPU. Controller 87, the medical instrument 40, 50 gripped by the operator is inserted, and detects the first and second states indicating the insertion state into the subject O 1 of the medical device 40, 50 possible based on one or more trocar 20 of the detection result, the observation target of the first image and the previously acquired the object O 1 generated by imaging the observation target in the object O 1 second At least one of the images of 2 is displayed on the display device 70. The first image is a live view image. The second image is a simulation image. Specifically, the control unit 87 causes the display device 70 to display the live view image when the medical devices 40 and 50 are in the second state. Further, when the medical devices 40 and 50 are in the first state, the control unit 87 causes the display device 70 to display at least one of the live view image and the simulation image. Further, the control unit 87 superimposes the medical device image corresponding to the medical device on the simulation image and displays it on the display device 70 based on the medical device information about the medical devices 40 and 50 detected by the trocar 20.

さらにまた、制御部８７は、医療器具４０，５０に対する術者の操作内容に基づいて、医療器具画像およびシミュレーション画像の表示態様を制御する。具体的には、制御部８７は、トロッカー２０が検出したトロッカー２０の挿入部２７１への医療器具４０，５０の挿入量およびトロッカー２０の挿入部２７１を軸に回転する医療器具４０，５０の回転量に基づいて、シミュレーション画像に写る観察対象を水平方向および水平方向の少なくとも一方に回転させる表示装置７０に表示させる。また、制御部８７は、ライブビュー画像からシミュレーション画像に切り替える場合、推論部８４の推定結果に基づいて、ライブビュー画像に写る臓器の位置とシミュレーション画像に含まれる臓器の位置との位置合わせを行ってシミュレーション画像を表示装置７０に表示させる。また、制御部８７は、医療器具４０，５０が第１の状態である場合、ライブビュー画像とシミュレーション画像とを並列させて表示装置７０に表示させる、またはシミュレーション画像上にライブビュー画像を縮小して重畳した状態で表示装置７０に表示させる。さらに、制御部８７は、ライブビュー画像からシミュレーション画像を切り替える場合、表示装置７０に警告を出力させる。 Furthermore, the control unit 87 controls the display mode of the medical device image and the simulation image based on the operation contents of the operator with respect to the medical devices 40 and 50. Specifically, the control unit 87 inserts the medical device 40, 50 into the insertion section 271 of the trocar 20 detected by the trocar 20, and rotates the medical device 40, 50 that rotates about the insertion section 271 of the trocar 20. Based on the quantity, the observation target shown in the simulation image is displayed on the display device 70 that rotates in at least one of the horizontal direction and the horizontal direction. Further, when switching from the live view image to the simulation image, the control unit 87 aligns the positions of the organs reflected in the live view image with the positions of the organs included in the simulation image based on the estimation result of the inference unit 84. The simulation image is displayed on the display device 70. Further, when the medical instruments 40 and 50 are in the first state, the control unit 87 displays the live view image and the simulation image in parallel on the display device 70, or reduces the live view image on the simulation image. The display device 70 is displayed in a superposed state. Further, the control unit 87 causes the display device 70 to output a warning when switching the simulation image from the live view image.

〔画像サーバの構成〕
次に、画像サーバ９０の構成について説明する。画像サーバ９０は、通信部９１、患者シミュレーション画像データ記録部９２と、患者２次元画像データ記録部９３と、患者データ記録部９４と、医療器具データ記録部９５と、生成部９６と、サーバ制御部９７と、を備える。 [Image server configuration]
Next, the configuration of the image server 90 will be described. The image server 90 includes a communication unit 91, a patient simulation image data recording unit 92, a patient two-dimensional image data recording unit 93, a patient data recording unit 94, a medical device data recording unit 95, a generation unit 96, and server control. A unit 97 is provided.

通信部９１は、サーバ制御部９７の制御のもと、ネットワーク１００を経由して制御装置８０から要求があった被検体Ｏ１に対する患者のシミュレーション画像データを制御装置８０へ送信する。通信部９１は、通信モジュール等を用いて実現される。 The communication unit 91 under the control of the server control unit 97 transmits the simulation image data of the patient to the subject O 1 there is a request from the control device 80 via the network 100 to the controller 80. The communication unit 91 is realized by using a communication module or the like.

患者シミュレーション画像データ記録部９２は、ＨＤＤおよびＳＳＤ等を用いて実現される。患者シミュレーション画像データ記録部９２は、複数の患者の各々を識別する患者ＩＤと、シミュレーション画像データと、を対応付けて記録する。ここで、シミュレーション画像データとは、後述する生成部９６が患者（被検体Ｏ１）に対してＣＴ検査またはＭＲＩ検査等によって取得した２次元画像データに基づいて生成した３次元のポリゴンデータで構成された３次元の画像データである。なお、シミュレーション画像データとは、臓器を用いた３次元空間における手術シミュレーションを行うためのデータであって、臓器または医療器具に関するデータを含む。臓器および医療器具毎のシミュレーション画像データは、以下のパラメータを含み、三次元空間上のポリゴンデータ等で規定する。（１）位置（臓器の位置（座標情報））、（２）形状（臓器の形状、医療器具毎の形状）。さらに、臓器および医療器具毎のシミュレーション画像データは、以下のパラメータ（３）〜（７）を含んでいてもよい。（３）質量密度、（４）剛性、（５）摩擦、（６）粘性、（７）触覚。また、シミュレーション画像データは、医療器具または臓器の経時的な動きや変形に関する時系列変化の情報をさらに含むことができる。 The patient simulation image data recording unit 92 is realized by using an HDD, an SSD, or the like. The patient simulation image data recording unit 92 records the patient ID that identifies each of the plurality of patients and the simulation image data in association with each other. Here, the simulation image data, constituted by three-dimensional polygon data generation unit 96 is generated based on the two-dimensional image data obtained by CT scanning or MRI inspection on a patient (subject O 1) to be described later It is the three-dimensional image data obtained. The simulation image data is data for performing a surgical simulation in a three-dimensional space using an organ, and includes data on an organ or a medical instrument. The simulation image data for each organ and medical device includes the following parameters and is defined by polygon data in three-dimensional space. (1) Position (organ position (coordinate information)), (2) Shape (organ shape, shape for each medical device). Furthermore, the simulation image data for each organ and medical device may include the following parameters (3) to (7). (3) Mass density, (4) Rigidity, (5) Friction, (6) Viscosity, (7) Tactile sensation. In addition, the simulation image data can further include information on time-series changes relating to the movement and deformation of the medical device or organ over time.

患者２次元画像データ記録部９３は、複数の患者の各々を識別する患者ＩＤと、ＣＴ検査またはＭＲＩ検査等によって取得した２次元画像データと、を対応付けて記録する。患者２次元画像データ記録部９３は、ＨＤＤおよびＳＳＤ等を用いて実現される。 The patient two-dimensional image data recording unit 93 records the patient ID that identifies each of the plurality of patients in association with the two-dimensional image data acquired by a CT examination, an MRI examination, or the like. The patient two-dimensional image data recording unit 93 is realized by using an HDD, an SSD, or the like.

患者データ記録部９４は、複数の患者の各々を識別する患者ＩＤと、複数の患者の各々のカルテデータ（診察結果または症状）と、を対応付けて記録する。患者データ記録部９４は、ＨＤＤおよびＳＳＤ等を用いて実現される。 The patient data recording unit 94 records the patient ID that identifies each of the plurality of patients and the medical record data (examination result or symptom) of each of the plurality of patients in association with each other. The patient data recording unit 94 is realized by using an HDD, an SSD, or the like.

医療器具データ記録部９５は、複数の医療器具の各々の医療器具情報と、複数の医療器具の各々の医療器具画像（アニメーション画像データ）と、を対応付けて記録する。医療器具データ記録部９５は、ＨＤＤおよびＳＳＤ等を用いて実現される。 The medical device data recording unit 95 records the medical device information of each of the plurality of medical devices and the medical device image (animation image data) of each of the plurality of medical devices in association with each other. The medical device data recording unit 95 is realized by using an HDD, an SSD, or the like.

生成部９６は、サーバ制御部９７の制御のもと、患者２次元画像データ記録部９３が記録する２次元画像データに基づいて、患者のシミュレーション画像データを生成する。例えば、生成部９６は、患者２次元画像データ記録部９３が記録する２次元画像データに基づいて、３次元のシミュレーション画像データを生成し、このシミュレーション画像データを患者シミュレーション画像データ記録部９２に記録する。 The generation unit 96 generates simulation image data of the patient based on the two-dimensional image data recorded by the patient two-dimensional image data recording unit 93 under the control of the server control unit 97. For example, the generation unit 96 generates three-dimensional simulation image data based on the two-dimensional image data recorded by the patient two-dimensional image data recording unit 93, and records the simulation image data in the patient simulation image data recording unit 92. do.

サーバ制御部９７は、通信部９１から入力された制御装置８０から要求があった被検体Ｏ１に対応するシミュレーション画像データを、患者シミュレーション画像データ記録部９２から取得し、取得した患者シミュレーション画像データを通信部９１に送信させる。サーバ制御部９７は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて実現される。 Server control unit 97, a simulation image data corresponding to the object O 1 there is a request from the control unit 80 which is input from the communication unit 91 acquires from the patient simulation image data recording unit 92, the acquired patient simulation image data Is transmitted to the communication unit 91. The server control unit 97 is realized by using a processor having hardware such as a memory and a CPU.

〔トロッカーによる医療器具の検出状況〕
次に、トロッカー２０による医療器具４０，５０を挿入した際の検出状況について説明する。図４Ａ〜図４Ｅは、トロッカー２０に医療器具４０を挿入した際の検出状況を模式的に示す断面図である。なお、図４Ａ〜図４Ｅでは、説明を簡略化するため、被検体Ｏ１を省略している。さらに、図４Ａ〜図４Ｅでは、医療器具４０として鉗子を挿入する場合について説明する。 [Detection status of medical devices by trocars]
Next, the detection status when the medical devices 40 and 50 by the trocar 20 are inserted will be described. 4A to 4E are cross-sectional views schematically showing a detection state when the medical device 40 is inserted into the trocar 20. In FIG 4A~ Figure 4E, in order to simplify the explanation are omitted object O 1. Further, in FIGS. 4A to 4E, a case where the forceps are inserted as the medical instrument 40 will be described.

図４Ａに示すように、まず、術者は、被検体Ｏ１内に挿入された状態のトロッカー２０の挿入部２７１に対して、医療器具４０を挿入する。この場合において、図４Ｂに示すように、術者は、医療器具４０を挿入するに従って、医療器具４０の先端が第１の検出部２１の嵌合部材２１３に当接する。このとき、図４Ｃに示すように、術者は、医療器具４０をトロッカー２０の挿入方向にさらに押し込むことによって、付勢部材２１２の付勢力より術者による医療器具４０の押圧力を強くなることで、嵌合部材２１３が挿入部２７１の外縁側（矢印Ａを参照）に退避する。これにより、術者は、医療器具４０を挿入方向にそって挿入することができる。この場合、第１の検出部２１は、医療器具４０が第１の状態となったことを示す検出結果を、医療用撮像装置３０を経由して制御装置８０へ出力する。また、図４Ｃに示すように、取得部２３は、医療器具４０に設けられたＩＣチップ４１から医療器具情報を取得し、この医療器具情報を、医療用撮像装置３０を経由して制御装置８０へ出力する。この医療器具４０が第１の状態において、制御部８７は、予め取得された被検体Ｏ１内の観察対象の第２の画像を表示装置７０に表示させる（シミュレーションモード）。さらに、図４Ｃに示すように、第３の検出部２５は、検出した術者によるトロッカー２０の挿入部２５１への医療器具４０の挿入量を、医療用撮像装置３０を経由して制御装置８０へ出力する。さらにまた、図４Ｃに示すように、第４の検出部２６は、検出した術者によるトロッカー２０の挿入部２５１内での医療器具４０の回転量を、医療用撮像装置３０を経由して制御装置８０へ出力する。 As shown in FIG. 4A, first, the operator, the insertion portion 271 of the trocar 20 in a state of being inserted into the object O 1, inserting a medical instrument 40. In this case, as shown in FIG. 4B, as the medical device 40 is inserted, the tip of the medical device 40 comes into contact with the fitting member 213 of the first detection unit 21. At this time, as shown in FIG. 4C, the surgeon further pushes the medical device 40 in the insertion direction of the trocar 20 so that the pushing force of the medical device 40 by the surgeon becomes stronger than the urging force of the urging member 212. Then, the fitting member 213 retracts to the outer edge side (see arrow A) of the insertion portion 271. This allows the surgeon to insert the medical device 40 along the insertion direction. In this case, the first detection unit 21 outputs a detection result indicating that the medical device 40 is in the first state to the control device 80 via the medical imaging device 30. Further, as shown in FIG. 4C, the acquisition unit 23 acquires medical device information from the IC chip 41 provided in the medical device 40, and obtains the medical device information from the control device 80 via the medical imaging device 30. Output to. In the medical instrument 40 is the first state, the control unit 87 displays the second image of the observed object has been previously obtained the object O 1 in the display device 70 (simulation mode). Further, as shown in FIG. 4C, the third detection unit 25 controls the amount of the medical device 40 inserted into the insertion unit 251 of the trocar 20 by the detected operator via the medical imaging device 30. Output to. Furthermore, as shown in FIG. 4C, the fourth detection unit 26 controls the amount of rotation of the medical device 40 in the insertion unit 251 of the trocar 20 by the detected operator via the medical imaging device 30. Output to device 80.

続いて、図４Ｄに示すように、術者は、第１の検出部２１が第１の状態を検出した状態から、医療器具４０をさらに挿入方向に沿って挿入し、医療器具４０の先端が第１の検出部２１の嵌合部材２１３に当接する。この場合、図４Ｅに示すように、術者は、第１の検出部２１の場合と同様に、医療器具４０をトロッカー２０の挿入方向にさらに押し込むことによって、付勢部材２２２の付勢力より術者による医療器具４０の押圧力を強くなることで、嵌合部材２２３が挿入部２７１の外縁側（矢印Ｂを参照）に退避する。これにより、術者は、医療器具４０を被検体Ｏ１内に挿入することができる。この場合において、第１の検出部２１は、医療器具４０が第２の状態となったことを示す検出結果を、医療用撮像装置３０を経由して制御装置８０へ出力する。 Subsequently, as shown in FIG. 4D, the operator further inserts the medical instrument 40 along the insertion direction from the state in which the first detection unit 21 detects the first state, and the tip of the medical instrument 40 is inserted. It comes into contact with the fitting member 213 of the first detection unit 21. In this case, as shown in FIG. 4E, the operator further pushes the medical device 40 in the insertion direction of the trocar 20 to perform the operation from the urging force of the urging member 222, as in the case of the first detection unit 21. By increasing the pressing force of the medical device 40 by the person, the fitting member 223 retracts to the outer edge side (see arrow B) of the insertion portion 271. Thus, the surgeon can insert the medical instrument 40 to the object O 1. In this case, the first detection unit 21 outputs a detection result indicating that the medical device 40 is in the second state to the control device 80 via the medical imaging device 30.

その後、図４Ｅに示すように、第１の検出部２１の嵌合部材２１３および第２の検出部２２の嵌合部材２２３の各々は、医療器具４０に設けられた円環状をなす凹部４２および円環状をなす凹部４３に嵌合する。この場合において、制御部８７は、医療器具４０の先端が第２の検出部２２の嵌合部材２２３を通過したとき、予め取得された被検体Ｏ１内の観察対象のシミュレーション画像から被検体Ｏ１内の観察対象を撮像することによって生成されたライブビュー画像を表示装置７０に表示させる（シミュレーションモードからライブビューモードに切り替える）。これにより、医療器具４０が術者の意に反してトロッカー２０から抜け落ちることを防止することができる。さらに、術者は、滞りなく、シミュレーション画像からライブビュー画像に切り替えることができる。さらにまた、術者は、第１の検出部２１の嵌合部材２１３および第２の検出部２２の嵌合部材２２３の各々が嵌合した状態であっても、凹部４２および凹部４３の各々が円環状をなすため、医療器具４０を回転させながら使用することができる。この場合、制御部８７は、第３の検出部２５が検出した医療器具４０の挿入量および第４の検出部２６が検出した医療器具４０の回転量に基づいて、シミュレーション画像に写る観察対象を水平方向および水平方向の少なくとも一方に回転させる表示装置７０に表示させる。これにより、術者は、医療器具４０を操作することによって、シミュレーション画像に写る観察対象を別視点で仮想的に確認することができる。 After that, as shown in FIG. 4E, each of the fitting member 213 of the first detection unit 21 and the fitting member 223 of the second detection unit 22 has an annular recess 42 and an annular recess 42 provided in the medical device 40. It fits into the annular recess 43. In this case, the control unit 87, when the tip of the medical instrument 40 is passed through the fitting member 223 of the second detection unit 22, has been previously obtained the object O from the simulation images of the observation target object O 1 The live view image generated by imaging the observation target in 1 is displayed on the display device 70 (switching from the simulation mode to the live view mode). As a result, it is possible to prevent the medical device 40 from falling out of the trocar 20 against the will of the operator. In addition, the surgeon can switch from the simulation image to the live view image without delay. Furthermore, the operator can see that even if the fitting member 213 of the first detection unit 21 and the fitting member 223 of the second detection unit 22 are each fitted, each of the recess 42 and the recess 43 is fitted. Since it forms an annular shape, the medical device 40 can be used while rotating. In this case, the control unit 87 determines the observation target to be reflected in the simulation image based on the insertion amount of the medical device 40 detected by the third detection unit 25 and the rotation amount of the medical device 40 detected by the fourth detection unit 26. The display device 70, which rotates in at least one of the horizontal direction and the horizontal direction, displays the display. As a result, the surgeon can virtually confirm the observation target reflected in the simulation image from another viewpoint by operating the medical instrument 40.

続いて、術者は、被検体Ｏ１の観察対象に対して表示装置７０によって表示されるライブビュー画像を見ながら処置を行う。この場合において、術者は、表示装置７０が表示するライブビュー画像に写る観察対象（処置対象）に対して、メルクマークを見つかられないとき、または術前に確認したＣＴ画像またはＭＲＩ画像において予測した状況と異なっているとき、医療器具４０が被検体Ｏ１内に露出していない第１の状態までに引き抜く操作を行う。これにより、医療用観察システム１は、ライブビュー画像を表示するライブビューモードから被検体Ｏ１のシミュレーション画像を表示させて観察対象に対して仮想的に処置可能なシミュレーションモードへ切り替える。この結果、術者は、医療器具４０を把持しながらライブビューモードとシミュレーションモードとを瞬時に切り替えることができる。さらに、第２の検出部２２は、医療用観察システム１がシミュレーションモードに切り替わった場合、嵌合部材２２３が挿入部２７１の挿入方向と直交する方向に飛び出しているため、術者の意図に反して医療器具４０が被検体Ｏ１内に挿入されることを防止することができる。このとき、制御部８７は、第３の検出部２５が検出した医療器具４０の挿入量および第４の検出部２６が検出した医療器具４０の回転量に基づいて、シミュレーション画像に写る観察対象を水平方向および水平方向の少なくとも一方に回転させる表示装置７０に表示させる。これにより、術者は、術前に確認したＣＴ画像またはＭＲＩ画像において予測した状況と異なっている場合であっても、医療器具４０を操作することによって、シミュレーション画像に写る観察対象を別視点で仮想的に確認することができる。 Subsequently, the operator performs treatment while viewing a live view image displayed by the display device 70 with respect to the observation target object O 1. In this case, the surgeon predicts when the Merck mark cannot be found for the observation target (treatment target) shown in the live view image displayed by the display device 70, or in the CT image or MRI image confirmed before the operation. when different from the situation, performs an operation of the medical instrument 40 is withdrawn until the first state that is not exposed to the object O 1. As a result, the medical observation system 1 switches from the live view mode in which the live view image is displayed to the simulation mode in which the simulation image of the subject O 1 is displayed and the observation target can be virtually treated. As a result, the surgeon can instantly switch between the live view mode and the simulation mode while grasping the medical device 40. Further, in the second detection unit 22, when the medical observation system 1 is switched to the simulation mode, the fitting member 223 protrudes in the direction orthogonal to the insertion direction of the insertion unit 271, which is contrary to the intention of the operator. medical device 40 can be prevented from being inserted into the subject O 1 Te. At this time, the control unit 87 determines the observation target to be reflected in the simulation image based on the insertion amount of the medical device 40 detected by the third detection unit 25 and the rotation amount of the medical device 40 detected by the fourth detection unit 26. The display device 70, which rotates in at least one of the horizontal direction and the horizontal direction, displays the display. As a result, the surgeon can operate the medical instrument 40 to view the observation target in the simulation image from a different viewpoint even if the situation is different from the predicted situation in the CT image or MRI image confirmed before the operation. It can be confirmed virtually.

〔医療用観察システムの処理〕
次に、医療用観察システム１が実行する処理について説明する。図５は、医療用観察システム１が実行する処理の概要を示すフローチャートである。 [Processing of medical observation system]
Next, the process executed by the medical observation system 1 will be described. FIG. 5 is a flowchart showing an outline of the processing executed by the medical observation system 1.

図５に示すように、まず、制御部８７は、トロッカー２０の第１の検出部２１によって検出された検出結果に基づいて、医療器具４０が第１の状態であるか否かを判断する（ステップＳ１０１）。具体的には、制御部８７は、トロッカー２０の第１の検出部２１から医療器具４０の挿入を検出した検出結果が入力されたか否かを判断する。制御部８７によって医療器具４０が第１の状態であると判断された場合（ステップＳ１０１：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ１０２へ移行する。これに対して、制御部８７によって医療器具４０が第１の状態でないと判断された場合（ステップＳ１０１：Ｎｏ）、医療用観察システム１は、後述するステップＳ１０８へ移行する。 As shown in FIG. 5, first, the control unit 87 determines whether or not the medical device 40 is in the first state based on the detection result detected by the first detection unit 21 of the trocar 20 (). Step S101). Specifically, the control unit 87 determines whether or not the detection result of detecting the insertion of the medical device 40 is input from the first detection unit 21 of the trocar 20. When the control unit 87 determines that the medical device 40 is in the first state (step S101: Yes), the medical observation system 1 shifts to step S102, which will be described later. On the other hand, when the control unit 87 determines that the medical device 40 is not in the first state (step S101: No), the medical observation system 1 shifts to step S108, which will be described later.

ステップＳ１０２において、制御部８７は、取得部２３によって取得された医療器具４０に関する医療器具情報を取得する。具体的には、取得部２３は、医療器具４０のＩＣチップ４１から医療器具情報を取得し、この取得した医療器具情報を、医療用撮像装置３０を経由して制御部８７へ出力する。 In step S102, the control unit 87 acquires the medical device information regarding the medical device 40 acquired by the acquisition unit 23. Specifically, the acquisition unit 23 acquires medical device information from the IC chip 41 of the medical device 40, and outputs the acquired medical device information to the control unit 87 via the medical imaging device 30.

続いて、制御部８７は、トロッカー２０の第２の検出部２２によって検出された検出結果に基づいて、医療器具４０が第２の状態であるか否かを判断する（ステップＳ１０３）。具体的には、制御部８７は、トロッカー２０の第２の検出部２２から医療器具４０の挿入を検出した検出結果（ライブビューモード）が入力されたか否かを判断する。制御部８７によって医療器具４０が第２の状態であると判断された場合（ステップＳ１０３：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ１０４へ移行する（ライブビューモードへ遷移する）。これに対して、制御部８７によって医療器具４０が第２の状態でないと判断された場合（ステップＳ１０３：Ｎｏ）、医療用観察システム１は、後述するステップＳ１０９へ移行する（シミュレーションモードへ遷移する）。 Subsequently, the control unit 87 determines whether or not the medical device 40 is in the second state based on the detection result detected by the second detection unit 22 of the trocar 20 (step S103). Specifically, the control unit 87 determines whether or not the detection result (live view mode) in which the insertion of the medical device 40 is detected is input from the second detection unit 22 of the trocar 20. When the control unit 87 determines that the medical device 40 is in the second state (step S103: Yes), the medical observation system 1 shifts to step S104, which will be described later (transitions to the live view mode). On the other hand, when the control unit 87 determines that the medical device 40 is not in the second state (step S103: No), the medical observation system 1 shifts to step S109 described later (transitions to the simulation mode). ).

ステップＳ１０４において、制御部８７は、第１の通信部８１を経由して医療用撮像装置３０が生成した画像データを取得する。この場合、制御部８７は、第１の通信部８１に画像データを画像処理部８２に出力させる。 In step S104, the control unit 87 acquires the image data generated by the medical imaging device 30 via the first communication unit 81. In this case, the control unit 87 causes the first communication unit 81 to output the image data to the image processing unit 82.

続いて、制御部８７は、第１の通信部８１が取得した画像データに対して画像処理部８２に画像処理を施させて出力させることによって表示装置７０にライブビュー画像を表示させる（ステップＳ１０５）。具体的には、図６に示すように、制御部８７は、第１の通信部８１が取得した画像データに対して画像処理部８２に画像処理を施させて出力させることによって表示装置７０に画像データに基づくライブビュー画像ＰＬｉｖｅを表示させる。これにより、術者は、表示装置７０が表示するライブビュー画像ＰＬｉｖｅを見ながら被検体Ｏ１の観察対象に対して処置を行うことができる。 Subsequently, the control unit 87 causes the display device 70 to display the live view image by causing the image processing unit 82 to perform image processing on the image data acquired by the first communication unit 81 and output the image data (step S105). ). Specifically, as shown in FIG. 6, the control unit 87 causes the display device 70 to output the image data acquired by the first communication unit 81 by causing the image processing unit 82 to perform image processing. The live view image P Live based on the image data is displayed. Thus, the operator can perform treatment with respect to the observation target object O 1 while viewing a live view image P Live display device 70 displays.

その後、制御部８７は、入力部８３から蛍光観察を行う特殊光モードを指示する指示信号が入力されたか否かを判断する（ステップＳ１０６）。制御部８７によって入力部８３から蛍光観察を行う特殊光モードを指示する指示信号が入力されたと判定された場合（ステップＳ１０６：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ１０７へ移行する。これに対して、制御部８７によって入力部８３から蛍光観察を行う特殊光モードを指示する指示信号が入力されていないと判定された場合（ステップＳ１０６：Ｎｏ）、医療用観察システム１は、後述するステップＳ１０８へ移行する。 After that, the control unit 87 determines whether or not an instruction signal instructing the special light mode for observing fluorescence has been input from the input unit 83 (step S106). When it is determined by the control unit 87 that the instruction signal instructing the special light mode for fluorescence observation is input from the input unit 83 (step S106: Yes), the medical observation system 1 shifts to step S107 described later. On the other hand, when it is determined by the control unit 87 that the instruction signal instructing the special light mode for fluorescence observation is not input from the input unit 83 (step S106: No), the medical observation system 1 will be described later. The process proceeds to step S108.

ステップＳ１０７において、制御部８７は、被検体Ｏ１の観察対象を撮像する医療用撮像装置３０の先端と、被検体Ｏ１の観察対象と、の距離に基づいて、被検体Ｏ１の観察対象の蛍光を観察する際の観察対象から医療用撮像装置３０の先端までの最適な距離を含む距離情報を、表示装置７０が表示するライブビュー画像上に重畳表示させる。具体的には、図７に示すように、制御部８７は、ライブビュー画像ＰＬｉｖｅに距離情報Ｂ１を重畳表示して表示装置７０に表示させる。距離情報Ｂ１には、現在の被検体Ｏ１の観察対象の蛍光を観察する際の観察対象から医療用撮像装置３０の先端までの現在距離Ｋ１と、最適な距離範囲Ｈ１と、が含まれる。ここで、最適な距離範囲Ｈ１は、医療用撮像装置３０の先端を観察対象に接触させる位置からトロッカー２０側に４ｃｍ〜５ｃｍほど手前側（術者側）に引き抜いた距離である。これにより、術者は、距離情報Ｂ１に含まれる現在距離Ｋ１と、観察対象からの蛍光の発光量と、を観察することによって、観察対象から医療用撮像装置３０の先端までの距離によって見え方が異なる発光量であっても、偽陽性または偽陰性を確実に防止することができる。 In step S107, the control unit 87, the tip of the medical imaging apparatus 30 for imaging the observation target object O 1, and the observation target object O 1, based on the distance, the observation target object O 1 The distance information including the optimum distance from the observation target when observing the fluorescence of the medical imaging device 30 to the tip of the medical imaging device 30 is superimposed and displayed on the live view image displayed by the display device 70. Specifically, as shown in FIG. 7, the control unit 87 superimposes the distance information B 1 on the live view image P Live and displays it on the display device 70. The distance information B 1 includes the current distance K 1 from the observation target when observing the fluorescence of the observation target of the current subject O 1 to the tip of the medical imaging device 30, and the optimum distance range H 1 . included. Here, the optimum distance range H1 is a distance that is pulled out from the position where the tip of the medical imaging device 30 is brought into contact with the observation target to the front side (operator side) by about 4 cm to 5 cm toward the trocar 20 side. Thus, the operator, the current distance K 1 included in the distance information B 1, and the light emission amount of fluorescence from the observation target, by observing, the distance from the observation target to the tip of the medical imaging apparatus 30 False positives or false negatives can be reliably prevented even if the amount of light emitted is different.

その後、制御部８７は、入力部８３から被検体Ｏ１の処置を終了する指示信号が入力されたか否かを判断する（ステップＳ１０８）。制御部８７によって入力部８３から被検体Ｏ１の処置を終了する指示信号が入力されたと判断された場合（ステップＳ１０８：Ｙｅｓ）、医療用観察システム１は、本処理を終了する。これに対して、制御部８７によって入力部８３から被検体Ｏ１の処置を終了する指示信号が入力されていないと判断した場合（ステップＳ１０８：Ｎｏ）、医療用観察システム１は、上述したステップＳ１０１へ戻る。 After that, the control unit 87 determines whether or not an instruction signal for terminating the treatment of the subject O 1 has been input from the input unit 83 (step S108). When it is determined by the control unit 87 that the instruction signal for terminating the treatment of the subject O 1 has been input from the input unit 83 (step S108: Yes), the medical observation system 1 ends this processing. On the other hand, when the control unit 87 determines that the instruction signal for terminating the treatment of the subject O 1 has not been input from the input unit 83 (step S108: No), the medical observation system 1 has the above-mentioned step. Return to S101.

ステップＳ１０９において、医療用観察システム１は、被検体Ｏ１に対応するシミュレーション画像を表示するシミュレーションモード処理を実行する。 In step S109, the medical observation system 1 executes the simulation mode process for displaying a simulation image corresponding to the object O 1.

〔シミュレーションモード処理〕
図８は、ステップＳ１０９におけるシミュレーションモード処理の概要を示すフローチャートである。 [Simulation mode processing]
FIG. 8 is a flowchart showing an outline of the simulation mode processing in step S109.

図８に示すように、制御部８７は、第１の通信部８１を経由して医療用撮像装置３０が生成した画像データを取得する（ステップＳ２０１）。この場合、制御部８７は、第１の通信部８１に画像データを画像処理部８２および推論部８４に出力させる。 As shown in FIG. 8, the control unit 87 acquires the image data generated by the medical imaging device 30 via the first communication unit 81 (step S201). In this case, the control unit 87 causes the first communication unit 81 to output the image data to the image processing unit 82 and the inference unit 84.

続いて、制御部８７は、第２の通信部８６およびネットワーク１００を経由して被検体Ｏ１に対応するシミュレーション画像データを画像サーバ９０から取得する（ステップＳ２０２）。具体的には、制御部８７は、予め術者や看護師等のユーザによって設定された被検体Ｏ１に関する患者ＩＤに基づいて、被検体Ｏ１の患者ＩＤに対応するシミュレーション画像データであって、ＣＴ検査またはＭＲＩ検査等によって予め被検体Ｏ１に対して撮像された２次元画像データを用いて生成されたシミュレーション画像データを画像サーバ９０から取得する。この場合、制御部８７は、第２の通信部８６にシミュレーション画像データを画像処理部８２および推論部８４の各々へ出力させる。 Subsequently, the control unit 87 acquires simulation image data corresponding to the object O 1 via the second communication unit 86 and the network 100 from the image server 90 (step S202). Specifically, the control unit 87, based on the patient ID related to the subject O 1 set by the user in advance surgeon or nurse, a simulation image data corresponding to the patient ID of the subject O 1 , CT inspection, MRI inspection, or the like, the simulation image data generated by using the two-dimensional image data previously imaged for the subject O1 is acquired from the image server 90. In this case, the control unit 87 causes the second communication unit 86 to output the simulation image data to each of the image processing unit 82 and the inference unit 84.

その後、推論部８４は、第１の通信部８１から入力された医療用撮像装置３０によって生成された画像データと、第２の通信部８６から入力されたシミュレーション画像データと、に基づいて、画像データに基づくライブビュー画像ＰＬｉｖｅに写る臓器、血管および位置を推論する（ステップＳ２０３）。なお、推論部８４は、画像データに、距離情報が含まれている場合、この距離情報をさらに推論に用いてもよい。この場合、推論部８４は、距離情報を用いて、医療用撮像装置３０の光学系３１１の光軸（トロッカー１０の挿入方向）に対する基準としたときのライブビュー画像ＰＬｉｖｅに写る臓器、血管および神経等の向き（方向）およびつぶれ具合等を推定してもよい。推論部８４は、推論結果を制御部８７および画像処理部８２へ出力する。また、推論部８４は、医療用撮像装置３０によって生成された画像データが光源装置６０によってマルチスペクトル光が照射されたマルチスペクトル画像データである場合、推論部８４がマルチスペクトル画像データに含まれる反射光周波数（各スペクトル毎）の違いを用いて推論した各部の生体組織種別（例えば胆嚢や膵臓等の臓器、血管、神経、リンパ、尿管および脂肪等）と、それらの位置（領域）と、をライブビュー画像上の位置に重畳させても表示装置７０に表示させてもよい。 After that, the inference unit 84 uses an image based on the image data generated by the medical imaging device 30 input from the first communication unit 81 and the simulation image data input from the second communication unit 86. The organs, blood vessels, and positions appearing in the live view image P Live based on the data are inferred (step S203). If the image data includes distance information, the inference unit 84 may further use this distance information for inference. In this case, the inference unit 84 uses the distance information to refer to the organs, blood vessels, and organs, blood vessels, and the live view image P Live when the distance information is used as a reference with respect to the optical axis (insertion direction of the trocar 10) of the optical system 311 of the medical imaging device 30. The direction (direction) of the nerve or the like and the degree of collapse may be estimated. The inference unit 84 outputs the inference result to the control unit 87 and the image processing unit 82. Further, when the image data generated by the medical imaging device 30 is the multi-spectral image data irradiated with the multi-spectral light by the light source device 60, the inference unit 84 includes the reflection in the multi-spectral image data. Biological tissue types (for example, organs such as bile sac and pancreas, blood vessels, nerves, lymph, urinary tract and fat, etc.) inferred using the difference in optical frequency (for each spectrum), their positions (regions), and May be superimposed on the position on the live view image or displayed on the display device 70.

続いて、制御部８７は、画像処理部８２に推論部８４の推論結果に基づくライブビュー画像ＰＬｉｖｅとシミュレーション画像データに基づくシミュレーション画像との位置合わせを行わせたシミュレーション画像を生成させる（ステップＳ２０４）。具体的には、まず、制御部８７は、画像処理部８２に、推論部８４の推論結果に基づいて、ライブビュー画像ＰＬｉｖｅとシミュレーション画像（ポリゴンデータ）との位置合わせを行わせる。そして、制御部８７は、シミュレーション画像（ポリゴンデータ）にグラフィック化を行ってシミュレーション画像を生成する。さらに、制御部８７は、取得部２３によって取得された医療器具情報に応じた医療器具４０を仮想的に表した医療器具画像をシミュレーション画像内に重畳する。さらにまた、制御部８７は、画像処理部８２にシミュレーション画像にライブビュー画像を重畳させる。なお、画像処理部８２は、推論部８４の推論結果に臓器の向きおよびつぶれ具合等を含めてシミュレーション画像を生成してもよい。 Subsequently, the control unit 87 causes the image processing unit 82 to generate a simulation image in which the live view image P Live based on the inference result of the inference unit 84 and the simulation image based on the simulation image data are aligned (step S204). ). Specifically, first, the control unit 87 causes the image processing unit 82 to align the live view image P Live with the simulation image (polygon data) based on the inference result of the inference unit 84. Then, the control unit 87 graphics the simulation image (polygon data) to generate the simulation image. Further, the control unit 87 superimposes a medical device image that virtually represents the medical device 40 according to the medical device information acquired by the acquisition unit 23 on the simulation image. Furthermore, the control unit 87 superimposes the live view image on the simulation image on the image processing unit 82. The image processing unit 82 may generate a simulation image by including the orientation of the organ, the degree of collapse, and the like in the inference result of the inference unit 84.

図９は、表示装置７０が表示するシミュレーション画像の一例を示す図である。図９に示すように、制御部８７は、画像処理部８２にシミュレーション画像Ｐｓｉｍ１上にライブビュー画像ＰＬｉｖｅを重畳するとともに、取得部２３によって取得された医療器具情報に応じた医療器具４０を仮想的に表した医療器具画像Ｗ４０，Ｗ５０をシミュレーション画像Ｐｓｉｍ１上に重畳して表示装置７０に表示させる。なお、図９では、制御部８７は、画像処理部８２にシミュレーション画像Ｐｓｉｍ１上にライブビュー画像ＰＬｉｖｅを重畳させていたが、これに限定されることなく、シミュレーション画像Ｐｓｉｍ１とライブビュー画像ＰＬｉｖｅとを並列させてもよいし、シミュレーション画像Ｐｓｉｍ１およびライブビュー画像ＰＬｉｖｅのどちらか一方の表示領域を小さくして並列させてもよい。さらにまた、制御部８７は、シミュレーション画像Ｐｓｉｍ１上に指導医等がキーボード等を用いて入力したテキストデータに基づくテキスト、腫瘍位置およびメルクマーク等の位置を重畳して表示させてもよい。 FIG. 9 is a diagram showing an example of a simulation image displayed by the display device 70. As shown in FIG. 9, the control unit 87 superimposes the live view image P Live on the simulation image P sim1 on the image processing unit 82, and displays the medical device 40 according to the medical device information acquired by the acquisition unit 23. The virtually represented medical device images W40 and W50 are superimposed on the simulation image P sim1 and displayed on the display device 70. In FIG. 9, the control unit 87 superimposes the live view image P Live on the simulation image P sim1 on the image processing unit 82, but the present invention is not limited to this, and the simulation image P sim1 and the live view image are not limited to this. P Live may be arranged in parallel, or the display area of either the simulation image P sim1 or the live view image P Live may be made smaller and arranged in parallel. Furthermore, the control unit 87 may superimpose and display the text based on the text data input by the instructor or the like using the keyboard or the like, the tumor position, and the position of the Merck mark on the simulation image P sim1.

図１０は、表示装置７０が表示する医学情報の一例を示す図である。図１０に示すように、制御部８７は、第２の画像としてライブビュー画像ＰＬｉｖｅに医学情報を重畳して表示装置７０に表示させてもよい。具体的には、図１０に示すように、制御部８７は、画像処理部８２にライブビュー画像ＰＬｉｖｅに写る胆嚢の付近に医学情報としての胆嚢であることを示すテキストデータＡ１０および胆嚢の位置を指す矢印Ｙ１０をライブビュー画像ＰＬｉｖｅに重畳させて表示装置７０に表示させる。ここで、医学情報とは、血管名、神経名および臓器名等である。もちろん、制御部８７は、ライブビュー画像ＰＬｉｖｅに写る胆嚢の付近に医学情報を重畳していたが、適宜変更することができる。さらに、制御部８７は、画像処理部８２にシミュレーション画像Ｐｓｉｍ１上にライブビュー画像ＰＬｉｖｅを重畳させるとともに、シミュレーション画像Ｐｓｉｍ１およびライブビュー画像ＰＬｉｖｅの少なくとも一方に重畳させて表示装置７０に表示させてもよい。さらにまた、制御部８７は、ライブビュー画像が光源装置６０のマルチスペクトル光源によってマルチスペクトル光が照射されることによって医療用撮像装置３０が生成した画像データがマルチスペクトル画像データである場合、推論部８４がマルチスペクトル画像データに含まれる反射光周波数（各スペクトル毎）の違いを用いて推論した各部の生体組織種別（例えば胆嚢や膵臓等の臓器、血管、神経、リンパ、尿管および脂肪等）、それらの位置（領域）をライブビュー画像上の位置に重畳させて表示装置７０に表示させてもよい。 FIG. 10 is a diagram showing an example of medical information displayed by the display device 70. As shown in FIG. 10, the control unit 87 may superimpose medical information on the live view image P Live as a second image and display it on the display device 70. Specifically, as shown in FIG. 10, the control unit 87 displays the text data A10 indicating that the gallbladder is the gallbladder as medical information in the vicinity of the gallbladder shown in the live view image P Live on the image processing unit 82, and the position of the gallbladder. The arrow Y10 pointing to is superimposed on the live view image P Live and displayed on the display device 70. Here, the medical information is a blood vessel name, a nerve name, an organ name, or the like. Of course, the control unit 87 superimposes the medical information on the vicinity of the gallbladder shown in the live view image P Live, but it can be changed as appropriate. Further, the control unit 87 superimposes the live view image P Live on the simulation image P sim1 on the image processing unit 82, and superimposes the live view image P Live on at least one of the simulation image P sim1 and the live view image P Live and displays it on the display device 70. You may let me. Furthermore, the control unit 87 is a reasoning unit when the image data generated by the medical imaging device 30 by irradiating the live view image with the multispectral light by the multispectral light source of the light source device 60 is the multispectral image data. The biological tissue type of each part inferred by 84 using the difference in the reflected light frequency (for each spectrum) included in the multispectral image data (for example, organs such as bile sac and pancreas, blood vessels, nerves, lymph, urinary tract and fat, etc.) , Those positions (areas) may be superimposed on the positions on the live view image and displayed on the display device 70.

その後、制御部８７は、画像処理部８２が生成したシミュレーション画像データを表示装置７０に出力させることによって表示装置７０にシミュレーション画像を表示させる（ステップＳ２０５）。これにより、術者は、医療器具４０から手を離すことなく、自由にシミュレーション画像Ｐｓｉｍ１とライブビュー画像ＰＬｉｖｅとを切り替えることができる。さらに、術者は、実視野と同じ視野のライブビュー画像ＰＬｉｖｅから同じ視野のシミュレーション画像Ｐｓｉｍ１に切り替えので、違和感なく観察することができる。なお、制御部８７は、シミュレーション画像Ｐｓｉｍ１を表示装置７０に表示させる場合、表示装置７０が表示する画像がシミュレーション画像Ｐｓｉｍ１であることを音声または文字等によって警告させてもよいし、画像枠等をハイライト表示（例えば点滅等に表示）させることによって警告させてもよい。 After that, the control unit 87 causes the display device 70 to display the simulation image by outputting the simulation image data generated by the image processing unit 82 to the display device 70 (step S205). As a result, the surgeon can freely switch between the simulation image P sim1 and the live view image P Live without taking his / her hand off the medical device 40. Further, since the operator switches from the live view image P Live of the same field of view as the actual field of view to the simulation image P sim1 of the same field of view, the operator can observe without discomfort. When the simulation image P sim1 is displayed on the display device 70, the control unit 87 may warn the display device 70 that the image displayed by the display device 70 is the simulation image P sim1 by voice, characters, or the like, or an image frame. Etc. may be warned by highlighting (for example, displaying such as blinking).

続いて、制御部８７は、画像処理部８２に医療器具４０に対する操作内容に基づいて、シミュレーション画像の表示態様を制御する（ステップＳ２０６）。具体的には、制御部８７は、第３の検出部２５の検出結果に基づいて、医療器具４０に対する操作内容がシミュレーション画像Ｐｓｉｍ１上に写る臓器Ｏ２の奥行き方向へ進行する内容である場合、例えば医療器具４０をトロッカー２０に対して挿入方向に押し込む操作の場合、現在のシミュレーション画像Ｐｓｉｍ１上に写る臓器Ｏ２の次の層（例えば臓器を輪切りした層）または図１１に示すような臓器Ｏ２の裏側から見た状態の臓器に加工したシミュレーション画像Ｐｓｉｍ２を画像処理部８２に生成させて表示装置７０に出力させる。この場合、制御部８７は、第３の検出部２５の検出結果に基づいて、術者が医療器具４０をトロッカー２０に対して挿入方向に押し込む挿入量（操作量）に応じて臓器Ｏ２を水平方向に回転したシミュレーション画像Ｐｓｉｍ２を画像処理部８２に生成させて表示装置７０に出力させる。例えば、制御部８７は、第３の検出部２５の検出結果に基づいて、術者が医療器具４０をトロッカー２０に対して挿入方向に押し込んでいると判断し、現在のシミュレーション画像Ｐｓｉｍ１上に写る臓器Ｏ２の次の層や裏側から見た状態に加工したシミュレーション画像Ｐｓｉｍ２を画像処理部８２に生成させて表示装置７０に出力させる。図１１に示す場合、シミュレーション画像Ｐｓｉｍ２の臓器Ｏ２には、裏側から見た際の血管Ｏ３が含まれている。これにより、術者は、直感的な操作で所望の視点で仮想的に臓器を観察することができる。 Subsequently, the control unit 87 controls the image processing unit 82 to control the display mode of the simulation image based on the operation content for the medical device 40 (step S206). Specifically, when the control unit 87 based on the detection result of the third detection unit 25, the contents of the operation contents for the medical instrument 40 proceeds in the depth direction of the organ O 2 caught on on the simulation image P SIM1 For example, in the case of an operation of pushing the medical device 40 into the trocar 20 in the insertion direction, the next layer of the organ O 2 (for example, a layer obtained by slicing the organ) shown on the current simulation image P sim 1 or as shown in FIG. The image processing unit 82 generates a simulated image P sim 2 processed into an organ as seen from the back side of the organ O 2, and outputs the simulated image P sim 2 to the display device 70. In this case, the control unit 87 presses the organ O 2 according to the insertion amount (operation amount) in which the operator pushes the medical device 40 into the trocar 20 in the insertion direction based on the detection result of the third detection unit 25. A simulation image P sim2 rotated in the horizontal direction is generated by the image processing unit 82 and output to the display device 70. For example, the control unit 87 determines that the operator is pushing the medical device 40 against the trocar 20 in the insertion direction based on the detection result of the third detection unit 25, and displays it on the current simulation image P sim1 . The image processing unit 82 generates a simulation image P sim2 processed so as to be viewed from the next layer or the back side of the imaged organ O 2 , and outputs the simulated image P sim 2 to the display device 70. In the case shown in FIG. 11, the organ O 2 of the simulation image P sim 2 includes the blood vessel O 3 when viewed from the back side. As a result, the operator can virtually observe the organ from a desired viewpoint by intuitive operation.

また、制御部８７は、術者の操作量に応じて、現在のシミュレーション画像Ｐｓｉｍ１上に写る臓器Ｏ２の次の層（例えば臓器を輪切りした層）や裏側から見た状態に加工したシミュレーション画像を画像処理部８２に生成させて表示装置７０に出力させる。なお、制御部８７は、第１の検出部２１の嵌合部材２１３が医療器具４０における凹部４２と凹部４３部との間に所定の間隔で外周側に突起させて設けられた複数の突起部４４の各々に接触して、その都度、乗り越えることによって、圧力センサ２１１が検出する圧力値の変化率が所定値以上であるか否かを判定することによって挿入量を検出するようにしてもよい。この場合、制御部８７は、第１の検出部２１の嵌合部材２１３が医療器具４０の突起部４４を乗り越えることによって変化する圧力センサ２１１の圧力値の変化率が所定値以上の数に応じて、術者が医療器具４０をトロッカー２０に対して挿入方向に押し込む挿入量（操作量）や引き抜く挿入量（操作量）を判断する。なお、制御部８７は、圧力値の変化率が所定値以上であるか否かを判断しているが、変化率に限定されることなく、圧力値の最大値および最小値であってもよい。もちろん、医療器具４０における複数の突起部４４の形状を適宜変更してもよいし、予測される圧力値に応じて複数の突起部４４の形状を変更してもよい。 In addition, the control unit 87 processes the next layer of the organ O2 (for example, a layer obtained by slicing the organ) on the current simulation image P sim1 or a simulation image processed into a state viewed from the back side according to the operation amount of the operator. Is generated by the image processing unit 82 and output to the display device 70. The control unit 87 is provided with a plurality of protrusions on which the fitting member 213 of the first detection unit 21 is provided so as to protrude on the outer peripheral side at a predetermined interval between the recess 42 and the recess 43 in the medical device 40. The insertion amount may be detected by determining whether or not the rate of change of the pressure value detected by the pressure sensor 211 is equal to or greater than a predetermined value by contacting each of the 44s and overcoming each of them. .. In this case, the control unit 87 responds to the number of changes in the pressure value of the pressure sensor 211, which changes when the fitting member 213 of the first detection unit 21 gets over the protrusion 44 of the medical device 40, to a predetermined value or more. Then, the surgeon determines the insertion amount (operation amount) for pushing the medical device 40 into the trocar 20 in the insertion direction and the insertion amount (operation amount) for pulling out. The control unit 87 determines whether or not the rate of change of the pressure value is equal to or greater than a predetermined value, but the pressure value may be the maximum value and the minimum value without being limited to the rate of change. .. Of course, the shapes of the plurality of protrusions 44 in the medical device 40 may be appropriately changed, or the shapes of the plurality of protrusions 44 may be changed according to the predicted pressure value.

また、制御部８７は、第４の検出部２６の検出結果に基づいて、術者が医療器具４０をトロッカー２０に対して回転させた回転量に応じて臓器Ｏ２を垂直方向に回転したシミュレーション画像を画像処理部８２に生成させて表示装置７０に出力させてもよい。もちろん、制御部８７は、第３の検出部２５の検出結果および第４の検出部２６の検出結果に基づいて、臓器Ｏ２を水平方向および垂直方向に回転したシミュレーション画像を画像処理部８２に生成させて表示装置７０に出力させてもよい。 Further, the control unit 87 simulates that the organ O 2 is rotated in the vertical direction according to the amount of rotation of the medical device 40 with respect to the trocar 20 based on the detection result of the fourth detection unit 26. The image may be generated by the image processing unit 82 and output to the display device 70. Of course, the control unit 87 sends a simulation image obtained by rotating the organ O 2 in the horizontal and vertical directions to the image processing unit 82 based on the detection result of the third detection unit 25 and the detection result of the fourth detection unit 26. It may be generated and output to the display device 70.

また、制御部８７は、医療器具４０に対する操作内容がシミュレーション画像Ｐｓｉｍ２上に写る臓器Ｏ２と脂肪とを医療器具４０によって切除する内容である場合、図１２に示すように、医療器具４０によって臓器Ｏ２から脂肪を切り離すシミュレーション画像Ｐｓｉｍ２上を画像処理部８２に生成させて表示装置７０に出力させる。これにより、術者は、シミュレーション画像Ｐｓｉｍ２上において仮想的にシミュレーションを行うことができる。さらに、術者は、使い慣れた医療器具４０でシミュレーションを行うことができる。ステップＳ２０６の後、図５のメインルーチンへ戻り、ステップＳ１１０へ移行する。 Further, when the operation content for the medical instrument 40 is the content of excising the organ O 2 and the fat shown on the simulation image P sim 2 by the medical instrument 40, the control unit 87 uses the medical instrument 40 as shown in FIG. The image processing unit 82 is generated on the simulation image P sim 2 for separating the fat from the organ O 2, and is output to the display device 70. As a result, the operator can virtually perform the simulation on the simulation image P sim2. In addition, the surgeon can perform the simulation with the familiar medical device 40. After step S206, the process returns to the main routine of FIG. 5 and proceeds to step S110.

図５に戻り、ステップＳ１１０以降の説明を続ける。
ステップＳ１１０において、制御部８７は、トロッカー２０の第２の検出部２２によって検出された検出結果に基づいて、医療器具４０が第２の状態であるか否かを判断する。具体的には、制御部８７は、トロッカー２０の第２の検出部２２から医療器具４０の挿入を検出した検出結果（ライブビューモード）が入力されたか否かを判断する。制御部８７によって医療器具４０が第２の状態であると判断した場合（ステップＳ１１０：Ｙｅｓ）、医療用観察システム１は、ステップＳ１０４へ移行する（ライブビューモードへ遷移する）。これにより、術者は、医療器具４０から手を離すことなく、そのまま自由にシミュレーション画像Ｐｓｉｍ１から現在の視野のライブビュー画像ＰＬｉｖｅに違和感なく切り替えることができ、処置を行うことができる。さらに、術者は、トロッカー２０を経由して医療器具４０に対する簡易な操作でシミュレーション画像Ｐｓｉｍ１（シミュレーションモード）とライブビュー画像ＰＬｉｖｅ（ライブビューモード）と切り替えることができ、安全に手技を行うことができる。さらに、術者は、トロッカー２０を経由して医療器具４０に対する簡易な操作でシミュレーション画像Ｐｓｉｍ１（シミュレーションモード）とライブビュー画像ＰＬｉｖｅ（ライブビューモード）と切り替えることができるため、術前に、チーム全員で確認および評価を行うことができるので、より一層手技の効率化を図ることができる。さらに、術者は、医療器具４０をトロッカー２０に対して強く挿入しなければ第２の状態にすることができないので、安全性を高めることができる。これに対して、制御部８７によって医療器具４０が第２の状態でないと判断した場合（Ｓ１１０：Ｎｏ）、医療用観察システム１は、ステップＳ１０９へ移行する（シミュレーションモードを継続する）。これにより、医療器具４０がトロッカー２０内に位置する第１の状態である場合のみ、シミュレーション画像Ｐｓｉｍ１を表示するため、被検体Ｏ１の術部に触れることを防止することができる。 Returning to FIG. 5, the description after step S110 will be continued.
In step S110, the control unit 87 determines whether or not the medical device 40 is in the second state based on the detection result detected by the second detection unit 22 of the trocar 20. Specifically, the control unit 87 determines whether or not the detection result (live view mode) in which the insertion of the medical device 40 is detected is input from the second detection unit 22 of the trocar 20. When the control unit 87 determines that the medical device 40 is in the second state (step S110: Yes), the medical observation system 1 shifts to step S104 (transitions to the live view mode). As a result, the surgeon can freely switch from the simulation image P sim 1 to the live view image P Live of the current visual field without taking his / her hand off the medical device 40, and can perform the treatment. Further, the operator can switch between the simulation image P sim1 (simulation mode) and the live view image P Live (live view mode) by a simple operation on the medical device 40 via the trocar 20, and perform the procedure safely. be able to. Further, since the surgeon can switch between the simulation image P sim1 (simulation mode) and the live view image P Live (live view mode) by a simple operation on the medical device 40 via the trocar 20, before the operation, Since the entire team can check and evaluate, the efficiency of the procedure can be further improved. Further, the surgeon cannot enter the second state unless the medical device 40 is strongly inserted into the trocar 20, so that the safety can be enhanced. On the other hand, when the control unit 87 determines that the medical device 40 is not in the second state (S110: No), the medical observation system 1 shifts to step S109 (continues the simulation mode). Thus, only when the medical device 40 is in a first state located trocar 20, for displaying the simulation image P SIM1, it is possible to prevent touching the operative part of the object O 1.

以上説明した実施の形態１によれば、制御部８７が術者によって把持された医療器具４０が挿入され、かつ、医療器具４０の被検体Ｏ１内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカー２０の検出結果に基づいて、被検体Ｏ１内の観察対象を撮像することによって生成されたライブビュー画像および予め取得された被検体Ｏ１内の観察対象のシミュレーション画像の少なくとも一方を表示装置７０に表示させるため、術中における術者の邪魔をすることなく、術中の術者を補助することができるうえ、術者の経験値に関係なく、手術を行うことができる。 According to the first embodiment described above, the control unit 87 is inserted medical device 40 that is gripped by the surgeon, and, a first state indicating insertion state into the subject O 1 of the medical instrument 40 based second state on detection results of detectable least one trocar 20, the object O object O 1 obtained which generated live view image and advance by imaging the observation target in the 1 Since at least one of the simulated images to be observed is displayed on the display device 70, it is possible to assist the operator during the operation without disturbing the operator during the operation, and regardless of the experience value of the operator. Surgery can be performed.

また、実施の形態１によれば、制御部８７がトロッカー２０によって医療器具４０が第２の状態であると検出された場合、ライブビュー画像ＰＬｉｖｅを表示装置７０に表示させるため、術者がライブビュー画像ＰＬｉｖｅを見つつ、把持した医療器具４０，５０によって処置を行うことができる。 Further, according to the first embodiment, when the control unit 87 detects that the medical device 40 is in the second state by the trocar 20, the operator displays the live view image P Live on the display device 70. While watching the live view image P Live , the treatment can be performed by the grasped medical instruments 40 and 50.

また、実施の形態１によれば、制御部８７がトロッカー２０によって医療器具４０が第１の状態であると検出された場合、ライブビュー画像ＰＬｉｖｅおよびシミュレーション画像Ｐｓｉｍ１の少なくとも一方を表示装置７０に表示させるため、術者が医療器具４０を把持しながらライブビュー画像ＰＬｉｖｅとシミュレーション画像Ｐｓｉｍ１とをスムーズに切り替えることができるうえ、他のスイッチや医療器具に持ち替えることなく行うことができる。 Further, according to the first embodiment, when the control unit 87 detects that the medical device 40 is in the first state by the trocar 20, the display device 70 displays at least one of the live view image P Live and the simulation image P sim1. The operator can smoothly switch between the live view image P Live and the simulation image P sim1 while grasping the medical device 40, and can perform the operation without switching to another switch or medical device.

また、実施の形態１によれば、制御部８７がトロッカー２０によって検出された医療器具４０に関する医療器具情報に基づいて、シミュレーション画像Ｐｓｉｍ１上に医療器具に対応する医療器具画像を重畳して表示装置７０に表示させるため、処置を行う対象物と医療器具４０との位置関係を直感的に把握することができる。 Further, according to the first embodiment, the control unit 87 superimposes and displays the medical device image corresponding to the medical device on the simulation image P sim1 based on the medical device information regarding the medical device 40 detected by the trocar 20. Since it is displayed on the device 70, the positional relationship between the object to be treated and the medical device 40 can be intuitively grasped.

また、実施の形態１によれば、制御部８７が医療器具４０に対する術者の操作内容に基づいて、医療器具画像およびシミュレーション画像Ｐｓｉｍ１の表示態様を制御するため、実際の感覚に似た操作でシミュレーションを行うことができる。 Further, according to the first embodiment, the control unit 87 controls the display mode of the medical device image and the simulation image P sim1 based on the operation content of the operator with respect to the medical device 40, so that the operation resembles an actual feeling. You can perform a simulation with.

また、実施の形態１によれば、制御部８７がライブビュー画像ＰＬｉｖｅからシミュレーション画像Ｐｓｉｍ１に切り替える場合、推論部８４の推定結果に基づいて、ライブビュー画像ＰＬｉｖｅに写る臓器の位置とシミュレーション画像Ｐｓｉｍ１に含まれる臓器の位置との位置合わせを行ってシミュレーション画像Ｐｓｉｍ１を表示装置７０に表示させるため、ライブビュー画像ＰＬｉｖｅから違和感なくシミュレーション画像Ｐｓｉｍ１に切り替えることができるうえ、現在の観察視野に写る臓器を見失うことを防止することができる。 Further, according to the first embodiment, when the control unit 87 switches from the live view image P Live to the simulation image P sim1 , the position and simulation of the organs reflected in the live view image P Live are based on the estimation result of the inference unit 84. for displaying the simulation image P SIM1 performing alignment of the position of the organ included in the image P SIM1 on the display device 70, upon which can be switched from the live view image P Live to seamlessly simulation image P SIM1, the current It is possible to prevent losing sight of the organs in the observation field.

また、実施の形態１によれば、医療器具４０が第１の状態である場合、制御部８７がシミュレーション画像Ｐｓｉｍ１上にライブビュー画像ＰＬｉｖｅを縮小して重畳した状態で表示装置７０に表示させるため、シミュレーション画像Ｐｓｉｍ１とライブビュー画像ＰＬｉｖｅとを比較しながらシミュレーションを行うことができる。 Further, according to the first embodiment, when the medical device 40 is in the first state, the control unit 87 displays the live view image P Live on the simulation image P sim1 in a reduced state and superimposed on the display device 70. Therefore , the simulation can be performed while comparing the simulation image P sim1 and the live view image P Live.

また、実施の形態１によれば、制御部８７がライブビュー画像ＰＬｉｖｅからシミュレーション画像Ｐｓｉｍ１にきりかえ場合、表示装置７０に警告を出力させるため、術者がライブビュー画像ＰＬｉｖｅからシミュレーション画像Ｐｓｉｍ１に切り替わったことを直感的に把握することができる。 Further, according to the first embodiment, when the control unit 87 switches from the live view image P Live to the simulation image P sim1, the operator outputs a warning to the display device 70, so that the operator can perform the simulation image from the live view image P Live. It is possible to intuitively grasp that the switch has been made to P sim1.

また、実施の形態１によれば、トロッカー２０が検出したトロッカー２０の挿入部２７１への医療器具４０，５０の挿入量およびトロッカー２０の挿入部２７１を軸に回転する医療器具４０，５０の回転量に基づいて、制御部８７がシミュレーション画像Ｐｓｉｍ２に写る観察対象を水平方向および水平方向の少なくとも一方に回転させる表示装置７０に表示させる。これにより、術者は、医療器具４０，５０を操作するだけで、シミュレーション画像を所望の視点に遷移させることができる。 Further, according to the first embodiment, the amount of the medical device 40, 50 inserted into the insertion portion 271 of the trocar 20 detected by the trocar 20 and the rotation of the medical device 40, 50 rotating about the insertion portion 271 of the trocar 20 as an axis. Based on the amount, the control unit 87 causes the display device 70 to rotate the observation target shown in the simulation image P sim 2 in at least one of the horizontal direction and the horizontal direction. As a result, the surgeon can shift the simulation image to a desired viewpoint simply by operating the medical instruments 40 and 50.

また、実施の形態１によれば、制御部８７が被検体Ｏ１の観察対象を撮像する医療用撮像装置３０の先端と、被検体Ｏ１の観察対象と、の距離に基づいて、被検体Ｏ１の観察対象の蛍光を観察する際の観察対象から医療用撮像装置３０の先端までの最適な距離を含む距離情報Ｂ１を、表示装置７０が表示するライブビュー画像ＰＬｉｖｅ上に重畳表示させる。これにより、術者は、距離情報Ｂ１に含まれる現在距離Ｋ１と、観察対象からの蛍光の発光量と、を観察することによって、観察対象から医療用撮像装置３０の先端までの距離によって見え方が異なる発光量であっても、偽陽性または偽陰性を確実に防止することができる。 Further, according to the first embodiment, the control unit 87 and the distal end of the medical imaging apparatus 30 for imaging the observation target object O 1, based on the distance and the observation target object O 1,, subject The distance information B 1 including the optimum distance from the observation target when observing the fluorescence of the observation target of O 1 to the tip of the medical imaging device 30 is superimposed and displayed on the live view image P Live displayed by the display device 70. Let me. Thus, the operator, the current distance K 1 included in the distance information B 1, and the light emission amount of fluorescence from the observation target, by observing, the distance from the observation target to the tip of the medical imaging apparatus 30 False positives or false negatives can be reliably prevented even if the amount of light emitted is different.

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２は、上述した実施の形態１に係る医療用観察システム１と同一の構成を有し、実行する処理が異なる。具体的には、上述した実施の形態１では、１つのトロッカー２０による検出結果に基づいて、ライブビュー画像およびシミュレーション画像の少なくとも一方を表示装置７０に表示させていたが、実施の形態２では、２つのトロッカーの各々の検出結果に基づいて、ライブビュー画像およびシミュレーション画像の少なくとも一方を表示装置７０に表示させる。以下においては、実施の形態２に係る医療用観察システムが実行する処理について説明する。なお、上述した実施の形態１に係る医療用観察システム１と同一の構成には同一の符号を付して詳細な説明を省略する。 (Embodiment 2)
Next, the second embodiment will be described. The second embodiment has the same configuration as the medical observation system 1 according to the first embodiment described above, and the processing to be executed is different. Specifically, in the first embodiment described above, at least one of the live view image and the simulation image is displayed on the display device 70 based on the detection result by one trocar 20, but in the second embodiment, the display device 70 is displayed. Based on the detection result of each of the two trocars, at least one of the live view image and the simulation image is displayed on the display device 70. Hereinafter, the processing executed by the medical observation system according to the second embodiment will be described. The same components as those of the medical observation system 1 according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.

〔医療用観察システムの処理〕
図１３は、実施の形態２に係る医療用観察システム１が実行する処理の概要を示すフローチャートである。 [Processing of medical observation system]
FIG. 13 is a flowchart showing an outline of the process executed by the medical observation system 1 according to the second embodiment.

図１３に示すように、まず、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第１の検出部２１の各々によって検出された検出結果に基づいて、２つの医療器具４０，５０が第１の状態になったか否かを判断する。具体的には、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第１の検出部２１の各々から医療器具４０または医療器具５０の挿入を検出した検出結果が入力されたか否かを判断する。制御部８７によって２つの医療器具４０，５０が第１の状態であると判断された場合（ステップＳ３０１：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ３０２へ移行する。これに対して、制御部８７によって２つの医療器具４０，５０が第１の状態でないと判断された場合（ステップＳ３０１：Ｎｏ）、医療用観察システム１は、後述するステップＳ３１３へ移行する。 As shown in FIG. 13, first, the control unit 87 has two medical devices 40, 50 as the first, based on the detection result detected by each of the first detection units 21 of the two trocars 20L and 20R. Determine if the condition has been reached. Specifically, the control unit 87 determines whether or not the detection result of detecting the insertion of the medical device 40 or the medical device 50 is input from each of the first detection units 21 of the two trocars 20L and 20R. When the control unit 87 determines that the two medical devices 40 and 50 are in the first state (step S301: Yes), the medical observation system 1 shifts to step S302 described later. On the other hand, when the control unit 87 determines that the two medical devices 40 and 50 are not in the first state (step S301: No), the medical observation system 1 shifts to step S313 described later.

ステップＳ３０２において、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの取得部２３によって取得された医療器具４０，５０の各々の種別情報を取得する。 In step S302, the control unit 87 acquires the type information of each of the medical devices 40 and 50 acquired by the acquisition unit 23 of the two trocars 20L and 20R.

続いて、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第２の検出部２２の各々によって検出された検出結果に基づいて、２つの医療器具４０，５０が第２の状態になったか否かを判断する（ステップＳ３０３）。具体的には、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第２の検出部２２の各々から医療器具４０または医療器具５０の挿入を検出した検出結果が入力されたか否かを判断する。制御部８７によって２つの医療器具４０，５０が第２の状態であると判断された場合（ステップＳ３０３：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ３０６へ移行する。これに対して、制御部８７によって２つの医療器具４０，５０が第２の状態でないと判断された場合（ステップＳ３０３：Ｎｏ）、医療用観察システム１は、後述するステップＳ３０４へ移行する。 Subsequently, the control unit 87 determines whether or not the two medical devices 40 and 50 are in the second state based on the detection results detected by each of the second detection units 22 of the two trocars 20L and 20R. Is determined (step S303). Specifically, the control unit 87 determines whether or not the detection result of detecting the insertion of the medical device 40 or the medical device 50 is input from each of the second detection units 22 of the two trocars 20L and 20R. When the control unit 87 determines that the two medical devices 40 and 50 are in the second state (step S303: Yes), the medical observation system 1 shifts to step S306 described later. On the other hand, when the control unit 87 determines that the two medical devices 40 and 50 are not in the second state (step S303: No), the medical observation system 1 shifts to step S304 described later.

ステップＳ３０４において、制御部８７は、第１の通信部８１を経由して医療用撮像装置３０が生成した画像データを取得する。この場合、制御部８７は、第１の通信部８１に画像データを画像処理部８２に出力させる。 In step S304, the control unit 87 acquires the image data generated by the medical imaging device 30 via the first communication unit 81. In this case, the control unit 87 causes the first communication unit 81 to output the image data to the image processing unit 82.

その後、制御部８７は、第１の通信部８１が取得した画像データに対して画像処理部８２に画像処理を施させて表示装置７０に出力させることによって表示装置７０に画像データに基づくライブビュー画像（例えば図６のライブビュー画像ＰＬｉｖｅを参照）を表示させる（ステップＳ３０５）。ステップＳ３０５の後、医療用観察システム１は、上述したステップＳ３０３へ戻る。 After that, the control unit 87 causes the display device 70 to perform live view based on the image data by causing the image processing unit 82 to perform image processing on the image data acquired by the first communication unit 81 and outputting the image data to the display device 70. Display an image (see, for example, the live view image P Live in FIG. 6) (step S305). After step S305, the medical observation system 1 returns to step S303 described above.

ステップＳ３０６において、制御部８７は、第１の通信部８１を経由して医療用撮像装置３０が生成した画像データを取得する。 In step S306, the control unit 87 acquires the image data generated by the medical imaging device 30 via the first communication unit 81.

続いて、制御部８７は、第１の通信部８１が取得した画像データに対して画像処理部８２に画像処理を施させて出力させることによって表示装置７０にライブビュー画像を表示させる（ステップＳ３０７）。 Subsequently, the control unit 87 causes the display device 70 to display the live view image by causing the image processing unit 82 to perform image processing on the image data acquired by the first communication unit 81 and output the image data (step S307). ).

その後、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第２の検出部２２の各々によって検出された検出結果に基づいて、２つの医療器具４０，５０が第２の状態になったか否かを判断する（ステップＳ３０８）。制御部８７によって２つの医療器具４０，５０が第２の状態になったと判断された場合（ステップＳ３０８：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ３０９へ移行する。これに対して、制御部８７によって２つの医療器具４０，５０が第２の状態になっていないと判断された場合（ステップＳ３０８：Ｎｏ）、医療用観察システム１は、後述するステップＳ３１４へ移行する。 After that, the control unit 87 determines whether or not the two medical devices 40 and 50 are in the second state based on the detection results detected by each of the second detection units 22 of the two trocars 20L and 20R. Determine (step S308). When the control unit 87 determines that the two medical devices 40 and 50 are in the second state (step S308: Yes), the medical observation system 1 shifts to step S309 described later. On the other hand, when the control unit 87 determines that the two medical devices 40 and 50 are not in the second state (step S308: No), the medical observation system 1 shifts to step S314 described later. do.

ステップＳ３０９において、制御部８７は、第１の通信部８１を経由して医療用撮像装置３０が生成した画像データを取得する。 In step S309, the control unit 87 acquires the image data generated by the medical imaging device 30 via the first communication unit 81.

続いて、制御部８７は、第１の通信部８１が取得した画像データに対して画像処理部８２に画像処理を施させて出力させることによって表示装置７０にライブビュー画像を表示させる（ステップＳ３１０）。これにより、術者は、２つの医療器具４０，５０を被検体Ｏ１内に挿入した状態でライブビュー画像を見ながら処置を行う。 Subsequently, the control unit 87 causes the display device 70 to display the live view image by causing the image processing unit 82 to perform image processing on the image data acquired by the first communication unit 81 and output the image data (step S310). ). Thus, the operator, the treatment while viewing a live view image of two medical devices 40, 50 in a state of being inserted into the subject O 1.

ステップＳ３１１〜ステップＳ３１５は、上述した図５のステップＳ１０６〜ステップＳ１１０それぞれに対応する。 Steps S311 to S315 correspond to each of steps S106 to S110 in FIG. 5 described above.

ステップＳ３１６において、制御部８７は、２つのトロッカー２０Ｌ，２０Ｒの第２の検出部２２の各々によって検出された検出結果に基づいて、２つの医療器具４０，５０のうち１つが第２の状態になったか否かを判断する。制御部８７によって２つの医療器具４０，５０のうち１つが第２の状態であると判断された場合（ステップＳ３１６：Ｙｅｓ）、医療用観察システム１は、ステップＳ３０９へ移行する。これにより、術者は、２つの医療器具４０，５０のうち１つが第１の状態となった場合であっても、制御部８７がライブビュー画像を表示装置７０に表示させるため（ライブビューモードへ遷移）、実際の視野において被検体Ｏ１の処置を行うことができる。この場合、制御部８７は、表示装置７０にシミュレーション画像でないことを音声およびテキスト等によって警告させてもよい。これに対して、制御部８７によって２つの医療器具４０，５０のうち１つが第２の状態でないと判断された場合（ステップＳ３１６：Ｎｏ）、医療用観察システム１は、ステップＳ３０３へ移行する。 In step S316, the control unit 87 puts one of the two medical devices 40 and 50 into the second state based on the detection result detected by each of the second detection units 22 of the two trocars 20L and 20R. Determine if it has become. When the control unit 87 determines that one of the two medical devices 40, 50 is in the second state (step S316: Yes), the medical observation system 1 proceeds to step S309. As a result, the operator causes the control unit 87 to display the live view image on the display device 70 even when one of the two medical instruments 40 and 50 is in the first state (live view mode). to transition), it is possible to perform the treatment of the subject O 1 in the actual field of view. In this case, the control unit 87 may warn the display device 70 that it is not a simulation image by voice, text, or the like. On the other hand, when the control unit 87 determines that one of the two medical devices 40, 50 is not in the second state (step S316: No), the medical observation system 1 shifts to step S303.

以上説明した実施の形態２によれば、制御部８７が術者によって把持された２つの医療器具４０，５０が挿入され、かつ、医療器具４０の被検体Ｏ１内への挿入状態を示す第１の状態と第２の状態を検出可能な２つのトロッカー２０の検出結果に基づいて、被検体Ｏ１内の観察対象を撮像することによって生成されたライブビュー画像および予め取得された被検体Ｏ１内の観察対象のシミュレーション画像の少なくとも一方を表示装置７０に表示させるため、術中における術者の邪魔をすることなく、術中の術者を補助することができる。 According to the second embodiment described above, the control unit 87 are inserted two medical devices 40, 50 gripped by the surgeon, and the shows the insertion state into the subject O 1 of the medical instrument 40 based one state and the second state to the detection result of the detectable two trocar 20, the object O which is a live view image and previously acquired generated by imaging the observation target inside the object O 1 Since at least one of the simulation images to be observed in 1 is displayed on the display device 70, it is possible to assist the operator during the operation without disturbing the operator during the operation.

また、実施の形態１によれば、制御部８７が２つのトロッカー２０によって２つの医療器具４０，５０が第２の状態であると検出された場合、ライブビュー画像ＰＬｉｖｅを表示装置７０に表示させるため、術者がライブビュー画像ＰＬｉｖｅを見つつ、把持した医療器具４０，５０によって処置を行うことができる。 Further, according to the first embodiment, when the control unit 87 detects that the two medical devices 40 and 50 are in the second state by the two trocars 20, the live view image P Live is displayed on the display device 70. Therefore, the surgeon can perform the treatment with the medical instruments 40 and 50 grasped while viewing the live view image P Live.

また、実施の形態１によれば、制御部８７が２２つのトロッカー２０によって２つの医療器具４０，５０が第１の状態であると検出された場合、少なくともシミュレーション画像Ｐｓｉｍ１の少なくとも一方を表示装置７０に表示させるため、術者が医療器具４０を把持しながらライブビュー画像ＰＬｉｖｅとシミュレーション画像Ｐｓｉｍ１とをスムーズに切り替えることができるうえ、他のスイッチや他の医療器具に持ち替えることなく行うことができる。 Further, according to the first embodiment, when the control unit 87 detects that the two medical devices 40 and 50 are in the first state by the 22 trocars 20, at least one of the simulated images P sim 1 is displayed. In order to display on 70, the surgeon can smoothly switch between the live view image P Live and the simulation image P sim1 while grasping the medical device 40, and the operation is performed without switching to another switch or another medical device. Can be done.

また、実施の形態１では、制御部８７が２２つのトロッカー２０によって２つの医療器具４０，５０が第１の状態であると検出された場合のみ、少なくともシミュレーション画像Ｐｓｉｍ１を表示装置７０に表示させるため、術者が医療器具４０を把持しながらライブビュー画像ＰＬｉｖｅとシミュレーション画像Ｐｓｉｍ１とをスムーズに切り替えることができる。 Further, in the first embodiment, at least the simulation image P sim 1 is displayed on the display device 70 only when the control unit 87 detects that the two medical devices 40 and 50 are in the first state by the 22 trocars 20. Therefore , the operator can smoothly switch between the live view image P Live and the simulation image P sim1 while grasping the medical instrument 40.

（その他の実施の形態）
上述した本開示の実施の形態１，２に係る医療用観察システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る医療用観察システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態１，２に係る医療用観察システムで説明した構成要素を適宜組み合わせてもよい。 (Other embodiments)
Various inventions can be formed by appropriately combining a plurality of components disclosed in the medical observation system according to the first and second embodiments of the present disclosure described above. For example, some components may be deleted from all the components described in the medical observation system according to the embodiment of the present disclosure described above. Further, the components described in the medical observation system according to the first and second embodiments of the present disclosure described above may be appropriately combined.

また、本開示の実施の形態１，２に係る医療用観察システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。 Further, in the medical observation system according to the first and second embodiments of the present disclosure, the above-mentioned "part" can be read as "means", "circuit" and the like. For example, the control unit can be read as a control means or a control circuit.

また、本開示の実施の形態１，２に係る医療用観察システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 Further, the program to be executed by the medical observation system according to the first and second embodiments of the present disclosure is a CD-ROM, a flexible disk (FD), a CD-R, in an installable format or an executable format file data. It is provided by being recorded on a computer-readable recording medium such as a DVD (Digital Versatile Disk), a USB medium, or a flash memory.

また、本開示の実施の形態１，２に係る医療用観察システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。 Further, the program to be executed by the medical observation system according to the first and second embodiments of the present disclosure is configured to be stored on a computer connected to a network such as the Internet and provided by downloading via the network. You may.

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。 In the description of the flowchart in the present specification, the context of the processing between steps has been clarified by using expressions such as "first", "after", and "continued", but in order to carry out the present invention. The order of processing required is not uniquely defined by those representations. That is, the order of processing in the flowchart described in the present specification can be changed within a consistent range.

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本開示を実施することが可能である。 Although some of the embodiments of the present application have been described in detail with reference to the drawings, these are examples, and various modifications based on the knowledge of those skilled in the art, including the embodiments described in the columns of the present disclosure. It is possible to implement the present disclosure in other modified forms.

なお、本技術は以下のような構成も取ることができる。
（付記１）
術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象に関する第２の画像の少なくとも一方を表示装置に表示させる制御部を備える、
医療用画像処理装置。
（付記２）
（付記１）に記載の医療用画像処理装置であって、
前記第１の状態は、前記医療器具が前記トロッカー内に位置する状態であり、
前記第２の状態は、少なくとも前記医療器具の一部が前記トロッカーを経由して前記被検体内に挿入されて露出した状態である、
医療用画像処理装置。
（付記３）
（付記１）または（付記２）に記載の医療用画像処理装置であって、
前記制御部は、
前記医療器具が前記第２の状態である場合、前記第１の画像を前記表示装置に表示させる一方、
前記医療器具が前記第１の状態である場合、少なくとも前記第２の画像を前記表示装置に表示させる、
医療用画像処理装置。
（付記４）
（付記１）〜（付記３）のいずれか１つに記載の医療用画像処理装置であって、
前記制御部は、
前記トロッカーによって検出された前記医療器具に関する医療器具情報に基づいて、前記第２の画像上に前記医療器具に対応する医療器具画像を重畳して前記表示装置に表示させる、
医療用画像処理装置。
（付記５）
（付記４）に記載の医療用画像処理装置であって、
前記制御部は、
前記医療器具に対する術者の操作内容に基づいて、前記医療器具画像および前記第２の画像の表示態様を制御する、
医療用画像処理装置。
（付記６）
（付記５）に記載の医療用画像処理装置であって、
前記第１の画像に写る臓器の位置と前記第２の画像に含まれる臓器の位置との位置を推定する推論部をさらに備え、
前記制御部は、
前記第１の画像から前記第２の画像に切り替える場合、前記推論部の推定結果に基づいて、前記第１の画像に写る臓器の位置と前記第２の画像に含まれる臓器の位置との位置合わせを行った前記第２の画像を前記表示装置に表示させる、
医療用画像処理装置。
（付記７）
（付記１）〜（付記６）のいずれか１つに記載の医療用画像処理装置であって、
前記制御部は、
前記第１の画像と前記第２の画像とを並列させて前記表示装置に表示させる、または前記第２の画像上に前記第１の画像を縮小して重畳した状態で前記表示装置に表示させる、
医療用画像処理装置。
（付記８）
（付記１）〜（付記７）のいずれか１つに記載の医療用画像処理装置であって、
前記制御部は、
前記第１の画像から前記第２の画像を切り替える場合、前記表示装置に警告を出力させる、
医療用画像処理装置。
（付記９）
（付記１）〜（付記８）のいずれか１つに記載の医療用画像処理装置であって、
前記トロッカーは、２つであり、
２つの前記トロッカーの各々が前記第２の状態を検出した場合、前記第１の画像を前記表示装置に表示させる一方、
２つの前記トロッカーの各々が前記第１の状態を検出した場合、少なくとも前記第２の画像を前記表示装置に表示させる、
医療用画像処理装置。
（付記１０）
（付記１）〜（付記９）のいずれか１つに記載の医療用画像処理装置であって、
前記第１の画像は、
前記被検体内の観察対象を連続的に撮像することによって生成されたライブビュー画像であり、
前記第２の画像は、
前記被検体内の観察対象のシミュレーション画像である、
医療用画像処理装置。
（付記１１）
（付記１）〜（付記９）のいずれか１つに記載の医療用画像処理装置であって、
前記第１の画像は、
前記被検体内の観察対象を連続的に撮像することによって生成されたライブビュー画像であり、
前記第２の画像は、
前記被検体内の観察対象に関する医学情報である、
医療用画像処理装置。
（付記１２）
（付記５）に記載の医療用画像処理装置であって、
前記制御部は、
前記トロッカーが検出した前記トロッカーの挿入部を軸に回転する前記医療器具の回転量および前記トロッカーの挿入部への前記医療器具の挿入量の少なくとも一方に基づいて、前記第２の画像に写る前記観察対象を水平方向および垂直方向の少なくとも一方に回転させて前記表示装置に表示させる、
医療用画像処理装置。
（付記１３）
（付記１）に記載の医療用画像処理装置であって、
前記制御部は、
前記観察対象を撮像する医療用撮像装置の先端と、前記観察対象と、の距離に基づいて、前記観察対象の蛍光を観察する際の前記観察対象から前記先端までの最適な距離を含む距離情報を前記表示装置に表示させる、
医療用画像処理装置。
（付記１４）
筒状をなし、外部から医療器具が挿入可能な穴部を有する本体部と、
前記穴部の挿入方向に沿って設けられ、前記穴部に挿入された前記医療器具の位置を第１の状態として検出する第１の検出部と、
前記穴部の挿入方向に沿って前記第１の検出部より挿入距離が長い位置に設けられ、前記穴部に挿入された前記医療器具の位置を第２の状態として検出する第２の検出部と、
を備える、
トロッカー。
（付記１５）
付記１４に記載のトロッカーであって、
前記穴部に挿入される前記医療器具に設けられた前記医療器具に関する医療器具情報を取得する取得部をさらに備える、
トロッカー。
（付記１６）
（付記１４）または（付記１５）に記載のトロッカーであって、
前記第１の検出部および前記第２の検出部の各々は、
前記穴部に突出可能に設けられ、前記医療器具に嵌合する嵌合部材と
前記嵌合部材を前記穴部の外縁から中心に向けて付勢する付勢部材と、
前記付勢部材の付勢状態を検出し、この検出結果を外部へ出力する圧力センサと、
を有する、
トロッカー。
（付記１７）
（付記１４）または（付記１５）に記載のトロッカーであって、
前記第１の状態は、前記医療器具が当該トロッカー内に位置する状態であり、
前記第２の状態は、少なくとも前記医療器具の一部が当該トロッカーを経由して被検体内に挿入されて露出した状態である、
トロッカー。
（付記１８）
被検体の観察対象を撮像することによって第１の画像を生成する撮像部と、
予め取得された前記被検体の観察対象の３次元画像データまたは２次元画像データに基づく第２の画像を記録する記録部と、
前記第１の画像および前記第２の画像を表示可能な表示装置と、
術者によって把持された医療器具が挿入され、かつ、該医療器具の前記被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーと、
前記トロッカーの検出結果に基づいて、前記第１の画像および前記第２の画像像の少なくとも一方を前記表示装置に表示させる制御部と、
を備える、
医療用観察システム。
（付記１９）
術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させる、
画像処理方法。
（付記２０）
医療用画像処理装置に実行させるプログラムであって、
術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させる、
プログラム。 The present technology can also have the following configurations.
(Appendix 1)
Based on the detection results of one or more trocars in which the medical device grasped by the operator is inserted and the first state and the second state indicating the state of insertion of the medical device into the subject can be detected. A control unit for displaying at least one of the first image generated by imaging the observation target in the subject and the second image regarding the observation target in the subject acquired in advance on the display device. Prepare, prepare
Medical image processing equipment.
(Appendix 2)
The medical image processing apparatus according to (Appendix 1).
The first state is a state in which the medical device is located in the trocar.
The second state is a state in which at least a part of the medical device is inserted into the subject via the trocar and exposed.
Medical image processing equipment.
(Appendix 3)
The medical image processing apparatus according to (Appendix 1) or (Appendix 2).
The control unit
When the medical device is in the second state, the first image is displayed on the display device, while the display device is displayed.
When the medical device is in the first state, at least the second image is displayed on the display device.
Medical image processing equipment.
(Appendix 4)
The medical image processing apparatus according to any one of (Appendix 1) to (Appendix 3).
The control unit
Based on the medical device information about the medical device detected by the trocar, the medical device image corresponding to the medical device is superimposed on the second image and displayed on the display device.
Medical image processing equipment.
(Appendix 5)
The medical image processing apparatus according to (Appendix 4).
The control unit
The display mode of the medical device image and the second image is controlled based on the operation contents of the operator with respect to the medical device.
Medical image processing equipment.
(Appendix 6)
The medical image processing apparatus according to (Appendix 5).
Further, an inference unit for estimating the position of the organ shown in the first image and the position of the organ included in the second image is provided.
The control unit
When switching from the first image to the second image, the positions of the organs shown in the first image and the positions of the organs included in the second image are located based on the estimation result of the inference unit. The combined second image is displayed on the display device.
Medical image processing equipment.
(Appendix 7)
The medical image processing apparatus according to any one of (Appendix 1) to (Appendix 6).
The control unit
The first image and the second image are displayed in parallel on the display device, or the first image is reduced and superimposed on the second image and displayed on the display device. ,
Medical image processing equipment.
(Appendix 8)
The medical image processing apparatus according to any one of (Appendix 1) to (Appendix 7).
The control unit
When switching from the first image to the second image, the display device is made to output a warning.
Medical image processing equipment.
(Appendix 9)
The medical image processing apparatus according to any one of (Appendix 1) to (Appendix 8).
There are two trocars
When each of the two trocars detects the second state, the first image is displayed on the display device, while the display device is displayed.
When each of the two trocars detects the first state, at least the second image is displayed on the display device.
Medical image processing equipment.
(Appendix 10)
The medical image processing apparatus according to any one of (Appendix 1) to (Appendix 9).
The first image is
It is a live view image generated by continuously imaging the observation target in the subject.
The second image is
It is a simulation image of an observation target in the subject.
Medical image processing equipment.
(Appendix 11)
The medical image processing apparatus according to any one of (Appendix 1) to (Appendix 9).
The first image is
It is a live view image generated by continuously imaging the observation target in the subject.
The second image is
Medical information about the observation target in the subject,
Medical image processing equipment.
(Appendix 12)
The medical image processing apparatus according to (Appendix 5).
The control unit
The image in the second image is based on at least one of the amount of rotation of the medical device that rotates about the insertion portion of the trocar detected by the trocar and the amount of insertion of the medical device into the insertion portion of the trocar. The observation object is rotated in at least one of the horizontal direction and the vertical direction to be displayed on the display device.
Medical image processing equipment.
(Appendix 13)
The medical image processing apparatus according to (Appendix 1).
The control unit
Distance information including the optimum distance from the observation target to the tip when observing the fluorescence of the observation target based on the distance between the tip of the medical imaging device that images the observation target and the observation target. Is displayed on the display device.
Medical image processing equipment.
(Appendix 14)
The main body, which has a cylindrical shape and has a hole into which a medical device can be inserted from the outside,
A first detection unit provided along the insertion direction of the hole and detecting the position of the medical device inserted into the hole as the first state.
A second detection unit that is provided at a position longer than the first detection unit along the insertion direction of the hole and detects the position of the medical device inserted in the hole as a second state. When,
To prepare
Trocar.
(Appendix 15)
The trocar described in Appendix 14,
Further provided with an acquisition unit for acquiring medical device information regarding the medical device provided in the medical device inserted into the hole.
Trocar.
(Appendix 16)
The trocar according to (Appendix 14) or (Appendix 15).
Each of the first detection unit and the second detection unit
A fitting member that is protrudably provided in the hole and that fits into the medical device, and an urging member that urges the fitting member from the outer edge of the hole toward the center.
A pressure sensor that detects the urging state of the urging member and outputs the detection result to the outside.
Have,
Trocar.
(Appendix 17)
The trocar according to (Appendix 14) or (Appendix 15).
The first state is a state in which the medical device is located in the trocar.
The second state is a state in which at least a part of the medical device is inserted into the subject via the trocar and exposed.
Trocar.
(Appendix 18)
An imaging unit that generates a first image by imaging the observation target of the subject,
A recording unit that records a second image based on the three-dimensional image data or the two-dimensional image data of the observation target of the subject acquired in advance, and a recording unit.
A display device capable of displaying the first image and the second image, and
One or more trocars capable of detecting a first state and a second state in which the medical device grasped by the operator is inserted and the state of insertion of the medical device into the subject is indicated.
A control unit that displays at least one of the first image and the second image on the display device based on the detection result of the trocar.
To prepare
Medical observation system.
(Appendix 19)
Based on the detection results of one or more trocars in which the medical device grasped by the operator is inserted and the first state and the second state indicating the state of insertion of the medical device into the subject can be detected. Then, at least one of the first image generated by imaging the observation target in the subject and the second image of the observation target in the subject acquired in advance is displayed on the display device.
Image processing method.
(Appendix 20)
A program that is executed by a medical image processing device.
Based on the detection results of one or more trocars in which the medical device grasped by the operator is inserted and the first state and the second state indicating the state of insertion of the medical device into the subject can be detected. Then, at least one of the first image generated by imaging the observation target in the subject and the second image of the observation target in the subject acquired in advance is displayed on the display device.
program.

１ 医療用観察システム
１０，２０，２０Ｌ，２０Ｒ トロッカー
２１ 第１の検出部
２２ 第２の検出部
２３ 取得部
２４，３２，９１ 通信部
２５ 第３の検出部
２６ 第４の検出部
２７ 本体部
３０ 医療用撮像装置
３１ 撮像部
３３ 撮像制御部
４０，５０ 医療器具
４１ ＩＣチップ
４２，４３ 凹部
６０ 光源装置
７０ 表示装置
８０ 制御装置
８１ 第１の通信部
８２ 画像処理部
８３ 入力部
８４ 推論部
８５ 記録部
８６ 第２の通信部
８７ 制御部
９０ 画像サーバ
９２ 患者シミュレーション画像データ記録部
９３ 患者２次元画像データ記録部
９４ 患者データ記録部
９５ 医療器具データ記録部
９６ 生成部
９７ サーバ制御部
１００ ネットワーク
２１１，２２１ 圧力センサ
２１２，２２２ 付勢部材
２１３，２２３ 嵌合部材
２７１ 挿入部
２７２ 突部
２７３ 露出部
３１１ 光学系
３１２ 撮像素子
８５１ プログラム記録部
Ａ１０ 医学情報
Ｏ１ 被検体
Ｏ２ 臓器
Ｏ３ 血管
ＰＬｉｖｅ ライブビュー画像
Ｐｓｉｍ１，Ｐｓｉｍ２ シミュレーション画像
Ｙ１０ 矢印 1 Medical observation system 10, 20, 20L, 20R Tracker 21 First detection unit 22 Second detection unit 23 Acquisition unit 24,32,91 Communication unit 25 Third detection unit 26 Fourth detection unit 27 Main unit 30 Medical image sensor 31 Image sensor 33 Image control unit 40, 50 Medical equipment 41 IC chip 42, 43 Recess 60 Light source device 70 Display device 80 Control device 81 First communication unit 82 Image processing unit 83 Input unit 84 Inference unit 85 Recording unit 86 Second communication unit 87 Control unit 90 Image server 92 Patient simulation image data recording unit 93 Patient two-dimensional image data recording unit 94 Patient data recording unit 95 Medical device data recording unit 96 Generation unit 97 Server control unit 100 Network 211 , 221 pressure sensors 212 and 222 urging member 213, 223 engaging member 271 insertion portion 272 protruding 273 exposed portion 311 optical system 312 imaging element 851 program recording unit A10 medical information O 1 object O 2 organ O 3 vessel P Live Live view image P sim1 , P sim2 simulation image Y10 arrow

Claims (20)

術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象に関する第２の画像の少なくとも一方を表示装置に表示させる制御部を備える、
医療用画像処理装置。 Based on the detection results of one or more trocars in which the medical device grasped by the operator is inserted and the first state and the second state indicating the state of insertion of the medical device into the subject can be detected. A control unit for displaying at least one of the first image generated by imaging the observation target in the subject and the second image regarding the observation target in the subject acquired in advance on the display device. Prepare, prepare
Medical image processing equipment. 請求項１に記載の医療用画像処理装置であって、
前記第１の状態は、前記医療器具が前記トロッカー内に位置する状態であり、
前記第２の状態は、少なくとも前記医療器具の一部が前記トロッカーを経由して前記被検体内に挿入されて露出した状態である、
医療用画像処理装置。 The medical image processing apparatus according to claim 1.
The first state is a state in which the medical device is located in the trocar.
The second state is a state in which at least a part of the medical device is inserted into the subject via the trocar and exposed.
Medical image processing equipment. 請求項１に記載の医療用画像処理装置であって、
前記制御部は、
前記医療器具が前記第２の状態である場合、前記第１の画像を前記表示装置に表示させる一方、
前記医療器具が前記第１の状態である場合、少なくとも前記第２の画像を前記表示装置に表示させる、
医療用画像処理装置。 The medical image processing apparatus according to claim 1.
The control unit
When the medical device is in the second state, the first image is displayed on the display device, while the display device is displayed.
When the medical device is in the first state, at least the second image is displayed on the display device.
Medical image processing equipment. 請求項１に記載の医療用画像処理装置であって、
前記制御部は、
前記トロッカーによって検出された前記医療器具に関する医療器具情報に基づいて、前記第２の画像上に前記医療器具に対応する医療器具画像を重畳して前記表示装置に表示させる、
医療用画像処理装置。 The medical image processing apparatus according to claim 1.
The control unit
Based on the medical device information about the medical device detected by the trocar, the medical device image corresponding to the medical device is superimposed on the second image and displayed on the display device.
Medical image processing equipment. 請求項４に記載の医療用画像処理装置であって、
前記制御部は、
前記医療器具に対する術者の操作内容に基づいて、前記医療器具画像および前記第２の画像の表示態様を制御する、
医療用画像処理装置。 The medical image processing apparatus according to claim 4.
The control unit
The display mode of the medical device image and the second image is controlled based on the operation contents of the operator with respect to the medical device.
Medical image processing equipment. 請求項５に記載の医療用画像処理装置であって、
前記第１の画像に写る臓器の位置と前記第２の画像に含まれる臓器の位置との位置を推定する推論部をさらに備え、
前記制御部は、
前記第１の画像から前記第２の画像に切り替える場合、前記推論部の推定結果に基づいて、前記第１の画像に写る臓器の位置と前記第２の画像に含まれる臓器の位置との位置合わせを行った前記第２の画像を前記表示装置に表示させる、
医療用画像処理装置。 The medical image processing apparatus according to claim 5.
Further, an inference unit for estimating the position of the organ shown in the first image and the position of the organ included in the second image is provided.
The control unit
When switching from the first image to the second image, the positions of the organs shown in the first image and the positions of the organs included in the second image are located based on the estimation result of the inference unit. The combined second image is displayed on the display device.
Medical image processing equipment. 請求項１に記載の医療用画像処理装置であって、
前記制御部は、
前記第１の画像と前記第２の画像とを並列させて前記表示装置に表示させる、または前記第２の画像上に前記第１の画像を縮小して重畳した状態で前記表示装置に表示させる、
医療用画像処理装置。 The medical image processing apparatus according to claim 1.
The control unit
The first image and the second image are displayed in parallel on the display device, or the first image is reduced and superimposed on the second image and displayed on the display device. ,
Medical image processing equipment. 請求項１に記載の医療用画像処理装置であって、
前記制御部は、
前記第１の画像から前記第２の画像を切り替える場合、前記表示装置に警告を出力させる、
医療用画像処理装置。 The medical image processing apparatus according to claim 1.
The control unit
When switching from the first image to the second image, the display device is made to output a warning.
Medical image processing equipment. 請求項１に記載の医療用画像処理装置であって、
前記トロッカーは、２つであり、
２つの前記トロッカーの各々が前記第２の状態を検出した場合、前記第１の画像を前記表示装置に表示させる一方、
２つの前記トロッカーの各々が前記第１の状態を検出した場合、少なくとも前記第２の画像を前記表示装置に表示させる、
医療用画像処理装置。 The medical image processing apparatus according to claim 1.
There are two trocars
When each of the two trocars detects the second state, the first image is displayed on the display device, while the display device is displayed.
When each of the two trocars detects the first state, at least the second image is displayed on the display device.
Medical image processing equipment. 請求項１に記載の医療用画像処理装置であって、
前記第１の画像は、
前記被検体内の観察対象を連続的に撮像することによって生成されたライブビュー画像であり、
前記第２の画像は、
前記被検体内の観察対象のシミュレーション画像である、
医療用画像処理装置。 The medical image processing apparatus according to claim 1.
The first image is
It is a live view image generated by continuously imaging the observation target in the subject.
The second image is
It is a simulation image of an observation target in the subject.
Medical image processing equipment. 請求項１に記載の医療用画像処理装置であって、
前記第１の画像は、
前記被検体内の観察対象を連続的に撮像することによって生成されたライブビュー画像であり、
前記第２の画像は、
前記被検体内の観察対象に関する医学情報である、
医療用画像処理装置。 The medical image processing apparatus according to claim 1.
The first image is
It is a live view image generated by continuously imaging the observation target in the subject.
The second image is
Medical information about the observation target in the subject,
Medical image processing equipment. 請求項５に記載の医療用画像処理装置であって、
前記制御部は、
前記トロッカーが検出した前記トロッカーの挿入部を軸に回転する前記医療器具の回転量および前記トロッカーの挿入部への前記医療器具の挿入量の少なくとも一方に基づいて、前記第２の画像に写る前記観察対象を水平方向および垂直方向の少なくとも一方に回転させて前記表示装置に表示させる、
医療用画像処理装置。 The medical image processing apparatus according to claim 5.
The control unit
The image in the second image is based on at least one of the amount of rotation of the medical device that rotates about the insertion portion of the trocar detected by the trocar and the amount of insertion of the medical device into the insertion portion of the trocar. The observation object is rotated in at least one of the horizontal direction and the vertical direction to be displayed on the display device.
Medical image processing equipment. 請求項１に記載の医療用画像処理装置であって、
前記制御部は、
前記観察対象を撮像する医療用撮像装置の先端と、前記観察対象と、の距離に基づいて、前記観察対象の蛍光を観察する際の前記観察対象から前記先端までの最適な距離を含む距離情報を前記表示装置に表示させる、
医療用画像処理装置。 The medical image processing apparatus according to claim 1.
The control unit
Distance information including the optimum distance from the observation target to the tip when observing the fluorescence of the observation target based on the distance between the tip of the medical imaging device that images the observation target and the observation target. Is displayed on the display device.
Medical image processing equipment. 筒状をなし、外部から医療器具が挿入可能な穴部を有する本体部と、
前記穴部の挿入方向に沿って設けられ、前記穴部に挿入された前記医療器具の位置を第１の状態として検出する第１の検出部と、
前記穴部の挿入方向に沿って前記第１の検出部より挿入距離が長い位置に設けられ、前記穴部に挿入された前記医療器具の位置を第２の状態として検出する第２の検出部と、
を備える、
トロッカー。 The main body, which has a cylindrical shape and has a hole into which a medical device can be inserted from the outside,
A first detection unit provided along the insertion direction of the hole and detecting the position of the medical device inserted into the hole as the first state.
A second detection unit that is provided at a position longer than the first detection unit along the insertion direction of the hole and detects the position of the medical device inserted in the hole as a second state. When,
To prepare
Trocar. 請求項１４に記載のトロッカーであって、
前記穴部に挿入される前記医療器具に設けられた前記医療器具に関する医療器具情報を取得する取得部をさらに備える、
トロッカー。 The trocar according to claim 14.
Further provided with an acquisition unit for acquiring medical device information regarding the medical device provided in the medical device inserted into the hole.
Trocar. 請求項１４に記載のトロッカーであって、
前記第１の検出部および前記第２の検出部の各々は、
前記穴部に突出可能に設けられ、前記医療器具に嵌合する嵌合部材と
前記嵌合部材を前記穴部の外縁から中心に向けて付勢する付勢部材と、
前記付勢部材の付勢状態を検出し、この検出結果を外部へ出力する圧力センサと、
を有する、
トロッカー。 The trocar according to claim 14.
Each of the first detection unit and the second detection unit
A fitting member that is protrudably provided in the hole and that fits into the medical device, and an urging member that urges the fitting member from the outer edge of the hole toward the center.
A pressure sensor that detects the urging state of the urging member and outputs the detection result to the outside.
Have,
Trocar. 請求項１４に記載のトロッカーであって、
前記第１の状態は、前記医療器具が当該トロッカー内に位置する状態であり、
前記第２の状態は、少なくとも前記医療器具の一部が当該トロッカーを経由して被検体内に挿入されて露出した状態である、
トロッカー。 The trocar according to claim 14.
The first state is a state in which the medical device is located in the trocar.
The second state is a state in which at least a part of the medical device is inserted into the subject via the trocar and exposed.
Trocar. 被検体の観察対象を撮像することによって第１の画像を生成する撮像部と、
予め取得された前記被検体の観察対象の３次元画像データまたは２次元画像データに基づく第２の画像を記録する記録部と、
前記第１の画像および前記第２の画像を表示可能な表示装置と、
術者によって把持された医療器具が挿入され、かつ、該医療器具の前記被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーと、
前記トロッカーの検出結果に基づいて、前記第１の画像および前記第２の画像の少なくとも一方を前記表示装置に表示させる制御部と、
を備える、
医療用観察システム。 An imaging unit that generates a first image by imaging the observation target of the subject,
A recording unit that records a second image based on the three-dimensional image data or the two-dimensional image data of the observation target of the subject acquired in advance, and a recording unit.
A display device capable of displaying the first image and the second image, and
One or more trocars capable of detecting a first state and a second state in which the medical device grasped by the operator is inserted and the state of insertion of the medical device into the subject is indicated.
A control unit that displays at least one of the first image and the second image on the display device based on the detection result of the trocar.
To prepare
Medical observation system. 術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させる、
画像処理方法。 Based on the detection results of one or more trocars in which the medical device grasped by the operator is inserted and the first state and the second state indicating the state of insertion of the medical device into the subject can be detected. Then, at least one of the first image generated by imaging the observation target in the subject and the second image of the observation target in the subject acquired in advance is displayed on the display device.
Image processing method. 医療用画像処理装置に実行させるプログラムであって、
術者によって把持された医療器具が挿入され、かつ、該医療器具の被検体内への挿入状態を示す第１の状態と第２の状態を検出可能な１つ以上のトロッカーの検出結果に基づいて、前記被検体内の観察対象を撮像することによって生成された第１の画像および予め取得された前記被検体内の観察対象の第２の画像の少なくとも一方を表示装置に表示させる、
プログラム。 A program that is executed by a medical image processing device.
Based on the detection results of one or more trocars in which the medical device grasped by the operator is inserted and the first state and the second state indicating the state of insertion of the medical device into the subject can be detected. Then, at least one of the first image generated by imaging the observation target in the subject and the second image of the observation target in the subject acquired in advance is displayed on the display device.
program.
JP2020215825A 2020-03-18 2020-12-24 Medical image processing device, trocar, medical observation system, image processing method, and program Pending JP2021151431A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/183,373 US20210295980A1 (en) 2020-03-18 2021-02-24 Medical image processing apparatus, trocar, medical observation system, image processing method, and computer readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020048140 2020-03-18
JP2020048140 2020-03-18

Publications (2)

Publication Number Publication Date
JP2021151431A true JP2021151431A (en) 2021-09-30
JP2021151431A5 JP2021151431A5 (en) 2023-10-25

Family

ID=77886924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020215825A Pending JP2021151431A (en) 2020-03-18 2020-12-24 Medical image processing device, trocar, medical observation system, image processing method, and program

Country Status (1)

Country Link
JP (1) JP2021151431A (en)

Similar Documents

Publication Publication Date Title
WO2019155931A1 (en) Surgical system, image processing device, and image processing method
US20210295980A1 (en) Medical image processing apparatus, trocar, medical observation system, image processing method, and computer readable recording medium
CN114945937A (en) Guided anatomical steering for endoscopic procedures
CN118019504A (en) System for controlling a collaborative surgical instrument with variable surgical site access trajectory
CN118019500A (en) Method and system for controlling a collaborative surgical instrument
JP2021151431A (en) Medical image processing device, trocar, medical observation system, image processing method, and program
US20230109848A1 (en) Surgical devices, systems, and methods using fiducial identification and tracking
US20230095002A1 (en) Surgical methods using fiducial identification and tracking
US20230095221A1 (en) Methods and Systems for Controlling Cooperative Surgical Instruments
WO2023052936A1 (en) Systems for controlling cooperative surgical instruments with variable surgical site access trajectories
JP2021003453A (en) Endoscope treatment system
US20230105509A1 (en) Surgical devices, systems, and methods using multi-source imaging
US20230116781A1 (en) Surgical devices, systems, and methods using multi-source imaging
US11937799B2 (en) Surgical sealing systems for instrument stabilization
WO2023052949A1 (en) Surgical devices, systems, and methods using fiducial identification and tracking
WO2023052929A1 (en) Surgical devices, systems, and methods using multi-source imaging
CN118284384A (en) Surgical devices, systems, methods using fiducial identification and tracking
CN118042993A (en) Method and system for controlling a collaborative surgical instrument

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240614