JP2016154603A - Force feedback device of operation robot forceps, operation robot system, and program - Google Patents

Force feedback device of operation robot forceps, operation robot system, and program Download PDF

Info

Publication number
JP2016154603A
JP2016154603A JP2015032898A JP2015032898A JP2016154603A JP 2016154603 A JP2016154603 A JP 2016154603A JP 2015032898 A JP2015032898 A JP 2015032898A JP 2015032898 A JP2015032898 A JP 2015032898A JP 2016154603 A JP2016154603 A JP 2016154603A
Authority
JP
Japan
Prior art keywords
forceps
organ
operator
force feedback
surgical robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015032898A
Other languages
Japanese (ja)
Inventor
西田　信一郎
Shinichiro Nishida
信一郎 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tottori University NUC
Original Assignee
Tottori University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tottori University NUC filed Critical Tottori University NUC
Priority to JP2015032898A priority Critical patent/JP2016154603A/en
Publication of JP2016154603A publication Critical patent/JP2016154603A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Surgical Instruments (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a force feedback device of operation robot forceps capable of feeding back external force applied on forceps during an operation to an operator without much changing the configuration of the forceps, an operation robot system, and a program.SOLUTION: A computing device 200 measures the shape and position of an internal organ surface from a photographed image of an organ, extracts a marker 73 attached to forceps 70 from the photographed image, measures the position of the forceps 70, obtains application force applied to the forceps 70 from the organ based on the results of these measurements, and provides an action according to the obtained application force to the operator. More specifically, a vibration generator 32 is disposed, which provides vibration to the operator. The computing device 200 changes the frequency of the vibration generated by the vibration generator 32 according to the magnitude of the application force applied to the forceps 70 from the organ.SELECTED DRAWING: Figure 6

Description

本発明は、手術ロボット鉗子にかかる力を使用者に伝達する力帰還装置、これを用いた手術ロボットシステムおよび手術ロボット鉗子に係る力を使用者に伝達する機能をコンピュータに実行させるプログラムに関する。   The present invention relates to a force feedback device that transmits a force applied to a surgical robot forceps to a user, a surgical robot system using the force feedback device, and a program that causes a computer to execute a function of transmitting the force related to the surgical robot forceps to the user.

現在、手術ロボットを用いた施術が前立腺肥大等の患者に対して行われている。このような手術ロボットとして、たとえば、Intuitive Surgical社製のダビンチが知られている。この種の手術ロボットでは、施術に用いる２つの鉗子がそれぞれ２つのロボットアームに取り付けられる。また、内視鏡によって患部が撮影され、患部の３次元画像（左右の目の視差を利用して立体的な視覚が得られる画像）がモニターに映写される。医師等の操作者は、モニターを参照しながら、両手で操作ユニットを操作して、各アームに取り付けられた鉗子を操る。   Currently, surgery using a surgical robot is performed for patients with prostatic hypertrophy. As such a surgical robot, for example, Da Vinci manufactured by Intuitive Surgical is known. In this type of surgical robot, two forceps used for treatment are attached to two robot arms, respectively. In addition, the affected area is photographed by the endoscope, and a three-dimensional image of the affected area (an image in which stereoscopic vision is obtained using the parallax of the left and right eyes) is projected on the monitor. An operator such as a doctor operates the forceps attached to each arm by operating the operation unit with both hands while referring to the monitor.

このように手術ロボットでは、患部の３次元画像がモニターに表示されるため、操作者は、モニターを参照することにより、患部と鉗子の位置をある程度把握できる。しかし、通常、３次元画像による位置の把握には限界があり、精緻な位置検出までは困難である。   As described above, since the three-dimensional image of the affected part is displayed on the monitor in the surgical robot, the operator can grasp the positions of the affected part and the forceps to some extent by referring to the monitor. However, in general, there is a limit to grasping a position by a three-dimensional image, and it is difficult to detect a precise position.

これに対し、以下の特許文献１には、鉗子にかかる外力を推定するための外力推定装置が記載されている。この装置は、外力により変形する弾性部材について前記弾性部材の長さの変化量を検出する検出部と、前記変化量を使い外力を算出する算出部を有する。   On the other hand, the following patent document 1 describes an external force estimation device for estimating an external force applied to a forceps. The apparatus includes a detection unit that detects a change amount of the length of the elastic member with respect to the elastic member that is deformed by an external force, and a calculation unit that calculates the external force using the change amount.

特開２０１４−３８０７５号公報JP 2014-38075 A

しかしながら、上記特許文献１の装置では、外力検出用の弾性部材やセンサ等を鉗子に埋め込む必要がある。このため、それまで使用していた高価な鉗子をそのまま使うことができず、構造が大幅に変更された専用の鉗子を、従前の鉗子に代えて新たに使用する必要がある。   However, in the device of Patent Document 1, it is necessary to embed an elastic member for detecting external force, a sensor, or the like in the forceps. For this reason, the expensive forceps used so far cannot be used as they are, and it is necessary to newly use dedicated forceps whose structure has been significantly changed instead of the conventional forceps.

本発明は、かかる課題に鑑みてなされたものであり、鉗子の構成をさほど変更せずとも、施術の際に鉗子にかかる外力を操作者に帰還可能な手術ロボット鉗子の力帰還装置、手術ロボットシステムおよびプログラムを提供することを目的とする。   The present invention has been made in view of such a problem. A force feedback device for a surgical robot forceps and a surgical robot capable of returning an external force applied to the forceps to the operator during the operation without changing the configuration of the forceps. The object is to provide a system and program.

本発明の第１の態様は、手術ロボット鉗子の力帰還装置に関する。この態様に係る力帰還装置は、臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測手段と、鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測手段と、前記形状計測手段による計測結果と前記位置計測手段による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還手段と、を有する。   A first aspect of the present invention relates to a force feedback device for a surgical robot forceps. The force feedback device according to this aspect is configured to measure the position of the forceps by extracting a shape measurement unit that measures the shape and position of the organ surface from a captured image of the organ and a marker attached to the forceps from the captured image. Based on the position measurement means, the measurement result by the shape measurement means, and the measurement result by the position measurement means, an applied force applied to the forceps from the organ is obtained, and an action corresponding to the obtained applied force is given to the operator. Force feedback means.

本態様に係る手術ロボット鉗子の力帰還装置によれば、鉗子にマーカーを付することにより、鉗子の位置が撮影画像から計測される。また、臓器表面の位置および形状も、撮影画像に基づいて計測される。そして、計測された鉗子の位置と臓器表面の位置および形状と基づいて、前記臓器から前記鉗子にかかる印加力が求められ、求めた印加力に応じた作用が操作者に付与される。よって、鉗子の構成をさほど変更せずとも、施術の際に鉗子にかかる外力を操作者に帰還することができる。   According to the force feedback device of the surgical robot forceps according to this aspect, the position of the forceps is measured from the captured image by attaching a marker to the forceps. Further, the position and shape of the organ surface are also measured based on the captured image. Then, based on the measured position of the forceps and the position and shape of the organ surface, an applied force applied to the forceps from the organ is obtained, and an action corresponding to the obtained applied force is given to the operator. Therefore, the external force applied to the forceps during the procedure can be returned to the operator without changing the configuration of the forceps so much.

第１の態様に係る手術ロボット鉗子の力帰還装置において、形状計測手段は、２つのカメラにより臓器をステレオ視で撮影して得られた撮影画像に基づいて、臓器表面の形状および位置を計測するよう構成することが好ましい。また、位置計測手段の方も、２つのカメラによりマーカーをステレオ視で撮影して得られた撮影画像に基づいて、鉗子の位置を計測するよう構成することが好ましい。こうすると、２つのカメラからの画像に基づいて臓器付近の３次元画像を手術ロボットに表示させながら、これらカメラからの画像を鉗子にかかる印加力の測定に用いることができる。   In the force feedback device for the surgical robot forceps according to the first aspect, the shape measuring means measures the shape and position of the organ surface based on the captured image obtained by capturing the organ with stereo vision using the two cameras. It is preferable to configure as above. The position measuring means is also preferably configured to measure the position of the forceps based on a captured image obtained by capturing the marker in stereo with two cameras. In this way, the three-dimensional image near the organ is displayed on the surgical robot based on the images from the two cameras, and the images from these cameras can be used to measure the applied force applied to the forceps.

第１の態様に係る手術ロボット鉗子の力帰還装置において、力帰還手段は、操作者に振動を付与する振動発生器を備え、臓器から鉗子にかかる印加力の大きさに応じて振動の周波数を変化させる構成とされ得る。こうすると、手術に支障を与えずに操作者に鉗子にかかる印加力を帰還させることができる。   In the force feedback device for the surgical robot forceps according to the first aspect, the force feedback means includes a vibration generator for applying vibration to the operator, and sets the frequency of vibration according to the magnitude of the force applied from the organ to the forceps. It can be configured to change. In this way, the applied force applied to the forceps can be returned to the operator without hindering the operation.

この場合、振動発生器は、鉗子を操作する際に操作者が操作する操作部に配置され得る。こうすると、操作者の手や指等に振動が付与されるため、鉗子にかかる印加力を確実に操作者に帰還させることができる。   In this case, the vibration generator can be arranged in an operation unit operated by an operator when operating the forceps. In this way, vibration is applied to the operator's hand, finger, etc., so that the force applied to the forceps can be reliably returned to the operator.

また、力帰還手段は、臓器から鉗子にかかる印加力の大きさに応じて、スピーカから出力される音の周波数を変化させる構成としても良い。これによっても、鉗子にかかる印加力を円滑に操作者に帰還させることができる。   The force feedback means may be configured to change the frequency of the sound output from the speaker in accordance with the magnitude of the applied force applied from the organ to the forceps. Also by this, the applied force applied to the forceps can be smoothly returned to the operator.

第１の態様に係る手術ロボット鉗子の力帰還装置において、マーカーは、鉗子の長手方向に並ぶように複数付されることが好ましい。こうすると、マーカーの並びを検出することにより、鉗子の長手方向を検出することができる。   In the force feedback device for the surgical robot forceps according to the first aspect, it is preferable that a plurality of markers are attached so as to be aligned in the longitudinal direction of the forceps. Thus, the longitudinal direction of the forceps can be detected by detecting the arrangement of the markers.

また、マーカーは、鉗子の周方向に複数付されることが好ましい。こうすると、周方向における鉗子の回転位置を検出することができる。   Moreover, it is preferable that a plurality of markers are attached in the circumferential direction of the forceps. In this way, the rotational position of the forceps in the circumferential direction can be detected.

本発明の第２の態様は、手術ロボットシステムに関する。この態様に係る手術ロボットシステムは、鉗子を保持するロボットアームと、施術部位となる患部を撮影するカメラと、前記ロボットアームを操作する操作部と、上述の手術ロボット鉗子の力帰還装置と、を有する。   A second aspect of the present invention relates to a surgical robot system. A surgical robot system according to this aspect includes a robot arm that holds forceps, a camera that photographs an affected area that is a treatment site, an operation unit that operates the robot arm, and the force feedback device for the surgical robot forceps described above. Have.

本態様に係る手術ロボットシステムによれば、上記第１の態様に係る力帰還装置と同様の効果が奏され得る。   According to the surgical robot system according to this aspect, the same effects as those of the force feedback device according to the first aspect can be achieved.

本発明の第３の態様は、手術ロボット鉗子に係る力を使用者に伝達する機能をコンピュータに実行させるプログラムに関する。この態様に係るプログラムは、コンピュータに、臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測機能と、鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測機能と、前記形状計測機能による計測結果と前記位置計測機能による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還機能と、を実行させる。   A third aspect of the present invention relates to a program for causing a computer to execute a function of transmitting a force related to a surgical robot forceps to a user. The program according to this aspect measures a shape measurement function for measuring the shape and position of the organ surface from a photographed image of the organ and a marker attached to the forceps from the captured image and measures the position of the forceps. To determine the applied force applied to the forceps from the organ based on the position measurement function, the measurement result by the shape measurement function, and the measurement result by the position measurement function, and to the operator according to the determined application force The force feedback function to be applied is executed.

本態様に係るプログラムによれば、上記第１の態様に係る力帰還装置と同様の効果が奏され得る。   According to the program which concerns on this aspect, the effect similar to the force feedback apparatus which concerns on the said 1st aspect can be show | played.

以上のとおり本発明によれば、鉗子の構成をさほど変更せずとも、施術の際に鉗子にかかる外力を操作者に帰還可能な手術ロボット鉗子の力帰還装置および手術ロボットシステムを提供することができる。   As described above, according to the present invention, it is possible to provide a force feedback device and a surgical robot system for a surgical robot forceps that can return an external force applied to the forceps to the operator during the operation without changing the configuration of the forceps so much. it can.

本発明の特徴は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。   The features of the present invention will become more apparent from the following description of embodiments. However, the following embodiment is merely one embodiment of the present invention, and the meaning of the term of the present invention or each constituent element is not limited to that described in the following embodiment. Absent.

図１は実施の形態に係る手術ロボットシステムの外観を示す斜視図である。FIG. 1 is a perspective view showing an appearance of a surgical robot system according to an embodiment. 図２（ａ）は実施の形態に係る手術ロボットシステムの手操作部付近の構成を示す斜視図、図２（ｂ）は実施の形態に係る手術ロボットシステムの３Ｄモニター部付近の構成を示す斜視図である。FIG. 2A is a perspective view showing a configuration near the manual operation unit of the surgical robot system according to the embodiment, and FIG. 2B is a perspective view showing a configuration near the 3D monitor unit of the surgical robot system according to the embodiment. FIG. 図３（ａ）、（ｂ）は、それぞれ、実施の形態に係る操作杆の端部付近を模式的に示す側面図および正面図である。FIGS. 3A and 3B are a side view and a front view, respectively, schematically showing the vicinity of the end of the operating rod according to the embodiment. 図４は実施の形態に係る３Ｄディスプレイに表示される画面の例を模式的に示す図である。FIG. 4 is a diagram schematically illustrating an example of a screen displayed on the 3D display according to the embodiment. 図５（ａ）は実施の形態に係る内視鏡の出口付近を模式的に示す斜視図、図５（ｂ）は実施の形態に係る鉗子の先端部付近を模式的に示す平面図である。FIG. 5A is a perspective view schematically showing the vicinity of the exit of the endoscope according to the embodiment, and FIG. 5B is a plan view schematically showing the vicinity of the distal end portion of the forceps according to the embodiment. . 図６は実施の形態に係る手術ロボットシステムの構成を示すブロック図である。FIG. 6 is a block diagram showing the configuration of the surgical robot system according to the embodiment. 図７は実施の形態に係る振動発生器の駆動信号を模式的に示す図である。FIG. 7 is a diagram schematically showing a drive signal of the vibration generator according to the embodiment. 図８（ａ）は実施の形態に係る臓器の表面形状と位置を計測する処理を示すフローチャート、図８（ｂ）は実施の形態に係る印加力帰還処理を示すフローチャートである。FIG. 8A is a flowchart showing a process for measuring the surface shape and position of an organ according to the embodiment, and FIG. 8B is a flowchart showing an applied force feedback process according to the embodiment. 図９（ａ）、（ｂ）は、それぞれ、実施の形態に係る臓器に対する鉗子の接触状態の一例を模式的に示す図である。FIGS. 9A and 9B are diagrams each schematically showing an example of the contact state of the forceps with respect to the organ according to the embodiment. 図１０（ａ）は変更例に係る鉗子の構成を示す平面図、図１０（ａ）、（ｂ）は、それぞれ、変更例に係る鉗子の作用を説明する図である。FIG. 10A is a plan view showing the configuration of the forceps according to the modified example, and FIGS. 10A and 10B are diagrams for explaining the operation of the forceps according to the modified example. 図１１（ａ）、（ｂ）は、それぞれ、他の変更例に係る鉗子の構成を示す平面図およびマーカーの付設状態を模式的に示す図、図１１（ｃ）は、さらに他の変更例にかかる振動発生器の配置を示す図である。FIGS. 11A and 11B are a plan view showing a configuration of a forceps according to another modified example, and a diagram schematically showing an attached state of the markers, respectively, and FIG. 11C shows still another modified example. It is a figure which shows arrangement | positioning of the vibration generator concerning.

図１は、実施の形態に係る手術ロボットシステム１の外観を示す斜視図である。   FIG. 1 is a perspective view showing an appearance of a surgical robot system 1 according to an embodiment.

図１に示すように、手術ロボットシステム１は、操作ユニット２と、手術ユニット３とを備える。操作ユニット２と手術ユニット３は、信号ケーブル４で接続されている。手術ロボットシステム１は、図１に示す構成の他、システム全体を管理する管理装置（図示せず）を備えている。この管理装置を用いて、手術ユニット３に取り付けられた鉗子７０の種類が設定される。   As shown in FIG. 1, the surgical robot system 1 includes an operation unit 2 and a surgical unit 3. The operation unit 2 and the surgical unit 3 are connected by a signal cable 4. The surgical robot system 1 includes a management device (not shown) that manages the entire system in addition to the configuration shown in FIG. Using this management apparatus, the type of forceps 70 attached to the surgical unit 3 is set.

医師等の操作者１ａは、操作ユニット２を操作して、手術ユニット３に装着された鉗子７０を操作する。操作者１ａによる操作に応じて、操作ユニット２からの操作信号が信号ケーブル４を介して手術ユニット３に送られる。これにより、手術ユニット３の各部が駆動される。   An operator 1 a such as a doctor operates the operation unit 2 to operate the forceps 70 attached to the surgical unit 3. In response to an operation by the operator 1 a, an operation signal from the operation unit 2 is sent to the surgical unit 3 via the signal cable 4. Thereby, each part of the surgery unit 3 is driven.

操作ユニット２は、椅子に座った状態で操作者１ａが顔を突っ込む凹部１０が設けられている。この凹部１０には、手術対象臓器の３Ｄ画像を表示するための３Ｄモニター部２０が設けられている。また、操作者１ａの手元の位置に手操作部３０が設けられ、足元の位置に足操作部４０が設けられている。   The operation unit 2 is provided with a recess 10 into which the operator 1a thrusts his face while sitting on a chair. The recess 10 is provided with a 3D monitor unit 20 for displaying a 3D image of the surgical organ. Moreover, the hand operation part 30 is provided in the position of the operator 1a, and the foot operation part 40 is provided in the position of the foot.

手術ユニット３は、フレーム状の支持部５０に、一つのアーム５１と３つのアーム５２が支持された構成となっている。中央のアーム５１には、内視鏡６０が装着される。このアーム５１を取り囲むように配置された３つのアーム５２に、それぞれ、鉗子７０が装着される。アーム５１および３つのアーム５２は、３次元に移動可能となっている。アーム５１の下端付近に管５１ａが設けられている。内視鏡６０は、この管５１ａに先端が差し込まれた状態でアーム５１に装着される。また、アーム５２の下端付近にもそれぞれ管５２ａが設けられている。鉗子７０は、この管５２ａに先端が差し込まれた状態でアーム５２に装着される。   The surgical unit 3 has a configuration in which one arm 51 and three arms 52 are supported by a frame-like support portion 50. An endoscope 60 is attached to the central arm 51. Forceps 70 are attached to each of the three arms 52 arranged so as to surround the arm 51. The arm 51 and the three arms 52 are movable in three dimensions. A tube 51 a is provided near the lower end of the arm 51. The endoscope 60 is attached to the arm 51 in a state where the distal end is inserted into the tube 51a. A pipe 52 a is also provided near the lower end of the arm 52. The forceps 70 is attached to the arm 52 with the tip inserted into the tube 52a.

手術の際には、３つのアーム５２のうち２つが適宜用いられる。この際、たとえば、ベッドに横たわる患者１ｂの腹部が数センチメートル切開され、ここに、内視鏡６０と、２つのアーム５２に装着された鉗子７０が差し込まれる。操作者１ａは、左右の手で操作ユニット２の手操作部３０を操作することにより、恰も、２つのアーム５２を自身の左右の手のように駆動することができ、且つ、各アーム５２に装着された鉗子７０を操ることができる。また、操作者１ａは、内視鏡６０により撮影された臓器の画像を、３Ｄモニター部２０を介して見ることができる。こうして、操作者１ａは、３Ｄモニター部２０の画像を見ながら、手操作部３０を操作して、患者１ｂに対する施術を行う。   During the operation, two of the three arms 52 are appropriately used. At this time, for example, the abdomen of the patient 1b lying on the bed is incised by several centimeters, and the endoscope 60 and the forceps 70 attached to the two arms 52 are inserted therein. The operator 1a can drive the two arms 52 like his / her left and right hands by operating the manual operation unit 30 of the operation unit 2 with his / her left and right hands. The attached forceps 70 can be manipulated. Further, the operator 1a can view an organ image taken by the endoscope 60 via the 3D monitor unit 20. Thus, the operator 1a operates the hand operation unit 30 while viewing the image on the 3D monitor unit 20, and performs a treatment on the patient 1b.

図２（ａ）は、手操作部３０付近の構成を示す斜視図である。   FIG. 2A is a perspective view showing a configuration in the vicinity of the manual operation unit 30.

図２（ａ）に示すように、手操作部３０は、一対の操作杆３０Ｌ、３０Ｒからなっている。操作杆３０Ｌ、３０Ｒには、それぞれ、左手および右手の指を差し込むためのリング３０ａが設けられている。操作杆３０Ｌ、３０Ｒは、それぞれ、３次元に自由に移動可能である。操作者１ａは、左右の腕をアームレスト３１に置いた状態で、左右の指をリング３０ａに差し込んで、操作杆３０Ｌ、３０Ｒを移動させる。この動きが操作杆３０Ｌ、３０Ｒの計測器（ロータリーエンコーダ等）により計測され、計測値が操作信号として、操作ユニット２から手術ユニット３に送られる。   As shown in FIG. 2A, the manual operation unit 30 includes a pair of operation rods 30L and 30R. The operating rods 30L and 30R are each provided with a ring 30a for inserting the fingers of the left hand and the right hand. The operating rods 30L and 30R are each freely movable in three dimensions. With the left and right arms placed on the armrest 31, the operator 1a inserts the left and right fingers into the ring 30a and moves the operating rods 30L and 30R. This movement is measured by measuring instruments (such as a rotary encoder) of the operating rods 30L and 30R, and the measured value is sent from the operating unit 2 to the surgical unit 3 as an operating signal.

図３（ａ）、（ｂ）は、それぞれ、操作杆３０Ｌの端部付近を模式的に示す側面図および正面図である。なお、操作杆３０Ｒの端部付近も図３（ａ）、（ｂ）と同様の構成である。   3A and 3B are a side view and a front view, respectively, schematically showing the vicinity of the end of the operating rod 30L. Note that the vicinity of the end of the operating rod 30R has the same configuration as that shown in FIGS.

操作杆３０Ｌには、２つのリング３０ａが設けられ、各リング３０ａに操作者１ａの２本の指がそれぞれ矢印方向に差し込まれる。２つのリング３０ａは、取付部材３０ｃを介して回転バー３０ｂに装着されている。回転バー３０ｂは、中心軸回りに回転可能に中継部材３０ｄ支持されている。回転バー３０ｂの回転は、中継部材３０ｄに設けられた計測器によって計測される。中継部材３０ｄは、レバー状の支持部材３０ｅによって、次の中継部材に支持されている。   The operating rod 30L is provided with two rings 30a, and the two fingers of the operator 1a are inserted into the respective rings 30a in the directions of the arrows. The two rings 30a are attached to the rotating bar 30b via the attachment member 30c. The rotation bar 30b is supported by the relay member 30d so as to be rotatable around the central axis. The rotation of the rotation bar 30b is measured by a measuring instrument provided on the relay member 30d. The relay member 30d is supported by the next relay member by a lever-like support member 30e.

中継部材３０ｄの天面に、振動発生器３２が配置されている。振動発生器３２は、たとえば、コイルと磁石を有する電磁誘導方式の振動発生器であり、人が感じることができる周波数帯で振動する。振動発生器３２からの振動は、中継部材３０ｄ等を介して操作者１ａの左手に伝わる。また、リング３０ａに差し込まれていない操作者１ａの指が振動発生器３２上に接触している場合は、この指に、振動発生器３２からの振動が伝わる。   A vibration generator 32 is disposed on the top surface of the relay member 30d. The vibration generator 32 is, for example, an electromagnetic induction type vibration generator having a coil and a magnet, and vibrates in a frequency band that can be felt by a person. The vibration from the vibration generator 32 is transmitted to the left hand of the operator 1a through the relay member 30d and the like. When the finger of the operator 1a not inserted into the ring 30a is in contact with the vibration generator 32, vibration from the vibration generator 32 is transmitted to this finger.

図２（ｂ）は、３Ｄモニター部２０付近の構成を示す斜視図である。   FIG. 2B is a perspective view showing a configuration in the vicinity of the 3D monitor unit 20.

図２（ｂ）に示すように、凹部１０の底は２段になっており、下段に２つの窓２１が設けられている。また、凹部１０の左右の壁にスピーカ８０が設けられている。凹部１０に操作者１ａの顔を嵌めると、左右の目がそれぞれ２つの窓２１付近に位置付けられ、左右の耳がそれぞれ２つのスピーカ８０付近に位置付けられる。窓２１の奥には、３Ｄ画像を表示可能な３Ｄディスプレイ２２が配置されている。操作者１ａは、凹部１０底の上段に額を付けた状態で２つの窓２１を左右の目で覗き込むことにより、臓器付近の３Ｄ画像を見ることができる。   As shown in FIG. 2B, the bottom of the recess 10 has two steps, and two windows 21 are provided in the lower step. Speakers 80 are provided on the left and right walls of the recess 10. When the face of the operator 1a is fitted in the recess 10, the left and right eyes are positioned near the two windows 21, and the left and right ears are positioned near the two speakers 80, respectively. A 3D display 22 capable of displaying a 3D image is disposed in the back of the window 21. The operator 1a can see a 3D image near the organ by looking into the two windows 21 with the left and right eyes while a forehead is attached to the upper part of the bottom of the recess 10.

図４は、３Ｄディスプレイ２２に表示される画面２２０の例を模式的に示す図である。画面２２０には、臓器の他に、２つの鉗子７０の画像２２１が含まれている。   FIG. 4 is a diagram schematically illustrating an example of a screen 220 displayed on the 3D display 22. The screen 220 includes images 221 of the two forceps 70 in addition to the organ.

図５（ａ）は、内視鏡６０の出口付近を模式的に示す斜視図である。   FIG. 5A is a perspective view schematically showing the vicinity of the exit of the endoscope 60.

図５（ａ）に示すように、内視鏡６０は、円筒形状の筒部６１の端面に２つのカメラ６２とＬＥＤ（Laser Emitting Diode）６３が装着された構成となっている。筒部６１内には、カメラ６２とＬＥＤ６３へと繋がる配線が通っている。   As shown in FIG. 5A, the endoscope 60 has a configuration in which two cameras 62 and an LED (Laser Emitting Diode) 63 are mounted on an end surface of a cylindrical tube portion 61. In the cylinder part 61, the wiring connected to the camera 62 and the LED 63 passes.

図５（ｂ）は、鉗子７０の先端部付近を模式的に示す平面図である。   FIG. 5B is a plan view schematically showing the vicinity of the distal end portion of the forceps 70.

図５（ｂ）に示すように、鉗子７０は、円筒形状の筒部７１の端部に先端効果器７２が設けられた構成となっている。筒部７１内には、先端効果器７２を作動させるワイヤが通っている。図５（ｂ）の例では、先端効果器７２は、開閉可能な摘みとなっている。また、筒部７１の先端付近に、マーカー７３が付されている。ここでは、筒部７１の端部を全周に亘って一定幅で着色することにより、マーカー７３が構成されている。マーカー７３の色は、青等、体内に存在し難い色が選択される。マーカー７３は、筒部７１に直接着色する方法の他、帯状のテープを貼り付ける方法によって、筒部７１に付される。   As shown in FIG. 5 (b), the forceps 70 has a configuration in which a tip effector 72 is provided at the end of a cylindrical tube portion 71. A wire for operating the tip effector 72 passes through the cylindrical portion 71. In the example of FIG. 5B, the tip effector 72 is a knob that can be opened and closed. Further, a marker 73 is attached near the tip of the cylindrical portion 71. Here, the marker 73 is configured by coloring the end portion of the cylindrical portion 71 with a constant width over the entire circumference. As the color of the marker 73, a color that does not easily exist in the body, such as blue, is selected. The marker 73 is attached to the cylindrical portion 71 by a method of directly coloring the cylindrical portion 71 or a method of attaching a strip-shaped tape.

図６は、手術ロボットシステム１の構成を示すブロック図である。   FIG. 6 is a block diagram showing a configuration of the surgical robot system 1.

図１〜５を参照して説明した構成の他、手術ロボットシステム１は、表示入力部９０と、コントローラ１００と、演算装置２００とを備えている。   In addition to the configuration described with reference to FIGS. 1 to 5, the surgical robot system 1 includes a display input unit 90, a controller 100, and an arithmetic device 200.

表示入力部９０は、上述の管理装置（図１には図示せず）に設けられ、手術ロボットシステム１の各種設定やメンテナンス等に用いられる。手術ユニット３のアーム５２に装着される鉗子７０の種類は、表示入力部９０を用いてマニュアルで設定される。表示入力部９０は、たとえば、モニターとキーボード、マウスから構成される。あるいは、タッチパネルによって表示入力部９０が構成されても良い。   The display input unit 90 is provided in the above-described management apparatus (not shown in FIG. 1), and is used for various settings, maintenance, and the like of the surgical robot system 1. The type of forceps 70 attached to the arm 52 of the surgical unit 3 is manually set using the display input unit 90. The display input unit 90 includes, for example, a monitor, a keyboard, and a mouse. Alternatively, the display input unit 90 may be configured by a touch panel.

コントローラ１００は、ＣＰＵ（Central Processing Unit）等の演算処理部と、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶部とを備え、記憶部に記憶されたプログラムに従って各部を制御する。コントローラ１００は、操作ユニット２および手術ユニット３の何れか一方に配置されても良く、あるいは、操作ユニット２および手術ユニット３の両方に分散して配置されても良い。   The controller 100 includes an arithmetic processing unit such as a CPU (Central Processing Unit) and a storage unit such as a hard disk, a ROM (Read Only Memory), and a RAM (Random Access Memory). Each unit is configured according to a program stored in the storage unit. Control. The controller 100 may be disposed in either one of the operation unit 2 and the operation unit 3 or may be distributed in both the operation unit 2 and the operation unit 3.

演算装置２００は、ＣＰＵ等の演算処理部と、ハードディスク、ＲＯＭ、ＲＡＭ等の記憶部とを備え、記憶部に記憶されたプログラムに従って演算処理を行う。演算装置２００は、操作ユニット２に搭載されている。これに代えて、演算装置２００が手術ユニット３に搭載されていても良く、あるいは、演算装置２００が操作ユニット２および手術ユニット３とは別に配置されていても良い。   The arithmetic device 200 includes an arithmetic processing unit such as a CPU and a storage unit such as a hard disk, a ROM, and a RAM, and performs arithmetic processing according to a program stored in the storage unit. The arithmetic device 200 is mounted on the operation unit 2. Instead of this, the arithmetic device 200 may be mounted on the surgical unit 3, or the arithmetic device 200 may be arranged separately from the operation unit 2 and the surgical unit 3.

演算装置２００の記憶部には、臓器ごとの想定剛性を表す臓器係数テーブル２０１が保持されている。演算装置２００は、臓器係数テーブル２０１に記憶された想定剛性を用いて、後述の如く、臓器から鉗子７０に印加される印加力を計測する。   The storage unit of the arithmetic device 200 holds an organ coefficient table 201 that represents the assumed stiffness for each organ. The arithmetic unit 200 uses the assumed rigidity stored in the organ coefficient table 201 to measure an applied force applied from the organ to the forceps 70 as will be described later.

また、演算装置２００の記憶部には、臓器から鉗子７０に印加される印加力に応じて振動発生器３２に生じる振動の周波数やスピーカ８０から出力される音の周波数を設定するための力帰還テーブル２０２が保持されている。たとえば、力帰還テーブル２０２は、印加力の範囲と振動発生器３２の駆動周波数およびスピーカ８０の駆動周波数とを対応付けたテーブルにより構成される。演算装置２００は、力帰還テーブル２０２に基づいて設定した周波数で振動発生器３２を駆動する。また、力帰還テーブル２０２に基づいて設定した周波数で、コントローラ１００を介して、スピーカ８０に音を出力させる。   Further, in the storage unit of the arithmetic device 200, force feedback for setting the frequency of the vibration generated in the vibration generator 32 and the frequency of the sound output from the speaker 80 according to the applied force applied from the organ to the forceps 70. A table 202 is held. For example, the force feedback table 202 is configured by a table in which the range of applied force is associated with the driving frequency of the vibration generator 32 and the driving frequency of the speaker 80. The arithmetic device 200 drives the vibration generator 32 at a frequency set based on the force feedback table 202. In addition, the speaker 80 is caused to output sound via the controller 100 at a frequency set based on the force feedback table 202.

図７（ａ）ないし（ｂ）は、振動発生器３２に供給される駆動信号を模式的に示す図である。振動発生器３２に供給される駆動信号は、臓器から鉗子７０に印加される印加力が大きくなるほど、周波数が高くなる。たとえば、臓器から鉗子７０に印加される印加力が最低レベル（鉗子７０が臓器に接触した直後）にある場合、図７（ａ）の駆動信号が振動発生器３２に印加される。その後、臓器から鉗子７０に印加される印加力が大きくなるに従って、駆動信号が図７（ｂ）、（ｃ）へと変化する。   FIGS. 7A and 7B are diagrams schematically showing drive signals supplied to the vibration generator 32. FIG. The frequency of the drive signal supplied to the vibration generator 32 increases as the applied force applied from the organ to the forceps 70 increases. For example, when the applied force applied from the organ to the forceps 70 is at the lowest level (immediately after the forceps 70 contacts the organ), the drive signal in FIG. 7A is applied to the vibration generator 32. Thereafter, as the applied force applied from the organ to the forceps 70 increases, the drive signal changes to FIGS. 7B and 7C.

図８（ａ）は、臓器の表面形状と位置の計測処理を示すフローチャートである。この処理は、演算装置２００の記憶部に記憶されたプログラムに従って、演算装置２００の演算処理部によって行われる。   FIG. 8A is a flowchart showing the measurement process of the surface shape and position of the organ. This processing is performed by the arithmetic processing unit of the arithmetic device 200 in accordance with a program stored in the storage unit of the arithmetic device 200.

手術ロボットシステム１を用いて手術が開始されると、演算装置２００は、臓器の表面形状および位置を計測するタイミングが到来したか否かを判定する（Ｓ１１）。本実施の形態では、手術が開始された後、一定期間経過ごとに、臓器の表面形状および位置が計測され更新される。計測タイミングが到来すると（Ｓ１１：ＹＥＳ）、演算装置２００は、内視鏡６０の２つのカメラ６２によって撮影された撮影画像をコントローラ１００から取得し、これら撮影画像に基づいて、臓器の形状および位置を算出する（Ｓ１３）。   When surgery is started using the surgical robot system 1, the arithmetic device 200 determines whether or not the timing for measuring the surface shape and position of the organ has arrived (S11). In the present embodiment, after the operation is started, the surface shape and position of the organ are measured and updated every certain period of time. When the measurement timing arrives (S11: YES), the arithmetic unit 200 acquires captured images captured by the two cameras 62 of the endoscope 60 from the controller 100, and based on these captured images, the shape and position of the organ. Is calculated (S13).

ここで、臓器の形状および位置の算出は、以下の手順で行われる。   Here, the calculation of the shape and position of the organ is performed in the following procedure.

（１）２つのカメラ６２によって撮影された撮影画像に対して歪み補正を行う。
（２）歪み補正後の画像から血液や血管部を抽出するカラー抽出処理（ＲＧＢまたはＬ＊ａ＊ｂの座標上での領域の識別および抽出）を行う。
（３）抽出された領域に対しＬＯＧフィルタ処理を行って模様や輪郭を強調し、さらに２値化処理を行う。
（４）以上の処理が行われた２つの撮像画像についてステレオマッチングの処理を行って臓器表面の各点までの距離（奥行き方向の深さ）を算出し、１枚の距離画像を生成する。
（５）生成した距離画像にハフ変換処理を行って、鉗子７０前方の臓器の概略形状と各部位の位置を、平面または曲面へのフィッティングにより算出する。 (1) Distortion correction is performed on the captured images captured by the two cameras 62.
(2) A color extraction process (identification and extraction of regions on RGB or L * a * b coordinates) for extracting blood and blood vessel portions from the image after distortion correction is performed.
(3) The extracted region is subjected to LOG filter processing to emphasize the pattern and outline, and further binarized.
(4) Stereo matching processing is performed on the two captured images that have been subjected to the above processing, and the distance to each point on the organ surface (depth in the depth direction) is calculated to generate one distance image.
(5) A Hough transform process is performed on the generated distance image, and the approximate shape of the organ in front of the forceps 70 and the position of each part are calculated by fitting to a flat surface or a curved surface.

こうして臓器の形状および位置を算出すると、演算装置２００は、手術ロボットシステム１の動作が終了したか否か、すなわち、手術ロボットシステム１を用いた手術が終了したか否かを判断する（Ｓ１４）。動作が終了していない場合（Ｓ１４：ＮＯ）、演算装置２００は、処理をＳ１１に戻して、次の計測タイミングを待つ。   When the shape and position of the organ are calculated in this way, the arithmetic device 200 determines whether or not the operation of the surgical robot system 1 has been completed, that is, whether or not the operation using the surgical robot system 1 has been completed (S14). . When the operation is not finished (S14: NO), the arithmetic unit 200 returns the process to S11 and waits for the next measurement timing.

図８（ｂ）は、印加力帰還処理を示すフローチャートである。この処理も、演算装置２００の記憶部に記憶されたプログラムに従って、演算装置２００の演算処理部によって行われる。   FIG. 8B is a flowchart showing the applied force feedback process. This processing is also performed by the arithmetic processing unit of the arithmetic device 200 in accordance with a program stored in the storage unit of the arithmetic device 200.

手術ロボットシステム１を用いて手術が開始されると、演算装置２００は、内視鏡６０の２つのカメラ６２によって撮影された撮影画像をコントローラ１００から取得し、これら撮影画像に基づいて、鉗子７０先端の位置を算出する（Ｓ２１）。   When surgery is started using the surgical robot system 1, the arithmetic device 200 acquires captured images captured by the two cameras 62 of the endoscope 60 from the controller 100, and based on these captured images, the forceps 70. The position of the tip is calculated (S21).

ここで、鉗子７０先端の位置の算出は、以下の手順で行われる。   Here, the calculation of the position of the tip of the forceps 70 is performed according to the following procedure.

（１）２つのカメラ６２によって撮影された撮影画像に対して歪み補正を行う。
（２）歪み補正後の画像からマーカー７３の色を抽出するカラー抽出処理（ＲＧＢまたはＬ＊ａ＊ｂの座標上での領域の識別および抽出）を行う。
（３）抽出された領域に対しＬＯＧフィルタ処理を行って模様や輪郭を強調し、抽出した色領域のクラスタ化、ラベリングおよび２値化処理を行う。
（４）設定されたクラスタのうちマーカー７３が存在し得ない範囲にあるクラスタや想定し得ないサイズのクラスタをノイズとして除去する。
（５）２つの撮像画像について相対的に対になるクラスタに対しステレオマッチングの処理を行って各クラスタまでの距離（奥行き方向の深さ）を算出し、１枚の距離画像を生成する。
（６）さらに想定外の距離にあるクラスタを除去し、残ったクラスタのうち上位２つの面積のクラスタを、マーカー７３に対応するクラスタとして特定する。
（７）特定したクラスタの面積中心位置を算出し、さらに面積中心までの距離（奥行き方向の深さ）を算出する。
（８）算出した距離に鉗子７０の先端効果器７２の半径Ｒ（図５（ｂ）参照）を加えて、先端効果器７２の先端部７２ａの位置を算出する。 (1) Distortion correction is performed on the captured images captured by the two cameras 62.
(2) A color extraction process (identification and extraction of regions on RGB or L * a * b coordinates) for extracting the color of the marker 73 from the image after distortion correction is performed.
(3) LOG filter processing is performed on the extracted region to emphasize the pattern and outline, and clustering, labeling, and binarization processing are performed on the extracted color region.
(4) Among the set clusters, a cluster in a range where the marker 73 cannot exist or a cluster of a size that cannot be assumed is removed as noise.
(5) Stereo matching processing is performed on the paired clusters of the two captured images to calculate the distance to each cluster (depth in the depth direction), and one distance image is generated.
(6) Further, clusters at an unexpected distance are removed, and the clusters of the upper two areas among the remaining clusters are specified as clusters corresponding to the marker 73.
(7) The area center position of the identified cluster is calculated, and the distance to the area center (depth in the depth direction) is calculated.
(8) The radius R (see FIG. 5B) of the tip effector 72 of the forceps 70 is added to the calculated distance to calculate the position of the tip 72a of the tip effector 72.

なお、上記（８）の演算においては、鉗子７０の傾き状態や、鉗子７０長手方向の軸に対する鉗子７０の回転位置、および、先端効果器７２の曲がり具合等の形状が加味される。鉗子７０の傾き状態や鉗子７０の回転位置は、操作ユニット２の手操作部３０の操作状態によって把握される。   In the calculation of (8), the inclination state of the forceps 70, the rotational position of the forceps 70 with respect to the longitudinal axis of the forceps 70, the shape of the tip effector 72, and the like are taken into consideration. The inclination state of the forceps 70 and the rotational position of the forceps 70 are grasped by the operation state of the manual operation unit 30 of the operation unit 2.

すなわち、演算装置２００は、図２（ａ）の操作鉗３０Ｌ、３０Ｒが操作されることにより操作ユニット２から手術ユニット３に送信される操作信号を随時コントローラ１００から取得して、鉗子７０の傾き状態や鉗子７０の回転位置を把握する。また、演算装置２００は、図示しない管理装置の表示入力部９０（図６参照）から設定された鉗子７０の種類をコントローラ１００から取得し、先端効果器７２の半径Ｒや曲がり具合等の形状を把握する。そして、演算装置２００は、上記（７）により求めた面積中心に、当該面積中心から先端効果器７２の先端部７２ａへと向かうベクトルを面積中心にベクトル的に加えて、先端効果器７２の先端部７２ａの位置を算出する。   That is, the arithmetic device 200 obtains an operation signal transmitted from the operation unit 2 to the surgical unit 3 by operating the operation forceps 30L and 30R in FIG. The state and the rotational position of the forceps 70 are grasped. Further, the arithmetic device 200 acquires the type of forceps 70 set from the display input unit 90 (see FIG. 6) of the management device (not shown) from the controller 100, and shapes the radius R of the tip effector 72 and the shape of the bending. To grasp. Then, the arithmetic unit 200 adds the vector from the area center to the tip end portion 72a of the tip effector 72 in a vector manner to the area center obtained by the above (7), and the tip of the tip effector 72 is added. The position of the part 72a is calculated.

こうして先端効果器７２の先端部７２ａの位置を算出すると、演算装置２００は、図８（ａ）で求めた臓器の形状および位置と、Ｓ２２で求めた先端部７２ａの位置とに基づいて、先端部７２ａが臓器の表面に当接したか否かを判定する（Ｓ２３）。具体的には、演算装置２００は、先端部７２ａの位置が臓器表面よりも奥側にあるか否かを判定する。   When the position of the distal end portion 72a of the distal end effector 72 is calculated in this way, the arithmetic device 200 calculates the distal end based on the shape and position of the organ obtained in FIG. 8A and the position of the distal end portion 72a obtained in S22. It is determined whether or not the part 72a is in contact with the surface of the organ (S23). Specifically, the arithmetic device 200 determines whether or not the position of the distal end portion 72a is behind the organ surface.

先端部７２ａが臓器の表面に当接していない場合（Ｓ２３：ＮＯ）、演算装置２００は、手術ロボットシステム１の動作が終了したか否か、すなわち、手術ロボットシステム１を用いた手術が終了したか否かを判定する（Ｓ２８）。動作が終了していない場合（Ｓ２８：ＮＯ）、演算装置２００は、処理をＳ２１に戻して、次の先端部７２ａの位置算出処理を実行する。   When the distal end portion 72a is not in contact with the surface of the organ (S23: NO), the arithmetic device 200 determines whether or not the operation of the surgical robot system 1 is completed, that is, the operation using the surgical robot system 1 is completed. Is determined (S28). When the operation has not ended (S28: NO), the arithmetic unit 200 returns the process to S21 and executes the position calculation process for the next distal end portion 72a.

先端部７２ａが臓器の表面に当接した場合（Ｓ２３：ＹＥＳ）、演算装置２００は、臓器に対する先端部７２ａの食い込み量を算出する（Ｓ２４）。ここで、食い込み量は、たとえば、先端部７２ａの位置と、先端部７２ａの位置から鉗子７０の長手方向に存在する臓器表面の位置との間の距離である。演算装置２００は、算出した食い込み量に基づいて、臓器から鉗子７０に印加される印加力Ｆを推定する（Ｓ２５）。印加力Ｆは、たとえば、次式によって求められる。   When the distal end portion 72a comes into contact with the surface of the organ (S23: YES), the arithmetic unit 200 calculates the amount of biting of the distal end portion 72a into the organ (S24). Here, the amount of biting is, for example, the distance between the position of the distal end portion 72a and the position of the organ surface existing in the longitudinal direction of the forceps 70 from the position of the distal end portion 72a. The computing device 200 estimates the applied force F applied from the organ to the forceps 70 based on the calculated amount of biting (S25). The applied force F is obtained by the following equation, for example.

Ｆ＝ｋ１×Ｘ＋ｋ２×Ｘ２ …（１）
式（１）において、ｋ１は、演算装置２００の臓器係数テーブル２０１に格納されている当該臓器の推定剛性である。また、Ｘは、ステップＳ２４で算出された食い込み量である。なお、食い込み量Ｘに対する印加力Ｆの線形性が良ければ、式（１）から２次の項を省略しても良い。逆に、食い込み量Ｘに対する印加力Ｆの相関が複雑であれば、式（１）に３次以上の項を追加しても良い。 F = k1 × X + k2 × X 2 (1)
In Equation (1), k1 is the estimated stiffness of the organ stored in the organ coefficient table 201 of the arithmetic device 200. X is the amount of biting calculated in step S24. If the linearity of the applied force F with respect to the bite amount X is good, the quadratic term may be omitted from Equation (1). Conversely, if the correlation between the applied force F and the amount of biting X is complicated, a third-order or higher term may be added to the equation (1).

こうして印加力Ｆを算出した後、演算装置２００は、算出した印加力Ｆに対応する振動発生器３２の振動周波数を力帰還テーブル２０２から取得し、取得した振動周波数で振動発生器３２を駆動する（Ｓ２６）。また、演算装置２００は、算出した印加力Ｆに対応するスピーカ８０の周波数を力帰還テーブル２０２から取得し、取得した周波数で音を出力するための信号をコントローラ１００に供給する（Ｓ２７）。これにより、振動発生器３２が印加力Ｆに対応する周波数で振動し、且つ、スピーカ８０から印加力Ｆに対応する周波数の音が出力される。   After calculating the applied force F in this way, the arithmetic device 200 acquires the vibration frequency of the vibration generator 32 corresponding to the calculated applied force F from the force feedback table 202 and drives the vibration generator 32 with the acquired vibration frequency. (S26). In addition, the arithmetic device 200 acquires the frequency of the speaker 80 corresponding to the calculated applied force F from the force feedback table 202, and supplies a signal for outputting sound at the acquired frequency to the controller 100 (S27). As a result, the vibration generator 32 vibrates at a frequency corresponding to the applied force F, and a sound having a frequency corresponding to the applied force F is output from the speaker 80.

その後、演算装置２００は、手術ロボットシステム１の動作が終了したか否かを判定する（Ｓ２８）。動作が終了していない場合（Ｓ２８：ＮＯ）、演算装置２００は、処理をＳ２１に戻して、Ｓ２１移行の処理を繰り返す。動作が終了すると（Ｓ２８：ＹＥＳ）、演算装置２００は、印加力帰還処理を終了する。   Thereafter, the arithmetic device 200 determines whether or not the operation of the surgical robot system 1 has been completed (S28). When the operation is not finished (S28: NO), the arithmetic unit 200 returns the process to S21 and repeats the process of shifting to S21. When the operation ends (S28: YES), the arithmetic unit 200 ends the applied force feedback process.

なお、Ｓ２３〜Ｓ２７の処理は、施術に用いられている２つの鉗子７０それぞれについて行われる。操作者１ａの右手に対応するアーム５２に装着された鉗子７０の先端部７２ａが臓器に接触すると、臓器からこの鉗子７０に印加されている印加力Ｆが算出される。そして、この印加力Ｆに応じた周波数の振動が、操作者１ａの右手側の操作杆３０Ｒに設置された振動発生器３２から出力され、また、この印加力Ｆに応じた周波数の音が、操作者１ａの右耳側のスピーカ８０から出力される。同様に、操作者１ａの左手に対応するアーム５２に装着された鉗子７０の先端部７２ａが臓器に接触すると、臓器からこの鉗子７０に印加されている印加力Ｆが算出される。そして、この印加力Ｆに応じた周波数の振動が、操作者１ａの左手側の操作杆３０Ｌに設置された振動発生器３２から出力され、また、この印加力Ｆに応じた周波数の音が、操作者１ａの左耳側のスピーカ８０から出力される。   In addition, the process of S23-S27 is performed about each of the two forceps 70 currently used for treatment. When the distal end portion 72a of the forceps 70 attached to the arm 52 corresponding to the right hand of the operator 1a contacts the organ, the applied force F applied to the forceps 70 from the organ is calculated. And the vibration of the frequency according to this applied force F is output from the vibration generator 32 installed in the operating rod 30R on the right hand side of the operator 1a, and the sound of the frequency according to this applied force F is It is output from the speaker 80 on the right ear side of the operator 1a. Similarly, when the distal end portion 72a of the forceps 70 attached to the arm 52 corresponding to the left hand of the operator 1a contacts the organ, the applied force F applied to the forceps 70 from the organ is calculated. And the vibration of the frequency according to this applied force F is output from the vibration generator 32 installed in the operating lever 30L on the left hand side of the operator 1a, and the sound of the frequency according to this applied force F is It is output from the speaker 80 on the left ear side of the operator 1a.

図９（ａ）、（ｂ）は、それぞれ、臓器３００に対する先端部７２ａの接触状態の一例を模式的に示す図である。   FIGS. 9A and 9B are diagrams schematically illustrating an example of a contact state of the distal end portion 72a with respect to the organ 300, respectively.

図９（ａ）の状態では、鉗子７０の先端部７２ａが臓器３００に接触していないため、振動発生器３２は振動せず、また、スピーカ８０から接触に基づく音は出力されない。その後、鉗子７０が臓器３００に接近し、図９（ｂ）のように先端部７２ａが臓器３００に接触すると、上記のように、食い込み量Ｘに応じた周波数で振動発生器３２が振動し、また、食い込み量Ｘに応じた周波数の音がスピーカ８０から出力される。これらの振動および音は、食い込み量Ｘに応じて周波数が変わる。このように、食い込み量Ｘに応じた作用が操作者１ａに帰還されることにより、操作者１ａは、３Ｄ画像では把握が困難な接触状況を、触覚および聴覚により知ることができる。これにより、操作者は、円滑かつ適切に手術を進めることができる。   In the state of FIG. 9A, since the distal end portion 72 a of the forceps 70 is not in contact with the organ 300, the vibration generator 32 does not vibrate and no sound based on contact is output from the speaker 80. Thereafter, when the forceps 70 approaches the organ 300 and the tip 72a contacts the organ 300 as shown in FIG. 9B, the vibration generator 32 vibrates at a frequency corresponding to the biting amount X as described above. A sound having a frequency corresponding to the amount of biting X is output from the speaker 80. The frequency of these vibrations and sounds changes according to the amount of biting X. Thus, by returning the action according to the amount of biting X to the operator 1a, the operator 1a can know a contact state that is difficult to grasp from the 3D image by tactile sense and hearing. Thereby, the operator can advance a surgery smoothly and appropriately.

＜実施の形態の効果＞
以上のとおり、本実施の形態によれば、鉗子７０にマーカー７３を付することにより、鉗子７０の先端部７２ａの位置が、内視鏡６０の２つのカメラ６２で撮影した撮影画像から計測される。また、臓器表面の位置および形状も、撮影画像に基づいて計測される。そして、計測された鉗子７０の先端部７２ａの位置と臓器表面の位置および形状と基づいて、臓器３００から鉗子７０にかかる印加力が求められ、求めた印加力に応じた作用が操作者１ａに付与される。よって、鉗子７０の構成をさほど変更せずとも、施術の際に鉗子７０に印加される外力を操作者１ａに帰還することができる。 <Effect of Embodiment>
As described above, according to the present embodiment, by attaching the marker 73 to the forceps 70, the position of the distal end portion 72a of the forceps 70 is measured from the captured images captured by the two cameras 62 of the endoscope 60. The Further, the position and shape of the organ surface are also measured based on the captured image. Then, based on the measured position of the distal end portion 72a of the forceps 70 and the position and shape of the organ surface, an applied force applied from the organ 300 to the forceps 70 is obtained, and an action corresponding to the obtained applied force is applied to the operator 1a. Is granted. Therefore, the external force applied to the forceps 70 during the procedure can be returned to the operator 1a without changing the configuration of the forceps 70 so much.

内視鏡６０の２つのカメラ６２からの画像に基づいて臓器付近の３次元画像を操作ユニット２の３Ｄモニター部２０に表示させながら、これらカメラ６２からの画像を鉗子７０に印加される印加力の測定に用いることができる。   The force applied to the forceps 70 is applied to the images from the cameras 62 while displaying the three-dimensional image near the organ on the 3D monitor unit 20 of the operation unit 2 based on the images from the two cameras 62 of the endoscope 60. It can be used for measurement.

臓器３００から鉗子７０に印加される印加力の大きさに応じて振動発生器３２から生じる振動の周波数を変化させる構成であるため、手術に支障を与えずに操作者に鉗子７０にかかる印加力を帰還させることができる。   Since the frequency of the vibration generated from the vibration generator 32 is changed according to the magnitude of the applied force applied from the organ 300 to the forceps 70, the applied force applied to the forceps 70 by the operator without hindering the operation. Can be returned.

また、振動発生器３２は、鉗子７０を操作する際に操作者１ａが操作する手操作部３０の操作杆３０Ｌ、３０Ｒに配置されている。これにより、振動発生器３２からの振動が操作者１ａの手や指等に付与されるため、鉗子７０にかかる印加力を確実に操作者１ａに帰還させることができる。   The vibration generator 32 is disposed on the operation rods 30L and 30R of the manual operation unit 30 that is operated by the operator 1a when operating the forceps 70. Thereby, since the vibration from the vibration generator 32 is applied to the operator's 1a hand or finger, the applied force applied to the forceps 70 can be surely returned to the operator 1a.

また、臓器３００から鉗子７０に印加される印加力の大きさに応じて、スピーカ８０から出力される音の周波数が変化する。これによっても、鉗子７０に印加されている印加力を円滑に操作者に帰還させることができる。   Further, the frequency of the sound output from the speaker 80 changes according to the magnitude of the applied force applied from the organ 300 to the forceps 70. Also by this, the applied force applied to the forceps 70 can be smoothly returned to the operator.

＜変更例＞
以上、本発明の実施の形態および設計例について説明したが、本発明は、上記実施の形態および設計例によって制限されるものではなく、本発明の実施形態も、上記以外に種々の変更が可能である。 <Example of change>
Although the embodiments and design examples of the present invention have been described above, the present invention is not limited by the above embodiments and design examples, and various modifications other than the above can be made in the embodiments of the present invention. It is.

たとえば、上記実施の形態では、マーカー７３が鉗子７０の筒部７１先端付近に１つだけ付されたが、図１０（ａ）に示すように、２つのマーカー７３、７４が、鉗子７０の長手方向に並ぶように付されても良い。こうすると、演算装置２００は、図１０（ｂ）、（ｃ）に示すように、マーカー７３、７４のクラスタＰ１、Ｐ２の面積中心Ｃ１、Ｃ２を結ぶ方向Ｄを、鉗子７０の長手方向として検出することができる。この場合、鉗子７０の長手方向におけるマーカーの数は２つに限られず、３つ以上で合っても良い。   For example, in the above embodiment, only one marker 73 is attached near the tip of the cylindrical portion 71 of the forceps 70. However, as shown in FIG. You may attach so that it may line up in a direction. Then, the arithmetic unit 200 detects the direction D connecting the area centers C1 and C2 of the clusters P1 and P2 of the markers 73 and 74 as the longitudinal direction of the forceps 70 as shown in FIGS. 10 (b) and 10 (c). can do. In this case, the number of markers in the longitudinal direction of the forceps 70 is not limited to two, and may be three or more.

また、上記実施の形態では、マーカー７３は鉗子７０の全周において単色であったが、たとえば、図１１（ａ）、（ｂ）に示すように、マーカー７３の色が周方向において変化しても良い。図１１（ａ）、（ｂ）の例では、９０度ごとにマーカー７３が４つの領域７３ａ〜７３ｄに区分され、これら領域７３ａ〜７３ｄの色が互いに相違している。この場合も、各領域の色は、臓器に存在し難い色が選択される。こうすると、演算装置２００は、色の境界により、周方向における鉗子７０の回転位置を検出することができる。なお、図１１（ａ）、（ｂ）では、マーカー７３が周方向に４つの領域に区分されたが、周方向における区分数は４つに限られず、他の数に区分されても良い。また、色の組合せによって、鉗子７０の種類が判別できるようにしても良い。   Further, in the above embodiment, the marker 73 is monochromatic all around the forceps 70. For example, as shown in FIGS. 11A and 11B, the color of the marker 73 changes in the circumferential direction. Also good. In the example of FIGS. 11A and 11B, the marker 73 is divided into four areas 73a to 73d every 90 degrees, and the colors of these areas 73a to 73d are different from each other. Also in this case, the color of each region is selected as a color that does not easily exist in the organ. In this way, the arithmetic unit 200 can detect the rotational position of the forceps 70 in the circumferential direction based on the color boundary. 11A and 11B, the marker 73 is divided into four regions in the circumferential direction, but the number of divisions in the circumferential direction is not limited to four, and may be divided into other numbers. Further, the type of the forceps 70 may be discriminated by the combination of colors.

また、上記実施の形態では、左右の操作杆３０Ｌ、３０Ｒに振動発生器３２を配置したが、振動発生器３２の配置位置はこれに限られず、操作の際に操作者１ａに振動が付与されれば他の位置であっても良い。たとえば、図１１に示すように、操作時に操作者１ａの左右の腕が置かれるアームレスト３１上の領域に、それぞれ、振動発生器３３が設置されても良い。   In the above embodiment, the vibration generators 32 are arranged on the left and right operation rods 30L, 30R. However, the arrangement position of the vibration generators 32 is not limited to this, and vibration is applied to the operator 1a during the operation. Any other position may be used. For example, as shown in FIG. 11, vibration generators 33 may be installed in areas on the armrest 31 where the left and right arms of the operator 1a are placed during operation.

また、上記実施の形態では、振動および音によって、臓器３００から鉗子７０にかかる印加力が操作者１ａに帰還されたが、操作者１ａに付与される作用は、これ限られるものではない。たとえば、操作者１ａに対する音の付与が省略されても良く、あるいは、画像等の視覚による作用が操作者１ａに付与されても良い。臓器３００から鉗子７０にかかる印加力が画像により操作者１ａに帰還される場合、たとえば、図４に示す画面において、臓器に接触している鉗子７０の色が印加力の大きさに応じて変化しても良い。たとえば、臓器３００に鉗子７０が接触していない場合には鉗子７０の色は撮影された状態のままとされ、鉗子７０に印加された印加力が最低レベルの場合に鉗子７０の筒部７１の色が緑色に変化する。そして、鉗子７０に印加された印加力が大きくなるに従って次第に筒部７１の色が黄色から赤色へと変化する。この方法によっても、操作者１ａは、臓器３００から鉗子７０に印加されている印加力を知ることができる。   In the above embodiment, the applied force applied from the organ 300 to the forceps 70 is returned to the operator 1a by vibration and sound. However, the action applied to the operator 1a is not limited to this. For example, the application of sound to the operator 1a may be omitted, or a visual action such as an image may be applied to the operator 1a. When the applied force applied from the organ 300 to the forceps 70 is returned to the operator 1a by an image, for example, in the screen shown in FIG. 4, the color of the forceps 70 in contact with the organ changes according to the magnitude of the applied force. You may do it. For example, when the forceps 70 are not in contact with the organ 300, the color of the forceps 70 is left in a photographed state, and when the applied force applied to the forceps 70 is at the lowest level, the tube portion 71 of the forceps 70 is The color changes to green. Then, as the applied force applied to the forceps 70 increases, the color of the cylindrical portion 71 gradually changes from yellow to red. Also by this method, the operator 1a can know the applied force applied to the forceps 70 from the organ 300.

なお、印加力を画像により操作者１ａに伝達する場合、３Ｄ画像を注視する操作者の集中力を阻害しないように配慮する必要がある。このことから、操作者１ａに対する印加力の帰還は、上記実施の形態のように、振動や音を用いることが望ましいと言える。   In addition, when transmitting applied force to the operator 1a by an image, it is necessary to consider so that the concentration power of the operator who watches a 3D image is not inhibited. From this, it can be said that it is desirable to use vibration and sound for feedback of the applied force to the operator 1a as in the above embodiment.

なお、臓器およびマーカーの距離検出は、必ずしも、２つのカメラを用いたステレオカメラ法によって行われなくても良く、たとえば、臓器表面にランダムなドットパターンを照射し、撮像面におけるドットパターンの変位量から臓器およびマーカーの距離検出を行う方法であっても良い。ただし、３Ｄ画像の生成のために、予め、内視鏡６０に２つのカメラ６２が設けられているため、上記実施の形態のように、これらカメラ６２からの撮影画像を臓器およびマーカー７３の距離検出に共用することが最も好ましいと言える。   The distance between the organ and the marker may not necessarily be detected by a stereo camera method using two cameras. For example, a random dot pattern is irradiated on the surface of the organ, and the amount of displacement of the dot pattern on the imaging surface Alternatively, a method for detecting the distance between the organ and the marker may be used. However, since two cameras 62 are provided in the endoscope 60 in advance for generating a 3D image, the captured image from these cameras 62 is determined as the distance between the organ and the marker 73 as in the above embodiment. It can be said that it is most preferable to share it for detection.

また、上記実施の形態では、式（１）により食い込み量Ｘから印加力Ｆが求められたが、食い込み量Ｘに対する印加力Ｆの線形性が良ければ、食い込み量Ｘをそのまま印加力Ｆとして用いても良い。   Further, in the above embodiment, the applied force F is obtained from the bite amount X by the equation (1). However, if the linearity of the applied force F with respect to the bite amount X is good, the bite amount X is used as it is as the applied force F. May be.

また、上記実施の形態では、予め印加力と周波数とを対応付けた力帰還テーブル２０２を用いて周波数が設定されたが、印加力をパラメータとする演算式によって周波数が設定されても良い。この場合、設定される周波数は、印加力に応じてリニアに変化するものであっても良い。   In the above embodiment, the frequency is set in advance using the force feedback table 202 in which the applied force and the frequency are associated with each other. However, the frequency may be set by an arithmetic expression using the applied force as a parameter. In this case, the set frequency may change linearly according to the applied force.

さらに、上記実施の形態では、図１に示すように、手術ユニット３において、鉗子７０が装着されるアーム５２が３つ備わっていたが、アーム５２の数がこれに限られるものではない。また、操作ユニット２や手術ユニット３の構成や各部のレイアウトも上記に限定されるものではなく、他の構成やレイアウトであっても良い。さらに、図８（ａ）、（ｂ）の処理を行うためのプログラムは、演算装置２００に予めインストールされていても良く、演算装置２００として市販のパソコン等を使う場合には、図８（ａ）、（ｂ）の処理を行うためのプログラムがディスク媒体やインターネットを介して取り込まれる形態であっても良い。   Further, in the above embodiment, as shown in FIG. 1, the surgical unit 3 includes the three arms 52 to which the forceps 70 are attached, but the number of the arms 52 is not limited thereto. Further, the configuration of the operation unit 2 and the operation unit 3 and the layout of each part are not limited to the above, and may be other configurations and layouts. Further, the program for performing the processes of FIGS. 8A and 8B may be preinstalled in the arithmetic device 200. When a commercially available personal computer or the like is used as the arithmetic device 200, FIG. ), A program for performing the processing of (b) may be taken in via a disk medium or the Internet.

この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。   In addition, the embodiment of the present invention can be variously modified as appropriate within the scope of the technical idea shown in the claims.

１ … 手術ロボットシステム
２ … 操作ユニット
３ … 手術ユニット
３０ … 手操作部（操作部）
３２ … 振動発生器
５２ … アーム
６２ … カメラ
７０ … 鉗子
７３、７４ … マーカー
２００ … 演算装置（力帰還装置）
DESCRIPTION OF SYMBOLS 1 ... Surgical robot system 2 ... Operation unit 3 ... Surgery unit 30 ... Manual operation part (operation part)
32 ... Vibration generator 52 ... Arm 62 ... Camera 70 ... Forceps 73, 74 ... Marker 200 ... Arithmetic device (force feedback device)

Claims (10)

臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測手段と、
鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測手段と、
前記形状計測手段による計測結果と前記位置計測手段による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還手段と、を有する手術ロボット鉗子の力帰還装置。 Shape measuring means for measuring the shape and position of the organ surface from a photographed image of the organ;
Position measuring means for extracting a marker attached to the forceps from the captured image and measuring the position of the forceps;
Force feedback means for obtaining an applied force applied to the forceps from the organ based on the measurement result by the shape measuring means and the measurement result by the position measuring means, and applying an action corresponding to the obtained applied force to the operator; , A force feedback device for surgical robotic forceps. 前記形状計測手段は、２つのカメラにより前記臓器をステレオ視で撮影して得られた撮影画像に基づいて、前記臓器表面の形状および位置を計測する、請求項１に記載の手術ロボット鉗子の力帰還装置。   The force of the surgical robot forceps according to claim 1, wherein the shape measuring unit measures the shape and position of the organ surface based on a captured image obtained by capturing the organ with stereo vision using two cameras. Feedback device. 前記位置計測手段は、２つのカメラにより前記マーカーをステレオ視で撮影して得られた撮影画像に基づいて、前記鉗子の位置を計測する、請求項１または２に記載の手術ロボット鉗子の力帰還装置。   The force feedback of the surgical robot forceps according to claim 1 or 2, wherein the position measuring unit measures the position of the forceps based on a captured image obtained by capturing the marker with two cameras. apparatus. 前記力帰還手段は、前記操作者に振動を付与する振動発生器を備え、前記臓器から前記鉗子にかかる前記印加力の大きさに応じて前記振動の周波数を変化させる、請求項１ないし３の何れか一項に記載の手術ロボット鉗子の力帰還装置。   The said force feedback means is provided with the vibration generator which gives a vibration to the said operator, The frequency of the said vibration is changed according to the magnitude | size of the said applied force applied to the said forceps from the said organ. The force feedback device for a surgical robot forceps according to any one of the above. 前記振動発生器は、前記鉗子を操作する際に前記操作者が操作する操作部に配置される、請求項４に記載の手術ロボット鉗子の力帰還装置。   The force feedback device for a surgical robot forceps according to claim 4, wherein the vibration generator is disposed in an operation unit operated by the operator when operating the forceps. 前記力帰還手段は、前記臓器から前記鉗子にかかる前記印加力の大きさに応じて、スピーカから出力される音の周波数を変化させる、請求項１ないし５の何れか一項に記載の手術ロボット鉗子の力帰還装置。   The surgical robot according to any one of claims 1 to 5, wherein the force feedback means changes a frequency of a sound output from a speaker in accordance with a magnitude of the applied force applied from the organ to the forceps. Force feedback device. 前記マーカーは、前記鉗子の長手方向に並ぶように複数付されている、請求項１ないし６の何れか一項に記載の手術ロボット鉗子の力帰還装置。   The force feedback device for a surgical robot forceps according to any one of claims 1 to 6, wherein a plurality of the markers are attached so as to be aligned in the longitudinal direction of the forceps. 前記マーカーは、前記鉗子の周方向に複数付されている、請求項１ないし７の何れか一項に記載の手術ロボット鉗子の力帰還装置。   The force feedback device for a surgical robot forceps according to any one of claims 1 to 7, wherein a plurality of the markers are attached in a circumferential direction of the forceps. 鉗子を保持するロボットアームと、
施術部位となる患部を撮影するカメラと、
前記ロボットアームを操作する操作部と、
請求項１ないし８の何れか一項に記載の手術ロボット鉗子の力帰還装置と、を有する手術ロボットシステム。 A robot arm that holds forceps;
A camera that images the affected area as the treatment site;
An operation unit for operating the robot arm;
A surgical robot system comprising the surgical robot forceps force feedback device according to any one of claims 1 to 8. コンピュータに、
臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測機能と、
鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測機能と、
前記形状計測機能による計測結果と前記位置計測機能による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還機能と、を実行させるプログラム。 On the computer,
A shape measurement function for measuring the shape and position of the organ surface from a photographed image of the organ;
A position measurement function for measuring a position of the forceps by extracting a marker attached to the forceps from the captured image;
A force feedback function for obtaining an applied force applied to the forceps from the organ based on the measurement result by the shape measurement function and the measurement result by the position measurement function, and applying an action corresponding to the obtained applied force to the operator; , A program to execute.
JP2015032898A 2015-02-23 2015-02-23 Force feedback device of operation robot forceps, operation robot system, and program Pending JP2016154603A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015032898A JP2016154603A (en) 2015-02-23 2015-02-23 Force feedback device of operation robot forceps, operation robot system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015032898A JP2016154603A (en) 2015-02-23 2015-02-23 Force feedback device of operation robot forceps, operation robot system, and program

Publications (1)

Publication Number Publication Date
JP2016154603A true JP2016154603A (en) 2016-09-01

Family

ID=56824128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015032898A Pending JP2016154603A (en) 2015-02-23 2015-02-23 Force feedback device of operation robot forceps, operation robot system, and program

Country Status (1)

Country Link
JP (1) JP2016154603A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020022733A (en) * 2018-06-21 2020-02-13 ゼネラル・エレクトリック・カンパニイ System and method for contact management of biopsy apparatus
JP2020532347A (en) * 2017-09-06 2020-11-12 ヴェリリー ライフ サイエンシズ エルエルシー Surgical recognition system
JP2020191037A (en) * 2019-05-24 2020-11-26 株式会社ロジック・アンド・デザイン Image correction method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020532347A (en) * 2017-09-06 2020-11-12 ヴェリリー ライフ サイエンシズ エルエルシー Surgical recognition system
JP2020022733A (en) * 2018-06-21 2020-02-13 ゼネラル・エレクトリック・カンパニイ System and method for contact management of biopsy apparatus
JP2020191037A (en) * 2019-05-24 2020-11-26 株式会社ロジック・アンド・デザイン Image correction method

Similar Documents

Publication Publication Date Title
US20220336078A1 (en) System and method for tracking a portion of the user as a proxy for non-monitored instrument
KR102620057B1 (en) Systems and methods for adaptive input mapping
JP2022017422A (en) Augmented reality surgical navigation
CN111758137A (en) Method and apparatus for telemedicine
JP5410629B1 (en) Ultrasonic diagnostic system, image processing apparatus, control method thereof, and control program
CN109998678A (en) Augmented reality assisting navigation is used during medicine regulation
US20210307861A1 (en) Communication of detected tissue characterization in a surgical robotic platform
JP2022540898A (en) Augmented Reality Systems and Methods for Remote Supervision of Surgical Procedures
CN106535812A (en) Surgical system with haptic feedback based upon quantitative three-dimensional imaging
CN110651333A (en) Surgical imaging system, method and computer program product
CN109589091A (en) The interactive display of selected ECG channel
JP2013052046A (en) Tactile force information display device
KR101595962B1 (en) Colnoscopy surgery simulation system
JP4129527B2 (en) Virtual surgery simulation system
JP2016154603A (en) Force feedback device of operation robot forceps, operation robot system, and program
EP3075342B1 (en) Microscope image processing device and medical microscope system
JP6803239B2 (en) Surgical training system
WO2015129834A1 (en) Surgery system and method of avoiding interference with medical instrument
CN109171604A (en) A kind of intelligent endoscope operating system having AR function
US12023208B2 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application
JP2016225861A (en) Information processing device, information processing method, and in-vivo imaging system
JP2024514642A (en) System and method for tracking a portion of users as an alternative to non-monitoring equipment
WO2018163499A1 (en) Medical image display control device, medical image display device, medical information processing system, and medical image display control method
JP7536766B2 (en) System for visualizing patient stress
KR102235818B1 (en) Endoscopic trainer