JP2016154603A - Force feedback device of operation robot forceps, operation robot system, and program - Google Patents
Force feedback device of operation robot forceps, operation robot system, and program Download PDFInfo
- Publication number
- JP2016154603A JP2016154603A JP2015032898A JP2015032898A JP2016154603A JP 2016154603 A JP2016154603 A JP 2016154603A JP 2015032898 A JP2015032898 A JP 2015032898A JP 2015032898 A JP2015032898 A JP 2015032898A JP 2016154603 A JP2016154603 A JP 2016154603A
- Authority
- JP
- Japan
- Prior art keywords
- forceps
- organ
- operator
- force feedback
- surgical robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000056 organ Anatomy 0.000 claims abstract description 84
- 239000003550 marker Substances 0.000 claims abstract description 25
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 230000009471 action Effects 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 abstract 1
- 210000001835 viscera Anatomy 0.000 abstract 1
- 238000000034 method Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 239000012636 effector Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 206010004446 Benign prostatic hyperplasia Diseases 0.000 description 1
- 208000004403 Prostatic Hyperplasia Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000004240 prostatic hypertrophy Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Surgical Instruments (AREA)
Abstract
Description
本発明は、手術ロボット鉗子にかかる力を使用者に伝達する力帰還装置、これを用いた手術ロボットシステムおよび手術ロボット鉗子に係る力を使用者に伝達する機能をコンピュータに実行させるプログラムに関する。 The present invention relates to a force feedback device that transmits a force applied to a surgical robot forceps to a user, a surgical robot system using the force feedback device, and a program that causes a computer to execute a function of transmitting the force related to the surgical robot forceps to the user.
現在、手術ロボットを用いた施術が前立腺肥大等の患者に対して行われている。このような手術ロボットとして、たとえば、Intuitive Surgical社製のダビンチが知られている。この種の手術ロボットでは、施術に用いる2つの鉗子がそれぞれ2つのロボットアームに取り付けられる。また、内視鏡によって患部が撮影され、患部の3次元画像(左右の目の視差を利用して立体的な視覚が得られる画像)がモニターに映写される。医師等の操作者は、モニターを参照しながら、両手で操作ユニットを操作して、各アームに取り付けられた鉗子を操る。 Currently, surgery using a surgical robot is performed for patients with prostatic hypertrophy. As such a surgical robot, for example, Da Vinci manufactured by Intuitive Surgical is known. In this type of surgical robot, two forceps used for treatment are attached to two robot arms, respectively. In addition, the affected area is photographed by the endoscope, and a three-dimensional image of the affected area (an image in which stereoscopic vision is obtained using the parallax of the left and right eyes) is projected on the monitor. An operator such as a doctor operates the forceps attached to each arm by operating the operation unit with both hands while referring to the monitor.
このように手術ロボットでは、患部の3次元画像がモニターに表示されるため、操作者は、モニターを参照することにより、患部と鉗子の位置をある程度把握できる。しかし、通常、3次元画像による位置の把握には限界があり、精緻な位置検出までは困難である。 As described above, since the three-dimensional image of the affected part is displayed on the monitor in the surgical robot, the operator can grasp the positions of the affected part and the forceps to some extent by referring to the monitor. However, in general, there is a limit to grasping a position by a three-dimensional image, and it is difficult to detect a precise position.
これに対し、以下の特許文献1には、鉗子にかかる外力を推定するための外力推定装置が記載されている。この装置は、外力により変形する弾性部材について前記弾性部材の長さの変化量を検出する検出部と、前記変化量を使い外力を算出する算出部を有する。 On the other hand, the following patent document 1 describes an external force estimation device for estimating an external force applied to a forceps. The apparatus includes a detection unit that detects a change amount of the length of the elastic member with respect to the elastic member that is deformed by an external force, and a calculation unit that calculates the external force using the change amount.
しかしながら、上記特許文献1の装置では、外力検出用の弾性部材やセンサ等を鉗子に埋め込む必要がある。このため、それまで使用していた高価な鉗子をそのまま使うことができず、構造が大幅に変更された専用の鉗子を、従前の鉗子に代えて新たに使用する必要がある。 However, in the device of Patent Document 1, it is necessary to embed an elastic member for detecting external force, a sensor, or the like in the forceps. For this reason, the expensive forceps used so far cannot be used as they are, and it is necessary to newly use dedicated forceps whose structure has been significantly changed instead of the conventional forceps.
本発明は、かかる課題に鑑みてなされたものであり、鉗子の構成をさほど変更せずとも、施術の際に鉗子にかかる外力を操作者に帰還可能な手術ロボット鉗子の力帰還装置、手術ロボットシステムおよびプログラムを提供することを目的とする。 The present invention has been made in view of such a problem. A force feedback device for a surgical robot forceps and a surgical robot capable of returning an external force applied to the forceps to the operator during the operation without changing the configuration of the forceps. The object is to provide a system and program.
本発明の第1の態様は、手術ロボット鉗子の力帰還装置に関する。この態様に係る力帰還装置は、臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測手段と、鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測手段と、前記形状計測手段による計測結果と前記位置計測手段による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還手段と、を有する。 A first aspect of the present invention relates to a force feedback device for a surgical robot forceps. The force feedback device according to this aspect is configured to measure the position of the forceps by extracting a shape measurement unit that measures the shape and position of the organ surface from a captured image of the organ and a marker attached to the forceps from the captured image. Based on the position measurement means, the measurement result by the shape measurement means, and the measurement result by the position measurement means, an applied force applied to the forceps from the organ is obtained, and an action corresponding to the obtained applied force is given to the operator. Force feedback means.
本態様に係る手術ロボット鉗子の力帰還装置によれば、鉗子にマーカーを付することにより、鉗子の位置が撮影画像から計測される。また、臓器表面の位置および形状も、撮影画像に基づいて計測される。そして、計測された鉗子の位置と臓器表面の位置および形状と基づいて、前記臓器から前記鉗子にかかる印加力が求められ、求めた印加力に応じた作用が操作者に付与される。よって、鉗子の構成をさほど変更せずとも、施術の際に鉗子にかかる外力を操作者に帰還することができる。 According to the force feedback device of the surgical robot forceps according to this aspect, the position of the forceps is measured from the captured image by attaching a marker to the forceps. Further, the position and shape of the organ surface are also measured based on the captured image. Then, based on the measured position of the forceps and the position and shape of the organ surface, an applied force applied to the forceps from the organ is obtained, and an action corresponding to the obtained applied force is given to the operator. Therefore, the external force applied to the forceps during the procedure can be returned to the operator without changing the configuration of the forceps so much.
第1の態様に係る手術ロボット鉗子の力帰還装置において、形状計測手段は、2つのカメラにより臓器をステレオ視で撮影して得られた撮影画像に基づいて、臓器表面の形状および位置を計測するよう構成することが好ましい。また、位置計測手段の方も、2つのカメラによりマーカーをステレオ視で撮影して得られた撮影画像に基づいて、鉗子の位置を計測するよう構成することが好ましい。こうすると、2つのカメラからの画像に基づいて臓器付近の3次元画像を手術ロボットに表示させながら、これらカメラからの画像を鉗子にかかる印加力の測定に用いることができる。 In the force feedback device for the surgical robot forceps according to the first aspect, the shape measuring means measures the shape and position of the organ surface based on the captured image obtained by capturing the organ with stereo vision using the two cameras. It is preferable to configure as above. The position measuring means is also preferably configured to measure the position of the forceps based on a captured image obtained by capturing the marker in stereo with two cameras. In this way, the three-dimensional image near the organ is displayed on the surgical robot based on the images from the two cameras, and the images from these cameras can be used to measure the applied force applied to the forceps.
第1の態様に係る手術ロボット鉗子の力帰還装置において、力帰還手段は、操作者に振動を付与する振動発生器を備え、臓器から鉗子にかかる印加力の大きさに応じて振動の周波数を変化させる構成とされ得る。こうすると、手術に支障を与えずに操作者に鉗子にかかる印加力を帰還させることができる。 In the force feedback device for the surgical robot forceps according to the first aspect, the force feedback means includes a vibration generator for applying vibration to the operator, and sets the frequency of vibration according to the magnitude of the force applied from the organ to the forceps. It can be configured to change. In this way, the applied force applied to the forceps can be returned to the operator without hindering the operation.
この場合、振動発生器は、鉗子を操作する際に操作者が操作する操作部に配置され得る。こうすると、操作者の手や指等に振動が付与されるため、鉗子にかかる印加力を確実に操作者に帰還させることができる。 In this case, the vibration generator can be arranged in an operation unit operated by an operator when operating the forceps. In this way, vibration is applied to the operator's hand, finger, etc., so that the force applied to the forceps can be reliably returned to the operator.
また、力帰還手段は、臓器から鉗子にかかる印加力の大きさに応じて、スピーカから出力される音の周波数を変化させる構成としても良い。これによっても、鉗子にかかる印加力を円滑に操作者に帰還させることができる。 The force feedback means may be configured to change the frequency of the sound output from the speaker in accordance with the magnitude of the applied force applied from the organ to the forceps. Also by this, the applied force applied to the forceps can be smoothly returned to the operator.
第1の態様に係る手術ロボット鉗子の力帰還装置において、マーカーは、鉗子の長手方向に並ぶように複数付されることが好ましい。こうすると、マーカーの並びを検出することにより、鉗子の長手方向を検出することができる。 In the force feedback device for the surgical robot forceps according to the first aspect, it is preferable that a plurality of markers are attached so as to be aligned in the longitudinal direction of the forceps. Thus, the longitudinal direction of the forceps can be detected by detecting the arrangement of the markers.
また、マーカーは、鉗子の周方向に複数付されることが好ましい。こうすると、周方向における鉗子の回転位置を検出することができる。 Moreover, it is preferable that a plurality of markers are attached in the circumferential direction of the forceps. In this way, the rotational position of the forceps in the circumferential direction can be detected.
本発明の第2の態様は、手術ロボットシステムに関する。この態様に係る手術ロボットシステムは、鉗子を保持するロボットアームと、施術部位となる患部を撮影するカメラと、前記ロボットアームを操作する操作部と、上述の手術ロボット鉗子の力帰還装置と、を有する。 A second aspect of the present invention relates to a surgical robot system. A surgical robot system according to this aspect includes a robot arm that holds forceps, a camera that photographs an affected area that is a treatment site, an operation unit that operates the robot arm, and the force feedback device for the surgical robot forceps described above. Have.
本態様に係る手術ロボットシステムによれば、上記第1の態様に係る力帰還装置と同様の効果が奏され得る。 According to the surgical robot system according to this aspect, the same effects as those of the force feedback device according to the first aspect can be achieved.
本発明の第3の態様は、手術ロボット鉗子に係る力を使用者に伝達する機能をコンピュータに実行させるプログラムに関する。この態様に係るプログラムは、コンピュータに、臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測機能と、鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測機能と、前記形状計測機能による計測結果と前記位置計測機能による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還機能と、を実行させる。 A third aspect of the present invention relates to a program for causing a computer to execute a function of transmitting a force related to a surgical robot forceps to a user. The program according to this aspect measures a shape measurement function for measuring the shape and position of the organ surface from a photographed image of the organ and a marker attached to the forceps from the captured image and measures the position of the forceps. To determine the applied force applied to the forceps from the organ based on the position measurement function, the measurement result by the shape measurement function, and the measurement result by the position measurement function, and to the operator according to the determined application force The force feedback function to be applied is executed.
本態様に係るプログラムによれば、上記第1の態様に係る力帰還装置と同様の効果が奏され得る。 According to the program which concerns on this aspect, the effect similar to the force feedback apparatus which concerns on the said 1st aspect can be show | played.
以上のとおり本発明によれば、鉗子の構成をさほど変更せずとも、施術の際に鉗子にかかる外力を操作者に帰還可能な手術ロボット鉗子の力帰還装置および手術ロボットシステムを提供することができる。 As described above, according to the present invention, it is possible to provide a force feedback device and a surgical robot system for a surgical robot forceps that can return an external force applied to the forceps to the operator during the operation without changing the configuration of the forceps so much. it can.
本発明の特徴は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。 The features of the present invention will become more apparent from the following description of embodiments. However, the following embodiment is merely one embodiment of the present invention, and the meaning of the term of the present invention or each constituent element is not limited to that described in the following embodiment. Absent.
図1は、実施の形態に係る手術ロボットシステム1の外観を示す斜視図である。 FIG. 1 is a perspective view showing an appearance of a surgical robot system 1 according to an embodiment.
図1に示すように、手術ロボットシステム1は、操作ユニット2と、手術ユニット3とを備える。操作ユニット2と手術ユニット3は、信号ケーブル4で接続されている。手術ロボットシステム1は、図1に示す構成の他、システム全体を管理する管理装置(図示せず)を備えている。この管理装置を用いて、手術ユニット3に取り付けられた鉗子70の種類が設定される。
As shown in FIG. 1, the surgical robot system 1 includes an operation unit 2 and a surgical unit 3. The operation unit 2 and the surgical unit 3 are connected by a signal cable 4. The surgical robot system 1 includes a management device (not shown) that manages the entire system in addition to the configuration shown in FIG. Using this management apparatus, the type of
医師等の操作者1aは、操作ユニット2を操作して、手術ユニット3に装着された鉗子70を操作する。操作者1aによる操作に応じて、操作ユニット2からの操作信号が信号ケーブル4を介して手術ユニット3に送られる。これにより、手術ユニット3の各部が駆動される。
An operator 1 a such as a doctor operates the operation unit 2 to operate the
操作ユニット2は、椅子に座った状態で操作者1aが顔を突っ込む凹部10が設けられている。この凹部10には、手術対象臓器の3D画像を表示するための3Dモニター部20が設けられている。また、操作者1aの手元の位置に手操作部30が設けられ、足元の位置に足操作部40が設けられている。
The operation unit 2 is provided with a
手術ユニット3は、フレーム状の支持部50に、一つのアーム51と3つのアーム52が支持された構成となっている。中央のアーム51には、内視鏡60が装着される。このアーム51を取り囲むように配置された3つのアーム52に、それぞれ、鉗子70が装着される。アーム51および3つのアーム52は、3次元に移動可能となっている。アーム51の下端付近に管51aが設けられている。内視鏡60は、この管51aに先端が差し込まれた状態でアーム51に装着される。また、アーム52の下端付近にもそれぞれ管52aが設けられている。鉗子70は、この管52aに先端が差し込まれた状態でアーム52に装着される。
The surgical unit 3 has a configuration in which one
手術の際には、3つのアーム52のうち2つが適宜用いられる。この際、たとえば、ベッドに横たわる患者1bの腹部が数センチメートル切開され、ここに、内視鏡60と、2つのアーム52に装着された鉗子70が差し込まれる。操作者1aは、左右の手で操作ユニット2の手操作部30を操作することにより、恰も、2つのアーム52を自身の左右の手のように駆動することができ、且つ、各アーム52に装着された鉗子70を操ることができる。また、操作者1aは、内視鏡60により撮影された臓器の画像を、3Dモニター部20を介して見ることができる。こうして、操作者1aは、3Dモニター部20の画像を見ながら、手操作部30を操作して、患者1bに対する施術を行う。
During the operation, two of the three
図2(a)は、手操作部30付近の構成を示す斜視図である。
FIG. 2A is a perspective view showing a configuration in the vicinity of the
図2(a)に示すように、手操作部30は、一対の操作杆30L、30Rからなっている。操作杆30L、30Rには、それぞれ、左手および右手の指を差し込むためのリング30aが設けられている。操作杆30L、30Rは、それぞれ、3次元に自由に移動可能である。操作者1aは、左右の腕をアームレスト31に置いた状態で、左右の指をリング30aに差し込んで、操作杆30L、30Rを移動させる。この動きが操作杆30L、30Rの計測器(ロータリーエンコーダ等)により計測され、計測値が操作信号として、操作ユニット2から手術ユニット3に送られる。
As shown in FIG. 2A, the
図3(a)、(b)は、それぞれ、操作杆30Lの端部付近を模式的に示す側面図および正面図である。なお、操作杆30Rの端部付近も図3(a)、(b)と同様の構成である。
3A and 3B are a side view and a front view, respectively, schematically showing the vicinity of the end of the operating
操作杆30Lには、2つのリング30aが設けられ、各リング30aに操作者1aの2本の指がそれぞれ矢印方向に差し込まれる。2つのリング30aは、取付部材30cを介して回転バー30bに装着されている。回転バー30bは、中心軸回りに回転可能に中継部材30d支持されている。回転バー30bの回転は、中継部材30dに設けられた計測器によって計測される。中継部材30dは、レバー状の支持部材30eによって、次の中継部材に支持されている。
The operating
中継部材30dの天面に、振動発生器32が配置されている。振動発生器32は、たとえば、コイルと磁石を有する電磁誘導方式の振動発生器であり、人が感じることができる周波数帯で振動する。振動発生器32からの振動は、中継部材30d等を介して操作者1aの左手に伝わる。また、リング30aに差し込まれていない操作者1aの指が振動発生器32上に接触している場合は、この指に、振動発生器32からの振動が伝わる。
A
図2(b)は、3Dモニター部20付近の構成を示す斜視図である。
FIG. 2B is a perspective view showing a configuration in the vicinity of the
図2(b)に示すように、凹部10の底は2段になっており、下段に2つの窓21が設けられている。また、凹部10の左右の壁にスピーカ80が設けられている。凹部10に操作者1aの顔を嵌めると、左右の目がそれぞれ2つの窓21付近に位置付けられ、左右の耳がそれぞれ2つのスピーカ80付近に位置付けられる。窓21の奥には、3D画像を表示可能な3Dディスプレイ22が配置されている。操作者1aは、凹部10底の上段に額を付けた状態で2つの窓21を左右の目で覗き込むことにより、臓器付近の3D画像を見ることができる。
As shown in FIG. 2B, the bottom of the
図4は、3Dディスプレイ22に表示される画面220の例を模式的に示す図である。画面220には、臓器の他に、2つの鉗子70の画像221が含まれている。
FIG. 4 is a diagram schematically illustrating an example of a screen 220 displayed on the
図5(a)は、内視鏡60の出口付近を模式的に示す斜視図である。
FIG. 5A is a perspective view schematically showing the vicinity of the exit of the
図5(a)に示すように、内視鏡60は、円筒形状の筒部61の端面に2つのカメラ62とLED(Laser Emitting Diode)63が装着された構成となっている。筒部61内には、カメラ62とLED63へと繋がる配線が通っている。
As shown in FIG. 5A, the
図5(b)は、鉗子70の先端部付近を模式的に示す平面図である。
FIG. 5B is a plan view schematically showing the vicinity of the distal end portion of the
図5(b)に示すように、鉗子70は、円筒形状の筒部71の端部に先端効果器72が設けられた構成となっている。筒部71内には、先端効果器72を作動させるワイヤが通っている。図5(b)の例では、先端効果器72は、開閉可能な摘みとなっている。また、筒部71の先端付近に、マーカー73が付されている。ここでは、筒部71の端部を全周に亘って一定幅で着色することにより、マーカー73が構成されている。マーカー73の色は、青等、体内に存在し難い色が選択される。マーカー73は、筒部71に直接着色する方法の他、帯状のテープを貼り付ける方法によって、筒部71に付される。
As shown in FIG. 5 (b), the
図6は、手術ロボットシステム1の構成を示すブロック図である。 FIG. 6 is a block diagram showing a configuration of the surgical robot system 1.
図1〜5を参照して説明した構成の他、手術ロボットシステム1は、表示入力部90と、コントローラ100と、演算装置200とを備えている。
In addition to the configuration described with reference to FIGS. 1 to 5, the surgical robot system 1 includes a display input unit 90, a controller 100, and an
表示入力部90は、上述の管理装置(図1には図示せず)に設けられ、手術ロボットシステム1の各種設定やメンテナンス等に用いられる。手術ユニット3のアーム52に装着される鉗子70の種類は、表示入力部90を用いてマニュアルで設定される。表示入力部90は、たとえば、モニターとキーボード、マウスから構成される。あるいは、タッチパネルによって表示入力部90が構成されても良い。
The display input unit 90 is provided in the above-described management apparatus (not shown in FIG. 1), and is used for various settings, maintenance, and the like of the surgical robot system 1. The type of
コントローラ100は、CPU(Central Processing Unit)等の演算処理部と、ハードディスク、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶部とを備え、記憶部に記憶されたプログラムに従って各部を制御する。コントローラ100は、操作ユニット2および手術ユニット3の何れか一方に配置されても良く、あるいは、操作ユニット2および手術ユニット3の両方に分散して配置されても良い。 The controller 100 includes an arithmetic processing unit such as a CPU (Central Processing Unit) and a storage unit such as a hard disk, a ROM (Read Only Memory), and a RAM (Random Access Memory). Each unit is configured according to a program stored in the storage unit. Control. The controller 100 may be disposed in either one of the operation unit 2 and the operation unit 3 or may be distributed in both the operation unit 2 and the operation unit 3.
演算装置200は、CPU等の演算処理部と、ハードディスク、ROM、RAM等の記憶部とを備え、記憶部に記憶されたプログラムに従って演算処理を行う。演算装置200は、操作ユニット2に搭載されている。これに代えて、演算装置200が手術ユニット3に搭載されていても良く、あるいは、演算装置200が操作ユニット2および手術ユニット3とは別に配置されていても良い。
The
演算装置200の記憶部には、臓器ごとの想定剛性を表す臓器係数テーブル201が保持されている。演算装置200は、臓器係数テーブル201に記憶された想定剛性を用いて、後述の如く、臓器から鉗子70に印加される印加力を計測する。
The storage unit of the
また、演算装置200の記憶部には、臓器から鉗子70に印加される印加力に応じて振動発生器32に生じる振動の周波数やスピーカ80から出力される音の周波数を設定するための力帰還テーブル202が保持されている。たとえば、力帰還テーブル202は、印加力の範囲と振動発生器32の駆動周波数およびスピーカ80の駆動周波数とを対応付けたテーブルにより構成される。演算装置200は、力帰還テーブル202に基づいて設定した周波数で振動発生器32を駆動する。また、力帰還テーブル202に基づいて設定した周波数で、コントローラ100を介して、スピーカ80に音を出力させる。
Further, in the storage unit of the
図7(a)ないし(b)は、振動発生器32に供給される駆動信号を模式的に示す図である。振動発生器32に供給される駆動信号は、臓器から鉗子70に印加される印加力が大きくなるほど、周波数が高くなる。たとえば、臓器から鉗子70に印加される印加力が最低レベル(鉗子70が臓器に接触した直後)にある場合、図7(a)の駆動信号が振動発生器32に印加される。その後、臓器から鉗子70に印加される印加力が大きくなるに従って、駆動信号が図7(b)、(c)へと変化する。
FIGS. 7A and 7B are diagrams schematically showing drive signals supplied to the
図8(a)は、臓器の表面形状と位置の計測処理を示すフローチャートである。この処理は、演算装置200の記憶部に記憶されたプログラムに従って、演算装置200の演算処理部によって行われる。
FIG. 8A is a flowchart showing the measurement process of the surface shape and position of the organ. This processing is performed by the arithmetic processing unit of the
手術ロボットシステム1を用いて手術が開始されると、演算装置200は、臓器の表面形状および位置を計測するタイミングが到来したか否かを判定する(S11)。本実施の形態では、手術が開始された後、一定期間経過ごとに、臓器の表面形状および位置が計測され更新される。計測タイミングが到来すると(S11:YES)、演算装置200は、内視鏡60の2つのカメラ62によって撮影された撮影画像をコントローラ100から取得し、これら撮影画像に基づいて、臓器の形状および位置を算出する(S13)。
When surgery is started using the surgical robot system 1, the
ここで、臓器の形状および位置の算出は、以下の手順で行われる。 Here, the calculation of the shape and position of the organ is performed in the following procedure.
(1)2つのカメラ62によって撮影された撮影画像に対して歪み補正を行う。
(2)歪み補正後の画像から血液や血管部を抽出するカラー抽出処理(RGBまたはL*a*bの座標上での領域の識別および抽出)を行う。
(3)抽出された領域に対しLOGフィルタ処理を行って模様や輪郭を強調し、さらに2値化処理を行う。
(4)以上の処理が行われた2つの撮像画像についてステレオマッチングの処理を行って臓器表面の各点までの距離(奥行き方向の深さ)を算出し、1枚の距離画像を生成する。
(5)生成した距離画像にハフ変換処理を行って、鉗子70前方の臓器の概略形状と各部位の位置を、平面または曲面へのフィッティングにより算出する。
(1) Distortion correction is performed on the captured images captured by the two cameras 62.
(2) A color extraction process (identification and extraction of regions on RGB or L * a * b coordinates) for extracting blood and blood vessel portions from the image after distortion correction is performed.
(3) The extracted region is subjected to LOG filter processing to emphasize the pattern and outline, and further binarized.
(4) Stereo matching processing is performed on the two captured images that have been subjected to the above processing, and the distance to each point on the organ surface (depth in the depth direction) is calculated to generate one distance image.
(5) A Hough transform process is performed on the generated distance image, and the approximate shape of the organ in front of the
こうして臓器の形状および位置を算出すると、演算装置200は、手術ロボットシステム1の動作が終了したか否か、すなわち、手術ロボットシステム1を用いた手術が終了したか否かを判断する(S14)。動作が終了していない場合(S14:NO)、演算装置200は、処理をS11に戻して、次の計測タイミングを待つ。
When the shape and position of the organ are calculated in this way, the
図8(b)は、印加力帰還処理を示すフローチャートである。この処理も、演算装置200の記憶部に記憶されたプログラムに従って、演算装置200の演算処理部によって行われる。
FIG. 8B is a flowchart showing the applied force feedback process. This processing is also performed by the arithmetic processing unit of the
手術ロボットシステム1を用いて手術が開始されると、演算装置200は、内視鏡60の2つのカメラ62によって撮影された撮影画像をコントローラ100から取得し、これら撮影画像に基づいて、鉗子70先端の位置を算出する(S21)。
When surgery is started using the surgical robot system 1, the
ここで、鉗子70先端の位置の算出は、以下の手順で行われる。
Here, the calculation of the position of the tip of the
(1)2つのカメラ62によって撮影された撮影画像に対して歪み補正を行う。
(2)歪み補正後の画像からマーカー73の色を抽出するカラー抽出処理(RGBまたはL*a*bの座標上での領域の識別および抽出)を行う。
(3)抽出された領域に対しLOGフィルタ処理を行って模様や輪郭を強調し、抽出した色領域のクラスタ化、ラベリングおよび2値化処理を行う。
(4)設定されたクラスタのうちマーカー73が存在し得ない範囲にあるクラスタや想定し得ないサイズのクラスタをノイズとして除去する。
(5)2つの撮像画像について相対的に対になるクラスタに対しステレオマッチングの処理を行って各クラスタまでの距離(奥行き方向の深さ)を算出し、1枚の距離画像を生成する。
(6)さらに想定外の距離にあるクラスタを除去し、残ったクラスタのうち上位2つの面積のクラスタを、マーカー73に対応するクラスタとして特定する。
(7)特定したクラスタの面積中心位置を算出し、さらに面積中心までの距離(奥行き方向の深さ)を算出する。
(8)算出した距離に鉗子70の先端効果器72の半径R(図5(b)参照)を加えて、先端効果器72の先端部72aの位置を算出する。
(1) Distortion correction is performed on the captured images captured by the two cameras 62.
(2) A color extraction process (identification and extraction of regions on RGB or L * a * b coordinates) for extracting the color of the
(3) LOG filter processing is performed on the extracted region to emphasize the pattern and outline, and clustering, labeling, and binarization processing are performed on the extracted color region.
(4) Among the set clusters, a cluster in a range where the
(5) Stereo matching processing is performed on the paired clusters of the two captured images to calculate the distance to each cluster (depth in the depth direction), and one distance image is generated.
(6) Further, clusters at an unexpected distance are removed, and the clusters of the upper two areas among the remaining clusters are specified as clusters corresponding to the
(7) The area center position of the identified cluster is calculated, and the distance to the area center (depth in the depth direction) is calculated.
(8) The radius R (see FIG. 5B) of the
なお、上記(8)の演算においては、鉗子70の傾き状態や、鉗子70長手方向の軸に対する鉗子70の回転位置、および、先端効果器72の曲がり具合等の形状が加味される。鉗子70の傾き状態や鉗子70の回転位置は、操作ユニット2の手操作部30の操作状態によって把握される。
In the calculation of (8), the inclination state of the
すなわち、演算装置200は、図2(a)の操作鉗30L、30Rが操作されることにより操作ユニット2から手術ユニット3に送信される操作信号を随時コントローラ100から取得して、鉗子70の傾き状態や鉗子70の回転位置を把握する。また、演算装置200は、図示しない管理装置の表示入力部90(図6参照)から設定された鉗子70の種類をコントローラ100から取得し、先端効果器72の半径Rや曲がり具合等の形状を把握する。そして、演算装置200は、上記(7)により求めた面積中心に、当該面積中心から先端効果器72の先端部72aへと向かうベクトルを面積中心にベクトル的に加えて、先端効果器72の先端部72aの位置を算出する。
That is, the
こうして先端効果器72の先端部72aの位置を算出すると、演算装置200は、図8(a)で求めた臓器の形状および位置と、S22で求めた先端部72aの位置とに基づいて、先端部72aが臓器の表面に当接したか否かを判定する(S23)。具体的には、演算装置200は、先端部72aの位置が臓器表面よりも奥側にあるか否かを判定する。
When the position of the
先端部72aが臓器の表面に当接していない場合(S23:NO)、演算装置200は、手術ロボットシステム1の動作が終了したか否か、すなわち、手術ロボットシステム1を用いた手術が終了したか否かを判定する(S28)。動作が終了していない場合(S28:NO)、演算装置200は、処理をS21に戻して、次の先端部72aの位置算出処理を実行する。
When the
先端部72aが臓器の表面に当接した場合(S23:YES)、演算装置200は、臓器に対する先端部72aの食い込み量を算出する(S24)。ここで、食い込み量は、たとえば、先端部72aの位置と、先端部72aの位置から鉗子70の長手方向に存在する臓器表面の位置との間の距離である。演算装置200は、算出した食い込み量に基づいて、臓器から鉗子70に印加される印加力Fを推定する(S25)。印加力Fは、たとえば、次式によって求められる。
When the
F=k1×X+k2×X2 …(1)
式(1)において、k1は、演算装置200の臓器係数テーブル201に格納されている当該臓器の推定剛性である。また、Xは、ステップS24で算出された食い込み量である。なお、食い込み量Xに対する印加力Fの線形性が良ければ、式(1)から2次の項を省略しても良い。逆に、食い込み量Xに対する印加力Fの相関が複雑であれば、式(1)に3次以上の項を追加しても良い。
F = k1 × X + k2 × X 2 (1)
In Equation (1), k1 is the estimated stiffness of the organ stored in the organ coefficient table 201 of the
こうして印加力Fを算出した後、演算装置200は、算出した印加力Fに対応する振動発生器32の振動周波数を力帰還テーブル202から取得し、取得した振動周波数で振動発生器32を駆動する(S26)。また、演算装置200は、算出した印加力Fに対応するスピーカ80の周波数を力帰還テーブル202から取得し、取得した周波数で音を出力するための信号をコントローラ100に供給する(S27)。これにより、振動発生器32が印加力Fに対応する周波数で振動し、且つ、スピーカ80から印加力Fに対応する周波数の音が出力される。
After calculating the applied force F in this way, the
その後、演算装置200は、手術ロボットシステム1の動作が終了したか否かを判定する(S28)。動作が終了していない場合(S28:NO)、演算装置200は、処理をS21に戻して、S21移行の処理を繰り返す。動作が終了すると(S28:YES)、演算装置200は、印加力帰還処理を終了する。
Thereafter, the
なお、S23〜S27の処理は、施術に用いられている2つの鉗子70それぞれについて行われる。操作者1aの右手に対応するアーム52に装着された鉗子70の先端部72aが臓器に接触すると、臓器からこの鉗子70に印加されている印加力Fが算出される。そして、この印加力Fに応じた周波数の振動が、操作者1aの右手側の操作杆30Rに設置された振動発生器32から出力され、また、この印加力Fに応じた周波数の音が、操作者1aの右耳側のスピーカ80から出力される。同様に、操作者1aの左手に対応するアーム52に装着された鉗子70の先端部72aが臓器に接触すると、臓器からこの鉗子70に印加されている印加力Fが算出される。そして、この印加力Fに応じた周波数の振動が、操作者1aの左手側の操作杆30Lに設置された振動発生器32から出力され、また、この印加力Fに応じた周波数の音が、操作者1aの左耳側のスピーカ80から出力される。
In addition, the process of S23-S27 is performed about each of the two
図9(a)、(b)は、それぞれ、臓器300に対する先端部72aの接触状態の一例を模式的に示す図である。
FIGS. 9A and 9B are diagrams schematically illustrating an example of a contact state of the
図9(a)の状態では、鉗子70の先端部72aが臓器300に接触していないため、振動発生器32は振動せず、また、スピーカ80から接触に基づく音は出力されない。その後、鉗子70が臓器300に接近し、図9(b)のように先端部72aが臓器300に接触すると、上記のように、食い込み量Xに応じた周波数で振動発生器32が振動し、また、食い込み量Xに応じた周波数の音がスピーカ80から出力される。これらの振動および音は、食い込み量Xに応じて周波数が変わる。このように、食い込み量Xに応じた作用が操作者1aに帰還されることにより、操作者1aは、3D画像では把握が困難な接触状況を、触覚および聴覚により知ることができる。これにより、操作者は、円滑かつ適切に手術を進めることができる。
In the state of FIG. 9A, since the
<実施の形態の効果>
以上のとおり、本実施の形態によれば、鉗子70にマーカー73を付することにより、鉗子70の先端部72aの位置が、内視鏡60の2つのカメラ62で撮影した撮影画像から計測される。また、臓器表面の位置および形状も、撮影画像に基づいて計測される。そして、計測された鉗子70の先端部72aの位置と臓器表面の位置および形状と基づいて、臓器300から鉗子70にかかる印加力が求められ、求めた印加力に応じた作用が操作者1aに付与される。よって、鉗子70の構成をさほど変更せずとも、施術の際に鉗子70に印加される外力を操作者1aに帰還することができる。
<Effect of Embodiment>
As described above, according to the present embodiment, by attaching the
内視鏡60の2つのカメラ62からの画像に基づいて臓器付近の3次元画像を操作ユニット2の3Dモニター部20に表示させながら、これらカメラ62からの画像を鉗子70に印加される印加力の測定に用いることができる。
The force applied to the
臓器300から鉗子70に印加される印加力の大きさに応じて振動発生器32から生じる振動の周波数を変化させる構成であるため、手術に支障を与えずに操作者に鉗子70にかかる印加力を帰還させることができる。
Since the frequency of the vibration generated from the
また、振動発生器32は、鉗子70を操作する際に操作者1aが操作する手操作部30の操作杆30L、30Rに配置されている。これにより、振動発生器32からの振動が操作者1aの手や指等に付与されるため、鉗子70にかかる印加力を確実に操作者1aに帰還させることができる。
The
また、臓器300から鉗子70に印加される印加力の大きさに応じて、スピーカ80から出力される音の周波数が変化する。これによっても、鉗子70に印加されている印加力を円滑に操作者に帰還させることができる。
Further, the frequency of the sound output from the
<変更例>
以上、本発明の実施の形態および設計例について説明したが、本発明は、上記実施の形態および設計例によって制限されるものではなく、本発明の実施形態も、上記以外に種々の変更が可能である。
<Example of change>
Although the embodiments and design examples of the present invention have been described above, the present invention is not limited by the above embodiments and design examples, and various modifications other than the above can be made in the embodiments of the present invention. It is.
たとえば、上記実施の形態では、マーカー73が鉗子70の筒部71先端付近に1つだけ付されたが、図10(a)に示すように、2つのマーカー73、74が、鉗子70の長手方向に並ぶように付されても良い。こうすると、演算装置200は、図10(b)、(c)に示すように、マーカー73、74のクラスタP1、P2の面積中心C1、C2を結ぶ方向Dを、鉗子70の長手方向として検出することができる。この場合、鉗子70の長手方向におけるマーカーの数は2つに限られず、3つ以上で合っても良い。
For example, in the above embodiment, only one
また、上記実施の形態では、マーカー73は鉗子70の全周において単色であったが、たとえば、図11(a)、(b)に示すように、マーカー73の色が周方向において変化しても良い。図11(a)、(b)の例では、90度ごとにマーカー73が4つの領域73a〜73dに区分され、これら領域73a〜73dの色が互いに相違している。この場合も、各領域の色は、臓器に存在し難い色が選択される。こうすると、演算装置200は、色の境界により、周方向における鉗子70の回転位置を検出することができる。なお、図11(a)、(b)では、マーカー73が周方向に4つの領域に区分されたが、周方向における区分数は4つに限られず、他の数に区分されても良い。また、色の組合せによって、鉗子70の種類が判別できるようにしても良い。
Further, in the above embodiment, the
また、上記実施の形態では、左右の操作杆30L、30Rに振動発生器32を配置したが、振動発生器32の配置位置はこれに限られず、操作の際に操作者1aに振動が付与されれば他の位置であっても良い。たとえば、図11に示すように、操作時に操作者1aの左右の腕が置かれるアームレスト31上の領域に、それぞれ、振動発生器33が設置されても良い。
In the above embodiment, the
また、上記実施の形態では、振動および音によって、臓器300から鉗子70にかかる印加力が操作者1aに帰還されたが、操作者1aに付与される作用は、これ限られるものではない。たとえば、操作者1aに対する音の付与が省略されても良く、あるいは、画像等の視覚による作用が操作者1aに付与されても良い。臓器300から鉗子70にかかる印加力が画像により操作者1aに帰還される場合、たとえば、図4に示す画面において、臓器に接触している鉗子70の色が印加力の大きさに応じて変化しても良い。たとえば、臓器300に鉗子70が接触していない場合には鉗子70の色は撮影された状態のままとされ、鉗子70に印加された印加力が最低レベルの場合に鉗子70の筒部71の色が緑色に変化する。そして、鉗子70に印加された印加力が大きくなるに従って次第に筒部71の色が黄色から赤色へと変化する。この方法によっても、操作者1aは、臓器300から鉗子70に印加されている印加力を知ることができる。
In the above embodiment, the applied force applied from the
なお、印加力を画像により操作者1aに伝達する場合、3D画像を注視する操作者の集中力を阻害しないように配慮する必要がある。このことから、操作者1aに対する印加力の帰還は、上記実施の形態のように、振動や音を用いることが望ましいと言える。 In addition, when transmitting applied force to the operator 1a by an image, it is necessary to consider so that the concentration power of the operator who watches a 3D image is not inhibited. From this, it can be said that it is desirable to use vibration and sound for feedback of the applied force to the operator 1a as in the above embodiment.
なお、臓器およびマーカーの距離検出は、必ずしも、2つのカメラを用いたステレオカメラ法によって行われなくても良く、たとえば、臓器表面にランダムなドットパターンを照射し、撮像面におけるドットパターンの変位量から臓器およびマーカーの距離検出を行う方法であっても良い。ただし、3D画像の生成のために、予め、内視鏡60に2つのカメラ62が設けられているため、上記実施の形態のように、これらカメラ62からの撮影画像を臓器およびマーカー73の距離検出に共用することが最も好ましいと言える。
The distance between the organ and the marker may not necessarily be detected by a stereo camera method using two cameras. For example, a random dot pattern is irradiated on the surface of the organ, and the amount of displacement of the dot pattern on the imaging surface Alternatively, a method for detecting the distance between the organ and the marker may be used. However, since two cameras 62 are provided in the
また、上記実施の形態では、式(1)により食い込み量Xから印加力Fが求められたが、食い込み量Xに対する印加力Fの線形性が良ければ、食い込み量Xをそのまま印加力Fとして用いても良い。 Further, in the above embodiment, the applied force F is obtained from the bite amount X by the equation (1). However, if the linearity of the applied force F with respect to the bite amount X is good, the bite amount X is used as it is as the applied force F. May be.
また、上記実施の形態では、予め印加力と周波数とを対応付けた力帰還テーブル202を用いて周波数が設定されたが、印加力をパラメータとする演算式によって周波数が設定されても良い。この場合、設定される周波数は、印加力に応じてリニアに変化するものであっても良い。 In the above embodiment, the frequency is set in advance using the force feedback table 202 in which the applied force and the frequency are associated with each other. However, the frequency may be set by an arithmetic expression using the applied force as a parameter. In this case, the set frequency may change linearly according to the applied force.
さらに、上記実施の形態では、図1に示すように、手術ユニット3において、鉗子70が装着されるアーム52が3つ備わっていたが、アーム52の数がこれに限られるものではない。また、操作ユニット2や手術ユニット3の構成や各部のレイアウトも上記に限定されるものではなく、他の構成やレイアウトであっても良い。さらに、図8(a)、(b)の処理を行うためのプログラムは、演算装置200に予めインストールされていても良く、演算装置200として市販のパソコン等を使う場合には、図8(a)、(b)の処理を行うためのプログラムがディスク媒体やインターネットを介して取り込まれる形態であっても良い。
Further, in the above embodiment, as shown in FIG. 1, the surgical unit 3 includes the three
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。 In addition, the embodiment of the present invention can be variously modified as appropriate within the scope of the technical idea shown in the claims.
1 … 手術ロボットシステム
2 … 操作ユニット
3 … 手術ユニット
30 … 手操作部(操作部)
32 … 振動発生器
52 … アーム
62 … カメラ
70 … 鉗子
73、74 … マーカー
200 … 演算装置(力帰還装置)
DESCRIPTION OF SYMBOLS 1 ... Surgical robot system 2 ... Operation unit 3 ...
32 ...
Claims (10)
鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測手段と、
前記形状計測手段による計測結果と前記位置計測手段による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還手段と、を有する手術ロボット鉗子の力帰還装置。 Shape measuring means for measuring the shape and position of the organ surface from a photographed image of the organ;
Position measuring means for extracting a marker attached to the forceps from the captured image and measuring the position of the forceps;
Force feedback means for obtaining an applied force applied to the forceps from the organ based on the measurement result by the shape measuring means and the measurement result by the position measuring means, and applying an action corresponding to the obtained applied force to the operator; , A force feedback device for surgical robotic forceps.
施術部位となる患部を撮影するカメラと、
前記ロボットアームを操作する操作部と、
請求項1ないし8の何れか一項に記載の手術ロボット鉗子の力帰還装置と、を有する手術ロボットシステム。 A robot arm that holds forceps;
A camera that images the affected area as the treatment site;
An operation unit for operating the robot arm;
A surgical robot system comprising the surgical robot forceps force feedback device according to any one of claims 1 to 8.
臓器の撮影画像から前記臓器表面の形状および位置を計測する形状計測機能と、
鉗子に付されたマーカーを前記撮像画像から抽出して前記鉗子の位置を計測する位置計測機能と、
前記形状計測機能による計測結果と前記位置計測機能による計測結果とに基づいて、前記臓器から前記鉗子にかかる印加力を求め、求めた印加力に応じた作用を操作者に付与する力帰還機能と、を実行させるプログラム。 On the computer,
A shape measurement function for measuring the shape and position of the organ surface from a photographed image of the organ;
A position measurement function for measuring a position of the forceps by extracting a marker attached to the forceps from the captured image;
A force feedback function for obtaining an applied force applied to the forceps from the organ based on the measurement result by the shape measurement function and the measurement result by the position measurement function, and applying an action corresponding to the obtained applied force to the operator; , A program to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015032898A JP2016154603A (en) | 2015-02-23 | 2015-02-23 | Force feedback device of operation robot forceps, operation robot system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015032898A JP2016154603A (en) | 2015-02-23 | 2015-02-23 | Force feedback device of operation robot forceps, operation robot system, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016154603A true JP2016154603A (en) | 2016-09-01 |
Family
ID=56824128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015032898A Pending JP2016154603A (en) | 2015-02-23 | 2015-02-23 | Force feedback device of operation robot forceps, operation robot system, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016154603A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020022733A (en) * | 2018-06-21 | 2020-02-13 | ゼネラル・エレクトリック・カンパニイ | System and method for contact management of biopsy apparatus |
JP2020532347A (en) * | 2017-09-06 | 2020-11-12 | ヴェリリー ライフ サイエンシズ エルエルシー | Surgical recognition system |
JP2020191037A (en) * | 2019-05-24 | 2020-11-26 | 株式会社ロジック・アンド・デザイン | Image correction method |
-
2015
- 2015-02-23 JP JP2015032898A patent/JP2016154603A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020532347A (en) * | 2017-09-06 | 2020-11-12 | ヴェリリー ライフ サイエンシズ エルエルシー | Surgical recognition system |
JP2020022733A (en) * | 2018-06-21 | 2020-02-13 | ゼネラル・エレクトリック・カンパニイ | System and method for contact management of biopsy apparatus |
JP2020191037A (en) * | 2019-05-24 | 2020-11-26 | 株式会社ロジック・アンド・デザイン | Image correction method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220336078A1 (en) | System and method for tracking a portion of the user as a proxy for non-monitored instrument | |
KR102620057B1 (en) | Systems and methods for adaptive input mapping | |
JP2022017422A (en) | Augmented reality surgical navigation | |
CN111758137A (en) | Method and apparatus for telemedicine | |
JP5410629B1 (en) | Ultrasonic diagnostic system, image processing apparatus, control method thereof, and control program | |
CN109998678A (en) | Augmented reality assisting navigation is used during medicine regulation | |
US20210307861A1 (en) | Communication of detected tissue characterization in a surgical robotic platform | |
JP2022540898A (en) | Augmented Reality Systems and Methods for Remote Supervision of Surgical Procedures | |
CN106535812A (en) | Surgical system with haptic feedback based upon quantitative three-dimensional imaging | |
CN110651333A (en) | Surgical imaging system, method and computer program product | |
CN109589091A (en) | The interactive display of selected ECG channel | |
JP2013052046A (en) | Tactile force information display device | |
KR101595962B1 (en) | Colnoscopy surgery simulation system | |
JP4129527B2 (en) | Virtual surgery simulation system | |
JP2016154603A (en) | Force feedback device of operation robot forceps, operation robot system, and program | |
EP3075342B1 (en) | Microscope image processing device and medical microscope system | |
JP6803239B2 (en) | Surgical training system | |
WO2015129834A1 (en) | Surgery system and method of avoiding interference with medical instrument | |
CN109171604A (en) | A kind of intelligent endoscope operating system having AR function | |
US12023208B2 (en) | Method for operating a visualization system in a surgical application, and visualization system for a surgical application | |
JP2016225861A (en) | Information processing device, information processing method, and in-vivo imaging system | |
JP2024514642A (en) | System and method for tracking a portion of users as an alternative to non-monitoring equipment | |
WO2018163499A1 (en) | Medical image display control device, medical image display device, medical information processing system, and medical image display control method | |
JP7536766B2 (en) | System for visualizing patient stress | |
KR102235818B1 (en) | Endoscopic trainer |