JP6138227B2 - 腹腔鏡超音波ロボット外科手術システム - Google Patents

Description

（政府の権利の陳述）
本発明は、国立健康協会によって授与された許可番号１ Ｒ４１ ＲＲ０１９１５９−０１号のもとで政府の補助とともになされた。政府は、本発明に対してある権利を有する。

（関連出願の相互参照）
本出願は、２００５年６月６日に出願された米国仮出願第６０／６８８，０１３号に対して優先権を主張し、米国仮出願第６０／６８８，０１３号は、参照により本明細書に援用される。

（本発明の分野）
本発明は、一般的にはロボット外科手術システムに関し、特に、最小侵襲外科手術手順のために有用である腹腔鏡超音波ロボット外科手術システムに関する。

（背景技術）
最小侵襲外科手術は、伝統的な開腹手術技術に対して多くの利点を提供し、それらの利点は、痛みがより少ないこと、病院滞在がより短いこと、通常活動により早く復帰すること、および組織の損傷がより少ないことを含む。結果として、ロボット外科手術システムを用いる最小侵襲外科手術の必要性は、強くかつ大きくなっている。

腹腔鏡検査法は、最小侵襲外科手術の１タイプであり、腹腔鏡検査法において、小さな切開が腹壁に作られ、腹壁をとおって腹腔鏡と呼ばれる器具が挿入されることにより、腹壁および骨盤内の解剖学的構造が見られることを可能にする。腹腔は、通常、吸収可能なガス、例えば二酸化炭素などの点滴注入によって膨張させられ目に見えるようにされる。管は、腹腔または皮膚内の異なった切開を通過させられ得る結果、プローブまたは他の器具が外科手術の部位に導入され得る。このようにして多くの外科手術手順が、大きなまたは開いた腔の外科手術の切開を必要とすることなく行われ得る。

しかしながら、腹腔鏡検査法の１つの欠点は、隠れたまたは充実した器官を手動で触診することが出来ないことである。腹腔鏡超音波（「ＬＵＳ」）は、外科医が、より深部の構造の可視化を提供することによってこの制限に打ち勝つことを可能にする。実際、開腔手術が行われる時でさえ、手術中の超音波検査法は、解剖学的構造内にそうでなければ覆い隠される病変を検知するのに双手触診より敏感である。

一例として、肝臓の手術中の超音波法は、腹腔鏡外科手術の間の様々な，臨床上の設定に有用である。これらは、超音波に導かれた針生検を含む肝臓の病期分類および評価、肝臓腫瘍切除、および腹腔鏡の肝臓切除より前の肝臓の評価を含む。

切除法に関して、外科医は、切除より前に転移性の疾患を除外するために肝臓および他の部位の正確な病気分類を行う能力を有するべきである。標準的な腹腔鏡法にＬＵＳを加えることは、従来の手術前の診断方法を超えて転移の診断を向上させる。

超音波指導の肝臓生検は、肝性の病気分類および評価の重要な構成要素である。病変が超音波によって特定された時、針生検が組織学的に結論を確認するために必要である。現在の診療は、超音波の案内のもとで生検針のフリーハンドの位置決めに関連してフリーハンドのＬＵＳを必要とする。

切除可能でない転移の治療に関して、増加する興味は、切除アプローチ、例えば、無線周波数（「ＲＦ」）、寒冷療法、マイクロ波、または化学切除などに集中してきた。間隙性の切除が経皮的にまたは直視下手術の間に行われ得るが、腹腔鏡切除は、有意に有利である。第１に、経皮療法のようではなく、腹腔鏡法は、手術前の画像化で可視化されない肝性の転移および肝外の転移の両方を特定し得、該画像化は、結腸直腸の肝臓転移を有する患者の約１０パーセントから約２０パーセントにおいて重大な腫瘍を捉えそこなう。第２に、腹腔鏡または手術の超音波（「ＵＳ」）は、肝臓病変を可視化する時に、腹を横断するＵＳ、ＣＴ、またはＭＲより有意により正確であることが示されてきた。さらに、手術のアプローチは、腹腔鏡法を含んで、ＲＦ切除の間に熱的に損傷を与えられ得る表面腫瘍から離れて組織の可動化することを可能にする。経皮の切除および腹腔鏡の切除は両方とも典型的には、一般的な麻酔と徹夜の病院滞在を必要とする。一方、腹腔鏡法は、患者に重大なより大きな負担をかけない。

切除は、他のアプローチと比べて有利な点を約束するが、超音波プローブを操作すること、切除プローブと一緒に超音波プローブを整列させること、および切除プローブを配置することの技術的困難は、かなりの専門的技術を要求する。外科医は、切除プローブの先を腫瘍の体積中心内に正確に置かなければならず、それは、腫瘍および取り囲む正常な実質の１ｃｍゾーンの適切な破壊を達成するためである。腫瘍は、手術前の画像化、主にＣＴおよびＭＲによって特定され、次いでＬＵＳによって腹腔鏡的に定位される。

切除アプローチの一つの主要な制限は、腫瘍の中心内へのプローブの先端配置において正確さに欠けることである。これは、特に重要である。なぜなら、組織のマージンは、肝性の切除術でなされるような切除の後に評価され得ないからである。さらに、手動の案内は、しばしば複数の経路およびプローブの先の再配置を必要とし、さらに、出血の危険と腫瘍の散在の危険を増加させる。手術中の超音波は、腫瘍のすぐれた可視化を提供し、ＲＦプローブの配置の案内を提供するが、その２次元特性と音波検査者の熟練への依存性とにより、その有効性が制限される。

腹腔鏡の器具使用および腹腔鏡の技術は、肝臓の切除に拡張され始めているけれども、外科医の触感覚の欠如により、安全な実質の横断に必要な切除の安全なマージンを評価することが困難になっている。現在のＬＵＳ技術を用いての肝臓内の組織の明確な可視化およびマッピングの欠如により、より大きい隣接する組織に対して破局損傷を結果として生じる。外科医は、治効ある療法を排除し得る追加の腫瘍を排除するために、切除より前に超音波によって肝臓を注意深く検査しなければならない。外科医は、また、十分な外科手術のマージンのクリアランスを有する安全かつ完全な切除を決定および計画するために超音波を必要とする。

その理論的な利点に関わらず、手術中のＬＵＳは、腹腔鏡肝臓癌手術のような使用のために広く実践されていない。このアプリケーションおよび他のアプリケーションにおける使用を拡張するために、最小侵襲外科手術手順における外科医の効率も、これらのシステムを使用する容易さも向上させるＬＵＳロボット手術システムの進歩が望まれる。

例えば、肝性の手術に対してＬＵＳを最適化することにより、患者の臨床上の管理が有意に向上し得る。病的状態および苦痛を最小化することに加えて、向上されたＬＵＳロボット外科手術システムは、有意にコストを減少させる。より早く、より正確で、より完全な肝臓の評価は、専門家によってもなされ得、肝臓の手術中の超音波における専門家でない外科医によっても潜在的になされ得る。

時には小さなアクセスできない肝臓病変の画像案内生検が容易にされ得る。進歩したＬＵＳロボットツールであれば、より大きなかつより好ましくない状態にされた腫瘍に対して最終的な療法としての切除の使用を増加させるであろう。切除治療の計画、配達、監視のための向上したリアルタイムの案内もまた、この見込みのある治療の正確かつ効率的なアプリケーションを可能にするために必要とされる欠けているツールを提供し得る。

（本発明の目的および要約）
従って、本発明の多様な側面の１つの目的は、使用するのが容易であり、外科医の能率を促進する腹腔鏡超音波ロボット外科手術システムおよびロボット支援腹腔鏡超音波方法である。

本発明の多様な側面の別の目的は、解剖学的構造のより速く、より正確で、より完全な評価を提供する腹腔鏡超音波ロボット外科手術システムおよびロボット支援腹腔鏡超音波法である。

本発明の多様な側面の別の目的は、外科医の訓練された軌跡を用いて解剖学的構造のロボットを用いて生成された手術中の３次元超音波画像を提供する腹腔鏡超音波ロボット外科手術システムおよびロボット支援腹腔鏡超音波法である。

本発明の多様な側面の別の目的は、表示画面に超音波画像の柔軟な表示を提供する腹腔鏡超音波ロボット外科手術システムおよびロボット支援腹腔鏡超音波法である。

本発明の多様な側面のなお別の目的は、解剖学的構造で標的にツールを案内することの補助を提供する腹腔鏡超音波ロボット外科手術システムおよびロボット支援腹腔鏡超音波法である。

これらの目的および追加の目的は、本発明の多様な側面によって成し遂げられ、手短に述べると、１つの側面は、超音波プローブに機械的に結合された第１のロボットアームと；手術関連デバイスに機械的に結合された第２のロボットアームと；マスターマニピュレータと；ユーザが選択可能な第１および第２のモードを有する制御スイッチと；該制御スイッチが該第１のモードにある場合、該第２のロボットアームを適所に固定させ、該マスターマニピュレータのユーザの操縦に応じて該第１のロボットアームに該超音波プローブを移動させ、該制御スイッチが該第２のモードにある場合、該第２のロボットアームに該マスターマニピュレータの操縦に応じて該ツールを操縦させ、格納された命令に関連するユーザコマンドの検知時に該格納された命令に応じて、該第１のロボットアームに該超音波プローブを移動させるように構成された処理器とを備えた腹腔鏡超音波ロボット外科手術システムである。

別の側面は、ロボットに支援された腹腔鏡超音波を提供する方法であって、訓練指示の開始の検知時に現在の超音波プローブの位置と姿勢とを格納することと；学習指示の終了の検知まで周期的に超音波プローブの位置と姿勢とを格納して、位置と姿勢との軌跡を定義することとを包含する方法である。

別の側面は、ロボットに支援された腹腔鏡超音波を提供する方法であって、一つの位置と姿勢に配置された超音波プローブを用いて超音波画像を捕捉することと；該位置と姿勢との情報を格納することと；該超音波画像のクリック可能なサムネールを生成することと；該格納された位置と姿勢とを該クリック可能なサムネールに関連付けることと；表示画面に該クリック可能なサムネールを表示することとを包含する方法である。

なお別の側面は、ロボットに支援された腹腔鏡超音波を提供する方法であって、解剖学的構造のカメラビューに対する位置合わせされたオーバーレイとして患者における該解剖学的構造の超音波ビューを表示することと；該超音波ビュー上にマークが付けられた標的の情報を受信することと；ツールが患者内の標的まで移動する経路を決定することと；仮想的な固定されたものを生成して、該ツールが該決定された経路を移動するよう電気的に拘束することを支援することを包含する方法である。

本発明の多様な側面のうち追加の目的、特徴、利点は、以下のより好ましい実施の形態の記述から明らかになり、その記述は、添付の図面に関連付けて記述される。
本発明は、例えば、以下を提供する。
（項目１）
超音波プローブに機械的に結合された第１のロボットアームと、
外科手術に関連するデバイスに機械的に結合された第２のロボットアームと、
マスターマニピュレータと、
ユーザ選択可能な第１および第２のモードを有する制御スイッチと、
該制御スイッチが該第１のモードにある場合、該第２のロボットアームを適所に固定させ、該マスターマニピュレータのユーザ操縦に従って該第１のロボットアームに該超音波プローブを移動させ、該制御スイッチが該第２のモードにある場合、該マスターマニピュレータの操縦に従って該第２のロボットアームに該ツールを操縦させ、格納された命令に関連付けられたユーザコマンドの検知時に該格納された命令に従って該第１のロボットアームに、該超音波プローブを移動させるように構成された処理器とを備える、腹腔鏡超音波ロボット外科手術システム。
（項目２）
上記外科手術に関連するデバイスは、外科手術のツールである、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目３）
上記ユーザコマンドは、音声コマンドである、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目４）
上記ユーザコマンドは、グラフィカルユーザインターフェースにおいて提供されるオプションのユーザ選択から得る、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目５）
上記ユーザコマンドは、スイッチ位置によって指示された選択から得られる、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目６）
上記格納された命令は、上記第１のロボットアームに上記超音波プローブを移動させるように処理器に命令し、その結果、移動している間に該超音波プローブによって捕捉された２Ｄ超音波画像スライスは、最小侵襲外科手術手順中に解剖学的構造の少なくとも一部の３Ｄコンピュータモデルを生成するための情報を提供する、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目７）
上記格納された命令は、処理器に命令して、格納された点の軌跡に沿って上記超音波プローブを上記第１のロボットアームに移動させる、項目６に記載の腹腔鏡超音波ロボット外科手術システム。
（項目８）
上記格納された命令は、処理器に命令して、上記第１のロボットアームに格納された点の上記軌跡に沿って繰り返し上記超音波プローブを前後に移動させる、項目７に記載の腹腔鏡超音波ロボット外科手術システム。
（項目９）
格納された点の上記軌跡は、解剖学的構造の表面の点を含む、項目７に記載の腹腔鏡超音波ロボット外科手術システム。
（項目１０）
上記格納された命令は、処理器に命令して、上記第１のロボットアームに上記超音波プローブを移動させて、その結果格納された位置および姿勢に配置され配向される、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目１１）
上記格納された位置および姿勢は、該位置および姿勢で上記超音波プローブによって生成された超音波画像のクリック可能なサムネールに対応する、項目１０に記載の腹腔鏡超音波ロボット外科手術システム。
（項目１２）
上記処理器は、ユーザが上記クリック可能なサムネールをクリックしたという指示を受信したときに、上記第１のロボットアームに上記超音波プローブを上記格納された位置および姿勢に移動させるように構成されている、項目１１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目１３）
上記外科手術関連デバイスは、外科手術ツールであり、該外科手術関連デバイスは、
患者における外科手術部位の画像を捕捉する内視鏡をさらに備え、
上記処理器は、表示画面のピクチャー部に捕捉された画像を、該表示画面のピクチャー・イン・ピクチャー部内に上記超音波プローブによって捕捉された超音波画像を表示するように構成されている、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目１４）
上記外科手術関連デバイスは、外科手術ツールであり、該外科手術関連デバイスは、
ビデオ画像を捕捉する内視鏡をさらに備え、
上記処理器は、上記超音波プローブによって捕捉された超音波画像を該内視鏡によって捕捉されたビデオ画像に位置合わせする、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目１５）
上記処理器は、上記内視鏡に関連付けられた基準フレームに相対的な上記超音波画像の位置および姿勢を決定し、表示画面上の該決定された位置および姿勢にビデオ画像をオーバーレイするように該超音波画像を表示するように構成されている、項目１４に記載の腹腔鏡超音波ロボット外科手術システム。
（項目１６）
上記内視鏡は、上記超音波プローブの捕捉された画像を含む右および左の２Ｄカメラビューを捕捉する立体内視鏡であり、上記表示画面は、３Ｄ表示画面であり、上記処理器は、該捕捉された右および左の２Ｄカメラビューから３Ｄカメラ画像を生成し、３Ｄカメラ画像を該３Ｄ表示画面に表示し、該超音波画像によって捕捉された２Ｄ超音波画像スライスを該３Ｄカメラ画像にオーバーレイするように構成され、その結果、該３Ｄカメラ画像が該超音波プローブから適切な関係で生じるように見える、項目１５に記載の腹腔鏡超音波ロボット外科手術システム。
（項目１７）
上記制御スイッチは、ユーザの音声コマンドによって上記第１または第２のモードに置かれる、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目１８）
上記制御スイッチは、グラフィカルユーザインターフェースにおいて提供されるオプションのユーザ選択によって上記第１または第２のモードに置かれる、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目１９）
上記制御スイッチは、ユーザ選択されたスイッチの位置によって上記第１または第２の位置に置かれる、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目２０）
上記超音波プローブは、該超音波プローブに対して及ぼされる力を感知する力センサを含み、該感知された力の情報を上記処理器に提供し、該処理器は、該感知された力の情報を上記マスターマニピュレータに戻して反映させ、その結果、該マスターマニピュレータを操縦している間ユーザによって感じられる、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目２１）
上記超音波プローブは、
超音波センサと、
延長軸と、
該延長軸の長さに沿って走る軸に対する該超音波センサの上下および左右の移動を可能にするように、該超音波センサを該延長軸に結合する手首機構とを
備える、項目１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目２２）
上記超音波プローブは、
上記超音波センサに結合された第１の対のケーブルであって、該第１の対のケーブルの一方のみを引くことによって該超音波センサは左右の方向に移動し、該第１の対のケーブルの他方のみを引く時、反対の左右の方向に移動する、第１の対のケーブルをさらに備えている、項目２１に記載の腹腔鏡超音波ロボット外科手術システム。
（項目２３）
上記超音波プローブは、
上記超音波センサに結合された第２の対のケーブルであって、該第２の対のケーブルの一方のみを引くことによって該超音波センサは上下の方向に移動し、該第２の対のケーブルの他方のみを引く時、反対の上下の方向に移動する、第２の対のケーブルをさらに備えている、項目２２に記載の腹腔鏡超音波ロボット外科手術システム。
（項目２４）
訓練指示の開始の検知時に現在の超音波プローブの位置および姿勢を格納することと、
訓練指示の終了の検知まで周期的に超音波プローブの位置および姿勢を格納して位置および姿勢の軌跡を定義することとを包含する、ロボット支援腹腔鏡超音波を提供する方法。
（項目２５）
訓練指示の上記開始および終了は、ユーザボイスコマンドによって生成される、項目２４に記載の方法。
（項目２６）
訓練指示の上記開始および終了は、グラフィカルユーザインターフェースを用いるユーザ選択によって生成される、項目２４に記載の方法。
（項目２７）
訓練指示の上記開始および終了は、１つ以上のスイッチ機構の位置によって生成される、項目２４に記載の方法。
（項目２８）
位置および姿勢の軌跡を第１の音声コマンドに関連付けることをさらに包含する、項目２４に記載の方法。
（項目２９）
上記第１の音声コマンドの検知時に、上記超音波プローブを位置および姿勢の上記軌跡に沿って移動させることをさらに包含する、項目２８に記載の方法。
（項目３０）
上記第１の音声コマンドの検知時に第２の音声コマンドの検知まで、上記超音波プローブを位置および姿勢の上記軌跡に沿って前後に移動させることをさらに包含する、項目２８に記載の方法。
（項目３１）
位置および姿勢の上記軌跡を表示画面に表示されるクリック可能なサムネールに関連付けることをさらに包含する、項目２４に記載の方法。
（項目３２）
上記クリック可能なサムネールがクリックされたことの検知時に、停止指示が受信されるまで、上記超音波プローブを位置および姿勢の上記軌跡に沿って移動させることをさらに包含する、項目３１に記載の方法。
（項目３３）
位置および姿勢の上記軌跡を第１のスイッチ位置に関連付けることをさらに包含する、項目２４に記載の方法。
（項目３４）
スイッチが上記第１のスイッチ位置にあることの検知時に、該スイッチが第２のスイッチ位置にあることを検知するまで、上記超音波プローブを位置および姿勢の上記軌跡に沿って移動させることをさらに包含する、項目３３に記載の方法。
（項目３５）
１つの位置および姿勢に配置された超音波プローブを用いて超音波画像を捕捉することと、
該位置および姿勢の情報を格納することと、
該超音波画像のクリック可能なサムネールを生成することと、
該格納された位置および姿勢を該クリック可能なサムネールに関連付けることと、
該クリック可能なサムネールを表示画面に表示することとを
包含する、ロボット支援腹腔鏡超音波を提供する方法。
（項目３６）
ユーザが上記クリック可能なサムネール上でクリックした情報を受信することと、
上記超音波プローブを、該クリックされたクリック可能なサムネールに関連付けられた該位置および姿勢に配置させることとを
さらに包含する、項目３５に記載の方法。
（項目３７）
患者における解剖学的構造の超音波ビューを、該解剖学的構造のカメラビューに対する位置合わせされたオーバーレイとして表示することと、
該超音波ビュー上にマークが付けられた標的の情報を受信することと、
ツールが該患者内の該標的まで移動する経路を決定することと、
仮想的な固定されたものを生成することにより、該ツールを該決定された経路上を移動するよう電気的に拘束することを支援することと
を包含する、ロボット支援腹腔鏡超音波を提供する方法。
（項目３８）
上記解剖学的構造は癌であり、上記標的は上記表示された超音波ビュー上で外科医によってマークが付けられた病変であり、上記ツールは針である、項目３７に記載の方法。
（項目３９）
上記標的からの上記ツールの距離を決定することと、
該距離を指示するように、上記超音波ビュー上でマークが付けられた該標的の色を変化させることとを
さらに包含する、項目３７に記載の方法。
（項目４０）
上記ツールの先端が上記解剖学的構造の表面から閾値距離に到達した時を決定することと、
該ツールの該先端が該閾値距離に到達したことを決定した時にピクチャーインピクチャーウィンドウに上記超音波画像および該ツールの直角のビューを表示することとを
さらに包含する、項目３７に記載の方法。
（項目４１）
上記超音波画像は、上記解剖学的構造の２Ｄ超音波画像スライスの列から生成された３Ｄ画像である、項目４０に記載の方法。

図１は、本発明の側面を用いる腹腔鏡超音波ロボット外科手術システムを使用する手術室の上面図を図示する。 図２は、本発明の側面を用いる腹腔鏡超音波ロボット外科手術システムのブロック図を図示する。 図３は、本発明の側面を用いる腹腔鏡超音波プローブを図示する。 図４は、本発明の側面を用いる、ＬＵＳロボット外科手術システムを訓練してロボット的にＬＵＳプローブを命令時に訓練された方法で移動させる方法の流れ図を図示する。 図５は、本発明の側面を用いる、クリック可能なサムネールを生成する方法の流れ図を図示し、該方法は、ユーザが、ＬＵＳプローブが画像が捕捉された位置および姿勢に自動的に移動されることを命令することを可能にする。 図６は、本発明の側面を用いる、ＬＵＳプローブをクリック可能なサムネール画像に関連付けられた位置および姿勢に自動的に移動させる方法の流れ図を図示する。 図７は、本発明の側面を用いる、癌構造のマークが付けられた病変にロボット的に支援されて針を案内することのための方法の流れ図を図示する。 図８は、本発明の側面を用いる医療ロボットシステムにおいて用いられる、選択可能な２Ｄ画像スライスとともにカメラ基準フレームにおける解剖学的構造の３Ｄ超音波画像の透視図のビューを図示する。 図９は、本発明の側面を用いる医療ロボットシステムにおいて用いられる、カメラ基準における解剖学的構造の３Ｄカメラビュー透視図のビューを図示する。 図１０は、本発明の側面を用いる医療ロボットシステムにおいて表示可能な、解剖学的構造の３Ｄ超音波ビューの正面の２Ｄスライスの透視図のビューを図示し、該２Ｄスライスは、解剖学的構造の３Ｄカメラビューにオーバーレイする。 図１１は、本発明の側面を用いる医療ロボットシステムにおいて表示可能な、解剖学的構造の３Ｄ超音波ビューの内部の２Ｄスライスの透視図のビューを図示し、該２Ｄスライスは、解剖学的構造の３Ｄカメラビューにオーバーレイする。

（好ましい実施の形態の詳細な記述）
図１は、一例として、ロボット外科手術システムを使用する手術室の上面図を図示する。この場合のロボット外科手術システムは、腹腔鏡超音波ロボット外科手術システム１００であり、該腹腔鏡超音波ロボット外科手術システム１００は、外科医（「Ｓ」）によって使用されるコンソール（「Ｃ」）を含み、１人以上の助手（「Ａ」）からの支援で患者（「Ｐ」）に対して最小侵襲診断または外科手術手順を行い、該患者は、手術テーブル（「Ｏ」）上に横たわっている。

コンソールは、患者内の外科手術の部位の１つ以上の画像もおそらく外科医に対する他の情報も表示するマスターディスプレイ１０４（本明細書では「表示画面」としても参照される）を含む。また、マスター入力デバイス１０７および１０８（本明細書では「マスターマニピュレータ」としても参照される）と、１つ以上のフットペダル１０５および１０６と、外科医からの音声コマンドを受信するマイクロフォン１０３と、処理器１０２とが含まれる。マスター入力デバイス１０７および１０８は、任意の１つ以上の様々な入力デバイス、例えば、ジョイスティック、グローブ、トリガーガン、手動コントローラなどを含み得る。処理器１０２は、好ましくはパーソナルコンピュータであり、該パーソナルコンピュータは、コンソール内に一体化され得るか、またはそうでなければ従来の方法でコンソールに接続され得る。

外科医は、マスター入力デバイス１０７および１０８を操縦することによって最小侵襲外科手術手順を行い、その結果、処理器１０２は、それに応じてそれぞれに関連するスレーブアーム１２８および１２９（本明細書では「スレーブマニピュレータ」としても参照される）にそれぞれの着脱自在に結合され保持された外科手術器具１３８および１３９（本明細書では”ツール”としても参照される）を操縦させる一方、外科医は、マスターディスプレイ１０４上で外科手術部位の３次元（「３Ｄ」画像を見る）。

ツール１３８および１３９は、好ましくは、関節運動する器具であるＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌの ｐｒｏｐｒｉｅｔａｒｙ ＥｎｄｏＷｒｉｓｔ（登録商標）であり、それは、人間の手首に習ってモデル化されており、その結果ツールを保持するロボットアームに動きが加えられる際、その動きは、全６自由度の動きを可能にし、それは、開腹外科手術の自然な動きに匹敵できる。そのようなツールの付加的な詳細は、共同所有された「Ｗｒｉｓｔ Ｍｅｃｈａｎｉｓｍ ｆｏｒ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｅｒｙ ｗｉｔｈ Ｅｎｈａｎｃｅｄ Ｄｅｘｔｅｒｉｔｙ ａｎｄ Ｓｅｎｓｉｔｉｖｉｔｙ」という名称の米国特許第５，７９７，９００号に見出され得、該特許は参照により本明細書に援用される。ツール１３８および１３９の各々の動作端は、操縦可能なエンドエフェクタ、例えば、クランプ、把持器、はさみ、ステープラ、ブレード、針、または針ホルダなどである。

マスターディスプレイ１０４は、２つのプログレッシブ走査陰極線管（「ＣＲＴ」）を持つ高解像度立体映像ディスプレイを有する。システムは、偏光眼鏡、シャッタ眼鏡、または他の技術よりもより高い正確さを提供する。各目は、対物レンズおよび一連の鏡をとおして左目の透視図および右目の透視図を提供する別個のＣＲＴを見る。外科医は、外科手術の間中不自由なく座り、このディスプレイを見入り、外科医が３次元の手術中の画像を表示し操縦することに理想的な場所にする。

処理器１０２がプログラムされた情報を処理し得、プログラムされた情報をマスターディスプレイ１０４に表示させ得るように、立体内視鏡１４０（本明細書では「腹腔鏡」としても参照される）は、右のカメラビューおよび左のカメラビューを処理器１０２に提供する。腹腔鏡超音波（「ＬＵＳ」）プローブ１５０は、解剖学的構造の２次元（「２Ｄ」）超音波画像スライスを処理器１０２に提供し、その結果、処理器１０２は、解剖学的構造の３Ｄ超音波コンピュータモデルを生成し、３Ｄコンピュータモデル（または代わりに、３Ｄコンピュータモデルの２Ｄ「切断」）を内視鏡により得られた３Ｄ画像に対するオーバーレイとして、もしくは２Ｄまたは３Ｄのいずれかでピクチャー・イン・ピクチャー（「ＰＩＰ」）内に、外科医または格納されたプログラム命令に従って様々な角度および／または透視図から、マスターディスプレイ１０４上に表示させる。

ツール１３８および１３９の各々は、内視鏡１４０およびＬＵＳプローブ１５０も、好ましくはカニューレまたはトロカール（図示せず）または他のツール案内をとおして患者の中に挿入され、その結果、対応する最小侵襲切開、例えば切開１６６等を通して外科手術部位まで延びる。スレーブアーム１２１〜１２４の各々は、リンケージから従来方法で形成され、該リンケージは、一緒に結合され、モータ制御の関節（本明細書では「アクティブ関節」としても参照される）を通して操縦される。リンケージとセットアップ関節とを備えるセットアップアーム（図示せず）は、スレーブアーム１２１〜１２４を垂直および水平に位置決めするのに用いられ、その結果、それらのそれぞれの外科手術に関連する器具はカニューレの中への挿入のために結合され得る。

一度に使われる外科手術ツールの数、そしてその結果、システム１００において使われるスレーブアームの数は、一般的に、他の因子のうちで診断または外科手術手順、および手術室内の空間制約に依存する。手順の間に使用される１つ以上のツールを変更する必要がある場合、助手は、もはや使われないツールをそのスレーブアームから取り除き、それを手術室内の受け皿（「Ｔ」）から別のツール、例えばツール１３１と交換し得る。

マスターディスプレイ１０４は、外科医の手の近くに位置づけられることが好ましく、その結果マスターディスプレイ１０４は、外科医が自分が実際に直接外科手術部位を見下ろしていると感じるように向けられた投影された画像を表示する。その目的のために、観察点（すなわち、内視鏡１４０およびＬＵＳプローブ１５０の点）が画像の視点からではないけれども、ツール１３８および１３９の画像は、外科医の手が位置決めされている所に実質的に位置決めされるように見えることが好ましい。

加えて、外科医がツールのエンドエフェクタ、すなわち１３８または１３９を、関連するマスター入力デバイス、すなわち１０７または１０８を通じてあたかも作業空間を実質的に本当に存在しているように見るように、リアルタイム画像が透視図の画像内に投影されることが好ましい。本当の存在していることによって、画像の提供が、物理的にツールを操縦する操作者の視点をシミュレーションする本当の透視図の画像であることを意味する。従って、処理器１０２は、ツールの座標を感知される位置に変換し、その結果透視図の画像は、あたかも内視鏡１４０が外科医の目の高さから開いた腹腔手順の間に直接ツールを見ているかのように人に見える画像である。

処理器１０２は、システム１００において様々な機能を果たす。処理器１０２が果たす１つの重要な機能は、マスター入力デバイス１０７および１０８の機械的な移動をそれらに関連するスレーブアーム１２１および１２２に制御信号によってバス１１０を越えて変換し移すことであり、その結果、外科医は、それらのそれぞれのツール１３８および１３９を効率的に操縦し得る。別の重要な機能は、ロボット支援ＬＵＳ能力を提供する本明細書で記述された様々な方法を実装することである。

処理器として記述されているけれども、処理器１０２は実際ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装され得ることが理解され得る。また、本明細書で記述されるようなその機能は、１つのユニットによって行われるか、または異なった構成要素に分割され、それらの各々は、今度は、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装され得る。

最小侵襲外科手術手順を行うより前に、ＬＵＳプローブ１５０によって捕促された超音波画像、立体内視鏡１４０によって捕捉された右および左の２Ｄカメラ画像、ならびにスレーブアーム１２１〜１２４とそれらの感知された関節位置との運動学を用いて決定されたエンドエフェクタの位置および姿勢とは、互いに較正され位置合わせされる。

超音波画像を外科手術環境の残りと関連付けるために、両方とも同じ座標フレームで表現される必要がある。典型的には、ＬＵＳプローブ１５０は、マーカでラベル付けされ、追跡システム、例えばカナダ、オンタリオのＮｏｒｔｈｅｒｎ Ｄｉｇｉｔａｌ Ｉｎｃによって製造されたＯｐｔｏｔｒａｋ（登録商標）位置感知システム等によって追跡されるか、または精密な関節エンコーダを有するロボットによって保持されるかのいずれかである。その後、超音波画像と追跡されるフレームとの間の剛体変換（それは、典型的には超音波較正として参照される）が決定される。

例えば、超音波較正のためのＯｐｔｏｔｒａｋ（登録商標）フレームを用いて、ＬＵＳプローブ１５０によって生成された超音波画像は、ＡＸ＝ＸＢ変換を用いてＯｐｔｏｔｒａｋ（登録商標）剛体に対して較正される。「ＡＸ＝ＸＢ」は、コンピュータビジョン、外科手術ナビゲーション、医療画像、ロボット学において通常遭遇する較正／位置合わせの問題の種類の説明書きである。数学的な技術はよく知られている。例えば、Ｅ． Ｂｏｃｔｏｒ， Ａ． Ｖｉｓｗａｎａｔｈａｎ， Ｍ． Ｃｈｉｏｔｉ， Ｒ． Ｔａｙｌｏｒ， Ｇ． Ｆｉｃｈｔｉｎｇｅｒ， ａｎｄ Ｇ． Ｈａｇｅｒ， ”Ａ Ｎｏｖｅｌ Ｃｌｏｓｅｄ Ｆｏｒｍ Ｓｏｌｕｔｉｏｎ ｆｏｒ Ｕｌｔｒａｓｏｕｎｄ Ｃａｌｉｂｒａｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ， Ａｒｌｉｎｇｔｏｎ， ＶＡ， ２００４， ｐｐ． ５２７−５３０を参照されたい。

この場合の「Ａ」および「Ｂ」は、Ｏｐｔｏｔｒａｋ（登録商標）剛体（Ａ）の姿勢と超音波画像（Ｂ）との間の変換である。従って、「Ｘ」は、超音波画像から剛体への変換である。

超音波較正を行うために、ＬＵＳプローブ１５０は、ＡＸ＝ＸＢ較正ファントムによって定義される３つの既知の姿勢に置かれ得る。超音波画像フレームは、次いで３つの基準によって定義され、該３つの基準は３つの姿勢の各々内に現れる。３つの姿勢は、Ｏｐｔｏｔｒａｋ（登録商標）の読み（Ａ）に基づく３つの相対変換およびＡＸ＝ＸＢ位置合わせに対する超音波画像（Ｂ）に基づく３つの相対変換を可能にする。

カメラ較正は、コンピュータビジョンのアプリケーションの共通する手順である。一例として、内視鏡１４０の固有のおよび外来のパラメータを決定するために、Ｃａｌｔｅｃｈ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘによって与えられる多平面定式化を有する市松模様のファントムが用いられ得る。ファントムを構成するために、Ｏｐｔｏｔｒａｋ（登録商標）のマーカが、典型的な市松模様の映像較成ファントムに加えられ、市松模様の各コーナーは、較正されたＯｐｔｏｔｒａｋ（登録商標）のポインタを用いて電子化される。従って、コーナー位置は、Ｏｐｔｏｔｒａｋ（登録商標）に関して報告され得る。

較正は、次いで数十の姿勢における内視鏡１４０のビューにファントムを置き、立体画像データと４つの市松模様のコーナーのＯｐｔｏｔｒａｋ（登録商標）読みとを両方記録することによって行われ得る。画像は、次いで較正ツールボックスに供給され、較正ツールボックスは、固有のおよび外来のカメラパラメータも、カメラフレームにおけるグリッドコーナーの３Ｄ座標も決定する。これらの座標は、次いで、Ｏｐｔｏｔｒａｋ（登録商標）読みとともに用いられて、内視鏡１４０の剛体とカメラフレームとの間の点群から点群への位置合わせが行われる。

コントローラ１０２は、ロボット運動学を用いて内視鏡１４０に相対的なＬＵＳプローブ１５０の先端に対する座標フレームを報告するよう構成される。しかしながら、セットアップ関節エンコーダの不正確さのために、これらの座標フレームの両方は、それらの正しい値からオフセットし得る。従って、内視鏡１４０の現実のカメラフレームと運動学から計算されたカメラフレームとの間のオフセットも、実際のＬＵＳプローブ１５０フレームと運動学のＬＵＳプローブ１５０フレームとの間のオフセットも位置合わせする必要があり得る。これを完了して、運動学が、Ｏｐｔｏｔｒａｋ（登録商標）の読みの代わりに用いられて、超音波画像のオーバーレイの配置を決定する。

内視鏡１４０の位置が変化の上に重ならない限り、一定の変換が、運動学的ツールの先端と腹腔鏡のＯｐｔｏｔｒａｋ（登録商標）剛体との間で仮定され得る。ＡＸ＝ＸＢ定式化を用いて、ＬＵＳプローブ１５０は、例えばいくつかの位置、およびツール先端と位置合わせされたＯｐｔｏｔｒａｋ（登録商標）剛体との間の静的なオフセットに移動され得る。このオフセットを知れば、内視鏡１４０のオフセットは、直接以下によって計算され得る。

ここに、Ｃ_ＣＤは、実際の内視鏡１４０（本明細書では単位「カメラ」としても参照される）フレームから運動学から計算されたカメラフレームまでのオフセットであり、Ｆ_ＣＥｒｂは、カメラから内視鏡剛体への変換であり、Ｔ_ＯＵｒｂ・（Ｔ_ＯＥｒｂ）^−１は、カメラ剛体からＬＵＳ剛体への変換であり、Ｃ_{ＬｕｓＵｒｂ}は、ＬＵＳ剛体から運動学的な超音波ツールの先端への変換であり、Ｄ_ＬｕｓＤは、運動学的な超音波ツールの先端からスレーブアーム１２１〜１２４に関連付けられた固定された点への変換を与えるコントローラ１０２からの読みである。

しかしながら、前述された位置合わせは、カメラが移動する度に再度行われるべきであり、従って、カメラを手術前の構成と位置合わせとに最も適合させる。手術中に関して、位置合わせは、Ｏｐｔｏｔｒａｋ（登録商標）の読みの代わりにＬＵＳプローブ１５０上の視覚マーカの映像追跡を用いてより良く行われ得る。従って、ツール追跡を用いている間にカメラが移動したとしたら、位置合わせは、ツールが追跡された時にすぐさま修正され得る。ツール追跡の追加の詳細に関して、例えば、「Ｍｅｔｈｏｄｓ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｐｅｒｆｏｒｍｉｎｇ ３−Ｄ ｔｏｏｌ ｔｒａｃｋｉｎｇ ｂｙ ｆｕｓｉｏｎ ｏｆ ｓｅｎｓｏｒ ａｎｄ／ｏｒ ｃａｍｅｒａ ｄｅｒｉｖｅｄ ｄａｔａ ｄｕｒｉｎｇ ｍｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｓｕｒｇｅｒｙ」という名称の２００５年５月１６日に出願された共同所有の米国特許出願第１１／１３０，４７１号を参照されたい。該出願は、参照により本明細書に援用される。加えてまたはその代わりに、超音波画像およびカメラ画像の手動位置合わせは、従来のグラブを用いて行われ得、解剖学的構造の３Ｄ超音波コンピュータモデル上でアクションを移動し回転させ得、その結果、コンピュータモデルはマスターディスプレイ１０４における解剖学的構造のカメラモデル越しに適切に位置合わせされる。

スレーブアーム１２３および１２４は、スレーブアーム１２１および１２２がツール１３８および１３９を操縦するのと同様の方法で内視鏡１４０およびＬＵＳプローブ１５０を操縦し得る。しかしながら、システムに２つのみのマスター入力デバイス、例えばシステム１００におけるマスター入力デバイス１０７および１０８がある場合、外科医が内視鏡１４０またはＬＵＳプローブ１５０のいずれかの移動を手動で制御するたために、外科医が手動で制御することを望む内視鏡１４０またはＬＵＳプローブ１５０に一時的にマスター入力デバイス１０７および１０８の一つを関連付ける必要があり得る一方、以前に関連付けられていたツールまたはスレーブマニピュレータは適所に固定される。

図２は、一例として、ＬＵＳロボット外科手術システム１００のブロック図を図示する。このシステムにおいて、２つのマスター入力デバイス１０７および１０８がある。マスター入力デバイス１０７は、その制御スイッチ機構２１１がどのモードに入っているかに依存してツール１３８または立体内視鏡１４０のいずれかの移動を制御し、マスター入力デバイス１０８は、その制御スイッチ機構２３１がいずれのモードに入っているかに依存してツール１３９またはＬＵＳプローブ１５０のいずれかの移動を制御する。

制御スイッチ機構２１１および２３１は、音声コマンド、マスター入力デバイス１０７および１０８の近くに物理的に置かれたスイッチ、コンソール上のフットペダル１０５および１０６、またはマスターディスプレイ１０４もしくは補助ディスプレイ（図示せず）に表示された適切なアイコンもしくは他のグラフィカルユーザインターフェースの外科医の選択を用いて、外科医によって第１または第２のモードのいずれかに置かれ得る。

制御スイッチ機構２１１が、第１のモードに置かれた場合、マスターコントローラ２０２をスレーブコントローラ２０３と通信させ、その結果外科医によるマスター入力１０７の操縦は、スレーブアーム１２１によるツール１３８の対応する移動が結果として生じる一方、内視鏡１４０は適所に固定される。一方、制御スイッチ機構２１１が、第２のモードに置かれた場合、マスターコントローラ２０２をスレーブコントローラ２３３と通信させ、その結果外科医によるマスター入力１０７の操縦は、スレーブアーム１２３による内視鏡１４０の対応する移動が結果として生じる一方、ツール１３８は適所に固定される。

同様に、制御スイッチ機構２３１が、第１のモードに置かれた場合、マスターコントローラ２２２をスレーブコントローラ２２３と通信させ、その結果外科医によるマスター入力１０８の操縦は、スレーブアーム１２２によるツール１３９の対応する移動が結果として生じる。しかしながら、この場合、ＬＵＳプローブ１５０は、適所に固定される必要がない。その移動は、メモリ２４０に格納された命令に従って補助コントローラ２４２によって案内され得る。補助コントローラ２４２は、ＬＵＳプローブ力センサ２４７の読みを反映するマスター入力１０８を通して外科医に触覚のフィードバックを提供する。一方、制御スイッチ機構２３１が、第２のモードに置かれた場合、マスターコントローラ２２２をスレーブコントローラ２４３と通信させ、その結果外科医によるマスター入力２２２の操縦は、結果としてスレーブアーム１２４によるＬＵＳプローブ１５０の対応する移動を結果として生じる一方、ツール１３９は、適所に固定される。

第１のモードすなわち通常モードに切り替え復帰される前に、マスター入力デバイス１０７または１０８は、制御スイッチ２１１または２３１の第２のモードへの切り替え前にあった場所に再位置決めされ、場合によっては、マスター入力デバイス１０７または１０８と、そのそれぞれのツールスレーブアーム１２１または１２２との間の運動学的な関係は、再調整され、その結果、第１のモードすなわち通常モードに切り替え復帰させられる際、ツール１３８または１３９の急激な移動は生じない。制御スイッチの追加の詳細に関して、共同所有の米国特許第６，６５９，９３９号「Ｃｏｏｐｅｒａｔｉｖｅ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｔｅｌｅｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」を参照されたい。それは、この参照により本明細書に援用される。

補助コントローラ２４２は、またＬＵＳプローブ１５０と内視鏡１４０とに関連する他の機能を果たす。補助コントローラ２４２は、ＬＵＳプローブ力センサ（ＬＵＳ Ｐｒｏｂｅ Ｆｏｒｃｅ Ｓｅｎｓｏｒ）２４７からの出力を受信し、該ＬＵＳプローブ力センサ２４７は、ＬＵＳプローブ１５０に対して及ぼされる力を感知し、マスターコントローラ２２２をとおしてその力の情報をマスター入力デバイス１０８にフィードバックし、その結果、外科医は、例えその時に自分が直接ＬＵＳプローブ１５０の移動を制御してないなくてもそれらの力を感じ得る。従って、患者に対する潜在的な傷害は最小限にされる。なぜなら、外科医は、ＬＵＳプローブ１５０の任意の移動を直ちに停止する能力もその移動の手動制御を支配する能力も有するからである。

補助制御２４２の別の主要な機能は、ユーザ選択表示オブションに従って内視鏡１４０およびＬＵＳプローブ１５０からの処理された情報をマスターディスプレイ１０４に表示させることである。より詳細には以下に記述されるように、そのような処理は、ＬＵＳプローブ１５０から超音波処理器２４６をとおして受信された２Ｄ超音波画像スライスから３Ｄ超音波画像を生成することを含み、選択された位置および姿勢に対応する３Ｄまたは２Ｄのいずれかの超音波画像をマスターディスプレイ１０４のピクチャーインピクチャーウィンドウに表示させ、解剖学的構造の３Ｄまたは２Ｄのいずれかの超音波画像を、マスターディスプレイ１０４に表示されている、解剖学的構造のカメラにより捕捉された画像の上に重ねさせる。

別個の実体として示されているけれども、マスターコントローラ２０２および２２２、スレーブコントローラ２０３、２３３、２２３、および２４３、ならびに補助コントローラ２４２も、制御スイッチ機構２１１および２３１のある種のモード切り替え側面も、処理器１０２によって実行されるソフトウェアモジュールとして実装されることが好ましい。超音波処理器２４６、およびビデオ処理器２３６は、一方では、ＬＵＳプローブ１５０および内視鏡１４０の製造業者によって典型的に提供される別個のボードまたはカードであり、該ボードまたはカードは、処理器１０２に結合された適切なスロットに挿入されるか、または処理器１０２と一体化されて、これらの画像捕捉デバイスから受信された信号をマスターディスプレイ１０４への表示に適した信号に変換し、および／またはマスターディスプレイ１０４に表示される前に補助コントローラ２４２によって追加の処理に適した信号に変換する。

図３は、ＬＵＳプローブ１５０の一実施の形態の側面図を図示する。ＬＵＳプローブ１５０は、好ましくは２つの遠位端の自由度を有する器用なツールであり、例えば、遠位端の「上下」および「左右」においてほぼ±８０度、ボール関節タイプの回りの「回転」においてほぼ±２４０度である上下−左右機構３１１（その機能として本明細書では「手首」機構としても参照される）によってＬＵＳセンサ３０１の再配向を可能にする。対向する一対の駆動棒とケーブルと（図示せず）は、ＬＵＳセンサ３０１の近位端に物理的に接続されており、延長軸３１２の内部経路を通って延びており、従来のプッシュ−プルタイプの作用を用いてＬＵＳセンサ３０１の上下および左右の移動を機械的に制御する。ＬＵＳプローブ１５０のこの（上下／左右の手首機構によって提供される）柔軟性は、最小侵襲外科手術手順の間に解剖学的構造に関する超音波検査法を行うためにＬＵＳプローブ１５０を最適に配向させるのに特に有用である。

ＬＵＳセンサ３０１は、隣接した解剖学的構造の２Ｄ超音波スライスを捕捉し、ＬＵＳケーブル３０４をとおして処理器１０２にその情報を送り戻す。延長軸３１２の外側を走っているとして示されているけれども、ＬＵＳケーブル３０４は、その中にも延長し得る。クラムシェルシース３２１は、延長軸３１２およびＬＵＳケーブル３０４を取り囲んで、カニューレ３３１（またはトロカール）を通過する良いシールを提供する。基準マーク３０２および３２２は、ビデオ追跡目的のためにＬＵＳセンサ３０１およびシース３２１上に置かれている。

力感知能力は、歪みゲージ３０３によって提供され、該歪みゲージ３０３は、ＬＵＳプローブ１５０が音波検査されている構造をどれくらい強力に押しているかの直接のフィードバックを提供し、どんな限られたフィードバックも間接モータトルクから利用できることを補助する。この情報の潜在的な使用は、力が大きすぎる場合、外科医に警告する冗長な安全閾値のチェックを提供するか、または構造への移動を妨げることと；外科医に、自分がどれくらい強力に構造を押しているかについての承認された触覚の理解を提供することと；間接位置センサまたはエンコーダによっていくつかの理由のために検知されない、左右−上下のすなわち「手首」機構３１１のモデル化できないそれを、補償するいくつかの対策をおそらく可能にすることとを含む。この場合における歪ゲージ３０３は、以前に図２を参照して記述されたようにＬＵＳプローブ力センサ２４７の機能に役立つ。

ロボットに支援されたＬＵＳは、フリーハンド走査に比べて生成される超音波画像の変動を減少させる潜在性を有し、操作者の作業負荷と困難さを減少し得る。ＬＵＳプローブ１５０を前後に揺り動かすのと同じくらい単純な挙動は、操作者の介入なしに更新された３Ｄ超音波画像を維持し得る。より複雑な挙動は、順序だったパターンで標的の解剖学的構造の表面に沿ったＬＵＳプローブ１５０の移動を含み得ることによって、標的の全画像を生成するか、または以前に操作されたプローブの位置および姿勢に確実に戻る。

図４は、一例として、補助コントローラ２４２を訓練する方法（補助コントローラ２４２に格納された命令を提供すること）の流れ図を図示し、ＬＵＳプローブ１５０を、コマンドの訓練された方法でロボット的に移動させ、それは、解剖学的構造の２Ｄ超音波画像スライスの列を捕捉するためであり、それは、補助コントローラ２４２によって使用されて構造の３Ｄコンピュータモデルを生成する。訓練を行うより前に、制御スイッチ機構２３１は、第２のモードに置かれ、その結果、外科医は、マスター入力デバイス１０８を操縦することによって訓練する目的のためにＬＵＳプローブ１５０を移動させ得る。訓練を行った後、制御スイッチ機構２３１は、次いで第１のモードすなわち通常モードに置き戻され、その結果、外科医は、ツール１３９を操縦し得て、マスター入力デバイス１０８を使用して最小侵襲外科手術手順を行う。

４０１において、訓練モジュールは、最初使用されてない（すなわち、処理器１０２によって実行されていない）。４０２において、処理器１０２（またはバックグラウンドで実行する訓練モジュールエージェント）は、訓練指示の開始が受信されたかどうかを周期的にチェック得る。その代わりに、訓練指示の開始は、訓練モジュールの実行を開始する割り込みとして作用し得る。訓練指示の開始は、認識された音声コマンド、マスターディスプレイ１０４に表示されたグラフィカルユーザインターフェース上の訓練オプションの選択、対応するマスター制御入力１０８上または外科医にとって他の便利にアクセスできるに場所に物理的に位置し得るスイッチ機構、または任意の別の手段をとおして、外科医によって開始され得る。

訓練指示の開始が検知された後、４０３において、訓練モジュールは、現在のＬＵＳプローブ１５０の位置と姿勢を記憶または格納し、停止訓練指示が検知または受信されるまで、周期的に（または外科医の命令時に）４０３および４０４をループすることによってそうすることを続ける。この場合における停止訓練指示は、また訓練指示の開始と同じ方法で外科医によって開始され得、または、停止訓練指示は、異なった、別の従来の方法で開始され得る。停止訓練指示が検知または受信された後、ＬＵＳプローブ１５０の最終位置および姿勢が記憶または格納される。

訓練の開始と訓練の停止との間、外科医は、ＬＵＳプローブ１５０を移動させ、処理器１０２は、ＬＵＳプローブ１５０の点と姿勢との軌跡を格納し、その結果、それは、後ほど命令時に再トレースされ得る。訓練の一つのタイプにおいて、外科医は、ＬＵＳプローブ１５０を解剖学的構造の近くで前後に移動させ、それは、２Ｄ超音波画像スライスの列を捕捉するためであり、該列から解剖学的構造の３Ｄ版（すなわちコンピュータモデル）が処理器１０２によってレンダリングされ得る。訓練の別のタイプにおいて、外科医は、解剖学的構造の表面に沿って１回以上ＬＵＳプローブ１５０を移動させ、それは、２Ｄ超音波画像スライスの異なった列を捕捉するためであり、該列から解剖学的構造の３Ｄ版（すなわちコンピュータモデル）が処理器１０２によってレンダリングされ得る。

ＬＵＳプローブ１５０の位置と姿勢とを記録するとして記述されているけれども、実際、スレーブアーム１２４のアクティブ関節位置がその代わりに格納され、なぜなら、それらの測定は、関節の各々に付け加えられたエンコーダをとおして直接得ることができるからであり、それらの位置は、ＬＵＳプローブ１５０の位置と姿勢とに対応するからである。

メモリ２４０にＬＵＳプローブ１５０の位置と姿勢との軌跡を格納した後、次いで軌跡は、外科医が補助コントローラ２４２に所望の方法でＬＵＳプローブ１５０を移動させるように命令する手段に関連付けられる。例えば、軌跡は、音声コマンドに関連付けられ、該音声コマンドの検知時に、補助コントローラ２４２は、スレーブアーム１２４に、位置と姿勢との格納された軌跡に沿ってＬＵＳプローブ１５０を前後に移動させる。同様に、軌跡は、またマスターディスプレイ１０４に表示されたグラフィカルユーザインターフェース上のユーザ選択可能なオプションに関連付けられ得、または軌跡は、スイッチ機構、例えばボタンまたはマスター入力デバイス１０８上の使用されていない制御素子等に関連付けられ得る。軌跡は、また、フットペダル１０６の押し下げられた状態に関連付けられ得、その結果、補助コントローラ２４２は、フットペダル１０６が押し下げられている限り、スレーブアーム１２４に、位置と姿勢との格納された軌跡に沿ってＬＵＳプローブ１５０を前後に移動させ、一度外科医が自分の足をフットペダル１０６から離したときそのような移動を停止させる。

図５は、一例として、ＬＵＳプローブ１５０の位置と姿勢とに対応するクリック可能なサムネール画像を生成する方法の流れ図であり、該位置と姿勢とは、メモリ２４０に格納され、その結果、外科医がサムネール画像の１つをクリックした際、補助コントローラ２４２は、スレーブアーム１２４に、ＬＵＳプローブ１５０をその格納された位置と姿勢とに移動させる。これは、制御スイッチ機構２３１が第１のモードすなわち通常モードにある間に、外科医がＬＵＳプローブ１５０を移動させて解剖学的構造の異なったビューを見ることを可能にする。従って、外科医は、マスター入力デバイス１０８を用いてツール１３９を操縦することによって最小侵襲外科手術手順を行うことを続け得る。次いで、方法は、図４を参照して記述された方法と組み合わされ得、それは、補助コントローラ２４２が解剖学的構造の３Ｄコンピュータモデルのレンダリングを生成し得る位置と姿勢とから始まる２Ｄ超音波画像の列を生成するためである。

しかしながら、方法を行うより前に、制御スイッチ機構２３１は、その第２のモードに置かれ、その結果、外科医は、マスター入力デバイス１０８を操縦することによって望まれた位置および姿勢にＬＵＳプローブ１５０を移動させ得る。クリック可能なサムネール画像を生成した後、制御スイッチ機構２３１は、次いで、第１のモードすなわち通常モードに置き戻され、その結果、外科医は、ツール１３９を操縦してマスター入力デバイス１０８を用いて最小侵襲外科手術手順を行い得る。

５０１において、補助コントローラ２４２は、外科医からスナップ写真コマンドを受信する。スナップ写真コマンドは、例えば、音声コマンド、グラフィカルユーザインターフェースの選択、またはスイッチの位置であり得る。５０２において、補助コントローラ２４２は、ＬＵＳプローブ１５０に、２Ｄ超音波画像スライスを捕捉させ、５０３において、画像のサムネールが生成される。この場合におけるサムネールは、捕捉された画像の単純なＪＰＥＧまたはＧＩＦファイルを含み得る。５０４において、ＬＵＳプローブ１５０の現在の位置と姿勢とは、そのサムネールへの関連付けの情報と一緒にメモリ２４０に格納される。５０５において、サムネールのクリック可能なバージョンが、マスターディスプレイ１０４に表示され、その結果、外科医は、クリック可能なサムネールの上で自分のマウスまたは他のポインティングデバイスを用いてクリックした時はいつでも、補助コントローラ２４２に、格納された位置と姿勢とにおいてＬＵＳプローブが位置決めされ配されるように命令し得る。外科医は、次いで、ＬＵＳプローブ１５０を他の位置および／または姿勢に移動させ、５０１〜５０５を繰り返して追加のサムネール画像を生成する。

図６は、一例として、ツール１３９を用いて最小侵襲外科手術手順を行っている間に、外科医によってそうする命令の時にクリック可能なサムネールに関連付けられた位置と姿勢とにＬＵＳプローブ１５０を自動的に移動させる方法の流れ図である。６１０において、図５を参照して記述された方法によって生成されたサムネールのクリックは、例えば従来の割り込み処理プロセスによって検知される。そのような検知時に、６０２において、補助コントローラ２４２は、例えば、割り込み処理プロセスに対応する格納された命令によって、サムネールに関連付けられた、メモリ２４０内の位置と姿勢とを抽出するよう命令される。補助コントローラ２４２は、次いで、ＬＵＳプローブ１５０を、適切に制御するスレーブアーム１２４によってその位置と姿勢とに移動させる。従って、外科医は、ＬＵＳプローブ１５０が移動されるまで、制御スイッチ機構２３１のモードを変更しなければならないことはなく、ツール１３９の停止動作なしに、所望の位置までＬＵＳプローブ１５０を移動させることができる。

図７は、一例として、癌構造のマークされた病変内にロボット的に支援された針を案内することと貫通させることのための方法の流れ図であり、該方法は、本明細書で記述されたロボット支援ＬＵＳの側面の理解を可能にする。７０１において、癌構造、例えば肝臓等の選択された２Ｄ超音波画像スライスビューが、癌構造の３Ｄカメラビューに対するオーバーレイとしてマスターディスプレイ１０４上の適切な深さで表示される。選択された２Ｄ超音波画像スライスビューは、癌構造の以前に生成された３Ｄ超音波コンピュータモデルから取られた正面ビューまたは内部のスライスビューであり得る。

７０１プロセスを明らかにする一例として、図８は、癌構造の３Ｄ超音波コンピュータモデル８００の単純化された透視図のビューを図示し、それは、例えば、図４を参照して記述された方法を用いて生成されて、カメラ基準フレーム（ＥＸ、ＥＹ、ＥＺ）内に変換されている。一方、図９は、立体内視鏡１４０によって取られた癌構造の３Ｄカメラビュー９００の単純化された透視図のビューを図示する。外科医が、３Ｄ超音波コンピュータモデル８００の正面のスライス８０１を３Ｄカメラビュー９００に対するオーバーレイとして見られるように選択した場合、オーバーレイは、図１０に示されるように現れる。一方では、外科医が、３Ｄ超音波コンピュータモデル８００の内側のスライス８０２〜８０４の１つ、例えば内側のスライス８０３を、３Ｄカメラビュー９００に対するオーバーレイとして見られるように選択した場合、オーバーレイは、図１１に示されるように現れ、２Ｄ超音波画像スライス８０３は、適切な深さに表示される。混乱を避けるために、その深さより上の３Ｄカメラビューの部分は透明にされている。

その代わりに、７０１において、外科医は、ＬＵＳプローブ１５０の移動を手動で制御し、その結果、ＬＵＳプローブ１５０によって捕捉された２Ｄ超音波画像スライスは、マスターディスプレイ１０４においてＬＵＳプローブ１５０の３Ｄカメラ画像から適切な遠近感および方向で生じる。マスターディスプレイ１０４に表示された生じた２Ｄ画像スライスは、探られる解剖学的構造をふさがないことが好ましい。この手動アプローチは、解剖学的構造において素早く病変を見つけるために外科医にとって特に有用であり得る。

７０２において、外科医は、７０１の結果として表示された癌構造上の病変にマークを付ける。各マークが付けられた病変は、指定された色を用いてマークを付けられることが好ましく、これは、外科医が既に該病変を特定していることを示すためであり、それによって、重複して数えることを避ける。各マークが付けられた病変のカメラ基準フレーム（ＥＸ、ＥＹ、ＥＺ）における位置は、メモリ２４０に格納され、７０３において、処理器１０２は、その位置に対する最適な針の先端経路を決定する。

７０３において、処理器１０２は、仮想的な固定されたものを生成し、針をマークが付けられた病変に案内することを助ける。仮想的な固定されたものを生成するために、針ツールを操縦するスレーブアームに対する局所的な運動学的な拘束が、次の形式の拘束テーブルを提供することによって指定され得る。

ここに、

は、単純化された用語で、マスターアームの現在の６つのＤＯＦ運動学的な姿勢であり、または、より一般的な用語で、公称の姿勢Ｆ_０に関して線形化されたデカルト姿勢Ｆのパラメータ化であり、その結果

となる。テーブルは、視覚的フィードバック、ユーザインタラクション等に基づいて周期的に更新されなければならない。

理解され得るように、方程式（２）は、容易にチェックされ守らせられ得る。

同様に、簡単なテーブル駆動の外科医のインタラクションの力は、近似的に次のように実装され得る。

ここに、εは、おおよそ、状態空間における表面からの距離に対応し、ｆ（ε）は、（非線形の）剛性に対応する。

上記の定式化は、様々な仮想的な面取り、仮想的なばね、戻り止めなどを支援するのに適切である。速度の項を追加することによって容易に仮想的なダンパーに拡張するされる。

さて、より詳細に、注入針でライブ超音波画像におけるターゲットを狙ることを助けることが望まれている本場合、

としよう。

そうすると、基本拘束は、（この例に関して針ドライバの

軸であると仮定される）針の軸は、標的病変を狙わされるべきであり、該標的病変は、

によって与えられる。狙う方向の誤差の１つの計量は、

である。

それは、

において、２次形式として近似され得、上記で記述された方法を用いて仮想的な固定されたものに変換され得る。同様に、針の先端が

である場合、ＬＵＳ標的を越えた貫通深さは、

によって与えられる。

これは、容易に仮想的な戻り止めまたは貫通し過ぎを避ける壁に書き換え得る。あるいは、単純な球状の引き付ける物である仮想的な固定する物は、

を最小にするよう開発され得る。

７０５において、処理器１０２は、標的病変に向かって進むにつれて針の先端位置を決定し、７０６において、処理器１０２は、針の先端位置と標的病変との間の距離を決定する。針の先端位置は、スレーブアームの運動学からおよび／またはカメラ画像の視覚的な追跡をとおして決定され得る。

７０７において、ディスプレイにおける病変または他の対象物の色は、針の先端が標的により近づいた時変化する。例えば、色は、針の先端がなおターゲットから遠い時に青として始まり、色のスペクトルをとおして変化し、その結果、針の先端が標的に近づくにつれて赤くなる。代わりに、棒グラフまたは他の視覚的な指示物が、距離の素早い感知のために用いられ得る。

７０８において、距離が（通常、標的病変に近いまたはその表面にある距離として指定される）閾値の距離に到達したかどうかが決定される。閾値にまだ到達していない場合、方法は７０５に戻り、閾値が到達されるまで継続して７０５〜７０８を繰り返す。一旦閾値に到達されると、７０９において、癌構造と接近する針との９０度のビューがマスターディスプレイ１０４のピクチャーインピクチャーウィンドウに示される。次いで、方法は、７０５に戻り得、針が癌構造を貫通するように、またはその開始位置に戻るように７０５〜７０８を繰り返し得る。

本発明の多様な側面が好ましい実施の形態に関して記述されてきたけれども、本発明は、添付の請求項の全ての範囲内の全ての保護に対して権利を与えられることが理解される。

Claims (9)

1. 現在の位置に配置される超音波プローブに機械的に結合された第１のロボットアームと、
   ディスプレイと、
   処理器と
   を備える医療システムであって、
   前記ディスプレイは、対象物の第１の２次元超音波画像スライスとして前記ディスプレイ上に現れる第１のクリック可能なサムネイルを表示し、前記第１の２次元超音波画像スライスは、第１の位置にある間に前記超音波プローブにより捕捉されたものであり、
   前記処理器は、前記第１のクリック可能なサムネイルをユーザがクリックしたことにより指示される第１のユーザコマンドに応答して前記超音波プローブを前記現在の位置から前記第１の位置へと自動的に移動させてそこで待機させるように前記第１のロボットアームに命令するようにプログラムされている、医療システム。
2. 前記処理器は、前記第１の位置を含む位置の第１の軌跡に関連付けられた第２のユーザコマンドを受信したことに応答して前記超音波プローブを前記第１の軌跡に沿って自動的に移動させるように前記第１のロボットアームに命令するようにプログラムされている、請求項１に記載の医療システム。
3. 前記第２のユーザコマンドが、音声コマンドであるか、または、
   前記第２のユーザコマンドが、グラフィカルユーザインターフェースにおいて提供されるオプションのユーザ選択から得られるか、または、
   前記第２のユーザコマンドが、スイッチ位置によって指示される選択から得られる、請求項２に記載の医療システム。
4. 内視鏡をさらに備え、
   前記処理器は、前記内視鏡により捕捉された画像を前記ディスプレイのピクチャー部内に表示させるようにプログラムされており、
   前記第２のユーザコマンドは、前記超音波プローブを位置の前記第１の軌跡に沿って自動的に移動させるように前記第１のロボットアームに命令する一方で、前記超音波プローブにより捕捉された超音波画像を前記ディスプレイのピクチャー・イン・ピクチャー部内に表示させるように前記処理器に命令する、請求項２に記載の医療システム。
5. ビデオ画像を捕捉する内視鏡をさらに備え、
   前記処理器は、前記ビデオ画像を前記ディスプレイ上に表示させるようにプログラムされており、
   前記処理器は、前記超音波プローブにより捕捉された超音波画像を、前記内視鏡により捕捉された前記ビデオ画像に空間的に位置合わせするようにプログラムされており、
   前記処理器は、前記空間的に位置合わせされた超音波画像を、前記ディスプレイ上に表示されている前記ビデオ画像に対する位置合わせされたオーバーレイとして表示させるようにプログラムされている、請求項２に記載の医療システム。
6. 前記第１のロボットアームは、関節を有し、前記第１の位置は、前記超音波プローブが以前に前記第１の位置にあったときの前記関節の位置の情報を用いることにより特定される、請求項１に記載の医療システム。
7. 前記超音波プローブは、前記超音波プローブが以前に前記第１の位置にあったときに以前の姿勢にあり、前記処理器は、前記第１のクリック可能なサムネイルを前記ユーザがクリックしたことにより指示される前記第１のユーザコマンドに応答して前記以前の姿勢に配向されるように前記超音波プローブを自動的に移動させるように前記第１のロボットアームに命令するようにプログラムされている、請求項１に記載の医療システム。
8. 前記ディスプレイは、前記対象物の第２の２次元超音波画像スライスとして前記ディスプレイ上に現れる第２のクリック可能なサムネイルを表示し、前記第２の２次元超音波画像スライスは、第３の位置にある間に前記超音波プローブにより捕捉されたものであり、
   前記処理器は、前記第２のクリック可能なサムネイルをユーザがクリックしたことにより指示される第３のユーザコマンドに応答して前記超音波プローブを前記第３の位置へと自動的に移動させるように前記第１のロボットアームに命令するようにプログラムされている、請求項１に記載の医療システム。
9. 前記処理器は、前記第３の位置を含む位置の第２の軌跡に関連付けられた第４のユーザコマンドを受信したことに応答して前記超音波プローブを前記第２の軌跡に沿って自動的に移動させるように前記第１のロボットアームに命令するようにプログラムされている、請求項８に記載の医療システム。