JP2012529971A - 低侵襲手術のための仮想測定ツール - Google Patents

Abstract

遠隔手術および他の用途のためのロボットおよび／または測定デバイス（１０）、システム、および方法は、システムユーザ（１８）が、測定されている組織および他の構造を操作することを可能にするように、ツール（２６）に動作可能に連結される、入力デバイス（１６）を採用する。システム（１０）は、立体画像からの３次元位置情報を利用してもよい。２つ以上の離散点（２４２、２４４）を、直線または湾曲構造に沿った累積長、面積測定、体積測定等を提供するように、３次元内で指定することができる。離散点は、単一の手術ツール（２４０）によって、または２つ以上の手術ツールを分離する距離によって、識別されてもよく、ユーザは、随意で、構造に沿って一対のツールを「手を交互に動かし」進めることによって、立体画像捕捉デバイスの視野より長い構造を測定する。

Description

本発明は、概して、改良型ロボットおよび／または測定デバイス、システム、および方法に関する。例示的実施形態は、長さ測定、面積測定、体積測定等を取得するように、組織（または他の構造）に沿った離散３次元（３Ｄ）点場所、連続３Ｄ輪郭、および他の３Ｄ構造情報を入力および指定するために、立体画像処理とともにロボットツールの遠隔操作の組み合わせを利用する、ロボット手術システムを提供する。

低侵襲手術技法は、診断または外科的手技中に損傷される外部組織の量を低減し、それにより、患者の回復時間、不快感、および付随組織損傷を低減することを目的としている。結果として、低侵襲手術技法を使用して、標準的な手術の入院の平均的長さが有意に短縮されてもよい。また、患者の回復時間、患者の不快感、手術の副作用、および仕事を休む時間も、低侵襲手術で低減されてもよい。

内視鏡検査が、低侵襲手術の周知の形態であり、内視鏡検査の一般的な形態は、腹腔の内側の低侵襲検査および手術である、腹腔鏡検査である。標準的な腹腔鏡手術では、患者の腹部がガスで吹送され、腹腔鏡器具用の進入ポートを提供するように、カニューレスリーブが小（約１／２インチ以下）切開を通過させられる。

腹腔鏡手術器具は、概して、腹腔鏡または内視鏡（手術野を視認するため）と、作業ツールとを含む。作業ツールは、各ツールの作業端またはエンドエフェクタが、細長いシャフトによって、そのハンドルから分離されることを除いて、従来の切開手術で使用されるものと同様である。手術器具のエンドエフェクタまたは作業部は、組織を操作または治療することができ、（例えば）クランプ、把持装置、鋏、吻合器、画像捕捉レンズ、または針ホルダを含んでもよい。

外科的手技を行うために、外科医は、作業ツールまたは器具を、内部手術部位までカニューレスリーブに通過させ、腹部の外側からツールまたは器具を操作する。外科医は、腹腔鏡から得られる手術部位の画像を表示するモニタを用いて、手技を視認する。同様の内視鏡技法が、例えば、関節鏡検査、後腹膜鏡検査、骨盤鏡検査、腎盂鏡検査、膀胱鏡検査、脳槽鏡検査、洞房鏡検査、子宮鏡検査、尿道鏡検査、および同等物で採用される。

低侵襲遠隔手術ロボットシステムは、内部手術部位で作業するときに外科医の器用さを増大させるように、および随意的に、外科医が遠隔場所から患者に手術をすることを可能にするように、開発されている。遠隔手術システムでは、外科医にはしばしば、制御コンソールにおいて手術部位の画像が提供される。好適なビューアまたはディスプレイ上で手術部位の３Ｄ画像を視認しながら、外科医は、制御コンソールのマスタ入力または制御デバイスを操作することによって、患者に外科的手技を行う。マスタ入力デバイスのそれぞれは、サーボ機械的に操作された手術器具の運動を制御する。外科的手技中に、遠隔手術システムは、マスタ入力デバイスの操作に応じて、外科医にとって種々の機能、例えば、針を保持または駆動すること、血管を把持すること、組織を解離すること等を果たす、エンドエフェクタを有する種々の手術器具またはツールの機械的作動および制御を提供することができる。

新しい遠隔手術ロボットシステムは、患者への少ない外傷を伴って治療を行う外科医の能力を拡張するための驚異的な展望を有するが、多くの成功と同様に、依然としてさらなる改良が望ましいであろう。例えば、既知のロボットシステムはしばしば、エンドエフェクタの移動要求、場所、および同等物を計算するために、ロボット連結部の関節のそれぞれと関連付けられるセンサからの関節位置情報に依存する。そのような関節ベースの情報は、ほとんどの遠隔手術目的で、エンドエフェクタの十分に正確な相対移動を提供するが、この関節ベースのデータを使用して決定される、手術ツールの絶対的な場所は、全ての目的で十分に精密ではない場合がある。特に、ロボット手術システムを使用して、組織測定情報を取得することが有利となる時があり、関節ベースのデータによって提供される精度における何らかの改良が、そのような測定のために有益であってもよい。

上記を踏まえて、手術および他の用途のための改良型ロボットおよび／または測定システムを提供することが望ましいであろう。理想的には、関節ベースのデータのみを使用して容易に提供されるものを超える精度の３次元測定を含む測定を用いて、医師が組織と相互作用するとともに組織を測定することをこれらの改良が可能にすれば、特に有用であろう。

本発明の側面は、概して、改良型ロボットおよび／または測定デバイス、システム、および方法を提供する。本発明の実施形態は、内視鏡カニューレスリーブ、天然開口等の低侵襲開口を通した、遠隔手術治療法での使用を見出してもよい。そのような実施形態は、システムユーザが、測定されている組織を操作し、そうでなければそれと相互作用することを可能にするように、手術ツールに動作可能に連結される遠隔手術入力デバイスを採用してもよい。単に関節ベースのデータに依存するよりもむしろ、システムは、立体画像から生成される３次元（３Ｄ）位置情報を利用してもよく、画像はまた、システムユーザにも提示される。組織上の２つ以上の離散点の間の３Ｄ位置オフセットに加えて、システムはまた、ユーザが、関心の組織に沿った位置の効果的に連続的な曲線を識別することを可能にしてもよい。次いで、システムは、３Ｄ線分の長さ測定、直線または湾曲組織に沿った累積長の線分群測定、組織構造内の面積の測定、組織体積測定、縦横比等を決定することができる。離散点は、単一の手術ツールによって、または２つ以上の手術ツールを分離する距離によって、識別されてもよく、ユーザは、随意で、組織構造に沿って一対のツールを「手を交互に動かし」進める一方で、随意で組織構造を直線化または伸張することによって、組織構造（立体画像捕捉デバイスの視野より長い構造、または部分的に隠れている）の長さを測定する。システムユーザが、測定される組織場所を識別しながら組織と相互作用することを可能にすることによって、および測定を決定するために（随意で、関節ベースのデータと組み合わせて）撮像データを採用することによって、特に、少なくとも部分的に隠れている組織と連動するときに、組織測定の測定精度および容易性を有意に強化することができる。

第１の側面では、本発明は、構造を測定するための方法を提供する。方法は、第１のロボットツールジョーで第１の構造場所を把持するステップを含む。第２の構造場所は、第２のロボットツールジョーで把持される。第１のツールのジョーは、解放され、第１のツールは、第３の構造場所を把持するように第１の場所から移動させられる。場所の間の３次元オフセットは、構造に沿って手を交互に動かした長さを測定するように合計される。

測定される構造はしばしば、低侵襲手術部位内の組織構造を含み、構造は、随意で、消化管等の一部分等の細長い、および／または可撓性の組織構造である。第１および第２のロボットツールジョーで構造を交互に把持することによって、複数の付加的な組織構造場所を示すことができる。次いで、組織構造は、順次の一連のオフセットとして測定することができ、各オフセットは、一方が第１のジョーを使用して確立され、他方が第２のジョーを使用して確立される、一対の場所によって規定される。各ジョーに沿った測定場所は、オフセットが、ジョーの先端、ジョーの中央、ジョーの枢動点等で測定されているかどうかを示すように、部位の表示上に重ねることができる。同様に、第１および第２のジョーの間の伸張線、第１および第２のジョーの間の増分オフセット測定、および／または累積測定（以前に合計したオフセットを含む）を重ねることができる。

組織場所はしばしば、ジョーの作動によって指定されるが、代替的な入力機構が使用される場合がある。好ましくは、第２のツールが組織を把持し続けている間の第１のツールのジョーの解放は、第２のツールのジョーによって把持されている組織場所を指定し（およびオフセットを測定し）、また、第１の場所と第２の場所との間の増分オフセット測定を開始する。第１のツールを解放することによる、この第２の場所の指定は、合計オフセットを改変することなく、第２のツールが複数の組織場所候補を把持および解放することを可能にする。この技法または他の技法はまた、第１および第２のジョーの間の関連オフセットが決定される前に、組織構造の測定された長さを直線化または伸張するように、ジョーで組織構造を操作することを促進するために使用することもできる。言い換えると、所与の測定のために、一方のツールは、把持されたままであってもよく、他方のツールは、所望の組織場所が達成されるまで、複数回把持および解放されることを許可することができる。その時点で、他方のツールは、測定を果たすように解放されてもよい。次いで、ツール間の場所指定責任を交換することができる。

多くの実施形では、ユーザは、画像捕捉デバイスの視野内の組織構造を視認する。組織構造のいくらかは、第１の場所と第２の場所との間のオフセットを決定している間に、視野内で可視的ではなくてもよい。組織構造は、以前に隠された部分を見せるように、ジョーで操作されてもよい。代替として、視野は、構造に沿って以前見えなかった場所を撮像し、測定が関連把持場所の間のオフセットを含むことを可能にするように、移動させられてもよい。好ましくは、組織構造の左右の立体画像の捕捉は、画像データを生成する画像捕捉デバイスを用いて取得される。次いで、オフセットは、画像データを使用して場所の間の３次元オフセットを決定することによって、測定することができる。

別の側面では、本発明は、組織を測定するための方法を提供する。方法は、第１のロボットツールで第１の組織場所を示すステップを含む。複数の付加的な組織場所もまた、ロボット制御で示される。組織場所によって規定される測定が決定される。

多くの実施形態では、測定は、複数対の組織場所の間の累積長、および／または面積測定を備える。依然としてさらなるオプションは、場所によって規定される縦横比の測定等を含む。いくつかの実施形態では、面積内の中心場所を識別することができ、面積を計算するように、中心と組織場所との間で三角形の面積を規定することができる。場所の間の線分は、組織の画像上に重ねられてもよく、線分はしばしば、面積の境界を提示する。システムユーザはしばしば、画像を参照して、第１のツールの移動をロボット制御で指図する。

画像は、画像データを生成する画像捕捉デバイスで取得されてもよく、組織場所は、画像データに応じて決定されてもよい。組織場所は、典型的には、面積を境界する離散して指定された場所を備え、各場所は、システムユーザからの関連入力ごとに指定される。いくつかの実施形態では、場所は、第１のロボットツールと以前の場所との間の時間的または空間的分離に応じて指定され、場所は、随意で、ツールの移動を追跡する連続曲線としてユーザに見えるように、密接して離間している。グラフィカルインジケータが、場所のそれぞれのにおいて組織の画像内で重ねられてもよい。グラフィカルインジケータは、第１のツールが第１のツールによって指定される場所から変位された後に存続してもよい。線が、画像内の連続場所の間で線を重ねられてもよく、グラフィカルインジケータが、画像内の第１のロボットツール（一対のジョーに沿った中間点におけるツール先端等にある）のツール測定場所に重ねられてもよく、および／または伸張線が、画像内の直前の場所とツールとの間に重ねられてもよい。直前の場所とツール測定場所との間の増分オフセットが、画像内で重ねられてもよく、オフセットの累積和、面積、体積、および／または同等物が、画像上で重ねられてもよく、これらの測定はしばしば、場所および／またはそれらを接続する線からオフセットしている。

いくつかの実施形態では、場所は、２つ以上のロボットツールを使用して示されてもよい。２つより多くのツールを使用した測定は、随意で、複数のシステムユーザの入力ごとであってもよい。例えば、第２のロボットツールは、少なくとも第２の組織場所を示してもよく、第３のロボットツールは、少なくとも第３の組織場所を示してもよい。第１のロボットツールは、第１の外科医または他のシステムユーザによって操作される第１のマスタ／スレーブ３次元入力デバイスと動作可能に関連付けられてもよく、第２のロボットツールは、第２の外科医または他のシステムユーザによって操作される第２のマスタ／スレーブ３次元入力デバイスと動作可能に関連付けることができる。

別の側面では、本発明は、構造を測定するためのシステムを提供する。システムは、第１の構造場所を把持するための第１のロボットツールジョーを備える。第２のツールジョーは、第２の構造場所を把持する。プロセッサは、操作者からの入力コマンドが、構造に沿って手を交互に動かした長さを測定するよう、場所の間で３Ｄオフセットを合計するようにプロセッサを誘導するように、ロボットツールを出力に連結する。

別の側面では、本発明は、組織を測定するためのシステムを提供する。システムは、第１の組織場所に係合するための第１のロボットツールを備える。プロセッサは、プロセッサが、第１の場所および複数の付加的なロボット制御で係合された場所によって規定される測定を決定するように、第１のツールに連結される。

図１は、本発明の実施形態による、手術を行うために使用されている低侵襲ロボット手術システムの平面図である。 図２は、ロボット手術システム用の外科医の制御コンソールの正面図である。 図３は、ロボット手術システム視覚カートの正面図である。 図４は、図１のロボット手術システムのデータ処理構造を図式的に図示する。 図５Ａは、図１のロボット手術システムの患者側カート（手術ロボット）の正面図である。 図５Ｂおよび５Ｃは、８ｍｍシャフトロボット手術ツールおよび５ｍｍシャフトロボット手術ツールのそれぞれの正面図である。 図５Ｂおよび５Ｃは、８ｍｍシャフトロボット手術ツールおよび５ｍｍシャフトロボット手術ツールのそれぞれの正面図である。 図６は、図１のシステムを使用して組織を測定するための方法に含まれるステップを概略的に図示する。 図７は、輪郭測定のため、具体的には、複数の組織または他の構造場所を指定するためのフローチャートである。 図８は、組織または他の構造場所を利用する輪郭測定ツールのクラス図である。 図９は、本発明の随意的な実施形態による、規則的に離間した場所またはサンプルを生成するための効果的に連続的なサンプリングモードのフローチャートである。 図１０Ａおよび１０Ｂは、面積および容器計算およびディスプレイのクラス図である。 図１０Ａおよび１０Ｂは、面積および容器計算およびディスプレイのクラス図である。 図１１は、測定のための手を交互に動かした組織または他の場所の指定用のソフトウェアを図示するフローチャートである。 図１２は、指定場所および伸張線が重ねられる、ロボット手術ツール画像のスクリーンショットである。 図１３は、累積長測定のための組織場所の間で輪郭または連続的な一連の線分を指定する、単一のロボット手術ツールの簡略図である。 図１４は、組織構造の円周および面積を測定するために使用されているツールのスクリーンショットである。 図１５Ａは、手を交互に動かしたアプローチで、可撓性組織構造の長さを測定するために使用されている、２つの手術ロボットツールの簡略図である。 図１５Ｂは、手を交互に動かした測定を得る、２つのロボット手術ツールのスクリーンショットである。

本発明の側面は、概して、特に遠隔手術および他の医療ロボット用途のための改良型ロボットおよび／または測定デバイス、システム、および方法を提供する。本発明の実施形態は、１つ以上の低侵襲開口（カニューレまたは天然開口等）を通してアクセスされる内部手術部位に位置する組織および他の構造の測定のために、最も直接的な使用を見出してもよい。本発明に関連した研究は、ロボット手術ツールを使用して測定される組織を係合および／または操作することによって、そのような部位での測定が強化されてもよいことを示している。移動コマンドを計算するために、ロボット連結部からの関節ベースのデータを使用して、非常に良好な精度でロボット操作を行うことができる一方で、内部手術部位内の測定精度は、内部手術部位内の組織および／またはロボット手術ツールの場所を決定するのに役立つように立体撮像データの画像処理を採用することによって、強化されてもよい。システムユーザに提示される立体画像上に適切な指標を重ねることによって、ユーザは、組織または他の構造場所を正確に指定し、長さ、面積、体積、および同等物を決定するように、３次元（３Ｄ）空間内で輪郭（平滑に湾曲する輪郭および／または一連の線分を含む）を測定することができる。

図１は、低侵襲ロボット手術（ＭＩＲＳ）の平面図である。
システム１０は、典型的には、手術台１４に横たわっている患者１２に低侵襲診断または外科的手技を行うために使用される。システムは、手技中に外科医１８による使用のための外科医のコンソール１６を含む。１人以上の助手２０も、手技に参加してもよい。ＭＩＲＳシステム１０はさらに、患者側カート２２（手術ロボット）と、視覚カート２４とを含むことができる。患者側カート２２は、外科医１８がコンソール１６を通して手術部位を視認している間に、患者１２の身体の低侵襲切開を通して、少なくとも１つの可撤性に連結された器具またはツールアセンブリ２６（以降では単に「ツール」と呼ばれる）を操作することができる、マニピュレータ２３を含む。手術部位の画像は、内視鏡２８を位置付けて配向するように、患者側カート２２の別のマニピュレータ２３によって操作することができる、立体内視鏡等の内視鏡２８によって取得することができる。視覚カート２４は、外科医のコンソール１６を通して後に外科医１８に表示するために、内視鏡２８からの手術部位の画像を処理するために使用することができる。一度に使用される手術ツール２６の数は、概して、いくつかある要因の中でも、診断または外科的手技、および手術室内の空間的制約に依存する。随意で、特に３つ以上のツールが使用されるときに、２つ以上の外科医のコンソールが提供されてもよく、それによって、その開示が参照することによって本明細書に援用される、米国特許第６，６５９，９３９号（１９９９年１１月３日出願）でより完全に説明されているように、２人の外科医が協働すること、器具の制御を譲渡すること、および同等のことを行うことを可能にする。手技中に使用されているツール２６のうちの１つ以上を交換することが必要な場合、助手２０は、患者側カート２２から、そのときにもはや使用されていないツール２６を除去し、それを手術室内のトレイ３０からの別のツール２６と置換してもよい。

図２は、外科医のコンソール１６の正面図である。外科医のコンソール１６は、奥行き知覚を可能にする、手術部位の協調立体像を外科医１８に提示するための左眼ディスプレイ３２および右眼ディスプレイ３４を含む。コンソール１６はさらに、１つ以上の制御デバイス３６（マスタ）を含み、それは順に、患者側カート２２（図１に示される）に１つ以上のツール（スレーブ）を操作させる。好ましくは、制御デバイス３６は、テレプレゼンス、つまり、外科医がツール２６を直接制御する強い感覚を有するように、制御デバイス３６がツール２６と一体であるという知覚を外科医に提供するように、関連ツール２６（図１に示される）と同じ自由度を提供する。この目的を達成するために、位置、力、および触覚フィードバックセンサ（図示せず）が、随意で、制御デバイス３６を通して外科医の手にツール２６からの位置、力、および触感を返送するために採用される。

外科医が、手技を直接監視し、必要であれば物理的に存在し、電話または他の通信媒体よりもむしろ直接助手に話し掛けてもよいように、外科医のコンソール１６は通常、患者と同じ部屋の中に位置する。しかしながら、外科医は、患者とは異なる部屋、異なる建物、または他の遠隔場所に位置することができ、したがって、遠隔手術手技を可能にすることが理解されるであろう。

図３は、視覚カート２４の正面図である。視覚カート２４は、内視鏡２８と連結することができ、外科医のコンソール上で、あるいは局所および／または遠隔に位置する任意の他の好適なディスプレイ上で、外科医等に後に表示するために、捕捉された画像を処理するプロセッサを含むことができる。例えば、立体内視鏡が使用される場合、視覚カート２４は、手術部位の協調立体画像を外科医に提示するように、捕捉された画像を処理することができる。そのような協調は、対向画像間の整合を含むことができ、立体内視鏡の立体作業距離を調整するステップを含むことができる。別の実施例として、画像処理は、光学収差等の画像捕捉デバイスの撮像誤差を補うように、以前に決定されたカメラ較正パラメータの使用を含むことができる。使用することができる可能な画像処理の一部の例示的な詳細は、その全開示が参照することによって本明細書に援用される、例えば、米国特許第７，２７７，１２０号（２００４年３月７日出願）を含む、Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．に譲渡された多数の特許および特許出願で説明されている。

図４は、構成要素間の通信経路を示す、ロボット手術システム５０（図１のＭＩＲＳシステム１０等）を図式的に図示する。上述のように、外科医のコンソール５２（図１の外科医のコンソール１６等）は、低侵襲手技中に患者側カート（手術ロボット）５４（図１の患者側カート２２等）を制御するために外科医によって使用することができる。患者側カート５４は、手技部位の画像を捕捉し、捕捉された画像を視覚カート５６（図１の視覚カート２４等）に出力するために、立体内視鏡等の撮像デバイスを使用することができる。視覚カート５６は、後続の表示前に、種々の方法で捕捉された画像を処理することができる。代替として、患者側カート５４は、視覚カート５６の外側で処理するために捕捉された画像を出力することができる。例えば、患者側カート５４は、捕捉された画像を処理するために使用することができるプロセッサ５８に、捕捉された画像を出力することができる。画像はまた、合同で、連続して、および／またはそれらの組み合わせで、捕捉された画像を処理するように、ともに連結することができる、視覚カート５６およびプロセッサ５８の組み合わせによって処理することもできる。１つ以上の別個のディスプレイ６０も、手技部位の画像、または任意の他の関連画像等の画像の局所および／または遠隔表示のために、プロセッサ５８および／または視覚カート５６と連結することができる。

本明細書で説明されるプロセッサのそれぞれは、典型的には、本明細書で説明される方法のステップのうちのいくつかまたは全てを実装するためのコンピュータ可読命令またはソフトウェアを採用する、有形媒体（例えば、１つ以上の場所および／または記憶種類）５９を含む。有形媒体５９は、コンパクトディスクまたはデジタルビデオディスク等の光学記録媒体、ハードディスクドライブ、フロッピー（登録商標）ディスク、バックアップテープ等の磁気記録媒体、読み出し専用メモリ、ランダムアクセスメモリ、不揮発性メモリ、メモリスティック等のメモリを備えてもよい。有形媒体５９に記憶されたソフトウェアまたはコードは、有形記録媒体、インターネットまたは他のネットワークシステム、無線信号伝送等を介して、プロセッサに伝送されてもよい。プロセッサ５８と関連付けられた有形媒体として図４で概略的に示されているが、ソフトウェアは、外科医のコンソール５２、患者側カート５４、視覚カート５６のプロセッサ、および／またはプロセッサ５８を含む、いくつかの異なるプロセッサに存在してもよい。よって、ソフトウェアは、多種多様な集中型または分散型データ処理システムアーキテクチャのうちのいずれかにおいて、ロボット手術システム５０の構成要素のうちの１つ以上に物理的に載置される、１つ以上のプロセッサ回路またはプロセッサボードで作動してもよい。同様に、ソフトウェアは、単一のモノリシックコードとして書き込まれてもよいが、しばしば、一連のサブルーチンに分割され、コードの異なる部分が、随意で、異なるプロセッサボード上で作動する。本明細書で説明されるモジュールに起因する機能性はしばしば、生得的データ処理タスクに好適である、ソフトウェア（有形媒体５９上で具現化されるソフトウェアコード）、ハードウェア（プロセッサ５８のプロセッサ回路、またはロボット手術システム５０の他のプロセッサボードのうちの１つ）、および／またはソフトウェアおよびハードウェアの組み合わせとして実装される。

図５Ａ、５Ｂ、および５Ｃは、それぞれ、患者側カート２２、８ｍｍシャフト手術ツール６２、および５ｍｍシャフト手術ツール６４を示す。手術ツール６２および６４は、手術ツール２６の実施例である。示された患者側カート２２は、３つの手術ツール２６、および外科的手技の部位の画像の捕捉に使用される立体内視鏡等の撮像デバイス２８の操作を提供する。操作は、いくつかのロボット関節を有するロボット機構によって提供される。撮像デバイス２８および手術ツール２６（例えば、エンドエフェクタ６６）は、必要な切開のサイズを最小限化するよう、運動学的枢動中心２５（図１参照）が切開で維持されるように、患者の切開を通して位置付け、操作することができる。手術部位の画像は、撮像デバイス２８の視野内に位置付けられるときに、手術ツール２６の遠位端の画像を含むことができる。

図１および５Ａを参照して理解することができるように、各ツール２６は、典型的には、マニピュレータ２３によって支持される。マニピュレータは、入力移動コマンドによって内部手術部位内でツールのエンドエフェクタを移動させるように、外科医のコンソール１６のプロセッサの方向の下で手術中に移動する。マニピュレータ２３は、概して、マニピュレータおよびツールが、手術に備えて手動で位置付けられることを可能にするように、受動支持連結部２７によって支持される。設定アーム（１つ以上の非電動式の係止可能な設定関節を含むことができる）と呼ばれることもある支持連結部２７はまた、ツールの位置および配向が手技中に変更されることも可能にし、助手２０が、典型的には、ツールを引き抜き、固定構成から手動可動構成に設定関節を解放し、マニピュレータ２３を新しい所望の場所に移動させ、設定関節を再び固定する。関節ベースのデータが、外科医１８の入力に応じた移動コマンドの計算のために、マニピュレータ２３および支持連結部２７の両方から、外科医カート１６のプロセッサに提供される。

ここで５Ｂおよび５Ｃを参照すると、ツール６２、６４は、典型的には、マニピュレータ２３によって支持可能な近位端６５と、近位端から遠位端６９まで延在する細長いシャフト６７とを含む。エンドエフェクタ７１は、連結部７３によってシャフト６７の遠位端６９に連結され、エンドエフェクタおよび連結部は、概して、連結部２３のモータによって駆動される。代替実施形態では、設定関節の自由度のうちの少なくともいくつかが電動式であってもよく、および／またはマニピュレータの自由度のうちのいくつかが受動的であってもよい。枢動中心は、マニピュレータ２３の並行連結構造によって規定されてもよく（遠隔中心連結部内に包含される）、またはマニピュレータの受動関節が、患者体内への開口の周囲でのツールの自然または環境的強制枢動を可能にしてもよい。枢動移動の計算された遠隔中心が提供されることを可能にする、冗長関節駆動型連結部を含む、依然としてさらなる代替が可能である。

ここで図６を参照すると、ロボットシステム５０を使用した測定のための方法１１０を理解することができる。測定は、フットペダル、プルダウンメニュー、補助入力デバイス（キーボード、マウス等）、ロボットシステムまたはアシスタントへの言葉によるコマンド、または多種多様な代替アプローチのうちのいずれかを使用して、測定モード１１２を選択することによって開始されてもよい。測定マーカまたは他の指標が、測定ツール上に重ねられてもよい１１４。１つだけのツールが検査を行うために使用される場合、ツールのうちのどれが測定ツールであるかに関する視覚的指示を有することが、システムユーザにとって役立つ。同様に、両方のツールが測定に、および／または識別されるツール上の測定場所に使用されるという指示を有することが役立ってもよい（例えば、システムがジョーの間の係合表面の遠位先端からのオフセットを計算するときに、ユーザがジョーの枢動点から測定しないように）。ユーザは、以下でより詳細に説明されるように、利き手（例えば、右利きの外科医の右手）によって制御されるツールを指定するように、どのツールが測定ツールとして使用されるかを選択または変更してもよい。測定はしばしば、１つまたは２つの器具を制御する１人のユーザからの入力を参照して説明されるが、特に、３つ以上の場所を指定する時、測定のために３つ以上の場所で組織を同ときに構成するときに、および／または同等のときに、２つより多くの器具の協調運動が随意で採用される。３つ以上のツールを採用する、本明細書で説明されるシステムおよび方法の実施形態は、複数のシステムユーザからの同時３次元入力に適応する入力デバイスから利益を受けてもよい。例えば、一度に３つ以上の器具を制御している間に２人の外科医の協働を促進するために、二重外科医コンソール配列を使用することができる。

実際に測定を行うために、システムユーザは、典型的には、測定ツールで組織場所を示すように、マスタコントローラ１１６（例えば、図２の制御デバイス３６）を操作する。システムユーザは、随意で、ツールを組織に軽く接触させる、組織を触診する、または組織を把持および再構成する等、該場所で組織に係合してもよい。代替として、ユーザは、実際に組織に触れることなく、正確な点指定となるように組織に十分近い場所へツールを運んでもよい。ツールの使用は、組織に触れることもなく、点指定が有効であることをユーザが確信することを可能にでき、マーカ上の場所マーカ位置付けを検証することにより、マーカ精度、再現性、および信頼性をさらに強化することができる。それにもかかわらず、組織と接触することにより、器具先端が意図された深さにあることを確認するように、有用な視覚的合図を提供することができる。

いったんツールの測定マーカが所望の場所に来ると、次いで、ユーザは、システムに組織場所１１８を指定するよう、（マスタコントローラ、随意で、測定ツールまたは異なるマスタコントローラと関連付けられた１つのマスタコントローラのハンドルを開く、および／または閉じること、フットペダルを押下すること等によって）入力を作動させてもよい。次いで、システムは、指定された組織場所１２０のマーカを重ねることができる。誤って指定された場所は、随意で、非利き手と関連付けられたマスタコントローラのハンドルを作動させること等によって、代替的な入力によって除去されてもよい。立体表示の画像上へマーカを重ねること、およびツール場所データの決定は、図４に示されるようにプロセッサ５８を使用して、視覚カート５６のプロセッサによって、手術ロボット５４のプロセッサによって、または代替的なプロセッサ構造によって実装されてもよいことに留意されたい。組織場所情報は、患者側カート５４から出力されるロボットデータから提供される情報を含む、および／または利用してもよく、ロボットデータはしばしば、外科医のコンソール５２から、および患者側カート５４からの関節ベースのデータを備える。指定された組織場所に対応する３次元位置データはしばしば、少なくとも部分的に立体または他の画像捕捉デバイスに基づく。いくつかの実施形態では、手術部位内のツールの場所に関する情報のうちの少なくともいくらかは、（参照することによって本明細書に以前に援用された、同時係属中の米国特許出願第１２／４２８，６９１号（２００９年４月２３日出願）でより完全に説明されているように）システムユーザに表示されるツールおよび手術部位の画像として表示されるデータを処理することによって、および／または多種多様な代替的な画像ベースのツール追跡システムのうちのいずれかから、提供されてもよい。

上述のように、ロボットツールによる組織場所の指示中の組織とツールとの間の相互作用は、組織の付近にある（が触れない）ことから、組織を活発に把持して再構成することに及んでもよい。例えば、ツールは、測定される組織構造を再配置してもよく、随意で、組織を把持し、組織構造を直線化し、介在組織または他の物体の後ろから構造を取り出し、カメラの視野の中へ持ち込む等を行う。いくつかの実施形態では、ツールは、随意で、軟組織表面より下側の場所を示し、測定場所の指定の精度および再現性を強化し、および／または同等のことを行うように、組織を触診する。ツールが組織表面からわずかに分離される実施形態では、組織表面および／または構造の３Ｄ場所を決定するように、種々の画像合致技法を、較正された立体カメラ（例えば、その全開示が参照することによって本明細書に援用される、米国特許出願第１２／４１５，３７７号（２００９年３月２１日出願）で説明される構造および技法を使用して較正されるもの）からのデータと組み合わせることができる。一般論として、左右の画像の中の表面、特徴、または構造の場所は、較正情報とともに、カメラに対する構造の水平位置（Ｘ−Ｙ）、およびカメラとその表面、特徴、または構造との間の距離を決定するために使用することができる。その全開示が参照することによって本明細書に援用される、米国特許出願第６１／２０４，０８２号（２００８年１２月３１日出願）でより詳細に説明されているように、左右の立体画像間の選択的でロバストな画像合致は、手術野内の組織表面上の１つ以上の選択された点の対応する左右の画像を効率的かつロバストに識別することができる。随意で、同様に参照することによって本明細書に援用される、米国特許出願第６１／２０３，９７５号（２００８年１２月３１日出願）でより完全に説明されているように、適切なツールマーカの援助を受けて、ツールの場所を決定するために、関連技法を使用することができる。

例示的なスパース画像合致技法では、第１の画像からの関心の点が、第２の画像に合致するために識別される。そのような関心の点は、随意で、先端が、システムユーザの利き眼で見られるような点の上に配置されるが、ツールが組織表面からわずかに分離されたままであるように、組織表面上の所望の場所または点を覆ってツール先端または同等物を位置付けることによって、識別される場合がある。選択的に識別された関心の点は、選択的合致で第２の画像に（随意で、非利き眼に示されるように）合致させることができる。選択的合致は、領域合致、特徴合致、特徴補間、および／または以前に合致した点の補間を含んでもよい、画像の局所特徴に適切である合致で、選択的に識別された点を合致させることができる。例えば、選択された関心の点に応じて領域を識別することができ、領域は、選択的に識別された関心の点を合致させるために使用されてもよい。領域合致スコアは、領域が合致しているときに決定することができ、十分に合致していない領域については、不十分に合致した領域の特徴は、これらの特徴が第２の画像の関心の点を合致させるために使用されるように、決定し、第２の画像に合致させることができる。不十分な領域合致に応じた、この特徴合致の使用は、良好な合致速度を依然として提供しながら、よりロバストな合致を提供する。特に、手術野が組織からの異なる深さで干渉物体を含むときに、合致した関心の点を評価するために、柔軟なエピポーラ拘束および／または焦点拘束を使用することができる。特徴合致の信頼スコアが閾値を下回る、または悪い点が拘束によって除外されるときに、補間が使用されてもよい。

実施例として、関心の点は、組織の右の画像を参照して識別されてもよい。画像合致の出力は、概して、左の画像で見られるような組織表面の対応するピクセル場所を含んでもよい。各ピクセル場所は、座標系の間に視差オフセットを伴って、その眼に対する関連Ｘ−Ｙ場所を効果的に提供し、概して、深さがカメラ較正データごとに決定されることを可能にする。合致は、ツールが指示場所にある間に（または邪魔になる場合は、組織表面場所とカメラとの間から移動した後に）発生してもよく、場所マーカは、ツールから組織表面へ素早く移動してもよい。ツールの周囲の領域またはウィンドウの中の一連の合致した組織表面場所を決定すること、ツール上の測定場所の場所を決定すること、およびマーカをツールに最も近い組織表面へ素早く移動させること等の、代替的な場所指示技法およびシステムも採用される場合がある。

図６に示されるような例示的測定方法１１０を続けると、第１の組織場所が指定された後、次いで、システムユーザは、マスタコントローラを操作して、ツールを次の所望の組織場所１２２に移動させてもよい。ツールがシステムユーザに提示された立体画像の中で移動するにつれて、以前の指定組織場所から、移動する測定ツールまで、より具体的には、測定ツール１２４上に重ねられたままであるマーカまで、伸張線が部位の画像上に重ねられる。伸張線の長さ、および同等物を含む、増分データが、マスタコントローラの移動中に表示されてもよい。随意で、全長（複数対の指定組織場所の間の以前のオフセットを含む）もまた、画像上に重ねられてもよい。

マーカおよび同等物を、組織上、ロボット構造（ツール等）上、または画像で示されるような他の構造上に重ねる時、しばしば、下層構造がシステムユーザに提示された立体画像中に現れるのと同じ深さで、マーカを現れさせることが有利となるであろう。マーカが下層組織または他の構造と同じ深さで現れるように、左右の画像の中の場所を合致させるために種々の方法が使用されてもよいが、参照することによって本明細書に以前に援用された、同時係属中の米国特許出願第６１／２０４，０８２号で説明されている、特に効率的でロバストな画像合致技法が、有意な利点を有する。

いったん測定ツールが（所望に応じて）次の組織場所を係合し、操作すると、ユーザは、組織場所１２８を指定するように入力を作動させることができる。画像から抽出されたデータに基づいて（随意で、画像ベースの場所情報を検証するために、関節ベースまたは運動学的ロボットデータも利用して）、オフセットデータを更新することができ１３０、別のマーカを指定組織場所１３２に重ねることができる。いくつかの実施形態では、伸張線が、直前の指定場所と移動するツールとの間のみに現れてもよい一方で、代替実施形態は、ユーザが複数の指定組織場所によって規定されている全体的輪郭を見ることができるように、伸張線分を固定してもよい。指定組織場所は、上述のように、システムユーザに提示された立体画像の画像処理によって取得される、ツール追跡データから抽出されてもよく、データはしばしば、組織場所の間の３Ｄオフセットを含む。データは、輪郭を規定するように、指定組織場所を接続する一連な直線分を含む、３Ｄ線分群を規定してもよい。代替実施形態は、指定された点の間のスプラインまたは他の曲線を採用してもよく、あるいは、画像合致技法によって識別されるような下層または最近組織表面上に線を投影してもよい。システムユーザが、これが最後の場所１３４であることを示す（および／または、面積を効果的に取り囲むこと、事前識別された数の関心の線分に達すること等によって、システムが最後の場所であると決定する）場合、最終測定が表示されてもよく１３６、表示はしばしば、再び手術部位に重ねられる。代替実施形態は、組織画像ウィンドウ外、別個のディスプレイ上、組織画像ディスプレイ内の別個のウィンドウ上等で、組織画像から始動される、表示データを採用してもよい。ユーザは、マスタ制御ハンドルをダブルクリックすること、フットペダルを押下すること、代替的なハンドル（または両方のハンドル）を作動させること等によって、最後の場所であることを示してもよい。場所が最後の場所として識別されない場合、システムは、ユーザが再びマスタコントローラを操作し、付加的な組織場所を指定すること１２２等を可能にしてもよい。

システム５０および方法１１０（それらの変化例を含む）は、低侵襲外科的手技中に体内３Ｄ測定が得られることを可能にすることができる。これらのシステムおよび方法は、開発されているロボット手術システム（ＣａｌｉｆｏｒｎｉａのＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．から市販されているｄａ Ｖｉｎｃｉ（登録商標）手術システムを含む）。代替実施形態は、現在開発されている、または将来開発されるロボット手術システムに基づいてもよく、またはそれらに追加されてもよい。本明細書で説明される技法およびシステムは、画像データを使用したツールの追跡と、グラフィカル情報を用いて（特に、測定ツール上の、またはいずれの測定ツールとも無関係な、測定カーソルまたはマーカを描写する３Ｄオーバーレイグラフィックを用いて）手術野を増強することとを伴ってもよい。測定場所およびツールインジケータ、伸張線および他の測定マーカ、ならびに出力グラフィック（双方向３Ｄ数値的計測値等）は、画像フィールド内の組織または他の構造上、画像フィールド外であるが外科医のディスプレイ内、および／または別の補助表示システム上に現れることができる。

例示的実施形態では、３次元で視野内の生体構造または他の構造と一致して見えるよう、３Ｄインジケータ視覚（点、線、および／または数値的計測値を含む）がレンダリングされるように、外科医による生体構造の立体内視鏡像と一致する、較正された立体カメラモデルを使用して、３Ｄオーバーレイ視覚がレンダリングされてもよい。十分な比率でオーバーレイ視覚を更新することにより、外科医は、外科医のコンソール１６（図２参照）上のマスタ制御入力デバイス３６でマーカを効果的に操縦することによって、３Ｄマーカを対話形式で位置付けてもよい。マーカとともにツールを移動させることにより、外科医が、測定を行うときに組織と相互作用することを可能にし、それは、立体画像捕捉デバイスに向かって組織表面より上側の空間内に浮遊する、または、画像捕捉デバイスから離れた３Ｄ空間内の組織場所を越えて効果的に組織表面内の場所にある、組織表面と一致する空間内の場所にマーカを配置することを回避してもよい。

好ましくは、所望の測定のための３Ｄマーカを操作するように、器具先端のデカルト位置（または他の測定場所）が十分正確に決定される。デカルト位置はしばしば、カメラ参照フレーム内で決定され、ロボットシステムによって提供されるツールに対する制御は、予測可能な方式で器具先端、背景組織および他の構造、および同等物に対してマーカを移動させることを促進する。マーカ位置および移動の所望の精度を提供するために、カメラ視野内のツール位置を追跡する、画像ベースのツール追跡システムを採用することができる。代替的実施形態では、器具を指示するロボットマニピュレータ（随意で、カメラまたは他の画像捕捉デバイスを指示するマニピュレータ）は、カメラ参照フレーム内の器具先端位置誤差を最小限化するように較正されてもよい（典型的には、手術の開始前に）。

３Ｄオーバーレイ視覚を、器具に関する正確な情報と組み合わせることによって、種々の測定相互作用が達成されてもよい。これらの測定相互作用のうちの多くは、システムユーザによってロボット手術システムに入力される移動コマンドによる、器具先端のマスタ・スレーブ追従を使用することを伴う。ツールの移動を生じさせることに加えて、手術部位の表示上、具体的には、ツールの先端上に重ねられた３Ｄマーカまたはカーソルの移動は、マーカに器具先端を密接に辿らせるツールの器具先端または遠位端が生体構造に触れると、３Ｄマーカは、正確な場所指定を可能にするように、その生体構造と十分に一致する。ボタンを押すこと、またはフットスイッチを使用して、システムユーザは、マーカおよび器具先端の現在の位置をサンプリングする。器具の付加的な移動およびボタンを押すことが、一連の点をサンプリングするために使用されてもよい。それらのサンプリングされた点の間の累積ユークリッド距離を対話形式で計算し、ユーザに表示することができる。しばしば、この基礎的器具測定相互作用を使用して、いくつかの測定モードがサポートされてもよい。よって、外科医は、連続して２つ以上の点の間の距離を測定してもよい。これらの点は、開放または閉鎖輪郭を形成してもよい。閉鎖輪郭の表面積または点の凸包の体積等の他の数量が、これらの点から導出されてもよい。長い輪郭を測定するための相互作用は、規則的な距離または時間間隔を置いた点の自動サンプリング等によって、促進されてもよい。

多角形または線分群表現に加えて、その平滑性に向かった自然な傾向により、組織の構造により良好に近似するように、スプラインまたは同様のモデルをデータに適合させることができる。適合プロセスは、点を特定する時の手の動きのいくらかのジッタリングを潜在的に除去することができる。３Ｄ点の共分散行列は、点における誤差の非均一性（典型的には、視認方向により多くの誤差をもたらす）に対処するように、視認幾何学形状をから導出することができ、適合プロセスの利益になってもよい。

点はまた、いくつかのモードでは、随意で、ほんのわずかな点場所を使用して、コンピュータグラフィックで使用されるような楕円形、楕円体、柔軟なオブジェクト、および同等物等の２次元または３Ｄパラメトリック幾何学形状を効果的に規定するために使用されてもよい。幾何学形状の特性は、２次元形状の円周および面積、３Ｄ形状の体積等を計算すること等によって、導出または決定することができる。

本明細書で説明される方法およびシステムはしばしば、適切に装備されたロボット手術システム、特に、画像ベースのツール追跡能力を既に有する、そのようなシステムに、付加的なソフトウェアモジュールを追加することによって、実装されてもよい。本明細書で説明される仮想測定ソフトウェアツールは、システムとユーザとの間の相互作用の種々のモード、ならびに測定計算のための異なるモードをサポートしてもよい。システムユーザと計算モジュールとの間の相互作用の１つのそのような部類は、（例えば）３Ｄ輪郭の長さ、閉鎖輪郭の表面積、および／または同等物を測定するために単一のツールが使用される、片手測定を含んでもよい。システムユーザと測定計算モジュールとの間の別の種類の相互作用は、両手および２つの関連ツールの使用を伴ってもよく、ツールは随意で、測定中に把持および操作を行う。これらの測定ツールは、概して、ツールエンドエフェクタまたは器具先端の位置を正確に決定する、ならびに、３Ｄ立体像で器具先端と一致して見えるように、システムのディスプレイ上のオーバーレイ視覚の中のその位置上に正確にハイライトまたは描画する、遠隔手術システムの能力に依存してもよい。

ここで図７を参照すると、輪郭をサンプリングするか、または場所を指定するために、例示的なデータサンプリングまたは指定方法１５０が使用されてもよい。システムユーザはしばしば、測定器具先端の場所を制御するために利き手を使用し、サンプルを追加または除去するために非利き手でハンドルを把持するか、または作動させてもよい。例えば、右利きのシステムユーザは、典型的には、ツールの操縦のために右手を使用し、場所を指定および／または指定解除するために左手を使用する。方法１５０については、右手が利き手であると仮定され、左手が非利き手であると仮定される。これは、設定メニュー、プルダウンメニュー等を使用して変更されてもよい。

サンプリングまたは指定方法１５０の全体を通して、器具把持装置またはジョーが閉じられたままであるように、右手は閉鎖把持状態のままであってもよい。これは、組織に接触し、関心の点を指定するための有利な構成でジョーを有するツールを構成してもよく、随意で、システムへの測定ツールを識別してもよい。ツールジョーは、典型的には、マスタコントローラのハンドルのパドルを閉じることによって閉じられる。右手がハンドルを把持する１５２と、ツールは、そのハンドルも閉じるように、左手で簡潔に把持する１５６ことによって、点を追加することができる１５４。点を追加および除去するために非利き手を使用することにより、そうでなければツール位置付けの精度に悪影響を及ぼし得る、利き手の意図しない動きを阻止する。代替実施形態では、好ましくは、入力作動がツールの制御された配置に干渉しないように、フットペダルまたは外科医のコンソール上の付加的なボタンが提供されてもよい。右手が開かれると１５８、ツールは、左手で把持する１６２ことによって、点を除去することができる１６０。

ユーザとのシステムの相互作用は、測定モードであるときに、器具先端を対話形式で追跡する点が常に存在するようなものである。システムユーザは、器具を制御して、測定される生体構造と一致するように、この点を位置付ける。場所に定着すると、点は、効果的に現在の場所に点または点マーカをドロップし、対話形式で移動させられる新しい点を追加する、左手で把持することによって正確に置かれてもよい。ユーザインターフェース体験をさらに向上させるために、線分群可視化は、器具先端における最後の点までの順序で各対の点の間の接続を表示する。これは、測定される生体構造に対して輪郭の方向を整合させるための付加的な視覚確認を提供する。サンプリング方法１５０のフローチャートは、測定された線分群の３Ｄ可視化が、線分群が変更されたときにいつでも操作者のために再描画されるものと仮定することに留意されたい。

ここで図８を参照すると、輪郭関連測定ツールのクラス図、ならびにこれらのツール間の挙動の継承が示されている。これらのツールは、測定された点の配置に対処するように、ボタンを押す事象および運動事象に応答する。ツールは、図７に示された同じ点配置相互作用モードをサポートするが、表示するための測定テキストを生じるように一連の点を処理する方法で異なってもよい。サポートされた相互作用モードは、２つ点の間の距離を測定するための２点間配置、任意の輪郭を測定するための線分群点配置、および空間的に規則的にサンプリングされた測定を生じるための連続点配置を含む。

輪郭測定ツールはまた、図９に図示されるような連続サンプリングモードまたは場所指定方法１８０もサポートする。方法１８０は、規則的に離間したサンプルを生じる。操作者は、随意で、２つのサンプル点の間の最小間隔を決定する、所望のサンプリング許容値を特定してもよい。０．１ミリメートルから２０ミリメートルの間の許容値が有用であってもよく、１ミリメートルの許容値がデフォルト値として使用されてもよいように、１ミリメートルの許容値がしばしば実行可能である。左右の把持は、概して上記で説明されるものと類似した方式で、点を追加または除去するために使用されてもよく、新しいサンプルを追加することを正当化するように、ツールが十分特に移動させられた時を決定するために、距離測定ステップ１８２が使用される。サンプリングのための代替方法論は、時間ベースの周期的サンプリング、空間的数量差の変化（例えば、ツール経路の連続性および／または曲率に応じてサンプルが取得される）、または空間的および時間的数量に基づく何らかの複合測定基準（例えば、ツールの速度および／または加速度に応じてサンプルが取得される）等に依存してもよい。

ここで１０Ａおよび１０Ｂを参照すると、隣接ツールは、概して、線分群３Ｄオブジェクトに依存してもよい。これは、そこから長さおよび面積測定を計算する、一連のサンプリングされた３Ｄ点を記憶するために使用されてもよい。開放輪郭ツールは、以下の式を使用した線分群３ＤオブジェクトのＣｏｍｐｕｔｅＬｅｎｇｔｈ方法を使用して、その測定値を生じることができる。

閉鎖輪郭ツールは、式１を使用して、その測定を生じ、次いで、順序の中の最後の点を順序の中の第１の点に接続する、区分の長さを加算する。閉鎖輪郭面積は、随意で、三角形のモザイク状配列を使用して、閉鎖表面積を概算することによって計算される。次いで、面積は、各三角形の面積を積分することによって得られてもよい。表面をモザイク状に形成するための１つのアプローチは、３Ｄ輪郭の重心に固定点を伴う三角扇形を使用することである。これは、測定される輪郭の大部分を表す、凸面およびほぼ凸面の入力に特によく効果がある。

本発明の実施形態はまた、手を交互に動かした測定と呼ばれる、両手での器具相互作用を可能にする。これは、２つの把持器具で組織を操作しながら、システムユーザが組織の長さを測定することを可能にするように実装することができ、操作のうちのいくらかまたは全てが画像捕捉デバイスの視野内で発生する。そのような測定のために、各ツールの把持装置に沿った点が、現在把持されている組織の長さを測定するために使用されている点の間のユークリッド距離を伴って追跡されてもよい。相互作用はまた、システムユーザが、ツールの間で把持される組織の長さを連続的に累積することも可能にする。ツール間の距離は、ツール把持装置の関節動作に基づいて、自動的にサンプリングされ、累積される。ロボット手術システムとの手を交互に動かした相互作用の性質により、一方の手は、新しい場所を把持している（したがって指定している）と仮定することができる。いったん新しい場所が把持され、他方の手が組織を解放すると、システムは、器具間の距離を自動的にサンプリングし、累積する。組織が右手ツールから解放され、外科医が左手ツールを越えて手を伸ばしているときに、外科医が、左手ツールを解放することによって新しい把持場所を指定する前に、全体的な組織をあちこちに移動させるか、または他の組織を邪魔にならない所に移動させてもよいように、このサンプリング条件は、ユーザが累積測定を果たす前に把持および再把持することを可能にするという点で、便利である。加えて、システムユーザは、サンプリングされることが所望される線形区分の長さを最も良く概算するように測定されている組織を直線化するか、またはわずかに伸張さえする機会を有してもよい。

ここで図１１を参照すると、手を交互に動かしたデータサンプリング方法２００は、測定された全長を累積しながら、画像捕捉デバイスの視野内で、および／または視野を通して、ユーザが組織を把持し、操作し、移動させることを可能にする。相互作用は、長いロープを引っ張るためにそれぞれの手を交互に使用することに類似した、直観的両手測定パラダイムを提供する。相互作用は、測定の方向または長さに制限を課さない。操作者は、一連の区分線形測定を行うことによって、恣意的に長い、または曲線の検体を測定してもよい。この測定相互作用の１つの使用例は、消化管手技で長の長さを測定するためである。手を交互に動かしたサンプリング方法２００では、システムユーザとシステムとの間の相互作用は、システムユーザが、一方の手で把持し、他方の手で測定するという交互パターンを使用することを可能にするように設計されている。測定は、操作者が一方または他方の手で測定される検体を把持することから開始される。把持していない手は、測定する手になる。システムは、左右の手と関連付けられたツールとマスタコマンド入力デバイスとの間の計算された距離、ならびに以前の測定の現在合計を継続的に計算し、表示する。把持する手を解放する２０２前に、把持していない手は、測定された長さを表明するように所望の把持を決める前に、自由に複数回把持および解放できる。把持する手を解放すると２０２、測定が表明され、手の間の関係が切り替えられる。測定を表明することは、２つのツールと現在合計との間の計算された距離を加算すること２０４を伴う。次いで、前の測定する手は、検体を把持したままにされ、前の把持する手は、ここでは、役割の切替により、新しい場所を自由に指定できる測定ツールである２０６。

図１２は、画像データを使用した２点間単一線分測定を図形的に示す、スクリーンショットである。表示された画像２２０は、マーカ２２４が重ねられているツール２２２を示す。マーカ２２６は、以前に指定された場所で示され、伸張線２２８は、以前に指定された場所とツール上のマーカとの間に延在する。伸張線の長さを示す数値的図形２３０が、伸張線からオフセットされ、撮像デバイスの視野内で提供される。表示された伸張線２２８を背景組織に対して可視的にするために、種々の色が伸張線に使用されてもよい。図１２によって図示された実施形態では、伸張線２２８は、明るい緑色である。同様に、種々の色が、表示されたマーカに使用されてもよい。

次に、図１３を参照すると、線分群測定が概略的に図示されている。ツール２４０が、２つの組織場所２４２、２４４を指定するために以前に使用されており、表示されたマーカは、ツールが移動した後に、それらの場所に残されている。線分２４６は、以前に指定された場所の間で固定されたままである。伸張線２４８は、ツール２４０とともに移動し、具体的には、直前に指定された場所２４４とツール上の測定場所２５０との間に延在する。測定中にツールとともに移動するように見えるように、マーカ２５２が、ツールの測定場所においてツールに重ねられる。マークされた場所は、一直線で、単一の平面内等で位置する必要はない（しばしばそうならない）ことに留意されたい。いったん組織場所が指定されると、表示されたマーカは、測定されている組織の代替的な部分を視認するようにカメラが移動するときに、組織とともに残存してもよい。

ここで図１４を参照すると、囲い込まれた線分群測定の例示的実施形態を見ることができる。関心の組織構造の円周および／または面積が表示されてもよく、ここでは組織構造は、僧帽弁輪を備えることに留意されたい。異なる色が、異なる表示されたマーカまたは線に使用されてもよい。例えば、面積境界線２５４は、黄色で示されてもよく、面積の中心２５８から表示されたマーカ２２６のそれぞれまで延在するモザイク状配列２５６は、白で示されてもよい。モザイク状配列の線は、面積境界線２５４内の面積を計算する際に使用されてもよい。

例示的な手を交互に動かした測定方法は、図１５Ａおよび１５Ｂを参照して理解することができる。測定ツール２６０は、可撓性組織または他の構造ＦＴ（ここでは測定テープ）に沿って移動し、測定ツール２６０と把持ツール２６２との間の測定距離を示す出力を生成する。いったん可撓性組織ＦＴに沿った所望の場所が識別され、組織が適切に直線化および／または伸張されると、測定ツール２６０は、把持ツール２６２が解放されている間に閉鎖把持モードのままであってもよく、ツール間の最新の分離を含むように、累積距離測定を更新する作用である。分離距離は再び、２つのツールの役割が切り替わり、以前の測定ツール２６０が把持ツールである状態等で示されてもよい。

図１５Ｂの説明図は、巻き尺を使用した、手を交互に動かした測定相互作用の検証を示す。測定されている長さを表すように、線分が器具把持装置の間に３次元で重ね合わせられる。中間長さおよび累積測定長さを示すように、テキストメッセージが区分の中間点に対話形式で表示される。

付加的な実施形態は、オフセット、面積、体積、縦横比、および同等物の測定を促進するように、上記で説明される技法およびシステムのうちのいくつかを静止立体画像と組み合わせてもよい。例えば、特に、閉胸式鼓動心臓手技中に心臓の組織構造の測定のために、移動する組織から測定を得ることが望ましくてもよい。そのような生理学的移動中に正確な測定を促進するように、プロセッサは、システムユーザに提示される立体ビデオ画像（外科医のコンソールにおいて１人以上の外科医に提示される立体画像、関連ディスプレイにおいて助手または監督に提示される２次元画像）を停止させることができる。画像は、組織場所の指定に備えたシステムユーザからの入力によって、またはロボットツールが第１の組織場所に配置されている、またはそれに隣接していることを示す入力に応じて、停止させられてもよい。いずれにしても、次いで、同じ（または異なる）システムユーザが、停止画像の中で１つ以上の組織場所を識別することができる。随意で、組織場所は、組織画像の所望の場所へ３Ｄカーソルを操縦するために外科医のコンソールのマスタ入力デバイスを使用することによって、識別することができる。代替として、システムユーザは、２つの停止立体画像のうちの１つの中で場所を単純に指定してもよい。いずれにしても、組織指定コマンドがプロセッサによって受信されると、カーソルは、立体画像のうちの１つの中のカーソルの場所に基づいて、組織表面へと素早く動いてもよい。所望の組織場所が停止画像に入力されているときに、３次元オフセットおよび測定が、上記で説明されるように３次元画像データから決定されてもよい。組織場所の全てが、随意で、カーソル等を使用して示されてもよい一方で、ロボットツールを用いた少なくとも第１の場所の指示は、局所組織を安定させるのに役立ってもよい。鼓動している心臓および／または他の周期的に移動する組織の測定のために、組織移動サイクルの異なる段階で一連の測定を生成するように、時系列画像が捕捉され、使用されてもよい。よって、そのようなシステムおよび方法は、（例えば）心臓の一連の周期的拍出状態を捕捉し、それらの状態の測定を行って、種々の心臓の症状の診断および治療を強化することができる。

理解を明確にするため、および一例として、例示的実施形態を説明してきたが、種々の修正、適合、および変更が当業者に明白となるであろう。よって、本発明の範囲は、添付の請求項のみによって限定される。

Claims (44)

1. 構造を測定するための方法であって、
   第１のロボットツールジョーで第１の構造場所を把持することと、
   第２のロボットツールジョーで第２の構造場所を把持することと、
   第３の構造場所を把持するように、該第１のツールのジョーを解放し、該第１の場所から該第１のツールを移動させることと、
   該構造に沿って手を交互に動かした長さを測定するように、該複数の場所の間の３次元オフセットを合計することと
   を含む、方法。
2. 前記構造は、低侵襲手術部位内に組織構造を備え、前記第１ロボットツールジョーおよび第２のロボットツールジョーで交互に該構造を把持することによって、複数の付加的な組織構造場所を指定することをさらに含む、請求項１に記載の方法。
3. 各オフセットは、前記一対の場所によって規定され、各ジョーに沿った測定場所のグラフィカルインジケータの画像に重ねられて、第１のジョーと第２のジョーとの間の伸張線、該第１のジョーと該第２のジョーとの間の増分オフセット測定、および複数対の合計オフセットを含む累積測定を表示することをさらに含む、請求項２に記載の方法。
4. 前記ジョーの作動によって前記組織場所を指定することをさらに含む、請求項２に記載の方法。
5. 前記第２のツールが前記第２の組織場所を把持している間の前記第１の場所からの前記第１のツールの前記ジョーの解放は、該第２のツールが、前記合計オフセットを改変することなく、複数の第２の組織場所候補を把持および解放してもよいように、該第２の組織場所を指定し、該第１の場所と第２の場所との間の増分オフセット測定を開始する、請求項４に記載の方法。
6. 前記第１のツールが前記第３の組織場所を把持している間の前記第２の場所からの前記第２のツールの前記ジョーの解放は、前記第１のツールが、前記合計オフセットを改変することなく、複数の第３の組織場所候補を把持および解放してもよいように、前記第３の組織場所を指定し、前記第２の場所と前記第３の場所との間の増分オフセット測定を開始する、請求項５に記載の方法。
7. 前記ツールのうちの１つが把持されたままである間に、他方のツールは、所望の組織場所が達成されるまで、複数回把持および解放することを許可され、前記付加的な場所の間のオフセットは、前記所望の組織場所が達成されたときに前記一方のツールの解放によって測定され、前記一方のツールと前記他方のツールとの間の場所指定責任は、前記一方のツールが解放されると切り替わる、請求項４に記載の方法。
8. 前記第１および第２のジョーの間の関連オフセットが決定されたときに、前記組織構造の測定された長さを直線化または伸張するように、前記ジョーで前記組織構造を操作することをさらに含む、請求項２に記載の方法。
9. 画像捕捉デバイスの視野内で前記組織構造を視認することをさらに含み、前記第３の場所は、前記第１の場所と前記第２の場所との間のオフセットを決定している間に前記視野内で可視的ではなく、さらに、前記第２の場所と前記第３の場所との間のオフセットを決定している間に前記第３の場所を撮像するように、前記ジョーで前記組織構造を操作する、および／または前記視野を移動させることを含む、請求項２に記載の方法。
10. 画像データを生成する画像捕捉デバイスで、前記組織構造の左右の立体画像を捕捉することをさらに含み、前記オフセットは、前記画像データを使用して、前記場所の間の３次元オフセットを決定することによって測定される、請求項２に記載の方法。
11. 組織を測定するための方法であって、
    第１のロボットツールで第１の組織場所を示すことと、
    ロボット制御で複数の付加的な組織場所を示すことと、
    該組織場所によって規定される測定を決定することと
    を含む、方法。
12. 前記測定は、複数対の前記組織場所の累積長を備える、請求項１１に記載の方法。
13. 前記測定は、面積測定を備える、請求項１１に記載の方法。
14. 前記測定は、前記場所によって規定される縦横比を備える、請求項１３に記載の方法。
15. 前記面積の中心を識別し、該面積を計算するように、該中心と前記組織場所との間で規定される三角形の面積を合計することをさらに含む、請求項１３に記載の方法。
16. システムユーザが、画像を参照して前記第１のツールの移動を指図しながら、前記組織の画像に前記面積の境界を重ねることをさらに含む、請求項１３に記載の方法。
17. 画像データを生成する画像捕捉デバイスで前記画像を取得することと、該画像データから前記組織場所を決定することとを含む、請求項１１に記載の方法。
18. 前記組織場所は、前記面積を境界する離散して指定された場所を備え、各場所は、システムユーザからの関連入力ごとに指定される、請求項１１に記載の方法。
19. 前記複数の場所は、前記第１のロボットツールと以前の場所との間の時間的または空間的分離に応じて指定される、請求項１１に記載の方法。
20. 前記場所のそれぞれにおいて前記組織の画像内でグラフィカルインジケータを重ねることであって、前記グラフィカルインジケータは、前記第１のツールが該第１のツールによって指定される場所から変位された後に存続する、ことと、該画像内の連続場所の間で線を重ねることと、該画像内の該第１のロボットツールのツール測定場所にグラフィカルインジケータを重ねることと、該画像内の直前の場所と該測定場所との間に伸張線を重ねることとをさらに含む、請求項１１に記載の方法。
21. 前記画像内の前記直前の場所と前記ツール測定場所との間に増分オフセットを重ねることと、該画像内の連続場所の間にオフセットの累積和を重ねることとをさらに含む、請求項２０に記載の方法。
22. ロボット制御で前記複数の付加的な組織場所を示すことは、少なくとも第２の組織場所を示すために第２のロボットツールを、少なくとも第３の組織場所を示すために第３のロボットツールを使用することによって行われる、請求項１１に記載の方法。
23. 前記第１のロボットツールは、第１のユーザによって操作される第１のマスタ／スレーブ３次元入力デバイスと動作可能に関連付けられ、前記第２のロボットツールは、第２のユーザによって操作される第２のマスタ／スレーブ３次元入力デバイスと動作可能に関連付けられる、請求項２２に記載の方法。
24. 構造を測定するためのシステムであって、
    第１の構造場所を把持するための第１のロボットツールジョーと、
    第２の構造場所を把持するための第２のロボットツールジョーと、
    該ユーザからの入力コマンドが、該構造に沿って手を交互に動かした長さを測定するよう、該場所の間で３次元オフセットを合計するようにプロセッサを誘導するように、該ロボットツールを出力に連結するプロセッサと、
    を備える、システム。
25. 前記システムは、ロボット手術システムを備え、前記構造は、低侵襲手術部位内の組織構造を備え、前記プロセッサは、前記第１および第２のロボットツールジョーに対する複数の交互ジョー作動コマンドに応じて、長さに沿って関連付けられた複数の付加的な組織構造場所を識別する、請求項２４に記載のシステム。
26. 前記プロセッサは、関連付けられた複数対の前記場所によって規定される、複数のオフセットを合計し、使用中に、各ジョーに沿った測定場所のグラフィカルインジケータがその上に重ねられた、前記組織構造の画像と、前記第１および第２のジョーの間の伸張線と、前記第１および第２のジョーの間の増分オフセット測定と、複数対の合計オフセットを含む累積測定とを示す、ディスプレイとをさらに備える、請求項２５に記載のシステム。
27. 前記第１の場所からの前記第１のツールの前記ジョーの解放は、前記第２のツールが、前記手を交互に動かした長さを改変することなく、複数の第２の組織場所候補を把持および解放してもよいように、前記第２の組織場所を指定し、前記第１の場所と前記第２の場所との間の増分３次元オフセット測定を前記手を交互に動かした長さに加算する、請求項２５に記載のシステム。
28. 前記プロセッサは、前記手を交互に動かした長さの測定中に前記ジョーで前記組織構造を操作することを促進し、前記第１および第２のジョーの間の関連オフセットが決定されたときに、前記ジョーが前記組織構造の測定された増分長さを直線化または伸張することを可能にするように、場所が前記システムユーザからのコマンドによって示されるまで、３次元オフセットの合計を延期する、請求項２５に記載のシステム。
29. 視野を有する画像捕捉デバイスをさらに備え、前記プロセッサは、前記第２の場所と前記第３の場所との間のオフセットを決定する前に、前記第３の場所を前記画像の中へ持ち込むよう前記構造を操作するように、前記ジョーの関節動作のために構成される、請求項２４に記載のシステム。
30. 視野を有する画像捕捉デバイスをさらに備え、前記プロセッサは、前記第２の場所と前記第３の場所との間のオフセットを決定する前に、前記第３の場所を前記画像の中へ持ち込むように、前記視野の再配置のために構成される、請求項２４に記載のシステム。
31. 前記構造の左右の立体画像を捕捉し、それに応じて画像データを生成するための立体画像捕捉デバイスをさらに備え、前記プロセッサは、前記画像データを使用して前記場所の間の３次元オフセットを決定することによって、前記オフセットを測定する、請求項２４に記載のシステム。
32. 前記プロセッサは、前記ツールのうちの１つが把持されたままである間に、所望の組織場所が達成されるまで、他方のツールが複数回把持および解放することを許可されるように、構成され、前記付加的な場所の間のオフセットは、前記所望の組織場所が達成されたときに前記一方のツールの解放によって測定され、前記一方のツールと前記他方のツールとの間の場所指定責任は、前記一方のツールが解放されると切り替わる、請求項２４に記載のシステム。
33. 構造を測定するためのシステムであって、
    第１の場所に係合するための第１のロボットツールと、
    プロセッサが、該第１の場所および複数の付加的なロボット制御で係合された場所によって規定される測定を決定するように、該第１のツールに連結される、プロセッサと
    を備える、システム。
34. 前記測定は、面積測定を備える、請求項３３に記載のシステム。
35. 前記測定は、前記場所によって規定される縦横比を備える、請求項３３に記載のシステム。
36. 前記プロセッサは、前記面積の中心を識別し、前記面積を計算するよう、前記中心と前記組織場所との間で規定される三角形の面積を合計するように構成される、請求項３３に記載のシステム。
37. 前記プロセッサは、システムユーザによって、画像を参照して前記第１のツールの移動を指図しながら、前記組織の前記画像に前記面積の境界を重ねるように構成される、請求項３４に記載のシステム。
38. 前記画像を取得し、それに応じて画像データを生成するための画像捕捉デバイスをさらに備え、前記プロセッサは、前記画像データから前記場所を決定する、請求項３３に記載のシステム。
39. 前記組織場所は、前記面積を境界する離散して指定された場所を備え、前記プロセッサは、システムユーザからの関連入力ごとに各場所を決定する、請求項３３に記載のシステム。
40. 前記プロセッサは、前記第１のロボットツールと以前の場所との間の時間的または空間的分離に応じて、前記複数の場所を決定するように構成される、請求項３３に記載のシステム。
41. 前記プロセッサは、前記場所のそれぞれにおいて前記組織の画像内でグラフィカルインジケータを重ねるように構成され、前記グラフィカルインジケータは、前記第１のツールが前記第１のツールによって指定される場所から変位された後に存続し、前記画像内の連続場所の間で線を重ねるように構成され、前記画像内の前記第１のロボットツールのツール測定場所にグラフィカルインジケータを重ねるように構成され、前記画像内の直前の場所と前記測定場所との間に伸張線を重ねるように構成される、請求項３３に記載のシステム。
42. 前記プロセッサは、前記画像内の前記直前の場所と前記ツール測定場所との間に増分オフセットを重ねるように、および前記画像内の前記連続場所の間にオフセットの累積和を重ねるように構成される、請求項３３に記載のシステム。
43. 第２のロボットツールおよび第３のロボットツールをさらに備え、前記ロボットツールは、少なくとも第２の組織場所を示すために前記第２のロボットツールを、少なくとも第３の組織場所を示すために前記第３のロボットツールを使用して、ロボット制御で前記複数の付加的な組織場所を示すように、前記プロセッサに連結される、請求項３３に記載のシステム。
44. 第１のユーザによる使用のために位置付けられ、前記第１のロボットツールと動作可能に関連付けられる、第１のマスタ／スレーブ３次元入力デバイスと、第２のユーザによる使用のために位置付けられ、前記第２のロボットツールと動作可能に関連付けられる、第２のマスタ／スレーブ３次元入力デバイスとをさらに備える、請求項４３に記載のシステム。

Images