JP2021007755A - 遠隔操作医療システムにおける器具の画面上での識別をレンダリングするためのシステム及び方法 - Google Patents

Abstract

【課題】オペレータ制御システム及び手術環境において医療器具の動きを制御するように構成される複数のマニピュレータを含む遠隔操作アセンブリと処理ユニットを含むシステムを提供する。【解決手段】マニピュレータは、オペレータ制御システムによって遠隔操作式に制御される。システムはさらに、手術環境の視野の画像を表示し、医療器具２６ａ、２６ｂ、２６ｃの遠位端部部分の位置を画像の座標空間に投影し、各医療器具の遠位端部分に関連付けられるバッジ２０６のための初期位置を決定し、その初期位置に基づいて各バッジのための表示要因を評価し、表示要因に基づいて画像２０２の座標空間における各バッジのための最終的な表示位置を決定するように構成される、処理ユニットを含む。【選択図】図２Ａ

Description

（関連出願）
本特許出願は、２０１５年３月１７日に出願された“SYSTEMS AND METHODS FOR RENDERING ONSCREEN IDENTIFICATION OF INSTRUMENTS IN A TELEOPERATIONAL MEDICAL SYSTEM”と題する米国仮特許出願第６２／１３４，２９４号の優先権及び出願日の利益を主張し、これは、その全体が本明細書に参照により援用される。

低侵襲医療技術は、侵襲的な医療処置中に損傷される組織の量を減らし、それによって患者の回復時間、不快感、及び有害な副作用を低減することを意図している。このような低侵襲医療技術は、患者の解剖学的構造における自然開口部或いは１又は複数の外科的切開部を通って実行されることができる。これらの自然開口部又は切開部を通して、臨床医は、標的組織位置に到達するための医療器具を挿入することができる。低侵襲医療ツールは、治療器具、診断器具、及び手術器具のような器具を含む。低侵襲医療ツールは、内視鏡器具のようなイメージング器具も含んでよい。イメージング器具は、患者の解剖学的構造内の視野をユーザに提供する。幾つかの低侵襲医療ツール及びイメージング器具は、遠隔操作される又はコンピュータ支援されることができる。遠隔操作医療システムでは、器具のサイズが小さいことに起因してであれ、視野の縁への近接に起因してであれ、又は組織による妨害に起因してであれ、器具を見るのが困難なことがある。遠隔操作システムを操作する臨床医は、どの器具がどのオペレータ制御下にあるかを把握し続けることが困難な場合がある。臨床医の誤りの危険性を低減するために臨床医の制御下にある器具に関する情報を臨床医に提供するためのシステム及び方法が必要である。

本発明の実施形態は、以下に続く特許請求の範囲に要約される。

１つの実施形態では、遠隔操作アセンブリが、オペレータ制御システム及び手術環境において医療器具の動きを制御するように構成される複数のマニピュレータを含む。マニピュレータは、オペレータ制御システムによって遠隔操作式に制御される。システムはさらに、手術環境の視野の画像を表示し、医療器具の遠位端部部分の位置を画像の座標空間に投影し、各医療器具の遠位端部分に関連付けられるバッジのための初期位置を決定し、その初期位置に基づいて各バッジのための表示要因を評価し、表示要因に基づいて画像の座標空間における各バッジのための最終的な表示位置を決定するように構成される、処理ユニットを含む。

他の実施形態では、手術環境の視野の画像が表示される。画像は、イメージング器具によって得られるとともに医療器具の遠位端の画像を含む。医療器具は遠隔操作アセンブリのマニピュレータに結合される。医療器具の遠位端の位置は画像の座標空間に投影され、医療器具の遠位端に関連付けられるバッジの初期位置が決定され、表示要因がそれらの初期位置に基づいて各バッジのために評価され、画像の座標空間における各バッジの最終的な表示位置がそれらの表示要因に基づいて決定される。

前述の一般的な説明及び以下の詳細な説明の両方は、本質的に例示的且つ説明的なものであり、本開示の範囲を限定することなく本開示の理解を提供することを意図していることが理解されるべきである。これに関して、本開示の追加の態様、特徴、及び利点は、以下の詳細な説明から当業者には明らかであろう。

本開示の態様は、添付の図面と併せて読まれるとき、以下の詳細な説明から最もよく理解される。業界の標準的な慣例に従って、さまざまな特徴は一定の縮尺で描かれていないことが強調される。実際、様々な特徴の寸法は、説明を明瞭にするために任意に増減されることがある。加えて、本開示は、様々な例において参照数字及び／又は文字を繰り返すことがある。この繰返しは、簡潔さ及び明瞭さを目的とするものであり、それ自体が議論された様々な実施形態及び／又は構成間の関係を規定するものではない。

本開示の実施形態による、遠隔操作医療システムの概略図である。 多くの実施形態による、遠隔操作医療システムのための外科医の制御コンソールの斜視図である。 多くの実施形態による、遠隔操作医療システムエレクトロニクスカートの斜視図である。 本明細書に記載された原理の１つの例による、患者側カートの斜視図である。 視野内で可視である少なくとも１つの医療器具とともに手術ワークスペースの視野を示し、器具は、それに関連付けられるとともに器具に関連する関連情報を含むバッジを有する。 遠隔操作医療システムを操作するための方法を示すフローチャートである。 図３Ｄに示される関連情報のバッジ配置に対応する入力制御装置及びユーザの手の位置を示す。 図３Ｅに示される関連情報のバッジ配置に対応する入力制御装置及びユーザの手の位置を示す。 図３Ｆに示される関連情報のバッジ配置に対応する入力制御装置及びユーザの手の位置を示す。 関連情報のバッジの周回軌道部分に関する様々な配置を示す。 関連情報のバッジの周回軌道部分に関する様々な配置を示す。 関連情報のバッジの周回軌道部分に関する様々な配置を示す。 関連付けられる器具がイメージング装置に向かって及びイメージング装置から離れる方に動くときの関連情報のバッジのサイズ変更挙動を示す。 関連付けられる器具がイメージング装置に向かって及びイメージング装置から離れる方に動くときの関連情報のバッジのサイズ変更挙動を示す。 関連付けられる器具が視界から遮られているとき関連情報のバッジがどのように可視のままであるかを示す。 関連付けられる器具が視界から遮られているとき関連情報のバッジがどのように可視のままであるかを示す。 医療器具がすぐ近くにあるときの関連情報のバッジの調整を示す。 医療器具がすぐ近くにあるときの関連情報のバッジの調整を示す。 関連付けられる医療器具が手術環境の画像の縁（edge）に近づくとき、及び医療器具が手術環境の画像の外側に動くときの関連情報のバッジの挙動を示す。 関連付けられる医療器具が手術環境の画像の縁（edge）に近づくとき、及び医療器具が手術環境の画像の外側に動くときの関連情報のバッジの挙動を示す。 関連付けられる医療器具が手術環境の画像の縁（edge）に近づくとき、及び医療器具が手術環境の画像の外側に動くときの関連情報のバッジの挙動を示す。 手術ワークスペースの視野の画像内でバッジをレンダリングする方法を示す。 図８のプロセスの詳細を示し、医療器具遠位端部分の場所が、手術ワークスペースの視野の画像の座標空間に投影される。 図８のプロセスの詳細を示し、バッジの潜在的な重なりがチェックされるとともに解決される。この場合、少なくとも２つの医療器具がある。 図８のプロセスの詳細を示し、バッジは、手術ワークスペースの視野の画像の可視空間に拘束される。

本開示の原理の理解を促進する目的のために、図面に示される実施形態がここで参照され、特定の言語がそれを記載するために用いられる。それにもかかわらず、本開示の範囲の限定は意図されていないことが理解されよう。本発明の形態の以下の詳細な記述において、数多くの特定の詳細が、開示された実施形態の網羅的な理解をもたらすために示される。しかし、この開示の実施形態は、これらの特定の詳細なしに実施され得ることは、当業者に明らかであろう。他の例では、本発明の実施形態の態様を不必要に曖昧にしないよう、良く知られた方法、手順、構成要素、及び回路は詳細に記載されていない。

本開示が関連する分野の当業者に通常想起されるように、記載された装置、器具、及び方法に対する任意の代替及び更なる変更、並びに、本開示の原理の任意の更なる適用が十分に考えられる。特に、１つの実施形態に対して記載される特徴、構成要素、及び／又はステップは、本開示の他の実施形態に対して記載される特徴、構成要素、及び／又はステップと組み合わせられ得ることが十分に考えられる。加えて、本明細書で提供される寸法は、特定の例のためであり、異なるサイズ、寸法、及び／又は比が本開示の概念を実現するために用いられ得ることが考えられる。不必要な説明の繰り返しを避けるために、１つの例示の実施形態に従って記載された１又は複数の構成要素又は動作は、他の例示の実施形態に適用可能であるとして使用されることができる又は省略されることができる。簡潔にするために、これらの組み合わせの多くの繰り返しは別個には記載されない。簡明さのために、幾つかの例において、同じ参照数字が、同じ又は同様の部品を示すために図面を通して使用される。

以下の実施形態は、３次元空間における状態の観点から、様々な器具及び器具の部分を説明する。本明細書で使用されるとき、用語「位置（position）」は、３次元空間（例えば、デカルトＸ、Ｙ、Ｚ座標に沿った並進３自由度）における対象物又は対象物の一部の場所を示す。本明細書で使用されるとき、用語「向き、配向（orientation）」は、対象物又は対象物の一部の回転配置（回転３自由度−例えば、ロール、ピッチ、及びヨー）を示す。本明細書で使用されるとき、用語「姿勢（pose）」は、少なくとも１つの並進自由度における対象物又は対象物の一部の位置、及び少なくとも１つの回転自由度における対象物又は対象物の一部の向き（合計６つの自由度まで）を示す。本明細書で使用される場合に、用語「形状（shape）」は、対象物に沿って測定された姿勢、位置、又は向きのセットを示す。

図面のうちの図１を参照すると、例えば、診断、治療、又は外科処置を含む医療処置での使用のための遠隔操作医療システムが、参照数字１０によって概して示されている。記載されるように、本開示の遠隔操作医療システムは、外科医の遠隔操作の制御下にある。代替実施形態では、遠隔操作医療システムは、処置又は下位処置（sub-procedure）を実行するようにプログラムされたコンピュータの部分的な制御下にあってよい。さらに他の代替実施形態では、処置又は下位処置を実行するようにプログラムされたコンピュータの完全な制御下の、完全に自動化された医療システムが、処置又は下位処置を実行するために使用されてよい。図１Ａに示されるように、遠隔操作医療システム１０は、概して、患者Ｐが位置する手術台Ｏに又は手術台Ｏの近くに取り付けられる遠隔操作アセンブリ１２を含む。遠隔操作アセンブリ１２は、患者側カートと称されてもよい。医療器具システム１４及び内視鏡イメージングシステム１５が遠隔操作アセンブリ１２に動作可能に結合される。オペレータ入力システム１６は、外科医又は他の種類の臨床医Ｓが手術部位の画像又は手術部位を表す画像を見ること並びに医療器具システム１４及び／又は内視鏡イメージングシステム１５の動作を制御することを可能にする。

オペレータ入力システム１６は、外科医のコンソールに置かれることができ、これは通常手術台Ｏと同じ部屋に位置する。しかし、外科医Ｓは患者Ｐと異なる部屋又は完全に異なる建物に位置し得ることが理解されるべきである。オペレータ入力システム１６は概して、医療器具システム１４を制御するための１又は複数の入力制御装置を含む。入力制御装置（複数可）は、ハンドグリップ、ジョイスティック、トラックボール、データグローブ、トリガ−ガン、手動操作コントローラ、音声認識装置、タッチスクリーン、ペダル、ボディモーション若しくは存在センサ、視線追跡装置等のような任意の数の様々な装置のうちの１又は複数を含み得る。幾つかの実施形態では、制御装置（複数可）は、テレプレゼンス、外科医が器具を手術部位に存在するかのように直接的に制御する強い感覚を有するよう制御装置（複数可）が器具と一体化されるような知覚を外科医に提供するために、遠隔操作アセンブリの医療器具と同じ自由度を備える。他の実施形態では、制御装置（複数可）は、関連付けられる医療器具より多い又は少ない自由度を有し得るとともに、依然としてテレプレゼンスを外科医に提供し得る。幾つかの実施形態では、制御装置（複数可）は、６自由度で動く手動入力装置であり、（例えば、把持ジョーを閉じる、電位を電極に印加する、薬物療法を送達する等のための）器具を作動させるための作動可能ハンドルも含み得る。

遠隔操作アセンブリ１２は、医療器具システム１４を支持し且つ操作する一方、外科医Ｓはコンソール１６を通して手術部位を見る。手術部位の画像は、内視鏡１５を方向合わせするために遠隔操作アセンブリ１２によって操作されることができる、立体内視鏡のような、内視鏡イメージングシステム１５によって取得されることができる。オプションで、エレクトロニクスカート１８が、外科医のコンソール１６を通した外科医Ｓへの後の表示のために、手術部位の画像を処理するために使用されることができる。一度に使用される医療器具システム１４の数は一般に、診断又は外科処置及びとりわけ手術室内の空間的制約に依存する。遠隔操作アセンブリ１２は、１又は複数の非サーボ制御リンク（例えば、所定の位置に手動で位置決めされ且つロックされ得る１又は複数のリンク、一般的にセットアップ構造と呼ばれる）及び遠隔操作マニピュレータを含み得る。遠隔操作アセンブリ１２は、医療器具システム１４上で入力を駆動する複数のモータを含む。これらのモータは、制御システム（例えば、制御システム２０）からのコマンドに応答して動く。モータは、医療器具システム１４に結合されるとき、自然の又は外科的に作成された解剖学的構造のオリフィス内に医療器具を前進させ得る駆動システムを含む。他のモータ駆動システムは、医療器具の遠位端を多自由度で動かすことができ、この多自由度は、３自由度の直線運動（例えば、Ｘ，Ｙ，Ｚデカルト座標軸に沿った直線運動）及び３自由度の回転運動（例えば、Ｘ，Ｙ，Ｚデカルト座標軸回りの回転）を含むことができる。さらに、モータは、生検装置等のジョーで組織を把持するための器具の関節動作可能なエンドエフェクタを作動させるために使用されることができる。

遠隔操作医療システム１０は、制御システム２０も含む。制御システム２０は、医療器具システム１４、オペレータ入力システム１６、及びエレクトロニクスシステム１８の間で制御を行うための、少なくとも１つのプロセッサ（図示せず）、典型的には複数のプロセッサ及び少なくとも１つのメモリを含む。制御システム２０は、本明細書に開示される態様に従って記載される方法の幾つか又は全てを実装するプログラムされた指令（例えば、指令を格納するコンピュータ可読媒体）も含む。制御システム２０は図１Ａの単純化された概略図に単一のブロックとして示されているが、このシステムは、処理の一部が、オプションで、遠隔操作アセンブリ１２で又はこれに隣接して実行され、処理の他の部分が、オペレータ入力システム１６等で実行される、２以上のデータ処理回路を含み得る。多種多様な集中型又は分散型データ処理アーキテクチャのいずれかが用いられ得る。同様に、プログラムされた指令は、多数の別々のプログラム又はサブルーチンとして実装され得る、又はそれらは、本明細書に記載される遠隔操作システムの多数の他の態様に組み込まれ得る。１つの実施形態では、制御システム２０は、ブルートゥース（登録商標）、ＩｒＤＡ、ホームＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ、及び無線テレメトリのような無線通信プロトコルをサポートする。

幾つかの実施形態では、制御システム２０は、医療器具システム１４からフォース（力）フィードバック及び／又はトルクフィードバックを受ける１又は複数のサーボコントローラを含み得る。フィードバックに応じて、サーボコントローラは、オペレータ入力システム１６に信号を送信する。サーボコントローラ（複数可）はまた、患者の体の開口部を介して患者の体内の内部手術部位内に延びる医療器具システム（複数可）１４及び／又は内視鏡イメージングシステム１５を移動させるよう遠隔操作アセンブリ１２に命令する信号を送信し得る。任意の適切な従来の又は専用のサーボコントローラが使用され得る。サーボコントローラは、遠隔操作アセンブリ１２から分離され得る、又は遠隔操作アセンブリ１２と一体にされ得る。幾つかの実施形態では、サーボコントローラ及び遠隔操作アセンブリは、患者の体に隣接して位置決めされる遠隔操作アームカートの一部として設けられる。

遠隔操作医療システム１０は、照明システム、操向（操縦（steering））制御システム、洗浄システム、及び／又は吸引システムのようなオプションのオペレーション及びサポートシステム（図示せず）をさらに含み得る。代替実施形態では、遠隔操作システムは、複数の遠隔操作アセンブリ及び／又は複数のオペレータ入力システムを含み得る。マニピュレータアセンブリの正確な数は、とりわけ、外科処置及び手術室内の空間的制約に依存する。オペレータ入力システムは併置され得る、又はそれらは別々の位置に配置され得る。複数のオペレータ入力システムは、複数のオペレータが１又は複数のマニピュレータアセンブリを種々の組合せで制御することを可能にする。

図１Ｂは、外科医のコンソール１６の斜視図である。外科医のコンソール１６は、奥行き知覚を可能にする手術部位の調整された立体視（coordinated stereo view）を外科医Ｓに提示するための左目ディスプレイ３２及び右目ディスプレイ３４を含む。コンソール１６はさらに、１又は複数の入力制御装置３６を含み、これは、遠隔操作アセンブリ１２に１又は複数の器具又は内視鏡イメージングシステムを操作させる。入力制御装置３６は、外科医Ｓにテレプレゼンス、又は、外科医が器具１４を直接的に制御する強い感覚を有するように入力制御装置３６が器具１４と一体であるという認識を提供するために、それらの関連付けられる器具１４と同じ自由度を提供することができる。この目的のために、位置、力、及び触覚フィードバックセンサ（図示せず）が、器具１４から入力制御装置３６を通して外科医の手に戻る位置、力、及び触覚の知覚を伝達するために用いられ得る。

図１Ｃは、エレクトロニクスカート１８の斜視図である。エレクトロニクスカート１８は、内視鏡１５と結合することができ、外科医のコンソール上の、又はローカルに及び／又はリモートに位置する他の適切なディスプレイ上での外科医への、後の表示のためにキャプチャされた（取り込まれた）画像を処理するプロセッサを含むことができる。例えば、立体内視鏡が使用される場合、エレクトロニクスカート１８は、外科医に手術部位の調整された立体画像（coordinated stereo images）を提示するようキャプチャされた画像を処理することができる。このような調整は、対向する画像間の位置合わせを含むことができ、立体内視鏡の立体作動距離を調整することを含むことができる。別の例として、画像処理は、光学収差のような、画像キャプチャ装置のイメージングエラー（imaging errors）を補償するために事前に決定されたカメラ較正パラメータの使用を含むことができる。エレクトロニクスカート１８はまた、ディスプレイモニタ及び制御システム２０の構成要素を含み得る。

図１Ｄは、患者側カートと称され得る遠隔操作アセンブリ１２の一実施形態の斜視図である。示された患者側カート１２は、３つの手術ツール２６ａ、２６ｂ、２６ｃ（例えば、器具システム１４）及び、処置の部位の画像のキャプチャのために使用される立体内視鏡のような、イメージング装置２８（例えば、内視鏡イメージングシステム１５）の操作を提供する。イメージング装置は、信号をケーブル５６を介してエレクトロニクスカート１８に送信し得る。操作は、多数のジョイントを有する遠隔操作機構によって提供される。イメージング装置２８及び手術ツール２６ａ、２６ｂ、２６ｃは、切開部のサイズを最小にするために、運動学的遠隔中心（kinematic remote center）が切開部に維持されるように、患者の切開部を通って位置決めされ且つ操作されることができる。手術部位の画像は、手術ツール２６の遠位端がイメージング装置２８の視野内に位置するとき、手術ツール２６の遠位端の画像を含むことができる。遠隔操作アセンブリ１２は、ワールド座標系又はフレームＦ_ｗに置かれる。各医療器具２６ａ、２６ｂ、２６ｃの遠位先端は、それぞれの器具座標系又はフレームＦ_Ｉを定める。イメージング装置２８の遠位先端は、座標系又はフレームＦ_Ｅを定める。

患者側カート１２は、駆動可能なベース部５８を含む。駆動可能なベース部５８は、伸縮式コラム５７に接続され、これは、アーム５４ａ、５４ｂ、５４ｃ、及び５４ｄの高さの調節を可能にする。アーム５４ａは、「アーム１」として、手術環境において知られ得る及び／又は標識され得る。アーム５４ｂは、「アーム２」として、手術環境において知られ得る及び／又は標識され得る。アーム５４ｃは、「アーム３」として、手術環境において知られ得る及び／又は標識され得る。アーム５４ｄは、「アーム４」として、手術環境において知られ得る及び／又は標識され得る。アーム５４ａは、回転及び上下動両方をする回転ジョイント５５を含み得る。アーム５４ａは、マニピュレータアーム部５１に接続する。マニピュレータアーム部５１は、マニピュレータスパー（manipulator spar）５９を介して医療器具２６ａに直接的に接続し得る。他のアーム５４ｂ、５４ｃ、５４ｄの各々は、アーム５４ａと同様の構成を有し得る。アーム５４ａ、５４ｂ、５４ｃ、５４ｄの各々は、配向プラットフォーム５３に接続され得る。配向プラットフォーム５３は、３６０度の回転が可能であり得る。患者側カート１２はまた、配向プラットフォーム５３を水平方向に移動させる伸縮式水平カンチレバー５２を含み得る。マニピュレータアーム部５１は、遠隔操作可能であり得る。アーム５４ａ、５４ｂ、５４ｃ、５４ｄは、遠隔操作可能であっても、そうでなくてもよい。アーム５４が遠隔操作可能ではないがマニピュレータアームである実施形態では、外科医がシステム１０で手術を開始する前に、アーム５４は要望通りに位置決めされる。アーム５４（及び関連するマニピュレータアーム部５１）は、例示目的のために単一の患者側カート１２の一部として図示され説明されているが、様々な他の実施形態では、アーム５４及び／又はマニピュレータアーム部５１（又は追加のアーム５４及び／又はマニピュレータアーム部５１）は、別個の構造（例えば、別個のテーブル取り付け、天井取り付け、及び／又は床取り付けアーム）であることができる。

内視鏡イメージングシステム（例えば、システム１５、２８）は、硬性又は軟性内視鏡を含む様々な構成で提供され得る。硬性内視鏡は、内視鏡の遠位端から近位端に画像を伝達するためのリレーレンズシステム（relay lens system）を収容する硬質（rigid）チューブを含む。軟性内視鏡は、１又は複数の可撓性光ファイバを使用して画像を送信する。内視鏡は、前方軸方向を見る（forward axial viewing）ための０°の視野角（viewing angle）又は前方斜めを見るための０°から９０°の間の視野角を含む異なる視野角を備え得る。デジタル画像ベースの内視鏡は、１又は複数の電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）デバイスのような遠位デジタルセンサが画像データを記憶する「先端上のチップ（chip on the tip）」設計を有する。内視鏡イメージングシステムは、二次元又は三次元画像を観察者に提供し得る。二次元画像は、限られた奥行き知覚（depth perception）を提供し得る。三次元立体内視鏡画像は、より正確な奥行き知覚を観察者に提供し得る。立体内視鏡器具は、カメラの視野内の患者の解剖学的構造の立体画像をキャプチャするためにステレオカメラを使用する。

イメージングシステムの視野の立体画像は、目のディスプレイ３２、３４を通して臨床医が見ることができる。患者の組織に加えて、視野は、医療器具の遠位端および外科処置を行うのに使用される任意の付属品（accessories）も含み得る。この処置を実行するために、臨床医は、視野内の器具と、制御コンソールからその器具を制御する入力制御装置との間の関連付け（association）を認識する。臨床医は、例えば、英数字のテキスト、記号、又は見られる画像の周辺に位置する他の情報を参照することによって、この関連付けを行い得る。しかし、この情報を見るために、臨床医の焦点は、ディスプレイの中心部分及び器具の遠位先端から離れて画像の周辺に移動しなければならない。あるいは、臨床医は、入力制御装置を移動させるとともに画像内の対応する器具の動きを観察することによって関連付けを行い得る。これは、時間がかかり且つ外科処置の流れを妨害することがある。臨床医が入力制御装置３６を視野内に見える器具と関連付けるのを助けるために、入力制御装置に関する情報は、グラフィック形式で提示され得るとともにそれが制御する器具と同じ場所に配置され（co-located）得る。関連付け情報を器具と同じ場所に配置することは、臨床医が、関心のある手術領域に焦点を維持しながら、制御装置を器具と迅速に関連付けることを可能にする。

図２Ａは、患者Ｐ内の手術環境２００を示す。イメージング器具（例えば、イメージング器具２８）が、手術環境２００内のイメージング器具の視野の画像２０２を表示するために使用される。画像２０２は、立体内視鏡によって得られるとともに右目及び左目ディスプレイを介してユーザに見える画像の合成画像として生成される三次元画像であり得る。視野は、器具２６ａの遠位端部分、器具２６ｂの遠位端部分、及び器具２６ｃの遠位端部分を含む。画像２０２はまた、臨床医への指示、警告、器具識別情報、状態情報、又は手術に関連する他の情報を含み得る画像の周辺に位置する情報フィールド２０４を含む。システム１０を使用して手術を行う臨床医を助けるために、様々な情報が画像２０２上に重ね合わされる。この実施形態では、バッジ（badge）２０６が、器具が結合されるアーム５４ｂ（例えば、アーム「３」）の数値識別子（numerical identifier）のような、医療器具２６ｂに関連する関連情報を含む。バッジ２０６は、臨床医が医療器具２６ｂに関する関連情報を容易に知ることができるように、医療器具２０４に近接して表示される。幾つかの実施形態では、バッジは、医療器具のタイプ、医療器具の状態（例えば、焼灼器の充電／準備）などを含む関連情報も含み得る。バッジ２０６を作成して表示する方法は、図８乃至１１を参照して以下でさらに詳細に説明される。様々な実施形態において、バッジは、円形、楕円形、正方形又は任意の適切な形状であってもよい。様々な実施形態では、バッジは、バッジを特定する又は互いに識別するために、色、輪郭、形状、又は他の特徴を有し得る。

視野内で可視である医療器具２６ｂの遠位端部分は、エンドエフェクタ先端２０８、シャフト２１０、及びシャフトとエンドエフェクタ先端との間のジョイント領域（joint region）２１２を含む。幾つかの実施形態では、バッジ２０６の配置のためのデフォルト位置（default location）は、ジョイント領域２１２の上に重ね合わされる。他の実施形態では、バッジ２０６の配置のためのデフォルト位置は、エンドエフェクタ先端２０８又はシャフト２１０上であり得る。他の実施形態では、バッジ２０６は、遠位端部分に隣接して表示される。バッジのデフォルト位置は、視野内の医療器具２６ｂの遠位端部分のサイズに依存し得る。例えば、画像が密接にズームインされ（例えば、図３Ｆ）、エンドエフェクタが画像の大部分を占める場合、バッジは、エンドエフェクタジョーの遠位端における視界を妨げることなしに、エンドエフェクタジョーのうちの１つの近位部分に配置され得る。しかし、画像がズームアウトされ、エンドエフェクタジョーが画像内で比較的小さい場合、バッジは、ジョーを隠すのを避けるために、ジョイント領域又はシャフト上に配置され得る。バッジ２０６の配置は、臨床医が、器具及び器具によって操作される組織に焦点を当てたまま、関連情報を受け取ることを可能にする。バッジ２０６の配置はまた、臨床医によって観察される必要がある視野内の物（objects）を隠すことを回避する。

幾つかの実施形態では、バッジ２０６は、中心部分２１４並びに周回軌道部分（orbiting portion）２１６を有する。中心部分２１４及び周回軌道部分２１６は、異なる関連情報を含み得る。例えば、図２に示されるように、中心部分２１４は、医療器具２６ｂが取り付けられるアーム５４ｂ（例えばアーム「３」）を示す番号を含む。様々な実施形態では、周回軌道部分２１６は、医療器具２６ｂを制御するために臨床医によって使用される制御装置に関連する関連情報を含む。この関連情報は、例えば、右（例えば、「Ｒ」）又は左（例えば「Ｌ」）手動（hand-operated）入力装置が、バッジ２０６が関連付けられている医療器具２６ｂを現在制御しているかどうかの表示であり得る。

バッジ２０６の周回軌道部分２１６は、バッジの中心部分２１４に対して円周方向に動き得る。周回軌道部分２１６の円周方向の位置は、制御装置の回転位置を示し、制御装置上の手がそれらが制御している医療装置２６ｂに対してどこに位置しているかを臨床医に知らせる。周回軌道部分２１６の機能は、図３Ａ−３Ｆにより詳細に示される。

バッジ２０７は、器具２６ａに近接して配置され、バッジ２０６と同様の特徴及び属性を有する。バッジ２０７は、器具が結合されるアーム５４ａ（例えば、アーム「１」）の数値識別子のような、医療器具２６ａに関連する関連情報を含む。この実施形態及び手術のこの段階では、器具２６ｃは、現在、入力制御装置の制御下にない。したがって、バッジは器具２６ｃの近くに配置されていない。代替の実施形態では、アーム５４ｃ（例えば、アーム「４」）の数値識別子を示すバッジ情報が器具２６ｃのために提供され得るが、器具が現在入力装置の制御下にないという事実は、色、シンボル、又は他の表示によって示される。

図２Ｂは、手術を実行する遠隔操作システムを操作する方法１００を示す。プロセス１０２において、方法は、手術環境の視野の画像２０２を表示するステップを含む。プロセス１０４において、手術環境における医療器具２６ａの位置が決定される。プロセス１０６において、医療器具２６ａに関する関連情報が決定される。関連情報は、医療器具２６ａが結合される遠隔操作マニピュレータに関する及び／又は医療器具を制御するオペレータ入力制御部に関する情報を含む。プロセス１０８において、バッジが、視野の画像２０２内の医療器具２６ａの画像の近くに表示される。バッジは関連情報を含む。

図３Ａ−３Ｃは、入力制御装置３０２（すなわち、入力制御装置３６）を制御する臨床医の右手３００を示す。入力制御装置３０２は、医療器具２６ｃを制御する。図３Ａに示されるように、臨床医の視点からは、入力制御装置３０２は右に向かって延びている。手のアイデンティティ（右又は左）及び手の向きを含む手関連情報が、バッジを介して臨床医に伝えられ得る。この制御関連情報は人間の手の見地から説明されているが、フットペダル、視線トラッカー、音声コマンド、又は他の臨床医の制御によって制御が供給されるところでは、同様の関連情報が提供され得る。図３Ｄに示されるように、図３Ａの制御装置３０２に関する手関連情報は、バッジの中心部分２２０に対してバッジ２１８の周回軌道部分２２２を右（例えば、約３時の位置）に向けることによって、画像２０２内で臨床医に視覚的に伝えられる。周回軌道部分２２２は、右手制御装置３０２が医療装置２６ｃを制御するために使用されていることを示す「Ｒ」を表示する。図３Ｂに示されるように、臨床医の視点からは、入力制御装置は、図３Ａの位置から約９０度上方に延びている。図３Ｅに示されるように、図３Ｂの制御装置３０２に関するこの配向情報（orientation information）は、バッジの中心部分２２０に対してバッジ２１８の周回軌道部分２２２を上方（例えば、約１２時の位置）に向けることによって、画像２０２内で臨床医に視覚的に伝達される。図３Ｃに示されるように、臨床医の視点からは、入力制御装置は、図３Ａの位置から約９０度下方に延びている。図３Ｆに示されるように、図３Ｃの制御装置３０２に関するこの配向情報は、バッジの中心部分２２０に対してバッジ２１８の周回軌道部分２２２を下方（例えば、約６時の位置）に向けることによって、画像２０２内で臨床医に視覚的に伝達される。

幾つかの代替の実施形態では、手関連情報は、手のイラスト又は３Ｄモデルとして提供され得る。イラスト又はモデルは、左手又は右手制御装置が関連付けられる医療装置を制御するために使用されているかどうかにしたがって、左手又は右手を描く。図３Ｄ−３Ｆの周回軌道部分２２２と同様に、制御装置の向きが変わると、イラスト又はモデルの位置は、それにしたがって、制御装置の新しい向き（配向）に関する情報を視覚的に臨床医に伝達するように、変化する。本開示におけるバッジのいずれかについて記載される特性及び特徴は、本開示における他のバッジのいずれにも適用され得る。

ここで図４Ａ及び図４Ｂを参照すると、イメージング装置が手術環境内で移動される又はズームされるときのバッジ２０６のさらなる挙動が示されている。図４Ａに示されるように、イメージング器具は、医療器具２６ａ、２６ｂ、２６ｃに向かって移動又はズームインされる。医療器具２６ａ、２６ｂ、２６ｃが視界及び画像２０２においてより大きく現れると、バッジ２０６、２０７は、より大きくなり、それらが器具の遠位端部分と同じ視野内の遠位の深さに位置しているかのように見えるようにサイズが変化する。図４Ｂでは、イメージング器具が医療器具２６ａ、２６ｂ、２６ｃからさらに離れて移動又はズームアウトされると、バッジ２０６、２０７はより小さくなり、まるでそれらが器具の遠位端部分と同じ視野内の深さに位置しているかのように見えるように再び変化する。幾つかの実施形態では、それらが読み取り不能にならないように、バッジ２０６、２０７の最大サイズと最小サイズに限界がある。バッジの位置及びサイズについてのさらなる詳細は、図８−１１に対する説明で以下に提供される。バッジ２０６、２０７のサイズは、医療器具２６ａ、２６ｂとイメージング装置との間の距離のような追加の情報を臨床医に与えることもできる。これは、異なるタイプの医療器具はサイズが様々であり、イメージング装置に近い小さい器具が、イメージング装置から遠く離れた大きい器具と同じサイズに見えることがあるため、有用であり得る。

バッジ２０６、２０７は、画像２０２に重ね合わされているので、医療器具２６ａ、２６ｂの視界が組織、他の器具などによって遮られていても、ディスプレイ上に現れ得る。図５Ａに示されるように、関連付けられる器具２６ｂが組織の後ろに隠れている場合でも、バッジ２０６は見えるままである。視野内で視認可能な他の器具２６ａ、２６ｃよりも実質的にオフセットされるとともに見かけのサイズ及び深さが異なるバッジ２０６の存在は、バッジに関連付けられる器具２６ｂが遮蔽され（occluded）ていることを臨床医に示す。バッジ２０６は、遮蔽された器具２６ｂが図５Ｂに示されるように見つけ出されることを可能にする。図５Ｂでは、組織が移動され、バッジ２０６が取り付けられた医療器具２６ｂは視野内で視認可能になっている。

遠隔操作医療システム１０は、各器具に対して複数の動作状態を有し得る。これらは、臨床医が医療器具を能動的に制御しているように医療器具が入力制御装置の制御下にあるアクティブ状態を含み得る。関与解除状態（disengaged state）では、医療器具は入力制御装置の制御下になく、静止したままであり、結合されているマニピュレータアームによって定位置にロックされる。システムはまた、ユーザが関連付けられる入力制御装置を介して医療器具と関与する（engage）又は医療器具を制御することを促す関与状態（engagement state）を有し得る。幾つかの実施形態では、遠隔操作医療システムが特定の器具に対して関与状態にあるとき、バッジが表示される。例えば、図４Ａでは、器具２６ａ及び２６ｂは、ユーザが左（「Ｌ」）入力制御装置でアーム１上の器具２６ａを制御するとともに右（「Ｒ」）入力制御装置でアーム３上の器具２６ｂを制御するようバッジ情報によって促される関与状態にある。器具２６ｃは関与解除状態にあるので、バッジはその器具のために提示されない。アクティブ状態の間、バッジは画像内に見えるままであってよい又は臨床医の気が散ることを避けるために除去されてもよい。関与状態においてバッジを提示することは、臨床医が、医療器具のいずれかを制御する前に視野２０２内の各器具の関連情報及び位置を認識することを可能にする。例えば、バッジの位置は、器具を制御する前に、医療器具が組織によって視界から遮られているかどうかを判断するために使用され得る。加えて、バッジの中に含まれる関連情報は、臨床医に、所望の処置を実行するためにどの医療器具を制御するかを選択することを可能にする情報を与えることができる。さらに、バッジの周回軌道部分によって与えられる情報は、制御を行う前に、医療器具の向きに位置を合致させるように入力制御装置をどのように配置するかを臨床医に伝え得る。幾つかの実施形態では、システムは、関与からアクティブへの状態の変化を許容する前に、臨床医がこの位置に合致させることを必要とし得る。

ここで図６Ａ−６Ｂを参照すると、視野内で視認可能な医療器具２６ａの遠位端部分は、エンドエフェクタ先端２３０、シャフト２３２、及びシャフトとエンドエフェクタ先端との間のジョイント領域２３４を含む。視野内で視認可能な医療器具２６ｃの遠位端部分は、エンドエフェクタ先端２４０、シャフト２４２、及びシャフトとエンドエフェクタ先端との間のジョイント領域２４４を含む。図６Ａに示され且つ以前に記載されたように、バッジ２０７の配置のためのデフォルト位置は、ジョイント領域２３４の上に重ね合わされる。バッジ２１８の配置のためのデフォルト位置は、ジョイント領域２４４の上に重ね合わされる。図６Ａでは、器具遠位端部分は、互いに離間され且つ容易に区別可能であり、したがって、バッジ２０７及び２１８は、明確に読み取り可能であり且つ医療器具２６ａ及び２８ｃそれぞれに容易に関連付けられる。図６Ｂは、器具２６ａ及び２６ｃの遠位端部分が画像２０２において重なり合っている又は非常に近接している場合を示す。デフォルト位置にとどまることが許される場合、バッジ２０７、２１８は、１より多い器具の上に重なり合う又は隣接して又は重ね合わされて見えるので、臨床医に混乱をもたらす。図６Ｂに示されるように、この問題を改善するために、バッジ２０７は、ジョイント領域２３４の遠位端近くのデフォルト位置から、器具２６ａの長手方向軸Ａ１に沿ってシフト距離（shift distance）移動される。この実施形態では、バッジ２０７は、器具２６ａのシャフト２３２の遠位端に再配置される。同様に、バッジ２１８は、ジョイント領域２４４の遠位端近くのデフォルト位置から、器具２６ｃの長手方向軸Ａ２に沿ってシフト距離移動される。この実施形態では、バッジ２１８は、器具２６ｃのシャフト２４２の遠位端に再配置される。シフト距離は、アーム及びスパーに結合された器具の較正された運動学的モデルに対するバッジの位置に対応してもよく、及び／又は視野２０２内の器具遠位端部分のサイズに対応してもよい。例えば、較正された運動学的モデル（例えば、マニピュレータのジョイント位置、運動センサ（kinematic sensors）、運動学的チェーン（kinematic chain）における構成要素のサイズに基づく）は、手術環境における器具２６ａのジョイント領域２３４の位置及び向きを提供する。不確実因子（uncertainty factors）が、運動学的モデルにおける不確実性に起因するジョイント領域２３４の決定された位置配向に関連付けられる。運動学的モデル、視野内の全ての器具の運動学的不確実因子、及びバッジのデフォルト位置に基づいて、遠隔操作システムは、バッジが重なり合っているか又はバッジがデフォルト位置に残っている場合に臨床医にあいまいさを生じるように互いに十分近いかどうかを示す近接因子（proximity factor）（例えば、中心間又はエッジ間距離、重なりのパーセンテージ）を決定し得る。近接因子が所定の干渉距離未満である場合、バッジは、近接因子を所定の干渉距離より上に上げるように必要に応じて調整される。例えば、幾つかの実施形態では、バッジは、少なくとも最小シフト距離だけ、器具の軸に沿って又は軸を横切って移動されることができる。他の実施形態では、バッジは、依然として所望の情報コンテンツを提供しながら、許容可能な干渉距離を維持するように、サイズ変更又は再形成されることができる。この方法では、バッジ２０７、２１８は、それぞれの医療器具２６ａ、２６ｃと明確に関連付けられたままであり、また、明確に読み取り可能なままである。

ここで図７Ａ−７Ｃを参照すると、関連情報を有するバッジは、医療器具が視野の画像２０２の境界に近づくとき又は画像２０２の外に移動するときに特に有用であり得る。図７Ａは、手術環境２００におけるイメージング器具の視野の表示画像２０２を示す。表示画像は境界７００を有する。医療器具２６ｃの遠位端部分、特にエンドエフェクタ先端２４０は、境界７００内にあり、表示画像２０２内で見える。器具２６ｃがイメージング器具の視野の内側にあるか外側にあるかの決定は、エンドエフェクタ先端２４０の計算された位置に基づき得る。遠隔操作システム、器具、及び／又はイメージングシステムに関連する小さな誤差要因のために、イメージング器具に対するチップ２４０の位置の決定は、関連する累積誤差要因（cumulative error factor）を含む。臨床医に偽陽性視野外インジケータ（false-positive out-of-view indicators）を提供することを避けるために、器具先端がイメージングシステム視界の外にあるかどうかの決定は、遠位先端の可能な位置の範囲を推定し、推定された遠位先端の可能な位置のいずれか又は指定されたパーセンテージが視野内にある場合に視野外インジケータを抑制することによって、バイアスをかけられ（biased）得る。バイアス（bias）の感度は、偽陽性視野外インジケータに対する臨床医の許容度（tolerance）に基づいて調整され得る。誤差境界ボリューム（error bounding volumes）７０２のセットが先端２４０に関連付けられる。境界ボリューム７０２は、画像２０２に図形的に表示されることができ又は表示されずに先端２４０に関連付けられることができる。誤差境界ボリュームは、先端部分の遠位端及び近位端の予測される位置を、９０−９９％のような高い確度内に表し得る。誤差境界ボリューム７０２は、器具２６ｃの先端２４０の予測される位置を表す。誤差計算及び境界ボリュームのさらなる説明は、“Systems and methods for offscreen indication of instruments in a teleoperational medical system”を開示する２０１４年３月１７日に出願された、米国仮出願第６１／９５４４４２号に提供され、これは参照によりその全体が本明細書に援用される。

図７Ａに示されるように、境界ボリューム７０２は、境界７００によって境界を作られる視野内にある。境界ボリューム７０２は、画像２０２内にレンダリングされてもレンダリングされなくてもよいが、それらが表示されているかどうかに関係なく、境界に対するそれらの位置はシステムによって決定され得る。医療器具２６ｃはディスプレイ内で可視であり且つ境界ボリュームは境界７００内にあるので、バッジ２１８はそれに応じて視野の画像２０２上に表示される。視認性及び可読性を維持するために、バッジ２０６が取り付けられている器具２６ｃの遠位端部分が、ここに示されるように、部分的に境界７００の外側にある場合であっても、バッジ２１８は境界７００の完全に内側に留まる。これは、臨床医が医療器具２６ｃを、たとえそれが画像２０２内でほとんど見えないとしても、明確に配置することを可能にする。図７Ｂでは、医療器具２６ｃは、表示画像２０２内に見えない。幾つかの実施形態では、関連付けられた医療器具２６ｃが画像２０２内に見えないとき、システムはバッジ２１８の表示を終了し得る。医療器具２０４は、臨床医の視野内で可視であることなしに遠隔操作で制御され得るので、視野の外での器具の不慮の動きは、安全上の危険をもたらす。加えて、臨床医は、視野の外に位置する器具を見失う（lose track）ことがある。これらのリスクを最小限に抑えるために、視野外器具インジケータが、視野内に可視でない器具の位置の臨床医の認識を高めるために、視覚的又は聴覚的に提示され得る。しかし、図７Ｂでは、医療器具２６ｃに対する境界ボリューム７０２は、境界７００内にあり、境界７００に対する先端２４０の位置が不確かであることを示している。したがって、境界ボリューム７０２が境界７００内にとどまるが、バッジ２１８は、画像２０２が先端２４０を含むように見えなくても、画像２０２上に留まる。

医療器具２０４が境界７００の外側に十分遠く境界ボリューム７０２も境界の外側になると、視野外器具インジケータ７０４が、図７Ｃに示されるように、医療器具２６ｃがインジケータの一般的な方向に視野外に配置されていることを示すために、視野の画像２０２の境界７００に沿って、提供される。この実施形態では、インジケータ７０４はグラフィックバーであるが、他の実施形態では、一連のドット、又はアイコン、英数字インジケータであってよい。視覚インジケータ７０４に加えて又は視覚インジケータ７０４に代えて、ビープ音や言語ベースの命令のような可聴視野外インジケータが、医療器具２０４が視野外にあることを臨床医に警告し得る。可聴キュー（audible cue）は、視野に対する器具位置を強化するために外科医のコンソールの左スピーカーと右スピーカーとの間をパン（pan）し得る。代替的には、可聴キューは、器具に関連付けられる左手制御又は右手制御に対応して、左又は右スピーカーから放射され得る。視覚インジケータ７０４に加えて又は視覚インジケータ７０４に代えて、視野外器具に関連するテキスト情報７０６が、臨床医に警告するために及び／又は器具に関する識別情報若しくは器具を視覚化するための指示を提供するために提供され得る。様々な実施形態では、視野外インジケータ７０４は、バッジ２１８と相互排他的である。バッジ２１８が表示されるとき、視野外インジケータ７０４は表示されず、逆も同様である。これは、臨床医に医療器具２６ｃの場所の絶えず続く知識（constant knowledge）を提供する。

様々な実施形態では、視野外指標の使用は、臨床医に気を散らすことになることを避けるために制限されてよい。視野外インジケータの使用は、視野外インジケータが遠隔操作システムの特定の動作状態の間にのみ表示されるように、状況に応じ（context-sensitive）得る。例えば、視野外インジケータは、オペレータがイメージングシステムの動きを制御するシステムの状態の間に表示されることができ、その状態はカメラ制御状態として知られ得る。別の例として、視界外インジケータは、システムが関与解除状態として上述された、器具の動きを制御するようオペレータからの入力を待っている間に表示され得る。別の例として、視野外インジケータは、オペレータが、関与状態として上述された器具の動きを制御するシステムの状態を開始した後、数秒間表示され得る。さらに他の代替的な実施形態では、視野外インジケータは、無効にされ得る、又は、臨床医が視野外器具の位置を知りたいときに、選択的に有効にされ得る。幾つかの実施形態では、臨床医は、視野外器具の操作が可能にされる前に、器具先端が視野の外側にあるという確認を備えなければならない。エネルギ放出デバイス、鋭利なデバイス、又は視覚化せずに使用すると患者のリスクが増大する装置に対して、追加の警告又は確認が使用され得る。視野外インジケータシステムのさらなる説明は、米国仮出願第６１／９５４４４２号に提供され、これは参照により援用される。

上述のように、バッジは、それらが関連付けられている器具遠位端の画像に対応するように配置され且つサイズ決定され得る。図８−１１は、この物理的対応を保持するためのさらなる詳細を提供する。図８は、画像２０２内にバッジをレンダリングする方法８００を示す。プロセス８０２において、医療器具の遠位端部分の位置が画像２０２の座標空間に投影される。図９は、プロセス８０２を実行する方法９００を示す。プロセス９０２において、遠隔操作アセンブリの順運動学が、ワールド座標系（例えば、手術環境座標空間Ｆ_Ｗ）内の（イメージング装置を含む）医療器具の位置及び向きを決定するために評価される。より具体的には、各医療器具のリンク及び遠隔操作マニピュレータのそれぞれのセットに関連付けられる運動学が、ワールド座標系で決定される。ワールド座標系は、遠隔操作システムが位置する手術環境を参照して確立されるデカルト座標のセットである。

プロセス９０４において、（例えば、器具座標空間Ｆ_Ｉにおける）各医療器具の遠位端部分の位置及び向きは、内視鏡座標系（例えば、イメージング装置座標空間Ｆ_Ｅ）にマッピングされる。内視鏡座標系は、内視鏡の遠位先端におけるその原点により確立されるデカルト座標のセットである。プロセス９０２で決定されるように、内視鏡の順運動学及び各医療器具の順運動学をワールド座標系で使用することにより、内視鏡先端位置及び向きに対する医療器具の遠位端位置及び向きが内視鏡座標系で計算され得る。一般に、バッジのデフォルト位置は、医療器具の運動学的エンドポイント（kinematic endpoint）又はその近傍であってよい。

プロセス９０６において、較正されたカメラモデルが内視鏡について得られる。較正されたカメラモデルは、内視鏡座標空間から右及び左目画像座標空間へのマッピングである。１つの実施形態では、マッピングは一連の３つの変換で達成される。第１に、モデルビュー変換（modelview transform）が、内視鏡座標空間（内視鏡の遠位端にある）から内視鏡に関する目の座標空間にマッピングし、イメージングシステムにおける立体カメラの眼間間隔（interocular separation）及び座標系の規定（coordinate system conventions）違いを説明する。第２に、透視投影変換が、目の座標空間から正規化された座標（例えば、−１、＋１）にマッピングし、内視鏡の視野及び収束距離（convergence distance）の観点を説明する。第３に、ビューポート境界変換（viewport bounds transform）が、正規化された目の座標から右目及び左目画像座標空間へマッピングする。１つの実施形態では、これらの３つの変換は、右目画像及び左目画像のそれぞれについて１つの４×４同質変換（homogenous transform）に組み合わされることができる。

プロセス９０８において、較正されたカメラモデルは、内視鏡座標空間から各目の画像座標空間への点及びベクトルを投影するために使用される。より具体的には、較正されたカメラモデルは、立体３Ｄ画像を臨床医に提供するように、医療器具遠位端位置及び向きを右目画像座標空間及び左目画像座標空間に投影する。

プロセス９１０では、関連付けられる医療器具の遠位端部分の位置における対応する不確実性をもたらす遠隔操作システムの運動学的モデルにおける不確実性が、内視鏡先端に関して推定される。プロセス９１２において、これらの不確実性は、医師が３次元画像２０２を見る右目及び左目画像座標空間にマッピングされる。

プロセス９１４において、プロセス９０２で決定された順運動学を使用して、運動学的遠隔中心（例えば、その周りを器具が枢動する切開部位）が内視鏡座標空間にマッピングされる。プロセス９１６において、較正されたカメラモデルが、プロセス９０８で説明したのと同様の方法で遠隔中心を各目の画像座標系に投影するために使用される。

プロセス９０２−９１６は、全ての医療器具が立体３Ｄ画像２０２に適切に投影されるように、遠隔操作システムの各医療器具に対して繰り返され得る。プロセスは、順番に又は並行して実行されてよく、１つ又は複数のプロセスは更新され得る一方、他のものはそうではない。

再び図８を参照すると、バッジ図形（badge graphics）のレンダリングは、例えば、医療器具の遠位端の遠位先端における又は同遠位先端近くのデフォルト位置、重なっている又は不確かなバッジ配置に関連する潜在的なあいまいさ、内視鏡ビューポートによって課せられた制約、及び隠れた器具に対するシステム規則を含む、多数の表示要因（display factors）の検討に基づいている。バッジ図形の位置は、各目に対する画像座標空間において決定され得る。プロセス８０４において、バッジの潜在的な重なりが、バッジが間違った器具と空間的に関連付けられている可能性を低減するためにチェックされ且つその可能性を低減するように解決される。図１０は、図８のプロセス８０４を実行するための方法１０００を示す。この実施形態では、少なくとも２つの医療器具が手術空間に配置される。上述のように、バッジをレンダリングするためのデフォルト位置は、医療器具の遠位端部分である。プロセス１００２において、２つの医療器具の遠位端部分の間の画像空間座標における距離が計算される。プロセス１００４において、最小の許容バッジ間距離の閾値が計算される。最小の許容バッジ間距離の閾値は、バッジの投影半径（又は、バッジが円形でない場合は、バッジの中心からの別の最大寸法）の合計に、バッジ位置の投影された不確実性の合計の最大値を加えたものである。プロセス１００６において、２つの遠位端部分の間の画像空間距離が、それらの関連付けられるバッジが重なるか又は重なると見なされ得るかどうかを決定するために、計算された閾値距離と比較される。重なりが検出される場合、プロセス１００８において、重なりを解決するためにバッジを移動させる方向が計算される。バッジを移動させる方向は、（プロセス９０８及び９１６で決定される）画像座標空間に投影された遠隔中心と器具遠位端部分との間の単位ベクトルによって決定される。さらに、重なりが検出される場合、プロセス１０１０において、重なりを解決するためにバッジを並進移動させる距離が決定される。バッジがオフセット（offset）される距離は、最小の許容バッジ間距離と、遠位端部分間の現在の距離との間の差として計算される。このオフセットは、バッジ図形が重なることを防ぎ、器具の関連性の不確実性を避けるために十分に離間されたバッジ位置を提供する。

再び図８を参照すると、プロセス８０６において、バッジは、内視鏡の遠位先端の内視鏡ビューポートの境界に対応する、画像２０２の可視空間（viewable space）に拘束される。このプロセスは、図形のいずれかをクリッピング（clipping）することなしに画像２０２の境界内にバッジ図形を配置し得る。このプロセスは、バッジが画像境界を避けるために又はあいまいさを防ぐために移動される（shifted）場合、水平視差（horizontal disparity）の修正を防止することによって、バッジの知覚深さ（perceived depth）を制御することもできる。図１１は、図８のプロセス８０６を実行するための方法１１００を示す。プロセス１１０２において、内視鏡ビューポートに対応する画像２０２の可視空間の右目境界が決定される。プロセス１１０４において、バッジ図形の投影半径が右目に対して決定される。プロセス１１０６において、右目に対して、境界が、インセット境界（inset boundary）を作成するために、投影バッジ半径によってインセットされる。プロセス１１０８において、バッジの中心のＹ位置が、右目に対するインセット境界内にとどまるように調整される。プロセス１１１０において、バッジをインセット境界内に完全に保持するために必要なバッジの中心のＸ位置のオフセットが計算される。プロセス１１０２から１１１０が左目画像に対して繰り返される。立体３Ｄにおける適切な見た目の深さを維持するために、バッジは、右及び左目画像の両方で同じ量に調整されなければならない。これは、バッジの適切な知覚深さに必要な水平視差を維持する。プロセス１１１２において、右又は左目画像の１つに関してプロセス１１１０で計算されたＸオフセットは、右及び左目画像の両方のバッジのＸ位置に適用される。幾つかの実施形態では、より大きいＸオフセット値が、バッジ図形が境界７００の部分的に外側にさえある可能性を防ぐために、選択される。

再び図８を参照すると、プロセス８０８において、バッジは、プロセス８０２、８０４及び８０６で行われた計算に基づいて画像２０２を形成するよう、左及び右目ディスプレイ内にレンダリングされる。

本発明の実施形態における１つ又は複数の要素は、制御処理システムのようなコンピュータシステムのプロセッサ上で実行するソフトウェアで実装され得る。ソフトウェアで実装されるとき、本発明の実施態様の要素は、本質的に、必要なタスクを行うコードセグメントである。プログラム又はコードセグメントは、プロセッサ可読記憶媒体又は装置に格納されることができ、これは送信媒体又は通信リンク上の搬送波に取り入れられたコンピュータデータ信号によってダウンロードされ得る。プロセッサ可読記憶装置は、光媒体、半導体媒体、及び磁気媒体を含む、情報を格納することができる任意の媒体を含み得る。プロセッサ可読記憶装置の例は、電子回路、半導体デバイス、半導体メモリデバイス、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、消去可能なプログラマブル読取り専用メモリ（ＥＰＲＯＭ）、フロッピーディスク、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、又は他の記憶装置を含む。コードセグメントは、インターネット、イントラネット等のような、コンピュータネットワークを介してダウンロードされ得る。

提示されたプロセス及びディスプレイは、本質的には、如何なる特定のコンピュータ又は他の装置にも関係しないことに留意されたい。様々な汎用システムが、本明細書の教示によるプログラムと共に使用され得る、又は記載された動作を実行するためにより専用化された装置を構成することが便利であると証明するかもしれない。様々なこれらのシステムのための必要な構造は、請求項中の要素として現れる。加えて、本発明の実施形態は、如何なる特定のプログラミング言語を参照しても記載されない。ここに記載する本発明の教示を実施するために様々なプログラミング言語が用いられ得ることが理解されるだろう。

本発明の特定の例示的な実施形態が記載され且つ添付の図面に示されているが、そのような実施形態は、広範な発明の単なる例示に過ぎず、広範な発明を限定するものでなく、並びに本発明の実施形態は、様々な他の変更が当業者の心に思い浮かび得るので、図示され且つ記載される特定の構造及び配置に限定されないことが理解されるべきである。

次の付記を記す。
（付記１） オペレータ制御システム及び前記オペレータ制御システムによる遠隔操作のために構成される複数のマニピュレータを含む遠隔操作アセンブリであって、前記複数のマニピュレータのうちの第１のマニピュレータが手術環境において第１の医療器具の動きを制御するように構成され、前記複数のマニピュレータのうちの第２のマニピュレータが前記手術環境において第２の医療器具の動きを制御するように構成され、前記複数のマニピュレータのうちの第３のマニピュレータがイメージング器具の動きを制御するように構成される、遠隔操作アセンブリと、
１又は複数のプロセッサを含む処理ユニットと、
を有し、
前記処理ユニットは、
前記手術環境の視野の画像を表示し、
前記第１の医療器具の遠位端部分の位置を画像座標空間に投影し、
前記第２の医療器具の遠位端部分の位置を前記画像座標空間に投影し、
前記第１の医療器具の前記遠位端部分に関連付けられる第１のバッジのための初期位置を決定し、
前記第２の医療器具の前記遠位端部分に関連付けられる第２のバッジのための初期位置を決定し、
前記第１のバッジ及び前記第２のバッジの前記初期位置に基づいて表示要因を評価し、
前記表示要因に基づいて前記画像座標空間における前記第１のバッジのための表示位置を決定し、
前記表示要因に基づいて前記画像座標空間における前記第２のバッジのための表示位置を決定する、
ように構成される、
システム。
（付記２） 前記表示要因を評価することは、前記第１のバッジのための前記初期位置が前記第２のバッジのための前記初期位置と重なるかどうかを決定することを含む、
付記１に記載のシステム。
（付記３） 前記表示要因を評価することは、前記第１のバッジのための前記初期位置が前記第２の医療器具の前記遠位端部分の投影された前記位置と重なるかどうかを決定することを含む、
付記１に記載のシステム。
（付記４） 前記表示要因を評価することは、
前記第１の医療器具及び前記第２の医療器具の前記遠位端部分の投影された前記位置の間の距離を決定すること、
前記距離を所定のバッジ間距離閾値と比較すること、
前記第１のバッジのための前記表示位置を生成するように前記第１のバッジの前記初期位置を修正する方向成分を決定すること、並びに
前記第１のバッジのための前記表示位置を生成するように前記第１のバッジの前記初期位置を修正する並進成分を決定すること、
を含む、
付記１に記載のシステム。
（付記５） 前記表示要因を評価することは、前記第１のバッジ及び前記第２のバッジのための前記初期位置が前記視野の前記画像の境界の中にあるかどうかを評価することを含む、
付記１に記載のシステム。
（付記６） 前記表示要因を評価することは、
前記第１のバッジ及び前記第２のバッジの境界半径に基づいて前記視野の前記画像のためのインセット境界を定めること、並びに、
前記第１のバッジを前記インセット境界内に拘束するよう前記第１のバッジの前記初期位置のＹ位置の値を調整することによって前記第１のバッジのための前記表示位置を生成すること、
を含む、
付記１に記載のシステム。
（付記７） 前記画像座標空間における前記第１のバッジのための前記表示位置は、右目及び左目表示位置を含み、前記表示要因を評価することは、
前記第１のバッジ及び前記第２のバッジの境界半径に基づいて前記視野の前記画像のためのインセット境界を定めることと、
前記第１のバッジを前記インセット境界内に拘束するよう前記第１のバッジの前記初期位置のためのＸ位置オフセットを計算すること、並びに前記右目及び前記左目表示位置を生成するよう前記Ｘ位置オフセットを適用することによって、前記第１のバッジのための前記表示位置を生成することと、
を含む、
付記１に記載のシステム。
（付記８） 前記第１の医療器具の前記遠位端部分の前記位置を前記画像座標空間に投影することは：
前記第１の医療器具の前記遠位端部分の前記位置を決定するよう前記第１のマニピュレータについての順運動学的モデルを評価すること；
前記第２の医療器具の前記遠位端部分の前記位置を決定するよう前記第２のマニピュレータについての順運動学的モデルを評価すること；
前記第１の医療器具及び前記第２の医療器具の前記遠位端部分の前記位置をイメージング器具先端座標空間にマッピングすること；
前記イメージング器具についての較正カメラ変換を得ること；並びに
前記第１の医療器具及び前記第２の医療器具の前記遠位端部分の前記位置を右目画像座標空間及び左目画像座標空間に投影すること；
を含む、
付記１に記載のシステム。
（付記９） 前記第１の医療器具の前記遠位端部分の前記位置を前記画像座標空間に投影することは：
イメージング器具遠位先端の位置を決定するよう前記第３のマニピュレータについての順運動学的モデルを評価すること；
をさらに含む、
付記８に記載のシステム。
（付記１０） 前記較正カメラ変換は、モデルビュー変換、透視投影変換、及びビューポート境界変換からなる、
付記８に記載のシステム。
（付記１１） 手術環境の視野の画像を表示するステップであって、前記画像は、イメージング器具によって得られるとともに第１の医療器具の遠位端の画像及び第２の医療器具の遠位端の画像を含み、前記第１の医療器具は遠隔操作アセンブリの第１のマニピュレータに結合され、前記第２の医療器具は前記遠隔操作アセンブリの第２のマニピュレータに結合される、ステップと；
前記第１の医療器具の前記遠位端の位置を画像座標空間に投影するステップと；
前記第２の医療器具の前記遠位端の位置を前記画像座標空間に投影するステップと；
前記第１の医療器具の前記遠位端部分に関連付けられる第１のバッジのための初期位置を決定するステップと；
前記第２の医療器具の前記遠位端部分に関連付けられる第２のバッジのための初期位置を決定するステップと；
前記第１のバッジ及び前記第２のバッジの前記初期位置に基づいて表示要因を評価するステップと；
前記表示要因に基づいて前記画像座標空間における前記第１のバッジのための表示位置を決定するステップと；
前記表示要因に基づいて前記画像座標空間における前記第２のバッジのための表示位置を決定するステップと；
を含む、方法。
（付記１２） 前記表示要因を評価するステップは、前記第１のバッジのための前記初期位置が前記第２のバッジのための前記初期位置と重なるかどうかを決定するステップを含む、
付記１１に記載の方法。
（付記１３） 前記表示要因を評価するステップは、前記第１のバッジのための前記初期位置が前記第２の医療器具の前記遠位端部分の投影された前記位置と重なるかどうかを決定するステップを含む、
付記１１に記載の方法。
（付記１４） 前記表示要因を評価するステップは、
前記第１の医療器具及び前記第２の医療器具の前記遠位端部分の投影された前記位置の間の距離を決定するステップ、
前記距離を所定のバッジ間距離閾値と比較するステップ、
前記第１のバッジのための前記表示位置を生成するように前記第１のバッジの前記初期位置を修正する方向成分を決定するステップ、並びに
前記第１のバッジのための前記表示位置を生成するように前記第１のバッジの前記初期位置を修正する並進成分を決定するステップ、
を含む、
付記１１に記載の方法。
（付記１５） 前記表示要因を評価するステップは、前記第１のバッジ及び前記第２のバッジのための前記初期位置が前記視野の前記画像の境界の中にあるかどうかを評価するステップを含む、
付記１１に記載の方法。
（付記１６） 前記表示要因を評価するステップは、
前記第１のバッジ及び前記第２のバッジの境界半径に基づいて前記視野の前記画像のためのインセット境界を定めるステップ、並びに、
前記第１のバッジを前記インセット境界内に拘束するよう前記第１のバッジの前記初期位置のＹ位置の値を調整することによって前記第１のバッジのための前記表示位置を生成するステップ、
を含む、
付記１１に記載の方法。
（付記１７） 前記画像座標空間における前記第１のバッジのための前記表示位置は、右目及び左目表示位置を含み、前記表示要因を評価するステップは、
前記第１のバッジ及び前記第２のバッジの境界半径に基づいて前記視野の前記画像のためのインセット境界を定めるステップと、
前記第１のバッジを前記インセット境界内に拘束するよう前記第１のバッジの前記初期位置のためのＸ位置オフセットを計算すること、並びに前記右目及び前記左目表示位置を生成するよう前記Ｘ位置オフセットを適用することによって、前記第１のバッジのための前記表示位置を生成するステップと、
を含む、
付記１１に記載の方法。
（付記１８） 前記第１の医療器具の前記遠位端部分の前記位置を前記画像座標空間に投影するステップは：
前記第１の医療器具の前記遠位端部分の前記位置を決定するよう前記第１のマニピュレータについての順運動学的モデルを評価するステップ；
前記第２の医療器具の前記遠位端部分の前記位置を決定するよう前記第２のマニピュレータについての順運動学的モデルを評価するステップ；
前記第１の医療器具及び前記第２の医療器具の前記遠位端部分の前記位置をイメージング器具先端座標空間にマッピングするステップ；
前記イメージング器具についての較正カメラ変換を得るステップ；並びに
前記第１の医療器具及び前記第２の医療器具の前記遠位端部分の前記位置を右目画像座標空間及び左目画像座標空間に投影するステップ；
を含む、
付記１１に記載の方法。
（付記１９） 前記第１の医療器具の前記遠位端部分の前記位置を前記画像座標空間に投影するステップは：
イメージング器具遠位先端の位置を決定するよう、前記イメージング器具が結合される第３のマニピュレータについての順運動学的モデルを評価するステップ；
をさらに含む、
付記１８に記載の方法。
（付記２０） 前記較正カメラ変換は、モデルビュー変換、透視投影変換、及びビューポート境界変換からなる、
付記１８に記載の方法。

Claims (15)

1. オペレータ制御システム及び前記オペレータ制御システムによる遠隔操作のために構成される複数のマニピュレータを含む遠隔操作アセンブリであって、前記複数のマニピュレータのうちの第１のマニピュレータが手術環境において第１の医療器具の動きを制御するように構成され、前記複数のマニピュレータのうちの第２のマニピュレータがイメージング器具の動きを制御するように構成される、遠隔操作アセンブリと、
   １又は複数のプロセッサを含む処理ユニットと、
   を有し、
   前記処理ユニットは、
   前記イメージング器具によってキャプチャされる前記手術環境の視野の画像を表示し、
   画像座標空間における前記第１の医療器具の遠位端部分の位置を決定し、
   前記第１の医療器具の前記遠位端部分に関連付けられる第１のバッジのための初期位置を決定し、
   前記視野の前記画像のためのバッジ配置境界を決定し、
   前記第１のバッジを前記初期位置から前記視野の前記画像の前記バッジ配置境界内の表示位置に調整する、
   ように構成される、
   システム。
2. 前記視野の前記画像のための前記バッジ配置境界を決定することは、前記視野の前記画像のための可視空間の境界を決定することを含む、
   請求項１に記載のシステム。
3. 前記視野の前記画像のための前記バッジ配置境界を決定することは、前記第１のバッジの半径に基づいて前記可視空間の境界からインセット境界を決定することをさらに含む、
   請求項２に記載のシステム。
4. 前記第１のバッジを前記初期位置から前記表示位置に調整することは、前記インセット境界内にある前記第１のバッジの中心についての位置を計算することを含む、
   請求項３に記載のシステム。
5. 前記視野の前記画像のための前記バッジ配置境界を決定することは、右目可視空間の境界を決定すること及び左目可視空間の境界を決定することを含む、
   請求項１に記載のシステム。
6. 前記第１のバッジを前記初期位置から前記表示位置に調整することは、前記第１のバッジの右目画像及び前記第１のバッジの左目画像についての水平視差を維持することを含む、
   請求項１に記載のシステム。
7. 前記複数のマニピュレータのうちの第３のマニピュレータが前記手術環境において第２の医療器具の動きを制御するように構成され、前記処理ユニットはさらに：
   前記画像座標空間における前記第２の医療器具の遠位端部分の位置を決定し、
   前記第２の医療器具の前記遠位端部分に関連付けられる第２のバッジのための初期位置を決定し、
   前記第２のバッジを前記第２のバッジのための前記初期位置から前記視野の前記画像の前記バッジ配置境界内の前記第２のバッジのための表示位置に調整する、
   ように構成される、
   請求項１に記載のシステム。
8. 前記処理ユニットはさらに：
   前記第１のバッジのための前記表示位置及び前記第２のバッジのための前記表示位置が重なるかどうかを決定する、
   請求項７に記載のシステム。
9. 手術環境の視野の画像を表示するステップであって、前記画像は、イメージング器具によって得られるとともに第１の医療器具の遠位端の画像を含み、前記第１の医療器具は、遠隔操作アセンブリの第１のマニピュレータに結合される、ステップと；
   画像座標空間における前記第１の医療器具の遠位端部分の位置を決定するステップと；
   前記第１の医療器具の前記遠位端部分に関連付けられる第１のバッジのための初期位置を決定するステップと；
   前記視野の前記画像のためのバッジ配置境界を決定するステップと；
   前記第１のバッジを前記初期位置から前記視野の前記画像の前記バッジ配置境界内の表示位置に調整するステップと；
   を含む、方法。
10. 前記視野の前記画像のための前記バッジ配置境界を決定するステップは、前記視野の前記画像のための可視空間の境界を決定することを含む、
    請求項９に記載の方法。
11. 前記視野の前記画像のための前記バッジ配置境界を決定するステップは、前記第１のバッジの半径に基づいて前記可視空間の境界からインセット境界を決定することをさらに含む、
    請求項１０に記載の方法。
12. 前記第１のバッジを前記初期位置から前記表示位置に調整するステップは、前記インセット境界内にある前記第１のバッジの中心についての位置を計算することを含む、
    請求項１１に記載の方法。
13. 前記視野の前記画像のための前記バッジ配置境界を決定するステップは、右目可視空間の境界を決定すること及び左目可視空間の境界を決定することを含む、
    請求項９に記載の方法。
14. 前記第１のバッジを前記初期位置から前記表示位置に調整するステップは、前記第１のバッジの右目画像及び前記第１のバッジの左目画像についての水平視差を維持することを含む、
    請求項９に記載の方法。
15. 前記イメージング器具によって得られる前記画像は、第２の医療器具の遠位端の画像を含み、前記第２の医療器具は、前記遠隔操作アセンブリの第２のマニピュレータに結合され、前記方法はさらに：
    前記画像座標空間における前記第２の医療器具の遠位端部分の位置を決定するステップと；
    前記第２の医療器具の前記遠位端部分に関連付けられる第２のバッジのための初期位置を決定するステップと；
    前記第２のバッジを前記第２のバッジのための前記初期位置から前記視野の前記画像の前記バッジ配置境界内の前記第２のバッジのための表示位置に調整するステップと；
    前記第１のバッジのための前記表示位置及び前記第２のバッジのための前記表示位置が重なるかどうかを決定するステップと；
    を含む、
    請求項９に記載の方法。

Images