JP2022104898A - ゴースト器具情報を用いた管腔内ナビゲーション - Google Patents

Abstract

【課題】実際の非リアルタイム（初期）器具情報を用いて正確な内視鏡ナビゲーションを提供できる、改良された内視鏡システムを提供する。【解決手段】ロボット支援内視鏡システムとその制御方法により、ユーザは、操縦可能シースを用いて管腔内インターベンション手技を実施することができる。プロセッサは、シースの非リアルタイム挿入軌道に基づいてゴースト画像を生成し、シースを通して標的部位に向けてインターベンションツールを挿入するためのリアルタイム挿入軌道に基づいて、リアルタイム画像を生成する。表示画面は、リアルタイム画像がゴースト画像の少なくとも一部と重なるとともに、リアルタイム挿入軌道が非リアルタイム挿入軌道と位置合わせされるように、標的部位に向けてシースの遠位セクションを操作する方法をユーザに通知するために、ナビゲーション誘導データを出力する。【選択図】図２

Description

関連出願への相互参照
該当なし

本開示は、概して医用デバイスに関する。より詳細には、本開示は、１つ以上のツールを体腔内にナビゲートするように構成されたロボット支援医用デバイスのシステム及び方法に関する。

ロボット支援低侵襲手術（ＭＩＳ）は、いくつかの外科領域にわたって知られている。ロボット支援ＭＩＳ手技では、内視鏡又はカテーテル器具を用いて、患者の繊細な臓器や組織に対して非常に精確に検査、切除、アブレーション焼灼、ステープル、シール、或いは他の方法の診断及び処置が行われる。それでも、医師は、このような繊細な医療手技を行っている間、患者の不快感を最小限に抑えるために細心の注意を払う必要がある。そのため、医師は、患者の内部構造や器官の中又は周囲で手術器具を安全に誘導するために、コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像法（ＭＲＩ）、超音波（ＵＳ）その他の類似の技術等の術前及び／又は術中のイメージング技術を用いる場合がある。しかしながら、画像誘導技術とロボット支援技術を用いても、このような手技の間に繊細な器官に対して不注意による損害を与えるおそれがある。

現在の最先端技術において、ロボット制御内視鏡システムでは、保護スリーブ又はシース（カテーテルシース又はカテーテルとも呼ばれる）のツールチャネルを通してイメージングデバイス（例えばファイバベースのプローブや小型カメラ）を配置して、最初に標的部位の画像を取得する。次に、イメージングデバイスが除去され、ツールチャネルを通して手術器具が挿入されて、手技が完了する。ハンドヘルドコントローラ（例えばゲームパッドコントローラ）は、患者の体内での内視鏡ナビゲーションを制御するための、医師とロボットシステムの間のインタフェースとして機能することができる。システムコンソールに設けられるか又は壁に取り付けられる液晶ディスプレイ（ＬＤＣ）モニタ等の表示デバイスは、内視鏡の視野の画像（内視鏡画像）を表示して、ユーザが患者の生体構造を通して内視鏡をナビゲートして、患者内の標的部位に到達するのを支援する。このプロセスでは、イメージングデバイスの向きと、ゲームパッドコントローラの向きと、内視鏡先端の向きは、典型的には、手術器具を患者の生体構造内に挿入する前に、互いにマップされる。現在、手技中のカテーテルのトラッキングを可能にする埋込み型の位置センサ及び／又は形状センサ（例えば電磁（ＥＭ）センサ）を備えた数多くのカテーテルが、市場に出回っている。患者の術前イメージングと、画像セグメンテーションと、術中のデバイス対画像レジストレーションとを組み合わせて、医師は、手技全体にわたって、患者の器官とカテーテル位置の仮想表現を可視化することができる。

一部のカテーテルでは、除去可能なカメラが使用される。つまり、カメラが除去され手術器具が挿入された後の手技のある時点では、仮想表現は、患者の生体構造内でのカテーテルの位置を特定するためにユーザが有している唯一のリソースである。この場合、ユーザは、ＥＭトラッキングを当てにして、カメラが除去された後に手技を終わらせることができる。例えば、器官の生検サンプルを採取するために、医師は、内視鏡を標的部位までナビゲートし、カメラからのライブビュー画像を用いてカテーテルシースの先端を位置合わせする。次に、カメラを生検ツールと交換した後、ユーザは、ＥＭトラッキング及び／又は何らかのタイプの術中イメージング誘導（例えばＸ線透視法）を当てにして、手技を完了することになる。このようなプロセスの例は、ＵＳ８５８３２７４、ＵＳ２０１５／０２２３６６８、ＵＳ２０２０／０３３１１４７、Ｍ．Ｓｃｈｏｌｚらの“Development of an Endoscopic Navigation System Based on Digital Image Processing”（１９９８年にＣｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｓｕｒｇｅｒｙ ３：３，１３４－１４３によって発表）等の特許文献及び非特許文献に記載されている。これらの以前の刊行物は、主に、ツールの仮想位置（“ゴースト”ツール）を表示して、手技を完了するためにツールの推定リアルタイム位置をユーザに示すプロセスを記載している。

しかしながら、ツール交換の過程でカテーテルシースが元の位置からずれる可能性がある。リアルタイムのＥＭ位置は、臨床医がカテーテル軌道を病変と位置合わせする際に助けとなり得るが、臨床医には、カテーテル先端が始めにカメラを用いて病変と位置合わせされたときのように、位置が理想的であるかどうかを判断する術がない。特に、ロボット支援内視鏡では、カメラと手術器具の間の剛性の変化によって、カテーテルシースの形状は変化するものである。このカテーテルシースの形状の変化は、その先端の位置と向きの両方に影響を与える。したがって、実際の非リアルタイム（初期）器具情報を用いて正確な内視鏡ナビゲーションを提供できる、改良された内視鏡システムが必要である。

本開示の少なくとも１つの実施形態によれば、内視鏡システムは以下を備える：操縦可能なシースであって、当該シースの近位端から遠位端へ延びるツールチャネルを有するシース；シースの近位端に機械的に接続されるアクチュエータ；及び、特別に設計されたソフトウェアを実行して、カテーテルデバイスを制御し、ナビゲーション誘導データをユーザインタフェースディスプレイに出力するように構成されたプロセッサ。

本開示の態様によれば、ロボット支援内視鏡システムは、そのツールチャネルを通してイメージングデバイス及び／又は手術器具を誘導するように構成された操縦可能シースを有する。アクチュエータユニットは、シースの遠位端を標的部位と位置合わせするように、操縦可能シースに作動力を提供する。シースに沿って配置された１つ以上のセンサは、標的部位に関連するシースのリアルタイム位置を検出する。プロセッサは、シース及び／又は標的部位のリアルタイム位置の仮想画像を生成し、ツールのゴースト（非リアルタイム）位置を仮想画像内に表示する。シースの遠位端をゴースト位置と位置合わせするようにユーザに指示する情報は、表示画面に表示される。ゴースト位置は、記録された真の以前の位置、或いは、手技計画に基づいて提案された望ましい位置であってよい。ゴースト位置の外見は、リアルタイム位置と異なる。

本開示の別の態様によれば、内視鏡システムは以下を備える：体内への挿入用の遠位端と、体外からの操作用の近位端とを有する操縦可能シースであって、近位端から遠位端へ延びるツールチャネルを有する、操縦可能シース；操縦可能シースと処置対象の標的部位との間の位置関係をマップするように操縦可能シース上に配置されたセンサ；シースの少なくとも一部が標的部位に対して動くように、操縦可能シースを駆動するように構成されたアクチュエータ；及び、アクチュエータ及びセンサのうちの１つ以上とデータ通信するプロセッサ。プロセッサは、アクチュエータに指示し、センサフィードバックを取得するように構成される。

他の実施形態によれば、プロセッサは、操縦可能シースの‘ゴースト’（非リアルタイム）位置を仮想画像内に表示する。ゴースト画像は、真の以前の記録された位置、或いは手技計画に基づく提案又は所望の位置、或いは仮想ツールの静止画像、のうちの１つ以上であってよい。ゴースト画像の外見は、ゴースト画像とリアルタイム位置画像の両方が同時に表示されたときにユーザが視覚的に両方の画像を区別できるように、リアルタイム位置画像と異なる。ゴースト画像とリアルタイム位置画像は、リアルタイム位置画像と比較したゴースト画像の注釈、サイズ、形状、色又は不透明度のうちの１つ以上の点で異なる。本明細書で用いられる場合、「位置」との用語は、位置と向きの両方の情報を含む。

本開示のこれら及び他の目的、特徴及び利点は、本開示の例示の実施形態の以下の詳細な説明を添付の図面及び提供された特許請求の範囲と併せて読むと、明らかになるであろう。

本開示の１つ以上の目的、特徴及び／又は利点は、本開示の例示の実施形態を示す添付の図と併せて解釈すると、詳細な説明から明らかになるであろう。

図１は、手術室等の医療環境におけるロボット支援内視鏡システム１０００の例示の実施形態を示す。 図２Ａは、機能ブロック図で表されるロボット支援内視鏡システム１０００の例示の実施形態を示す。図２Ｂは、マルチセグメント操縦可能シース１１０の例示の実施形態を示す。図２Ｃは、ＥＭセンサ１９０、ツールチャネル１０５及びワイヤコンジット１０６を示す操縦可能シース１１０の断面図を示す。 図３は、“ゴースト画像”によって表される非リアルタイムシース位置情報と、リアルタイム画像によって表されるリアルタイムシース位置情報とを用いるロボット支援内視鏡の管腔内ナビゲーションのワークフロープロセス１３００を示す。 図４Ａ及び図４Ｂは、ソフトウェアシステムがユーザに対して、１つ以上の標的部位８２に対するゴースト画像４３０とリアルタイム画像４３２の位置及び／又は向きの差を示すことができる方法の例を示す。 図５Ａは、ソフトウェアシステムがユーザに対して、ゴースト画像４３０の位置とリアルタイム画像４３２の位置の差が特定の閾値内にあるときを示すことができる方法の例を示す。図５Ｂは、ソフトウェアシステムがユーザに対して、ゴースト画像４３０とリアルタイム画像４３２の位置及び向きの差が特定の閾値内にあるときを示すことができる方法の例を示す。 図６Ａ及び図６Ｂは、ソフトウェアシステムが、ユーザが特定の順序で操縦可能シースのずれを修正するのを支援することができる方法の例である。 図７Ａ及び図７Ｂは、ソフトウェアシステムがユーザに対して、１つ以上の標的部位８２に対するゴースト画像４３０とリアルタイム画像４３２の位置及び／又は向きの差を示すことができる方法の別の例を示す。 図８は、ソフトウェアシステムが、リアルタイム画像４３２によって表されるリアルタイムシース位置と、複数のゴースト画像４３０によって表される複数の非リアルタイム（記録された又は計画された）シース位置との間の差を表示することができる方法の例を示す。 図９Ａ及び図９Ｂは、システムが、リアルタイムカテーテル位置を事前記録又は計画されたゴースト位置と位置合わせするために仮想一人称カメラビューを提供するように構成された、例示の実施形態を示す。 図１０は、システムが、患者の生理活動に対応する周期運動波形を記録するように構成され、プロセッサが表示画面に、周期運動波形の１つ以上の周期内での運動相の差に関連する非リアルタイム挿入軌道及びリアルタイム挿入軌道を出力する、例示の実施形態を示す。

本明細書に開示される例示の実施形態は、インターベンション手技のターゲティング段階を容易にすることができる改良された内視鏡システムを提供するという目的に基づく。

図全体を通して、別段の記載がない限り、同じ参照番号及び文字は、例示される実施形態の同様の特徴、要素、コンポーネント又は部分を示すために用いられる。更に、同封の図を参照して本開示を詳細に説明するが、それは、例示の実施形態に関連してなされる。添付の特許請求の範囲によって定義される本開示の真の範囲及び主旨から逸脱することなく、説明される例示の実施形態に対して変更及び修正を行うことができることが意図される。図面はいくつかの可能な構成及びアプローチを表すが、図面は必ずしも縮尺どおりではなく、本開示の特定の態様をより分かりやすく図示及び説明するために、特定の特徴が誇張、削除又は部分的に切断される場合がある。本明細書に記載の説明は、網羅的であること、そうでなければ、図面に示され以下の詳細な説明に開示される正確な形態及び構成に特許請求の範囲を限定又は制限することを意図するものではない。

当業者には当然のことながら、一般に、本明細書、特に添付の特許請求の範囲（例えば添付の特許請求の範囲の本文）で使用される用語は、概して、“オープン”な用語として意図されている（例えば、「含む（ｉｎｃｌｕｄｉｎｇ）」という用語は「含むが、これに限定されない」と解釈されるべきであり、「有する」という用語は「少なくとも有する」と解釈されるべきであり、「含む（ｉｎｃｌｕｄｅｓ）」は「含むが、これに限定されない」と解釈されるべきである、等）。更に、当業者には当然のことながら、導入された請求項記載の具体的な数字が意図されている場合、そのような意図は特許請求の範囲に明示的に記載され、また、そのような記載がない場合、そのような意図は存在しない。例えば、理解の助けとして、以下の添付の特許請求の範囲は、請求項記載を導入するために、「少なくとも１つの」や「１つ以上の」という導入句の使用を含む場合がある。ただし、そのような語句の使用は、同じ請求項に「１つ以上の」又は「少なくとも１つの」との導入句と、“ａ”又は“ａｎ”等の不定冠詞とが含まれている場合でも、不定冠詞“ａ”又は“ａｎ”による請求項記載の導入により、そのような導入された請求項記載を含む特定の請求項が、そのような記載を１つだけ含む請求項に限定されることを意味すると解釈されるべきではない（例えば、“ａ”及び／又は“ａｎ”は、典型的には、「少なくとも１つの」又は「１つ以上の」を意味すると解釈されるべきである）。請求項記載を導入するために使用される定冠詞の使用についても、同じことが言える。

更に、導入された請求項記載の具体的な数字が明示的に記載されている場合であっても、当業者には当然のことながら、そのような記載は、典型的には、少なくとも記載された数を意味すると解釈されるべきである（例えば、他の修飾語を伴わずに「２つの記載」とだけ記載される場合、典型的には、少なくとも２つの記載、又は２つ以上の記載を意味する）。更に、「Ａ、Ｂ及びＣ等のうちの少なくとも１つ」に類似した規定が使用される場合、概して、そのような構文は、当業者が該規定を理解し得るという意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、Ａ単独で、Ｂ単独で、Ｃ単独で、ＡとＢを併せて、ＡとＣを併せて、ＢとＣを併せて、かつ／又は、Ａ、Ｂ及びＣを併せて有するシステム等を含み得る）。「Ａ、Ｂ又はＣ等のうちの少なくとも１つ」に類似した規定が使用される場合、概して、そのような構文は、当業者が該規定を理解し得るという意味で意図されている（例えば、「Ａ、Ｂ又はＣのうちの少なくとも１つを有するシステム」は、Ａ単独で、Ｂ単独で、Ｃ単独で、ＡとＢを併せて、ＡとＣを併せて、ＢとＣを併せて、かつ／又は、Ａ、Ｂ及びＣを併せて有するシステム等を含み得る）。更に、当業者には当然のことながら、典型的には、離接語、及び／又は２つ以上の代替用語を表す語句（明細書、特許請求の範囲、又は図面のいずれにおいても）は、文脈上別段の指示がない限り、該用語の一方、該用語のいずれか、又は該用語の両方を含む可能性を企図するものと理解されるべきである。例えば、「Ａ又はＢ」という表現は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むと理解される。

本明細書において、特徴又は要素が別の特徴又は要素の「上」にあるとして言及されるとき、それは、当該他の特徴又は要素の直上に存在してよく、又は、介在する特徴及び／又は要素も存在してよい。対照的に、特徴又は要素が別の特徴又は要素の「直上」にあるとして言及されるとき、介在する特徴又は要素は存在しない。また、当然のことながら、特徴又は要素が別の特徴又は要素に「接続される」、「取り付けられる」、「結合される」等として言及されるとき、それは、当該他の特徴に直接的に接続されてよく、取り付けられてよく、又は結合されてよく、又は、介在する特徴又は要素が存在してもよい。対照的に、特徴又は要素が別の特徴又は要素に「直接的に接続される」、「直接的に取り付けられる」又は「直接的に結合される」として言及されるとき、介在する特徴又は要素は存在しない。一実施形態に関して説明又は図示したが、一実施形態においてそのように説明又は図示された特徴及び要素は、他の実施形態に適用することができる。また、当業者であれば理解できるように、別の特徴に「隣接」して配置されている構造又は特徴への言及は、当該隣接する特徴にオーバーラップするかその下にある部分をもつ場合がある。

本明細書では、様々な要素、コンポーネント、領域、部品及び／又は部分を説明するために、第１、第２、第３等の用語が使用される場合がある。当然のことながら、これらの要素、コンポーネント、領域、部品及び／又は部分はこれらの指定の用語によって限定されない。これらの指定の用語は、ある要素、コンポーネント、領域、部品又は部分を別の領域、部品又は部分から区別するためにのみ使用されている。よって、後述する第１の要素、コンポーネント、領域、部品又は部分は、単に区別を目的として、しかし限定をすることなく、また、構造的又は機能的な意味から逸脱することなく、第２の要素、コンポーネント、領域、部品又は部分と呼ぶことができる。

本明細書において用いられる場合、単数形は、文脈上明確に別段の指示がない限り、複数形も含むことを意図している。更に、当然のことながら、「含む」、「備える」、「成る」という用語は、本明細書及び特許請求の範囲において用いられる場合、記載の特徴、整数、ステップ、動作、要素及び／又はコンポーネントの存在を指定するが、明示的に記載されていない１つ以上の他の特徴、整数、ステップ、動作、要素、コンポーネント及び／又はそれらのグループの存在又は追加を排除するものではない。更に、本開示では、「～から成る」という移行句は、クレームで指定されていないいかなる要素、ステップ又はコンポーネントも除外する。更に、留意すべきこととして、一部のクレーム又はクレームの一部の特徴は、任意の要素を除外するように起草される場合があり、このようなクレームは、クレーム要素の記載に関連して「単独で」、「～のみ」等の排他的な用語を使用する場合があり、又は、「否定的な」限定を使用する場合がある。

本明細書で使用される「約」又は「およそ」という用語は、例えば１０％以内、５％以内又はそれ未満を意味する。一部の実施形態では、「約」という用語は、測定誤差内を意味することがある。これに関して、説明され又はクレームされる際に、用語が明示的に表示されていなくても、全ての数値は「約」又は「およそ」という語が前置されているかのように読まれてよい。「約」又は「およそ」という語句は、大きさ及び／又は位置を記述するとき、記載の値及び／又は位置が値及び／又は位置の妥当な予想範囲内にあることを示すために使用されることがある。例えば、数値は、記述された値（又は値の範囲）の±０．１％、記述された値（又は値の範囲）の±１％、記述された値（又は値の範囲）の±２％、記述された値（又は値の範囲）の±５％、記述された値（又は値の範囲）の±１０％等である値を含み得る。本明細書に記載されている場合、あらゆる数値範囲は、具体的に別段の記載がない限り、終了値を含むことを意図しており、そこに属する全ての部分範囲を含む。本明細書で用いられる場合、「実質的に」という用語は、意図された目的に悪影響を及ぼさない、記述子からの逸脱を許容することを意味する。例えば、測定値の限定に由来する逸脱、製造公差内の差異、又は５％未満の変動は、実質的に同じ範囲内にあると見なすことができる。指定された記述子は、絶対値（例えば、実質的に球形、実質的に垂直、実質的に同心等）又は相対語（例えば、実質的に類似、実質的に同じ等）であり得る。

具体的に別段の記載がない限り、以下の開示から明らかであるように、本開示を通して、「処理する」、「コンピュータで計算する」、「計算する」、「決定する」、「表示する」等の用語を用いた議論は、コンピュータシステム、又は同様の電子コンピューティングデバイス、又は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを操作し、同様にコンピュータシステムのメモリ又はレジスタ又は他のそのような情報の記憶、伝送又は表示用のデバイス内の物理量として表される他のデータに変換するデータ処理デバイスの、動作及びプロセスを指すものと理解される。本明細書に記載されているか、若しくは添付の特許請求の範囲に記載されているコンピュータ動作又は電子動作は、文脈上別段の指示がない限り、一般に、任意の順序で実行することができる。また、様々な動作フロー図が順番に提示されているが、当然のことながら、各種動作は、図示又は特許請求されている順序以外の順序で実行することができ、或いは、動作を同時に実行することができる。そのような代替の順序付けの例としては、文脈上別段の指示がない限り、重複、インターリーブ、中断、再順序付け、増分、準備、補足、同時、逆、又は他の変形の順序付けが挙げられる。更に、「～に応答して」、「～に応えて」、「～に関連して」、「～に基づいて」等の用語、又は他の同様の過去形容詞は、文脈上別段の指示がない限り、通常、そのような変形を除外することを意図していない。

本開示は、概して医療機器に関し、分光装置（例えば内視鏡）、光干渉断層法（ＯＣＴ）装置、又はそのような装置の組合せ（例えばマルチモダリティ光プローブ）に適用可能である光プローブの実施形態を例示する。光プローブ及びその部分の実施形態を、三次元空間におけるそれらの状態に関して説明する。本明細書で用いられる場合、「位置」という用語は、３次元空間における物体又は物体の一部の位置（例えばデカルトＸ、Ｙ、Ｚ座標に沿った３自由度の並進自由度）を指し、「向き」という用語は、物体又は物体の一部の回転配置（回転の３自由度―例えばロール、ピッチ、ヨー）を指し、「姿勢」という用語は、少なくとも１つの並進自由度にある物体又は物体の一部の位置と、少なくとも１つの回転自由度にある物体又は一部の物体の向きとを指し（合計で最大６つの自由度）、「形状」という用語は、物体の長尺体に沿って測定された一連の姿勢、位置及び／又は方向を指す。

医療機器の分野において既知であるように、「近位」及び「遠位」という用語は、ユーザから手術部位又は診断部位まで延びる器具の端部の操作に関して用いられる。これに関して、「近位」という用語は、器具のユーザに近い部分（例えばハンドル）を指し、「遠位」という用語は、ユーザから離れており外科部位又は診断部位に近い器具の部分（先端）を指す。更に、当然のことながら、便宜上簡潔にするために、本明細書では、図面に関して「垂直」、「平行」、「上」、「下」等の空間用語が用いられる場合がある。ただし、手術器具は多くの向きと位置で使用されるものであり、これらの用語は限定的かつ／又は絶対的であることを意図していない。

本明細書で用いられる場合、「カテーテル」との用語は、概して、広範囲の医療機能を実行するために、狭い開口を通して体腔（例えば血管）の中に挿入されるように設計された、医療グレードの材料から作られる軟性の薄い管状器具を指す。より具体的な「光学カテーテル」との用語は、医療グレード材料から作られた保護シース内に配置され光学イメージング機能をもつ１つ以上の軟性の光伝導ファイバの細長い束を含む医用器具を指す。光学カテーテルの特定の例は、シース、コイル、プロテクタ及び光学プローブを備える光ファイバカテーテルである。一部の用途では、カテーテルは、シースと同様に機能する「ガイドカテーテル」を含み得る。本明細書で用いられる場合、「内視鏡」との用語は、光学プローブによって導かれる光を用いて体腔又は臓器の内部を観察する、硬性又は軟性の医用器具を指す。内視鏡が自然開口を通して挿入される医療処置は、内視鏡検査と呼ばれる。専用の内視鏡は、気管支鏡（口）、Ｓ状結腸鏡（直腸）、膀胱鏡（膀胱）、腎臓鏡（腎臓）、気管支鏡（気管支）、咽頭鏡（咽頭）、耳鏡（耳）、関節鏡（関節）、腹腔鏡（腹部）及び消化管内視鏡等、一般に、内視鏡の使用方法や使用場所にちなんで名付けられる。本開示の実施形態は、前述の内視鏡のうちの１つ以上に適用可能であり得る。

＜ロボット支援内視鏡システム＞
図１及び図２Ａ～図２Ｃを参照して、ロボット支援内視鏡システム１０００の例示の構成を説明する。図１は、ロボット支援内視鏡システム１０００が実用され得る手術室等の医療環境の例示表現を示す。ロボット支援内視鏡システム１０００は、ユーザ１０（例えば医師）が患者８０に対して内視鏡検査手技を実施する際に操作可能な操縦可能器具１００（操縦可能医用デバイス）を含んでよい。ロボット支援内視鏡システム１０００は、ロボットプラットフォーム９０を介して操縦可能器具１００に作動的に取り付けられたコンピュータシステム４００を含んでよい。コンピュータシステム４００（例えばシステムコンソール）は、プロセッサ又は中央処理装置（ＣＰＵ）４１０と、液晶ディスプレイ（ＬＣＤ）やＯＬＥＤ、ＱＬＥＤディスプレイ等の表示画面４２０とを含む。記憶装置４１１（ＲＯＭ及びＲＡＭメモリ）と、システムインタフェース４１２（ＦＰＧＡカード）と、ユーザインタフェース４１３（例えばマウスやキーボード）は、プロセッサ又はＣＰＵ４１０と表示画面４２０に作動的に接続される。

操縦可能器具１００は、ハンドル２００及び操縦可能シース１１０を含み、これらは、コネクタアセンブリ５０によって互いに除去可能に接続される。ハンドル２００はアクチュエータシステム３００を含み、これは、コンピュータシステム４００から電子コマンドを受け取って、操縦可能シース１１０を機械的に作動させる。ハンドル２００は、対象又は患者８０内の標的部位に向けて操縦可能シース１１０をロボット制御で誘導するためのロボットプラットフォーム９０に着脱可能に取り付けられるように構成される。ハンドル２００がロボットプラットフォーム９０に取り付けられていないとき、ハンドル２００は、操縦可能シース１１０を制御するようにユーザによって手動で操作することができる。患者８０を処置するために、操縦可能器具１００は、ハンドル２００上又はその周りに配置された１つ以上のアクセスポート２５０を含んでよい。電磁（ＥＭ）界発生器６０は、体腔８１を通して患者８０内の標的部位８２に向けて挿入されている間の操縦可能シース１１０の位置、形状及び／又は向きをトラッキングするために、操縦可能シース１１０上に配置された１つ以上のＥＭセンサ１９０と相互作用する。

内視鏡手技の間、コンピュータシステム４００のシステムプロセッサ又はＣＰＵ４１０は、システムのメモリ４１１に予め保存されたコンピュータ実行可能コードに基づく動作を実行するように構成される。表示画面４２０は、患者８の患者情報４２１、内視鏡画像４２２、術中誘導画像４２３及び術前画像４２４（例えばスライス画像）のうちの１つ以上を表示するように構成されたグラフィカルユーザインタフェース（ＧＵＩ）を含んでよい。

図２Ａは、ロボット支援内視鏡システム１０００の全体構造を、ユーザ及び／又は患者を含まない機能ブロック図で示す。図２Ａに示されるように、ロボット支援内視鏡システム１０００は、コンピュータシステム４００（例えばシステムコンソール）と、ロボットアクチュエータシステム３００と、ハンドル２００を介してアクチュエータシステム３００に接続された操縦可能器具１００とを含む。操縦可能器具１００は、長手方向軸（Ａｘ）に沿ってこの順序で配置された近位セクション１０３、中間セクション１０２及び遠位セクション１０１から成る操縦可能シース１１０を含む。近位セクション１０３は、非操縦可能セクションであり、操縦可能セクションをハンドル２００及び作動システムに接続するように機能する。中間セクション１０２及び遠位セクション１０１は、操縦可能シースの操縦可能セクションを構成し、患者８０の体腔８１に挿入されるように構成される。操縦可能な遠位セクション１０１（及び中間セクション１０２）は、複数の湾曲セグメント１、２、３…Ｎに分けられ、これらは、体腔の管腔内の蛇行進路を通って操縦可能シースを前進させるときに曲がり、湾曲し、ねじれ、かつ／又は回転するように構成される。各湾曲セグメントは、少なくとも１つの環状部品を含む。慣例により、操縦可能器具１００は、ｘ，ｙ，ｚデカルト座標の３次元（３Ｄ）座標系によって定義される３Ｄ空間で動作する。操縦可能シース１１０は、長手方向軸Ａｘに沿って近位端から遠位端へ延びる少なくとも１つのツールチャネル１０５を画定する。操縦可能シース１１０は、シースの壁に配置された１つ以上の位置センサ及び／又は向きセンサ１９０を含んでよく、また、シースのツールチャネル１０５に配置されたファイバカメラや小型電子ＣＭＯＳセンサ等の除去可能なイメージングデバイス１８０を含んでよい。イメージングデバイス１８０は、その撮像面がｘ－ｙ平面にあるとともに、操縦可能シース１１０の長手方向軸Ａｘが座標系のｚ軸に沿って延びるように、配置される。

生体管腔８１（患者８０の気道等）に内視鏡を挿入する際、操縦可能シース１１０の先端（遠位端）は、管腔の中心線に沿って前進する（ナビゲートされる）。この場合、イメージングデバイス１８０（例えば小型カメラ）は、ツールチャネル１０５内に配置されて、器具の視野（ＦＯＶ）から直接撮られた管腔８１のライブビュー画像を提供することができる。しかしながら、一部の実施形態では、操縦可能シース１１０には、ツールチャネル内にカメラを配置する余裕がない場合がある。この場合、ナビゲーションは、シースに沿って配置された１つ以上のセンサ１９０によって提供される位置及び／又は向きに基づいて、術中誘導イメージングによって提供されてよい。いずれの場合でも、所望の標的部位８２に到達するために、操縦可能シースの遠位セクションが、標的部位８２（腫瘍等）と位置合わせされた最適な位置に到達するまで連続して形状及び方向を変化させるように、操縦可能シース１１０は、様々な方向に曲がり、ねじれ、かつ／又は回転しなければならない。

操縦可能シース１１０の曲げ、ねじれ及び／又は回転（操縦）は、ハンドル２００、アクチュエータシステム３００及び／又はコンピュータシステム４００から成る作動システムによって制御される。アクチュエータシステム３００は、マイクロコントローラ３２０及びアクチュエータユニット３１０を含み、これらは、ネットワーク接続４２５を介してコンピュータシステム４００に作動的に接続される。コンピュータシステム４００は、プロセッサ又はＣＰＵ４１０によって動作する適切なソフトウェア、ファームウェア及び周辺ハードウェアを含む。コンピュータシステム４００、アクチュエータシステム３００及びハンドル２００は、ネットワーク接続４２５（例えばケーブル束や無線リンク）によって、互いに作動的に接続される。更に、コンピュータシステム４００、アクチュエータシステム３００及びハンドル２００は、ロボットプラットフォーム９０によって互いに作動的に接続され、ロボットプラットフォーム９０は、１つ以上のロボットアーム９２及び並進ステージ９１を含み得る。一部の実施形態では、アクチュエータシステム３００は、ハンドヘルドコントローラ（ゲームパッドコントローラ等）又はポータブル計算機器（スマートフォンやタブレット等）を含んでよく、或いはそれらに接続されてよい。他の機能の中でも、コンピュータシステム４００及びアクチュエータシステム３００は、その用途に従って操縦可能器具１００を操作するために、グラフィカルユーザインタフェース（ＧＵＩ）と、表示画面４２０に表示された患者情報とを、外科医その他の操作者に提供することができる。

図２Ｂは、ハンドル２００に除去可能に取り付けられるように構成された操縦可能シース１１０の例示の実施形態を示す。操縦可能シース１１０の湾曲セグメントは、遠位セクション１０１に配置された環状部品（リング１０１Ａ、リング１０１Ｂ等）と、中間セクション１０２に配置された環状部品（リング１０２Ａ、リング１０２Ｂ等）とによって形成されてよい。これらの環状部品は、ツールチャネル１０５を形成する中央開口と、各環状部品の壁に沿って中央開口の周りに長さ方向に配置された複数のコンジット１０６（溝、チャネル又はスルーホール）とを含む。非操縦可能な近位セクション１０３は、同じ中央開口又はツールチャネル１０５と、中央開口を囲む複数のコンジット１０６とを有する押出し管状シースから成る。このように、管状シース１１０内部の少なくとも１つのツールチャネル１０５は、内視鏡光学系及び／又は他の各種インターベンションツールの通路を提供する。内視鏡光学系は、照明光学系及び検出光学系を含んでよい。照明光学系は、照明光を発して関心領域又は標的部位８２に照射し、検出光学系は、関心領域からの反射光及び／又は散乱光を収集して、画像を形成する。標的部位８２又は関心領域は、患者８０の体腔８１に沿って位置する場合がある。

図２Ｃは、シースの長さ方向に沿って取った操縦可能シース１１０の断面サジタルビューを示す。操縦可能シース１１０は、その長さに沿って、１つ以上のＥＭセンサ１９０と、ツールチャネル１０５と、ワイヤコンジット１０６とを含む。インナーシース１１７は、シース内で引っ掛からないように、ツールチャネル１０５を通したインターベンション手術器具（エンドエフェクタ）の通過を容易にするために設けられる。操縦可能シース１１０の遠位セクション１０１は、その遠位端に、とりわけ、シース１１０の壁に固定的に取り付けられた１つ以上のセンサ１９０を含んでよい。図２Ｃに示される実施形態では、遠位セクション１０１は、シース１１０の遠位端において環状部品（例えばリング１０１Ａ）の壁内に、ワイヤコンジット１０６内部に配置された第１のセンサ１９０Ａ及び第２のセンサ１９０Ｂを含む。シースの他の都合の良い場所に、１つ以上の追加のセンサが配置されてよい。例えば、図２Ｂに示されるように、操縦可能セクションは、複数の環状部品（リング１０１Ａ、１０１Ｂ等）によって形成される遠位セクション１０１と、複数の環状部品（リング１０２Ａ、１０２Ｂ等）によって形成される中間セクション１０２とを含む。操縦可能セクションは、１つ以上の駆動ワイヤ２１０によって付加される作動力（押す力又は引く力）により、変曲点１０４で１つ以上の方向に湾曲可能である。したがって、ナビゲーション中にシース１１０の位置及び形状をトラッキングするために、中間セクション１０２及び／又は変曲点１０４に１つ以上の追加のセンサが設けられてよい。図２Ｃでは、２つの追加のセンサ１９０Ｃ、１９０Ｄが、中間セクション１０２のリング１０２Ｂの外表面上に設けられている。センサ１９０が、操縦可能シース１１０と標的部位８２の間の姿勢及び／又は位置の関係をマップするための正確な情報を提供できさえすれば、これらのセンサの配置は、特定の位置やセンサのタイプに限定されない。

一実施形態では、センサ１９０は、操縦可能カテーテルシース１１０の形状、位置及び／又は向きにより、ロボットコントローラ３２０（例えばゲームパッドコントローラやハンドル２００）の動作をマップするように構成されたＥＭセンサシステムの一部である。例えば、それぞれ６自由度（６ＤＯＦ）をもつ複数のＥＭトラッキングセンサを用いて、互いに独立して、カテーテルシースの中間セクション及び遠位セクションのねじれ、曲げ及び／又は回転の量を検出及び推定することができる。１つ以上のセンサ（例えば第１のセンサ１９０Ａ及び第２のセンサ１９０Ｂ）は、標的部位に対するシースの遠位先端の位置及び向きを検出及びトラッキングする。１つ以上の追加のセンサ１９０Ｃ、１９０Ｄは、シースの中間セクションの形状の変化（曲げ）又は変形（楕円化）を検出及びトラッキングすることができる。直径がサブミリメートルであり長さが約５ｍｍである典型的な６ＤＯＦＥＭセンサは、位置と向きの両方を測定することができる。したがって、ＥＭセンサの第１のペア（例えばセンサ１９０Ａとセンサ１９０Ｂ）は、標的部位に対するシースの遠位端の位置及び回転を測定することができ、追加のＥＭセンサ１９０Ｃは、カテーテルシース１１０の中間セクションの動作（曲げ、ねじれ、回転等）を測定することができる。このように、コントローラ３２０又はシステムプロセッサ若しくはＣＰＵ４１０によってこのようなＥＭセンサの信号を用いて、カテーテルシース本体の様々なセクションとシースの遠位端の形状、位置及び／又は向きの変化を、互いに独立して、正確にトラッキングすることができる。コントローラ３２０は、患者の生体構造の曲がりくねった管腔内進路をナビゲートするための適切なシャフト誘導を実施するために、アクチュエータ又はモータ（３１０）を能動的に駆動し、センサ（３０４又は１９０）を検知し、フィードバック信号３０５に従って動作することによって、各制御ワイヤ２１０を制御することができる。

制御ワイヤ２１０は、環状部品の壁に沿ってワイヤコンジット１０６のうちの１つ以上に通される。制御ワイヤ２１０の遠位端は、操縦可能セクションに沿った様々な点で、シースに固定的に取り付けられる。例えば、図２Ｃでは、制御ワイヤ２１０は、最も遠位のリング１０１Ａに、アンカーポイント２１３で取り付けられる。他の制御ワイヤ２１０は、同じように変曲点１０４に取り付けられる。また、ワイヤコンジット１０６は、他のタイプのワイヤを通すように機能する。例えば、図２Ｃに示されるように、コンジット１０６は、センサ１９０をアクチュエータシステム又はコンピュータシステムに接続するために用いられる電気ケーブル２１１を通すように機能する。

再び図２Ａを参照すると、ハンドル２００は、操縦可能器具１００とロボットアクチュエータシステム３００及び／又はロボットプラットフォーム９０との間の電気機械インタフェースを提供する。例えば、ハンドル２００は、機械接続、電気接続及び／又は光学接続のインタフェースと、操縦可能シース１１０をアクチュエータシステム３００及び／又はコンピュータシステム４００とインタフェース接続するためのデータ／デジタル接続とを提供することができる。また、ハンドル２００は、外科医又は操作者がツールチャネル１０５を通してエンドエフェクタツールを挿入する際に使用できる１つ以上の入力ポート２５０を提供することができる。ハンドル２００は、シース１１０の操縦可能セクション１０１を手動操縦するための１つ以上のダイヤル２５２を含んでもよい。「エンドエフェクタ」との用語は、手術器具の作業部分を指す。内視鏡手術器具としては、当技術分野の当業者に知られているように、検査中又は手術中に身体部分（器官や腫瘍組織）を操作するのに役立つ鉗子、把持器、はさみ、ステープラ、アブレーション針その他の同様のツールが挙げられる。

ロボットアクチュエータシステム３００は、アクチュエータユニット３１０及びマイクロコントローラ３２０を含む。アクチュエータユニット３１０は、モータ１～モータＭとして示される複数の作動モータ（又はアクチュエータ）を含んでよく、Ｍは、１よりも大きく、操縦可能シース１１０の各種セグメントを操縦するのに必要な制御ワイヤ２１０の数に等しい整数である。制御ワイヤ２１０は、シース１１０の操縦可能セクションに沿った様々な点で固定される。また、ロボットアクチュエータシステム３００は１つ以上のセンサ３０４を含む。センサ３０４は、アクチュエータユニットによって制御ワイヤ２１０に加えられる押す力又は引く力によってかかる圧縮力又は引張力を検出及び／又は測定するように機能するひずみセンサ及び／又は変位センサ（例えばホール効果センサ）を含んでよい。センサ３０４は、操縦可能シース１１０の操作（操縦）中に各制御ワイヤ２１０に加えられている圧縮力又は引張力の量（ひずみの量）に対応するフィードバック信号３０５を出力することができる。各制御ワイヤ２１０のセンサ３０４からの信号３０５は、マイクロコントローラ３２０に供給されて、各アクチュエータ又はモータが個別に制御される。このように、各制御ワイヤ２１０は、患者の生体構造の管腔内の蛇行進路を通して操縦可能シース１１０をナビゲートするために適切なシャフト誘導を実施するように、能動的に制御することができる。

一例では、シャフト誘導システムを使用する場合、操縦可能シース１１０は管腔８１を通ってロボット制御で前進し、センサ（３０４及び／又は１９０）は、カテーテル先端の挿入深さと、操縦可能セクションの角形成とを測定して、挿入軌道情報を取得する。軌道情報は、システムのメモリに記憶され、連続的に更新される。挿入距離を少し前進させた後、新しい形状が所望の軌道に厳密に一致するように器具のセグメントを調整する（ねじる及び／又は曲げる）ことにより、操縦可能シースの形状が修正される。このプロセスは、標的エリアに到達するまで繰り返される。操縦可能器具が患者から引き抜かれるときも、同じプロセスが適用される。これは、例えば米国第２００７／０１３５８０３号（あらゆる目的で参照により本明細書に援用される）に記載されるような、既知のナビゲーション技術に類似する。

再び図１を参照すると、除去可能なイメージングデバイスを用いるカテーテルシース（又はイメージングデバイスを用いないカテーテル）の場合、医師は、内視鏡検査手技を完了するためにＥＭトラッキングを当てにしなければならない。例えば、操縦可能シース１１０を用いて生検サンプルを採取する際、シースは、ツールチャネル内に生検ツールがない状態で、標的部位までナビゲートされる。シースが標的部位と位置合わせされた後、ナビゲーションにイメージングデバイス（カメラ）が用いられる場合、カメラが除去され、生検ツールと交換される。しかしながら、このツール交換により、カテーテルが元の位置からずれてしまうリスクがある。同じように、操縦可能シースの最初の挿入にカメラが用いられない場合でも、生検ツールの挿入により、シースの遠位端がその元の位置からずれる場合がある。リアルタイムＥＭ位置は、臨床医がカテーテル軌道を標的部位と位置合わせするのに役立ち得るが、臨床医には、挿入されたツールに対する標的部位の位置が、シースの遠位端が最初に標的部位と位置合わせされたときと同程度に理想的であるかどうかを判断する術がない。特に、最初のナビゲーションに内視鏡イメージングデバイスが用いられる場合でも、カメラと生検ツールの間の剛性の変化によって、カテーテルシースの形状は変化するものである。このような形状の変化は、標的部位に対するカテーテル先端の位置と向きの両方に影響を与える。

＜ゴーストツール情報に基づくリアルタイムのツール再位置合わせ＞
一実施形態によれば、操縦可能シースの遠位端が標的部位と位置ずれした場合、操縦可能シースの遠位端を位置合わせし直すための解決策は、ソフトウェアシステムに、仮想画像内にツールの‘ゴースト’（非リアルタイム）位置を表示させることである。このゴースト位置（ゴースト画像）は、シースの最初の挿入中にシステムによって記録された真の以前の位置、或いは、手技計画に基づいて提案された又は所望の位置とすることができる。このゴースト画像の外見は、両方の画像が同時に表示されたときにユーザがその２つを区別できるように、操縦可能シースのリアルタイム位置とは異なるように表示される必要がある。これは、例えばゴースト画像及び／又はリアルタイム画像の注釈（ＩＤ）、サイズ、形状、色又は不透明度の変更等、様々な方法で達成することができる。

＜初期位置の記録＞
一実施形態によれば、ソフトウェアシステム（すなわちＣＰＵ４１０）により、ユーザは、体腔の定期検査プロセス中の任意の時点でカテーテルシースの位置を記録することができる。また、ソフトウェアシステムは、特定の基準又はシナリオに基づいて、体腔に沿った疑わしい物体の位置を自動的に記録するようにプログラムされてもよい。初期位置を記録する使用事例シナリオのひとつは、体腔内の前進中にシースの進路に沿って１つ以上の関心ポイント（病変組織が疑われるポイント）をマークし、その後、更なる検査のために当該位置に戻ることである。別の使用事例シナリオは、イメージングデバイス１８０をインターベンションツール（例えば生検ツール）に交換する前にカテーテルシースの少なくとも一部の位置及び形状を記録するように、ソフトウェアシステムをプログラムすることであり得る。前述したように、カメラと生検ツールの間の剛性の差によって、カテーテルシースの形状が変化する可能性が高い。しかしながら、有利なことに、ソフトウェアシステムが仮想ビューで記録位置とリアルタイム位置を重ね合わせるようにプログラムされている場合、ユーザ及び／又はプロセッサ自体が、ツール交換によってどの程度のずれが生じたのかを特定することができる。

この機能の別の実施形態は、操縦可能シースのモード変更に適用することができる。例えば、ユーザが“ターゲティングモード”に入ったとき、ロボット支援内視鏡システムは、初期位置を記録し、ターゲティングモードが終了するまで手技をトラッキングすることができる。“ターゲティングモード”では、ユーザは、カテーテルシースが標的部位と位置合わせされるまで、操縦可能シースの遠位セクションと中間セクションの両方を制御することができる。しかしながら、ターゲティングモードを終了してフォローザリーダー（ＦＴＬ）モードに入るとき、カテーテルの形状は、初期形状と厳密には似ていない。結果として、逆ＦＴＬ（ｒＦＴＬ）（カテーテルを引き戻すとき、コントローラが、挿入中の対応するリニアステージ位置での形状と一致するように、カテーテルの形状を設定する）の間、スムーズな連続動作を保証することができない。本開示によれば、初期位置に位置合わせし直すひとつの方法は、ターゲティングモードの開始時、ターゲティングモードの終了時、場合によってはターゲティングモードの開始と終了の間の他のポイントで、位置を記録することである。そして、挿入進路及び／又は引抜き進路に沿ってリアルタイム位置を初期（記録）位置に戻すようにカテーテルシースを曲げる方法をユーザに指示するように、ソフトウェアシステムをプログラムすることができる。

＜位置合わせ支援＞
前述の例は、所望又は記録の初期位置にロボット支援器具の操縦可能シースを位置合わせし直すために、ゴースト画像を提供することが有利であり得る、ほんの数例のシナリオである。ユーザがリアルタイムのカテーテル位置をゴースト位置に合わせることを望むシナリオは、他にもたくさんある。別の使用事例シナリオは、例えば標的部位の生検サンプルを採取するための、カテーテルの‘理想的な’配置を表示することである。この位置は、病変の中心とより良好に位置合わせされるものとすることができ、或いは、病変までの進路内の重要構造を回避することを目的とすることができる。この場合、ソフトウェアシステムは、この理想的な位置を決定する際に、カテーテルと患者の管腔との両方の多くのパラメータを考慮してプログラムされる必要がある。

一方、例えば、カテーテルは、物理的に所望の向きに曲がることができなければならない。これを決定するために、ソフトウェアシステムは、カテーテルシースの剛性及び寸法と、湾曲セクション間の相対角度を知る必要がある。更に、カテーテルシースは、管腔の制約内に留まりながら、物理的に所望の位置に移動できなければならない。そのために、ソフトウェアシステムは、管腔の中心線からのシースのずれを最小限に抑えるようにプログラムすることができる。更に、繊細な標的部位（脳腫瘍等）を扱う場合、ソフトウェアシステムは、病変又は周辺構造から一定の距離範囲内にカテーテルシースを維持する必要がある。操縦可能シースの先端が標的部位に近すぎる場合、カテーテルシースは、ツールがシースを通過できないような角度で曲がったり、ツールを標的部位に位置合わせできないような角度で曲がったりしなければならない場合がある。他方、操縦可能シースの先端が標的部位から離れすぎている場合、曲げの角度は、シースがほとんど曲がる必要がないように制限することができるが、移動する軌道が長くなるので、ツールが標的からずれるリスクがある。したがって、本開示の少なくとも１つの実施形態によれば、ソフトウェアシステムは、リアルタイム位置がゴースト位置に一致するまで、ゴースト位置情報を反復的に用いて、シースの位置及び／又は向きを更新（操作）することによって正確なシースナビゲーションを提供するようにプログラムされる。

図３は、本開示の実施形態に係る例示のフロープロセス１３００を示す。図３は例示のワークフローであり、ユーザは、イメージングデバイス１８０（除去可能な内視鏡カメラ）を用いて、体腔８１（血管や気道）を通して操縦可能カテーテルシース１１０を標的部位８２（被検病変）までナビゲートし、カテーテルシースの位置を保存し、イメージングデバイスをインターベンションツールと交換してから、カテーテルシースを保存位置に戻すか位置合わせし直す必要がある。ワークフローは、以下のように大まかに概説することができる：カテーテルシースを病変までナビゲートし、カメラを用いてカテーテルシースを病変に位置合わせする第１のステップ；カメラが生検ツールと交換されることをソフトウェアシステムに“通知”する第２のステップ；ソフトウェアシステムにカテーテルシース位置を記録させ、表示画面の仮想ビューに“ゴースト画像”としてシース位置を表示させる第３のステップ；カメラを生検ツールと交換するようにユーザに促し、ツールの挿入をリアルタイムでトラッキングする第４のステップ；リアルタイム位置が記録された“ゴースト”位置からどの程度ずれているかを決定する第５のステップ；及び、カテーテルシースの中間セクション及び先端セクションを曲げて、リアルタイム位置を保存位置と位置合わせし直すように、シースを作動させる第６のステップ。

図３のワークフローは、前述の例に限定されない。より具体的には、ワークフロープロセス１３００は、ロボット支援内視鏡システム１０００のアクティブ状態を仮定しており、操縦可能シース１１０がハンドル２００に取り付けられ、ロボットプラットフォーム９０に装着されている。この状態で、ステップＳ１３０２において、コンピュータシステム４００のシステムプロセッサ又はＣＰＵ４１０が、患者情報４２１、術前画像４２４及び／又は術中誘導画像４２３を表示画面４２０に表示する（図１参照）。表示された画像から、医師は、シースの先端がナビゲートされる標的部位又は所望の位置を指定する。ステップＳ１３０４において、ロボット支援システムが、患者の管腔を通して標的部位まで操縦可能シース１１０をナビゲートする。このステップＳ１３０４は、ユーザの入力と、ハンドル２００を介したアクチュエータシステム３００の制御と連携して実行される。ステップＳ１３０６において、システムが、カテーテルシースの先端（遠位端）を標的部位と位置合わせする。このステップＳ１３０６では、システムは、計画軌道、術前画像４２４、術中画像４２３又はイメージングデバイス１８０（例えば内視鏡カメラ）を用いて、内視鏡の遠位端を標的部位８２と位置合わせすることができる。ステップＳ１３０８において、システムプロセッサ又はＣＰＵ４１０が、標的部位に関するシースの先端の位置及び／又は向きをメモリ４１１に記録（保存）する。ここで、シースの位置及び／又は向きの記録は、シースの先端のみに限定されない。シースの位置及び／又は向きは、患者の生体活動（例えば用途に応じて呼吸周期や心周期）に関連付けられた関係する周期的運動相との１つ以上の位置であり得る。したがって、ステップＳ１３０８では、“位置”は、一連の位置の間にカメラから軌道進路及び／又は標的が明確に見える場合、周期的な運動周期（運動波形が記録されている）中の当該一連の位置であってよい。運動としては、用途に応じて呼吸運動や心臓の動きが挙げられる。

ステップＳ１３１０において、システムプロセッサ又はＣＰＵ４１０が、シースの遠位端の記録された（所望の）位置を用いて、シース１１０の仮想画像（ゴースト画像）を生成する。このステップＳ１３１０では、プロセッサ又はＣＰＵ４１０は、ゴーストツール画像とその関連位置情報を表示画面４２０上に表示する。ステップＳ１３１２において、医師は、操縦可能シース１１０を通して実際のインターベンションツール（例えば生検ツール）を挿入するように促される。操縦可能シース１１０に除去可能なイメージングデバイス１８０が装着されている場合、ユーザはまず、イメージングデバイス１８０をシースから取り外してから、実際のインターベンションツールを挿入する。ステップＳ１３１４において、システムが、シースの壁に沿って配置された１つ以上の位置センサ及び／又は向きセンサ１９０を用いて、インターベンションツールの挿入をリアルタイムでトラッキングする。このステップＳ１３１４では、システムが、シース１１０を通して挿入されているインターベンションツールのリアルタイム表現（リアルタイム画像）を表示する。ステップＳ１３１６において、プロセッサ又はＣＰＵ４１０が、ゴースト画像によって表されたシースの記録（非リアルタイム）位置とリアルタイムツール位置が一致するかどうかを決定する。ステップＳ１３１６での決定が否である場合（Ｓ１３１６でＮＯ）、フロープロセスはステップＳ１３１８に進む。

ステップＳ１３１８において、システムプロセッサ又はＣＰＵ４１０が、リアルタイムのツール先端位置を記録されたゴーストシース位置と再位置合わせするためのアルゴリズムを実行する。このステップＳ１３１８では、プロセッサ又はＣＰＵ４１０は、ユーザに対して、リアルタイムツール画像を記録された非リアルタイムゴースト画像と位置合わせするように表示画面４２０のＧＵＩ上で操作するための表示を出力してよい。例えば、システムプロセッサ又はＣＰＵ４１０は、ゴースト画像とリアルタイムツール画像の間の差の距離及び角度を表示することができる。次に、ユーザは、ハンドル２００を介してロボットアクチュエータシステムを操作することによって、シースの位置及び／又は向きを操作することができる。或いは、システムは、表示画面４２０でＧＵＩを介してユーザからのインタラクティブな入力を受け入れるようにプログラムされてよい。この場合、ユーザは、リアルタイムツール画像を非リアルタイムゴースト画像に向けて動かす（例えばドラッグする）ことができ、プロセッサ又はＣＰＵ４１０は、ユーザ入力を、アクチュエータシステム３００にシース１１０を操作させる制御信号に変換するようにプログラムすることができる。システム及び／又はユーザが、リアルタイムツール位置が記録されたゴースト位置と所定の閾値内で一致すると決定するまで、これらのステップＳ１３１４～Ｓ１３１８は反復的に繰り返されてよい。すなわち、ステップＳ１３１６での決定が是である場合（Ｓ１３１６でＹＥＳ）、フロープロセスはステップＳ１３２へ進む。ステップＳ１３２０において、システムが、インターベンションツールが標的部位と正確に位置合わせされていると決定した後、システムは、挿入されたインターベンションツール（例えば生検針）を用いた手技（例えば生検手技）の完了へ進む。

少なくとも１つの実施形態によれば、“ゴースト画像”は、患者の生体活動周期（例えば呼吸や心拍の周期）の運動相に従って更新される“動く”画像であってよい。これは、生体内（ｉｎ－ｖｉｖｏ）インターベンション中に操縦可能シース１１０を通してインターベンションツールをナビゲートするときに有利であり得るので、ターゲティングは、計画位置とのシースのリアルタイム位置調整（位置＆向き）を行い、運動相との時間的な位置合わせを行うことを目的とする。したがって、ステップＳ１３１６では、リアルタイム表現が正確な運動相での位置のうちの１つに戻りさえすれば、ターゲティングを行うことができる。“非リアルタイムゴースト画像”は、リアルタイムカテーテル位置を空間と時間の両方で“ゴースト画像”と位置合わせできるように、一致する運動相に従って表示することができる。

図４Ａ及び図４Ｂは、ソフトウェアシステムがユーザに対して、１つ以上の標的部位８２に対するゴースト画像４３０とリアルタイム位置画像４３２の位置及び／又は向きの差を示すことができる方法の例を示す。図４Ａ及び図４Ｂは、それぞれ、ゴースト画像４３０とリアルタイム位置画像４３２の上面斜視図と側面斜視図を示す。これらの図に示されるように、ソフトウェアシステムは、選ばれた標的部位に関するリアルタイム画像とゴースト画像の間の差の測定値を表示することができる。図４Ａでは、表示画面４２０の表示セクション４４２は、「ゴースト位置差：１９．９７」や「ゴースト角度差：１０．１０」等、リアルタイム画像とゴースト画像の間の位置及び向きの差についての情報を示す。これにより、シース１１０のリアルタイムの位置及び向き（リアルタイム画像４３２によって表される）が、所望又は記録の位置（ゴースト画像４３０によって表される）から１９．９７ミリメートルと１０．１度シフトしていることが、ユーザに通知される。表示画面４２０は、リアルタイム画像を上方向（Ｕ）、下方向（Ｄ）、左方向（Ｌ）及び右方向（Ｒ）に動かすための矢印キーを含むグラフィカルユーザインタフェース（ＧＵＩ）４４０を提供する。図４Ｂでは、表示画面４２０はＧＵＩ４４１を示し、ＧＵＩ４４１は、画面セクション４４２に示される差異測定値が所定の閾値を満たすまで、ユーザがシース１１０のリアルタイム位置を前方（Ｆ）及び後方（Ｂ）に移動できるようにするインタラクティブな矢印キー、及び／又は、ユーザがシース遠位先端を時計回り（ＣＷ）又は反時計回り（ＣＣＷ）の方向に動かし、回転させ、又はねじることができるようにする矢印キーを提供することができる。

ユーザ又はソフトウェアシステム（手技計画に基づく）は閾値を設定することができ、閾値に基づいて、非リアルタイム位置（ゴースト画像）とリアルタイム画像（リアルタイムツール位置）の間のずれが、手技を安全に完了できるような無視できる程度であるとみなされる。ソフトウェアは、次に、ずれがこの閾値を越えたときをユーザに示すことができる。リアルタイムツール位置を記録、計画或いは所望のシース位置と比較することは、シースを通したインターベンションツールのアクティブ挿入中に発生するので、正しい位置合わせ（又は位置ずれ）の表示は、閾値を越えた時点（閾値内から閾値よりも大きい方へ、逆も同様）のみ、或いはずれが閾値内に留まっている期間のみに発生するように設定されてよい。この表示は、例えば、閾値に達したときにユーザに対して提供されるアラート又は通知の形式での聴覚的、視覚的或いは触覚的なフィードバックであってよい。一実施形態では、視覚的な表示は、ゴースト画像４３０及び／又はリアルタイム画像４３２の視覚的外見の変化であってよい。外見の変化は、閾値を越えたときの視覚的外見の個別の切り替えであってもよいし、或いは、ずれの量に基づく段階的な変化であってもよい。別の可能性は、ゴースト画像４３０とリアルタイム画像４３２のモデルの視覚的特性を融合させることである。例えば、ゴースト画像４３０が黄色（第１の色）であり、リアルタイム画像４３２が青色（第２の色）である場合、それらが交わる（重なる）部分は緑色（第３の色）になることができる。このように、ユーザに、所望又は計画の位置とリアルタイム位置との間の再位置合わせが成功したことを、アクティブかつ明確に通知することができる。当然のことながら、図４Ａ及び図４Ｂを参照すると、「位置」との用語は、表示画面４２０上でのリアルタイム画像４３２の位置に関するゴースト画像４３０の位置を指す。ただし、操縦可能カテーテルシース１１０と、シースを通して挿入されるインターベンションツールに関しては、位置合わせは、シースの遠位先端と標的部位の間の位置及び向きの関係の記録（非リアルタイム）座標とリアルタイム座標を“一致”させることを指す。言い換えれば、表示画面４２０がゴースト画像とリアルタイム画像の間の２Ｄ位置の差を示すことができる一方、所望又は記録の座標と、標的部位に関するシース１１０のリアルタイム座標との間の差は、３Ｄ空間において考慮される。よって、ソフトウェアシステムにより、ユーザができるだけ多くのビューで再位置合わせを観察できるようにすることが重要である。図４Ａと図４Ｂは、例として上面斜視図と側面斜視図を示すが、断面図等の他のビューもユーザが利用可能である。

図５Ａは、ソフトウェアシステムがユーザに対して、ゴースト画像４３０（記録されたシース位置及び／又は向き）とリアルタイム画像４３２（リアルタイムのシース位置及び／又は向き）の差が特定の閾値内にあるときを示すことができる方法の例を示す。図５Ａに示される例では、表示画面４２０は、リアルタイム画像４３２（赤い円）が、ゴースト画像４３０（青い円）の所望の位置に近付いて重なるにつれて、完全な不透明から完全な透明に徐々に変化することを示している。更に、ソフトウェアシステムは、表示画面に、どの画像を他の画像に再位置合わせすべきかをユーザに通知するためのインジケータ４２６（例えば矢印）を表示させることができる。また、表示画面４２０は、ゴースト（非リアルタイム）画像とリアルタイム画像の間の距離や角度差等の具体的情報を提供することもできる。この例では、位置１において、インジケータ４２６は、リアルタイム画像４３２を動かすべき方向及び大きさ（矢印のサイズによって表される）を示す。位置２において、矢印インジケータ４２６のサイズは小さくなり、これは、２つの画像間の距離が互いに相対的に近くなっていることを示す。最後に位置３において、２つの画像が所定の閾値（Ｔｈ）内で重なり合うと、インジケータは確認マーカ（チェックマーク）になるので、位置合わせが完了したことをユーザに通知することができる。位置３では、２つの画像が閾値（Ｔｈ）内で十分に重なることができない場合、確認マーカは、チェックマークの代わりに“Ｘ”形状のマークになることができる。表示画面４２０は、ユーザがリアルタイム画像４３２をゴースト画像４３０に向けてインタラクティブに動かせるようにするためのＧＵＩ５４０を提供する。ＧＵＩ５４０は、図４Ａに示されるＧＵＩ４４０と同様である。表示セクション５４２は、ＥＭセンサによって検出されたシースの位置及び向きに基づいて、リアルタイム画像とゴースト画像の間の測定された位置及び向きの差を提供する。ユーザがリアルタイム画像をゴースト画像に向けて動かし、それによって非リアルタイム位置をシースのリアルタイム位置と位置合わせすると、表示セクション５４２は、測定値が所定の閾値（完全な再位置合わせの約１％～１０％であってよい）の範囲内まで減少したことを示す。

図５Ｂは、ソフトウェアシステムがユーザに対して、ゴースト画像４３０とリアルタイム画像４３２の位置及び向きの差が特定の閾値内にあるときを示すことができる方法の例を示す。図５Ｂによれば、システムは、複数のドット５０１によって表されるテクスチャの形式で角度差を示すことにより、ゴースト画像４３０とリアルタイム画像４３２の間の向きの差をユーザに示すことができる。ここで、リアルタイム画像４３２上の“ドット”５０１のようなテクスチャパターンは、２つの画像の向きの角度差を表すことができ、ドットが少ないほど角度差が小さいことを表す。したがって、リアルタイム画像４３２がゴースト画像４３０と位置合わせされるにつれて、ドット５０１の数は少なくなる。最終的に、位置と角度の両方の差をできるだけゼロに近付けるように調整することが重要である。

本開示の他の箇所で述べたように、図５Ａ及び図５Ｂに示される例は、リアルタイムツール位置（リアルタイム画像）と記録、所望又は計画のシース先端位置（非リアルタイムゴースト画像）の位置と向きの両方を“一致”させるための再位置合わせを示す。図５Ａ及び図５Ｂでは、赤い円（４３２）がシースの非リアルタイムゴースト画像を表し、青い円（４３０）がシースのリアルタイム位置（リアルタイム画像）を表すように、ゴースト画像とリアルタイム画像が逆にされてもよい。その場合、リアルタイム位置画像がゴースト画像に近付いて重なるにつれて、ゴースト画像の透明度が徐々に高くなることになる。これはまた、矢印（インジケータ４２６）が逆方向（図では右から左）を指し示し、青い円が赤い円に重なるまで右から左に動くことになることを意味する。更に、ソフトウェアシステムが、リアルタイム位置をシースの非リアルタイム位置と再位置合わせするための明確な表示を提供しさえすれば、ゴースト画像及びリアルタイム画像の形状は円に限定されない。ただし、位置合わせステップは、やはり、実質的に図３のワークフローに概説されるように発生する。

ソフトウェアはまた、他の命令及び／又は特定の画像視点を通して、ユーザがリアルタイム位置をゴースト位置と位置合わせするのを支援することができる。ソフトウェアシステムがユーザを誘導できるひとつの方法は、ユーザがカテーテルシース１１０の各セクションを曲げるべき方向を示す矢印を有することによるものである。このような矢印を提示する最適な方法は、一人称ビューである。例えば、一実施形態では、システムは、ゲームパッドコントローラの制御ジョイスティック方向に対応する矢印を示すことができる。別の実施形態では、矢印は、上面図／側面図／正面図の組合わせを示すことによって提示することができるので、ユーザは、全ての方向にどの程度の変位が存在するのかを視覚的に知ることができる。図４Ａ、図４Ｂ及び図５Ａ～図５Ｂは、ユーザがリアルタイム位置画像をゴースト画像と再位置合わせできるように、ソフトウェアシステムがツール変位の表示を表示できる方法の一部の例を示す。なお、図４Ｂの表示セクション４４２と図５Ａ～図５Ｂの５４２に示される角度値は、必ずしもカテーテルの時計回り／反時計回りの動きを指すとは限らない。代わりに、このような値は、カテーテルの遠位先端のヨー／ピッチ角度（結合値）を指すことができる。ただし、少なくとも一部の実施形態では、カテーテルのロール値も提供されてよい（ｃｗ／ｃｃｗ値として表すことができる）。

カテーテルシース１１０のリアルタイム位置と所望の位置の間の位置合わせのずれ（位置ずれ）は、位置と向きの両方のパラメータで発生し得るので、ソフトウェアシステムは、ユーザがこのようなずれを特定の順序で修正するのを支援するようにプログラムされてよい。図６Ａ及び図６Ｂは、ソフトウェアシステムが、ユーザが特定の順序でずれを修正するのを支援することができる方法の例を示す。図６Ａ及び図６Ｂにおいて、ソフトウェアシステムは、異なる色の円で表された各操縦可能セクションの端部を表示している。遠位セクション１０１の遠位端（シースの先端）は第１の色（緑）の円として表示され、中間セクション１０２の遠位端は、第２の色（赤）の円として表示される。追加のセクション（又は、各種セクション間の追加の変曲点）は、他の色、サイズ又は表現で表示されてよい。マルチセクションカテーテルシース１１０では、例えば、図２Ｂに示されるように、操縦可能セクションは連結ジョイント１０４によってつながれ、各セクションは別々に制御することができる。そのようなマルチセクションカテーテルシースでは、遠位セクション１０１を作動させることは、シースの先端の位置と向きの両方に影響を与え、中間セクション１０２を曲げることは、主に先端の位置（場所）に影響を与える。したがって、少なくとも１つの実施形態によれば、システムがユーザに対して、最初に遠位セクションを制御することによって先端の向きを調整し、次に中間セクションを制御することによって先端の位置を調整するように指示することが、より効率的であり得る。

図６Ａは、ソフトウェアシステムがインジケータ４２６（左から右の第１の方向の矢印）を表示して、ユーザに、これが、遠位セクション１０１の先端のリアルタイム画像４３２（緑の円）の位置及び向きをゴースト画像４３０（青い円）の位置及び向きと再位置合わせする第１のステップ（ステップ１）であることを通知する場合の例を示す。この場合、ユーザは、リアルタイム画像４３２（緑の円）をゴースト画像４３０（青い円）に向けて、２つの画像が重なるまでドラッグすることができる。図６Ｂは、ソフトウェアシステムが矢印インジケータ６２６を表示して、ユーザに、これが、中間セクション１０２のリアルタイム画像６３２（赤い円）の位置のみをゴースト画像６３０（青い円）の位置と再位置合わせする第２のステップ（ステップ２）であることを通知する場合の例を示す。所定の又は好ましい順序で位置合わせステップが実行される場合、ソフトウェアシステムは、事前に定められた順序から外れて位置合わせステップが実行されることを許可しない場合がある。つまり、ソフトウェアは、遠位セクション１０１の位置及び向きが完成した後にのみ、中間セクション１０２の位置合わせを許可するようにプログラムされてよい。ただし、ソフトウェアシステムがどのようにプログラムされるかに応じて、逆もまた真であってよい。すなわち、ソフトウェアは、遠位セクション１０１の位置及び向きが完成する前に、中間セクション１０２の位置合わせを許可するようにプログラムされてよい。

言い換えれば、カテーテルシースの遠位セクション（先端）及び中間セクションが予め定められた順序を外れて正しく再位置合わせされることは、不可能ではない。一部の実施形態では、あるセクションが最初に制御される順序は、関係がない場合がある。実際、両セクションは両方とも同時に制御することができる。しかし、ソフトウェアはユーザに対して、所望の再位置合わせに到達するために各セクションがそれぞれの曲げ量／方向をもつ必要があることを伝えなければならないので、ワークフローの目的では、システムの表示画面でリアルタイムフィードバックを観察しながら、一度に１つのセクションを制御することによって再位置合わせを実行するように、ユーザに指示することが最も簡単であり得る。

図７Ａ及び図７Ｂは、ソフトウェアシステムがユーザに対して、１つ以上の標的部位８２に対するゴースト画像４３０とリアルタイム位置画像４３２の位置及び／又は向きの差を示すことができる方法の別の例を示す。図７Ａは、リアルタイム画像４３２（紺色）によって表されたシース１１０のリアルタイム位置を示すことを意図している。図７Ｂには、ゴースト画像４３０（水色）によって表された提案／所望／理想のゴースト位置が加わり、ここでは、カテーテル寸法と管腔サイズを考慮して簡略化されたモデルとして提示されているが、ＥＭセンサ位置や運動学的制限等のより多くの因子を含める必要がある。これは、理想の位置がどのように中心線（Ｌｘ）に沿うとともに管腔８１の境界内に留まり、標的部位８２までの距離４２６を最小化するのかを示す。ゴースト画像４３０は、進路に沿って更に移動することによって標的部位８２に近付くことができるが、カテーテルの角度（α）により、カテーテルは管腔８１の壁と衝突することになる。

＜複数のゴースト画像の記録及び表示＞
図８は、複数のゴースト位置とリアルタイム位置を同時に表示画面４２０に表示する例を示す。シース先端の複数の記録又は計画されたゴースト位置は、ゴースト画像１（４３０Ａ）、ゴースト画像２（４３０Ｂ）、ゴースト画像３（４３０Ｃ）及びゴースト画像４（４３０Ｄ）として表示される。また、システムは、“リアルタイム”のシース位置をリアルタイム画像４３２として表示する。図８の左上から時計回りに、ゴースト画像は、以下のように、互いに区別され、リアルタイム画像４３２と区別される：ゴースト画像４３０Ａはワイヤフレーム画像として示され、ゴースト画像４３０Ｂは透明画像として示され、ゴースト画像４３０Ｃは異なるサイズで示され、ゴースト画像４３０Ｄは、リアルタイム画像４３２とは異なる色で示される。

少なくとも１つの実施形態によれば、ユーザは、必要な数の記録位置を作成することができ、それぞれ、固有の注釈（ＩＤ）、名称、色、形状等をもつゴースト位置として提供することができる。ユーザはまた、必要に応じて、記録されたゴースト位置の各々を選択的に非表示にしたり表示したりすることができる。更に、システムは、ユーザが、どの１つの複数のゴースト位置（どのゴースト画像）が前述の再位置合わせ手技の間に“アクティブ”のままであるかを選択又は指定できるようにすることができる。アクティブ又は非アクティブのゴースト画像は、システムソフトウェアによって、例えば、どのゴースト画像位置が再位置合わせの所望の閾値表示を満たすのかを決定することによって、自動的に指定することができる。

一実施形態によれば、カテーテルシース１１０からイメージングデバイスが除去された後、実際のインターベンションツールがシースを通って標的部位に向かって進んでいるとき、システムは、ユーザがそうすることを選んだ場合、リアルタイム位置ではなく記録位置を用いて仮想ビューを提供することができる。例えば、記録位置の１つが手技の早い段階で気道の特定の部分を狙っていた場合、ユーザは、記録された位置／方向で仮想一人称カメラビューに切り替えて、何が検査されていたかを思い出すことができる。仮想一人称カメラビューは、３Ｄ解剖モデル内のＥＭトラッキング対象のカテーテルシースの先端に置かれ、このカメラビューは、イメージングデバイスが最初に用いられたときに取得された記録された内視鏡ビューと一致する必要がある。仮想一人称ビューは、リアルタイムで（リアルタイムＥＭ位置を用いて）示されてよく、また、リアルタイム内視鏡画像に理想的に一致する必要がある。システムがこの一人称ビューをゴースト位置に対応させる実施形態では、一人称ビューは、ゴーストが作成されたのと同じ時点で内視鏡ビューと一致する。

複数のゴースト画像の使用は、臨床医が複数の生検を行っている使用事例シナリオにおいて有利であり得る。このシナリオでは、ユーザは、各生検サンプル中にカテーテルシースの位置を記録することができ、或いは、ソフトウェアシステムは、各生検サンプルの位置を自動的に記録するようにプログラムされてよい。これは、臨床医が、次のサンプルが前回の試行から安全な距離にあり、以前のサンプリング領域と重ならないことを確認するのに役立つ。ユーザは、将来の参照のために、記録位置の対応する名称／ＩＤを用いて、実際のサンプルの各々にラベルを付けることもできる。これは、例えば、病理の後に、病変のどこに癌が見つかったかを付記するのに役立ち得る。

更に、ソフトウェアシステムは、複数の生検サンプル用に複数の理想ゴースト画像を作成するようにプログラムされてよく、このようなゴースト画像は、サンプルに重複がないことを確実にするように配置されてよい。この場合、ソフトウェアは、各サンプルの後に‘アクティブ’なゴーストを自動的に変更することができ、また、それに従ってゴーストを自動的に表示／非表示にすることができる。

＜ゴースト位置の連続記録＞
一部の実施形態では、ソフトウェアシステムは、カテーテルシースの挿入進路に沿って一連のカテーテル位置をキャプチャすることもできる。カテーテルシースの挿入進路に沿った位置は、内視鏡カメラによって、かつ／又は、シース上に配置された１つ以上のＥＭセンサによって、キャプチャすることができる。このようなキャプチャの間隔は、ユーザの都合のいいように調節可能であってよい。例えば、カテーテルの位置は、ナビゲーションシーケンス中の所定の時間ごと（数秒ごと、例えば１秒ごと）に記録することができる。この一連のゴースト位置の全ての外見は、まとめて変更することもできるし、個別に変更することもできる。ユーザはまた、全てのゴースト画像を一度に表示することもできるし、選択的に個別に表示又は非表示にすることもできる。上記の例を用いると、ユーザは、記録の全てを一度に表示して、カテーテルの先端が標的部位に到達するまでに辿った進路を可視化することができる。

また、ソフトウェアは、一連の各位置を、それらが記録された間隔で、或いは任意の所望の間隔で、循環することができる。再び上記の例を用いると、ユーザは、挿入進路を進んでいくカテーテルのアニメーションを見ることになる。ソフトウェアは、再生が一連の各位置を循環するときに、ゴースト画像の位置を仮想カメラビューに適用することができる。同じ例を用いると、ユーザは、仮想一人称カメラビューを通して挿入軌道の再現を見ることになる。或いは、カテーテルシースが最初に内視鏡カメラを用いてナビゲートされた場合、ユーザは、実際の内視鏡カメラの記録の再生を見ることができる。更に、システムは、仮想進路及び記録された内視鏡ビューを表示（リプレイ）するようにプログラムされてよい。

また、ソフトウェアが再生中に一連の位置を循環するとき、ソフトウェアは、各記録位置を再位置合わせについて“アクティブ”に設定することができる。再生を用いると、ユーザは、周期を通したずれ測定値の変化を見ることが可能である。ゴースト位置の連続記録の使用事例シナリオのひとつは、患者の呼吸周期全体を通して、臨床医のナビゲーション／ターゲティングを支援することである。例えば、特定の呼吸相で病変がカメラを用いて位置合わせされたときに、臨床医がカテーテル先端の位置を記録した場合、他の呼吸相で病変が動いて位置合わせからずれる可能性がある。リアルタイム位置を記録位置と比較することは、患者が呼吸周期のどこにいるかを臨床医が特定するのに役立ち、臨床医は、リアルタイム位置と保存位置が再位置合わせされるときに、対応する呼吸相で病変が軌道と位置合わせされることを知ることができる。また、リアルタイム位置のトラッキングにより、呼吸周期の全可動域を示すことができ、カメラがカテーテル内で静止している場合は、臨床医に対して、どのポイントで病変が軌道と位置合わせされているか或いは位置合わせされていないかを明らかにすることができる。

図９Ａ及び図９Ｂは、システムが、リアルタイムカテーテル位置を事前記録又は計画されたゴースト位置と位置合わせするために仮想一人称カメラビューを提供するように構成された、例示の実施形態を示す。図９Ａは、管腔８１（例えば患者の気道）を通って標的（例えば第１の気管分岐部）に向かって進む仮想リアルタイム画像４３２を表示している表示画面４２０を示す。図９Ｂは、カテーテルシースの遠位先端に位置するカメラの一人称ビュー（ＦＰＶ）を表示している表示画面４２０を示す。ユーザは、カテーテルシースの遠位先端を第１の気管分岐部の１つの分岐に向けて位置合わせし、方向付ける必要がある。そのために、矢印インジケータ９２６、９２８を用いて、ユーザがリアルタイム位置をゴースト位置（計画又は事前記録された位置）と再位置合わせするのを支援することができる。当然のことながら、表示されるＦＰＶは、仮想画像のみである必要はなく、実際の内視鏡画像をゴースト画像上に重ねることもできる。図９Ｂでは、ＦＰＶの矢印インジケータ９２６、９２８により、ユーザに、カテーテルセクションを曲げる方向（ジョイスティックコントローラを押す方向にも対応する）を知らせることができる。制御可能セクションごとに異なる矢印が存在してよい。この例では、直立の矢印９２６（赤）は先端の制御用であってよく、横の矢印９２８（緑）は、カテーテルシースの中間セクションの制御用であってよい。矢印９２６、９２８は、ゴースト画像までの距離に基づいて変化してよい。例えば、矢印の方向は、所望の標的を含むカテーテル視点（ゴースト画像）に応じて変化し、矢印の大きさ（サイズ）は、正しい位置合わせまでの距離を反映することができる。その場合、カテーテル又はツールのリアルタイム位置がゴースト画像に近付けば近付くほど、矢印は短くなり、位置合わせが所望の閾値内になったときに消える。図９Ｂでは、ゴースト画像（又は所望の標的）は、気管分岐部の分岐のうちの１つ（すなわち標的８２Ａ又は標的８２Ｂ）によって表すことができる。

図１０は、システムが、患者の生理活動に対応する周期運動波形を記録するように構成され、プロセッサが表示画面に、周期運動波形の１つ以上の周期内での運動相の差に関連する非リアルタイム挿入軌道及びリアルタイム挿入軌道を出力する、例示の実施形態を示す。図１０によれば、システムのプロセッサは、リアルタイム挿入軌道が所望の標的と位置合わせされるように、リアルタイム挿入軌道に沿ってシースの遠位セクションを操作する方法をユーザに通知するために、ナビゲーション誘導データを表示画面に更に出力するようにプログラムされる。

より具体的には、図１０は、カテーテルのリアルタイム画像４３２が、完全呼息と中間期には標的８２と位置合わせされるが、完全吸息では標的８２と位置合わせされないことを示している。これを決定するひとつの方法は、１つ以上の周期（呼吸周期）中にカテーテル内にカメラを配置し、カテーテルシースの遠位先端が病変（標的８２）と位置合わせされたかどうかを視覚的に観察することである。次に、この知識（事前記録されてよい）を用いて、ソフトウェアシステムは、リアルタイムカテーテルがどのゴーストに最も近いのかを検出することによって、呼吸周期の相を検出することができる。カテーテルのリアルタイム画像が、位置ずれしていることが分かっているゴースト画像（例えば図１０の完全吸息位置）に最も近い場合、ソフトウェアは、医師に対して、正しく位置合わせされる位置の近くまでカテーテルのリアルタイム位置が戻るまでサンプルを採取しないよう、アラートを発することができる。生体周期運動波形は、所与の対象（患者）では実質的に一様であることが知られているので、生体周期運動波形の少なくとも１つの周期を記録し、その波形をゴースト画像データと相関させて、ナビゲーション誘導データを表示して、リアルタイム挿入軌道が所望の標的と位置合わせされるように、リアルタイム挿入軌道に沿ってシースの１つ以上のセクションを操作する方法をユーザに通知することが有利であり得る。

ソフトウェア関連の開示
本開示の実施形態は、記憶媒体（より完全には「非一時的コンピュータ可読記憶媒体」と呼ぶこともできる）に記録されたコンピュータ実行可能命令（例えば１つ以上のプログラム）を読み出し実行して、前述の実施形態のうち１つ以上の機能を実行し、かつ／又は、前述の実施形態のうち１つ以上の機能を実行するための１つ以上の回路（例えば特定用途向け集積回路（ＡＳＩＣ））を含むコンピュータシステム４００又は装置によって実現することもできるし、また、コンピュータシステム又は装置が、記憶媒体からコンピュータ実行可能命令を読み出し実行して、前述の実施形態のうち１つ以上の機能を実行すること、及び／又は１つ以上の回路を制御して、前述の実施形態のうち１つ以上の機能を実行することによって実行される方法によって実現することもできる。コンピュータシステムは、１つ以上のプロセッサ（例えば中央処理装置（ＣＰＵ）４１０、マイクロ処理ユニット（ＭＰＵ））を含んでよく、コンピュータ実行可能命令を読み出して実行するための別個のコンピュータ又は別個のプロセッサのネットワークを含んでよい。コンピュータ実行可能命令は、例えばネットワークク又は記憶媒体から、コンピュータに提供することができる。記憶媒体は、例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、分散コンピューティングシステムのストレージ、光ディスク（コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）又はＢｌｕ－ｒａｙ Ｄｉｓｃ（ＢＤ）（商標）等）、フラッシュメモリデバイス、メモリカード等のうち１つ以上を含んでよい。Ｉ／Ｏインタフェースは、入出力デバイスに対して通信インタフェースを提供するために用いることができ、入出力デバイスとしては、キーボード、ディスプレイ、マウス、タッチスクリーン、タッチレスインタフェース（例えばジェスチャー認識デバイス）、印刷デバイス、ライトペン、光学式ストレージデバイス、スキャナ、マイクロフォン、カメラ、ドライブ、通信ケーブル及びネットワーク（有線又は無線）が挙げられる。

他の実施形態、変更及び／又は利点
本明細書に開示される様々な実施形態には、アクチュエータに取付可能な近位セクションと、患者の管腔に挿入可能な遠位セクションとを有するカテーテルシースを制御するための内視鏡ナビゲーション誘導を提供するシステム、方法及びコンピュータ可読媒体が記載される。シースは、管腔を通して挿入され、標的部位に関して位置関係に維持されるように有利に制御することができる。シースは、それを取り外すことなく、様々な構成で動作することができる。

具体的には、プロセッサは、管腔を通してシースを挿入するユーザにナビゲーション誘導を提供するために、ＥＭセンサシステム及びアクチュエータと作動的に連絡している。プロセッサは、以下のようにプログラムされる：管腔を通してシースを挿入するとともにシースの遠位セクションを標的部位と位置合わせするための非リアルタイム挿入軌道についての第１のデータに基づいて、ゴースト画像を生成する；シースのツールチャネルを通して標的部位に向けてインターベンションツールを挿入するためのリアルタイム挿入軌道についての第２のデータに基づいて、リアルタイム画像を生成する。第２のデータは、シースを通してインターベンションツールを誘導し、シースの遠位セクションを標的部位に向けて誘導する間に、ＥＭセンサシステムによって取得される。表示画面は、リアルタイム画像がゴースト画像の少なくとも一部と重なるとともに、リアルタイム挿入軌道が非リアルタイム挿入軌道と位置合わせされるように、標的部位に向けてシースの遠位セクションを操作するための情報を、ユーザに対して表示する。

ゴースト位置と、リアルタイム画像とゴースト画像の間の差は、ＥＭセンサによって提供される位置情報に基づいて、フォワードキネマティクスによって決定される。内視鏡イメージングデバイス（内視鏡カメラ）は、ツール交換の変更におけるその役割がユーザ誘導を提供することであるので、必ずしも“ツール”そのものとはみなされない。

提案位置に到達することが難しい場合であっても、ゴースト画像は、提案／所望／理想の位置に提示される場合、生検ツールの交換前にカテーテル遠位端を操作しようとする労力を節約することができる。しかしながら、生検ツールを伴うシースの全体的な特性（剛性や柔軟性等）の変化によってそれは起こり得る。

説明に言及する際、開示する例を完全に理解できるようするために、具体的な詳細が記載される。他の例では、本開示を不必要に長くしないように、周知の方法、手順、コンポーネント及び回路は、詳細には説明されない。本明細書において別段の定義がされない限り、本明細書で使用される全ての技術用語及び科学用語は、本発明が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。本発明の広さは、本明細書によって限定されるのではなく、むしろ、採用される特許請求の範囲の用語の平易な意味によってのみ限定される。

図面に示された例示の実施形態を説明する際、分かりやすくするために、具体的な専門用語が使用される。しかしながら、本特許明細書の開示はそのように選択された具体的な専門用語に限定されることを意図するものではなく、当然ながら、具体的な要素の各々は、同様に動作する技術的な均等物を全て含む。

本開示は、例示の実施形態を参照して説明されたが、当然のことながら、本開示は、開示された例示の実施形態に限定されない。例えば、本開示は、例示の実施形態に関して先に説明された。しかしながら、本開示を適用可能であり得る、具体的に記載されていない多くの変形がある。例えば、医療手技で使用するための内視鏡に関して様々な実施形態が記載されているが、本開示は、様々な機械的構造内で使用するためのボアスコープの機械的手技に関しても適用可能である。したがって、以下の特許請求の範囲は、そのような変更並びに均等の構造及び機能を全て包含するように、最も広い解釈が与えられるべきである。

図１は、手術室等の医療環境におけるロボット支援内視鏡システム１０００の例示の実施形態を示す。 図２Ａは、機能ブロック図で表されるロボット支援内視鏡システム１００ ０の例示の実施形態を示す。 図２Ｂは、マルチセグメント操縦可能シース１１０の例示の実施形態を示 す。 図２Ｃは、ＥＭセンサ１９０、ツールチャネル１０５及びワイヤコンジッ ト１０６を示す操縦可能シース１１０の断面図を示す。 図３は、"ゴースト画像"によって表される非リアルタイムシース位置情報と、リアルタイム画像によって表されるリアルタイムシース位置情報とを用いるロボット支援内視鏡の管腔内ナビゲーションのワークフロープロセス１３００を示す。 図４Ａ及び図４Ｂは、ソフトウェアシステムがユーザに対して、１つ以上の標的部位８２に対するゴースト画像４３０とリアルタイム画像４３２の位置及び／又は向きの差を示すことができる方法の例を示す。 図５Ａは、ソフトウェアシステムがユーザに対して、ゴースト画像４３０の位置とリアルタイム画像４３２の位置の差が特定の閾値内にあるときを示すことができる方法の例を示す。図５Ｂは、ソフトウェアシステムがユーザに対して、ゴースト画像４３０とリアルタイム画像４３２の位置及び向きの差が特定の閾値内にあるときを示すことができる方法の例を示す。 図６Ａ及び図６Ｂは、ソフトウェアシステムが、ユーザが特定の順序で操縦可能シースのずれを修正するのを支援することができる方法の例である。 図７Ａ及び図７Ｂは、ソフトウェアシステムがユーザに対して、１つ以上の標的部位８２に対するゴースト画像４３０とリアルタイム画像４３２の位置及び／又は向きの差を示すことができる方法の別の例を示す。 図８は、ソフトウェアシステムが、リアルタイム画像４３２によって表されるリアルタイムシース位置と、複数のゴースト画像４３０によって表される複数の非リアルタイム（記録された又は計画された）シース位置との間の差を表示することができる方法の例を示す。 図９Ａ及び図９Ｂは、システムが、リアルタイムカテーテル位置を事前記録又は計画されたゴースト位置と位置合わせするために仮想一人称カメラビューを提供するように構成された、例示の実施形態を示す。 図１０は、システムが、患者の生理活動に対応する周期運動波形を記録するように構成され、プロセッサが表示画面に、周期運動波形の１つ以上の周期内での運動相の差に関連する非リアルタイム挿入軌道及びリアルタイム挿入軌道を出力する、例示の実施形態を示す。

Claims (12)

1. 内視鏡ナビゲーション誘導を提供するように構成されたシステムであって、
   アクチュエータに取付け可能な近位セクションと、患者の管腔内に挿入可能な遠位セクションとを有するシースであって、前記シースはツールチャネルを有し、前記アクチュエータから作動力を受け取って、前記シースの前記遠位セクションを前記管腔を通して標的部位に向けてナビゲートするように構成される、シースと、
   前記標的部位に対する前記シースの位置関係を検出するように構成されたセンサシステムと、
   前記管腔を通して前記シースを挿入するユーザにナビゲーション誘導を提供するために、前記センサシステム及び前記アクチュエータと作動的に連絡するプロセッサと、
   を備え、
   前記プロセッサは、
   前記管腔を通して前記シースを挿入するとともに前記シースの前記遠位セクションを前記標的部位と位置合わせするための非リアルタイム挿入軌道についての第１のデータに基づいて、ゴースト画像を生成し、
   前記シースの前記ツールチャネルを通して前記標的部位に向けてインターベンションツールを挿入するためのリアルタイム挿入軌道についての第２のデータに基づいて、リアルタイム画像を生成し、
   前記リアルタイム画像が前記ゴースト画像の少なくとも一部と重なるとともに、前記リアルタイム挿入軌道が前記非リアルタイム挿入軌道と位置合わせされるように、前記標的部位に向けて前記シースの前記遠位セクションを操作する方法を前記ユーザに通知するために、ナビゲーション誘導データを表示画面に出力するように構成され、
   前記第２のデータは、前記シースを通して前記インターベンションツールを誘導し、前記シースの前記遠位セクションを前記標的部位に向けて誘導する間に、前記センサシステムによって取得される、
   システム。
2. 前記非リアルタイム挿入軌道は、前記シースの前記ツールチャネルに配置されるとともに前記インターベンションツールの挿入前に前記管腔に挿入されたイメージングデバイスによって取得された記録挿入軌道であり、
   前記非リアルタイム挿入軌道についての前記第１のデータは、前記シースの前記遠位セクションが前記管腔を通して挿入され、前記イメージングデバイスが前記標的部位と位置合わせされたときに、前記管腔に沿って前記イメージングデバイスによって取得された一連の画像に対応する画像データを含む、
   請求項１に記載のシステム。
3. 前記プロセッサは、前記管腔から前記シースを除去することなく前記シースから前記イメージングデバイスを除去するように前記ユーザに促し、前記シースの前記ツールチャネルに沿って前記インターベンションツールを挿入するように前記ユーザに促すように更に構成され、
   前記リアルタイム挿入軌道は、前記インターベンションツールが前記シースの前記ツールチャネルに挿入されたときに前記センサシステムの１つ以上のセンサによって記録された挿入軌道であり、
   前記リアルタイム挿入軌道についての前記第２のデータは、前記インターベンションツールが前記シースに挿入され、前記シースの前記遠位セクションが前記標的部位と位置合わせされたときに前記センサシステムによって取得された、前記シースの前記遠位セクションの位置及び／又は向きを含む、
   請求項２に記載のシステム。
4. 前記インターベンションツールは、鉗子、把持器、はさみ、ステープラ又はアブレーション針から成る群から選択される手術器具であり、
   前記プロセッサは、前記手術器具を伴わない前記シースの前記遠位セクションの非リアルタイムの位置及び／又は向きと、前記手術器具が前記ツールチャネル内に配置された状態の前記シースの前記遠位セクションのリアルタイムの位置及び／又は向きとの間の差とともに、前記ゴースト画像及び前記リアルタイム画像を表示画面上に出力する、
   請求項２に記載のシステム。
5. 前記非リアルタイム挿入軌道は、前記患者の術前イメージングに基づく計画挿入軌道であり、
   前記プロセッサは、前記計画挿入軌道に沿った１つ以上の点と、前記リアルタイム挿入軌道に沿った１つ以上の点との間の差とともに、前記ゴースト画像及び前記リアルタイム画像を表示画面上に出力する、
   請求項１に記載のシステム。
6. 前記プロセッサは、前記患者の生理活動に対応する周期運動波形を記録するように更に構成され、
   前記プロセッサは、前記周期運動波形の１つ以上の周期内での運動相の差に関連する前記非リアルタイム挿入軌道及び前記リアルタイム挿入軌道を、表示画面に出力し、
   前記プロセッサは、前記表示画面に前記ナビゲーション誘導データを更に出力して、前記リアルタイム挿入軌道が前記非リアルタイム挿入軌道と位置合わせされるように、前記リアルタイム挿入軌道に沿って前記シースの前記遠位セクションを操作する方法を前記ユーザに通知する、
   請求項１に記載のシステム。
7. 前記プロセッサは、前記ゴースト画像に向けて前記リアルタイム画像を動かす方法を前記ユーザに通知するために、１つ以上の矢印画像として、前記ナビゲーション誘導データを表示画面に出力し、
   前記プロセッサは、前記リアルタイム画像が前記ゴースト画像からの閾値距離内に移動したときの表示を、前記表示画面に更に出力する、
   請求項１に記載のシステム。
8. 前記プロセッサは、前記ゴースト画像と前記リアルタイム画像の両方が同時に表示されたときに前記ユーザが当該２つの画像を視覚的に区別できるように、前記ゴースト画像の外見が、識別情報、サイズ、形状、色又は不透明度のうちの１つ以上で前記リアルタイム画像と異なるように、前記ゴースト画像及び前記リアルタイム画像を表示画面に出力する、
   請求項１に記載のシステム。
9. 前記プロセッサは、前記非リアルタイム挿入軌道に沿って前記内視鏡イメージングデバイスによって記録された一連の画像によって表される前記ゴースト画像を、表示画面に出力し、
   前記表示画面は、前記シースが辿った進路を可視化するために、前記記録の全てを一度に表示する、
   請求項１に記載のシステム。
10. 前記プロセッサは、前記シースが前記管腔を通って辿った前記進路を、仮想一人称カメラビューの再現として前記表示画面に出力する、
    請求項９に記載のシステム。
11. シースを制御するために内視鏡ナビゲーション誘導を提供する方法であって、前記シースは、アクチュエータに取付け可能な近位セクションと、患者の管腔に挿入可能な遠位セクションとを有し、
    前記方法は、
    前記アクチュエータから前記シースへ作動力を伝達して、前記シースの前記遠位セクションを前記管腔を通して標的部位に向けてナビゲートするステップと、
    センサシステムにより、前記標的部位に対する前記シースの前記遠位セクションの位置関係を検出するステップと、
    前記センサシステム及び前記アクチュエータと作動的に連絡しているプロセッサを用いて、前記管腔を通して前記シースを挿入するユーザにナビゲーション誘導を提供するためにデータを処理するステップと、
    を含み、
    前記データ処理は、
    前記標的部位に向かって前記シースを挿入するための非リアルタイム挿入軌道についての第１のデータに基づいて、ゴースト画像を生成することと、
    前記シースの前記ツールチャネルを通して前記標的部位に向けてインターベンションツールを挿入するためのリアルタイム挿入軌道についての第２のデータに基づいて、リアルタイム画像を生成することと、
    前記リアルタイム画像が前記ゴースト画像の少なくとも一部と重なるとともに、前記リアルタイム挿入軌道が前記非リアルタイム挿入軌道と位置合わせされるように、前記標的部位に向けて前記シースの前記遠位セクションを操作する方法をユーザに通知するために、ナビゲーション誘導データを表示画面に出力することと、
    を含み、前記第２のデータは、前記シースを通して前記インターベンションツールを誘導し、前記シースの前記遠位セクションを前記標的部位に向けて誘導する間に、前記センサシステムによって取得される、
    方法。
12. 請求項１１に記載の内視鏡ナビゲーション誘導を提供する前記方法を実施するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読媒体。

Images