JP6174676B2 - 術前及び術中３ｄ画像を用いて内視鏡を手動操作するガイダンスツール及びガイド下内視鏡ナビゲーションのための装置の作動方法 - Google Patents

Description

本開示は医療機器及びより具体的には内視鏡を手動操作するためのガイダンスツールに関する。

冠動脈バイパス移植術（ＣＡＢＧ）は閉塞した冠動脈の血行再建のための外科手術である。低侵襲ＣＡＢＧは手術部位からの唯一のフィードバックとして内視鏡を用いて実行される。低侵襲ＣＡＢＧ術のための標準的な設定では、助手が内視鏡を保持しながら外科医が両手を使って器具を持つ。内視鏡は典型的には患者の右側から若しくは前後方向から胸腔に挿入される。これは三つの関連する座標系をもたらし得る：内視鏡（例えばカメラ）の座標系、外科医の座標系、及び助手の座標系。これは複数の問題につながり得る。例えば、外科医が前方の画面を見ている間、カメラは側面からの解剖学的構造をあらわしている。加えて、内視鏡の上端にあるカメラが１８０°回転されるとした場合、画像は画面上で逆転して見えることになる。しかしながら、現在カメラの配向を知る方法はない。さらに、助手は内視鏡の動かし方について外科医からの指示に応えなければならない。"右"などの命令は内視鏡を左及び下に動かすことに対応する場合があり、これは助手にとって非常に反直感的であり、試行錯誤手法につながり得る。これらの問題は長期の手術室滞在時間と、ワークフローにおける非効率性につながり得る。

本発明の原理によれば、内視鏡を手動操作するためのガイダンスツールにとって新しい解決法が提供される。

一実施形態において、本発明の原理は術前及び／又は術中画像を内視鏡の画像とレジストレーションすることを含み得る。ユーザが内視鏡を選択された関心領域の方へナビゲートすることを可能にするガイダンスツールとして、視覚的な手掛かりが内視鏡ビュー上にオーバーレイされ得る。内視鏡の動きは視覚的な手掛かりを更新するために画像特徴を用いてリアルタイムに追跡され得る。別の実施形態において、本発明の原理はカメラの座標系がユーザの好適な座標系と対応するように内視鏡のカメラを事前に方向付け得る。内視鏡のカメラは、ユーザの好適な方向に対応するようにカメラを回転させることによって内視鏡を事前に方向付ける作動プラットフォーム上に取り付けられ得る。有利なことに、本発明の原理は内視鏡を手動ナビゲートする効率的な操作を提供する。これは手術室滞在時間の削減とより効率的なワークフローにつながり得る。

ガイド下内視鏡ナビゲーションのためのシステムは、プロセッサを用いて、内視鏡の第１の画像セットを第２の画像セットとレジストレーションするように構成されるレジストレーションモジュールを含む。選択モジュールは第１の画像セット上の選択された関心領域を受信し、選択された関心領域を内視鏡座標フレームへ変換するように構成される。ガイダンスモジュールは内視鏡のユーザが選択された関心領域へナビゲートすることを可能にするように第２の画像セット上にガイダンスツールをオーバーレイするように構成される。

ガイド下内視鏡ナビゲーションのためのシステムは、プロセッサを用いて、内視鏡の第１の画像セットを第２の画像セットとレジストレーションするように構成されるレジストレーションモジュールを含む。選択モジュールは第１の画像セット上の選択された関心領域を受信し、選択された関心領域を内視鏡座標フレームへ変換するように構成される。ガイダンスモジュールはガイダンスツールを第２の画像セット上にオーバーレイするように構成される。作動モジュールは内視鏡のユーザが選択された関心領域へナビゲートすることを可能にするためにカメラの座標系がユーザの座標系と対応するように内視鏡のカメラを方向付けるように構成される。

ガイド下内視鏡ナビゲーションのための方法は、プロセッサを用いて、内視鏡の第１の画像セットを第２の画像セットとレジストレーションするステップを含む。第１の画像セット上で関心領域が選択され、選択された関心領域は内視鏡座標フレームへ変換される。内視鏡のユーザが選択された関心領域へナビゲートすることを可能にするよう、ガイダンスツールが第２の画像セット上にオーバーレイされる。

本開示のこれらの及び他の目的、特徴及び利点は、添付の図面に関連して読まれるその実施形態例の以下の詳細な説明から明らかとなる。

本開示は以下の図面を参照して以下の好適な実施形態の説明を詳細に提示する。

一実施形態にかかる、ガイダンスツールを用いて内視鏡を手動操作するためのシステムを示すブロック／フロー図である。 一実施形態にかかる、方向、経路及び方向誤差インジケータがオーバーレイされた内視鏡画像の一実施例である。 一実施形態にかかる、距離を示す距離誤差インジケータがオーバーレイされた内視鏡画像の一実施例である。 一実施形態にかかる、仮想ばねを用いる距離誤差インジケータがオーバーレイされた内視鏡画像の一実施例である。 一実施形態にかかる、内視鏡カメラの座標系を内視鏡ユーザの座標系と方向付けるためのシステムを示すブロック／フロー図である。 一実施形態にかかる、内視鏡カメラの座標系を内視鏡ユーザの座標系と方向付ける内視鏡画像の一実施例である。 一実施形態にかかる、ガイダンスツールを用いて内視鏡を手動操作するための方法を示すブロック／フロー図である。

本発明の原理によれば、システム、装置及び方法のための実施形態は内視鏡を手動操作するためのガイダンスツールを提供する。一実施形態において、術前及び／又は術中画像が内視鏡の画像とレジストレーションされる。ユーザ（例えば外科医助手）が選択された関心領域の方へ内視鏡を操作することを可能にするガイダンスツールとして、視覚的な手掛かりが内視鏡ビュー上にオーバーレイされ得る。内視鏡の動きは視覚的な手掛かりを更新するために画像特徴を用いてリアルタイムに追跡され得る。視覚的な手掛かりは、限定されないが、選択された関心領域への方向を示す方向インジケータ、内視鏡の動きを示す内視鏡トレーサ、選択された関心領域への方向と比較して内視鏡の動きの角度誤差を示す方向誤差インジケータ、選択された関心領域への距離を示す距離誤差インジケータ、及び解剖学的方向を示す解剖学的基準方向を含み得る。他の視覚的な手掛かりが可能であり、本発明の原理の範囲内で考慮されている。

別の実施形態において、本発明の原理は内視鏡カメラの座標系をユーザの好適な座標系と事前に方向付け得る。カメラを好適な方向に事前に方向付けるために、内視鏡のカメラは作動プラットフォーム上に取り付けられ得る。内視鏡ユーザは例えば画像中の"上向き"方向に対応することを好む物理的方向に内視鏡を動かす。内視鏡の物理的運動と画像中の実際の上向き方向との間の角度が決定され、作動プラットフォームがそれに従ってカメラを回転させて座標フレームを事前に方向付ける。本発明の原理は上向き方向に限定されず、いかなる方向も含み得ることが留意される。

本発明は内視鏡に関して記載されるが、本発明の教示はもっと広く、分岐、湾曲、コイル状、若しくは他の形状のシステムの内部ビューイングに利用されることができるいかなる光学スコープにも適用可能であることが理解されるべきである。一部の実施形態において、本発明の原理は複雑な生物学的若しくは機械的系（例えば消化系、循環系、配管系、通路、鉱山、洞窟など）を追跡若しくは分析するのに利用される。特に、本発明の原理は生体系の内部追跡手順、肺、胃腸管、***器官、血管などといった身体の全領域における手順に適用可能である。図面に描かれる要素はハードウェア及びソフトウェアの様々な組み合わせで実現され、単一の要素若しくは複数の要素に組み合され得る機能を提供し得る。本明細書に記載の実施形態は好適にはディスプレイモニタ上のビューのために表示される。こうしたモニタは、限定されないが（例えば携帯情報端末、電話機などの）手持ち式ディスプレイ、コンピュータディスプレイ、テレビ、専用モニタなどを含む任意の適切な表示装置を含み得る。スコープに応じて、ディスプレイはシステムの一部として提供され得るか、又は別のユニット若しくは装置であり得る。

光学スコープはスコープに接続される若しくは付随する複数の異なる装置を含み得ることも理解されるべきである。こうした装置はライト、切断装置、ブラシ、バキューム、カメラなどを含み得る。これらの構成要素はスコープの遠位端部の先端と一体化して形成され得る。光学スコープはスコープの先端に配置されるカメラを含み得るか、若しくはカメラは先端と反対側の光ケーブルの端部に配置され得る。

図面に示す様々な要素の機能は専用ハードウェア及び適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを用いて提供され得る。プロセッサによって提供されるとき、機能は単一の専用プロセッサによって、単一の共有プロセッサによって、若しくはその一部が共有され得る複数の個別プロセッサによって提供され得る。さらに、"プロセッサ"若しくは"コントローラ"という語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的にあらわすものと解釈されるべきではなく、限定されることなく、デジタル信号プロセッサ（"ＤＳＰ"）ハードウェア、ソフトウェアを保存するためのリードオンリーメモリ（"ＲＯＭ"）、ランダムアクセスメモリ（"ＲＡＭ"）、不揮発性記憶装置などを非明示的に含み得る。

さらに、本発明の原理、態様、及び実施形態、並びにその特定の実施例を列挙する本明細書の全記述は、その構造的及び機能的な均等物の両方を包含することが意図される。加えて、こうした均等物は現在既知の均等物並びに将来開発される均等物（すなわち構造にかかわらず同じ機能を実行する開発される任意の要素）の両方を含むことが意図される。従って、例えば、当業者に当然のことながら、本明細書に提示するブロック図は本発明の原理を具体化する例示的なシステムコンポーネント及び／又は回路の概念図をあらわす。同様に、当然のことながら任意のフローチャート、フロー図及び同様のものは、実質的にコンピュータ可読記憶媒体にあらわされ、コンピュータ若しくはプロセッサによって（こうしたコンピュータ若しくはプロセッサが明示されているか否かにかかわらず）そのように実行され得る様々なプロセスをあらわす。

さらに、本発明の実施形態はコンピュータ若しくは任意の命令実行システムによって又はそれらと関連して使用するためのプログラムコードを提供するコンピュータ使用可能若しくはコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形をとり得る。この記載の目的で、コンピュータ使用可能若しくはコンピュータ可読記憶媒体は、命令実行システム、機器、若しくは装置によって又はそれらと関連して使用するためのプログラムを包含、保存、通信、伝搬、若しくは輸送し得る任意の機器であり得る。媒体は電子、磁気、光学、電磁、赤外線、若しくは半導体システム（又は機器若しくは装置）又は伝搬媒体であり得る。コンピュータ可読媒体の実施例は半導体若しくは固体メモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、固定磁気ディスク及び光ディスクを含む。光ディスクの現在の実施例はコンパクトディスク‐リードオンリーメモリ（ＣＤ‐ＲＯＭ）、コンパクトディスク‐リード／ライト（ＣＤ‐Ｒ／Ｗ）、Ｂｌｕ‐Ｒａｙ（登録商標）、及びＤＶＤ（登録商標）を含む。

図面において類似する数字は同一若しくは同様の要素をあらわし、最初に図１を参照すると、ガイダンスツールを用いて内視鏡を手動操作するためのシステム１００が一実施形態に従って例示的に描かれる。システム１００はワークステーション若しくはコンソール１０８を含み、そこから手順（例えば内視鏡検査）が管理され制御される。ワークステーション１０８は好適には一つ以上のプロセッサ１３８と、プログラム及びアプリケーションを保存するためのメモリ１１０を含む。システム１００の機能と構成要素は一つ以上のワークステーション若しくはシステムに統合され得ることが理解されるべきである。

メモリ１１０は画像１１２を保存し得る。画像１１２は術前画像と術中画像を含み、これは限定されないが磁気共鳴イメージング（ＭＲＩ）システム、コンピュータ断層撮影（ＣＴ）システム、ｘ線システム、３Ｄ超音波システムなどを含むシステムから受信され得る。メモリ１１０はスコープ１０２から受信されるスコープ画像１１４も保存し得る。好適な実施形態において、スコープ１０２はカメラ１０６から手術部位の術中画像をキャプチャする内視鏡である。スコープ画像１１４は好適には内視鏡１０２のカメラ１０６からのビデオを含み得る。

本発明の原理は内視鏡ガイド下低侵襲外科手術の異なる用途に適用され得る。例えば、本発明の原理は心臓手術（例えば低侵襲冠動脈バイパス移植術、心房中隔欠損縫合、弁修復／置換術など）、腹腔鏡手術（例えば子宮摘出術、前立腺切除術、胆嚢手術など）、自然開口部越経管腔的手術、肺／気管支鏡手術、脳神経外科インターベンション、及びビデオ補助下胸部手術のために使用され得る。しかしながら、本発明の教示はこれよりももっと広く、スコープ１０２は様々なタイプの用途のためのいかなるタイプのスコープも含み得る。一実施形態例において、本発明の原理は"ｐｌｕｍｂｅｒ'ｓ ｓｎａｋｅ"を配管を通して手動でナビゲートするために適用され得る。他の用途も考慮される。

ワークステーション１０８は術前及び術中画像１１２並びに本発明の原理のガイダンス機能を含むスコープ画像１１４をビューするための一つ以上のディスプレイ１３４を含み得る。ディスプレイ１３４はユーザがワークステーション１０８並びにそのコンポーネント及び機能とインタラクションすることも可能にし得る。これは、ユーザがワークステーション１０８とインタラクションすることを可能にするキーボード、マウス、ジョイスティック、又は任意の他の周辺機器若しくはコントロールを含み得るユーザインターフェース１３６によってさらに容易にされる。

コンピュータ実施プログラム１１６はワークステーション１０８のメモリ１１０に保存される。プログラム１１６は各々が様々な機能を実行するように構成される複数のモジュールを含み得る。モジュールはハードウェアとソフトウェアの様々な組み合わせで実施され得ることが理解されるべきである。

プログラム１１６は画像１１２（例えば術前画像及び／又は術中画像）とスコープ（例えば内視鏡）画像１１４間のレジストレーションを実行するように構成されるレジストレーションモジュール１１８を含み得る。レジストレーションは当技術分野で周知の通り実行される。

プログラム１１６はユーザ（例えば外科医）が術前及び術中画像１１２（例えばＣＴ若しくはｘ線）上の関心領域を選択することを可能にするように構成される選択モジュール１２０も含み得る。例えば、選択された関心領域は冠動脈バイパス移植術における標的バイパス動脈であり得る。選択モジュール１２０はこの選択を容易にするためにディスプレイ１３４及びユーザインターフェース１３６の使用を含み得る。そして選択モジュール１２０はレジストレーションモジュール１１８において決定されるレジストレーション変換を用いて選択された関心領域を術前及び／又は術中画像座標フレームから内視鏡座標フレームへ変換する。

プログラム１１６は内視鏡ビュー内の選択された関心領域を使用して複数のガイダンスインジケータを決定するように構成されるガイダンスモジュール１２２を含み得る。ガイダンスモジュール１２２は、限定されないが、方向モジュール１２４、経路モジュール１２６、及び距離モジュール１２８のいずれか若しくは全てを含み得る。他のインジケータもまた考慮されている。

方向モジュール１２４は内視鏡画像の現在の中心から選択された関心領域への方向を決定して、方向インジケータを内視鏡画像上にオーバーレイする。少しの間図２Ａを参照すると、オーバーレイされたインジケータ２００を含む内視鏡画像が、一実施形態に従って例示的に描かれる。方向インジケータ２０６は内視鏡画像上にオーバーレイされて内視鏡画像の中心２０２から選択された関心領域２０４への方向を示す。

図１のガイダンスモジュール１２２はユーザ（例えば外科医若しくは助手）が内視鏡をナビゲートするのをさらに助ける経路モジュール１２６を含み得る。少しの間図２Ａに戻って参照すると、内視鏡の動きを示す内視鏡トレース２０８が内視鏡画像上にオーバーレイされる。トレース２０８は内視鏡画像の中心に位置する一つ以上の解剖学的特徴の位置を追跡し、その位置を内視鏡画像上でマークする矢印をオーバーレイすることによって生成される。各フレーム若しくはフレームの期間において、以前に画像の中心にあった特徴を追跡し続けながら、画像の中心にある現在の特徴が内視鏡画像上に矢印でオーバーレイされる。このプロセスを続けて、ユーザが選択された関心領域２０４へナビゲートするように内視鏡を操作するのを助ける視覚的な跡が作られ得る。

トレース２０８の方向は視覚的な手掛かりを用いて角度誤差を表示するために標的関心領域２０４の方向と比較され得る。一実施形態において、それぞれ内視鏡２０８の動きと選択された関心領域の方向２０６との間の角度オフセットを示す針２１２と２１４を用いてダイヤル２１０が表示され得る。角度誤差を示す他の視覚的な手掛かりも考慮される。例えば、選択された関心領域２０６への方向と内視鏡２０８の動きの間の角度が（例えば度で）表示され得る。

ガイダンスモジュール１２２は内視鏡画像の中心から標的関心領域への距離を示すように構成される距離モジュール１２８も含み得る。少しの間図２Ｂを参照すると、距離誤差インジケータ２２０がオーバーレイされた内視鏡画像が一実施形態に従って例示的に描かれる。内視鏡画像は内視鏡画像の中心２０２から標的関心領域２０４への方向を示す方向インジケータ２０６も含み得る。一実施形態において、距離２２２が（例えばピクセルで）画面上に数として示され得る。別の実施形態において、内視鏡画像の中心２０２と選択された関心領域２０４の間の線が距離に応じてあらわされ得る。例えば、少しの間図２Ｃを参照すると、仮想ばねを用いる距離インジケータがオーバーレイされた内視鏡画像２４０が一実施形態に従って例示的に描かれる。仮想ばね２４２は内視鏡画像の中心２０２を選択された関心領域２０４とつなぐ。仮想ばねは２点間の距離がさらに離れるにつれて伸張され、距離が近くなるにつれて圧縮されて見え得る。他の距離誤差インジケータも考慮されている。例えば、内視鏡画像の中心２０２と選択された関心領域２０４の間の線の色が距離によって変化することができ、色を定義する説明文が画面上に表示される。別の実施形態において、距離が変化するにつれて線の太さが修正されることができる。

本発明の原理のさらに別の実施形態において、図１の方向モジュール１２４は内視鏡画像上に解剖学的基準方向をオーバーレイし得る。術前及び術中画像１１２がレジストレーションモジュール１１８によって内視鏡画像１１４とレジストレーションされると、術前及び術中画像の解剖学的基準方向が決定される。解剖学的基準方向は内視鏡座標系に変換され、内視鏡画像上にオーバーレイされる。解剖学的基準方向は、限定されないが、前／後、右／左、及び頭／足方向を含み得る。他の解剖学的方向も考慮される。

ガイダンスモジュール１２２のオーバーレイされたガイダンスインジケータを用いて、ユーザは内視鏡１０２をナビゲートする。内視鏡１０２が選択された関心領域に達しているかどうかを決定するために、上述の通り、内視鏡の動きがトレースされる。ガイダンスモジュール１２２の操作は選択された関心領域に達するまで繰り返される。選択された関心領域に達すると、プロセスは終了する。

本発明の原理の一実施形態において、図１のプログラム１１６はユーザが内視鏡１０２をナビゲートするのをさらに助ける作動モジュール１３０も含み得る。作動モジュール１３０はカメラの座標系がユーザの好適な座標系と対応するように作動プラットフォーム１０４を用いてカメラ１０６を事前に方向付けるように構成される。作動モジュール１３０はユーザが例えば上向き方向に対応することを好む方向を受信する。例えば、ユーザは好みの上向き方向に内視鏡を物理的に動かし得る。内視鏡の物理的な動きと内視鏡画像の真の上向き方向の間の角度が計算され、入力として作動プラットフォームへ渡され、作動プラットフォームはそれに従ってカメラを事前に方向付ける。対応する方向は上向き方向に限定されず、むしろいかなる方向も含み得ることが留意される。

ここで図３Ａを参照すると、内視鏡カメラの座標系を内視鏡ユーザの座標系３００と方向付けるためのシステムが一実施形態に従って例示的に描かれる。カメラ１０６はスコープ１０２上の作動プラットフォーム１０４上に取り付けられる。作動プラットフォーム１０４は受信した角度に従って回転してそれに従ってカメラを方向付ける。少しの間図３Ｂを参照すると、方向付けインジケータがオーバーレイされた内視鏡画像の実施例３２０が一実施形態に従って図示される。ユーザは好みの上向き方向に内視鏡を動かし、画像中心インジケータ２０２からの内視鏡の動き３２４をもたらす。内視鏡の動き３２４と画像の真の上向き方向３２２の間の角度が計算されて角度３２６を決定し、これはそれに従ってカメラを方向付けるために作動プラットフォーム１０４へ渡される。

ここで図４を参照すると、ガイダンスツールを用いて内視鏡を手動操作するための方法４００が一実施形態に従って例示的に描かれる。ブロック４０２において、スコープ画像が術前及び／又は術中画像とレジストレーションされる。スコープ画像は好適には手術部位の術中画像をキャプチャするカメラを含む内視鏡の画像である。内視鏡画像は好適にはビデオを含み得る。術前及び／又は術中画像は、限定されないが、ＭＲＩシステム、ＣＴシステム、ｘ線システム、３Ｄ超音波システムなどを含むシステムから受信され得る。レジストレーションは当技術分野で周知の通り実行される。

ブロック４０４において、関心領域が術前及び術中画像上で選択され得る。ブロック４０６において、選択された関心領域は術前及び術中画像座標フレームから内視鏡画像座標フレームへ変換され得る。これはブロック４０２において決定されるレジストレーション変換の使用を含み得る。

ブロック４０８において、内視鏡画像の現在の中心から選択された関心領域への方向が内視鏡画像において決定される。この方向を用いて、ブロック４１０において、ガイダンスインジケータが内視鏡画像上にオーバーレイされる。ガイダンスインジケータは、例えば、限定されないが、方向インジケータ、内視鏡トレーサ、方向誤差インジケータ、距離誤差インジケータ、及び解剖学的基準方向インジケータを含み得る。他のインジケータも考慮される。

一実施形態において、ガイダンスインジケータは内視鏡画像の現在の中心から選択された関心領域への方向を示すために内視鏡画像上にオーバーレイされる方向インジケータを含み得る。別の実施形態において、内視鏡の動きを示す内視鏡トレースが内視鏡画像上にオーバーレイされ得る。トレースは内視鏡画像の中心に位置する各解剖学的特徴の位置を追跡し、内視鏡画像上でその位置をマークする矢印をオーバーレイすることによって生成され得る。各フレーム若しくはフレームの期間において、以前に画像の中心にあった特徴を追跡し続けながら、画像の中心における現在の特徴が内視鏡画像上の矢印とオーバーレイされる。このプロセスを続けて、ユーザが内視鏡をナビゲートするのを助け得る視覚的な跡を提供するよう、特徴の各々の位置が内視鏡画像において表示される。

さらに別の実施形態において、内視鏡の動きと選択された関心領域への方向との間の角度オフセットをあらわす角度誤差を決定するために、内視鏡トレースが選択された関心領域の方向と比較され得る。角度誤差は視覚的な手掛かりを用いて内視鏡画像上にオーバーレイされ得る。一実施形態において、二つの針を含むダイヤルが内視鏡画像上にオーバーレイされ、各針は内視鏡のトレースと選択された関心領域への方向をそれぞれ示す。別の実施例において、角度誤差は内視鏡画像上に角度を（例えば度で）表示することによって示され得る。

一実施形態において、ガイダンスインジケータは内視鏡画像上にオーバーレイされる距離誤差インジケータを含み得る。内視鏡が動かされると、内視鏡画像の中心から選択された関心領域への距離が変化する。距離誤差はユーザが内視鏡をナビゲートするのを助けるために内視鏡画像上にオーバーレイされ得る。例えば、距離が（例えばピクセルで）画面の数として示され得る。別の実施例において、内視鏡画像の中心と選択された関心領域をつなぐ線が距離に応じてあらわされ得る。これは距離が大きくなるにつれて伸張され距離が小さくなるにつれて圧縮されて見え得る仮想ばねとして線をあらわすことを含み得る。代替的に、線の色若しくは太さが距離に従って変化し得る。距離誤差の他の表現も考慮される。

別の実施形態において、解剖学的基準方向が内視鏡画像上にオーバーレイされ得る。術前及び術中画像がレジストレーションされると（ブロック４０２）、術前及び術中画像の解剖学的基準方向が決定され、内視鏡ビューに変換される。解剖学的基準方向は、例えば、前／後、右／左、及び頭／足方向を含み得る。他の解剖学的基準方向も考慮される。

ブロック４１４において、内視鏡画像上にオーバーレイされるガイダンスインジケータを用いて、ユーザはより効率的に内視鏡をナビゲートすることができる。選択関心領域に達するかどうかを決定するために内視鏡の動きが追跡される。ブロック４１６において、選択された関心領域に達していない場合、ブロック４１８において選択された関心領域に達するまでステップ４０８，４１０，４１４及び４１６が繰り返される。有利なことに、本発明の原理はユーザが効率的に内視鏡をナビゲートするのを助け、手術室滞在時間の短縮をもたらす。

本発明の一実施形態において、ブロック４１２において、内視鏡のカメラはカメラの座標系がユーザの好適な座標系と対応するように事前に方向付けられ得る。ユーザは好みの例えば上向き方向を示し得る。これはユーザが好みの上向き方向に内視鏡を物理的に動かすことを含み得る。内視鏡の物理的な動きと内視鏡画像の実際の上向き方向との間の角度が計算され、カメラと内視鏡の間に取り付けられる作動プラットフォームへ入力として渡される。作動プラットフォームはユーザが内視鏡をナビゲートするのを助けるために受信した角度に従ってカメラを回転させる。対応する方向は上向き方向に限定されず、むしろいかなる方向も含み得ることが留意される。

添付の請求項において、
ａ）"有する"という語は所与の請求項に列挙したもの以外の要素若しくは動作の存在を除外しない。
ｂ）ある要素に先行する"ａ"若しくは"ａｎ"という語はかかる要素の複数の存在を除外しない。
ｃ）請求項における任意の参照符号はその範囲を限定しない。
ｄ）複数の"手段"は同じ項目又はハードウェア若しくはソフトウェア実施構造若しくは機能によってあらわされ得る。
ｅ）特に明記しない限り特定の動作順序が要求されることを意図しない。
ことが理解されるべきである。

術前及び術中３Ｄ画像を用いて内視鏡を手動操作するガイダンスツールのための好適な実施形態を記載したが（例示であって限定ではないことが意図される）、上記教示を考慮して当業者によって修正及び変更がなされ得ることが留意される。従って添付の請求項によって概説される通り本明細書に開示の実施形態の範囲内にある変更が本開示の特定の実施形態においてなされ得ることが理解されるものとする。特許法によって要求される詳細と特異点をこのように記載したが、特許証によって保護されるべき特許請求の範囲は添付の請求項に明記される。

Claims (26)

1. 内視鏡ナビゲーションのためのガイダンスシステムであって、
   プロセッサを用いて、内視鏡の第１の画像セットを第２の画像セットとレジストレーションするレジストレーションモジュールと、
   前記第１の画像セット上の選択された関心領域を受信して、前記選択された関心領域を内視鏡座標フレームへ変換する、選択モジュールと、
   前記内視鏡のユーザが前記選択された関心領域へナビゲートすることを可能にするよう、前記第２の画像セット上にガイダンスツールをオーバーレイするガイダンスモジュールと
   を有し、前記ガイダンスモジュールは、前記第２の画像セット上に前記内視鏡の現在の動きの経路をオーバーレイする経路モジュールを含む、システム。
2. 前記内視鏡のカメラを、前記カメラの座標系が前記ユーザの座標系と対応するように方向付ける作動モジュールをさらに有する、請求項１に記載のシステム。
3. 前記作動モジュールがさらに、第１の方向と実際の方向との間の角度に従って前記カメラを含む作動プラットフォームを回転させる、請求項２に記載のシステム。
4. 前記ガイダンスモジュールが、前記第２の画像セットのフレームの中心から前記選択された関心領域への方向インジケータを前記第２の画像セット上にオーバーレイする方向モジュールを含む、請求項１に記載のシステム。
5. 前記経路モジュールによってオーバーレイされる前記経路が前記内視鏡の前記動きの視覚的な跡を生成する、請求項１に記載のシステム。
6. 前記第２の画像セットのフレームの中心に位置する解剖学的特徴の少なくとも一つを含む解剖学的特徴と、以前に前記フレームの中心に位置していた解剖学的特徴の位置を追跡することによって前記経路が生成される、請求項１に記載のシステム。
7. 前記方向モジュールがさらに、前記方向インジケータと前記内視鏡の動きの経路との間の角度誤差を示す角度誤差インジケータを前記第２の画像セット上にオーバーレイする、請求項４に記載のシステム。
8. 前記ガイダンスモジュールが、前記第２の画像セットのフレームの中心から前記選択された関心領域への距離を示す距離インジケータを前記第２の画像セット上にオーバーレイする距離モジュールを含む、請求項１に記載のシステム。
9. 前記距離インジケータが距離に応じて変化する前記フレームの中心から前記選択された関心領域への線である、請求項８に記載のシステム。
10. 前記線が、前記距離が減少するにつれて圧縮され、前記距離が増加するにつれて伸張されて見える仮想ばねである、請求項９に記載のシステム。
11. 前記線の色が距離に応じて変化する、請求項９に記載のシステム。
12. 前記ガイダンスモジュールが、前記第２の画像セット上に前記第１の画像セットの解剖学的方向をオーバーレイする方向モジュールを含む、請求項１に記載のシステム。
13. 内視鏡ナビゲーションのためのガイダンスシステムであって、
    プロセッサを用いて、内視鏡の第１の画像セットを第２の画像セットとレジストレーションするレジストレーションモジュールと、
    前記第１の画像セット上の選択された関心領域を受信し、前記選択された関心領域を内視鏡座標フレームへ変換する選択モジュールと、
    前記第２の画像セット上にガイダンスツールをオーバーレイし、前記第２の画像セット上に前記内視鏡の現在の動きの経路をオーバーレイする経路モジュールを含むガイダンスモジュールと、
    前記内視鏡のユーザが前記選択された関心領域へナビゲートすることを可能にするために、前記内視鏡のカメラを、前記カメラの座標系が前記ユーザの座標系と対応するように方向付ける作動モジュールと
    を有する、システム。
14. 前記作動モジュールがさらに、第１の方向と前記第１の方向の実際の方向との間の角度に従って前記カメラを含む作動プラットフォームを回転させる、請求項１３に記載のシステム。
15. ガイド下内視鏡ナビゲーションのための装置の作動方法であって、
    プロセッサを用いて、内視鏡の第１の画像セットを第２の画像セットとレジストレーションするステップと、
    前記内視鏡のユーザが関心領域へナビゲートすることを可能にするガイダンスツールを前記第２の画像セット上にオーバーレイし、前記関心領域は前記第１の画像セット上で選択可能であり、内視鏡座標フレームへ変換可能である、ステップと
    を有する、方法において、
    前記オーバーレイするステップは、前記内視鏡の現在の動きの経路を前記第２の画像セット上にオーバーレイするステップを含む、ガイド下内視鏡ナビゲーションのための装置の作動方法。
16. 前記内視鏡のカメラを、前記カメラの座標系が前記ユーザの座標系と対応するように方向付けるステップをさらに有する、請求項１５に記載の方法。
17. 方向付けるステップが、第１の方向と前記第1の方向の実際の方向との間の角度に従って前記カメラを含む作動プラットフォームを回転させるステップを含む、請求項１６に記載の方法。
18. オーバーレイするステップが、前記第２の画像セットのフレームの中心から前記選択された関心領域への方向インジケータを前記第２の画像セット上にオーバーレイするステップを含む、請求項１５に記載の方法。
19. 前記内視鏡の前記現在の動きの前記経路を前記第２の画像セット上にオーバーレイするステップを含むが前記内視鏡の前記動きの視覚的な跡を生成する、請求項１５に記載の方法。
20. 前記経路が、前記第２の画像セットのフレームの中心に位置する解剖学的特徴の少なくとも一つを含む解剖学的特徴と、以前に前記フレームの中心に位置していた解剖学的特徴の位置を追跡することによって生成される、請求項１５に記載の方法。
21. オーバーレイするステップが、前記方向インジケータと前記内視鏡の動きの経路との間の角度誤差を示す角度誤差インジケータを前記第２の画像セット上にオーバーレイするステップを含む、請求項１８に記載の方法。
22. オーバーレイするステップが、前記第２の画像セットのフレームの中心から前記選択された関心領域への距離を示す距離インジケータを前記第２の画像セット上にオーバーレイするステップを含む、請求項１５に記載の方法。
23. 前記距離インジケータが、距離に応じて変化する前記フレームの中心から前記選択された関心領域への線である、請求項２２に記載の方法。
24. 前記線が、前記距離が減少するにつれて圧縮され、前記距離が増加するにつれて伸張されて見える仮想ばねである、請求項２３に記載の方法。
25. 前記線の色が距離に応じて変化する、請求項２３に記載の方法。
26. オーバーレイするステップが、前記第１の画像セットの解剖学的方向を前記第２の画像セット上にオーバーレイするステップを含む、請求項１５に記載の方法。

Images