JP2015505502A - 血管ツリー画像内での見えない分岐部の検出 - Google Patents

Abstract

画像レジストレーションシステム、内視鏡（１２）及び内視鏡コントローラ（２２）である。動作時、内視鏡（１２）は、解剖領域内の血管ツリーの術中内視鏡画像（１４）を生成し、該画像は該術中内視鏡画像（１４）内で見える前記血管ツリーの複数の枝を含み、該枝は、前記術中内視鏡画像（１４）内では見えない前記血管ツリーの分岐部を示す。内視鏡コントローラ（２２）は、前記の血管ツリー術中内視鏡画像を前記血管ツリーの術前３次元画像に画像レジストレーションする。前記画像レジストレーションは、前記血管ツリー術中内視鏡画像（１４）内で見える前記血管ツリーの枝が示す前記血管ツリーの分岐部の図的表現を前記の血管ツリー術前３次元画像（４４）内の前記血管ツリーの分岐部の図的表現に画像マッチングさせることを含む。

Description

本願は、「血管ツリー（Vessel Tree）画像に基づく内視鏡のロボット制御」と題する共同所有特許出願の利益を主張する。

本発明は一般に、術中内視鏡血管ツリー画像への術前三次元（３Ｄ）血管ツリー画像の術中レジストレーション（intra-operative registration）に関する。本発明は特に、臓器（例えば、心臓）の表面を覆う脂肪組織によって、内視鏡画像内では見えない（即ち、不可視な）血管ツリーの分岐部を検出するための方法を包含する術中レジストレーションに関する。

冠動脈バイパス移植術（「ＣＡＢＧ」）は、閉塞した冠動脈を再建するための外科手術である。米国では、年間約５００，０００件の当該手術が行われている。従来の冠動脈バイパス移植術では、患者の胸骨が切開され、患者の心臓が外科医に完全に露出される。心臓が露出するにも関わらず、一部の動脈は、それらの上の脂肪組織層によって見えないことがある。そのような動脈の場合、外科医は心臓表面を触診して、該動脈から脈動する血液及び該動脈の狭窄の双方を感じ取る。しかしながら、このデータは乏しく、該データは手術部位に対する手術計画を実行に移すのに十分でないことがある。

低侵襲冠動脈バイパス移植術では、外科医が心臓表面を触診することができないため、先述した従来の冠動脈バイパス移植術の問題が増幅される。それに加えて、低侵襲冠動脈バイパス移植術で用いられる手術器具では、その長さ故に器具の近位端から何らかの感触フィードバックを得ることができない。

従来の冠動脈バイパス移植術の問題に対処する周知の技法の１つは、術前３Ｄ冠動脈ツリーに術中部位を位置合わせするというものである。具体的には、開心状態（open heart setting）で、光学追跡（optically tracked）ポインタを用いて動脈の位置をデジタル化し、該位置のデータを当該技術分野で周知の反復最近点（「ＩＣＰ」）アルゴリズムを用いて術前の血管ツリーに位置合わせする。しかしながら、低侵襲冠動脈バイパス移植術ではポートアクセスが小さいために空間的な制約が課されることから、上記の技法は、該技法に関連するデジタル化した動脈と術前データとをマッチングさせるアプローチと同様に実現が困難である。また、この技法では動脈の殆どが見えているか又は外科医により触診される必要があるが、低侵襲冠動脈バイパス移植術ではそのようなことは不可能である。

上記の低侵襲冠動脈バイパス移植術の問題に対処する周知の技法の１つは、光学的に追跡される内視鏡を用いて心臓表面を再現し、それを同じ心臓表面の術前コンピュータ断層撮影（ＣＴ）データにマッチさせるレジストレーション方法を実行するというものである。しかしながら、上記の表面の導出に用いられる内視鏡の視野が小さすぎると、この技法は、該技法に関連する表面ベースのマッチングを提案するアプローチと同様に機能しないことがある。さらに、心臓表面には明確な表面特徴がなく比較的滑らかなため、この技法のアルゴリズムは、その極大値が不十分な（suboptimal local maximum）状態で動作する場合が多い。

低侵襲冠動脈バイパス移植術の問題に対処する他の周知の技法は、以前に分類した（labeled）冠動脈ツリーのデータベースを用いて新しい患者から抽出した冠動脈ツリーを分類し、マッチングに基づいてグラフ化するというものである。しかしながら、この技法は完全なツリーが利用可能な場合にのみ機能し、形状をマッチさせることよりもむしろツリーを分類することを目標としている。

低侵襲冠動脈バイパス移植術のさらなる問題は、術前３Ｄ画像に対するグローバルポジショニング（global positioning）が得られてからの内視鏡の向き及び誘導に関してである。レジストレーションの目的は吻合部と狭窄の局在確認（localization）を容易にすることである。標準的な状況では、内視鏡が助手によって保持される一方、外科医は２つの器具を保持している。外科医は助手に指示を与え、助手はその指示に従って内視鏡を動かす。このような状況では、助手の基準枠（frame of reference）及び内視鏡の基準枠に対して、外科医の基準枠で外科医の指示が出されるのが一般的であり、助手はその指示を直感的に理解する必要がある。そのため、外科医の手と目の協調が妨げられる。複数の座標系によって、取り扱い上の様々な誤りが起きたり、手術が長引いたり又は冠動脈の誤認が生じたりする場合がある。

外科医が、自身の頭で感じた動きにより内視鏡を直接制御できるようにするために設計された手術用の内視鏡アシスタント（endoscope assistant）は、制御ループから助手の存在を取り除くことでこれらの問題の一部を解消するかもしれないが、外科医の基準枠と内視鏡の基準枠との変換の問題が残る。

本発明は、術前３次元（「３Ｄ」）画像（例えば、ＣＴ画像、コーンビームＣＴ画像、３次元Ｘ線画像又はＭＲＩ画像）及び術中内視鏡画像内に示される血管ツリーの各分岐部（例えば、動脈、毛細血管、静脈及び他の多分岐解剖構造の各点）の図的表現（graphical representation）をマッチングさせるための画像レジストレーション方法を提供する。本発明の画像レジストレーション方法は、臓器（例えば、心臓）の表面を覆う脂肪組織によって内視鏡画像内では見えない（即ち、不可視な）血管ツリーの分岐部に対処するものである。

本発明の目的のために、本明細書では、「分岐部」という用語は、血管ツリーに沿った２つ以上に枝分かれする任意の点として広く定義される。

本発明の第１の形態は、内視鏡及び内視鏡コントローラを用いるレジストレーションシステムである。動作時、内視鏡は、解剖領域内の血管ツリー（例えば、動脈ツリー、静脈ツリー又は人間の身体の他の任意の筒状構造）の術中内視鏡画像を生成し、内視鏡コントローラは、前記の血管ツリー術中内視鏡画像を前記血管ツリーの術前３次元画像に画像レジストレーションする。前記血管ツリー術中内視鏡画像は、該術中内視鏡画像内で見える前記血管ツリーの複数の枝を含み、該枝は前記術中内視鏡画像内では見えない前記血管ツリーの分岐部を示す。前記画像レジストレーションは、前記血管ツリー術中内視鏡画像内で見える前記血管ツリーの枝が示す前記血管ツリーの分岐部の図的表現を前記の血管ツリー術前３次元画像内の前記血管ツリーの分岐部の図的表現に画像マッチングさせることを含む。

本発明の第２の形態は画像レジストレーション方法である。該画像レジストレーション方法は、解剖領域内の血管ツリーの術前３次元画像を生成する工程；前記解剖領域内の前記血管ツリーの術中内視鏡画像を生成する工程；及び前記の血管ツリー術中内視鏡画像を前記の血管ツリー術前３次元画像に画像レジストレーションする工程；を含む。前記血管ツリー術中内視鏡画像は、該術中内視鏡画像内で見える前記血管ツリーの複数の枝を含み、該枝は前記術中内視鏡画像内では見えない前記血管ツリーの分岐部を示す。前記画像レジストレーション工程は、前記血管ツリー術中内視鏡画像内で見える前記血管ツリーの枝が示す前記血管ツリーの分岐部の図的表現を、前記血管ツリー術前３次元画像内の前記血管ツリーの分岐部の図的表現に画像マッチングさせることを含む。

本明細書で用いる「術前」という用語は、解剖領域の３次元画像を取得するために、該解剖領域の内視鏡撮像の前、最中又は後で行われる任意の行為を説明するためのものと広く定義され、本明細書で用いる「術中」という用語は、解剖領域の内視鏡撮像の間に行われるか又は関連する任意の行為を説明するためのものと広く定義される。解剖領域の内視鏡撮像の例としては、限定されないが、冠動脈バイパス移植術、気管支鏡検査、大腸内視鏡検査、腹腔鏡検査及び脳内視鏡検査が挙げられる。

本発明の上記の及び他の形態並びに本発明の様々な特徴及び利点は、添付の図面と併せて、下記の本発明の様々な実施形態の詳細な説明を読むことでさらに明らかとなる。下記の詳細な説明及び図面は、本発明を説明するためのものに過ぎず、本発明を限定しない。本発明の範囲は、添付の請求項及びその同等物によって規定される。

図１は、本発明に係るロボット誘導システムの例示の実施形態を示す。 図２は、本発明に係るロボット誘導方法の例示の実施形態を表すフローチャートを示す。 図３は、図２に示すフローチャートの例示の手術実施を示す。 図４は、本発明に係るグラフマッチング法の例示の実施形態を表すフローチャートを示す。 図５は、本発明に係る血管ツリーのメイングラフの例示の規則化を示す。 図６は、本発明に係る血管ツリーのメイングラフの例示の規則化を示す。 図７は、本発明に係る内視鏡画像への幾何学的表現の例示の重ね合わせを示す。 図８は、本発明に係る、図７に示すオーバーレイ内の例示のロボット経路を示す。 図９は、本発明に係る不可視分岐部検出方法を表すフローチャートを示す。 図１０は、図９に示すフローチャートに係る多分岐血管ツリーの例示の分岐部検出を示す。 図１１は、本発明に係る可視／不可視分岐部レジストレーション方法を表すフローチャートを示す。 図１２は、本発明に係る分岐部レジストレーション改良方法を表すフローチャートを示す。

図１に示すように、ロボット誘導システムは、１つ以上の分岐部（即ち、枝）を有する血管ツリーの内視鏡撮像を伴う内視鏡処置のために、ロボットユニット１０及び制御ユニット２０を用いる。そのような内視鏡処置の例としては、限定されないが低侵襲心臓手術（例えば、冠動脈バイパス移植術又は僧帽弁置換術）が挙げられる。

ロボットユニット１０は、ロボット１１と、ロボット１１に強固に取り付けられた内視鏡１２と、内視鏡１２に取り付けられた映像取込装置１３とを含む。

本明細書では、ロボット１１は、１つ以上の関節をモーター制御することで特定の内視鏡処置のためにエンドエフェクタを望み通りに操作するように構造上構成された任意のロボット装置として広く定義される。実際には、ロボット１１は、例えば、不動部分（rigid segments）に連続的に接続された関節を有するシリアルロボット、並行な順番（parallel order）で取り付けられた関節及び不動部分を有するパラレルロボット（例えば、当該技術分野で周知のスチュワートプラットホーム）又はシリアル及びパラレル運動学の任意のハイブリッドな組み合わせ等の４自由度を有し得る。

本明細書では、内視鏡１２は、身体の内側から撮像する能力を有するように構造上構成された任意の装置として広く定義される。本発明の目的のために、内視鏡１２の例としては、限定されないが、柔軟性又は剛性のあらゆる内視鏡（例えば、内視鏡、関節鏡、気管支鏡、胆管鏡、結腸鏡、膀胱鏡、十二指腸鏡、胃カメラ、子宮鏡、腹腔鏡、喉頭鏡、神経鏡、耳鏡、プッシュ腸鏡（push enteroscope）、咽喉鏡、Ｓ状結腸鏡、副鼻腔鏡（sinuscope）、胸腔鏡、等）及び内視鏡に類似の、撮像システムを備えた任意の装置（例えば、撮像能力を有する入れ子（nested）カニューレ）が挙げられる。撮像は局所的であり、表面画像は光ファイバー、レンズ及び小型化（例えば、ＣＣＤベースの）撮像システムを用いて光学的に得られる。

実際には、内視鏡１２はロボット１１のエンドエフェクタに取り付けられる。ロボット１１のエンドエフェクタの姿勢（pose）は、ロボットアクチュエータの座標系の範囲におけるエンドエフェクタの位置及び向きである。ロボット１１のエンドエフェクタに取り付けられた内視鏡１２により、解剖領域内の内視鏡１２の視野の所定の姿勢は、ロボット座標系内のロボット１１のエンドエフェクタの特有の姿勢に対応する。そのため、内視鏡１２によって生成される血管ツリーの個々の内視鏡画像のそれぞれは、解剖領域内の内視鏡１２の対応姿勢に関連し得る。

本明細書では、映像取込装置１３は、内視鏡１２からの術中内視鏡映像信号を、コンピュータに読み込み可能な時系列の術中内視鏡画像（「ＩＯＥＩ」）１４に変換する能力を有するように構造上構成された任意の装置として広く定義される。実際には、映像取込装置１３は、術中内視鏡映像信号から個々のデジタルスチールフレームを取り込む任意の種類のフレーム取り込み器を用い得る。

引き続き図１を参照して、制御ユニット２０はロボットコントローラ２１及び内視鏡コントローラ２２を含む。

本明細書では、ロボットコントローラ２１は、内視鏡処置のためにロボット１１のエンドエフェクタの姿勢を望み通りに制御するため、１つ以上のロボットアクチュエーターコマンド（「ＲＡＣ」）２６をロボット１１に提供するように構造上構成された任意のコントローラとして広く定義される。より具体的には、ロボットコントローラ２１は、内視鏡コントローラ２２からの内視鏡位置コマンド（「ＥＰＣ」）２５をロボットアクチュエーターコマンド２６に変換する。例えば、内視鏡位置コマンド２５は、解剖領域内の内視鏡１２の視野の所望の３Ｄ位置に至る内視鏡経路を示し得る。それにより、ロボットコントローラ２１はコマンド２５を、ロボット１１の各モーターに内視鏡１２を該所望の３Ｄ位置に移動させるための作動電流を必要に応じて含むコマンド２６に変換する。

本明細書では、内視鏡コントローラ２２は、図２に例示の本発明に係るロボット誘導方法を実施するように構造上構成された任意のコントローラとして広く定義される。この目的を達成するために、内視鏡コントローラ２２は画像処理モジュール（「ＩＰＭ」）２３を包含し得る。本明細書では、画像処理モジュール２３は、本発明の解剖学的オブジェクトの画像レジストレーションを実行するように構造上構成された任意のモジュールとして広く定義される。特に、図２に示すフローチャート３０のステージＳ３２及びＳ３３によって血管ツリー画像レジストレーションが例示的に実行される。内視鏡コントローラ２２はビジュアルサーボモジュール（「ＶＳＭ」）２４をさらに包含し得る。本明細書では、ビジュアルサーボモジュール２４は、解剖領域内の内視鏡１２の視野の所望の３Ｄ位置に至る内視鏡経路を示す内視鏡位置コマンド２５を生成するように構造上構成された任意のモジュールとして広く定義される。特に、内視鏡位置コマンド２５は、図２に示すフローチャート３０のステージＳ３４によって例示的に実行される血管ツリー画像レジストレーションから得られる。

内視鏡コントローラ２２のさらなる理解を容易にするために、フローチャート３０を以下で説明する。

図２を参照して、フローチャート３０のステージＳ３１は、身体の任意の解剖領域の術前３Ｄ画像から血管ツリー（例えば、動脈、毛細血管又は静脈の分岐部）の幾何学的表現（geometrical representation）を抽出することを含む。例えば、図３に示すように、３Ｄ撮像装置（例えば、ＣＴ装置、Ｘ線装置又はＭＲＩ装置）を操作して、患者５０の左冠動脈５１及び右冠動脈５２を示す、患者５０の胸部の術前３Ｄ画像を生成する。その後、血管ツリー抽出器４３を操作して、画像４２から冠動脈ツリーの幾何学的表現４４を抽出する。幾何学的表現４４はデータベース４５に保存され得る。実際には、画像４２を生成し、画像４２から冠動脈ツリーの３Ｄデータセットを抽出するのに、フィリップス社が販売するＢｒｉｌｌｉａｎｃｅ ｉＣＴスキャナが用いられ得る。

図２に戻って、フローチャート３０のステージＳ３２は、画像処理モジュール２３が血管ツリーの１つ以上の術中内視鏡画像１４（図１）の図的表現を、血管ツリーの術前３Ｄ画像４４（図１）の図的表現にマッチさせることを含む。例えば、図３に示すように、内視鏡１２は、映像取込装置１３によって取り込まれた患者５０の胸部の術中内視映像を生成して、それを術中内視鏡画像１４に変換する。それにより、内視鏡コントローラ２２の画像処理モジュール２３が、冠動脈ツリーの術中内視鏡画像１４の図的表現を冠動脈ツリーの術前３Ｄ画像４４の図的表現にマッチさせる。例示の実施形態では、画像処理モジュール２３は、図４に示すフローチャート６０が例示的に表す本発明の血管ツリー画像マッチング方法を実行する。ここでは、血管ツリーが冠動脈ツリーであるという文脈で該方法を説明する。

図４を参照して、フローチャート６０のステージＳ６１は、画像処理モジュール２３が、当該技術分野で周知な任意の表現方法（representation method）に従って、冠動脈ツリーの幾何学的表現から冠動脈ツリーのメイングラフを生成することを含む。例えば、ステージＳ６１に示すように、冠動脈ツリーの幾何学的表現７０が、冠動脈ツリーの幾何学的表現７０の各分岐部（例えば、２つ又は３つに分かれる分岐部）を表すノードを有し、ノード間の分岐継手をさらに有するメイングラフ７１に変換される。ステージＳ６１は、Ｃ型アームを有する血管造影（C-arm angiography）システム又は他の好適なシステムにより、術前（例えば、内視鏡手術の数日前又は患者５０に内視鏡１２を導入する前の任意の時間）又は術中に行われ得る。

フローチャート６０のステージＳ６２は、画像処理モジュール２３が、当該技術分野で周知の任意の図的表現方法に従って、術中内視鏡画像１４内で見える冠動脈ツリーの一部から冠動脈ツリー部分グラフ（subgraph）を生成することを含む。具体的には、内視鏡１２が患者５０に導入されることにより、画像処理モジュール２３が術中内視鏡画像１４内の冠動脈構造の検出を行う。実際には、一部の動脈構造は見えるが、他の動脈構造は脂肪組織の層によって隠れている。そのため、画像処理モジュール２３が、周知の画像処理動作（例えば、見える冠動脈構造に特有の赤色による閾値検出）により見える冠動脈構造の自動検出を実行し得るか又は外科医が手動で入力装置を用いて、見える冠動脈構造の輪郭をコンピュータディスプレイ上で描画し得る。動脈構造が検出されると、画像処理モジュール２３は、冠動脈ツリーのメイングラフの生成と同様に冠動脈ツリーの部分グラフを生成する。例えば、ステージＳ６２に示すように、冠動脈構造の幾何学的表現７２が、冠動脈ツリーの幾何学的表現７２の各分岐部（例えば、２つ又は３つに分かれる分岐部）を表すノードを有し、ノード間の分岐継手をさらに有するグラフ７３に変換される。双方のツリーは同一人物に由来するため、内視鏡画像に由来するグラフは、３Ｄ画像に由来するメイングラフの部分グラフであることが分かる。

フローチャート６０のステージＳ６３は、画像処理モジュール２３が周知な任意のグラフマッチング法（例えば、最大共通部分グラフ又はマクレガー共通部分グラフ）に従って部分グラフをメイングラフにマッチングさせることを含む。例えば、ステージＳ６３に示すように、部分グラフ７３のノードがメイングラフ７１のノードのサブセットにマッチングされる。

実際には、部分グラフ７３は、術中内視鏡画像１４内で部分的にしか検出されなかったり、部分グラフ７３の一部のノード／継手が術中内視鏡画像１４にはなかったりすることがある。ステージＳ６２のマッチング精度を改善するために、メイングラフ７１及び部分グラフ７３の付加的な規則化（ordering）が実施され得る。

一実施形態では、ステージＳ６１の画像走査の時に分かっている患者５０の向きに基づいて、メイングラフ７１のノードが垂直方向に規則化（vertical node ordering）される。具体的には、メイングラフのノードが、図５において実線矢印で例示するように上から下への規則を保つように方向的に結び付けられる。部分グラフ７３では、内視鏡１２に対する患者の向きが分からないことがある。しかしながら、冠動脈ツリーの枝が上から下に広がるにつれてそれらの径が減少するのであれば、術中内視鏡画像１４内の動脈枝の様々な大きさは向きを示し得る。

他の実施形態では、ステージＳ６１の画像走査時に分かっている患者５０の向きに基づいて、メイングラフ７０のノードが水平方向に規則化（horizontal node ordering）され得る。具体的には、メイングラフのノードが、図６において破線矢印で例示するように左右の規則を保つように方向的に結び付けられる。部分グラフ７３では、内視鏡１２に対する患者５０の向きが分からない可能性が高いため、部分グラフ７３のノードの水平方向への規則化は、グラフィカルユーザーインターフェースを介して手術を行う外科医又は助手によって設定され得る。

規則化を用いることでグラフのマッチングにかかる時間が減少し、考えられるマッチの数が少なくなるものの、理論的には、マッチングアルゴリズムによってグラフ間で複数のマッチが得られる可能性が依然としてある。フローチャート３０のステージＳ３３の間にそのような複数のマッチの問題が対処される。

再び図２を参照して、グラフのマッチングに基づいて、フローチャートのステージＳ３３は、動脈ツリーの術中内視鏡画像１４に動脈ツリーの術前３Ｄ画像４４の幾何学的表現（図１）を重ねることを含む。これは、メイングラフに一意的に関連付けられた幾何学的表現を用いて行われる。そのため、透視変換（perspective transformation）を用いて形状全体が術中内視鏡画像１４に直接変換され得る。この透視変換は、当該技術分野で周知のマッチングアルゴリズム（例えば、ホモグラフィマッチング）を用いて術前３Ｄ画像４４のノード及び術中内視鏡画像１４から検出され得る。

例えば、図７は、術中内視鏡画像９０のノード９１〜９５にマッチするノードを有する冠動脈ツリーの幾何学的表現８０を示す。ノード９１〜９５のうちの各対を成すノード間の距離を用いて幾何学的表現８０の倍率を決定して、図示する術中内視鏡図９０に幾何学的表現８０を重ねることができるようにしてもよい。

実際には、ステージＳ３２のグラフマッチング（図２）で複数の結果が得られた場合、可能性のあるオーバーレイの全てを外科医に表示することで、外科医はグラフィカルユーザーインターフェースを介して、自身が最も可能性の高いマッチであると考えるマッチ結果を選択し得る。術中内視鏡画像１４内の少なくとも一部の構造に対する内視鏡１２の位置を外科医が知っていれば、その選択は比較的容易であり得る。

再び図２を参照して、フローチャート３０のステージＳ３４は、ビジュアルサーボモジュール２４が、血管ツリーの術中内視鏡画像１４（図1）に重ねられた血管ツリーの術前３Ｄ画像４４（図１）の幾何学的表現内に内視鏡経路を生成することを含む。その内視鏡経路に基づいて、ビジュアルサーボモジュール２４はロボットコントローラ２１に対する内視鏡位置コマンド２５を生成する。それにより、内視鏡１２（図１）が該内視鏡経路に沿って解剖領域内の所望の位置に誘導される。具体的には、正確なオーバーレイが発見されると、ロボット１１は、外科医が術前３Ｄ画像４４上で選択する位置に内視鏡１２を誘導するよう命令を受け得る。外科医又は助手が血管ツリーのある点を選択し、ロボット１１がその所望の位置に向けて内視鏡１２を任意の好適な経路に沿って誘導し得る。例えば、図８に示すように、ロボット１１は所望の位置１００への最短経路１０１に沿って又は所望の位置１００への冠動脈経路１０２に沿って内視鏡１２を移動させ得る。冠動脈経路１０２であれば、ロボット１１が内視鏡１２を移動させるのに従って、外科医は可視動脈を観察することができるため、冠動脈経路１０２が好ましい実施形態である。それに加えて、マッチングが成功したかどうかを判断する上で外科医の助けとなり得る。冠動脈経路１０２は、当該技術分野で周知な方法を用いて定義され得る（例えば、ダイクストラ最短経路アルゴリズム）。

実際には、ロボット１１の動作は、遠隔運動中心による未校正のビジュアルサーボを用いて命令され、マッチングステージＳ３２時により大きな部分グラフが得られるように（例えば、当該技術分野で周知の術中内視鏡画像１４の縫い合わせ）内視鏡１２の視野が広げられ得る。

本明細書で前述したように、図２に示すフローチャート３０のステージ３２及び３３は、１つの血管ツリーを伴う本発明の血管ツリー画像レジストレーションを表すものである。それに加えて、前述のステージＳ３２及びＳ３３の説明は、ステージＳ３２及びＳ３３の理解を容易にするために冠動脈ツリーに照らして述べた。実際には、本発明の血管ツリー画像レジストレーションは、身体の任意の解剖領域内にある２つ以上の任意の種類の血管を伴い得る。

再び図２を参照して、ステージＳ３２では、術前データ４４（図１）の血管ツリー（例えば、動脈ツリー）を内視鏡映像（図１）にマッチングさせるために、内視鏡の視界内で見える分岐点を用いる。実際には、本明細書で先に述べたように、目に見える分岐部の合計数は、術前データ４４の血管ツリーを内視鏡映像１４に正確にマッチングさせるのに十分でない可能性がある。また、内視鏡１２は通例校正されておらず、内視鏡１２を何らかの形で校正するとワークフローが大幅に滞り得ることを考えれば、血管ツリーの幾何学的情報（例えば、内視鏡画像１４内の見える枝の形状）を幾何学的な観点（geometric terms）で変換することができない場合もある。

図９〜図１２は、内視鏡映像１４内では見えないかもしれない分岐部を血管ツリーの見える枝から検出するための、特に内視鏡映像１４内では見えない動脈分岐部を動脈の見える部分から検出するステージＳ３２の追加の実施形態を示す。これらの実施形態では、本明細書で先に教示したフローチャート６０の原理（図４）に従って、グラフの生成及びノードのマッチングが行われる。

図９を参照して、フローチャート１１０は、解剖領域の術前３Ｄ画像に該解剖領域の術中内視鏡画像をレジストレーションする上での基準となる血管ツリーの見える枝から、内視鏡映像内では見えないかもしれない分岐部を検出する方法を表す。この方法の理解を容易にするために、ここでは、脂肪組織によって覆われているために又は心筋（心筋内動脈）によって内視鏡の視野内では見えない分岐部に照らして、フローチャート１１０を説明する。脂肪組織によって覆われているために又は心筋により分岐部が見えない状況は、冠動脈バイパス手術を必要とする患者にはよく見られることである。

フローチャート１１０のステージＳ１１１は、内視鏡の視野内で見える血管ツリーの枝部分を利用して、内視鏡の視野内では見えない分岐部を取り囲み得る多角形を作成することを含む。

具体的には、ステージＳ１１１では、外科医又は補助スタッフが、内視鏡映像に示される血管ツリーの見える部分に手動でマーキングすることを含む。例えば、ステージＳ１１１は動脈ツリーのサブツリー１２０を示す。内視鏡映像内ではマーキングされた３つの動脈部分１２１〜１２３が見えているが、該動脈ツリーの残りの部分、とりわけサブツリー１２０の分岐部の双方は脂肪に覆われている。

ステージＳ１１１は、血管ツリーの見えない分岐部を取り囲む多角形領域を描画する（delineate）ために、目に見えるマーキングされた枝部分から伸びた線を定義することをさらに含む。例えば、ステージＳ１１１は、サブツリー１２０の見えない分岐部を取り囲む領域を描画するために、部分１２１から伸びた線１２１ｘ−１２１ｙ、部分１２２から伸びた線１２２ｘ−１２２ｙ及び部分１２３から伸びた線１２３ｘ−１２３ｙを示す。実際には、動脈は心臓の上から下に走ることから動脈が突然方向を変えて上方に行くようなことは考えられないため、各線とそれに対応する部分との間の角度が予め定義され得る。また、動脈ツリーの術前３Ｄ走査から最大可能角度が抽出され得る。

ステージＳ１１１に例示する３つ（triplet）の部分の場合、全ての部分からの線全てが重なる多角形領域（丸で示す）が多くて１つ存在する。これは、サブツリー１２０の分岐部の発見が見込まれる囲まれた領域である。線が重なり合わなければ、マーキングした枝部分１２１〜１２３は同じ動脈枝に属するか、分岐部がないか又はマーキングした枝部分１２１〜１２３は全く異なる枝に属する可能性が高い。

フローチャート１１０のステージＳ１１２は、ステージＳ１１１で描画した多角形領域から、該多角形領域内の分岐部を定義することを含む。一実施形態では、ステージＳ１１２に示すように、多角形領域の中心１２４が分岐部として定義され得る。代替の実施形態では、描画した多角形領域が内視鏡画像上で見えるようにされ得る。外科医は、組織又は近くの解剖構造についての自身の知識により及び／又は術前の走査データから、自身が分岐点の場所である可能性が最も高いと考える多角形領域内の点を手動で選択し得る。より具体的には、選択した血管の１つが解剖学的に特定できれば（例えば、左冠動脈前下行枝）、その血管構造の周りの術前画像を観察することで、可能性のある多角形領域内の分岐部を見事に推測できるようになる。

分岐点が算出又は選択されると、その新たな分岐点を用いて血管構造の図的表現が生成され得る。例えば、ステージＳ１１２は、見える枝部分１２１〜１２３によって定義される分岐部１２４に基づく図的表現１２５を示す。この図的表現１２５は、フローチャート６０のための部分グラフ又はより大きな部分グラフの一部となり得る（図４）。

実際には、冠動脈は、殆どの患者に亘って形状及び形態が標準的な明確に定義された解剖構造だということを考えれば、理にかなっていない図的表現は定義した分岐点が誤っていることを示し得る。例えば、分岐点１２４が、動脈ツリーの解剖構造に鑑みれば極めて可能性が低い過度の曲線を描くことを特定の血管部分１２２に求める場合は、その誤った分岐点１２４に鑑みて図的表現１２５は理にかなわないと見做され得る。この場合、図的表現１２５が廃棄され、フローチャート１１０が再度実行され得る。

フローチャート１１０のさらなる理解を容易にするために、図１０は、動脈ツリーのサブツリー１３０の見える４つの枝部分１３１〜１３４のマーキングを示す。計４つの多角形領域候補が、部分１３１〜１３４の重なり合う線ｘ-ｙの可能な組み合わせの全てから描画されている。具体的には、部分１３１−１３２−１３３の線ｘ−ｙが第１の多角形領域を形成し、部分１３２−１３３−１３４からの線ｘ−ｙが第２の多角形領域を形成し、部分１３２−１３４からの線ｘ−ｙが第３の多角形領域を形成し、部分１３３−１３４の線ｘ−ｙが第４の多角形領域を形成する。これらの４つの多角形領域のうち、第１の多角形領域及び第２の多角形領域が３つの部分の重なりを含むため、それらの多角形領域のみが有効である。分岐部候補１３５は多角形領域１３１−１３２−１３３の中心であり、分岐部候補１３６は多角形領域１３２−１３３−１３４の中心である。多角形領域１３１−１３２−１３３は多角形領域１３２−１３３−１３４の内にあるため、２つの分岐部候補１３５及び１３６は一次ツリー（破線）を介してつながっていると考えられ得る。

実際には、動脈ツリーの内視鏡画像は見える分岐部と見えない分岐部とを有し得る。図１１は、フローチャート６０（図４）に従って部分グラフを生成するための可視／不可視分岐部レジストレーション方法を表すフローチャート１４０を示す。

フローチャート１４０のステージＳ１４１は、内視鏡画像内で見えるｎ個の分岐部Ｂの選択を含む。フローチャート１４０のステージＳ１４２は、フローチャート１１０（図９）に従って内視鏡画像内で見える枝部分の全ての選択を含む。フローチャート１４０のステージＳ１４３は、選択された見える枝部分から、ｋ個の多角形領域Ｐを描画することを含み、フローチャート１４０のステージＳ１４４は、ｋ個の見えない分岐部候補Ｃを定義することを含む。

フローチャート１４０のステージＳ１４５は、ｎ個の見える分岐部Ｂの全てを、ｋ個の見えない分岐部候補Ｃの全てと比較することを含む。分岐部の対（Ｂ、Ｃ）のどれかが同じ多角形領域に属していれば、見えない分岐部は見える分岐部を予測している可能性が高いため、それが廃棄される。残りのｍ個の見えない分岐部の全てが組み合わされて、フローチャート１４０のステージＳ１４６の間に最終的な分岐部のリストが作られる。そのため、最終的な分岐部のリストからフローチャート６０のために部分グラフが生成され得る。

図９を参照して、臨床内視鏡は通例校正されておらず、何らかの形で校正を行うとワークフローが大幅に滞り得るため、見えない枝部分をマーキングするのに動脈ツリーの形状をそのまま用いることがではない。そのため、動脈ツリーの形状の尺度（scale）が分からない。図１２は、ステージＳ３２により最初の画像レジストレーションが行われた後で、術前３Ｄ画像から内視鏡画像内のオブジェクトの尺度を読み出し（図２）、ステージＳ３３により術前３Ｄ画像の動脈が内視鏡画像に重ねられる（図２）レジストレーション改善方法を表すフローチャート１５０を示す。例えば、術前３Ｄ画像から、内視鏡画像内の任意の動脈部分オブジェクトの長さをＳＩ単位で読み出すことができる。

具体的には、フローチャート１５０のステージＳ１５２は、重ね合わせを行った後でオブジェクトの、特に動脈の尺度を読み出すことを含む。オブジェクトの尺度及び動脈部分の形状の倍率はピクセルではなく国際単位（例えば、ミリメートル）である。これらの形状は、ポイントベースレジストレーション（例えば、当該技術分野で周知の反復最近点（ＩＣＰ））を行うためにフローチャート１５０のステージＳ１５３で利用され、今度はそれがステージＳ３２の初期画像レジストレーションの改善に使用される。

再び図１を参照して、実際には、モジュール２３及び２４は、図示の内視鏡コントローラ２２と統合されたハードウェア、ソフトウェア及び／又はファームウェアによって実行され得る。

本明細書で述べた図１〜図１２の説明から、当業者は、限定されないが、任意の種類の血管に対して行われる任意の種類の内視鏡手術への本発明の適用を含む本発明の数多くの利点が分かる。

本発明を例示の態様、特徴及び実施形態を参照して説明してきたが、開示のシステム及び方法はそのような例示の態様、特徴及び／又は実施形態に限定されない。むしろ、当業者には本明細書で述べた説明から既に明らかなように、開示のシステム及び方法は、本発明の精神又は範囲から逸脱することなく、変更、変形及び改善を許容する。従って、そのような変更、変形及び改善は明らかに本発明の範囲に含まれる。

Claims (20)

1. 画像レジストレーションシステムであって、
   解剖領域内の血管ツリーの術中内視鏡画像を生成するように動作可能な内視鏡；及び
   前記の血管ツリー術中内視鏡画像を前記解剖領域内の前記血管ツリーの術前３次元画像に画像レジストレーションするように動作可能な内視鏡コントローラ；
   を含み、
   前記血管ツリー術中内視鏡画像は該術中内視鏡画像内で見える前記血管ツリーの複数の枝を含み、該枝は前記術中内視鏡画像内では見えない前記血管ツリーの分岐部を示し、
   前記画像レジストレーションは、前記血管ツリー術中内視鏡画像内で見える前記血管ツリーの枝が示す前記血管ツリーの分岐部の図的表現を、前記血管ツリー術前３次元画像内の前記血管ツリーの分岐部の図的表現に画像マッチングさせることを含む、画像レジストレーションシステム。
2. 前記画像マッチングは：
   前記血管ツリー術前３次元画像の幾何学的表現に由来するメイングラフを生成すること；
   前記血管ツリー術中内視鏡画像の幾何学的表現に由来する部分グラフを生成すること；及び
   前記部分グラフを前記メイングラフにノードマッチングさせること；
   を含み、
   前記メイングラフは前記血管ツリー術前３次元画像内の前記血管ツリーの各分岐部を表すノードのメインセットを含み、
   前記部分グラフは前記ノードのメインセットのサブセットを含み、該サブセットの第１のノードは、前記血管ツリー術中内視鏡画像内で見える前記血管ツリーの枝が示す前記血管ツリーの分岐部を表す、請求項１に記載の画像レジストレーションシステム。
3. 前記部分グラフを前記メイングラフに画像マッチングさせることは、前記メイングラフ内のノードを垂直方向及び水平方向のうちの少なくとも一方に規則化することを含む、請求項２に記載の画像レジストレーションシステム。
4. 前記画像レジストレーションは、前記術中内視鏡画像内では見えない前記血管ツリーの分岐部を取り囲む多角形領域を、前記術中内視鏡画像上に描画することをさらに含む、請求項１に記載の画像レジストレーションシステム。
5. 前記多角形領域の描画は：
   前記術中内視鏡画像内で見える前記血管ツリーの枝のそれぞれを枝部分としてマーキングすること；
   各枝部分から線を伸ばすこと；及び
   異なる枝部分の重なり合った線を描画することを含む、請求項４に記載の画像レジストレーションシステム。
6. 前記画像レジストレーションは、前記術中内視鏡画像内では見えない前記血管ツリーの分岐部の検出として、前記多角形領域内で分岐部候補を定義することをさらに含む、請求項４に記載の画像レジストレーションシステム。
7. 前記多角形領域内で前記分岐部候補を定義することは、前記多角形領域の中心を前記分岐部候補として特定することを含む、請求項６に記載の画像レジストレーションシステム。
8. 前記多角形領域内で前記分岐部候補を定義することは、前記解剖領域の構造に基づいて、前記多角形領域内の点を前記分岐部候補として特定することを含む、請求項６に記載の画像レジストレーションシステム。
9. 前記多角形領域内で前記分岐部候補を定義することは、前記血管ツリー術前３次元画像に基づいて、前記多角形領域内の点を前記分岐部候補として特定することを含む、請求項６に記載の画像レジストレーションシステム。
10. 前記画像レジストレーションは、前記術中内視鏡画像内で見える分岐部の全てを選択することをさらに含み、
    前記画像マッチングは、前記見える分岐部及び前記見えない分岐部を利用して、前記血管ツリー術中内視鏡画像の幾何学的表現を生成することを含む、請求項１に記載の画像レジストレーションシステム。
11. 前記画像レジストレーションは、前記血管ツリーの見えない分岐部を取り囲む多角形領域を、前記術中内視鏡画像上に描画することをさらに含み、前記見える分岐部は該多角形領域の外にある、請求項１０に記載の画像レジストレーションシステム。
12. 前記内視鏡コントローラは、前記血管ツリー術前３次元画像内の前記血管ツリーの尺度に基づいて、前記血管ツリー術中内視鏡画像の前記血管ツリー術前３次元画像への画像レジストレーションを改善するようにさらに動作可能である、請求項１に記載の画像レジストレーションシステム。
13. 前記画像レジストレーションの改善は：
    前記血管ツリー術前３次元画像内の前記血管ツリーの尺度を利用して、前記術中内視鏡画像内で見える前記血管ツリーの各枝の形状を拡大縮小すること；及び
    前記術中内視鏡画像内で見える前記血管ツリーの各枝の形状の尺度を利用して、前記血管ツリー術中内視鏡画像の前記血管ツリー術前３次元画像へのポイントベースレジストレーションを行うことを含む、請求項１に記載の画像レジストレーションシステム。
14. 前記内視鏡コントローラは、前記画像レジストレーションに従って、前記血管ツリー術前３次元画像の幾何学的表現を前記血管ツリー術中内視鏡画像に重ね合わせるようにさらに動作可能である、請求項１に記載の画像レジストレーションシステム。
15. 前記血管ツリーは、動脈ツリー及び静脈ツリーのうちの一方である、請求項１に記載の画像レジストレーションシステム。
16. 画像レジストレーション方法であって、
    解剖領域内の血管ツリーの術前３次元画像を生成する工程；
    前記解剖領域内の前記血管ツリーの術中内視鏡画像を生成する工程；及び
    前記の血管ツリー術中内視鏡画像を前記の血管ツリー術前３次元画像に画像レジストレーションする工程；
    を含み、
    前記血管ツリー術中内視鏡画像は、該術中内視鏡画像内で見える前記血管ツリーの複数の枝を含み、該枝は前記術中内視鏡画像内では見えない前記血管ツリーの分岐部を示し、
    前記画像レジストレーション工程は、前記血管ツリー術中内視鏡画像内で見える前記血管ツリーの枝が示す前記血管ツリーの分岐部の図的表現を、前記血管ツリー術前３次元画像内の前記血管ツリーの分岐部の図的表現に画像マッチングさせることを含む、画像レジストレーション方法。
17. 前記画像マッチング工程は：
    前記血管ツリー術前３次元画像の幾何学的表現に由来するメイングラフを生成すること；
    前記血管ツリー術中内視鏡画像の幾何学的表現に由来する部分グラフを生成すること；及び
    前記部分グラフを前記メイングラフにノードマッチングさせること；
    を含み、
    前記メイングラフは前記血管ツリー術前３次元画像内の前記血管ツリーの各分岐部を表すノードのメインセットを含み、
    前記部分グラフは前記ノードのメインセットのサブセットを含み、該サブセットの第１のノードは、前記血管ツリー術中内視鏡画像内の前記血管ツリーの見える枝が示す前記血管ツリーの分岐部を表す、請求項１６に記載の画像レジストレーション方法。
18. 前記部分グラフを前記メイングラフに画像マッチングさせることは、前記メイングラフ内のノードを垂直方向及び水平方向のうちの少なくとも一方に規則化することを含む、請求項１７に記載の画像レジストレーション方法。
19. 前記内視鏡コントローラは、前記画像レジストレーション工程に従って、前記血管ツリー術前３次元画像の幾何学的表現を前記血管ツリー術中内視鏡画像に重ね合わせるようにさらに動作可能である、請求項１６に記載の画像レジストレーション方法。
20. 前記血管ツリーは、動脈ツリー及び静脈ツリーのうちの一方である、請求項１６に記載の画像レジストレーション方法。

Images