JP2023552577A - ナビゲーション気管支鏡検査のための動的変形追跡 - Google Patents

Abstract

肺の気道内のカテーテルの動きを追跡するためのシステム及び方法。肺の変形可能モデルは、分岐点で接合された気道セグメントとして肺の気道を表す。肺モデルの変形は、気道セグメントの互いに対する角度及び／または位置の修正を使用する。初期モデルは、例えばＣＴ画像のセグメンテーションに基づいて生成され得る。処置の開始時における初期モデルの患者の肺形状へのベースライン変形可能位置合わせは、複数の異なる経路に沿ったカテーテルの位置測定値から確立され得る。任意選択で、ベースライン位置合わせは呼吸相に従って動的である。ベースライン位置合わせと比較して、肺形状のリアルタイムの変化は、好ましくはカテーテル本体に沿って分散される位置センサを使用して、カテーテルが標的にナビゲートするにつれ、カテーテルを使用して取得されるさらなる測定値を使用することによってモデル化され得る。【選択図】図４

Description

関連出願
本出願は、２０２０年１２月１０日に出願され、「ＤＥＦＯＲＭＡＢＬＥ ＲＥＧＩＳＴＲＡＴＩＯＮ ＡＮＤ ＤＹＮＡＭＩＣ ＤＥＦＯＲＭＡＴＩＯＮ ＴＲＡＣＫＩＮＧ ＡＮＤ ＶＩＥＷＳ ＦＯＲ ＮＡＶＩＧＡＴＩＯＮＡＬ ＢＲＯＮＣＨＯＳＣＯＰＹ」と題する米国仮特許出願第６３／１２３，５９０号、及び２０２１年８月２９日に出願され、「ＤＥＦＯＲＭＡＴＩＯＮ ＴＲＡＣＫＩＮＧ」と題する米国仮特許出願第６３／２３８，１６５号の米国特許法第１１９条（ｅ）に基づく優先権の利益を主張し、そのそれぞれの内容は、参照によりその全体が本明細書に組み込まれる。

本発明は、いくつかの実施形態においては、気管支鏡検査の分野に関し、より具体的には、電磁ナビゲーション気管支鏡検査に関するが、これに限定されない。

蛍光透視法）を用いた単一のセンサ電磁感知によって誘導される非ロボットナビゲーション、光ファイバ形状完治によって誘導されるロボットナビゲーション、及び単一センサ電磁感知によって誘導されるロボットナビゲーションを含む、肺の中を移動するプローブをナビゲートするためのシステムが提案及び／または販売されている。当該技術で既知の他のシステムは、蛍光透視法に基づくシステム、ＣＢＴ（コーンビームＣＴ）誘導システム、及びビデオ位置合わせに基づく気管支鏡検査法を含む。

本開示のいくつかの実施形態の一態様によれば、肺の気道に対する介入器具の位置決めを追跡する方法が提供され、方法は、肺の気道のスケルトン化モデルにアクセスすることと、モデルは、分岐点で接続された複数の気道セグメントを含む、アクセスすることと、スケルトン化モデルの形状に対する変更を制限する解剖学的に定義された制約にアクセスすることと、介入器具に沿った、肺内の複数の位置を示す測定値にアクセスすることと、分岐点の１つまたは複数で気道セグメントの相対角度及び位置をモデル内で修正することであって、修正は、複数の位置によって示される肺の形状と、複数の位置に対応する気道セグメントの配置との間のモデル化された誤差を低減することと、解剖学的に基づいた制約を使用して、気道の形状がモデル化された誤差を低減するためには気道の形状がどのように変化する可能性があるのかを制限することとによって計算される、修正することとを含む。

本開示のいくつかの実施形態によれば、修正することは、共通分岐点で接合された気道セグメントの相対角度を修正することを含み、共通分岐点は、複数の位置の間に延びる介入器具によって横断されない。

本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、共通分岐点での気道の、その相対角度の変化の増加に対する抵抗を含む。

本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、気道セグメントの少なくとも一部の遠位側から加えられる固定力を含む。

本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、気道セグメントの少なくとも一部の長さに沿って曲がることに対する制限を含む。

本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、肺実質を通って互いに結び付けられた気道セグメントの別々の移動に対する制限を含む。

本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、複数の大域的な形状を含むデータセットによって表される大域的な形状の範囲と一致しない大気的な形状を形成する気道セグメントに対する制限を含む。

本開示のいくつかの実施形態によれば、気道セグメント形状の大域的な形状の範囲との一貫性を試験することは、気道セグメント形状を、大域的な形状の範囲内に属するその可能性に従って採点するように構成された機械学習製品を適用することを含む。

本開示のいくつかの実施形態によれば、大域的な形状の範囲は、複数の測定された肺の測定値から導出される。

本開示のいくつかの実施形態によれば、大域的な形状の範囲は、解剖学的に定義された制約の一部として事前に計算され、アクセスされるスケルトン化モデルの修正バージョンから導出される。

本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、複数の分岐形状を含むデータセットによって表される分岐形状の範囲と一致しない分岐形状を形成する複数の位置に沿った肺部分を表す気道セグメントに対する制限を含む。

本開示のいくつかの実施形態によれば、気道セグメント分岐形状の分岐形状の範囲との一貫性を試験することは、気道セグメント分岐形状を、分岐形状の範囲内に属するその可能性に従って採点するように構成された機械学習製品を適用することを含む。

本開示のいくつかの実施形態によれば、分岐形状の範囲は、複数の測定された肺の測定値から導出される。

本開示のいくつかの実施形態によれば、大域的な形状の範囲は、解剖学的に定義された制約の一部として事前に計算され、アクセスされるスケルトン化モデルの修正バージョンから導出される。

本開示のいくつかの実施形態によれば、方法は、肺のＣＴ画像のセグメンテーションに基づいて、スケルトン化モデルを構築することを含む。

本開示のいくつかの実施形態によれば、構築することは、ＣＴ画像のセグメンテーションをスケルトン化することと、スケルトン化において分岐点を識別することと、分岐点の相対角度を表すパラメータ値を分岐点に割り当てることとを含む。

本開示のいくつかの実施形態によれば、アクセスされた測定値は、異なるときに介入器具の異なる位置で介入器具を使用して複数の異なる気道トラックに沿って行われた測定値であり、気道セグメントの相対角度は、肺の撮像されたジオメトリに適合するために分岐点に割り当てられ、修正することは、肺のジオメトリが撮像された時点と、複数の異なる気道トラックに沿った測定時との間の肺位置の変化に従って気道セグメントの相対角度を修正する。

本開示のいくつかの実施形態によれば、アクセスされた測定値は、その測定時間によって呼吸の位相に関連付けられ、修正することは、アクセスされた測定値の呼吸相の関連付けに基づいて、複数の異なる呼吸相中の肺の形状を表す肺の気道の位相変化するスケルトン化モデルを作成するために相対角度を修正する。

本開示のいくつかの実施形態によれば、修正することは、呼吸の位相に関連付けられた新しい測定値のために実行され、新しい測定値の位置とその関連付けられた呼吸の位相の両方に従って位相変化する気道のスケルトン化モデルを修正する。

本開示のいくつかの実施形態によれば、測定値は、各測定値に関連付けられた呼吸相と、異なるモデル化された呼吸相との差に応じた重み付けに従って、異なるモデル化された呼吸相の気道セグメントの相対角度を修正する際に使用される。

本開示のいくつかの実施形態によれば、複数の異なる呼吸相中の肺の形状は、位相に関連付けられた測定値から修正することによって計算された第１の呼吸相での肺の状態と、位相に関連付けられた測定値から修正することによって計算された第２の呼吸相での肺の状態と、第１の位相と第２の位相との間の肺形状の補間によって計算される少なくとも第３の呼吸相での肺によって表される。

本開示のいくつかの実施形態によれば、複数の異なる位相中の肺の形状は、第４の呼吸相での肺によってさらに表される。

本開示のいくつかの実施形態によれば、第３及び第４の呼吸相は、ともに、第１の呼吸相と第２の呼吸相との間で等しく間隔を空けられ、互いに異なる。

本開示のいくつかの実施形態によれば、呼吸の位相は、肺及びその気道を含む体の外面に取り付けられたマーカーの移動に基づいて決定される。

本開示のいくつかの実施形態によれば、方法は、モデルの気道セグメントの配置を表す画像を表示することを含む。

本開示のいくつかの実施形態によれば、方法は、肺モデルに関連付けられた画像中のオブジェクトを表示することを含み、オブジェクトの位置は、気道セグメントの配置の変化に従って更新される。

本開示のいくつかの実施形態によれば、方法は、オブジェクトの位置を気道セグメントの少なくとも１つの位置に関連付けることと、気道セグメントの関連付けられた少なくとも１つの移動に従ってオブジェクトを移動させることとを含む。

本開示のいくつかの実施形態によれば、画像はまた、肺の気道のスケルトン化モデルとの既知の相応関係における肺の３Ｄ画像のスライスを表し、スライスは、介入器具が沿って延びる気道に対応する、表示された肺の部分に沿って延びるように選択される。

本開示のいくつかの実施形態によれば、肺の気道のスケルトン化モデルと、肺の３Ｄ画像の既知の相応関係は、気道のスケルトン化モデルを肺の３Ｄ画像のセグメンテーションから導出することによって確立される。

本開示のいくつかの実施形態によれば、表示された画像は肺の３Ｄ表現を含み、３Ｄ画像のスライスは介入器具の３Ｄ構成に従うために平面構成から湾曲される。

本開示のいくつかの実施形態によれば、表示された画像は、平面表現に平坦化された介入器具を表し、３Ｄ画像のスライスはそれとともに平坦化される。

本開示のいくつかの実施形態によれば、気道セグメントの相対角度は、第１の期間中に撮像された肺のジオメトリに適合するように分岐点に割り当てられ、第２の期間中に測定されたさらなる測定値に基づいて決定された肺のジオメトリに対する変化によって修正され、アクセスされた測定値は、介入器具に沿って、第３の期間中に、及び介入器具が同じ位置に留まっている間に行われた測定であり、修正することは、第２の期間と第３の期間との間の肺の位置の変化に従って気道セグメントの相対速度を修正する。

本開示のいくつかの実施形態によれば、この方法は、繰り返し、測定値の連続セットにアクセスすることと、それぞれの測定値の連続セットに基づいて気道セグメントの相対角度を修正することとを含む。

本開示のいくつかの実施形態によれば、修正することは、複数の位置によって示される肺の形状と、複数の位置に対応する気道セグメントの配置との間の誤差を低減する相対角度の新しい値を識別することと、以前の値からの変化の大きさを減少させるために、相対角度の以前の値に基づいて新しい値をフィルタリングすることと、新しい値を使用して、計算された修正を生じさせることとを含む。

本開示のいくつかの実施形態によれば、フィルタリングすることは、事前フィルタリングで識別された新しい値と比較して、複数の位置によって示された肺の形状と、複数の位置に対応する気道セグメントの配置との間の誤差を増加させる。

本開示のいくつかの実施形態によれば、誤差は、各測定値の連続セット間で修正することによって完全にではなく低減される。

本開示のいくつかの実施形態によれば、修正することは、スケルトン化モデルの複数の異なるコピーで相対角度を異なるように修正することと、測定値にアクセスすること、及び新しい測定値を使用して異なるコピーのそれぞれについて修正することを繰り返すことと、肺形状のより妥当な表現に基づいて、異なるコピーの１つを選択することと、測定値にアクセスすること、及び選択されたコピーだけを使用して修正することを繰り返し続けることとを含めることとを含む。

本開示のいくつかの実施形態によれば、修正することは、修正内の気道セグメントの相対角度を摂動させて、摂動された修正を計算することと、摂動後の修正によって摂動前の修正よりも誤差が減少することを特定することと、摂動された修正を使用して、修正することを実行することとを含む。

本開示のいくつかの実施形態の一態様によれば、肺の変形可能モデルを格納するコンピュータメモリ記憶媒体が提供され、モデルは、肺の気道の分岐構造のスケルトン化された表現と、分岐構造の複数の分岐点のそれぞれについて、分岐構造の分岐の向きの表現とに対応するデータ要素と、プロセッサに、分岐構造の分岐の相対向きの表現を修正することによって、提供された幾何学的制約を満たすためにモデルを修正するように命令するように構成されたコンピュータ命令とを含む。

本開示のいくつかの実施形態によれば、複数の分岐点は、分岐構造の第３のレベルの分岐までの分岐点を含む。

本開示のいくつかの実施形態によれば、コンピュータ命令は、プロセッサに、分岐構造のセグメントに沿って距離を修正することなく分岐構造の分岐の向きの表現を修正するように命令する。

本開示のいくつかの実施形態によれば、コンピュータ命令は、プロセッサに、親分岐点で分岐の相対向きを修正する変更を、親分岐点の子分岐点の分岐の空間的オフセット及び向きを修正する変更に伝播するように命令する。

本開示のいくつかの実施形態の一態様によれば、肺の気道内で介入器具の移動を追跡するためのシステムが提供され、システムは、プロセッサと、プロセッサに、介入器具の現在の形状及び位置決めの３Ｄ表現にアクセスすることと、気道セグメントの分岐点を含む、気道セグメントを表す気道のモデルにアクセスすることと、気道セグメントを、介入器具の現在の形状及び位置決めに一致させることとを命令する命令を保持するメモリとを含み、プロセッサは、介入器具の現在の形状及び位置決めに対する気道セグメントの相応関係の改善に基づいて、分岐点の分岐の回転修正を決定することと、モデルに修正を適用することとを命令される。

本開示のいくつかの実施形態によれば、回転修正は、介入器具が沿って延びる気道のセクションに対応するモデル化された気道セグメントに適用される。

本開示のいくつかの実施形態によれば、プロセッサは、体の動きの測定値にアクセスするように命令され、プロセッサは、体の動きの測定値に対応する肺形状の変化に一致するように気道のモデルを修正するために、気道セグメントの向きを修正するように命令される。

本開示のいくつかの実施形態によれば、修正は、分岐点に関連付けられた位置データを制御点として使用してモデルに適用される。

本開示のいくつかの実施形態によれば、異なる種類の回転修正は、体の動きの測定値に対応する肺の形状の変化に対する気道モデルの一致を改善するためにその可用性において別々に重みを付けられる。

本開示のいくつかの実施形態によれば、異なる種類の回転修正は、気道セグメントの介入器具の現在の形状及び位置決めに対する相応関係を改善するためにその可用性において別々に重み付けされる。

本開示のいくつかの実施形態によれば、長手方向の曲げ回転修正は、長手方向のねじり回転修正よりも相応関係を改善するためにより利用可能であるとして重み付けされる。

本開示のいくつかの実施形態の一態様によれば、介入器具の位置データを撮像された肺形状に位置合わせする方法が提供され、方法は、肺の撮像された肺形状に基づいて構築されたベースライン肺気道モデルを受信することと、後に、１つまたは複数の肺内プローブを使用して、気道の同じ分岐点の少なくとも２つの異なる分岐を含む肺の気道の複数の分岐に沿った位置を測定することと、測定された位置と位置合わせし、変形ベースライン肺気道モデルを生成するようにベースライン肺気道モデルを修正することであって、変形ベースライン肺気道モデルが複数の呼吸相内の肺気道を表す、修正することと、肺の現在の形状を示す測定値に基づいて、変形ベースライン肺気道モデルに適用可能な変換を決定して、肺の現在の形状を示すように変形肺気道モデルを調整することと、変換に従って変換された、変形ベースライン気道モデルを示す画像を表示することとを含む。

本開示のいくつかの実施形態によれば、肺の気道の複数の分岐に沿った位置の測定値は、それぞれ呼吸相に関連付けられ、複数の呼吸相の異なる位相内の肺気道の表現が、測定値の異なる呼吸相との関連付けを使用して生成される。

本開示のいくつかの実施形態によれば、変換を決定することは、肺の示されている現在の形状に対応する呼吸相を使用して、変形ベースライン肺気道モデルの呼吸相に依存する形状を決定することと、変換を計算して、決定された呼吸相依存形状を肺の示されている現在の形状に変換することとを含む。

本開示のいくつかの実施形態によれば、変形ベースライン肺気道モデルにおいて、複数の呼吸相中の肺の形状は、ベースライン肺気道モデルを修正することによって生成される第１の呼吸相での肺の状態と、ベースライン肺気道モデルを修正することによって生成される第２の呼吸相での肺の状態とによって表される。

本開示のいくつかの実施形態によれば、決定することは、変形ベースライン気道モデルから、第１の位相と第２の位相との間の肺形状の補間によって計算される、第３の呼吸相での肺のベースライン形状を生成することを含む。

本開示のいくつかの実施形態によれば、複数の呼吸相中の肺の形状は、ベースライン肺気道モデルを修正することによって生成される、第４の呼吸相での肺の状態をさらに含む。

本開示のいくつかの実施形態によれば、第３及び第４の呼吸相は、それぞれ、第１の呼吸相と第２の呼吸相との間の位相で同様に間隔を空けられ、互いに異なる。

本開示のいくつかの実施形態の一態様によれば、解剖学的構造の３Ｄ画像にアクセスすることと、解剖学的構造を通る経路を画定することと、経路に沿った位置の３Ｄ画像内の場所との空間的対応と、３Ｄ画像内の場所を含む３Ｄ画像を通って延びる表面を計算することと、表面によって画定された解剖学的構造の３Ｄ画像の位置からのデータとともに、３Ｄ空間を通って延びる経路を示す３Ｄ表示画像を表示することとを含む、解剖学的構造を通って曲がりくねった経路に沿って特徴を表示する方法が提供され、経路は、解剖学的構造の形状の少なくとも１つの動的に変化するパラメータの測定値を使用して繰り返し画定され、計算すること及び表示することは、経路が繰り返し画定されるたびに繰り返される。

本開示のいくつかの実施形態によれば、表面は、経路の両側の通路に沿って延びるストリップとして計算される。

本開示のいくつかの実施形態によれば、ストリップは、経路の両側でほぼ等距離延びる。

本開示のいくつかの実施形態によれば、方法は、経路と既知の空間的対応にある解剖学的構造の一部分の３Ｄモデルにアクセスすることと、３Ｄ表示画像内に解剖学的構造の３Ｄモデルの表示を含めることを含む。

本開示のいくつかの実施形態によれば、解剖学的構造の一部分の３Ｄモデルも動的に変化する。

本開示のいくつかの実施形態によれば、解剖学的構造は肺の気道を含む。

本開示のいくつかの実施形態によれば、経路は肺の気道を通って延びる。

本開示のいくつかの実施形態によれば、少なくとも１つの動的に変化するパラメータの測定値は、経路に沿って位置決めされた介入器具の位置測定値を含む。

本開示のいくつかの実施形態によれば、経路に沿って配置された介入器具の位置測定値は、経路に沿った複数の位置からの位置測定値を含む。

少なくとも１つの動的に変化するパラメータの測定値は、その測定時間によって呼吸の位相に関連付けられる。

特に定義されない限り、本明細書で使用されるすべての技術用語及び／または科学用語は、本開示が属する技術分野の当業者が一般的に理解するものと同じ意味を有する。本明細書に記載のものと類似または同等の方法及び材料が、本開示の実施形態の実施または試験において使用され得るものの、例示的な方法及び／または材料は以下に説明される。矛盾する場合、定義を含む特許明細書が優先する。さらに、材料、方法、及び実施例は、一例にすぎず、必ずしも限定することを意図していない。

当業者には理解されるように、本開示の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本開示の態様は、本明細書では一般に「回路」、「モジュール」、または「システム」と呼ばれ得る、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をと得る（例えば、方法は「コンピュータ回路」を使用してじっそうされうる）。さらに、本開示のいくつかの実施形態は、コンピュータ可読プログラムコードが具現化される１つ以上のコンピュータ可読媒体（複数可）に具現化されているコンピュータプログラム製品の形態をとり得る。本開示のいくつかの実施形態の方法及び／またはシステムの実施は、選択されたタスクを手動で、自動的に、またはそれらの組み合わせで実行すること及び／または遂行することを含み得る。さらに、本開示の方法及び／またはシステムのいくつかの実施形態の実際の計装及び設備によれば、いくつかの選択されたタスクは、ハードウェア、ソフトウェア、またはファームウェア、及び／またはそれらの組み合わせによって、例えばオペレーティングシステムを使用して実施することができる。

例えば、本開示のいくつかの実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施され得る。ソフトウェアとしては、本開示のいくつかの実施形態による選択されたタスクは、任意の適切なオペレーティングシステムを使用してコンピュータによって実行される複数のソフトウェア命令として実施され得る。本開示のいくつかの実施形態では、方法において及び／またはシステムによって実行される１つまたは複数のタスクは、複数の命令を実行するためのコンピューティングプラットフォームなど、データプロセッサ（デジタルビットのグループを使用し手動作するデータプロセッサを参照して、本明細書では「データプロセッサ」とも呼ばれる）によって実行される。任意選択で、データプロセッサは、命令及び／またはデータを格納するための揮発性メモリ、及び／または命令及び／またはデータを格納するための不揮発性ストレージ、例えば、磁気ハードディスク及び／またはリムーバブルメディアを含む。任意選択で、ネットワーク接続も設けられる。ディスプレイ、及び／またはキーボードまたはマウスなどのユーザ入力デバイスも任意選択で提供される。これらの実装のいずれも、本明細書ではより一般的にコンピュータ回路のインスタンスと呼ばれる。

本開示のいくつかの実施形態には、１つ以上のコンピュータ可読媒体（複数可）の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、限定ではないが、電子、磁気、光、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または任意の前述の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより多くの具体例は、１つ以上の通信回線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、または前述の任意の好適な組み合わせを含むことになる。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる使用のために、またはそれらと接続してプログラムを含むまたは記憶することができる任意の有形媒体であり得る。コンピュータ可読記憶媒体はまた、そのようなプログラムによって使用されるための情報、例えば、コンピュータプログラムが、例えば１つまたは複数の表、リスト、アレイ、データツリー、及び／または他のデータ構造としてそれにアクセスできるように、コンピュータ可読記憶媒体によって記録されるように構造化されたデータを含み得るまたは格納し得る。本明細書では、デジタルビットのグループとして取り出し可能な形式でデータを記録するコンピュータ可読記憶媒体はまた、デジタルメモリと呼ばれる。本質的に読み取り専用ではない、及び／または読み取り専用状態にあるコンピュータ可読記憶媒体の場合、コンピュータ可読記憶媒体は、いくつかの実施形態では、任意選択でコンピュータ書き込み可能記憶媒体としても使用されることを理解されたい。

本明細書では、データプロセッサは、それがコンピュータ可読媒体に結合されて、そこから命令及び／またはデータを受信し、それらを処理する、及び／または処理結果を同じまたは別のコンピュータ可読媒体に格納する限りにおいて、データ処理動作を実行するように「構成されている」と言われる。（任意選択でデータに対して）実行される処理は命令によって指定され、プロセッサが命令に従って動作するという効果がある。処理するという行為は、さらにまたは代わりに、例えば、比較、推定、決定、計算、識別、関連付け、格納、分析、選択、及び／または変換など１つまたは複数の他の用語で参照される場合がある。例えば、いくつかの実施形態では、デジタルプロセッサは、デジタルメモリから命令及びデータを受信し、命令に従ってデータを処理する、及び／または処理結果をデジタルメモリに格納する。いくつかの実施形態では、処理結果を「提供すること」は、処理結果を送信すること、格納すること、及び／または提示することの１つまたは複数を含む。提示することは、任意選択で、ディスプレイに示すこと、音で示すこと、プリントアウトに印刷すること、またはそれ以外の場合、人間の感覚機能がアクセス可能な形で結果を与えることを含む。

コンピュータ可読信号媒体は、例えば、ベースバンドでまたは搬送波の一部として、コンピュータ可読プログラムコードが具現化された伝搬データ信号を含み得る。係る伝搬信号は、電磁気、光学、またはその任意の組み合わせを含むが、これに限定されるものではない様々な形のいずれかをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、もしくはデバイスによる使用のために、またはそれらと接続してプログラムを通信、伝搬、または搬送できる任意のコンピュータ可読媒体であってよい。

コンピュータ可読記憶媒体上に具現化されるプログラムコード及び／またはそれによって使用されるデータは、無線、有線、光ファイバケーブル、ＲＦ等、または上記の任意の適切な組み合わせを含むが、これに限定されるものではない任意の適切な媒体を使用し、伝達され得る。

本開示のいくつかの実施形態のための動作を実行するためのコンピュータプログラムコードは、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、及び例えば「Ｃ」プログラミング言語または類似するプログラミング言語等の従来の手続き型プログラミング言語を含んだ１つ以上のプログラミング言語の任意の組み合わせで作成されてよい。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアローンのソフトウェアパッケージとして実行すること、部分的にユーザのコンピュータ上で実行し、部分的にリモートコンピュータ上で実行すること、または完全にリモートコンピュータもしくはサーバ上で実行することが可能である。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む、任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または外部のコンピュータに（例えば、インターネットサービスプロバイダを用いるインターネット経由で）接続することができる。

本開示のいくつかの実施形態は、本開示の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／またはブロック図を参照して以下に説明される。フローチャート図及び／またはブロック図の各ブロック、及びフローチャート図及び／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／またはブロック図のブロックまたは複数のブロックで指定される機能／行為を実施するための手段を作成するような機械を作り出し得る。

また、これらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスに特定の方法で機能するように命令できるコンピュータ可読媒体に記憶されてもよく、これによりコンピュータ可読媒体に記憶される命令は、ブロックまたは複数のブロックのフローチャート及び／またはブロック図に指定される機能／行為を実施する命令を含んだ、製造品を製造する。

コンピュータプログラム命令は、一連の操作ステップを、コンピュータ、他のプログラム可能装置、または他のデバイスで実行させて、コンピュータまたは他のプログラム可能装置で実行する命令が、ブロックまたは複数のブロックのフローチャート及び／またはブロック図で指定される機能／行為を実施するためのプロセスを提供するように、コンピュータ実装プロセスを作り出すためにコンピュータ、他のプログラム可能データ処理装置、または他のデバイスの上にロードされてもよい。

本開示のいくつかの実施形態を、本明細書では、単なる例示として、添付の図面を参照しながら説明する。このとき図面を詳細にわたって具体的に参照するが、図示されている細部は例示として本開示の実施形態を説明的に考察することを目的としたものであることが強調される。この点に関して、図面を用いた説明は、本開示の実施形態がどのように実施され得るかを当業者に明らかにする。

本開示のいくつかの実施形態による、肺の変形モデルを生成する方法を表す概略フローチャートである。 本開示のいくつかの実施形態による、肺気道スケルトン化を概略で表す。 本開示のいくつかの実施形態による、分岐座標系（座標系Ｔ_ｉとも呼ばれる）及び分岐点平面を概略で表す。 本開示のいくつかの実施形態による、分岐点間の変形前（左側）及び変形後（右側）の肺気道スケルトンを概略で示す。 本開示のいくつかの実施形態による、肺気道内に配置されたカテーテルの位置と、気道の分岐モデルとの間の変形可能位置合わせを実行する方法を表す概略フローチャートである。 本開示のいくつかの実施形態による、調査データと異なるように位置合わせされた肺モデルの状態を概略で表す。 本開示のいくつかの実施形態による、利用可能なデータと一致するための変形モデルの変形変換の決定、及びさらなる動的モデリングにおける変形変換の使用の要素を概略で表す。 本開示のいくつかの実施形態による、図７Ａのブロックの実施形態を概略で示すフローチャートである。 本開示のいくつかの実施形態による、変形可能な肺モデルビューを生成する方法を概略する概略フローチャートである。 本発明のいくつかの実施形態による、単一モデルの分岐点及びその子孫の変形前及び変形後のＤメッシュのレンダリングを概略で表す。 本発明のいくつかの実施形態による、単一モデルの分岐点及びその子孫の変形前及び変形後のＤメッシュのレンダリングを概略で表す。 本開示のいくつかの実施形態による、単一分岐点及びすべてのその子孫の変形前（図９Ａ）及び変形後（図９Ｂ）のｘスライス補間グリッドを概略で示す。 本開示のいくつかの実施形態による、単一分岐点及びすべてのその子孫の変形前（図９Ａ）及び変形後（図９Ｂ）のｘスライス補間グリッドを概略で示す。 本発明のいくつかの実施形態による、カテーテル経路に沿った位置に対応する元のＣＴ画像の領域を含むように湾曲するように画定された幾何学的断面に沿って延びるＣＴ断面を概略で示す。 本開示のいくつかの実施形態による変形前（図１０Ａ）及び変形後（図１０Ｂ）のレンダリングされたメッシュビューを含む複合Ｄシーン内の通路に沿ったＣＴストリップを概略で示す。 本開示のいくつかの実施形態による変形前（図１０Ａ）及び変形後（図１０Ｂ）のレンダリングされたメッシュビューを含む複合Ｄシーン内の通路に沿ったＣＴストリップを概略で示す。 本開示のいくつかの実施形態による、カテーテルがたどるＤ経路に沿って抽出されるＣＴ画像データの平坦化されたストリップを示す。 本開示のいくつかの実施形態による、肺の気道内でのカテーテルの移動を追跡するためのシステムを概略で示す。

本発明は、いくつかの実施形態においては、気管支鏡検査の分野に関し、より具体的には、電磁ナビゲーション気管支鏡検査に関するが、これに限定されない。

概要
本開示のいくつかの実施形態の広範な態様は、生体肺の分岐し、かつ動的に移動する気道内でのプローブのロボットナビゲーションに関する。

肺における介入器具の追跡
肺の複雑な構造は、気管支鏡検査の処置のためのナビゲーション誘導の分野に支障を与えている。これに加えて、肺が柔軟であり、動的に移動しているため、肺の移動を考慮しない位置決めシステムでは固有の誤差が生じやすい。

プローブ及び／または標的の位置を追跡するために蛍光透視法、ＣＢＣＴ、またはＥＢＵＳ（気管支内超音波）を使用することによって、ナビゲーションの精度は潜在的に高まるが、例えば追加の機器、処置の複雑性の増加、及び／または患者及びまたは医師に対する潜在的な放射線量などとの引き換えになる。

別の手法は、プローブの定位を決定するためにＥＮＢ（電磁ナビゲーション気管支鏡検査）システムを使用する。そのようなシステムは、専用アンテナ（または送信機）を使用して電磁場を生成し、ＥＭ（電磁）センサを使用して電磁場を感知する。ＥＭセンサは、定位（送信機）座標に対する先端の６－ＤＯＦ（自由度）の位置及び向きの情報を提供し得る。ＥＭ位置特定技術には、医療用に潜在的な利点がある。例えば、体は、生成されたＥＭ場にとっては実質的に透明であり、電離放射線は使用されない。

従来のＥＮＢシステムは、先端に位置決めされたＥＭセンサを使用する。このようなセンサに限定されると、例えば（肺の気道に対する）制御された動きと、肺自体の移動によって引き起こされる動きを適切に区別する位置追跡を実行することは困難である。この制限を克服するために提案された１つの方法は、カテーテル（または他の介入器具）の形状感知を達成するために光ファイバを使用することである。形状検知によって、介入器具はそれ自体の部品間での相対的な位置決めを感知することが可能になり得る。例えば、先端に位置決めされたＥＭセンサは、ナビゲートされている肺に対するアンカー位置を提供するために使用され得る。

本明細書では、用語「介入器具」は、より一般的に、管腔に沿って遠位に前進させて遠位標的に到達することによって使用される、薄く長手方向に延ばされた本体を含む可撓性器具の代わりとなる総称として使用される。一般に、前進は、器具の近位側から遠位に向けた圧力を使用して実行されるため、器具が可撓性であったとしても器具に対するある程度の剛性が存在する。介入器具の例は、カテーテル、気管支鏡、及び内視鏡を含む。本明細書では、器具がカテーテル、気管支鏡、または内視鏡に「類似している」として記載されている場合、これらの特徴が言及されている。

本開示のいくつかの実施形態では、ＥＭ感知機能は、追跡がカテーテル本体の先端からカテーテル本体に沿って近位に及ぶことを可能にするように拡張される。簡潔にするために、本明細書では、これは「完全介入器具」追跡とも呼ばれる。「完全介入器具」が、必ずしも器具の長さ全体を指すわけではなく、むしろ先端のみの感知が被りやすい位置決めの誤差及び／または曖昧さを克服するために役立つほど十分に長い（例えば、少なくとも５ｃｍ、少なくとも１０ｃｍ、少なくとも２０ｃｍ）の長さを指すことを理解されたい。これは、例えば、ナビゲートされている気道に挿入される全長、または気管に沿って確立された基準点などの基準点までの全長である場合がある。

器具対解剖学的構造の座標の位置合わせの手法
肺は、複雑な木のような気道の階層システムを含んでいる。複雑さにより、ビデオ誘導の潜在的な難しさが生じている。特に、肺の周辺部においては、気道がより小さくなり、同一に見える場合があり、分岐点の数が指数関数的に増加する。また、例えば肺に存在する粘液によって画質が低下し、ビデオのみに基づいてナビゲートすることが困難になる場合がある。当該技術分野で既知であるように、プローブ位置と、プローブが横断している解剖学的構造との間で外科的に有用な位置合わせを達成する方法は、複数の情報源を使用して複数の段階で実行され得る。

大まかな位置合わせ：一部のＮＢ（ナビゲーション気管支鏡検査）システムでは、３Ｄ位置特定座標（ＬＯＣ）のシステムと患者の術前のＣＴまたはＭＲＩとの間の位置合わせが実行され、この位置合わせは、これらの困難の管理に役立ち得る。本明細書では、「位置特定システム」は、プローブの位置が最初に記述される（または「位置特定される」）座標系を指す。その位置は、本明細書では、プローブの「位置特定座標」によって記述されるものとして参照される。

ＣＴまたはＭＲＩの画像は、肺、特に患者の気道の正確な位置及び形状についての３Ｄ情報を含んでいる。気道は、それ自体がＣＴスキャンまたはＭＲＩスキャンの解像度に依存する特定の直径を超えて解像される。ＣＴまたはＭＲＩの撮像装置は、介入器具がそれに沿って移動し得る「道路」である気道を、実質的にマッピングする。マップはＮＢシステムに提供され、ＮＢシステムはマップを使用して、例えば、どの方向に曲がるのか、どのくらいの距離を移動するのかなどナビゲーション指示を医師に提供する。ナビゲーション指示は、患者の静的な術前ＣＴスキャン（「マップ」）の上部へ重ねて提示され得、標的へのルートを表示する経路とともに提示され得る。

位置特定された介入器具を、肺内部のその実際の解剖学的な位置に表示するために、相応する正確な位置合わせ（３Ｄ変換）が適用されて、測定された３Ｄ介入器具位置特定座標を、ＣＴで導出された患者の解剖学的構造のモデルにマッピングする。この変換のパラメータを制約及び／または較正するための１つの手法は、固定された解剖学的位置で基準センサを患者に取り付け、これらを使用して解剖学的構造と位置特定システムとの間の大まかな位置合わせを達成することを含む。基準センサは、患者とともに移動し得るため、システムは、体が位置特定座標内でどのように配置されているのかを認識する。一部のシステムでは、基準センサが解剖学的構造に対して実際にどのように位置決めされるのかは既知ではない場合があり、基準センサは、別個に決定されたなんらかのベースライン位置合わせに比して、ＬＯＣ体解剖学的構造の位置合わせを計算するために使用される。

大まかな位置合わせの精緻化：隣接する気道を区別するために有用な位置合わせを生成するために、大まかな位置合わせは、追加情報によって強化され得る。例えば、位置合わせは、気道内部での介入器具の先端を使用するいくつかの解剖学的基準のマーキングを使用して精緻化され得る。

これに対する１つの手法では、初期のビデオ支援調査で、医師は、主要な事前に定義された気道分岐点を視覚的に識別し、位置特定された器具の先端でそれらにマークを付ける。マークを付けられた位置は、次にＬＯＣ座標に収集され、その対応する解剖学的な（例えば、ＣＴ画像またはＭＲＩ画像）座標と照合される。これから、ＬＯＣ対解剖学的構造の位置合わせが計算される。これは、関与する基準の近接できわめて正確である可能性がある。

別の手法では、医師は、肺の主要な気道の内部で介入器具を用いて教師なし調査を実行し得る。この調査により、医師はＬＯＣ座標内での介入器具の位置を収集する。教師なし位置合わせアルゴリズムは、例えばエネルギー最小化最適化方法を使用して、これらを気道マップから既知の「道路」と照合する。

十分なサンプルが収集されたら、固有の解決策が見つけられ、初期ＬＯＣ対解剖学的構造の位置合わせが達成される。これにより、特に調査が実行された肺の領域（通常は、中心領域）で高い精度が提供され得る。ＬＯＣ座標は、患者のベッド（例えば、アンテナが設置される場所）に対して固定される場合もあれば、標準的な基準センサ補償方法を使用することによって患者とともに移動する場合もある。

動的位置合わせ：これらの手法はＬＯＣ座標と気道マップとの間に初期の位置合わせを提供するが、これらの手法は、肺の柔軟で動的な性質によるリアルタイムの位置合わせの不正確さには対処していないことが理解され得る。

肺は、例えば、呼吸、***の変化、及び／または肺の中で移動する介入器具、例えば気管支鏡または他の内視鏡、それとともに使用されるツール、及び／または類似する手術器具により肺に加えられる力の結果としてその形状を変える。（潜在的には他の原因の中でも）これらの結果、初期の位置合わせと、位置特定システムに対する気道の解剖学的構造のリアルタイムの状態との間に偏差が生じる。

一部のシステムでは、位置合わせは履歴に基づいて更新される。例えば、現在の時間枠からの介入器具の先端の単一の６－ＤＯＦ測定値だけを使用する代わりに、介入器具の経路が短い時間ウィンドウ（例えば、数秒）にわたって構築される。経路は次に、何らかの可能性のある「道路」と一致するためにマップ内部で検索される。結果として、気道内部で介入器具の先端を単に位置特定する代わりに、介入器具が経時的に横断するより長い経路がマップに照合される。例えば、介入器具が特定の分岐点で（例えば、サンプルの履歴から構築された介入器具の経路で見た場合に）「右折する」場合、最終的な介入器具の位置は左の気道上にはあり得ず、それは右側になければならないことが知られている。

本開示のいくつかの実施形態の一態様は、気道セグメントが解剖学的に基づいた制約内で移動するようにパラメータの修正を制約しながら、肺モデルの関連する気道セグメントに影響を与えるそれらのパラメータの修正を介して調整されるパラメトリック肺変形モデルに関する。

本発明者らは、（例えば、最大で約５０、１００、または１５０であって、ＣＴ表示内のボクセル数よりもはるかに少なく、任意選択で気道スケルトン内の分岐点の総数よりもはるかに少ない）パラメータを割り当てることによって、例えば呼吸、患者の***の変化、及び／または気管支鏡または他の内視鏡、カテーテル、それとともに使用されるツール、及び／または類似する介入器具により肺に加えられる力により、肺が受ける場合がある変形を記述するために、モデルが十分に一般的であることを発見した。介入器具のその本体に沿った位置及び向き（すなわち、介入器具が肺に挿入されている間の介入器具本体に沿った複数の点での位置及び向き）は、肺が移動し、ともに介入器具本体を移動させるにつれ、またはその逆も同様にそれらのパラメータを更新するためのデータソースとして役立つ。いくつかの実施形態では、介入器具本体は、その先端から少なくとも気管まで追跡される。

いくつかの実施形態では、モデル自体が、肺の気道のスケルトン化された表現を含む。スケルトン化された表現は、例えば、肺のＣＴ画像またはＭＲＩ画像で実行される気道セグメンテーションにスケルトン化操作を実行することによって生成され得る。変形可能性は、例えば各分岐点で接合されたセグメントの相対的な平行移動及び配向をパラメータ化するなど、スケルトン化された表現の分岐点をパラメータ化することによって肺モデルに導入される。より大きい（より近位の）気道内の分岐点のパラメータに対する調整は、任意選択でより遠位の分岐点に伝播するために可能とされ、肺葉の互いに対する相対的な移動をシミュレートする。

いくつかの実施形態では、個々の分岐点で発生する可能性がある再配置の範囲を制限する機械的特性をシミュレートするために、分岐点パラメータを調整するための自由度に対する制約が追加される。本開示のいくつかの実施形態で提供される制約は、例えば、以下の１つまたは複数を含む。

・分岐点でのセグメントが互いに対してその向き（角度）をどの程度変更できるのかに対する制限。これは、小さい角度の変化に対しては比較的に自由な移動を可能し、相対角度の変化が大きくなるにつれて変化に対する抵抗が増大することを含み得る。いくつかの実施形態では、角度変化に対する抵抗はまた、異なる分岐点での異なる相対剛性を反映するために、気道直径、直径壁厚、及び／または分岐次数の関数として指定される。モデルに対するこのような制約の影響は、例えば、セグメント再配置の一部分を、分岐点自体においてよりむしろ、セグメント長に沿って強制的に曲げることを含む場合がある。複数の分岐点が関与する場合、モデルは、（制約により）一部の分岐点でより多く曲がり、他ではより少なく曲がることを「優先する」場合がある。

・気道セグメントの遠位側から、つまり気道セグメントを気管に固定する気道の分岐構造から離れた側から実施される固定。肺のいくつかの領域は、例えば、胸膜及び中隔などの気道分岐階層の一部ではない構造に対する付着、構造との相互嵌合、及び／または構造による閉じ込めによって所定の位置に部分的に保持され得る。モデルに対するこの制約の効果は、例えば、気道セグメントが多かれ少なかれその元の遠位側の位置に向き続けるように、気道セグメントに近位固定分岐点に対するその向きを斜めにさせることである場合がある。

・肺実質を通して横方向に機械的に（つまり、分岐構造自体を通してではなく）相互接続されるとしてモデル化される気道セグメント。この結合は、例えば近位の複数の分岐点によって分岐構造内で互いから分離された一部の気道を通して伝達され得る。モデルに対するこの制約の効果は、例えば、２つ以上の別々の分岐点での気道角度が、セグメントを引き離しすぎるか、またはセグメントを互いに押し付けすぎるであろう方向でその角度を変更する傾向を低減することである場合がある。

・長さに沿って可撓性をもたせてモデル化された気道セグメント。この制約の効果は、セグメント角度分岐点の変化によるひずみを軽減することである。介入器具の気道セグメントに沿った屈曲部は、モデル内の気道セグメントの対応するパラメータによって対応できるため、これはまた、誤差の削減に役立つ場合がある。

解剖学的制約の表現によって、モデルが、直接的に測定された位置を越えて変形を伝播することが可能になることに留意されたい。測定された形状の変化は、介入器具の現在位置から離れてセグメント及び／または分岐点に及び、制約と相互作用する効果に伝播する、肺形状のより大域的な変化という状況では（モデルの構成に関して）最も妥当と思われる場合がある。

解剖学的に基づいた制約をモデルに適用する別の方法は、肺の気道の解剖学的に現実的な構成を表す提供される入力から学習する機械学習アルゴリズムの結果を使用することである。提供される入力は、適切にスケルトン化された実際の肺の画像に基づく場合がある。モデルの気道スケルトンの配置は、それらが、機械学習アルゴリズムが訓練された配置と適切に一致するかどうかに従って判定される。

いくつかの実施形態では、機械学習は、気道スケルトンの解剖学的な妥当性のパラメータに基づいた（例えば、誤差低減に基づいた）判定と混成される。トレーニングセットの場合、肺の複数のスケルトン化モデルは摂動（例えば、介入器具のモデルによって課される及び／または感知される形状）にさらされる。（例えば、単に列挙されている大部分またはすべてのタイプなど、多くの制約が定義されている）高忠実度の誤差低減モデルは、摂動モデルに適用される。結果に到達するには計算集約的である場合があるが、誤差低減はオフラインで起こり得るので、計算時間はあまり重要ではない。機械学習は次に、例えば当技術分野で既知のトレーニング方法によって生成されたばかりのトレーニングセットに適用される。機械学習の結果は次に、任意選択で、肺気道形状のリアルタイム判定を実行する方法として使用され、より計算集約的な方法の結果をより計算集約的ではない形でカプセル化する可能性がある。機械学習は、肺スケルトン全体のレベル（例えば、最大で３つ、４つ、５つ以上の分岐次数までモデル化される）で、及び／または肺スケルトンの選択された部分、例えば、好ましくはモデル化された介入器具が遭遇し、横断するであろう次の分岐点とともに、介入器具によって占有される単一分岐で実行され得る。

この種類の表現は、動的に変化する肺のジオメトリの現実的なモデリングのための、及び／またはモデル化された肺自体の測定値に一致するようにモデル肺ジオメトリを更新する際に含まれる計算数を削減するための潜在的な利点を提供する。いくつかの実施形態では、更新はリアルタイムで起こり、例えばナビゲーション気管支鏡検査の処置中に、モデルを肺の形状の動的追跡で使用することを可能にする。

分岐点の位置及び角度で肺モデルの動的パラメータを識別する際、モデルはまた、それ自体が分岐点角度情報を容易に提供する肺ジオメトリ測定方法との潜在的な相乗効果を生じさせる。特に、介入器具は、肺の中に前進するにつれて分岐点を横断する。分岐点のモデル化された位置に対応する距離での介入器具の方向の変化は、分岐点の位置及び角度についての情報を提供する。

介入器具の先端だけしか測定に使用されない場合、測定された先端位置及び／または向きの情報は、介入器具がその遠位前進を続行するにつれ、肺形状の表示として古くなる可能性がある。その後の肺変形によって、現在の介入器具の先端位置に対して近位の分岐点での角度の再配置が生じる場合、新規に移動した介入器具の先端位置と一致する位置合わせに肺モデルを戻すために、どの１つまたは複数の分岐点を調整する必要があるのかが曖昧である可能性がある。

本発明のいくつかの実施形態では、この曖昧さは、介入器具の長手方向に延びる領域に沿って位置データを同時に収集することによって対処される。任意選択で、長手方向に延びる領域は、介入器具先端から近位に、介入器具が横断する少なくとも第１の肺分岐点まで戻るように延びる。この状況では、どの分岐点が、及びどの程度、変形するのかを動的に特定する問題は、それらの分岐点の場所を占有する介入器具の部分からリアルタイムで収集されるデータによって制約される。

本開示のいくつかの実施形態の一態様は、本開示のいくつかの実施形態に従って、静的な肺形状の変形可能モデルを動的に変化する肺形状に位置合わせする２段階プロセスに関する。

いくつかの実施形態では、初期の変形可能位置合わせステップで、ＬＯＣ（空間的に追跡される介入器具の位置特定座標）内のサンプルを収集するために、（好ましくは、完全に追跡される介入器具を使用して）教師なし調査が実行される。変形可能気道マップは、次に、エネルギー最小化最適化方法を使用してサンプルに適合される。これは、ＬＯＣと解剖学的構造との間に初期変形可能位置合わせを提供する方法の一例である。

任意選択で、基準センサ（複数可）の存在下では、瞬間的な呼吸相が、位置合わせ中に収集された各サンプルに割り当てられる。これによって、変形可能位置合わせアルゴリズムは、例えば「吸気」用のモデル及び「呼気」用のモデルなどの２つ以上のモデルを、収集されたサンプルに適合することが可能になる。結果として生じる４Ｄ位置サンプル（３Ｄの位置及び呼吸相）は、呼吸補間気道マップに収集される。任意選択で、例えば、７Ｄ、つまり位置の３自由度、向きの３自由度、及び呼吸などの別の次元性が使用される。

初期位置合わせ後、動的変形追跡アルゴリズムは、変形モデルを変形可能な肺にリアルタイムで調整して、現実的な変形追跡を提供する。術前のＣＴまたはＭＲＩの気道マップは相応して変形し、処置中の気道の実際の状態を表すために、位置特定座標に配置される。

モデルは、エネルギー支障化最適化方法を用いて肺に適合される。エネルギー関数は、（解決される変形をまさに合理的な構成に制限する。ここで、合理的とは、肺がどのように移動できるのかに対する理論的及び／または観察に基づいた制限に基づいた制約の集合体によって決定される）形状制約と、（１つまたは複数の位置が特定された介入器具が変形した気道内部にあることを必要とする）標的目標の両方を組み込む。

変形アルゴリズムは、その標的目標、例えば、履歴データの有無と関わらず、１つまたは複数の完全に追跡されるまたは単一のセンサ介入器具などとして使用される位置特定システムソースの任意の組み合わせからの入力を使用して適合を実行する。しかしながら、変形追跡アルゴリズムに、１つまたは複数の介入器具のリアルタイムの完全に追跡される位置及び向きを提供することに対する特定の潜在的な利点がある。解剖学的構造のなんらかの場所における介入器具先端の履歴位置は、解剖学的構造自体のその場所が移動する場合に古くなる場合がある。しかしながら、介入器具の完全形状は、解剖学的構造とともに「更新」し、肺の動態に対する制約として特に有用な情報を提供する。

初期位置合わせと動的変形追跡の両方に変形モデルを使用すると、気道は次に、その現実的な状態でＮＢ処置中に表示できる。モデル化された肺は、患者とリアルタイムで同期して「呼吸し」、それ以外の場合、追加の力が加えられると、動的に変形する。これによって、介入器具を、気道内部のその実際の変形可能な解剖学的位置に表示することが可能になり、全体的なシステムの精度が向上する可能性がある。

測定介入器具が現在横断している（特に現在横断している肺分岐点から比較的に遠い）肺分岐点以外の肺分岐点で発生しているモデルリング変形が（直接的なライブの測定データが欠如しているため）完全に制約され得ないことに留意されたい。しかしながら、肺モデルが介入器具の現在のトラックの端部で標的に向かってナビゲーションを誘導するために使用されている限り、この曖昧さの影響は無関係まで低減される可能性がある。例えば、
・ナビゲーショントラックから離れる肺領域の一部の移動は、標的位置に対して影響を与えないため、無関係である場合がある。
・他のこのような移動は、介入器具の現在のトラック上（または近く）にある分岐点に対して加えられる変形力を介して標的位置に影響を与える場合がある。この場合、新しい測定は変化を検出し、モデルを適切に変形させることによって必要に応じて少なくとも肺の標的を含む部分を位置決めし直すことを可能にする。
・第３の可能性は、このようなトラックから外れた肺変形が、標的に向かう途中のまだ横断されていない肺気道の部分のジオメトリに影響を与えることである。しかし、これらの変化は、一般に、介入器具がその前進を続けるにつれて明らかになり、より遠位の気道分岐点でのジオメトリの変化の連続的な検出を可能にし、標的へのナビゲーションの成功を可能にする。これが、遠位の変形により一般的に当てはまることを理解されたい。

原則として、第３の可能性に属する症例の一部は、介入器具が遠位の分岐点に到達すると、一方の分岐が他方の分岐に「置き換わる」－すなわち、一方の分岐が、他方の分岐のモデルの現在の表現と一致する位置を占有するほど多く、遠位の分岐点を変形することによって、依然としてナビゲーションに曖昧さをもたらす可能性がある。しかしながら、局所的な組織変形に対する機械的な制約によって、気道トラックの比較的に大きい長手方向範囲にわたってそのような激しい変形が拡散する傾向があるため、２つの隣接する分岐点間で経験される増分的な変形は、２つの分岐点の分岐間の混乱を回避するほど十分に小さいと想定され得る。

いずれにせよ、一方の分岐点の分岐が他方の位置決めと混同される（及び置き換えられる）ほど十分に変形するとしても、逆も当てはまる可能性は低いままであることに留意されたい。その事例は、２つの分岐点を接合する単一のセグメントに沿った１８０°のひねりにほぼ同等であり、生体力学的に真実である可能性が低い。したがって、曖昧さのリスクが認識される場合、両方の分岐とも交互に横断され得、リスクを回避することを可能にする。

本開示のいくつかの実施形態の一態様は、表される解剖学的特徴の形状を示すリアルタイム更新測定値に基づいて、３Ｄ画像データ表面が表す解剖学的特徴の現在位置に対応するように変換された３Ｄ画像データ表面の動的表示に関する。

いくつかの実施形態では、３Ｄ画像は、介入処置前の時点で取得され、これは、介入標的に到達するために横断される経路に沿った解剖学的領域、及び任意選択で標的自体の画像を含む。特に、それが肺などの分岐した解剖学的構造の管腔に従って画定された経路である場合、経路は、形状が曲がりくねっている－空間内の任意の単一の平面に閉じ込められないように３Ｄ空間を通って曲がっている場合がある。

経路が撮像の時点と介入処置自体の時点との間で変化する、及び／または処置中にも変化する限り、経路はまた形状が動的である場合がある。例えば、肺の場合、肺は、上述の理由のいずれかのために経時的に位置が移動する場合がある。特に処置中、呼吸サイクルは、臓器の形状の絶えず続く変化につながり、介入器具は、臓器の移動及び／または変形を誘発する変化する力をかける場合がある。

早期に取得された３Ｄ画像データは、標的のサイズ、形状、及び／または位置、ならびに血管などの潜在的に脆弱な構造の相対的な場所などの進行中の処置に対する状況に関連する特徴を含む場合がある。介入器具が移動している及び／または移動することが計画される経路に対して、これらの構造または他の構造のいずれかが、その現在の動的に更新された形状で医師に表示されることは、医師にとって潜在的な利点である。

本開示のいくつかの実施形態では、曲がりくねった経路に沿って特徴を表示する方法は、３Ｄ画像のデータ要素の位置を定義する所与の経路に沿った表面を計算することを含む。表面に沿ったデータは、それが経路の現在の（動的に変化する）形状に位置合わせされるように位置が変換される。経路の現在の形状は、その形状、例えば、経路またはその一部分を占有する介入器具の形状を示す測定値、測定値は、現在の肺の膨張状態を示す測定値、または別の測定値によって決定される。

表面は、利用可能な画像データの範囲の限界まで（その変換された３次元形状で）表示される場合もあれば、表面は、経路に隣接するデータ場所のストリップに限定される場合もある。表面に加えて、経路自体が示される場合がある。表面とともに表示される、経路が延びる管腔の形状（例えば、気道の形状、または血管、消化管、尿管、もしくは別の解剖学的構造などの別の管腔の解剖学的構造の形状）を示す３Ｄメッシュなどの別の表示がある場合がある。

いくつかの実施形態では、通路は、平面的な及び／または直線的な経路に変換され、画定された表面上の経路の両側に対する画像データが、平坦化された画像表示に経路ともに示される。画像データは、任意選択で、いくつかの場所で経路に垂直に画定された一連の線に沿った場所から採取される。しかしながら、表面が経路に垂直な方向に沿って平坦でなければならないという特定の制限はない。表面はこの方向でも曲線状であってよい。いくつかの実施形態では、表面は、経路形状の制約、ならびに介入処置の標的、及び／または血管などの経路に沿った潜在的な危険などの重要な構造の部分を含むなどの制約を最適にかつ共同で満たすように推定された結果として定義される。

本開示の少なくとも１つの実施形態を詳細に説明する前に、本開示が、その適用において、以下の記述で記載される、ならびに／または図面に示される、コンポーネント及び／または方法の構造及び配列の詳細に必ずしも限定されないことを理解されたい。本発明の特徴を含む本開示に説明される特徴は、他の実施形態を可能にする、または様々な方法で実施もしくは実践できる。

変形モデル
ここで本開示のいくつかの実施形態による、肺の変形モデルを生成する方法を表す概略フローチャートである図１を参照する。

概要では、肺撮像データはベースモデル（好ましくは、肺気道のスケルトン化された表示）に変換される。このモデルに、実際の肺の特定の状態に一致するようにベースモデルをどのようにして変形し得るのかを記述するパラメータが適用される。

いくつかの実施形態では、（例えば、次に説明されるような）変形モデルは、比較的に少数のパラメータを使用して、上述の考えられる異なる変形機構の結果を定義すると定義される。少ない数のパラメータで変形モデルを定義することの潜在的な利点は、モデルによる観察データの過剰適合を回避し、最適化プロセスを加速することを含む。

肺の変形は、１つの気道をその近傍の気道と大きく異なるように変形できない限り、分散特性として処理される場合がある。グローバルパラメータは、肺が呼吸中にどのように大域的に拡大または収縮するのか、気管支鏡によって加えられる力により、一方の肺が他方に比較してどのように変形するのか、及び／または両肺が（例えば、患者の異なる姿勢により）どのように大域的な伸びまたはせん断を受けるのかなどの変形特徴を記述するために定義され得る。これらの変形特徴はまた、ナビゲーションシステムの全体的な精度にとって重要である。これらの特徴は、本質的に大域的であるので、いくつかのパラメータ及び制約だけて記述することができる。

以下のモデルは、本開示のいくつかの実施形態では、変形モデリングの実装の基礎として使用される。発明者は、硬質肺ファントム及び半硬質肺ファントム、動物モデル、及び記録されたヒトデータを用いた実験結果からそれを導き出した。以下の特定のパラメータ化に限定されない、変形追跡アルゴリズムによって異なるモデルを使用できることを理解されたい。変形追跡アルゴリズムは、一般に使用中のモデルの特定のパラメータ化には無関係であるが、モデルの適切な選択によって、過剰適合のリスクが低減し、追跡アルゴリズムの性能が大幅に向上することができる。

いくつかの実施形態では、モデルは、肺で気道の中心線を提供する気道スケルトン化に基づいている。気道のスケルトン化は、以下の通りに、例えばデータの準備後に生成される。

ブロック１０２で、いくつかの実施形態では、患者の術前または術初期のＣＴ、ＭＲＩ、または他の３Ｄの画像がＮＢ処置の前の初期化段階でシステムにロードされる。

ブロック１０４で、いくつかの実施形態では、ＣＴ画像またはＭＲＩ画像が処理される。気道に属する３Ｄボクセルは、適応領域成長、ディープラーニング２Ｄ／３Ｄ ＣＮＮ（畳み込みニューラルネットワーク）、両方の組み合わせ、または任意の他の適切な方法などのセグメンテーション方法を使用してセグメント化され、マークを付けられる（例えば、コンピュータメモリでラベルを付けられる）。任意選択で、ＮＢ処置でナビゲートされないが、肺の形状及び／または異なる方法で形状を変更するその自由度についての情報を提供し得る、例えば血管などの他の解剖学的特徴もセグメント化される。例えば、血管は、肺葉が特定の方向にまたは特定の量を超えて曲がるまたはねじれることを制約し得る。ここでは、より一般的には、特定の肺についての解剖学的情報の任意の詳細な情報源の一例であるＣＴ画像またはＭＲＩ画像を参照することを理解されたい。ＣＴ画像またはＭＲＩ画像は、このような情報を提供するための現在のゴールドスタンダードであると見なし得るが、肺撮像化の分野での現在の発展及び／または将来の発展によって、例えば、Ｘ線撮像、磁気共鳴撮像、または別のデータ収集方法における将来の進展に基づいて撮像された情報など、解剖学的情報の別の情報源を使用することが可能になり得ることは排除されない。

いくつかの実施形態では、ブロック１０４の操作によって生じる気道セグメンテーションは、各ボクセルが空洞に属する場合１であるか、またはそれ以外の場合０であるバイナリ３Ｄボリュームを表す。これは、上述のように、ＮＢ誘導システムによって使用される気道マップ情報の初期の表示を提供する。

ブロック１０８で、いくつかの実施形態では、ブロック１０４で生成されたセグメンテーションの３Ｄバイナリボリュームから、気道のツリー構造を決定するためのステップとしてスケルトン化が実行される。

スケルトン化は、未処理の気道セグメンテーションボリュームを、気道マップをエンコード化するツリー状の構造に変換する。スケルトン化の結果、３Ｄセグメント化されたチューブのボリュームは、半径を有する中心線のグラフに変換される。

ブロック１１０で、いくつかの実施形態では、ブロック１０８で生成されたスケルトン化は、エッジで接続されたノードを含むグラフデータ構造にさらに変換される。各ノードは、セグメンテーションの単一のチューブ（特定の長さの直線または曲線に関わらず、中心線に沿って一定のまたは可変の半径を有する中心線セグメント）を表す。ノードの対を結び付ける各エッジ（有向または無向）は、あるチューブの近位側と別のチューブの遠位側との間のそれらのチューブの接続性を表す。したがって、ブロック１１０のグラフは、チューブのツリー（非循環）グラフとして肺を表す。

ツリーグラフのルートは気管であると定義される。第１の分岐点は気管分岐部であり、気道階層の残りはツリー内の子孫として続く。スケルトンは、スケルトンを、セグメント化されたボリュームを復元できる気道セグメンテーションの圧縮データ表示と見なし、スケルトン化からセグメンテーションへの逆変換を実行することによって完全性について評価され得る。（当てはまることが判明している）元のセグメンテーションとの適切な一致は、スケルトンがセグメント化された情報のボリュームの大部分をエンコードすることを意味する。スケルトンはサイズがはるかに小さく、横断及び分析がはるかに容易であるため、スケルトンは気道マップの表現としての使用に潜在的な利点を提供する。

ここで本開示のいくつかの実施形態による、肺気道スケルトン化２００を概略で表す図２を簡略に参照する。スケルトン化２００は、厚さ（黒色領域２０１）及び中心線（黒セグメントの中心に沿った明るい線２０２）を用いてレンダリングされる。

図１に戻ると、ブロック１１２で、いくつかの実施形態では、変形パラメータがツリーグラフのために定義される。これらのパラメータを通して、モデルに柔軟性が与えられる。ツリーグラフ変形パラメータは、必ずしもツリーグラフ内のすべてのそのようなノードに対してではないが、スケルトン化された分岐点ノードごとに定義される。いくつかの実施形態では、ノードは、最大で約３または４のレベルの分岐次数について定義される。ノードは、例えば、介入器具が横断する経路に沿ってなど、適宜により高いレベルについて定義され得る。

いくつかの実施形態では、スケルトンの各分岐点にはローカル分岐点座標からＣＴ座標への４×４の３Ｄ剛体変換行列

によって（また任意の他の適切な座標で）記述される座標系が割り当てられる。あるいは、座標系は、４Ｄクォータニオン及び３Ｄ位置によって、または別の適切な方法によって記述されてもよい。

本開示のいくつかの実施形態による、分岐座標系３０４（座標系

とも呼ばれる）及び分岐点平面３０５を概略で表す図３を参照する。親気道３０１は気管から伸び、気道副枝３０２に分かれる。

座標系３０４は、例えば、分岐点

の頂点に位置決めされ、そのＹ軸

は分岐点３０５の平面に垂直である。分岐点３０５の平面は、いくつかの実施形態では、分岐点

を含むだけではなく、分岐点に接続されたすべての気道分岐と最適に位置合わせされる平面として定義される。そのＺ軸

は、

で終了する気道の方向に沿って指すと定義され、

となるように強制的に分岐点平面上にあるようにされる場合がある。残りのＸ軸は、次に

として定義されて、右側座標系を形成し得る。

さらに、ツリー内の第１の（ルート）頂点にはまた、Ｚ軸が気管の始まりの方向を指す座標系

が割り当てられる。Ｙ軸が任意に選ばれてよいが、簡略にするために、Ｚに垂直かつ気管の端部のＹと位置合わせされた最も近いベクトルとして選ぶことができる。

上述のように向きが特別に選ばれた座標系

の特定の構造は、各分岐点を表すために便利であるが、変形モデルは特定の構造に対しては不変であり、分岐点に中心があるあらゆる座標系を使用することができ、すなわちより一般的には、これは分岐及び分岐点の変形状態を反映する。

各３Ｄ変換

は、位置ベクトル

と３つのオイラー角

、位置ベクトルと３×３回転行列

、ならびに位置ベクトル及び４Ｄクォータニオン

によって表すことができる。すべての座標系

のセットは、変換の階層を形成する。気道マップの変形を表すために、提案されているモデルは分岐点を制御点（または接合部）として使用する。それは、分岐点に適用される変形を記述し、内挿法を使用して気道内部の変形を計算する。

とし、上式では、

は

の親分岐点（またはツリーのルート）であり、

を定義する。

は、その親分岐点座標内のｉ番目の分岐点座標系を表す。次に、

の連鎖乗算規則、つまり

番目の分岐から最大ルートノードまでの、分岐点とその親分岐点との間のすべての相対的な変換の積を書き込むことができる。

に変形を適用することによって、すべての子孫分岐点はまた、ツリー状に影響を受ける。

ここで、本開示のいくつかの実施形態による、分岐点４０２と４０１との間の変形前（左側４１０）及び変形後（右側４１１）の肺気道スケルトンを概略で示す図４を参照する。変形は、回転

を対応する

に適用することによって、分岐点４０１及びそのすべての子孫の位置決めを改変する。特に示される他の分岐点は、変形によって影響を受けない分岐点４０３を含む。

また、

を使用して変形を適用すると、修正された分岐点４０１のすべての子孫が影響を受ける。これは、肺に適用される変形の大部分の場合に妥当である場合がある。例えば、単一の肺が他方に対してわずかに回転されている場合、これは、例えば図４に示されるように、単一の

を回転させることによって反映できる。

いくつかの場合、子孫に影響を与えることなく、単一の分岐点のみに変形を適用することが望ましい場合がある。これは、対応する

を直接的に修正することによって容易に達成できる。しかしながら、発明者は実験によってツリー状の挙動により肺の変形の性質がよりうまく取り込まれることを発見したので、以下の説明では、変形は

を使用して適用される。さらに、変更ははるかに少ないパラメータでエンコードできる。残りの交差

に対する変更は、次に、上述の連鎖乗算規則によって計算される。

によって示されているのは、（ＣＴからまたは初期の変形計算からの初期状態である可能性がある）親を基準とした元の分岐点変換である。

によって、時間

での変形した分岐点変換が示される。

肺の変形をモデル化するために、

は、以下のように

、変形変換

を図４の左側４１０の状態で表される分岐点座標系に適用することによって修正され得る。

は次に、親座標内の変形を記述する。

（単位行列）である場合、次に変形は（初期状態に対して）

番目の分岐点に適用されない。しかしながら、例えば

（回転軸

を中心とした

度の回転行列）である場合、次に、

は、図４に示されるように

を基準として

分、それを回転させることによって

番目の分岐点（及びそのすべての子孫）を変形する。

親分岐点座標内で

を使用して変形を適用し、変形を強制的にゼロまたは小さいオフセットにすると、分岐点間の距離及び分岐間の角度がほぼ完全に保全される変形モデルが生成される。変形は、図４に示されるように、分岐点での全体的な距離及び角度に影響を与えることなく気道の長さに沿ってモデルに適用される。

は、次に、オフセットが許可されない場合、３つのオイラー角度を使用して、またはオフセットが許可される場合は合計６つのパラメータを用いて記述できる。

いくつかの実施形態では、分岐内部の点の補間は、以下のように行われる。

は、分岐点

で開始し、分岐点（分岐点ごとに、分岐点ｉで終了する分岐を考慮することによって、分岐点と分岐との間の１対１の相応関係が存在する）で終了する

番目の分岐の初期の形状を記述する曲線を表す。

は、ＣＴ座標内で与示される。

は分岐点

の初期の場所を表し、

は分岐点

の初期の場所を表す。

変形した分岐点変換

を所与とすると、時間

での変形ＣＴ内の

番目の分岐の変形曲線を表す

が計算される。

によって示されるのは、ＣＴから時間

での変形したＣＴ座標への

番目の分岐点の変形である。

これらの定義に従って、いくつかの実施形態では、以下の補間式が適用される。

上式では

は、２つの３Ｄ剛体変換間の任意の補間関数である場合がある。例えば、

は、変換を回転と平行移動に分割し、各部を別々に処理することができる。回転の補間は、クォータニオンのＳＬＥＲＰ（球面線形補間）または任意の他の適切な方法を使用して達成できる。一方、平行移動の補間は、単純な荷重平均によって行うことができる。

、

番目の分岐点の変形した位置であること、及び

、

番目の分岐点の変形した位置であることが検証され得る。これは、補間式が、分岐曲線の始点及び終了点を期待通りに処理することを示している。

要約すると、図１～図４に関して説明された変形モデルは、スケルトン化された気道モデルの分岐点に座標系を割り当て、各分岐点は

として表される。次に、それは、

を使用して時間

での変形した分岐点を記述する。分岐点は、ツリー状の階層内に配置され、変換

及びその変形した対応物

を使用した連鎖乗算規則を使用して計算することができる。

は、その親分岐点座標内の分岐点の変形の便利な表現を提供する。

分岐点について説明してきたが、分岐曲線は、分岐点をその始点及び終点で使用して相応して補間される。いくつかのパラメータだけを使用して、モデルは、ＮＢ処置中に肺の中で発生する自然変形の大部分を記述する。モデルは、以下に示されるように、リアルタイムの動的変形追跡の使用及び呼吸補償にも適用できる。

変形可能位置合わせ
ここで、本開示のいくつかの実施形態による、肺気道内に配置された介入器具の位置と、気道の分岐モデルとの間の変形可能位置合わせを実行する方法を表す概略フローチャートである図５を参照する。

ブロック５０２で、いくつかの実施形態では、医師は、上述のように、１つまたは複数の単一センサまたは完全に追跡される介入器具を使用して、教師なし調査を実行する。サンプルは、ＬＯＣ座標内で取り込まれ、解剖学的構造内部でのその位置は不明であり、位置合わせのプロセスによって決定される。調査によって生成される位置データ５０５は、ブロック５０４、及び特にブロック５０４Ａの動作に利用可能になる。

ベースライン気道マップ５０３は、例えば図１に関連して説明されるように生成された肺の以前に測定されたなんらかのジオメトリの少なくとも部分的な表現を用いて構造化される。ブロック５０２で調査され、ベースライン気道マップ５０３によって表された肺は同じ肺であるが、ベースライン気道マップ５０３のデータの取得時点と、ブロック５０２の調査との間でジオメトリに変化があった可能性がある。

ブロック５０４で、いくつかの実施形態では、教師なし調査データと（例えば、ＣＴを使用して、事前の撮像から生成された）気道マップとの間で厳密な位置合わせが決定される。ブロック５０４は、同時にまたは連続して、及び任意選択で反復して実行される場合があるブロック５０４Ａ及び５０４Ｂに分けられる。ブロック５０４Ａでは、気道マップに対する修正は、現在の解剖学的状態に対するその類似性を改善するために行われる。ブロック５０４Ｂは、厳密な位置合わせ（例えば、平行移動及び回転）を表す。

ブロック５０４Ｂの位置合わせのためのアルゴリズムは、当技術分野で既知である。アルゴリズムは、通常、単一のセンサを用いて実行される教師なし調査から開始して、エネルギー最小化最適化方法を使用して厳密な位置合わせの決定を実行する。しかしながら、（ブロック５０４Ａで提供される）追加の修正なしでは、術前のＣＴから生成された気道マップは、処置の時点での解剖学的構造を正確に反映し得ない。つまり、術前のＣＴの気道マップと実際の処置中の肺の状態との間には変形がある可能性が最も高い。この潜在的な理由は、例えば、術前のＣＴ（または他の術前の撮像処置）が、通常処置の数日または数週間前に撮影されること、患者がＣＴスキャン（または他のベースライン撮像処置）に対して変更された姿勢で検査されること、及び／または気管支鏡もしくは他の内視鏡、カテーテル、それらと使用されるツール、及び／または類似する手術器具によって肺に加えられる力がその形状を修正することを含む。

したがって、本開示のいくつかの実施形態では、ブロック５０４Ａで表される追加の操作は、変形モデルがＬＯＣと解剖学的構造との間で厳密な位置合わせを発見するためにより適するように変形モデルを調整する。解剖学的構造は、当初、ＣＴに対して「ヌル」変形モデルが適用された（ベースライン気道マップ５０３として、ＣＴ中の肺の状態を表す）変形可能モデルによって表される。位置合わせ中、変形モデルは、ＣＴまたは他の３Ｄ撮像の時点と、ＮＢ処置の時点との間の肺の状態の変化を補償するために選択された変形によって修正される。

ブロック５０６は、肺がさらなる動的変化を受けるにつれ、処置中に変化し続ける場合がある変形モデル（気道マップ）の初期に位置合わされた状態を表す。

本開示のいくつかの実施形態では、ブロック５０４Ａで使用される気道マップパラメータ（変形）に対する変更の選択は、肺の中で位置決めされた、及び／または肺の中で移動している１つまたは複数の完全に追跡される介入器具から取得される位置及び向きの感知データに基づく。追跡からの位置データは、ブロック５０５からブロック５０４Ａに提供される。例えば、先端でのみ追跡される介入器具と比較されると、完全に追跡される介入器具は、より多くのデータ、特に現時点での介入器具の位置の長手方向範囲をより直接的に示すデータ（例えば、タイムスタンプ）を提供する。

肺は処置中に移動しているので、古い位置データの解釈は曖昧であるか、または誤解を生む可能性があり、そのデータを、介入器具のすべてまたは大部分の現在位置を明確に示すデータよりも役に立たなくする。より古いデータで発生する可能性がある問題の種類の表示として、肺が移動すると、より古いデータに示される介入器具の位置が依然として元の気道内にあるいう仮定は無効に（少なくとも疑わしく）なる。これを補正するために、肺がどのように移動したのかの何らかの情報が必要とされる。しかし、先端のみの追跡では、その情報を提供するために適所にあるセンサはない。他方、完全に追跡される介入器具を用いると、気道自体の移動位置を忠実に表すために、先端に近位の介入器具の部分の移動位置を信頼することができる。さらに、介入器具自体が一種の一定の「定規」となるので、旧データと新データとの間のつながりは明確である。したがって、旧データと新データを比較すると、どのような種類の肺の動きが発生した可能性があるのかを直接的に示すことができる。

ここで、本開示のいくつかの実施形態による、調査データが位置合わせされた調査データ６０３、６０３Ａ、６０３Ｂとして異なるように位置合わせされた肺モデル状態６０２、６０２Ａを概略で表す図６を簡略に参照する。この例では、調査データ６０３のサンプルは、完全に追跡される介入器具を使用して収集された。状態６０２から状態６０２Ａへの遷移では、領域６０８及び６０９（例えば）は、肺モデルの残りに対してその位置を変更している。

パネル６１０（左）は、肺モデル６０２に大まかに重ね合された元の調査位置６０３を示しており、調査データ６０３との大幅な不整合が生じている。パネル６２０（中央）は、肺モデル６０２への調査データ６０３Ａの厳密な位置合わせの結果を示す。これは、ブロック５０４Ａによるモデルの以前の処理なしに、ブロック５０４Ｂを実行した結果と似ている。その結果として、特に肺のより遠位部分で誤差が生じる。パネル６３０（右）は、調査データ６０３Ｂによって誘導された変形によって変換され、パネル６２０に見られる厳密な位置合わせの誤差を補正する肺モデル６０２Ａを示している。

図５の説明に戻ると、本開示のいくつかの実施形態では、ベースライン気道マップ５０３は、図１に関して説明された変形モデルのインスタンスとして構築される。変形、及びＬＯＣと解剖学的構造との間の厳密な位置合わせの両方を取り込むために、ＬＯＣ座標内の分岐点座標系として

を考えることが、位置合わせのためには便利である。この意味で、

は解剖学的構造から（このルートノードの）ＬＯＣへの厳密な変換をエンコードし、一方、

は上述同様に、分岐点間のローカル変換及びＢ変形を表す。この単一モデルは、厳密な解剖学的構造とＬＯＣの位置合わせ

、及び局所的なＣＴ変形の両方をエンコードする。

いくつかの実施形態では、ブロック５０４の最適化プロセスは、（ａ）（基本的に、ブロック５０４Ｂの操作を実行するために）すべての収集された介入器具ＬＯＣサンプルを、変形及び変換した気道の内部に入れ、（ｂ）これ（ブロック５０４Ａの操作）を可能にする肺の合理的な変形を記述するモデルに適合するように構成される。これら２つの条件－標的目標及び形状制約－は、任意選択で単一のエネルギー関数にエンコードされる。あるいは、適合は、反復的に交互に複数のエネルギー関数を使用して実行される。

過剰適合を防ぎ、収束をよりロバストにするために、特定の閾値を超える（例えば、第３世代を超える）世代の分岐点は、任意選択でモデルから省略される。任意選択で、上位分岐点世代の１つまたは複数は、下位世代の分岐点との初期適合が解に収束した後にのみ、適合計算に含まれる。介入器具位置測定値（調査によって収集されたサンプル）は、それらが適合に対する寄与においてバランスを保つために、任意選択で前処理されるか、または重みを割り当てられる。

ＣＴ座標内の局所的に変形した気道マップと、ＬＯＣ座標との間での変換の厳密な部分をエンコードするために、６つのパラメータで

が割り当てられ得る（６ＤＯＦ）。これは、ブロック５０４Ｂの操作の一部として使用される。任意選択で、パラメータ値は、制限された（合理的な）検索領域に限定される。いくつかの実施形態では、

は、この種の他のアルゴリズムで行われるように、初期のグローバル検索ステップで検索される。位置データ５０５及びベースライン気道マップ５０３の相対的なスケーリングは、データ取得の条件から十分に特徴付けられ得る。任意選択で、スケーリング係数は変換適合に含まれる。

ここで、本開示のいくつかの実施形態による、利用可能なデータと一致するための変形モデルの変形変換の決定、及びさらなる動的モデリングにおける変形変換の使用の要素を概略で表す図７Ａを参照する。図７Ａに関する説明は、図５の操作のいくつかのより特定の実施形態を概略しており、その実施形態の結果が処置中の肺の動的変化をモデル化するためにどのようにさらに使用され得るのかを示すブロックを追加する。

いくつかの実施形態では、（例えば、ブロック５０４Ａの操作によって実行される）局所変形が、

によってベースライン気道マップに対して実行される（やはり図５に示されるブロック５０３）。任意選択で、これは３ＤＯＦ（オフセットが許可されない場合）または６ＤＯＦ（オフセットが許可される場合）のみで定義される。モデルのパラメータは、単一の状態ベクトル

でアセンブルすることができ、上式で、行列はそのコンパクトな３ＤＯＦまたは６ＤＯＦ形式で表され、

は、最適化プロセスに関与する分岐点である。

ブロック７０６は、分岐点の分岐によってモデル内で想定される少なくとも回転状態の形で、分岐点に割り当てられた形状を表す。ブロック７０８は、形状制約を表す。任意選択で、これらの制約は、ブロック７０６の形状をどのように修正できるのかを制限及び／または誘導するために、分岐点ごとに定義される。

番目の分岐点の場合

、形状制約は、単に以下のエネルギー関数

を使用するだけでエンコードできる。これにより、最適化は、分岐点間の小さい変形及び局所変形のみを検出することに制限される。任意選択で、形状制約は、例えば、機械学習されたスコア重みのセットを特定のモデル構成に適用して、そのエネルギー関数を採点することを介して等、別の方法で指定される。

さらに、

には、分岐点の生成に、または適合プロセスによる歪みを多かれ少なかれ受けやすくするその特性半径に応じて重みを割り当てることができる。例えば、主要な気管分岐部は、より小さい半径のより深い分岐点に比べてより硬くすることができる。

上記の

の定義は、任意の単位の回転行列と平行移動との間の混合による簡略化を含む。あるいは、いくつかの実施形態では、

は、３×３の回転行列

、及び並進ベクトル

に分割される。それぞれを、

及び０とそれぞれ比較することができ、それぞれの差には独自の重みを割り当てることができる。

を考慮することの代わりに、いくつかの実施形態では、回転はそのクォータニオン形

で表現及び分析される。形状エネルギー関数は、次に対応して

を読み取り、

を強制的に０、すなわちゼロ回転にする。任意選択で、異なる種類の回転が

で区別される。これはまた、例えば、

を分析し、それに異なる種類の回転の異なる重みを割り当てることによって達成できる。（例えば、モデルセグメントを分岐点でより曲がりやすいが、よりねじりにくくする）。この違いを具現化するために、図１に関して説明された座標系

の特定の構築が潜在的によく適している。任意選択で、特定の方向でのオフセットを優先する、及び／または他の方向でのオフセットを阻止するように適合重み付けが選択される。これらの例から、

の実装が、現実的な肺変形構成を反映するために、特定の分岐点も適用される変形に対して形状制約を課すいくつかの異なる形のいずれかを取り得ることが理解できる。

最適化プロセスは、特定のエネルギー関数の選択に無関係である。全体の形状エネルギー関数は、次に以下のとおりである。

ブロック５０４の２つの目標をともに達成する、すなわち（例えば、介入器具の調査移動中の収集された介入器具サンプルからの）位置データ５０５が変形及び変換した気道内部にあるように、剛体変換（ブロック５０４Ｂ）及び局所変形（ブロック５０４Ａ）を検出するために、いくつかの実施形態では、一方で収集された介入器具サンプルと、他方で（ＬＯＣ座標内の）変形及び変換した気道チューブとの間の距離が考慮される。

位置データ５０５からのサンプルが、気道マップ（ベースライン気道マップ５０３、または修正後の別の気道マップ）によって画定された気道チューブ内部にうまく収まるとき、次にそれは最適化にいかなる誤差も寄与しないはずである。しかしながら、サンプルが、分岐する気道モデルによって画定された境界の外に位置する場合、次に、モデル及び／または厳密な位置合わせは、この誤差を最小限に抑えるように訂正される必要がある。

で示されるのは、局所介入器具またはセンサ座標から位置特定座標ＬＯＣへの４×４の３Ｄ変換によって変換された位置データ５０５の収集された介入器具位置サンプルである。あるいは、介入器具位置サンプルは、４Ｄクォータニオン及び３Ｄ位置ベクトルとして、及び任意の他の適切な表現で記述される。

収集された介入器具位置サンプルの使用に関する変動は、任意選択で、利用可能な介入器具位置データの型に従って実装される。例えば、５ＤＯＦ追跡システムで実装すると、各

の回転行列の１番目の軸及び２番目の軸は存在しない場合がある。単一センサ介入器具との使用のために実装されており、各

は、位置合わせ調査中のある時点での介入器具の先端を表す。完全介入器具位置特定システムを用いると、完全介入器具の長さは連続して可視である。この場合、

は、完全に追跡される介入器具を（例えば、スプラインまたは他の内挿法を使用して）その長さに沿って一連の離散変換に分割することによって生成され得、各瞬間（タイムスタンプ）ごとに多くの

を生成する。最適化プロセスは、したがって介入器具位置測定の構造（単一センサ対完全追跡）に、及び追跡される介入器具の数に無関係である。最適化プロセスは、入力として

のセットしか必要としない。

で示されるのは、各

の平行移動（位置）ベクトルである。特定のサンプル

について、サンプルのエネルギーは次のように定義されまる。

上式で、

は、特定の

番目のサンプルに割り当てられた重みであり、

は、セクション（３）に詳細に説明されるように、変形モデル状態ベクトル

によって変形された気道マップスケルトンであり、

は、位置ベクトル

とスケルトンモデル

との間の最も短い距離またはオフセットを出力する関数である。

が実際の変形及び変換を表すとき、

は

ごとに０となると予想される。

はさまざまな方法で選ぶことができる。例えば、完全に追跡される介入器具を用いると、タイムスタンプごとに、完全介入器具が複数の離散

に分割される。それらの対応する

は、変形可能位置合わせを検索するときに、最適化により深い気道に焦点を当てさせるために、例えば、介入器具の尾部に比較して先端により強い重みを割り当てることができる。

の選択のために、

と変形したスケルトン

との間の単純な距離関数を使用することができるが、その場合、最適化はすべての収集されたサンプルをスケルトンの中心線に合わせようとし、これは必ずしもそうであるとは限らない。これを回避するために、変形したスケルトンの半径を考慮に入れる必要がある。スケルトン上の最も近い点からのその対応する半径で距離を除算することによって最も近い正規化（無次元）距離を検出する正規化距離関数が使用され得、正規化された距離は、次に［ｍｍ］、［ｃｍ］などの代わりに１半径、２半径で測定される。次に、１未満の正規化された距離を気道内部にある点と見なすことができる。したがって、半径正規化距離は、１未満のすべての半径正規化距離をほぼ０と見なし、１を超える半径正規化距離については線形に増加するオフセットを有するＳｍｏｏｔｈＲｅＬＵなどの伝達関数を受けることができる。最適化では、依然として中心を外れたサンプルのいくつかで小さい誤差が発生するが、それらは無視できる程度となる。より一般的には、

を定義し得、上式で

はｋ番目のサンプルの完全３Ｄ変換

を見て、完全３Ｄ変換と変形スケルトンとの間の最短距離を検出する。この定式化によって、Γは、介入器具サンプルと変形したツリーとの間の配向距離を含むことが可能になり、例えば、介入器具の方向が最も近いスケルトン点の方向と位置合わせされることが必要になる。さらに、介入器具サンプルと変形したツリーとの間の最短正規化距離を単に出力する代わりに、

は、３Ｄの完全差分ベクトル、つまり一方は位置用、もう一方は向き用の３Ｄの２つの差分ベクトルを出力する場合がある。最適化が、

及び

の特定の選択に無関係であることを理解されたい。それらは、気道が、好ましくは気道半径に応じた正規化で、及び気道チューブ内部のほぼ一様のコストでサンプルに引き付けられるようにのみ選ばれるべきである。全体のサンプルエネルギー関数は、次に以下のとおりである。

総エネルギー関数は以下のようになる。

上式で、

及び

は、サンプルに対して気道を変形することと、形状制約を満たすこととの間のバランスを提供し、実験により選ばれる。

は、各成分がある特定の種類の誤差を記述する多次元誤差ベクトルとして表される。最適化プロセスの目標は、合計誤差

を最小限に抑える状態ベクトル

を検出することである。最適化は、勾配降下法、ネルダーミード、トラスト領域、レーベンバーグマルカート（ＬＭ）などの様々な非線形方法を使用して行うことができる。（ＬＭ）などのいくつかの最適化方法は、誤差関数の表現を誤差の多次元ベクトルとして利用してその収束プロセスを加速し、収束プロセスのロバスト性を高める。例えば、ＬＭ最適化は、その収束のために誤差ベクトル

のヤコビアン関数行列式を使用する。

の関数行列式は、数値的にまたは分析的に計算し、ＬＭまたは他の種類の非線形最適化アルゴリズムで使用することができる。

変形可能位置合わせプロセスの出力は、ＮＢ処置の初期状態として使用できる変換及び変形モデル

のパラメータを記述する状態ベクトルｘ（ブロック７１０）である。完全に追跡される介入器具を用いると、例えば図６に関して説明されるように、収集された介入器具サンプルで柔軟な変形可能モデルを適合させるために十分なサンプルが収集される可能性があり、適合の改善が得られる。

動的変形追跡
図７Ａの変形可能位置合わせは、解剖学的構造から

への剛体変換、及び初期状態におけるＣＴの局所変形

をエンコードするセット

（変換状態ベクトル７１０）を出力する。ＮＢ処置中、ベースライン気道マップは、ＬＯＣ座標内の気道マップ７２０の更新された（例えば、現在及びリアルタイムの）状態を反映するために変換／変形される。

いくつかの実施形態では、更新された位置合わせされた気道マップ７２０は、

によって記述される。すなわち、ブロック７１０の全体の変換及び変形は、動的変化をエンコードする追加の動的変換状態ベクトル７１２とともに、ベースライン気道マップ５０３に適用される。より詳細には、静的部分

は、変形可能位置合わせから取得され、処置における初期の変形状態での気道マップ変換を記述する。動的部分

は、処置中に更新して肺を変形する動的な力を説明する。

いくつかの実施形態では、（例えば、呼吸変形に関するセクションで説明されるように）呼吸変形は

から除外され、代わりに

に統合される。

ＮＢ処置の開始時、初期に位置合わせされた気道マップ５０６の生成後、

及び

である。つまり、ベースライン気道マップ５０３は、変換状態ベクトル７１０だけによって変換される。追加の変形は、既存の

との組み合わせによってモデルに加えられる。また、

で開始し、処置中に局所的に経時的にそれを変形することを示すために

を書き込むこともできる。

ブロック７２０の操作により実装された動的変形追跡アルゴリズムは、ブロック５０４の操作により実装された変形可能位置合わせに類似している。

複数の時間

のそれぞれで、位置及び向きデータ５０５Ａとして供給される介入器具サンプルの新しいセットが利用可能である。

単一センサ介入器具の場合、

である。完全に追跡される介入器具の場合、例えば、介入器具に沿って各センサをサンプリングすることによって、及び／または介入器具の表現を、スプラインまたは他の内挿法を使用してその長さに沿って介入器具の表現を一連の離散変換にさらに分割することによって、多くの

が与えられ得る。

最初に位置合わせされた気道マップ５０６を生成する初期の変形可能位置合わせと同様に、ブロック７２０の変形追跡アルゴリズムは、使用される介入器具の数に、及び各介入器具の構成に無関係である。ブロック７２０の動的変形追跡アルゴリズムは、時間ｔのたびに、位置データ５０５Ａからの大部分のサンプルは気道内部となり、適用された変形は、上述のように妥当な肺変形を記述するであろうように、

を計算することによって変形モデルを更新するように構成される。いくつかの実施形態では、これは、気道からのサンプルの総距離によって、及び例えば、ブロック５０４によって使用される形状制約７０８のようであるブロック７２０によって使用される形状制約によって制約されるとしてなど、特定の構成の信じ難さによって定義される２種類の「エネルギー」を一緒に最小限に抑えることを含む。

しかしながら、ブロック５０４によって実装される変形可能位置合わせアルゴリズムに比較して、ブロック７２０の変形追跡装置は、その処分においてそれほど多くの介入器具サンプルを有していない。

いくつかの実施形態では、変形追跡は、現在時ｔでの完全介入器具の現在位置しか使用しない。いくつかの実施形態では、変形追跡はまた、例えば、データが古くなるにつれ重みが減少する、過去のサンプルを

に追加することによって、位置データ５０５からの過去のサンプルを使用する。

高速（リアルタイム）かつ低遅延で連続的に更新される変形追跡を提供することは、本発明のいくつかの実施形態の目的である。この目的は、位置データ５０５Ａが取得されると、位置データ５０５Ａからの新しいデータに一致するように変形モデルを段階的に更新することによって部分的に支援される。この段階的な更新は、肺の実際の変形速度が位置データ５０５Ａのサンプリング速度に比較して比較的に遅い限りは低遅延の目的と一致する。

いくつかの実施形態では、ブロック７２０の変形追跡装置は、ブロック５０４の変形可能位置合わせのエネルギー関数の定義を再利用して、モデルの動的変形部分のエネルギーを定義する。

上式では、

は、時間

でのモデルの状態ベクトルであり、ここでは動的部分

のみを含んでおり、

は変形可能位置合わせの状態ベクトルであり、

は形状エネルギー関数であり、任意選択でここでは動的部分にだけ集中する－すなわち、それは位置合わせの形状に関して罰を与えるのではなく、追加の動的形状に関してのみ罰を与える（ただし、代わりに、初期形状を考慮される場合がある）。

は介入器具サンプルと、最終的に変換及び変形されたスケルトン（位置合わせ及び動的変形を含む）との間の距離の測定基準であるサンプルのエネルギー関数である。

動的変形追跡装置は、いくつかの実施形態では、変形可能位置合わせから取得される形状が実際通りである－すなわち、それをその形状エネルギー関数に含まないと仮定する。動的変形追跡装置は、介入器具のサンプルに近似し、ブロック５０４で実行される変形可能位置合わせによって画定された元の形状に比して形状が大きく逸脱しない局所変形補正

のみを検索する。

動的変形追跡アルゴリズムが利用可能な反復ごとの情報が制限される限り、過剰適合のリスクがある。いずれにせよ、リアルタイム更新を維持するために、収束及び実行時間は迅速に発生する必要がある。

いくつかの実施形態では、これらの基準を満たすことは、ブロック７２０で実装された追跡装置アルゴリズムの注意を、介入器具に近い分岐点に制限することによって支援される。

例えば、追跡される介入器具が右肺内部に位置すると仮定すると、

を最小限に抑えようとする左肺内の分岐点の変形は、総エネルギーに対して重大な影響を与える可能性がないので無駄になる。

いくつかの実施形態では、動的変換状態ベクトル７１２を再計算するときに使用される最適化ツールは、エネルギー関数に影響を与える可能性がある

の分岐点、すなわち追跡される介入器具（複数可）に十分近接した分岐点のみを修正する。これらは、任意選択で、例えば分岐距離及び／または空間内の距離などの距離のなんらかの測定基準に従って選択された分岐点とともに、介入器具が現在横断している分岐点を含む場合がある。

再び、ブロック５０４で実装された変形可能位置合わせアルゴリズムのいくつかの実施形態と同様に、

は、特定の世代までの分岐点に制限される場合がある。分岐点は、例えば世代または特性半径に基づいて、任意選択で

での最適化のための重みを与えられる。

が計算できるように、介入器具サンプルの位置を、変換及び変形されたスケルトン

に一致させるために使用される

距離関数は計算コストが高い可能性がある。ツリー全体の検討を回避するために、ツリーの無関係の（例えば、介入器具サンプル位置から遠い）部分はある程度の加速を得るために検索から省略され得る。これは、例えば、介入器具サンプルから一定の半径範囲内にあるスケルトン点に検討を制限し、

距離計算のためにそれらの点とそのすべての祖先でサブスケルトンを形成することによって実施できる。

ここで、本開示のいくつかの実施形態による、図７Ａのブロック７２０の実施形態を概略で示すフローチャートである図７Ｂを参照する。図７Ｂの操作は介入器具位置データが連続で種臆されるにつれて反復的に実行されて、処置中の肺の更新されたモデルを維持する。

ブロック７３０で、いくつかの実施形態では、変形追跡装置は、介入器具サンプル

及び重み

の新しいセットにアクセスする。重みは、例えば介入器具の遠位先端に、そのより近位部分に比較してより強い重みを与えるように調整され得る。

ブロック７３２で、いくつかの実施形態では、追跡装置は、

への近接性に基づいて、最適化のために分岐点と関連するサブスケルトンのセットを選ぶ。

ブロック７３４で、いくつかの実施形態では、モデル状態ベクトルは、以前の反復

からのその状態で初期化される。

ブロック７３６で、いくつかの実施形態では、１つまたは複数の収束ステップが、例えば、レーベンバーグ・マルカート（ＬＭ）などの非線形反復最適化方法を使用して実行され、

を更新して誤差関数

を最小限に抑える。収束ステップの数は、利用可能な計算リソースの過剰な使用を回避するために選択され得る。収束ステップの数は、１ステップだけなど非常に少ない場合がある。アルゴリズムのリアルタイム操作は、サンプリング時間の間に大きな変化があってはならないことを確実にするために役立つので、モデルは、通常、いかなる場合でもその収束状態に近づくはずである。

ブロック７３８で、いくつかの実施形態では、結果として生じる

は、任意選択でフィルタリングされて、追跡装置に、例えば以下を使用することによってより円滑な応答を強制し、

は、以前のタイムスタンプ

と新しいタイムスタンプ

の変形状態（０－フィルタなし、即座に更新、１－完全フィルタ、更新なし）の間で実行されるフィルタリングの量を制御する。

さらにまたは代わりに、動的変形は、毎回更新ステップ

の後に適用される任意選択の減衰段階を使用することによって制限され、

は、実行される減衰の量を制御する（０－減衰なし、完全更新、１－完全減衰、更新なし）。減衰

を追加することによって、動的変形はつねに緩和し、ゼロに戻る。変形追跡装置が、焼失しない局所変形変換

を維持するのは、介入器具サンプル

が、変形可能位置合わせに比較して局所変形を示す場合のみである。

が抵抗を与えない限り、形状エネルギー関数

は暗黙的に動的変形を単位行列

に向けて押し得るが、明示的な減衰段階が、減衰プロセスを加速し、より適切に制御するために役立つことができることに留意されたい。

本セクションの残りの所見は、ブロック７３６の誤差最小化計算の詳細に関する。

局所集約ステップだけを実行することによって、

の極小値に捕捉され、アルゴリズムがＬＭなどの局所集約アルゴリズムがそこから容易に回復できないリスクがある。

これは、例えば、介入器具が深く、かなり変形された分岐点、及び／または変形可能位置合わせステップ中にその変形がモデル化されなかった分岐点の近くに位置するときに起こる可能性がある。

このような分岐点からは、介入器具が分岐点で右折するのか、それとも左折するのかは当初は完全に明らかではない場合がある。次に説明される例では、介入器具があいまいにモデル化された分岐点で右折すると仮定される。本明細書に説明される変形モデルと組み合わされた完全に追跡される介入器具の潜在的な利点は、特定の気道に侵入し、短い距離、移動した後に、介入器具自体の形状が、たとえ著しく変形していても、介入器具が右折したのか、それとも左折したのかをシステムに教示する点である。右折後、例えば

であり、上式では

はそれぞれ右折または左折を説明する動的変形の状態ベクトルを表す。しかしながら、変形追跡アルゴリズムは本質的に局所的であるので、

は、ナビゲーション中に

に向かって誤って収束し、適切な（過剰な）動的変形を適用することによって左気道を誤って介入器具と強制的に位置合わせさせる可能性がある。

介入器具が気道内部で短い距離移動した後、

のオプションは、

よりも明確に劣ることになるが、そのときには、局所的な収束アルゴリズムがはるかに後戻りし、極小値

から逃れ、最小値

に収束するには手遅れになる場合がある。

本開示のいくつかの実施形態では、グローバル検索は、極小値から逃れることを可能にし得る動的変形追跡アルゴリズムに組み込まれる。

グローバル検索実装の一例は、小さい摂動

の形で現在の状態ベクトル

の近くに検索（例えば、ランダム検索またはグリッド検索）を適用し、上式では、

は、より小さい総合誤差を有する状態ベクトルを検出しようとして特定の方向で

を修正する。各摂動

の誤差関数は、グラフィックスプロセッシングユニット（ＧＰＵ）などの複数の計算処理ユニットを容易に利用できる検索アルゴリズムで並列で評価できる。

別のオプションは、複数の仮説手法を使用する。特定の分岐点で、スケルトンは、２つのサブスケルトンに分割され得る。つまり、一方は、左折及びすべての子孫を含み（ただし、右折は含まない）、他方は右折及びすべての子孫を含む（が、左折は含まない）。追跡装置は、一方は、「左」スケルトンを使用し、他方は

の「右」スケルトンを使用する２つの別々の最適化を実行する。左折はサブスケルトンに欠けているので、「右」スケルトンを使用する最適化ツールは、強制的に右折に収束させられる。最初に、「左」最適化ツールはより小さい誤差を示す場合がある。ただし、介入器具が短い距離移動した後、「右」最適化ツールが勝利し、「左」仮説は破棄される。

この手法を正式なものにすると、反復時間

ごとに、介入器具サンプル

からの一定の距離範囲内にあるスケルトン経路

が検索される。介入器具は、それらの経路の１つに嵌合しなければならないと想定される場合がある。次に、

を最小化する

を検出するために局所収束が実行される（ここでは、

はその

距離関数で

を使用する）。各

は、介入器具が経路

の内部に位置するという過程に基づいてエネルギー関数を最小限に抑えるモデルの状態ベクトルを記述する。

で示されるのは、最小状態ベクトル

の誤差である。

は、次に

であるように選択できる。

である場合、それは、最適化ツールが、局所的に収束する

を改善する状態ベクトルを検出したことを意味、最適化ツールは

を設定することを選び、したがって局所最小点から逃れ得る。この複数仮設のグローバル検索は、各動的変形追跡ステップで実行できる。あるいは、各仮説は、必要とされる計算力を削減するために別々のステップで試験することができる。この考えの背後にある直感は、以下のとおりである。

これは、

によって画定される収束面は多くの極小値

を含む場合があるが、これらの

に固有の収束面のそれぞれは、それ自体はるかに単純であり、したがって検索が容易であることを暗示している。

変形可能位置合わせと同様に、動的変形追跡アルゴリズムは、誤差最小化最適化問題に関して正式なものになり得る。全体の変形誤差関数

は、複雑な収束面を形成する。ソルバは、極小値を回避しながら誤差関数をリアルタイムで最小化するために、大域的最小化、マルチシード手法（いくつかの開始点）、複数仮説手法、または任意の他の適切な局所／大域方法を使用し得る。ｘ_ｔは、連続的に更新する動的変形経験を作成するために経時的にフィルタリングすることができ、初期の変形可能位置合わせ状態に戻る収束（「緩和」）を加速するために減衰することができる。

変形可能位置合わせとともに、

によって記述される全体の変形変換は、術前のＣＴと（ＬＯＣ座標内の）処置の開始時の解剖学的構造との間の変形及び変換と、ＮＢ処置中の肺の追加の動的変形との両方を考慮する。変形可能位置合わせアルゴリズムと動的変形追跡装置の１つの大きな違いは、変形可能位置合わせは、多くの介入器具サンプルを参照して、計算に数秒を要する場合がある単一の変形及び変換状態

を生成するのに対し、動的変形追跡装置はリアルタイムであり、タイムスタンプごとに観察されたわずか数個の

に基づいて迅速に進化する

を提供する点にある。

呼吸の変形
本開示のいくつかの実施形態では、図５及び図７Ａのブロック５０４で決定された剛***置合わせは、周期的に変化する位置合わせである。より具体的には、いくつかの実施形態では、位置合わせは呼吸サイクルの移動に従って変化する。

ＮＢ処置での問題は、呼吸によって引き起こされる変形及び不正確さを克服することである。このような動きは、気管及び大気管支の比較的に固定された構造、及び／または堅い構造からより遠く離れた、肺内の末梢標的にとって特に重要である場合がある。

この問題に対処するための手法は、体及び胸部とともに移動する一般化されたＬＯＣ座標を作成するために患者の胸部に取り付けられた基準センサを使用することである。呼吸に誘発される肺及び介入器具の移動は、２つの動きが相関する傾向があるため、基準センサ場所の変化を使用してある程度補償される。

しかし、呼吸による肺の変形は複雑である。例えば、ある気道は一方向に変形する場合があり、一方、別の気道は反対方向に変形する。これは、単純な基準センサベースの呼吸補償アルゴリズムの精度を低下させる可能性がある。

このような複雑化させる要因の部分的な補償では、基準センサ読み取り値は、呼吸相を考慮して解釈され得る。例えば、呼吸相

は、基準センサの周期的な動きから計算され得る。位相は、例えば０と１の間の数として表し得、ここでは

は完全呼気状態を意味し、

は完全吸気状態を意味する。この表現では、呼吸相はこれらの２つの極値の間で揺れ動く。あるいは、

は、円

上の実際の位相として理解される場合があり、ここでは、

が完全呼気状態を意味し、

が完全吸気状態を意味する。

を円上の位相として扱うことによって、呼気から吸気への遷移の動きと、吸気から呼気への遷移の動きを区別することが可能になり、これは、必ずしも基準センサ出力の関数と同じ動きのパターンに従わない。

呼吸相を計算すると、呼吸運動と呼吸相との間で相関する関数を適用し得る。概略では、関数は、介入器具の特定の場所での呼吸運動を推定する出力を予測するパラメータとして呼吸相を受け入れる。関数は、例えば、（介入器具ナビゲーション処置の前に）オフラインで及び／またはＮＢ処置中に行われる撮像及び／または測定によって学習される、患者の動きに合わせて調整された呼吸モデルを使用し得る。

リアルタイムで関数を適用することによって、介入器具とマッピングされた気道の両方とも実際には呼吸とともに変形しているにも関わらず、介入器具の呼吸運動は、例えば、それを静的気道マップに対して静的にすることによって補償できる。ただし、もはや呼吸モデルの周期的な予測に一致しなくなるほど肺が変形すると、運動の補償は低下する。

本開示のいくつかの実施形態では、解剖学的構造及び介入器具は、介入器具が肺を通って移動するにつれて、及び呼吸または他の原因による変形を含む、その測定された及び／推定された実際の形状／位置状態で動的に表示される。したがって、介入器具の呼吸運土は、補正の使用によって排除されるのではなく保持される。

いくつかの実施形態では、呼吸をモデル化するために、例えば患者の胸部に取り付けられた１つまたは複数の基準センサに基づいて、呼吸相

が計算される。呼吸相は、例えば、患者の周期的な呼吸運動と相関する追跡基準センサの上下運動に基づいて、標準信号処理方法を使用して計算され得る。最も高いセンサ位置で、患者は完全吸気状態にあると推定され、最も低いセンサ位置で、患者が完全呼気状態にあると推定される。

ハイパスフィルタは、患者の他の体の移動を除外するために使用され得る。さらにまたは代わりに、複数の基準センサが利用され得、各センサの場所はセンサのＰＣＡ座標内で計算され得る。いくつかの実施形態では、基準センサの絶対高さまたは相対高さを使用する代わりに、例えば３つの基準センサ間の三角形の面積を調べ得る。例えば、この三角形の面積が最大であるときには患者は完全吸気状態にあり、三角形の面積が最小であるときには完全呼気状態にあると仮定され得る。呼吸相φは、上述の技術の１つに類似した方法で、または任意の他の適切な方法によって計算され得る。

本開示のいくつかの実施形態では、

は、初期の変形可能位置合わせ段階（例えば、図５のブロック５０４の動作）で使用される。処置の開始時の肺の変形状態を反映する単一の変形可能位置合わせ状態

を、呼吸相

に応じた肺の変形を考慮する時間とともに変化する位置合わせに置き換える。したがって、変形可能位置合わせアルゴリズムは、肺

の

に依存する初期の変形可能位置合わせを検出するように修正される。この結果から、システムは後に呼吸によるリアルタイム肺変形を予測できる。システムの合計補正は

となる－すなわち、初期位置合わせの呼吸相に対する依存性

が導入される。

例えば図７Ａのブロック７２０の動的変形追跡装置は、

の代わりにブロック５０６からのその入力として

を使用する。

動的変形追跡装置は、

の場合と同様に、位相補償済みの位置合わせ

との差を計算できるが、誤差は少ない可能性がある。例えば、ブロック７３８に関して説明されたようなフィルタリングは、呼吸サイクル運動を通過させることを可能にするように調整される必要はなく、アルゴリズムのアーチファクト除去特性を潜在的に改善する。

たとえ気道内にいずれの介入器具が存在していなくても、呼吸相は、患者に取り付けられた１つまたは複数の基準センサを使用して任意選択で計算され、気道マップが、患者の実際の呼吸と同期して「呼吸」を続行することを可能にする。

呼吸相

を使用するいくつかの実施形態では、

は、それぞれ１つは、呼気の場合の変形可能位置合わせの状態、１つは吸気のための変形可能位置合わせの状態である、極値状態

及び

の測定値から計算される。これらの測定された状態の間に、他の状態が保管される。つまり、

である。これは、呼吸相

を使用して、「呼気」状態と「吸気」状態との間を補間する。極値状態は、任意選択で単一の位置合わせ調査から計算され、いずれかの極値で行われた測定値を異なるデータセットに分離する。

いくつかの実施形態では、変形可能位置合わせの状態ベクトル及びエネルギー関数の定義は、以下のように定義されるために修正される。

状態ベクトルは、ここで、両方のモデル、つまり呼気及び吸気を組み込む。形状エネルギー関数は、両方のモデルが同様の形状制約を課すように任意選択で修正される。

さらなるカスタマイズのために、各モデルに異なる形状制約を割り当てる場合もあれば、少なくとも異なるように重み付けする場合がある。例えば、重み付けは、術前ＣＴが完全吸気状態で撮影されたという知識に基づく場合があり、したがって、「吸気」モデルに比較して「呼気モデル」ではより顕著な変形があると予想される。重み付けされた補正は、例えば、位相変化する項

の導入によって処理される。

各介入器具サンプルを単一の変形可能モデル

と照合させる代わりに、各サンプルは呼吸相が

である呼吸スケルトンに適合され、ここでは、

は介入器具サンプル

に属する呼吸相である。より正式には、

これにより、両方のモデル

とも介入器具サンプルに向かって引き寄せられ、

で採取されたサンプルはおもに「呼気」モデルに影響を与え、

で採取されたサンプルは、おもに「吸気」モデルに影響を与え、

が

の内部に十分に含まれるサンプルは両方に影響を与える。

２つのモデルを収集された介入器具サンプル

に適合させるために、利用可能なサンプル

の数は

の範囲から多様にサンプリングする必要がある。いくつかの実施形態では、制御システムは、過剰適合を防ぐために、両肺から、及びすべての呼吸相から十分な多様性を有する十分なサンプルが確実に収集されるように構成される。これは、完全に追跡される介入器具を用いれば、タイムスタンプごとに多数の介入器具サンプルが収集されるため、はるかに容易に行われる可能性がある。

２つの主要な位相呼吸モデルが、任意選択で任意の数の主要な呼吸相に拡張されることに留意されたい。例えば、

を定義する場合があり、その場合、３つの対応する主要な呼吸相、つまり呼気、呼気－吸気、及び吸気を記述するために３つの位置合わせ状態が使用される。次に、３つの主要な位相

の間で補間が行われ、エネルギー関数は上述同様に定義される。円

上の完全呼吸相の場合、好ましくは少なくとも３つの主要な呼吸相が完全呼吸サイクルをモデル化するために使用される。単純な位相

の場合、２つの主要な位相で十分な可能性がある。

より多くの主要な呼吸相を追加すると、呼吸モデルの精度が上がる場合があるが、十分な介入器具サンプルが存在しない場合、呼吸モデルで過剰適合が引き起こされる可能性もある。

は大部分の呼吸の動きをモデル化するが、提案されている呼気－吸気補間モデルが不正確であるために、モデル化されていない残りの呼吸変形誤差が残っている場合がある。動的変形追跡装置は、その

を使用してこの残留誤差の少なくとも一部を除去できる。変形可能な呼吸位置合わせモデルの精度は、動的変形追跡装置に、局所的な変形検索のための適切な開始点を提供するために、及び／または呼吸相を信頼するだけで、肺に挿入された介入器具があるかどうかに関わらず、肺の呼吸をモデル化する上で使用するために重要である。動的変形追跡装置は、次に、

により強い形状制約を課すことによって、

付近で比較的に小さい及び／またはゆっくり展開する変形を検出することだけに集中できる。これにより、その全体的な性能を高めることができる。

変形及び呼吸のビュー
本開示のいくつかの実施形態では、システムは、任意選択で、変形可能な肺モデルによってモデル化された肺の中に位置決めされた１つまたは複数の介入器具の位置を示すビューとともに、変形可能な肺モデルのビューを示すように構成される。ここで、本開示のいくつかの実施形態による、変形可能な肺モデルビューを生成する方法を概略する概略フローチャートである図８を参照する。

気道セグメンテーションの滑らかな境界面を記述する３Ｄメッシュは、ナビゲーション気管支鏡検査中に使用するための気道マップを表すために使用され得る。３Ｄメッシュは、頂点のセット、及び頂点を接続して表面を形成する三角形の面から成り立つ。任意選択で、気道３Ｄメッシュは、スキニングプロセスで気道マップを表す「合成」３Ｄメッシュを形成するために気道スケルトン（中心線及び半径）から直接的に生成される。さらにまたは代わりに、ＣＴボリュームからまたはセグメント化された気道ボリュームから直接的に取得された勾配情報は、気道の細かいテクスチャを取り込むために使用される。これにより、より「現実的な」メッシュが生成される可能性がある。

本発明のいくつかの実施形態では、変形可能な肺モデルの現在の変形状態は、好ましくは、システムによって表示される肺関連２Ｄ／３Ｄ特徴（ビューオブジェクト）のいずれかのビュー（すなわち、モデルのスケルトンだけではなく）に適用される。これには、解剖構造をそのリアルタイムの状態で現実的に示すという潜在的な利点がある。

そのようなビューオブジェクトの例は、例えば、気道３Ｄメッシュ、球体または現実的な標的メッシュなどの標的表現、肺を通る経路、肺の中のウェイポイント、及び／または肺を撮像するＣＴスライスを含む。

ここで図８Ａのブロック８１０を参照すると、本開示のいくつかの実施形態では、ビューオブジェクトの変形状態の位置決めの決定は、ビューオブジェクトを変形可能な肺モデルのスケルトンの気道に関連付けることから始まる。

いくつかの実施形態では、この関連付けは、（例えば、モデルスケルトンを画定するために使用される元のＣＴ画像の空間などの予歪空間で画定された）表示されているオブジェクトの１つまたは複数の頂点を、気道に沿ったそれぞれの気道距離及び正規化距離

に割り当てることを含む。例えば、３Ｄ気道メッシュの場合、メッシュの各頂点は、特定の距離

にある特定のスケルトン分岐からその分岐に沿って発生する。３Ｄメッシュは、気道スケルトンの階層と同一の分岐の階層に分割され得、各サブメッシュはスケルトンの特定の分岐に対応し、分岐上の各頂点には

の値が割り当てられる。

ブロック８１２で、いくつかの実施形態では、３Ｄメッシュ（またはビューオブジェクトの他の表現）は、各頂点

で変形モデル

を使用して対応する補間変形を適用することによって変形される。例えば、

上式では、ＣＴ（または他の３Ｄ画像）座標内の

が

番目の分岐に属し、その分岐に沿った距離が

である場合、

は

の親分岐であり、

は、それぞれ分岐の先頭及び最後での分岐点の変形である。

任意選択で、ブロック８１４で、変形された３Ｄメッシュをレンダリングするために使用される照明モデルは、頂点法線に同様の変形を適用することによって改善される（例えば、ファセットの外観を低減する）。

上式では、

は、頂点

に対応する法線ベクトルであり、

は、オフセットを無視する変換

の対応する回転行列である。

任意選択で、ブロック８１２、８１４の変形は、中央処理装置（ＣＰＵ）によって適用され、適切な変形変換を使用して、すべての頂点（及び法線）を変換する。任意選択で、変形は、例えば３Ｄシェーダーを使用してグラフィックスプロセッシングユニット（ＧＰＵ）によって適用される。シェーダーは、グラフィックスパイプラインの特定のセクションごとにＧＰＵで実行するプログラムである。頂点シェーダープログラムは、グラフィックスパイプライン内の各頂点の処理を担当し、オブジェクトが表示される前にオブジェクトのジオメトリを変更するために使用できる。

３Ｄメッシュを分岐（サブメッシュ）の階層に分割すると、頂点シェーダーを使用して変形モデルを適用するのに役立つ。各分岐（サブメッシュ）を描画する前に、頂点シェーダーは行列

を与えられる。次に、分岐ジオメトリ情報（頂点、法線、テクスチャ座標など）を含む描画コマンドが発行される。分岐に沿った

距離は、頂点シェーダープログラムが距離にアクセスできるように、例えば未使用のテクスチャ座標チャネルを使用して追加の頂点ごとのデータとして与えられる。シェーダープログラム内部では、頂点はその

距離とともに入力される。事前に設定された

を使用し、補間された変形変換は特定の頂点に対して計算され、頂点位置及び法線に適用される。変形モデルはまた、ＣＵＤＡなどの汎用ＧＰＵコンピューティングツールボックスを使用して、または任意の他の適切な方法で適用できる。

３Ｄ標的球体、誘導矢印、テキストなどの小さいオブジェクトに変形モデルを適用するために、変形モデルが滑らかであり、その小さい近傍で大きく変化しないことが観察される。したがって、小さいオブジェクトは一様な変形変換を受けると仮定され得る。変形モデルを適用するためには、小さいオブジェクトには、気道マップから特定の分岐（例えば、最も近い分岐）、及び分岐に沿ったその距離（またはその重心距離）を示す一定の

距離が割り当てられる。その頂点（及び法線）は、次に上述のように変形される。

ここで、本発明のいくつかの実施形態による、単一モデルの分岐点８０２及びその子孫の変形前及び変形後の３Ｄメッシュ８００のレンダリングを概略で表す図８Ｂ及び図８Ｃを参照する。また、標的８０１の表示も示されている。

図８Ｂの基礎となるモデルを図８Ｃの基礎となるモデルに変換するために適用された変形は、図４について示されるのと同じ分岐点８０２の単一分岐点変形である。ただし、変形はここで、上述のように、３Ｄメッシュの頂点（及び法線）に適用されて、滑らかに変形した３Ｄメッシュを表示する。パラメータの調整は分岐点自体に対して行われる。図８Ｃで屈曲が増加して見えるのは、分岐点８０２で変化した構成と、それに最も近位の分岐点との間で気道が補間された結果である。使用される補間は均一な曲線である可能性があるが、そうである必要はない。例えば、いくつかの実施形態で、気道がより大きい、及び／または気道壁はより厚い、より近位の分岐点付近では、剛性はより高くなるように制約され利用可能な場合、２つの分岐点を結び付ける気道領域を通る介入器具からの位置測定値は、さらにまたは代わりに制約として使用できる。湾曲部は、肺のベースライン状態に存在する湾曲部によって任意に制約される。

標的８０１は、対応する

距離を有する特定の分岐に割り当てられることによって変形される小さい（例えば、直径約１ｃｍ）の標的を示す。小さい３Ｄ標的が分岐点にまたはスケルトン上方にも位置決めされる場合など、単一の小さいオブジェクトに複数の気道を割り当てることができるように見える場合がある。この場合、小さいオブジェクトをスケルトンと結合するためにどの分岐を選ぶのかはあまり重要ではない。変形モデルは滑らかであり、

が使用されているため、変形補間式は、気道の異なる（近い）割り当てに同様の結果を生じさせるであろう。しかしながら、オブジェクトが気道マップから遠くに位置するとき、例えば標的が、セグメント化された気道に比較して非常に抹消であるか、または完全なＣＴスライスが変形される場合には、以下に説明するように、より複雑な変形外挿技術を実行する必要がある。別の状況では、標的オブジェクトは、おもに肺以外の構造（例えば、胸郭）に関連付けられ得、肺は連絡路として使用される。特にこの場合、標的がそれに近い気道とともに移動することをあてにすることはできないため、肺の位置の絶対的な優れた表示精度を有することが重要である。

他の状況では、標的に変形位置は、追跡される変形可能な気道に基づいて予測され得る。これは、（ＣＴスキャンまたはＭＲＩスキャンによって表されるように）変形が組織を通じてどのように伝播するのかを予測する訓練済みのモデル（例えば、最終要素モデル）を使用することによって任意選択で実装される。この場合、標的は、気道にも、任意の他の特定の解剖学的構造にも関連付けられない。代わりに、その位置は、標的に周辺組織に向けて、追跡される気道の変形を伝播することによって変形される。

変形モデルは、変形変換

のセットを使用して分岐点がどのように変形するのかを記述する。これらの変換は、気道の湾曲した中心線上の各点がモデルに従ってどのように変形するのかを記述するために分岐に沿って補間することができる。正確に中心線上にないが、十分に近い（例えば、気道の半径２つ以内）点は、その最も近い中心線の点と同じように変形すると仮定できる。ただし、気道の変形に基づいて、いずれの気道からも遠く位置する点がどのように変形するのかを教えることは比較的に容易ではない。例えば、本開示のいくつかの実施形態で実装される特徴は、肺内部の現在の介入器具の場所を含むＣＴスライスを、専用ビューまたは組み合わせビューで（気道マップとともに）表示することを含む。変形追跡アルゴリズムのいくつかの実施形態では、ＮＢシステムは、解剖学的特徴を空間内のその実際の位置で表示し、これは、任意選択で適切に変形されたＣＴスライスの表示を含む。ＣＴスライスを変形しないと、スライス内のボクセルデータは、いずれの変形も適用されていない処置前の解剖学的構造の状態を反映する（また、表示される他のオブジェクトと整列しない）。

変形モデルを気道の外側の領域に拡張する問題は、外挿の問題である。変形モデルは、３Ｄ空間内の特定の位置で既知であり、他の点まで外部に拡張される必要はない。外挿は、例えば、より一般的に薄板スプライン（ＴＰＳ）もしくは別の放射基底関数（ＲＢＦ）または一般的な基底法を使用することによって達成できる。さらにまたは代わりに、例のトレーニングセットでのトレーニングに基づいて、肺組織内で最も可能性の高い変形伝播を予測する機械学習方法が適用され得る、及び／または有限要素シミュレーションモデルが、ＣＴスキャンまたはＭＲＩスキャンで表される組織を通る変形の伝播を予測するために使用される。

いくつかの実施形態では、例えば、基底関数（例えば、ＴＰＳ）のセットは、変形モデルが（変形モデルに従って）分岐点または全長の中心線点もそれらの既知の目的地に送るように、変形モデルの既知の制御点で訓練される。外挿モデルは、次にどこででもサンプリングできる基底関数を使用する。基底関数は、既知の制御点を適切な精度に近似させるので、基底関数は（気道に属していない）外部点を妥当な目的場所に送ると仮定される。これらのモデルは、肺に適している滑らかさの基準と組み合わせることができる。

外挿法の別の例は、Ｋ最近傍（ＫＮＮ）方式を使用する。気道内部に位置していない点

は変形される。次に、

は、変形されていないスケルトンからのその

最近傍点について検索され、これらの点は距離を使用して重みが

の

で表される。例えば

で

であり、

に近い近傍に強い重みを与える。

を増加することによって、最も近い点は他に比べてより支配的になる。

最近傍点及びその重みを使用して、以下の通りに

の変形オフセットを計算できる。

あるいは、複数の変換

の加重平均を計算できる

関数の変形を使用することによって

で完全変形変換を計算できる。

滑らかに拡張する制御点にのみ基づく単純な外挿方式を使用する代わりに、より複雑な変形外挿を実装できる。例えば、肋骨は、ＮＢ処置中に大きく変形しない限り、静的であると仮定できる。この情報は、追加の制御点に関して外挿関数に追加できるセグメント化された胸郭の表面で点を生成し、変形においてそれらの点を強制的に静止状態に保つことができる。これは、外挿関数に境界条件を提供し、外挿関数は、胸郭に近づくにつれて強制的に減衰する。あるいは、肺は、その気道を使用するだけではなく、血管、亀裂、胸膜、及び他の解剖学的特徴を使用してモデル化される。これらの特徴は、次に（上記の変形モデルと同様に）スケルトンモデルに送られ、いくつかの既知の制御点に基づいて肺全体の変形を予測するために使用できる。いくつかの実施形態では、例えば、有限要素シミュレーションを適用し、したがって制御点間の肺の変形のより適切な予測を提供することによって肺の物理特性がシミュレートされる。いくつかの実施形態では、訓練された機械学習モデルは、既知の制御点から他の肺組織への変形の伝播（または外挿）を予測するために使用され、たとえば従来の有限要素シミュレーションを管沙汰された肺組織の挙動から導出された理解に置き換える。

ここで、本開示のいくつかの実施形態による、単一分岐点及びすべてのその子孫の変形前（図９Ａ）及び変形後（図９Ｂ）の１６×１６のスライス補間グリッドを概略で示す図９Ａから図９Ｂを参照する。スケルトン９０１の分岐点９００は、図９Ｂで変形されており、肺領域９０２の移動にもつながる。

完全なＣＴスライスを変形するとき、ＣＴスライス内の各ボクセルは、任意選択で上述の外挿方法の１つを使用する。ただし、ＣＴスライスは通常多数のボクセル（例えば、５１２×５１２）を含み、外挿式の計算はかなり複雑になるので、これは計算コストを高くする可能性がある。ＣＴスライスの変形は、例えば、ＣＴスライス全体をカバーする１６×１６のブロックから成る低解像度の均一なグリッドを構築することによって簡略化され得る。変形は各端点で計算され、グリッド点間の変形は、次に例えば、２Ｄバイリニア補間、バイキュービック補間、スプライン補間を使用するなどの近傍の端点を使用した単純な補間、または任意の他の適切な方法により計算される。直接的なピクセル単位の変形計算よりむしろ内挿法を使用することは、計算リソースの点で非常に好ましく、変形モデルの合理的な滑らかさにより、直接的な変形手法とほぼ同程度に正確である。より細かい結果が必要とされるときには、より高密度のグリッドを使用できる（例えば、３２×３２ブロック）。

ここで本発明のいくつかの実施形態による、解剖学的構造を通る曲がりくねった経路９１４に沿った位置に対応する解剖学的構造の元の３Ｄ画像の領域を含むように湾曲するように画定されたジオメトリ断面に沿って延びるＣＴ断面９１０を概略で示す図９Ｃを参照する。いくつかの実施形態では、経路９１４は気道を通る経路である。いくつかの実施形態では、経路９１４は、介入器具の形状及び位置によって画定される。いくつかの実施形態では、経路９１４は、治療標的、血管、または関心のある他の構造などの解剖学的特徴をウェイポイントとして試使用するために画定される。経路９１４は、処置中の条件（例えば、介入器具の現在位置）に基づいて定義され得る、及び／または例えば介入器具の標的に到達するために計画された経路などの事前に定義されたセクションを含み得る。

ＣＴセクション９１０は、３Ｄ画像のボリュームを通って延びる表面が交差する位置に配置されるソースＣＴ画像のデータに対応し、表面自体が経路９１４に沿った位置を含む。

いくつかの実施形態では、経路９１４は、それが対応する介入器具の測定された形状に対応する３Ｄ形状に対応するようにレンダリングされ、ＣＴセクション９１０は、領域の相応関係を維持するためにその元の座標から歪められる。いくつかの実施形態では、介入器具経路９１４及びＣＴセクション９１０は、変形モデル９１２のレンダリングされたメッシュビューも含む複合３Ｄシーンにともに示される。

単一センサ介入器具では、変形されたＣＴスライス９１０は、上述の低解像度変形グリッドを使用して肺全体の変形を反映して表示され、介入器具の先端を中心とする。ＣＴスライス９１０は、大域的（ＣＴ境界に到達する）または局所的（例えば、図１０Ａ～図１０Ｂに説明されるように、肺の気道を通る特定の経路を囲む）である場合がある。完全に追跡される介入器具では、表示されたＣＴスライスは、介入器具の曲線のすべてまたは大部分（単に先端だけではない）を横切り、それを非平面的になるように幾何学的に湾曲する場合がある。このような湾曲したＣＴスライスは、介入器具全長に沿った変形した解剖学的特徴を表示し、これによってＮＢ処置の貴重な情報（例えば、血管、亀裂、隔膜、及び／または胸膜の場所）が提供される。湾曲したＣＴスライスはまた、特定の重要な解剖学的特徴を横切る場合がある。例えば、湾曲したＣＴスライスは、気道マップ内の次のナビゲーション分岐点を横切り得るため、分岐点の断面は介入器具の前のスライスに表示される。湾曲したＣＴスライスを使用する潜在的な利点は、変形した３ＤのＣＴボリュームを、介入器具の領域でのナビゲーションのために貴重な解剖学的特徴の大部分をエンコードする２Ｄボリュームに圧縮することである。

すべての重要な解剖学的特徴がつねに滑らかな２Ｄ湾曲面上にあるわけではないので、湾曲したＣＴスライスの特定の形状は、位置及び向きで、重要な特徴（例えば、介入器具の経路９１４及び／または標的９１６）のリストに近似する２Ｄ湾曲面を検索し、重みが各特徴の重要性を記述する最適化プロセスで解決することができる。最適化プロセスは過剰な歪みにペナルティを課すための重みを含む場合がある。例えば、最適化は、深い及び／浅い曲げ角度をペナルティを課す場合がある、及び／または極端な湾曲部が寄与する追加表面積の量に基づいて極端な湾曲部にペナルティを課す場合がある。最終的な結果は、変形した３Ｄボリュームをコンパクトな２ＤのＣＴビューに圧縮する湾曲したＣＴスライスである。

ＣＴ画像は一例として図９Ｃに説明されているが、表示方法が、例えばＭＲＩ画像、超音波画像、及び／または陽電子放射断層撮影法（ＰＥＴ）などの別の３Ｄ画像タイプを使用して任意選択で実行されることを理解されたい。任意選択で、（任意選択で、異なる撮像モダリティタイプの）２つ以上の３Ｄ画像からのスライスが結合される。

ここで、本開示のいくつかの実施形態による変形前（図１０Ａ）及び変形後（図１０Ｂ）のレンダリングされたメッシュビューを含む複合３Ｄシーン内の通路に沿ったＣＴストリップ１００２、１００３を概略で示す図１０Ａ～Ｂを参照する。

図９Ａ～図９Ｂに関して説明された低解像度２Ｄ変形グリッドは、補間によるグリッド点間の任意のピクセルの変形の迅速な計算を可能にし、変形したＣＴスライスのリアルタイム表示を可能にする。ＣＴ（または他の３Ｄ画像）のボリューム全体をカバーする３Ｄ変形グリッドを作成するために、同じ技術を一般化できる。変形は、グリッドの制御点ごとに計算され、次にグリッド点間のボクセルに補間できる。３Ｄ変形グリッドによって、撮像されたボリューム内部のどこにおいても変形の高速計算が可能になる。これにより、ともにレイキャスティングレンダリング技術を使用する変形仮想気管支鏡検査法または変形仮想蛍光透視法などの変形した肺の３Ｄビューのリアルタイム表示が可能になり得る。標準的な仮想気管支鏡検査のビューでは、仮想カメラは気道内部に位置決めされる。画面上の各ピクセルは、撮像されたボクセルを通過してそのピクセルの最終的な陰影を蓄積する光の単一の仮想光線を表す。最終的な結果は、気道内部の実際の気管支鏡の画像に類似して見える現実的な画像である。標準的な仮想気管支鏡アルゴリズムはそのレイトレーシングステップで静的なＣＴボリュームをサンプリングするが、変形したＣＴボリュームのレイトレース画像を作成するために、３Ｄ変形グリッドが動的仮想気管支鏡検査アルゴリズムで使用され得る。静的な３Ｄ画像のボクセルをサンプリングする代わりに、各レイトレーシングステップで、各光線の場所は、３Ｄ変形グリッドを使用して、初期の変形されていない３Ｄ画像内部の変形場所に変換され、これによって変形したＣＴがリアルタイムで効果的にサンプリングされる。

ＮＢ処置中、医師は、気管１０００から標的１００５までの経路をたどるためにツール（例えば、介入器具）を誘導する。経路は、気道マップ内部の３Ｄ中心線として表示できる。医師は、上述のように、介入器具または介入器具の先端に中心がある局所的なＣＴスライスを使用して介入器具の周りの未処理のＣＴデータを提示され得るか、またはシステムは、例えば、図１０Ａ～図１０Ｂに示されるように、経路に沿って３Ｄ内で完全ＣＴストリップ（任意選択で、経路の両側でほぼ等距離に伸びるストリップ）をレンダリングし得る。肺が（例えば、介入器具の一の測定値及び／または別のパラメータによって示されるように変形すると、ＣＴデータは、変形した他の解剖学的特徴とともにその変形場所に表示する。ＣＴスライスを変形するために、（その元のＣＴデータを保持しながら）空間内でのその位置を変形場所に変形できるか、またはそのＣＴデータを変形させつつ、空間内のその位置を固定したままとすることができる。３ＤのＣＴストリップは、自然に気道に結び付けられているので、それは図１０Ａ～図１０Ｂに示されるように気道とともに空間内で変形する。したがって、３ＤのＣＴストリップはその元のＣＴデータを保持するが、３Ｄ気道マップの変形と同様に、空間内でのその位置は気道とともに滑らかに変形する。

ここで、本開示のいくつかの実施形態による、介入器具１１０１がたどる３Ｄ経路に沿って抽出されるＣＴ画像データの平坦化されたストリップ１１００を示す図１１を参照する。

ＣＴストリップ１１００が静的な２Ｄ背景画像として表示され、介入器具１１０１及び／または標的１１０２が経路座標内の静的画像の上部に投影された２Ｄ経路ビューを生成するために、図１０Ａ～図１０Ｂに示される３ＤのＣＴストリップが任意選択で使用される。３ＤのＣＴストリップと同様に、このビューは、特定の標的まで経路に沿ってナビゲートするための最も重要な解剖学的情報をエンコードする可能性があるが、それは３Ｄカメラ場所とは無関係に、かつ図１０Ａ～図１０Ｂに見られる３ＤのＣＴストリップビューで起こる場合がある３Ｄオクルージョンなしに、最初から最後まで平坦な表面として経路全体を示す２Ｄビューに投影される。２Ｄ経路ビューの潜在的な利点は、２Ｄ経路ビューを変形に対して不変にするその局在性である。変形が適用されると、ＣＴストリップは（上述のように）変形した気道をたどるため、変化せず、介入器具は通常経路内部の（例えば、経路座標内の）位置を保持する。

３Ｄ気道メッシュ及びＣＴスライスを含む、表示されているすべての２Ｄ／３Ｄオブジェクトに変形モデルを適用すると、複合変形シーンをリアルタイムで生成することが可能になる。例えば、患者の呼吸中、呼吸３Ｄ気道マップは、患者の呼吸と完全に同期して、呼吸ＣＴスライスが重なって表示され得る。別の例として、操縦中、介入器具は内部をナビゲートする気道に力を加える場合がある。システムは、次に、３Ｄ気道が（変形モデルに基づいた）介入器具の操縦に反応してどのようにリアルタイムに変形するのかを表示できるだけではなく、ナビゲートされる気道に近接して局所的なＣＴスライスの対応する変形バージョンを表示することもできる。医師は、次に、誘導、生検、及び治療にとって貴重である、ナビゲートされる気道と、ＣＴボリュームからの変形した未処理の解剖学的な特徴との両方を含むリアルタイム変形解剖学的データを表示される。

ここで、本開示のいくつかの実施形態による、肺の気道内での介入器具の移動を追跡するためのシステムを概略で示す図１２を参照する。

図１２のシステムのハードウェアコンポーネントは、メモリ１２０１と、プロセッサ１２０２と、任意選択でディスプレイ１２０３とを含む。任意選択で、１つまたは複数の一センサ１２０５を装備した介入器具１２０４が、任意選択で位置感知コントローラ１２０６とともに、システムと提供される。位置センサ１２０５は、例えば介入器具１２０４の先端に、及び／または介入器具１２０４の本体に沿った位置に配置され得る。

任意選択で、介入器具１２０４及び位置感知コントローラ１２０６を含むサブシステムのすべてまたは部分が別個に提供される。

図１２のシステムの動作で使用及び／または生成される選択されたデータ構造は、メモリ１２０１内のブロックとして示される。

これらは、以下を含む。
・例えば、図１、図５、図７Ａ～図７Ｂ、及び図８Ａに関して、本明細書に説明される方法のいずれか１つまたは複数の動作を実行するようにプロセッサ１２０２に命令する命令１２１２。プロセッサ１２０２は、命令１２１２に従って他のデータ構造のいずれかを生成し得る、及び／またはいずれかにアクセスし得る。
・例えば、図１のブロック１１０及び／または図５のベースライン気道マップ５０３で生成されるモデルに対応する変形前モデル１２１０。
・例えば、図５のブロック５０４、及び／または図７Ａの変換状態ベクトル７１０によって適用される位置合わせに対応する初期位置合わせ１２１４。
・例えば、図５の位置データ５０５に対応する介入器具位置測定値１２１８。
・例えば、図７Ａの動的変換状態ベクトル７１２に対応する動的位置合わせ１２１６。

命令１２１２は、変形前モデル１２１０の修正された（例えば、初期に及び／または動的に位置合わせされた）バージョンを表す１つまたは複数のビュー１２２０を生成し、それらをディスプレイ１２０３に提供するようにプロセッサ１２０２に命令し得る。ブロック１２２０は、ディスプレイ１２０３にストリーミングされるデータとして提供されるビューを示す。これらのビューを表すデータ構造、及び／または中間データ構造を表すデータ構造はまた、プロセッサ１２０２によって生成され、メモリ１２０１（明示的に図示せず）に格納され得る。ビュー１２２０は、例えば図８Ａ～図１１に関して説明されるように生成され得る。

概要
数量または値に関して本明細書で使用される場合、用語「約」は、以下の「±１０％以内」を意味する。

「備える（ｃｏｍｐｒｉｓｅｓ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」という用語及びそれらの同根語は、「限定ではないが、～を含む（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」を意味する。

用語「～から成る（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」は、「含み、～に限定される（ｉｎｃｌｕｄｉｎｇ ａｎｄ ｌｉｍｉｔｅｄ ｔｏ）」を意味する。

「本質的に～からなる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」という用語は、組成物、方法または構造物が、追加の成分、ステップ及び／または部品を含むことができることを意味するが、追加の成分、ステップ及び／または部品が、特許請求された組成物、方法または構造物の基本的かつ新規な特性を実質的に変えない場合に限る。

本明細書で使用する場合、文脈上明らかに別段に示されている場合を除き、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、複数の指示対象を含む。例えば、用語「化合物（ａ ｃｏｍｐｏｕｎｄ）」または「少なくとも１つの化合物（ａｔ ｌｅａｓｔ ｏｎｅ ｃｏｍｐｏｕｎｄ）」は、それらの混合物を含む複数の化合物を含み得る。

言葉「例示的な（ｅｘａｍｐｌｅ）」及び「例示的な（ｅｘｅｍｐｌａｒｙ）」は、本明細書では「例、実例、または説明として役立つ」ことを意味するために使用される。「例示的な」または「例示的な」として説明される任意の実施形態は、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではなく、及び／または他の実施形態からの特徴の組み込みを排除するものではない。

本明細書では、言葉「任意選択で」は、「ある実施形態では提供され、他の実施形態では提供されない」ことを意味するために使用される。本開示の任意の特定の実施形態は、そのような特徴が矛盾する限りにおいてを除き、複数の「任意選択」の特徴を含むことができる。

本明細書で使用される用語「方法」は、化学、薬理学、生物学、生化学及び医学の技術の実践者によって知られている、または既知のマナー、手段、技術及び手順から容易に開発される方法を含むが、これらに限定されない、所定のタスクを達成するためのマナー、手段、技術及び手順を指す。

本明細書で使用される場合、「治療する」という用語は、状態の進行を無効にする、実質的に阻害する、遅らせる、または逆転させる、状態の臨床的または審美的症状を実質的に改善する、または状態の臨床的または審美的症状の出現を実質的に防止することを含む。

本出願を通して、実施形態は、範囲形式を参照して提示され得る。範囲形式での説明は、単に便宜上及び簡潔にするためのものであり、本開示の説明の範囲に対する柔軟性のない制限として解釈されるべきではないことを理解されたい。したがって、範囲の説明は、その範囲内の個々の数値だけでなく、可能性のあるすべてのサブ範囲を具体的に開示したものと見なされるべきである。例えば、「１～６」といった範囲の記述は、「１～３」、「１～４」、「１～５」、「２～４」、「２～６」、「３～６」などといったサブ範囲と、その範囲内の個々の数値、例えば、１、２、３、４、５、及び６とが具体的に開示されていると見なされるべきである。これは、範囲の広さに関係なく適用される。

本明細書で数値の範囲が示されている場合（例えば、「１０～１５」、「１０から１５」、またはこれらの別のこのような範囲表示によって連結された数値の組）には、文脈から明らかに別の指示がない限り、範囲の限界を含む、示された範囲の限界内の任意の数値（分数または整数）を含むことを意味する。第１の表示番号と第２の表示番号との「間の範囲（ｒａｎｇｅ／ｒａｎｇｉｎｇ／ｒａｎｇｅｓ ｂｅｔｗｅｅｎ）」という句、及び第１の表示番号「から」第２の表示番号「まで（ｔｏ）」、「まで（ｕｐ ｔｏ）」、「まで（ｕｎｔｉｌ）」または「まで（ｔｈｒｏｕｇｈ）」の「範囲（ｒａｎｇｅ／ｒａｎｇｉｎｇ／ｒａｎｇｅｓ ｆｒｏｍ）」という句は、本明細書では互換的に使用され、第１の表示番号及び第２の表示番号と、それらの間の分数及び整数の数字の全てを含むことを意味する。

本開示の説明は特定の実施形態に関連して提供されているが、多くの代替案、修正及び変形が当業者には明らかであろうことは明白である。したがって、添付の特許請求の範囲の趣旨及び広い範囲に含まれるそのようなすべての代替案、修正及び変形を包含することが意図されている。

明確にするために別個の実施形態の文脈において本開示に説明されるある特徴を、単一の実施形態において組み合わせで設けることもできることが理解される。逆に、簡潔にするために単一の実施形態の文脈において説明される様々な特徴を、別々に、または任意の好適なサブコンビネーションで、または本開示の任意の他の説明された実施形態において好適なものとして設けることもできる。様々な実施形態の文脈で説明される特定の特徴は、実施形態がそれらの要素なしでは機能しない場合を除いて、それらの実施形態の本質的な特徴と見なすべきではない。

本明細書に記述される全ての刊行物、特許、及び特許出願は、各個別の刊行物、特許、または特許出願が、参照により本明細書に組み込まれることが示されているときに、これが明確かつ個別に注記されているかのように、参照によりその全体が本明細書に組み込まれることが出願人（出願人ら）の意図である。さらに、本願におけるいずれかの参考文献の引用または特定は、そのような参考文献が本発明の先行技術として利用可能であるということの承認として解釈するべきではない。セクションの見出しが使用されている場合、それらは必ずしも限定的であると解釈されるべきではない。さらに、本願のいずれかの優先権書類（複数可）は、本明細書により、その全体が参照により本明細書に組み込まれる。

Claims (50)

1. 肺の気道に対する介入器具の位置決めを追跡する方法であって、
   前記肺の気道のスケルトン化モデルにアクセスすることであって、前記モデルが分岐点で接続された複数の気道セグメントを備える、前記アクセスすることと、
   前記スケルトン化モデルの形状に対する変更を制限する解剖学的に定義された制約にアクセスすることと、
   前記介入器具に沿った、前記肺内の複数の位置を示す測定値にアクセスすることと、
   前記分岐点の１つまたは複数で気道セグメントの相対角度及び位置を前記モデル内で修正することであって、前記修正が、
   前記複数の位置によって示される前記肺の形状と、前記複数の位置に対応する前記気道セグメントの配置との間のモデル化された誤差を低減することと、
   前記解剖学的に基づいた制約を使用して、前記気道の形状が前記モデル化された誤差を低減するためにどのように変化する可能性があるのかを制限することと
   によって計算される、前記修正することと
   を含む、前記方法。
2. 前記修正することが、共通分岐点で接合された気道セグメントの相対角度を修正することを含み、前記共通分岐点が、前記複数の位置の間に延びる前記介入器具によって横断されない、請求項１に記載の方法。
3. 前記解剖学的に基づいた制約が、共通分岐点での気道の、その相対角度の変化の増加に対する抵抗を含む、請求項１または２に記載の方法。
4. 前記解剖学的に基づいた制約が、前記気道セグメントの少なくとも一部の遠位側から加えられる固定力を含む、請求項１～３のいずれか１項に記載の方法。
5. 前記解剖学的に基づいた制約が、前記気道セグメントの少なくとも一部の長さに沿って曲がることに対する制限を含む、請求項１～４のいずれか１項に記載の方法。
6. 前記解剖学的に基づいた制約が、肺実質を通って互いに結び付けられた気道セグメントの別々の移動に対する制限を含む、請求項１～４のいずれかに記載の方法。
7. 前記解剖学的に基づいた制約が、複数の大域的な形状を含むデータセットによって表される大域的な形状の範囲と一致しない大域的な形状を形成する前記気道セグメントに対する制限を含む、請求項１～５のいずれか１項に記載の方法。
8. 前記解剖学的に基づいた制約が、複数の分岐形状を含むデータセットによって表される分岐形状の範囲と一致しない分岐形状を形成する前記複数の位置に沿った肺部分を表す気道セグメントに対する制限を含む、請求項１～７のいずれか１つに記載の方法。
9. 前記肺のＣＴ画像のセグメンテーションに基づいて、前記スケルトン化モデルを構築することを含む、請求項１に記載の方法。
10. 前記構築することが、前記ＣＴ画像の前記セグメンテーションをスケルトン化することと、前記スケルトン化において分岐点を識別することと、前記分岐点の相対角度を表すパラメータ値を前記分岐点に割り当てることとを含む、請求項９に記載の方法。
11. 前記アクセスされた測定値が、異なるときに前記介入器具の異なる位置で前記介入器具を使用して複数の異なる気道トラックに沿って行われた測定値であり、
    前記気道セグメントの相対角度が、前記肺の撮像されたジオメトリに適合するために前記分岐点に割り当てられ、
    前記修正することが、前記肺の前記ジオメトリが撮像された時点と、前記複数の異なる気道トラックに沿った測定時との間の肺位置の変化に従って前記気道セグメントの前記相対角度を修正する、
    請求項１～１０のいずれか１項に記載の方法。
12. 前記アクセスされた測定値が、その測定時間によって呼吸の位相に関連付けられ、前記修正することが、前記アクセスされた測定値の呼吸相の関連付けに基づいて、複数の異なる呼吸相中の前記肺の前記形状を表す前記肺の前記気道の位相変化するスケルトン化モデルを作成するために前記相対角度を修正する、請求項１１に記載の方法。
13. 前記測定値にアクセスすることと、呼吸の位相に関連付けられた新しい測定値のために前記修正することとを繰り返すことを含み、前記修正することが、前記新しい測定値の前記位置とその関連付けられた呼吸の位相の両方に従って、前記気道の前記位相変化するスケルトン化モデルを修正する、請求項１２に記載の方法。
14. 前記複数の異なる呼吸相中の前記肺の前記形状が、
    前記位相に関連付けられた測定値から前記修正することによって計算された第１の呼吸相での肺の状態と、
    前記位相に関連付けられた測定値から前記修正することによって計算された第２の呼吸相での肺の状態と、
    前記第１の位相と前記第２の位相との間の前記肺形状の補間によって計算される少なくとも第３の呼吸相での肺と、によって表される、
    請求項１２または１３に記載の方法。
15. 前記複数の異なる位相中の前記肺の前記形状が、第４の呼吸相での前記肺によってさらに表される、請求項１４に記載の方法。
16. 前記第３及び前記第４の呼吸相が、ともに、前記第１の呼吸相と前記第２の呼吸相との間で等しく間隔を空けられ、互いに異なる、請求項１５に記載の方法。
17. 前記モデルの前記気道セグメントの前記配置を表す画像を表示することを含む、請求項１～１６のいずれか１項に記載の方法。
18. 前記肺モデルに関連付けられた前記画像中のオブジェクトを表示することを含み、オブジェクトの位置が、前記気道セグメントの前記配置の変化に従って更新される、請求項１７に記載の方法。
19. 前記オブジェクトの前記位置を前記気道セグメントの少なくとも１つの位置に関連付けることと、前記気道セグメントの前記関連付けられた少なくとも１つの移動に従って前記オブジェクトを移動させることとを含む、請求項１８に記載の方法。
20. 前記画像がまた、前記肺の前記気道の前記スケルトン化モデルとの既知の相応関係における前記肺の３Ｄ画像のスライスを表し、前記スライスが、前記介入器具が沿って延びる気道に対応する、前記表示された肺の一部分に沿って延びるように選択される、請求項１７～１９のいずれか１項に記載の方法。
21. 前記肺の前記気道の前記スケルトン化モデルと、前記肺の前記３Ｄ画像の既知の相応関係が、前記気道の前記スケルトン化モデルを前記肺の前記３Ｄ画像のセグメンテーションから導出することによって確立される、請求項２０に記載の方法。
22. 前記表示された画像が前記肺の３Ｄ表現を含み、前記３Ｄ画像の前記スライスが前記介入器具の３Ｄ構成に従うために平面構成から湾曲される、請求項２０または２１に記載の方法。
23. 前記表示された画像が、平面表現に平坦化された前記介入器具を表し、前記３Ｄ画像の前記スライスがそれとともに平坦化される、請求項２０または２１に記載の方法。
24. 前記気道セグメントの前記相対角度が、第１の期間中に撮像された前記肺のジオメトリに適合するように前記分岐点に割り当てられ、第２の期間中に測定されたさらなる測定値に基づいて決定された前記肺の前記ジオメトリに対する変化によって修正され、
    前記アクセスされた測定値が、前記介入器具に沿って、第３の期間中に、及び前記介入器具が同じ位置に留まっている間に行われた測定であり、
    前記修正することが、前記第２の期間と前記第３の期間との間の肺の位置の変化に従って前記気道セグメントの前記相対速度を修正する、
    請求項１～１０のいずれか１項に記載の方法。
25. 繰り返し
    前記測定値の連続セットにアクセスすることと、
    それぞれの測定値の連続セットに基づいて前記気道セグメントの前記相対角度を修正することと、
    を含む、請求項１に記載の方法。
26. 前記修正することが、
    前記複数の位置によって示される前記肺の前記形状と、前記複数の位置に対応する前記気道セグメントの配置との間の誤差を低減する前記相対角度の新しい値を識別することと、
    以前の値からの変化の大きさを減少させるために、前記相対角度の前記以前の値に基づいて前記新しい値をフィルタリングすることと、
    前記新しい値を使用して、前記計算された修正を生じさせることと、
    を含む、請求項２５に記載の方法。
27. 前記フィルタリングすることが、事前フィルタリングで識別された前記新しい値と比較して、前記複数の位置によって示された前記肺の前記形状と、前記複数の位置に対応する前記気道セグメントの配置との間の誤差を増加させる、請求項２６に記載の方法。
28. 前記修正することが、前記スケルトン化モデルの複数の異なるコピーで前記相対角度を異なるように修正することと、
    前記測定値にアクセスすること、及び新しい測定値を使用して前記異なるコピーのそれぞれについて修正することを繰り返すことと、
    前記肺形状のより妥当な表現に基づいて、前記異なるコピーの１つを選択することと、
    前記測定値にアクセスすること、及び前記選択されたコピーだけを使用して修正することを繰り返し続けることと、
    を含めることと
    を含む、請求項１に記載の方法。
29. 前記修正することが、前記修正内の気道セグメントの前記相対角度を摂動させて、摂動された修正を計算することと、前記摂動後の修正によって前記摂動前の修正よりも前記誤差が減少することを特定することと、前記摂動された修正を使用して、前記修正することを実行することとを含む、請求項１に記載の方法。
30. 肺の変形可能モデルを格納するコンピュータメモリ記憶媒体であって、前記モデルが、
    前記肺の気道の分岐構造のスケルトン化された表現と、
    前記分岐構造の複数の分岐点のそれぞれについて、前記分岐構造の前記分岐の向きの表現と、
    に対応するデータ要素と、
    プロセッサに、前記分岐構造の前記分岐の相対向きの前記表現を修正することによって、提供された幾何学的制約を満たすために前記モデルを修正するように命令するように構成されたコンピュータ命令と
    を備える、前記コンピュータメモリ記憶媒体。
31. 前記コンピュータ命令が、前記プロセッサに、前記分岐構造のセグメントに沿って距離を修正することなく前記分岐構造の前記分岐の前記向きの前記表現を修正するように命令する、請求項３０に記載のコンピュータメモリ記憶媒体。
32. 前記コンピュータ命令が、前記プロセッサに、親分岐点での分岐の相対向きを修正する変更を、前記親分岐点の子分岐点の分岐の空間的オフセット及び向きを修正する変更に伝播するように命令する、請求項３１に記載のコンピュータメモリ記憶媒体。
33. 肺の気道内で介入器具の移動を追跡するためのシステムであって、プロセッサと、前記プロセッサに、
    前記介入器具の現在の形状及び位置決めの３Ｄ表現にアクセスすることと、
    気道セグメントの分岐点を含む、気道セグメントを表す気道のモデルにアクセスすることと、
    前記気道セグメントを、前記介入器具の前記現在の形状及び位置決めに一致させることと
    を命令する命令を保持するメモリと
    を備え、
    前記プロセッサが、
    前記介入器具の現在の形状及び位置決めに対する前記気道セグメントの相応関係の改善に基づいて、前記分岐点の分岐の回転修正を決定することと、
    前記モデルに前記修正を適用することと、
    を命令される、前記システム。
34. 前記回転修正が、前記介入器具が沿って延びる前記気道のセクションに対応するモデル化された気道セグメントに適用される、請求項３３に記載のシステム。
35. 前記プロセッサが、体の動きの測定値にアクセスするように命令され、前記プロセッサが、前記体の動きの測定値に対応する肺形状の変化に一致するように前記気道の前記モデルを修正するために、前記気道セグメントの向きを修正するように命令される、請求項３３または３４に記載のシステム。
36. 前記修正が、前記分岐点に関連付けられた位置データを制御点として使用して前記モデルに適用される、請求項３３～３５のいずれか１項に記載のシステム。
37. 異なる種類の回転修正が、前記体の動きの測定値に対応する肺形状の変化に対する前記気道モデルの一致を改善するために、及び／または前記介入器具の現在の形状及び位置決めに対する前記気道セグメントの相応関係を改善するためにその可用性において別々に重み付けされる、請求項３５または３６に記載されるシステム。
38. 介入器具の位置データを撮像された肺形状に位置合わせする方法であって、
    肺の前記撮像された肺形状に基づいて構築されたベースライン肺気道モデルを受信することと、
    後に、１つまたは複数の肺内プローブを使用して、前記気道の同じ分岐点の少なくとも２つの異なる分岐を含む、前記肺の気道の複数の分岐に沿った位置を測定することと、
    前記測定された位置と位置合わせし、変形ベースライン肺気道モデルを生成するように前記ベースライン肺気道モデルを修正することであって、前記変形ベースライン肺気道モデルが複数の呼吸相内の前記肺気道を表す、前記修正することと、
    前記肺の現在の形状を示す測定値に基づいて、前記変形ベースライン肺気道モデルに適用可能な変換を決定して、前記肺の現在の形状を示すように前記変形肺気道モデルを調整することと、
    前記変換に従って変換された、前記変形ベースライン気道モデルを示す画像を表示することと、
    を含む、前記方法。
39. 前記肺の前記気道の前記複数の分岐に沿った位置の前記測定値が、それぞれ呼吸相に関連付けられ、前記複数の呼吸相の異なる位相内の前記肺気道の前記表現が、前記測定値の異なる呼吸相との前記関連付けを使用して生成される、請求項３８に記載の方法。
40. 変換を前記決定することが、
    前記肺の前記示されている現在の形状に対応する呼吸相を使用して、前記変形ベースライン肺気道モデルの呼吸相に依存する形状を決定することと、
    前記変換を計算して、前記決定された呼吸相依存形状を前記肺の前記示されている現在の形状に変換することと
    を含む、請求項３８または３９に記載の方法。
41. 前記変形ベースライン肺気道モデルにおいて、前記複数の呼吸相中の前記肺の前記形状が、
    前記ベースライン肺気道モデルを前記修正することによって生成される第１の呼吸相での前記肺の状態と、
    前記ベースライン肺気道モデルを前記修正することによって生成される第２の呼吸相での前記肺の状態と
    によって表される、請求項３８～４０のいずれか１項に記載の方法。
42. 前記決定することが、前記変形ベースライン気道モデルから、前記第１の位相と前記第２の位相との間の前記肺形状の補間によって計算される、第３の呼吸相での前記肺のベースライン形状を生成することを含む、請求項４１に記載の方法。
43. 前記複数の呼吸相中の前記肺の前記形状が、前記ベースライン肺気道モデルを前記修正することによって生成される、第４の呼吸相での前記肺の状態をさらに含む、請求項４１に記載の方法。
44. 解剖学的構造を通って曲がりくねった経路に沿って特徴を表示する方法であって、
    前記解剖学的構造の３Ｄ画像にアクセスすることと、
    前記解剖学的構造を通る経路を画定することと、
    前記経路に沿った位置の前記３Ｄ画像内の場所との空間的対応と、
    前記３Ｄ画像内の前記場所を含む前記３Ｄ画像を通って延びる表面と、
    を計算することと、
    前記表面によって画定された前記解剖学的構造の前記３Ｄ画像の位置からのデータとともに、３Ｄ空間を通って延びる前記経路を示す３Ｄ表示画像を表示することと、
    を含み、
    前記経路が、前記解剖学的構造の形状の少なくとも１つの動的に変化するパラメータの測定値を使用して繰り返し画定され、
    前記計算すること及び前記表示することが、前記経路が繰り返し画定されるたびに繰り返される、
    前記方法。
45. 前記表面が、前記経路の両側の前記通路に沿って延びるストリップとして計算される、請求項４４に記載の方法。
46. 前記ストリップが、前記経路の両側でほぼ等距離延びる、請求項４５に記載の方法。
47. 前記経路と既知の空間的対応にある前記解剖学的構造の一部分の３Ｄモデルにアクセスすることと、前記３Ｄ表示画像内に前記解剖学的構造の３Ｄモデルの表示を含むことを含み、前記解剖学的構造の前記一部分の前記３Ｄモデルも動的に変化する、請求項４４～４６のいずれか１項に記載の方法。
48. 前記解剖学的構造が肺の気道を含む、請求項４４～４７のいずれか１項に記載の方法。
49. 少なくとも１つの動的に変化するパラメータの前記測定値が、前記経路に沿って位置決めされた介入器具の位置測定値を含む、請求項４４～４８のいずれか１項に記載の方法。
50. 前記少なくとも１つの動的に変化するパラメータの前記測定値が、その測定時間によって呼吸の位相に関連付けられる、請求項４４～４９のいずれか１項に記載の方法。