JP7421689B2 - 介入装置形状の決定 - Google Patents

Description

本開示は、血管領域内に配置された介入装置の３次元形状を決定することに関する。コンピュータ実装方法、処理装置、システム、及びコンピュータプログラム製品が、開示される。

多くの介入医療処置は、Ｘ線撮像下で実行される。Ｘ線撮像によって提供される２次元画像は、医師が解剖学的構造内のガイドワイヤ及びカテーテルなどの介入装置をナビゲートするのを支援する。骨などの解剖学的構造の高密度領域、及び介入装置は、Ｘ線撮像下で高度に可視である。しかしながら、血管系などの軟組織解剖学的領域は、Ｘ線撮像下ではしばしば見えにくく、ナビゲーションを妨げる。２次元Ｘ線画像に見られる介入装置の形状を３次元解剖学的構造に頭の中でマッピングすることも、困難であり得る。

一例として、前立腺動脈塞栓術、ＰＡＥでは、ガイドワイヤ及びカテーテルなどの介入装置は、小血管を遮断し、それによって前立腺への血液の供給を阻害するために微粒子が注入される治療部位まで、Ｘ線撮像下で血管系を通ってナビゲートされる。血管系は、Ｘ線画像では目に見えにくいことが多く、Ｘ線画像で見られる介入装置の形状を三次元の解剖学的構造に頭の中でマッピングすることは、困難であり得る。

血管系の可視性を改善するために、２次元の処置内デジタルサブトラクション血管造影（digital subtraction angiography）ＤＳＡ画像が、しばしば造影剤を使用して取り込まれる。しかしながら、一部の患者は、造影剤に対する副作用を有し、その使用を制限してもよい。Ｘ線画像における介入装置の形状を三次元解剖学的構造に頭の中でマッピングするという課題に対処するために、コンピュータ断層撮影血管造影法ＣＴＡ画像などの血管系の術前三次元画像が、そのような介入の前に取得されてもよい。ＣＴＡ画像は、介入処置をガイドするためのロードマップとしての役割を果たす。しかしながら、これらの手段にもかかわらず、医師は、しばしば、介入装置の位置を確認するために、異なる投影角度から血管系の複数の２次元Ｘ線画像を作成する必要がある。

異なる投影角度から血管系の複数の２次元Ｘ線画像を生成することも、欠点を有する。放射線量の増加とは別に、Ｘ線源及び検出器を支持するＣアームの特定の構成が患者又は患者テーブルの位置によって阻止されるため、所望の投影角度が、取得不可能でありうる。

その結果、血管領域内に配置された介入装置の形状がＸ線画像から決定される方法を改善する余地が残されている。

本開示の第１の態様によれば、血管領域内に配置された介入装置の３次元形状を予測するためのニューラルネットワークを提供するコンピュータ実装方法が、提供される。本方法は、
血管領域の３次元形状を表す体積画像データを受信するステップと、
血管領域内の介入装置の１つ以上の２次元投影を表すＸ線画像データを受信するステップと、
介入装置の１つ以上の２次元投影に対応する血管領域内の介入装置の３次元形状を表すグラウンドトゥルース介入装置形状データを受信するステップと、
受信されたＸ線画像データ及び受信された体積画像データをニューラルネットワークに入力し、ニューラルネットワークによって予測される介入装置の３次元形状と受信されたグラウンドトゥルース介入装置形状データとの差を表す第１の損失関数に基づいて、ニューラルネットワークのパラメータを調整し、ニューラルネットワークによって予測される介入装置の３次元形状が、受信された体積画像データによって表される血管領域の３次元形状内にフィットするように、前記調整を束縛することによって、受信されたＸ線画像データ及び受信された体積画像データから、血管領域によって制約される介入装置の３次元形状を予測するようにニューラルネットワークを訓練するステップと、
を含む。

本開示の第２の態様によれば、血管領域内に配置された介入装置の３次元形状を予測するコンピュータ実装方法が、開示される。本方法は、
血管領域の３次元形状を表す体積画像データを受信するステップと、
血管領域内の介入装置の２次元投影を表すＸ線画像データを受信するステップと、
受信されたＸ線画像データ及び受信された体積画像データから、血管領域によって制限される介入装置の３次元形状を予測するように訓練されたニューラルネットワークに、受信されたＸ線画像データ及び受信された体積画像データを入力し、入力に応答して、ニューラルネットワークを使用して、受信されたＸ線画像データ及び受信された体積画像データから、血管領域によって制限される介入装置の３次元形状を予測するステップと、
を含む。

本開示の更なる態様、特徴、及び利点は、添付の図面を参照してなされる実施例の以下の説明から明らかになるであろう。

ニューラルネットワークの一例を示す概略図である。 ニューロンの一例を示す概略図である。 介入処置中に阻止される所望のＸ線画像ビューの一例を示す概略図である。 本開示のいくつかの態様による、介入装置の３次元形状を予測するためのニューラルネットワークを提供する方法の第１の例を示すフローチャートである。 本開示のいくつかの態様による、介入装置の３次元形状を予測するためのニューラルネットワークを提供する方法の第１の例を示す概略図である。 介入装置の３次元形状を予測するためのニューラルネットワークを提供する方法の第１の例を示すフローチャートであり、追加的に、任意選択の動作Ｓ１７０及びＳ１８０を含む。 本開示のいくつかの態様による、介入装置の３次元形状を予測する方法の第２の例を示す概略図である。 本開示のいくつかの態様による、介入装置の３次元形状を予測する方法の一例を示すフローチャートである。 本開示のいくつかの態様による、介入装置の３次元形状を予測する方法の一例を示す概略図である。 本開示のいくつかの態様による、介入装置の３次元形状を予測するためのシステム３００を示す概略図である。

本開示の例は、以下の説明及び図面を参照して提供される。この説明では、説明の目的のために、特定の例の多くの具体的な詳細が、説明される。本明細書において、「例」、「実施態様」、又は同様の言語への言及は、例に関連して説明される特徴、構造、又は特性が、少なくともその１つの例に含まれることを意味する。また、１つの例に関連して説明された特徴は、別の例においても使用され得、簡潔さのために、すべての特徴が、各例において必ずしも複製されないことを理解されたい。例えば、コンピュータ実装方法に関連して説明される特徴は、対応する方法で、処理装置において、システムにおいて、及びコンピュータプログラム製品において実装され得る。

以下の説明では、血管領域内に配置された介入装置の３次元形状を予測することを含むコンピュータ実装方法が、参照される。ガイドワイヤの形態の介入装置が血管系内に配置されるＸ線撮像手順が、参照される。しかしながら、本明細書に開示されるコンピュータ実装方法の例は、限定的ではないが、カテーテル、血管内超音波撮像装置、光コヒーレンストモグラフィ装置、スペクトルセンシングなどの感知能力を有するカテーテル、イントロデューサシース、レーザアテレクトミー装置、機械的アテレクトミー装置、血圧装置及び／又は流量センサ装置、形状感知装置、ＴＥＥプローブ、針、生検針、アブレーション装置、バルーン、ステント、又はエンドグラフトなど、ガイドワイヤ以外の血管系内で使用され得る他のタイプの介入装置とともに使用され得ることを理解されたい。

本明細書で開示されるコンピュータ実装方法は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに方法を実行させる、記憶されたコンピュータ可読命令を含む非一時的コンピュータ可読記憶媒体として提供され得ることに留意されたい。言い換えれば、コンピュータ実装方法は、コンピュータプログラム製品において実装され得る。コンピュータプログラム製品は、専用のハードウェア又は適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアによって提供されることができる。プロセッサによって提供される場合、方法の特徴の機能は、単一の専用プロセッサ、単一の共用プロセッサ、又はいくつかが共用されることができる複数の個々のプロセッサによって提供されることができる。「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものとして解釈されるべきではなく、デジタル信号プロセッサ「ＤＳＰ」ハードウェア、ソフトウェアを記憶するための読取専用メモリ「ＲＯＭ」、ランダムアクセスメモリ「ＲＡＭ」、不揮発性記憶装置などを暗黙的に含むことができるが、これらに限定されない。更に、本開示の例は、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態をとることができ、コンピュータプログラム製品は、コンピュータ又は任意の命令実行システムによって又はそれらと関連して使用するためのプログラムコードを提供する。本説明の目的のために、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体は、命令実行システム、機器、又は装置によって、又はそれに関連して使用するためのプログラムを有する、記憶する、通信する、伝播する、又は移送することができる任意の装置であることができる。媒体は、電子、磁気、光学、電磁、赤外、又は半導体システム又は装置又は伝搬媒体であることができる。コンピュータ可読媒体の例は、半導体又は固体メモリ、磁気テープ、リムーバブルコンピュータディスク、ランダムアクセスメモリ「ＲＡＭ」、読取専用メモリ「ＲＯＭ」、剛体磁気ディスク、及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク読取専用メモリ「ＣＤ-ＲＯＭ」、光ディスク読取／書込「ＣＤ-Ｒ／Ｗ」、ブルーレイ^TM、及びＤＶＤを含む。

本明細書では、様々なニューラルネットワーク、及びそれらのパラメータを自動的に調整することによるそれらの訓練も参照される。図１は、ニューラルネットワークの一例を示す概略図である。図１の例示的なニューラルネットワークは、入力層、３つの隠れ層ｈ₁乃至ｈ₃、及び出力層に配置されたニューロンを含むディープフィードフォワードニューラルネットワークである。図１の例示的なニューラルネットワークは、その入力層内のニューロンの入力Ｉｎｐｕｔ₁乃至Ｉｎｐｕｔ_kにおいて数値又はバイナリ入力値の形で入力データを受け取り、その隠れ層ｈ_k乃至ｈ₃内のニューロンのを用いて入力値を処理し、その出力層内のニューロンの出力における出力データＯｕｔｐｕｔ_1..nを生成する。入力データは、例えば画像データ、又は位置データなどを表し得る。入力層内の各ニューロンは、例えば画像のピクセルなど、入力データの一部分を表す。

図２は、ニューロンの一例を示す概略図である。図２に示される例示的なニューロンは、図１の隠れ層ｈ₁乃至ｈ₃内のニューロン、並びに図１の出力層内のニューロンを提供するために使用され得る。図２の例示的なニューロンは、シグマ記号でラベル付けされた加算部分と、シグモイド活性化関数を表すＦ（Ｓ）でラベル付けされた活性化関数とを含む。動作中、データ入力Ｉ₀乃至Ｉ_j-1は、対応する重みｗ₀乃至ｗ_j-1で乗算され、バイアス項Ｂと共に合計される。合計された結果は、ニューロンの出力を決定するために活性化関数に入力される。バイアス項は、活性化関数を左又は右にシフトし、ニューロンの活性化に閾値を暗黙的に設定し、それによってニューロンの出力を制御する。重みは、ネットワーク内のニューロン間の接続の強度を決定する。重み、バイアス、及びニューロン接続は、ニューラルネットワーク「訓練」プロセス中に「学習される」、すなわち、訓練されることができるニューラルネットワークの「訓練可能なパラメータ」の例である。シグモイド関数、Ｔａｎｈ関数、ステップ関数、正規化線形ユニット「ＲｅＬＵ」、漏洩ＲｅＬＵ、Ｓｏｆｔｍａｘ、Ｓｗｉｓｈ関数などの様々な活性化関数が、使用され得る。

上述のように、ニューラルネットワークを訓練するプロセスは、上述の重み及びバイアスを自動的に調整することを含む。教師あり学習は、入力データ及び対応する期待出力データを含む訓練データセットをニューラルネットワークに提供することを含む。訓練データセットは、ニューラルネットワークが訓練後に分析に使用される可能性が高い入力データを表す。教師あり学習の間、入力データを提示されると、ニューラルネットワークが対応する期待出力データを正確に提供するように、重み及びバイアスが自動的に調整される。

ニューラルネットワークを訓練することは、典型的には、大きな訓練データセットをニューラルネットワークに入力することと、訓練されたニューラルネットワークが正確な出力を提供するまで、ニューラルネットワークパラメータを反復的に調整することとを伴う。訓練は、通常、グラフィック処理ユニット「ＧＰＵ」、又はニューラル処理ユニット「ＮＰＵ」又はテンソル処理ユニット「ＴＰＵ」などの専用ニューラルプロセッサを使用して実行される。したがって、訓練は、典型的には、クラウドベース又はメインフレームベースのニューラルプロセッサがニューラルネットワークを訓練するために使用される集中型アプローチを採用する。訓練データセットを用いたその訓練に続いて、訓練されたニューラルネットワークは、新しい入力データ、「推定」と称されるプロセスを分析するための装置に展開され得る。推定中の処理要件は、訓練中に必要とされるものよりも著しく低く、ニューラルネットワークがラップトップコンピュータ、タブレット、携帯電話などの様々なシステムに展開されることを可能にする。推定は、例えば、サーバ上、又はクラウド内の、中央処理ユニット「ＣＰＵ」、ＧＰＵ、ＮＰＵ、ＴＰＵで実行され得る。

上述のように、教師あり学習では、入力訓練データが提示されると、ニューラルネットワークが対応する期待出力データを正確に提供するように、重み及びバイアスが、自動的に調整される。損失関数又は誤差の値は、予測出力データと期待出力データとの間の差に基づいて計算される。損失関数の値は、負の対数尤度損失、平均二乗誤差、平均絶対誤差、フーバー損失、ダイス係数損失、又はクロスエントロピー損失などの関数を使用して計算され得る。訓練中、損失関数の値は、典型的には最小化され、訓練は、損失関数の値が停止基準を満たすときに終了される。場合によっては、訓練は、損失関数の値が複数の基準のうちの１つ又は複数を満たすときに、終了される。この最小化問題を解決するために、勾配降下法、準ニュートン法などの様々な方法が知られている。ストキャスティック勾配降下「ＳＧＤ」、バッチ勾配降下、ミニバッチ勾配降下、ガウス・ニュートン法、レーベンバーグ・マルカート法、モーメンタム法、Ａｄａｍ、Ｎａｄａｍ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、ＲＭＳＰｒｏｐ、及びＡｄａｍａｘ「オプティマイザ」を含むが、これらに限定されない、これらの方法及びそれらの変形例を実装するために、様々なアルゴリズムが開発されている。

これらのアルゴリズムは、連鎖法を使用して、モデルパラメータに対する損失関数の導関数を計算する。このプロセスは、導関数が最後の層又は出力層において開始して第１の層又は入力層に向かって移動して計算されるので、逆伝搬と称される。これらの導関数は、誤差関数を最小化するためにモデルパラメータをどのように調整されなければならないかをアルゴリズムに知らせる。すなわち、モデルパラメータに対する調整は、出力層から開始し、入力層が達されるまでネットワーク内で後方に動作するように行われる。第１の訓練反復において、初期重み及びバイアスは、しばしばランダム化される。次いで、ニューラルネットワークは、同様にランダムである出力データを予測する。次いで、逆伝搬が、重み及びバイアスを調整するために使用される。訓練プロセスは、各反復において重み及びバイアスを調整することによって反復的に実行される。訓練は、誤差又は予測出力データと期待出力データとの間の差が、訓練データ又はいくつかの検証データについて許容可能な範囲内にあるときに終了される。その後、ニューラルネットワークは、展開されてもよく、訓練されたニューラルネットワークは、そのパラメータの訓練された値を使用して、新しい入力データについて予測を行う。訓練プロセスが成功した場合、訓練されたニューラルネットワークは、新しい入力データから期待出力データを正確に予測する。

上述の訓練プロセスは、ディープフィードフォワードニューラルネットワークに関するが、これは、一例に過ぎず、他のニューラルネットワークも、同様に訓練され得ることを理解されたい。

上述のように、Ｘ線撮像下での軟組織の可視性が悪いことは、Ｘ線画像の二次元的性質と組み合わされて、介入装置のＸ線画像を三次元血管系に頭の中でマッピングし、したがって、体内で介入装置をナビゲートするタスクを混乱させる。その結果、放射線科医は、異なる投影角度から血管系の複数のＸ線画像を作成し得る。しかしながら、所望の投影角度から画像を得ることは、時々、患者の位置によって混乱される。一例として、図３は、介入処置中に阻止される所望のＸ線撮像ビューの一例を示す概略図である。図３において、患者の脚は、Ｘ線撮像光源及び検出器を支持するＣアームの移動が、所望の位置に移動し、それによって所望のビューを得るのを阻止する。この状況では、放射線科医は、その後、複数の準最適ビューを用いて患者を撮像しようと試み、それによって患者へのＸ線線量を増加させ得る。患者又は患者テーブルのいずれかが、特定の所望のＸ線画像ビューが取得されるのを阻止する多くの同様の状況も、存在する。

上記の欠点の１つ以上に対処するために、血管領域内に配置された介入装置の３次元形状を決定する方法が、提供される。この方法が、図４乃至図６を参照して説明される。図４は、本開示のいくつかの態様による、介入装置の３次元形状を予測するためのニューラルネットワークを提供する方法の第１の例を示すフローチャートである。図４を参照すると、本方法は、血管領域内に配置された介入装置の３次元形状を予測するためのニューラルネットワークを提供するステップを含み、
血管領域の３次元形状を表す体積画像データ１１０を受信するステップＳ１１０と、
血管領域内の介入装置の１つ又は複数の２次元投影を表すＸ線画像データ１２０を受信するステップＳ１２０と、
介入装置の１つ以上の２次元投影に対応する血管領域内の介入装置の３次元形状を表すグラウンドトゥルース介入装置形状データ１３０を受信するステップＳ１３０と、
受信されたＸ線画像データ１２０及び受信された体積画像データ１１０をニューラルネットワーク１４０に入力するステップＳ１５０、ニューラルネットワーク１５０によって予測される介入装置の３次元形状と、受信されたグラウンドトゥルース介入装置形状データ１３０との間の差異を表す第１の損失関数１６０に基づいて、ニューラルネットワーク１４０のパラメータを調整するステップＳ１６０、ニューラルネットワーク１５０によって予測される介入装置の３次元形状が、受信された体積画像データ１１０によって表される血管領域の３次元形状内にフィットするように、調整を拘束するステップによって、受信されたＸ線画像データ１２０及び受信された体積画像データ１１０から、血管領域１５０によって拘束される介入装置の３次元形状を予測するステップＳ１４０と、
を含む。

図５は、本開示のいくつかの態様による、介入装置の３次元形状を予測するためのニューラルネットワークを提供する方法の第１の例を示す概略図である。様々なニューラルネットワークは、畳み込みニューラルネットワーク、エンコーダ・デコーダネットワーク、敵対的生成ネットワーク、カプセルネットワーク、回帰ネットワーク、強化学習エージェント、ベイジアンネットワーク、リカレントネットワークを含むニューラルネットワーク１４０として機能してもよい。訓練動作Ｓ１４０中に、ニューラルネットワーク１４０は、血管領域の３次元形状を表す体積画像データ１１０と、Ｘ線画像データ１２０とを受信し、血管領域１５０によって拘束される介入装置の３次元形状を予測するように訓練される。訓練は、図１及び図２を参照して上述した方法と一致する形で行われてもよい。訓練データは、血管領域内の介入装置の３次元形状を表すグランドトゥルース介入装置形状データ１３０の形で提供される。第１の損失関数１６０の値は、ニューラルネットワーク１５０によって予測された介入装置の３次元形状と、受信されたグランドトゥルース介入装置形状データ１３０との間の差に基づいて計算される。第１の損失関数１６０の値は、ニューラルネットワーク１４０のパラメータを調整するために使用される。調整は、また、ニューラルネットワーク１５０によって予測される介入装置の３次元形状が、受信された体積画像データ１１０によって表される血管領域の３次元形状内にフィットするように拘束される。この拘束は、文献Ren, H., et al., 2018, entitled "Adversarial constraint learning for structured prediction", Proc.27^th Int. Joint Conference on Artificial Intelligence, 2637-2643, arXiv:1805.10561v2において開示されるような拘束条件付き学習手法を用いて、ニューラルネットワーク１４０のパラメータを調整することによって実行され得る。したがって、拘束は、ニューラルネットワーク１５０によって予測される介入装置の３次元形状が、有効な形状であることを保証する。

体積画像データ１１０、Ｘ線画像データ１２０、及びグランドトゥルース介入装置形状データ１３０は、データベース、撮像システム、コンピュータ可読記憶媒体、クラウドなどを含む、様々なソースから受信され得る。データは、有線又は無線データ通信などの任意の形態のデータ通信を使用して受信され得、インターネット、イーサネットを介して、又はＵＳＢメモリ装置、光ディスク又は磁気ディスクなどの可搬型コンピュータ可読記憶媒体を用いてデータを転送することによって受信され得る。

体積画像データ１１０は、例えば、

コンピュータ断層撮影画像データ、
造影コンピュータ断層撮影画像データ、
３Ｄ超音波画像データ、
コーンビームコンピュータ断層撮影画像データ、
磁気共鳴画像データ、
解剖学的アトラスモデルデータ、
血管領域の１つ以上の２次元投影を表すＸ線画像データを再構成することによって生成される再構成された体積画像データ、
の１つ以上によって提供されてもよい。

グランドトゥルース介入装置形状データ１３０は、
コンピュータ断層撮影画像データ、
造影コンピュータ断層撮影画像データ、
コーンビームコンピュータ断層撮影画像データ、
国際公開第２００７／１０９７７８（Ａ１）号に開示されているような介入装置に機械的に結合された複数の光ファイバ形状センサによって生成された光ファイバ形状感知位置データ、
国際公開第２０１５／１６５７３６（Ａ１）号に開示されているような介入装置に機械的に結合された１つ又は複数の電磁追跡センサ又はエミッタによって生成された電磁追跡位置データ、
米国特許出願公開第２０１９／２５４５６４（Ａ１）号明細書に開示されているような介入装置に機械的に結合された１つ又は複数の誘電体センサによって生成された誘電マッピング位置データ、及び
国際公開第２０２０／０３０５５７（Ａ１）号明細書に開示されているような介入装置に機械的に結合された１つ又は複数の超音波追跡センサ又はエミッタによって生成された超音波追跡位置データ、
の1つ以上を含み得る。

いくつかの例では、グランドトゥルース介入装置形状データ１３０は、代替的に、連続ロボットシステムの運動学的モデルによって提供され得る。

いくつかの実装形態では、体積画像データ１１０、Ｘ線画像データ１２０、及びグランドトゥルース介入装置形状データ１３０の座標系は、第１の損失関数１６０の計算及び／又は拘束演算を容易にするために、互いに位置合わせされ得る。

体積画像データ１１０、Ｘ線画像データ１２０、又はグランドトゥルース介入装置形状データ１３０が、画像データによって提供されるとき、セグメンテーション技法が、必要に応じて、介入装置及び血管系を抽出するのに使用されてもよい。閾値化、テンプレートマッチング、アクティブ輪郭、領域成長アルゴリズムの適用、モデルベースのセグメンテーションの使用、手動セグメンテーション、ニューラルネットワークベースのセグメンテーション方法の使用などのセグメンテーション技法が、使用されてもよい。セグメンテーションの結果は、バイナリマスクとして、又は画像空間内の空間座標として、又はパラメトリック方程式として、又は２Ｄスプラインとして、又はワイヤフレームモデルとして、などで表され得る。様々な適切なセグメンテーション技法が、文献Moccia, S., et al., entitled "Blood vessel segmentation algorithms - Review of methods, datasets and evaluation metrics", Computer Methods and Programs in Biomedicine, Vol.158, Pages 71 - 91に開示されている。

図６は、介入装置の３次元形状を予測するためのニューラルネットワークを提供する方法の第１の例を示すフローチャートであり、追加的に、任意選択の動作Ｓ１７０及びＳ１８０を含む。図６に示されるフローチャートは、図４のフローチャートに対応し、加えて、動作Ｓ１７０及びＳ１８０を含み、これらは、両方とも独立しており、任意選択であり、一緒に実装されてもよい。

動作Ｓ１７０において、図４を参照して上述した方法は、ニューラルネットワーク１５０によって予測された介入装置の３次元形状の推定された不確実性を計算するステップＳ１７０を含む。一例では、不確実性を表す値が、介入装置の予測された３次元形状に対する損失関数の値と比較される値を出力することによって計算され得る。これは、装置の３次元推定値におけるより高い誤差に関連し、したがって、より高い不確実性にも関連する、装置の短縮された２次元ビューのような特徴をネットワークが学習することを可能にする。別の例では、ドロップアウト技法が、ネットワークの予測における不確実性を推定するのに使用されてもよい。ドロップアウトは、ニューラルネットワーク内のニューロンをランダムに選択し、それらの出力を計算からドロップする。ドロップアウトを使用して推定を繰り返し実行することによって、わずかに異なる予測出力が、各実行において取得され得る。次いで、予測出力の平均及び分散が、計算されることができ、平均は、最終出力を示し、分散は、不確実性を示す。例えば、分散が高い場合、ネットワークの出力の不確実性も高い。別の例では、ニューラルネットワークは、平均及び分散によって定義される分布を直接的に予測するベイジアンネットワークであってもよく、装置の出力された三次元形状は、この分布からのサンプルである。別の例では、不確実性は、例えば介入装置の３次元形状上の点と形状の中心線との間の距離を計算することによって、ニューラルネットワークの予測出力を処理することによって計算され得る。代わりに、推定された不確実性は、例えば、血管領域１５０によって拘束される介入装置の予測される３次元形状と、血管領域の３次元形状を表す体積画像データ１１０との間の差に基づき得る。推定された不確実性は、例えば数値的に又は計算された推定精度の空間分布を示すヒートマップとして、表示され得る。

動作Ｓ１８０において、図４を参照して上述された方法は、介入装置の１つ以上の２次元投影を提供するために、受信されたＸ線画像データ１２０をセグメント化するステップＳ１８０を含み、受信されたＸ線画像データ１２０をニューラルネットワーク１４０に入力するステップＳ１５０は、セグメント化された受信されたＸ線画像データをニューラルネットワーク１４０に入力することを含む。上述のものを含めて、様々なセグメンテーション技法が、この動作において使用され得る。

いくつかの実装形態では、ニューラルネットワーク１４０を訓練する動作Ｓ１４０は、ニューラルネットワーク１５０によって予測される介入装置の３次元形状が介入装置の１つ又は複数の機械的拘束を満たすように、調整を拘束することを含む。機械的拘束は、例えば、介入装置の予測される３次元形状における介入装置の長さ、又は介入装置の予測される３次元形状の最大曲率、又は介入装置の予測される３次元形状の連続性を表し得る。これら及び他の拘束は、調整Ｓ１６０動作において、１つ又は複数の追加の損失関数を用いて実装され得、例えば、予測される点と形状の中心線との間の距離、又は予測される点のその最近傍までの距離、全体ネスト型エッジ検出器において展開されるようなマルチスケール損失、測地損失、又は連続性を促進するために形状のパラメータ表現（例えばスプライン）上で動作し、その値も訓練動作Ｓ１４０中に最小化される損失にペナルティを課す正規化成分を追加する。機械的拘束は、例えば、介入装置のモデルの形で提供されてもよい。

いくつかの実装形態では、解剖学的特徴の位置は、動作Ｓ１６０における調整を更に拘束し、それによって介入装置の予測される３次元形状の精度を改善するために使用され得る。例えば、高密度骨構造が、Ｘ線画像データ１２０において、また、体積画像データ１１０において検出可能である場合、これらは、介入装置の予測される３次元形状の精度を改善するために使用され得る。これらの実施では、受信された体積画像データ１１０は、解剖学的特徴の３次元形状を更に表し、受信されたＸ線画像データ１２０は、解剖学的特徴の２次元投影を更に表し、ニューラルネットワーク１４０を訓練するステップＳ１４０は、更に、
受信されたＸ線画像データ１２０から、介入装置の３次元形状に対する解剖学的特徴の位置を予測するためにニューラルネットワーク１４０を訓練するステップと、
介入装置の３次元形状に対する解剖学的特徴の予測された位置と受信された体積画像データ１１０における血管領域の３次元形状に対する解剖学的特徴の位置との間の差に基づいて、調整を拘束するステップと、
を有する。

図７は、本開示のいくつかの態様による、介入装置の３次元形状を予測する方法の第２の例を示す概略図である。図７に示される方法は、図５の方法に対応し、「投影」とラベル付けされた投影動作を追加的に含み、ここでニューラルネットワーク１５０によって予測される介入装置の３次元形状が、表面上に投影され、「２Ｄ投影」１８０をもたらす。図７に示される方法は、また、２Ｄ投影１８０と入力されたＸ線画像データ１２０との間の差に基づいて第２の損失関数１７０を計算するステップを含む。図７に示される方法では、第２の損失関数の値は、訓練中にニューラルネットワーク１４０のパラメータを調整するためにも使用される。より詳細には、図７に示される方法は、図４又は図６の方法に対応し、ニューラルネットワーク１４０のパラメータを調整するステップＳ１６０は、ニューラルネットワーク１５０によって予測される介入装置の３次元形状の２次元投影１８０と、受信されたＸ線画像データ１２０との間の差を表す第２の損失関数１７０に更に基づいており、介入装置の３次元形状の２次元投影１８０及び受信されたＸ線画像データが、共通の表面上に投影される。これは、ニューラルネットワーク１５０によって予測された介入装置の３次元形状を、Ｘ線画像データ１２０を提供するＸ線検出器の２次元表面上に投影することによって達成される。典型的には、この共通の表面は、平面であるか、又は平面セグメントを含むか、又はいくつかの実装形態では曲面を含み得る。そうすることで、第２損失関数は、動作Ｓ１６０において、ニューラルネットワークのパラメータの調整のための追加的な拘束を提供する。このような第２の損失関数の使用は、介入装置の予測される３次元形状の精度を改善する。

上で説明した訓練方法の態様は、方法を実行するように構成された１つ又は複数のプロセッサを有する処理装置によって提供され得る。処理装置は、例えば、クラウドベースの処理システム又はサーバベースの処理システム又はメインフレームベースの処理システムであり得、いくつかの例では、１つ又は複数のプロセッサは、１つ又は複数のニューラルプロセッサ又はニューラル処理ユニット「ＮＰＵ」、１つ又は複数のＣＰＵ、又は１つ又は複数のＧＰＵを含み得る。処理システムは、分散コンピューティングシステムによって提供され得ることも企図される。処理装置は、方法を実行するための命令及びそれに関連するデータを集合的に記憶する１つ又は複数の非一時的コンピュータ可読記憶媒体と通信し得る。

訓練されたニューラルネットワーク１４０の上述の例は、推定中に新しいデータに関する予測を行うために使用され得る。訓練されたニューラルネットワークは、例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、携帯電話などのシステムに展開されてもよい。推定は、例えば、サーバ上、又はクラウド内で、中央処理ユニット「ＣＰＵ」、ＧＰＵ、ＮＰＵ、ＴＰＵによって実行され得る。図８は、本開示のいくつかの態様による、介入装置の３次元形状を予測する方法の一例を示すフローチャートである。図８を参照すると、血管領域内に配置された介入装置の３次元形状を予測するコンピュータ実装方法は、
血管領域の３次元形状を表す体積画像データ２１０を受信するステップＳ２１０と、
血管領域内の介入装置の２次元投影を表すＸ線画像データ２２０を受信するステップＳ２２０と、
受信されたＸ線画像データ２２０及び受信された体積画像データ２１０から、血管領域１５０によって拘束される介入装置の３次元形状を予測するように、受信されたＸ線画像データ２２０及び受信された体積画像データ２１０を、訓練されたニューラルネットワーク１４０に入力するステップＳ２３０と、
入力するステップＳ２３０に応答して、ニューラルネットワーク１４０を使用して、受信されたＸ線画像データ２２０及び受信された体積画像データ２１０から、血管領域１５０によって拘束される介入装置の３次元形状を予測するステップＳ２４０と、
を含む。

血管領域によって拘束される介入装置の予測された三次元形状は、表示装置に予測三次元形状を表示する、又はメモリ装置に記憶することなどによって出力されてもよい。

上記の方法によって血管領域によって拘束される介入装置の三次元形状を提供することによって、装置及び血管系の改善された可視化が、追加のＸ線撮像を必要とすることなく提供される。

訓練されたニューラルネットワーク１４０によって使用される体積画像データ２１０は、上述のソースのいずれかによって提供され得る。例えば、いくつかの実装形態では、体積画像データ２１０は、同じ患者の血管系の術前コンピュータ断層撮影画像によって提供される。しかしながら、いくつかの実装形態では、血管系が高い患者間変動性を示さない場合、異なる患者に由来し得る血管領域のモデル、又は複数の異なる患者に由来し得る血管領域の統計モデルは、体積画像データ２１０として機能し得る。

いくつかの実装形態では、解剖学的特徴の位置は、介入装置の予測される３次元形状の精度を改善するために推定中にニューラルネットワーク１４０のパラメータを調整するのに使用され得る。これらの実施では、受信された体積画像データ２１０は、Ｘ線画像データにおいて可視である解剖学的特徴の３次元形状を更に表し、受信されたＸ線画像データ２２０は、解剖学的特徴の２次元投影を更に表し、ニューラルネットワーク１４０は、受信されたＸ線画像データ２２０から、介入装置の３次元形状に対する解剖学的特徴の３次元位置を予測する。ニューラルネットワーク１４０のパラメータは、介入装置の予測された３次元形状に対する解剖学的特徴の予測された位置と、受信された体積画像データ２１０における血管領域の３次元形状に対する解剖学的特徴の位置との間の差に基づいて調整を制約することによって、介入装置の予測された３次元形状の精度を改善するように推定中に調整され得る。

訓練されたニューラルネットワーク１４０に入力されたＸ線画像データ２２０は、一般に、１つ又は複数のＸ線画像によって提供され得る。いくつかの実装形態では、単一のＸ線画像が、提供され、ニューラルネットワーク１４０は、血管領域内の介入装置の１つのみの２次元投影、及び受信された体積画像データ１１０から、血管領域１５０によって拘束される介入装置の３次元形状を予測するように訓練される。他の実装形態では、１より多いＸ線画像が、血管領域によって拘束される介入装置の予測される３次元形状の基礎を形成し得る。これらの実施では、ある時間隔にわたって取得された複数のＸ線画像が、提供され、ニューラルネットワーク１４０は、血管領域内の介入装置の複数の２次元投影と、受信された体積画像データ１１０とから、複数のＸ線画像内の介入装置の複数の形状に対応する、血管領域１５０によって制約された介入装置の複数の３次元形状を予測するように訓練される。複数の二次元投影１８０は、各予測された三次元形状から生成されてもよい。入力として複数の画像又は一連の画像を組み込むことができる様々なニューラルネットワークは、リカレントニューラルネットワーク、長期短期メモリ「ＬＳＴＭ」ネットワーク、時間畳み込みネットワーク、変換器などを含む、ニューラルネットワーク１４０として機能し得る。

図９は、本開示のいくつかの態様による、介入装置の３次元形状を予測する方法の一例を示す概略図である。図９の概略図は、図８の方法に対応し、加えて、破線の輪郭によって図８にオプションとして示される動作Ｓ２５０を含む。動作Ｓ２５０において、ニューラルネットワーク１４０によって予測された介入装置の予測された３次元形状は、介入装置の少なくとも１つの予測された２次元投影を提供するために、少なくとも１つの表面上に投影される。表面は、例えば、Ｘ線撮像システムのＸ線放射線受光検出器の表面を表し得る。投影は、任意の所望の投影角度で提供されてもよい。そうすることで、その投影角度でＸ線撮像システムによって提供されたものであろう画像を表す投影画像が、生成される。表面は、平面又は局面、又は実際には任意の所望の形状であってもよい。介入装置の予測された２次元投影は、表示装置上に投影を表示することによって、又はそれをメモリ装置に記憶することなどによって出力され得る。

いくつかの実装形態では、介入装置の予測される２次元投影は、受信されたＸ線画像データ２２０によって表される介入装置の投影とは異なる投影である投影を含み得る。このようにして生成された複数の予測の使用は、介入装置の「仮想」バイプレーン投影を提供するために使用され得る。いくつかの実装形態では、介入装置の予測される３次元形状の第２、第３、第４など、すなわち、複数の投影は、動作Ｓ２５０によって提供され得、それによって介入装置の仮想多面投影を提供する。いくつかの実装形態では、複数の表面が、互いに交差し得る。複数の交差する表面上への投影は、しばしば「Ｘ平面」画像と称される。受信されたＸ線画像データ２２０によって表される介入装置の投影とは異なる投影の生成は、異なる投影角度で複数のＸ線画像を撮影する必要性を軽減する。更に、それは、所望の投影が患者又は患者ベッドの位置のために達成不可能であるときに所望の投影を提供する。

いくつかの実装形態では、介入装置の２次元投影は、受信されたＸ線画像データ２２０によって表される介入装置の投影と同じ投影であり、介入装置の３次元形状の２次元投影、及び受信されたＸ線画像データは、共通の表面上に投影される。これらの実施では、図７を参照して上述した第２の損失関数１７０が、介入装置の予測される３次元形状の精度を改善するように推定中にニューラルネットワーク１４０のパラメータを調整するのに使用され得る。

いくつかの実装形態では、ニューラルネットワーク１４０によって使用される体積画像データ２１０が、介入処置中に取得され得る。これらの実施では、３次元体積画像データは、患者の血管領域に加えて、体積画像が取得されるときに介入装置の３次元形状を含み得る。ニューラルネットワークの予測が正確である場合、体積画像の取得後に取得された介入装置の１つ又は複数の２次元Ｘ線画像から、ニューラルネットワーク１４０によって予測される介入装置の３次元形状は、体積画像内の介入装置の３次元形状に対応するべきである。この対応は、１つ又は複数の追加の損失関数を用いて評価されてもよく、その値は、また、訓練動作Ｓ１４０中に最小化される。損失関数は、既知の装置形状と予測される装置形状との間の類似性を測定してもよく、又は既知の装置形状の位置と拘束血管領域内の予測される装置形状とを比較してもよい。いくつかの実装形態では、体積画像内の介入装置の３次元形状の２次元投影は、シーケンスを作成するために、体積画像の取得後に取得された介入装置の２次元Ｘ線画像に「フレーム０」として追加され得、介入装置の３次元形状の２次元投影、及び受信されたＸ線画像データは、共通の表面上に投影される。ニューラルネットワーク１４０は、上記で生成されたシーケンス及び受信された体積画像データから、入力されたＸ線画像（例えば、最新のＸ線画像）のうちの１つにおける介入装置の３次元形状、又は血管領域によって拘束される複数のＸ線画像における介入装置の複数の形状に対応する介入装置の複数の３次元形状を予測するように訓練され得る。複数のＸ線画像における介入装置の複数の形状に対応する介入装置の複数の３次元形状が予測される場合、第１及び第２の損失関数の両方が、介入装置の予測される３次元形状の精度を改善するために、推定中にニューラルネットワーク１４０のパラメータを調整するのに使用され得、第１の損失関数は、既知の３次元装置形状と「フレーム０」から予測される３次元装置形状とを比較し、第２の損失関数は、介入装置の予測される３次元形状の各２次元投影Ｓ２５０と介入装置の入力された２次元Ｘ線画像とを比較する。

介入装置の３次元形状を予測するためのシステムも、提供される。それに加えて、図１０は、本開示のいくつかの態様による、介入装置の３次元形状を予測するためのシステム３００を示す概略図である。システム３００は、コンピュータ実施推定方法に関連して上述した動作のうちの１つ又は複数を実行するように構成された１つ又は複数のプロセッサ３９０を含む。システムは、また、図１０に示されるＣアームＸ線撮像システムのようなＸ線撮像システム、又はＯアーム及びＵ字形アームなどを含む、Ｃアームに対する別のタイプの支持構造を有するＸ線撮像システムを含み得る。使用中、Ｘ線撮像システムは、推定方法への入力として使用される、血管領域内の介入装置の２次元投影を表すＸ線画像データ２２０を生成し得る。システム３００は、また、図１０に示されるような１つ以上のディスプレイ、及び／又はキーボード若しくはタッチスクリーンなどのユーザインターフェース装置、並びに方法の実行を制御するためのマウスなどのポインティング装置、及び／又は患者ベッドを含み得る。

上記の例は、本開示を例示するものとして理解されるべきであり、限定するものではない。更なる例も、企図される。例えば、コンピュータ実装方法に関連して説明した例は、対応する方法で、コンピュータプログラム製品によって、又はコンピュータ可読記憶媒体によって、又は処理装置によって、又はシステム３００によっても提供され得る。任意の１つの例に関連して記載される特徴は、単独で、又は他の記載される特徴と組み合わせて使用され得、また、別の例の１つ又は複数の特徴、又は他の例の組み合わせと組み合わせて使用され得ることを理解されたい。更に、上記で説明されていない均等物及び修正物も、また、添付の特許請求の範囲で定義される本発明の範囲から逸脱することなく、採用され得る。請求項において、単語「有する」は、他の要素又は動作を排除するものではなく、不定冠詞「ａ」又は「ａｎ」は、複数性を排除するものではない。特定の特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組み合わせが有利に使用されることができないことを示すものではない。請求項におけるいかなる参照符号も、それらの範囲を限定するものとして解釈されるべきではない。

Claims (15)

1. 血管領域内に配置された介入装置の３次元形状を予測するためのニューラルネットワークを提供するシステムの作動方法において、前記システムは、プロセッサを有し、前記方法は、
   前記プロセッサが、前記血管領域の３次元形状を表す体積画像データを受信するステップと、
   前記プロセッサが、前記血管領域内の前記介入装置の１つ又は複数の２次元投影を表すＸ線画像データを受信するステップと、
   前記プロセッサが、前記介入装置の前記１つ又は複数の２次元投影に対応する前記血管領域内の前記介入装置の３次元形状を表すグラウンドトゥルース介入装置形状データを受信するステップと、
   前記プロセッサが、前記受信されたＸ線画像データ及び前記受信された体積画像データから、前記血管領域によって拘束された前記介入装置の３次元形状を予測するためのニューラルネットワークを訓練するステップであって、前記受信されたＸ線画像データ及び前記受信された体積画像データを前記ニューラルネットワークに入力し、前記ニューラルネットワークによって予測される前記介入装置の３次元形状と、前記受信されたグラウンドトゥルース介入装置形状データとの間の差を表す第１の損失関数に基づいて前記ニューラルネットワークのパラメータを調整し、前記ニューラルネットワークによって予測される前記介入装置の前記３次元形状が、前記受信された体積画像データによって表される前記血管領域の前記３次元形状内にフィットするように、前記調整を拘束することによって、訓練するステップと、
   を有する、方法。
2. 前記ニューラルネットワークのパラメータの前記調整は、前記ニューラルネットワークによって予測された前記介入装置の前記３次元形状の２次元投影と、前記受信されたＸ線画像データとの間の差を表す第２の損失関数に更に基づいており、前記介入装置の前記３次元形状の前記２次元投影、及び前記受信されたＸ線画像データが、共通の表面上に投影される、請求項１に記載の方法。
3. 前記プロセッサが、前記ニューラルネットワークによって予測される前記介入装置の前記３次元形状の推定される不確実性さを計算するステップを更に有する、請求項１又は２に記載の方法。
4. 前記体積画像データは、
   コンピュータ断層撮影画像データと、
   造影コンピュータ断層撮影画像データと、
   ３Ｄ超音波画像データと、
   コーンビームコンピュータ断層撮影画像データと、
   磁気共鳴画像データと、
   解剖学的アトラスモデルデータと、
   前記血管領域の１つ又は複数の２次元投影を表すＸ線画像データを再構成することによって生成される再構成された体積画像データと、
   のうちの１つ又は複数を有する、請求項１乃至３のいずれか一項に記載の方法。
5. 前記プロセッサが、前記介入装置の前記１つ又は複数の２次元投影を提供するために、前記受信されたＸ線画像データをセグメント化するステップを有し、前記受信されたＸ線画像データを前記ニューラルネットワークに入力することが、前記セグメント化された受信されたＸ線画像データを前記ニューラルネットワークに入力することを含む、請求項１乃至４のいずれか一項に記載の方法。
6. 前記グラウンドトゥルース介入装置形状データは、
   コンピュータ断層撮影画像データと、
   造影コンピュータ断層撮影画像データと、
   コーンビームコンピュータ断層撮影画像データと、
   前記介入装置に機械的に結合された複数の光ファイバ形状センサによって生成された光ファイバ形状感知位置データと、
   前記介入装置に機械的に結合された１つ又は複数の電磁追跡センサ又はエミッタによって生成された電磁追跡位置データと、
   前記介入装置に機械的に結合された１つ又は複数の誘電体センサによって生成された誘電体マッピング位置データと、
   前記介入装置に機械的に結合された１つ又は複数の超音波追跡センサ又はエミッタによって生成された超音波追跡位置データと、
   のうちの１つ又は複数を有する、請求項１乃至５のいずれか一項に記載の方法。
7. 前記ニューラルネットワークを訓練するステップは、前記ニューラルネットワークによって予測される前記介入装置の前記３次元形状が、前記介入装置の１つ又は複数の機械的拘束を満たすように、前記調整を制約することを含む、請求項１乃至６のいずれか一項に記載の方法。
8. 前記ニューラルネットワークは、畳み込みニューラルネットワーク、エンコーダデコーダネットワーク、敵対的生成ネットワーク、カプセルネットワーク、回帰ネットワーク、強化学習エージェント、再帰ニューラルネットワーク、長期短期メモリネットワーク、時間畳み込みネットワーク、及び変換器のうちの１つ又は複数を有する、請求項１乃至７のいずれか一項に記載の方法。
9. 前記受信された体積画像データが、解剖学的特徴の３次元形状を更に表し、前記受信されたＸ線画像データが、前記解剖学的特徴の２次元投影を更に表し、前記ニューラルネットワークの前記訓練が、前記受信されたＸ線画像データから、前記介入装置の前記３次元形状に対する前記解剖学的特徴の位置を予測するように前記ニューラルネットワークを訓練することを更に含み、更に、前記介入装置の前記３次元形状に対する前記解剖学的特徴の前記予測された位置と、前記受信された体積画像データにおける前記血管領域の前記３次元形状に対する前記解剖学的特徴の前記位置との間の差に基づいて前記調整を拘束することを含む、請求項１乃至８のいずれか一項に記載の方法。
10. 血管領域内に配置された介入装置の３次元形状を予測するシステムの作動方法において、前記システムは、プロセッサを有し、前記方法は、
    前記プロセッサが、前記血管領域の３次元形状を表す体積画像データを受信するステップと、
    前記プロセッサが、前記血管領域内の前記介入装置の１つ又は複数の２次元投影を表すＸ線画像データを受信するステップと、
    前記プロセッサが、前記受信されたＸ線画像データ及び前記受信された体積画像データから、前記血管領域によって拘束される前記介入装置の３次元形状を予測するように訓練されたニューラルネットワークに、前記受信されたＸ線画像データ及び前記受信された体積画像データを入力し、前記入力に応答して、前記ニューラルネットワークを使用して、前記受信されたＸ線画像データ及び前記受信された体積画像データから、前記血管領域によって拘束される前記介入装置の３次元形状を予測するステップと、
    を有する方法。
11. 前記プロセッサが、前記介入装置の少なくとも１つの予測された２次元投影を提供するように、前記ニューラルネットワークによって予測された前記介入装置の前記予測された３次元形状を、少なくとも１つの表面上に投影するステップを更に有する、請求項１０に記載の方法。
12. 前記投影するステップは、前記ニューラルネットワークによって予測された前記介入装置の前記予測された３次元形状を複数の交差する表面上に投影することを含む、請求項１１に記載の方法。
13. 前記ニューラルネットワークは、前記血管領域内の前記介入装置の１つのみの２次元投影と、前記受信された体積画像データとから、前記血管領域によって拘束される前記介入装置の前記３次元形状を予測するように訓練される、請求項１０乃至１２のいずれか一項に記載の方法。
14. 血管領域内に配置された介入装置の３次元形状を予測するためのシステムにおいて、請求項１０に記載の方法を実行するように構成された１つ又は複数のプロセッサを有する、システム。
15. １つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、請求項１又は請求項１０に記載の方法を実行させる命令を有するコンピュータプログラム。

Images