JP2022123809A - 医用情報処理装置、医用情報処理方法、トレーニング方法、およびプログラム - Google Patents

Abstract

【課題】２次元の測定データから３次元の医用イメージングデータを高精度に生成すること。【解決手段】医用情報処理装置は、処理回路を備える。処理回路は、測定された２Ｄ物理量データを受け取り、２Ｄ物理データから３Ｄ物理データに変換するようにトレーニングされた又は最適化されたモデルを用いて、測定された２Ｄ物理量データから３Ｄ物理量データを決定する。当該モデルは、物理法則に従う。【選択図】 図１

Description

本明細書及び図面に開示の実施形態は、医用情報処理装置、医用情報処理方法、トレーニング方法、およびプログラムに関する。

３Ｄ医用イメージングデータは、様々な医用画像診断法を用いて得ることができる。医用イメージングデータからの３Ｄデータフィールドの決定は、データ処理およびデータ収集のスピードにおいて課題を提示し得る。また、収集されたデータはある状況ではノイズを含むことがあり、効果的なノイズ減少法が望ましい。加えて、追加的プロパティまたは測定を決定できれば、利便性があり得る。さらに、ある医用画像診断法は、３Ｄイメージングに適さないかもしれない。

米国特許出願公開第２０１５／０２８６７８５号明細書

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、２次元の測定データから３次元の医用イメージングデータを高精度に生成することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る医用情報処理装置は、処理回路を備える。処理回路は、測定された２Ｄ物理量データを受け取り、２Ｄ物理データから３Ｄ物理データに変換するようにトレーニングされた又は最適化されたモデルを用いて、測定された２Ｄ物理量データから３Ｄ物理量データを決定する。当該モデルは、物理法則に従う。

図１は、実施形態に従った装置の概略図の一例である。 図２は、２Ｄ測定から決定される３Ｄフィールドから臨床的関連量を決定する処理の一例を示すフローチャートである。 図３は、図２の方法の適用を示す例示的動脈瘤ジオメトリの一例を示す。 図４は、図３の例示的動脈瘤ジオメトリを２Ｄ取得平面に示す斜視図の一例である。 図５は、図３の例示的動脈瘤の断面図上にマッピングされた投影速度観測から再構成された速度場の大きさの一例を示す。 図６は、図３の例示的動脈瘤の断面図上にマッピングされた投影速度観測から再構成された圧力場の大きさの一例を示す。 図７は、図２の処理を用いて予測した圧力を示す例示的狭窄を介した単一のスライスプロットの一例である。 図８は、図２の処理を用いて予測した圧力上の誤差を示す図７に示す例示的狭窄を介した単一のスライスプロットの一例である。 図９は、取得平面数における誤差の変化を示すプロットの一例である。

以下、図面を参照しながら、医用情報処理装置、医用情報処理方法、トレーニング方法、およびプログラムの実施形態について詳細に説明する。

実施形態に従ったデータ処理装置２０が、図１に概略的に示される。本実施形態において、データ処理装置２０は、２Ｄ医用イメージングデータを１つ又は複数の取得平面で得るように構成される。他の実施形態において、データ処理装置２０は任意の好適なデータを処理するように構成され得るが、本例では医用イメージングデータを処理する。

データ処理装置２０は、本例ではパーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ：ＰＣ）またはワークステーションであるコンピューティング装置２２を備える。コンピューティング装置２２は、ディスプレイスクリーン２６又はその他の表示装置、および、コンピュータキーボードやマウスなどの１つまたは複数の入力装置２８に接続される。

コンピューティング装置２２は、データ記憶部３０から画像データセットを得るように構成される。当該画像データセットは、医用イメージングスキャナ２４により取得し、データ記憶部３０に記憶したデータを処理することによって生成される。コンピューティング装置２２は、本実施形態における医用情報処理装置の一例である。なお、データ処理装置２０全体を医用情報処理装置の一例としても良い。

スキャナ２４は、２Ｄ医用イメージングデータを１つ又は複数の取得平面で任意の画像診断法で生成するように構成され得る。例えば、スキャナ２４は、超音波スキャナ、磁気共鳴（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ：ＭＲまたはＭＲＩ）スキャナ、コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＣＴ）スキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、陽電子放出断層撮影（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）スキャナ、または、単一光子放射コンピュータ断層撮影（ｓｉｎｇｌｅ ｐｈｏｔｏｎ ｅｍｉｓｓｉｏｎ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＳＰＥＣＴ）スキャナ、等を備えてよい。スキャナ２４の具体的な例には、２Ｄドップラー超音波スキャナ、位相差ＭＲＩスキャナ、超音波エラストグラフィを行うスキャナ、拡散テンソルイメージングを行うスキャナ、が特にあげられる。

随意選択で、コンピューティング装置２２は、データ記憶部３０の代わりに、または、データ記憶部３０に加えて、１つまたは複数の更なるデータ記憶部（図示せず）から医用画像データを受け取る。例えば、コンピューティング装置２２は、医用画像保管伝送システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）または他の情報システムの一部を形成するかもしれない１つまたは複数の遠隔のデータ記憶部（図示せず）から医用画像データを受け取ることができる。

コンピューティング装置２２は、自動的に、または、半自動で医用画像データを処理するために処理装置３２を備える。処理装置３２は、１つ又は複数のモデルをトレーニングするように構成されるモデルトレーニング回路３４と、例えばユーザに出力するための、または、ユーザに出力され得る１つ又は複数の臨床的関連プロパティを決定するときに使用するための、１つ又は複数の３Ｄフィールドを得るためにトレーニングされたモデルを適用するように構成されるデータ処理回路３６と、ユーザまたは他の入力を得るように、および／または、当該データ処理の結果を出力するように構成されるインターフェイス回路３８とを備える。

本実施形態において、回路３４、３６、３８は、各々、実施形態の方法を実行するために実行可能であるコンピュータが読み出し可能な命令を有するコンピュータプログラムにより、コンピューティング装置２２に実装される。しかし、他の実施形態では、種々の回路が、１つまたは複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）として実装されてよい。また、コンピューティング装置２２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス、種々のデバイスドライバを含むオペレーティングシステム、および、グラフィックカードを含むハードウェア装置を含んだＰＣの他のコンポーネントとを有する。その様なコンポーネントは、明瞭化のために、図１には示されない。

図１のデータ処理装置２０は、図示されるおよび／または下記に説明される方法を実行するように構成される。

２Ｄ測定から決定された３Ｄフィールドから臨床的関連量を決定する処理が図２に示される。

ステップ２０２において、ターゲットを介して１つ又は複数の２Ｄ取得平面上に投影された１つ又は複数のベクトルまたはテンソル値場の測定が、スキャナ２４を用いる測定などの医用イメージング測定により得られる。上述のように、スキャナ２４は、中でも例えば、２Ｄドップラー超音波スキャナまたは位相差ＭＲＩスキャナであり得る。そのような２Ｄ測定は、３Ｄ測定を直接収集するよりも、即座におよび／または少ない計算リソースで収集されることがしばしばあり得る。例として、当該測定は、血管を流れる流体の速度などの速度測定を含むが、これに限定されない。

モデルを含み且つ使用する解仮設（solution ansatz）は、観測から３Ｄデータフィールド（スカラ、ベクトル、またはテンソルかもしれない）の上位集合を決定するように初期化される。例において、３Ｄフィールドは圧力および速度を表すかもしれないが、他のプロパティが決定され得る。本例では、解仮設はニューラルネットワークであり（すなわち、モデルはニューラルネットワークの形式である）、下記の記載はニューラルネットワークに言及するが、他の形式の解仮設を使用でき、下記の記載のニューラルネットワークに代替または置き換えられ得る。

当該ニューラルネットワークは、ニューラルネットワークの予測と、ターゲットを介して１つ又は複数の２Ｄ取得平面上に投影された１つ又は複数のベクトルまたはテンソル値場の測定との差を最小化して（例えば、図１に示すモデルトレーニング回路３４によって）トレーニングされた、物理法則が組み込まれたニューラルネットワーク（physics-informed neural network：ＰＩＮＮ）である。例えば、ニューラルネットワークが、２Ｄ取得平面上の投影が測定されるプロパティ（例えば速度）を含む３Ｄデータフィールドの予測を行うと、当該２Ｄ取得平面以外の３Ｄデータフィールドの成分が決定され得る、そして、当該２Ｄ取得平面上の予測される投影を得るために、ニューラルネットワークを用いて当該予測された３Ｄデータフィールドからサブトラクションされ得る。誤差またはコスト関数の最小化など適切な手法を用いて１つ又は複数の２Ｄ取得平面上の予測された投影と測定された投影との差を最小化することで、当該ニューラルネットワークのパラメータを最適化して、当該ニューラルネットワークはトレーニングされる。しかし、とりわけ有益であり便利な例として上記を説明したが、他のニューラルネットワーク最適化方法を用いることができる。

ニューラルネットワークのトレーニングは、随意選択として、境界条件（boundary condition）を用いることを含む。ステップ２０４でターゲットの予備知識、例えば、ターゲットのジオメトリまたはセグメンテーションなどがあれば（Ｓ２０４“Ｙｅｓ”）、これを、ステップ２０８でニューラルネットワークをトレーニングするための境界条件を設定するために使用できる。システムの予備知識が利用できない場合は（Ｓ２０４“Ｎｏ”）、ステップ２０６で解仮設（例えば、ニューラルネットワーク）は境界条件なしにトレーニングされ得る。例では、予備知識は、後にニューラルネットワークのトレーニングにおいて境界条件を設定するために使われる血管境界などの物理境界を特定するために使用され得るＢモード（すなわち、ｂｒｉｇｈｔｎｅｓｓ ｍｏｄｅ：輝度モード）超音波画像診断などの他の画像診断法を使って得ることができる。ターゲットを介して１つ又は複数の２Ｄ取得平面上に投影された１つ又は複数のベクトルまたはテンソル値場の測定は、２Ｄドップラー超音波測定などの異なる技術またはモダリティを、境界を決定するために使用された技術またはモダリティ（例えば、Ｂモード超音波画像診断）に用いて取得され得る。

上述のニューラルネットワークは、ターゲットの物理プロパティを記述する物理モデルを表す方程式またはターゲットで生じる基調物理過程（underlying physical process）を表す方程式によって制約される物理法則が組み込まれたニューラルネットワークである。なお、このようなニューラルネットワークを、本実施形態では解ニューラルネットワーク（solution neural network）ともいう。基調物理過程とは、例えば、血管を流れる流体の流量などのターゲットの物理的プロセス（physical process）を表す。このため、上記物理モデルは、皮膚、骨などのターゲットの構造の物理的特性を表すことができるだけでなく、血管を流れる流体の流量などのターゲットの物理的プロセスを表すことができる。しかし、上述のように、物理法則が組み込まれたニューラルネットワークがとりわけ有益且つ便利であるが、別の種類の物理法則が組み込まれた解仮設（physics informed solution ansatz）用いることができる。ニューラルネットワークを制約するために使われる物理モデルを表す方程式は、偏微分方程式を含み得る。

１つの可能ではあるが限定ではない例において、解ニューラルネットワークは、物理モデルを（例えば、１つ又は複数の微分方程式または偏微分方程式の形式で）表す方程式に、ニューラルネットワークの出力が当該物理モデルを表す方程式に違反する程度を表す追加的な損失関数を用いて、従うように制約される。この追加的な損失関数は、例えば、ニューラルネットワークの微分係数を、解が物理モデルを表す支配方程式に従うと、微分係数の合計がゼロになるように組み合わせて構成され得る。しかし、上述のように、このアプローチが、ターゲットでの物理プロパティまたは基調物理過程に基づく制約を実施するための限定的且つ択一的アプローチではないことは、本明細書の教示に基づき当業者に明らかだろう。

例では、基調物理過程は、動脈血流などの流体の流れである。流体の流れのプロパティを測定するために、ナビエ－ストークス方程式またはナビエ－ストークス方程式への低次元近似が、ニューラルネットワークのトレーニングを制約するために使用され得る。ナビエ－ストークス方程式は、血液または油などの粘質物の動きを記述する一連の偏微分方程式である。ナビエ－ストークス方程式の解は流速を表すベクトル場であり、圧力、温度、密度などのプロパティに関する状態の方程式に付随される。圧力および温度などの他の物理プロパティは、流速ベクトル場から決定され得る。

ニューラルネットワークがトレーニングされ、ニューラルネットワークのパラメータが最適化されると、ステップ２１０にて、ニューラルネットワークは、ステップ２０２で得たターゲットを介して１つ又は複数の２Ｄ取得平面上に投影された１つ又は複数のベクトルまたはテンソル値場の測定から、３Ｄデータフィールドの上位集合を推論するために使用され得る。例では、当該フィールドの線積分または推定値が取得され得る。上述の具体例では、３Ｄフィールドは３Ｄ流速と圧力を備えるが、温度または密度などの他のプロパティが決定され得る。３Ｄデータフィールドの上位集合を決定するために、トレーニングされたニューラルネットワークを使って、ターゲットを介して１つ又は複数の２Ｄ取得平面上に投影された１つ又は複数のベクトルまたはテンソル値場を測定するこの処理は、例えば図１に示すデータ処理回路３６により行われ得る。

その後、３Ｄフィールドの上位集合は直接出力され得る、および／または、３Ｄフィールドは、例えばディスプレイスクリーン２６上に出力される、ログまたはデータ記憶部に書き込まれる、または、出力の別の形式を介して与えられる得る臨床値をステップ２１２で決定するために使われ得る。この出力は、例えば、図１のインターフェイス回路３８によって行われるかもしれない。例えば、３Ｄフィールドは、速度および／または圧力のうちの少なくとも１つを含むかもしれない、また、臨床値は、冠血流予備量比（ｆｒａｃｔｉｏｎａｌ ｆｌｏｗ ｒｅｓｅｒｖｅ：ＦＦＲ）、壁面せん断応力等のうちの１つ又は複数の、圧力に関わる臨床的に有用な派生量を含むかもしれない。出力は、ターゲットを介した３Ｄ画像または選択可能な断面の形式、または他の好適な表現であり得る。例では、３Ｄフィールドまたは臨床データは、従来の流体力学ソルバーの境界および／または初期条件として使用、または、従来の流体力学ソルバーの境界および／または初期条件を設定するために使用され得る。

図２の処理の具体的な適用例が、図３～６に関して示される。図３は、血管３０４内の動脈瘤３０２のモデルの一例を示す。図４に示すように、例えば図１のスキャナ２４を使って、２Ｄドップラー超音波測定が１つ又は複数の２Ｄ平面４０２Ａ～Ｃで血管３０４と動脈瘤３０２を介して取られる。このように、２Ｄ平面４０２Ａ～Ｃ上に投影された流体（すなわち、血液）速度の投影のみが得られる。代替となる例では、２Ｄ測定は位相差ＭＲＩまたは任意の他の好適なイメージング法で取られてもよい。血管３０４と動脈瘤３０２を介して２Ｄ平面４０２Ａ～Ｃ上に投影された流速のこれらの速度測定は、下記の形式であり得る。

空間－時間座標それぞれで圧力と速度を予測するニューラルネットワークは初期化される。ニューラルネットワークの演算は、下記のように表され得る。

ニューラルネットワークは、基調物理モデル、本件ではドメインが固定された動脈血流モデルを表す方程式で制約される物理法則が組み込まれたニューラルネットワークである。しかし、他の類似する代替の実施形態において、ドメインは時間経過で変形する。本例では、血管内の流体の流れが、ニューラルネットワークを制約するために次に使われるナビエ－ストークス方程式に規定される。しかし、他の適用では、処理の基礎にある物理モデルを表す異なるセットの微分方程式を使用できることが好まれるだろう。

上述したように、ナビエ－ストークス方程式の解は、流速を表すベクトル場である。ニューラルネットワーク（ｕ）の速度予測を投影された観測（ａ）に合わせるために、平面外速度成分を、ニューラルネットワーク（ｕ）の速度予測からサブトラクションすることができる。すなわち、式（３）のように表され得る。

標準の平均平方誤差損失などの誤差またはコスト関数の最小化、または、他の最適化手法は、ターゲットの基調物理モデルを表す方程式、本件ではナビエ－ストークス方程式、に従い且つ制約されつつ、投影された観測での差を最小化するように、ニューラルネットワークをトレーニングするために使用され得る。

図２のステップ２０８で示したように、ターゲットの予備知識（本件では、血管３０４と動脈瘤３０２のロケーション、ジオメトリ、範囲）がわかっていれば、境界条件をニューラルネットワークのトレーニングに適用するためにこれを使用できる。これにより、正確性が向上し得る。例えば、予備知識は、ターゲットの境界を示すセグメンテーションまたは他のデータを備えるかもしれない。一例では、境界情報は、Ｂモード超音波を用いて決定された血管３０４と動脈瘤３０２の境界または血管壁に関する情報を備える。

ニューラルネットワークがトレーニングされた後、３Ｄ速度および圧力場が決定され得る。例を図５，６にそれぞれ示す。この決定は、３Ｄでのデータフィールド（例えば、３Ｄ速度場）を推論するために、１つ又は複数の２Ｄ取得平面上に投影された１つ又は複数のベクトルまたはテンソル値（例えば、速度）場の測定を処理することを含み、および／または、直接観察していない圧力などのプロパティの決定を含み得る。３Ｄ速度場および圧力は、次に、冠血流予備量比（ＦＦＲ）および壁面せん断応力などの臨床情報を引き出すために使用され得る。

図２の処理が血管７０２中の狭窄７００に適用されたときの、当該処理の有効性を実証する例が、図７～９に示される。図７は、図２の処理を用いて決定された血管７０２の断面スライスにおける圧力のプロットの一例を示す。上述のように、当該処理は、２Ｄ平面での流体の流れ（すなわち、本例では血流）の速度の投影のみを測定することと、システムの（すなわち、本例では血管を流れる血液の）物理的挙動を表すナビエ－ストークス又は他の方程式で定義された制約の影響下にあるニューラルネットワークをトレーニングすることを含む。流体の流れの速度の投影の測定は、２Ｄドップラー超音波測定など適切な物理測定システムを使って、または、位相差ＭＲＩ等などの他の適切な測定システムを使って、収集され得る。上述のように、血管のセグメンテーションまたは他のジオメトリックまたは構造データなどの予備知識が利用可能であれば、ニューラルネットワークをトレーニングするための境界条件を設定するためにこれを使用できる。

図８は、予測に関する誤差を示し、血管７０２の大部分にわたって、誤差がゼロに近いことを示す。

図９は、各種プロパティ、本件では速度、圧力、および偏微分方程式（ＰＤＦ）残差における誤差が、測定データが得られる２Ｄ平面の数に対してどのように変化するかのプロットの一例を示す。これは、３Ｄ速度および圧力場などの３Ｄフィールドが、わずか２面から４面の２Ｄ平面での速度のようなプロパティの２Ｄ投影の測定から、低誤差で導かれ得ることを示す。

このように、上述した技術を適用することにより、３Ｄデータフィールドとしての測定時間を減少することが可能であり、非測定プロパティを少ない数の２Ｄ平面でのプロパティの投影の測定から導くことができる。また、明細書に記載した処理の適用により、２Ｄドップラー超音波画像診断などの異なるモダリティを使用することが、３Ｄデータフィールドが求められる状況で使用できるようになる可能性がある。これにより、機器の使用がより効率的になるかもしれない。さらに、当該処理は、直接測定されないプロパティのためのデータフィールドを生成するために、例えば、２Ｄ流速測定から圧力データを生成するために使用され得る。

上述した例では、２Ｄドップラー超音波を使って得られ、３Ｄ速度および圧力場を決定するために使用され流速測定を説明するものであり、３Ｄ速度および圧力場は次にＦＦＲまたは壁面せん断応力などの臨床データを決定するために使用される。しかし、本開示はこれに限定されず、明細書で記載した手法は他のモダリティ、測定、３Ｄデータフィールドに適用され得る。

例えば、２Ｄドップラー超音波の代わりに、超音波エラストグラフィを使用し得る。具体的には、超音波エラストグラフィは、１つ又は複数の２Ｄ平面上に投影された変位の測定を得るために使用され得る、また、物理法則が組み込まれたニューラルネットワークまたは他の解仮設と共に、弾性プロパティおよび／または組織の剛性を示す３Ｄデータフィールドを決定するために使用され得る。これらは、次に、当該組織に影響する病気の存在またはステータスに関する診断情報を与えるために使用され得る。

別の例では、２Ｄ測定場上に投影される流速を測定する位相差ＭＲＩが使用され得る。決定される３つの速度測定場成分の代わりに、当該処理は、３つの速度場成分のうちの２つのみで流速の測定を収集する。上述した処理は、その後、フル３Ｄ速度場および随意選択で圧力場を再構成するために適用され得る。

さらなる例では、拡散テンソルイメージングまたは拡散強調イメージング（diffusion weighted imaging）が使用され得る。本件では、拡散テンソル成分の測定数または２Ｄ平面上の測定の投影数を減少させることができる。異方性拡散を記述する式が、基調物理モデルを示す制約式として使用され得る。失われた拡散テンソル成分または２Ｄ平面上の測定の投影は、解析対象のサンプルの基調物理モデルを表す制約式に従ってトレーニングされた物理法則が組み込まれたニューラルネットワークから推論され得る。

モダリティ、測定、および３Ｄデータ平面の例をいくつか上で特定したが、限定する意図はなく、他のものが使用され得る。

上記例では、新しいニューラルネットワークが初期化されトレーニングされる。しかし、必ずしもこれに当てはめる必要はない。例えば、トレーニング前の解仮設（例えば、ニューラルネットワーク）モデルが開始点として使用され得るが、このトレーニング前のニューラルネットワークモデルは、同一または類似するジオメトリまたはジオメトリのクラス、または、撮像されるターゲットと同一のターゲットのカテゴリのために以前に生成されたものであり得る。

別の例では、解仮設は、例えば、有限要素または有限差分モデルなどの基調物理プロパティを記述する物理モデルを表す連立方程式に適用される数的離散化から生じる。解仮設の最適化は、計算された３Ｄ物理量データを決定するために、測定された２Ｄ物理プロパティデータおよび連立方程式のパラメータに基づいて当該連立方程式を反復して解くことを含む。その後、計算された２Ｄ物理プロパティデータは、計算した３Ｄ物理プロパティデータから決定され得る。初期条件、境界条件、流体パラメータ、等の連立方程式の１つ又は複数のパラメータは、計算された２Ｄ物理量データと測定された２Ｄ物理量データとの差を表す損失関数を最小化することにより最適化され得る。これは、当該１つ又は複数のシミュレーションパラメータを繰り返し調整し、新しく計算された３Ｄ物理プロパティデータを決定すること、任意の好適な反復性最小化手法を用いて当該損失関数等を再計算等すること、を含み得る。本アプローチでは、基調物理プロパティを記述する物理モデルを表す連立方程式が、当該損失関数の別の項として扱われるのではなく、数値計算法に固有の誤差内に解かれる。このアプローチは、図２に関する上述したアプローチの一部として、図２のステップ２０８で随意選択として行われ得る。

本発明の方法ステップは、コンピュータプログラムを実行して、入力データに関する操作を行い、出力を生成することにより本発明の機能を行う１つ又は複数のプログラマブルプロセッサによって行われ得る。方法ステップは、例えば、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）または特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）などの特定用途論理回路または他のカスタマイズされた回路によっても行われ得る。コンピュータプログラムの実行に適切なプロセッサには、ＣＰＵおよびマイクロプロセッサ、グラフィックス・プロセッシング・ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ：ＧＰＵ）、数値演算コプロセッサ（ｍａｔｈｓ ｃｏ－ｐｒｏｃｅｓｓｏｒｓ）、テンソル・プロセッシング・ユニット（ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ：ＴＰＵ）、および任意の１つ又は複数のプロセッサが含まれる。一般的には、プロセッサは命令およびデータをリード・オンリー・メモリまたはランダム・アクセス・メモリ、またはその両方から受け取る。コンピュータの重要な要素は、命令を実行するプロセッサと、命令およびデータを記憶する１つ又は複数のメモリ装置である。一般的には、コンピュータはまた、例えば、磁気ディスク、光磁気ディスク、または光ディスクなどのデータを記憶するための１つ又は複数の大容量記憶装置を備えるだろう、または、データを受信または送信または送受信するために大容量記憶装置と動作可能に接続されるだろう。コンピュータプログラム命令およびデータを実現するために適した情報担体は、あらゆる形式の不揮発性メモリを含み、例として、ＥＰＲＯＭ，ＥＥＰＲＯＭ，フラッシュメモリ装置などの半導体メモリ装置、内部ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む。プロセッサおよびメモリは、専用論理回路によって補充され得る、または、専用論理回路に組み込まれ得る。また、コンピュータは、ローカルまたは広域ネットワークなどのネットワークを介して、および／または、有線、無線またはセルラ―ネットワークなどのネットワークを介して通信するように構成されるだろう、且つ、随意選択としてインターネットを介して又は適切なデータ転送プロトコルを用いて通信できる。

ユーザとのインタラクションを規定するために、本発明は、ユーザに情報を表示するための、例えばＣＲＴ（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）、プラズマ、発光ダイオード（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ：ＬＥＤ），または液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ：ＬＣＤ）、モニタなどのスクリーンを有する装置、および、ユーザが入力を当該コンピュータに与えるための、例えば、キーボード、タッチスクリーン、マウス、トラックボール等の入力装置で実現され得る。他の種類の装置も使用され得る、例えば、ユーザへのフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックなど、いずれの形式の感覚フィードバックでよく、ユーザからの入力は、音響、音声、または触覚入力を含むいずれの形式で受け取られ得る。

本発明のいずれかの態様に従って上記規定された、または、本発明のいずれかの具体的な実施形態に関連して下記規定される個別の特徴および／または特徴の組み合わせを、本発明の任意の他の態様または実施形態における任意の他の規定された特徴と別々且つ個別に、単独で、または組み合わせて利用してよい。

また、本発明は、方法に関連して本明細書で記載する任意の特徴を行うように構成される装置、および／または、本明細書で記載する任意の装置特徴を使用または生成、使用または製造する方法をカバーするように意図される。

実施形態は、処理回路を備える画像処理装置を提供する。当該処理回路は、測定された２Ｄ物理量データを受け取り、２Ｄ物理データから３Ｄ物理データに変換するようにトレーニングされたモデルを用いて当該測定された２Ｄ物理量データから３Ｄ物理量データを決定するように構成され、当該モデルは基調物理プロパティを記述する物理モデルを表す連立方程式で制約される。当該２Ｄ物理量データは、医用イメージング測定から得るデータを含んでよい。当該２Ｄ物理量データは、１つ又は複数の２Ｄ取得平面から投影される１つ又は複数のベクトルまたはテンソル値場の観測を含んでよい。当該モデルは解仮設に含まれてよい。当該３Ｄ物理量データは、３Ｄフィールドの上位集合を含んでよい。当該医用画像処理装置は、当該３Ｄ物理量データを出力するように構成されてよい。

当該連立方程式は偏微分連立方程式かもしれない、または、偏微分連立方程式を含んでよい。当該解仮設は、空間および／または時間座標に対して微分可能であるかもしれない。当該解仮設は、ニューラルネットワークを含んでよい。当該ニューラルネットワークの解は、当該連立方程式に従うように制約されてよい。当該連立方程式は、医用イメージング測定により撮像されたターゲットの基調物理プロパティを記述する物理モデルなどの物理モデルを表すかもしれない。当該ニューラルネットワークは、physics constrained neural networkかもしれない。当該方程式は、ナビエ－ストークス方程式またはナビエ－ストークス方程式への低次元近似を含んでよい。当該方程式は、ドメインが時間経過で変形する動脈流モデルを表してよい。

当該３Ｄフィールドの上位集合は、スカラ、ベクトル、またはテンソル場を含んでよい。当該場のための当該解仮設は、空間および時間座標に対して微分可能であるかもしれない。当該ベクトルまたはテンソル値場のうちの少なくとも１つが速度を表すかもしれない。

当該医用イメージング測定は、２Ｄドップラー超音波測定または位相差ＭＲＩ測定を含むかもしれない。

当該処理回路は、境界条件を解仮設のトレーニングに適用するように構成されてよい。当該境界条件は、当該医用イメージング測定の対象であるターゲットのジオメトリまたは他の予備知識に基づくかもしれない。Ｂモード超音波測定が、当該境界条件として使用される血管境界を見つけるために使用されるかもしれない。当該医用イメージング測定は、２Ｄドップラー超音波で得られる投影された速度測定を含んでよい。当該処理回路は、当該３Ｄフィールドの少なくとも１つを用いて、冠血流予備量比（ＦＦＲ）などの臨床的に有用な派生量を計算するように構成されてよい。

当該ベクトルまたはテンソル値場のうちの少なくとも１つは、変位を表すかもしれない。当該方程式は固体力学または弾性を記述するかもしれない。当該処理回路は、物質の物理パラメータ得るように構成されるかもしれない。当該ベクトルまたはテンソル値場のうちの少なくとも１つは、拡散テンソルイメージングデータフィールドを表すかもしれない。当該方程式は異方性拡散を表すかもしれない。

当該最適化処理は、当該医用イメージング測定の対象であるシステムのジオメトリに関連するトレーニング前の初期モデルをロードすることを含むかもしれない。

当該処理回路は、可能な解のドメインを制約するために予備知識またはセグメンテーションを使用するように構成されてよい。当該処理回路は、当該投影される観測を通して可能な解のドメインを推論するように構成されてよい。当該処理回路は、当該取得平面のうちの１つ又は複数の平面の当該パラメータを、最適化法を介して得るように構成されてよい。当該処理回路は、当該フィールドのうちの１つ又は複数のフィールドの線積分を得るように構成されてよい。当該処理回路は、当該フィールドのうちの１つ又は複数のフィールドの推定値を得るように構成されてよい。当該処理回路は、流体動力学ソルバーの境界／初期条件を設定するために出力を使用するように構成されてよい。

当該モデルのトレーニングは、当該測定された２Ｄ物理量データのうちの複数を当該モデルに入力して３Ｄ物理量データを決定することを含んでよい。当該モデルのトレーニングは、当該決定された３Ｄ物理量データから決定された２Ｄ物理量データを導くことを含んでよい。当該モデルのトレーニングは、当該決定された２Ｄ物理量データと、当該測定された２Ｄ物理量データとの差を表す損失関数を生成することを含んでよい。当該モデルのトレーニングは、当該損失関数を最小化して、データに基づいて当該モデルをトレーニングすることを含んでよい。当該モデルのトレーニングは、前記モデルの１つまたは複数のパラメータを変化させ、３Ｄ物理量データを再決定し、当該再決定された３Ｄ物理量データから２Ｄ物理量データを再決定し、当該損失関数を再計算し、当該モデルの異なるパラメータを用いて計算された前に計算された損失関数と比較して、当該再計算された損失関数の値または変化を決定する、ことを含んでよい。

当該モデルの物理的制約付けは、例えば、ニューラルネットワークの出力が当該物理モデルを表す方程式に違反する程度を表す追加的な損失関数を用いて達成され得る。この追加的な損失関数は、例えば、ニューラルネットワークの微分係数を、解が当該物理モデルを表す支配方程式に従うと、微分係数の合計がゼロになるように組み合わせて構成され得る。

実施形態は、処理回路を備える医用画像処理装置を提供する。当該処理回路は、医用イメージング測定から、１つ又は複数の２Ｄ取得平面上に投影される１つ又は複数のベクトルまたはテンソル値場の観測を得て、連立方程式によって制約された解仮設を介して、当該観測から１つまたは複数の３Ｄフィールドの上位集合を決定するために最適化処理を使用し、当該３Ｄフィールドのうちの少なくとも１つを出力する。

実施形態は、測定された２Ｄ物理量データを受け取ることと、基調物理プロパティを記述する物理モデルを表す連立方程式によって制約され、２Ｄ物理データから３Ｄ物理データに変換するようにトレーニングされたモデルを用いて当該２Ｄ物理量データから３Ｄ物理量データを決定すること、を備える医用イメージング方法を提供する。

実施形態は、医用イメージング測定から、１つ又は複数の２Ｄ取得平面から投影される１つ又は複数のベクトルまたはテンソル値場の観測を得ること、連立偏微分方程式によって制約された解仮設を介して、当該観測から３Ｄフィールドの上位集合を決定するために最適化処理を使用し、これら複数のフィールドを出力すること、を備える医用イメージング方法を提供する。

実施形態は、医用画像処理に使用されるモデルをトレーニングする方法を提供する。当該モデルは、基調物理プロパティを記述する物理モデルを表す連立方程式によって制約され、測定された２Ｄ物理量データを受け取り、当該２Ｄ物理量データから３Ｄ物理量データを決定するように構成される。当該方法は、当該測定された２Ｄ物理量データのうちの複数を当該モデルに入力して、３Ｄ物理量データを決定すること、当該決定された３Ｄ物理量データから決定された２Ｄ物理量データを導くこと、当該決定された２Ｄ物理量データと当該測定された２Ｄ物理量データとの差を表す損失関数を生成すること、当該損失関数を最小化してデータに基づいて当該モデルをトレーニングすること、を備える。

特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の１つまたは複数の機能を、１つの処理リソースまたは他のコンポーネントによって提供することができ、または、１つの回路によって提供される機能を、２つまたはそれより多くの処理リソースまたは他のコンポーネントを組み合わせることによって提供することができる。１つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントがお互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する１つのコンポーネントを包含する。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

Claims (27)

1. 処理回路を備え、
   前記処理回路は、
   測定された２Ｄ物理量データを受け取り、
   ２Ｄ物理データから３Ｄ物理データに変換するようにトレーニングされた又は最適化されたモデルを用いて、前記測定された２Ｄ物理量データから３Ｄ物理量データを決定し、
   前記モデルは、物理法則に従う、
   医用情報処理装置。
2. 前記測定された２Ｄ物理量データは医用イメージング測定から得られ、１つ又は複数の２Ｄ取得平面から投影される１つ又は複数のベクトルまたはテンソル値場の観測を含む、
   請求項１に記載の医用情報処理装置。
3. 前記モデルは、解仮設に基づく、
   請求項１または２に記載の医用情報処理装置。
4. 前記３Ｄ物理量データは、３Ｄフィールドの上位集合を含む、
   請求項１から３のいずれか１項に記載の医用情報処理装置。
5. 前記処理回路は、前記３Ｄ物理量データを出力する、
   請求項１から４のいずれか１項に記載の医用情報処理装置。
6. 前記解仮設は、ニューラルネットワークであり、
   前記ニューラルネットワークは前記物理法則を表す方程式により制約される、
   請求項３に記載の医用情報処理装置。
7. 前記方程式は、医用イメージング測定により撮像されたターゲットに関連する前記物理法則を記述する物理モデルを表し、
   前記ニューラルネットワークは、前記物理法則が組み込まれたニューラルネットワークである、
   請求項６に記載の医用情報処理装置。
8. 前記解仮設は、前記物理法則を記述する物理モデルを表す方程式に適用される数的離散化から生じ、
   前記解仮設の最適化は、
   計算された２Ｄ物理量データを決定するために前記方程式を反復して解くことと、
   １つ又は複数のシミュレーションパラメータを調整して前記計算された２Ｄ物理量データと前記測定された２Ｄ物理量データとの差を表す損失関数を最小化することと、を含む、
   請求項３または６に記載の医用情報処理装置。
9. 前記３Ｄ物理量データは、スカラ、ベクトル、またはテンソル場を含む、
   請求項１または４に記載の医用情報処理装置。
10. 前記測定された２Ｄ物理量データは、速度を表すデータを含む、
    請求項１または２に記載の医用情報処理装置。
11. 前記測定された２Ｄ物理量データは、２Ｄドップラー超音波測定または位相差ＭＲＩ測定により測定されたデータを含む、
    請求項１または２に記載の医用情報処理装置。
12. 前記処理回路は、境界条件を前記モデルのトレーニングに適用するように構成され、
    前記境界条件は、前記２Ｄ物理量データの対象であるターゲットのジオメトリまたは他の予備知識に基づく、
    請求項１または２に記載の医用情報処理装置。
13. Ｂモード超音波測定が、前記境界条件として使用される血管境界を見つけるために使用され、
    前記測定された２Ｄ物理量データは、２Ｄドップラー超音波を用いて得られる投影された速度測定を含む、
    請求項１２に記載の医用情報処理装置。
14. 前記方程式は、偏微分方程式、ナビエ－ストークス方程式、およびナビエ－ストークス方程式への低次元近似のうち少なくとも１つを含む、
    請求項６に記載の医用情報処理装置。
15. 前記方程式はドメインが時間経過で変形する動脈流モデルを表す、
    請求項６に記載の医用情報処理装置。
16. 前記処理回路は、前記３Ｄ物理データを用いて、臨床的に有用な派生量を計算する、
    請求項１から１５のいずれか１項に記載の医用情報処理装置。
17. 前記測定された２Ｄ物理量データは変位を表すデータを含む、
    請求項６に記載の医用情報処理装置。
18. 前記方程式は、固体力学および弾性のうちの少なくとも１つを記述する、
    請求項１７に記載の医用情報処理装置。
19. 前記処理回路は、物質の物理パラメータを得るように構成される、
    請求項１７または１８に記載の医用情報処理装置。
20. 前記測定された２Ｄ物理量データは、拡散テンソルイメージングデータを表すデータを含む、
    請求項６に記載の医用情報処理装置。
21. 前記方程式は異方性拡散を表す、
    請求項２０に記載の医用情報処理装置。
22. 前記モデルは最適化され、
    前記モデルの前記最適化は、医用イメージング測定の対象であるターゲットのジオメトリに関連するトレーニング前の初期モデルをロードすることを含むトレーニング処理を含む、
    請求項１に記載の医用情報処理装置。
23. 前記処理回路は、
    可能な解のドメインを制約するために予備知識またはセグメンテーションを使用する、
    前記投影される観測を通して可能な解のドメインを推論する、
    前記２Ｄ取得平面のうちの１つ又は複数の平面のパラメータを、最適化法を介して得る、
    フィールドのうちの１つ又は複数のフィールドの線積分を得る、
    前記フィールドのうちの前記１つ又は複数のフィールドの推定値を得る、及び
    流体動力学ソルバーの境界および初期条件のうちの少なくとも１つを設定するために前記３Ｄ物理量データの出力を使用する、
    請求項２に記載の医用情報処理装置。
24. 前記モデルのトレーニングは、
    前記測定された２Ｄ物理量データのうちの複数を前記モデルに入力して、前記３Ｄ物理量データを決定すること、
    前記決定された３Ｄ物理量データから、前記決定された２Ｄ物理量データを導くこと、
    前記決定された２Ｄ物理量データと、前記測定された２Ｄ物理量データとの差を表す損失関数を生成すること、及び
    前記損失関数を最小化して、データに基づいて前記モデルをトレーニングすること、
    を含む、
    請求項１に記載の医用情報処理装置。
25. 測定された２Ｄ物理量データを受け取ること、
    物理法則に従う物理モデルを表す方程式によって制約され、２Ｄ物理データから３Ｄ物理データに変換するようにトレーニングされたモデルを用いて、前記測定された２Ｄ物理量データから３Ｄ物理量データを決定すること、
    を含む医用情報処理方法。
26. 医用画像処理に使用されるモデルをトレーニングする方法であって、
    前記モデルは、
    物理法則に従う物理モデルを表す方程式によって制約され、
    測定された２Ｄ物理量データを受け取り、前記２Ｄ物理量データから３Ｄ物理量データを決定するように構成され、
    前記測定された２Ｄ物理量データのうちの複数を前記モデルに入力して、前記３Ｄ物理量データを決定すること、
    前記決定された３Ｄ物理量データから前記決定された２Ｄ物理量データを導くこと、
    前記決定された２Ｄ物理量データと前記測定された２Ｄ物理量データとの差を表す損失関数を生成すること、及び
    前記損失関数を最小化してデータに基づいて前記モデルをトレーニングすること、
    を含む、トレーニング方法。
27. 測定された２Ｄ物理量データを受け取るステップと、
    ２Ｄ物理データから３Ｄ物理データに変換するようにトレーニングされた又は最適化された、物理法則に従うモデルを用いて、前記測定された２Ｄ物理量データから３Ｄ物理量データを決定するステップと
    をコンピュータに実行させるためのプログラム。

Images