JP2021513697A - 完全畳み込みニューラル・ネットワークを用いた心臓ｃｔａにおける解剖学的構造のセグメンテーションのためのシステム - Google Patents

Abstract

方法は、（ａ）複数の臓器のそれぞれについて（ｉ）軸位断で走査された１組の胸部コンピュータ断層撮影血管造影（ＣＴＡ）画像、および（ｉｉ）画像の手動セグメンテーションを収集することと、（ｂ）同じ視野（ＦＯＶ）を共有するように画像を前処理することと、（ｃ）画像とその手動セグメンテーションの両方を使用して教師ありディープ・ラーニング・セグメンテーション・ネットワークを訓練することであって、損失が、複数の臓器すべてについてのダイス・スコアの合計であるマルチダイス・スコアから決定され、各ダイス・スコアが臓器のうちの１つについての手動セグメンテーションとネットワークの出力との間の類似度として計算される、訓練することと、（ｄ）訓練されたネットワーク上で所与の（入力）前処理済み画像をテストし、それによって所与の画像のセグメント化された出力を取得することと、（ｅ）所与の画像のセグメント化された出力を平滑化することとを含む。【選択図】図３

Description

本出願は、一般に、改良されたデータ処理装置および方法に関し、より詳細には、完全畳み込みニューラル・ネットワークを用いた心臓ＣＴＡにおける解剖学的構造のセグメンテーションのためのメカニズムに関する。

心腔、肺の異なるセグメント、および大動脈の異なるセグメントなどの胸部の解剖学的構造をセグメント化することは、多くの自動疾患検出アプリケーションにおける重要なステップである。マルチアトラス・ベースの方法は、このタスクのために開発され、安定した優れた結果を実現する。しかしながら、これらは、非剛体レジストレーション（deformable registration）・ステップが必要であるため、しばしば計算コストが高くなり、処理時間の点でボトルネックが生じる。対照的に、２Ｄまたは３Ｄカーネルを用いた畳み込みニューラル・ネットワーク（ＣＮＮ：convolutional neural network）は、訓練には時間がかかるが、デプロイメント段階では非常に高速であり、医用撮像のセグメンテーション・タスクを解決するために採用されている。Ｖ−Ｎｅｔと呼ばれる完全畳み込みアーキテクチャにおける重みを最適化するためにダイス類似度係数（ＤＳＣ：dice similarity coefficient）を使用すると、医用画像セグメンテーションにおけるニューラル・ネットワークの性能が向上することが最近報告された。しかしながら、以前の作業では、１つの前景オブジェクトに対して計算されたＤＳＣのみが最適化され、その結果ＤＳＣベースのセグメンテーションＣＮＮは、２値セグメンテーションを実行することしかできない。

完全畳み込みニューラル・ネットワークを用いた胸部ＣＴＡにおける解剖学的構造のセグメンテーションのためのメカニズムを提供する。

本発明によれば、提供される方法は、（ａ）複数の臓器のそれぞれについて（ｉ）軸位断（axial view）で走査された１組の胸部コンピュータ断層撮影血管造影（ＣＴＡ：computed tomography angiography）画像、および（ｉｉ）画像の手動セグメンテーションを収集することと、（ｂ）同じ視野（ＦＯＶ：field of view）を共有するように画像を前処理することと、（ｃ）画像とその手動セグメンテーションの両方を使用して教師ありディープ・ラーニング・セグメンテーション・ネットワークを訓練することであって、損失が、複数の臓器すべてについてのダイス・スコアの合計であるマルチダイス・スコアから決定され、各ダイス・スコアが臓器のうちの１つについての手動セグメンテーションとネットワークの出力との間の類似度として計算される、使用して訓練することと、（ｄ）訓練されたネットワーク上で所与の（入力）前処理済み画像をテストし、それによって所与の画像のセグメント化された出力を取得することと、（ｅ）所与の画像のセグメント化された出力を平滑化することとを含む。

他の例示的な実施形態では、コンピュータ可読プログラムを有するコンピュータ使用可能または可読媒体を含むコンピュータ・プログラム製品が提供される。コンピュータ可読プログラムは、コンピューティング・デバイス上で実行されると、コンピューティング・デバイスに、方法の例示的な実施形態に関して上で概説した動作の様々なものおよびそれらの組合せを実行させる。

さらに別の例示的な実施形態では、システム／装置が提供される。システム／装置は、１つまたは複数のプロセッサ、および１つまたは複数のプロセッサに結合されたメモリを備え得る。メモリは、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、方法の例示的な実施形態に関して上で概説した動作の様々なものおよびそれらの組合せを実行させる命令を含み得る。

本発明のこれらおよび他の特徴および利点は、本発明の例示的な実施形態の以下の詳細な説明において説明され、または本発明の例示的な実施形態の以下の詳細な説明に鑑みて当業者には明らかになるであろう。

本発明、ならびに好ましい使用モードならびにそのさらなる目的および利点は、添付の図面と併せて読まれるとき、例示的な実施形態の以下の詳細な説明を参照することによって最もよく理解されるであろう。

例示的な実施形態の態様が実装され得る分散型データ処理システムの例示的な図である。 例示的な実施形態の態様が実装され得るコンピューティング・デバイスの例示的なブロック図である。 異なる方法についての各解剖学的組織のＤＳＣおよび平均ＤＳＣの棒グラフである。 例示的な実施形態による、元の画像のセグメンテーションの２Ｄ視覚表現である。 例示的な実施形態による、マルチラベルＶ−Ｎｅｔによる結果のセグメンテーションの２Ｄ視覚表現である。 例示的な実施形態による、後処理後の結果のセグメンテーションの２Ｄ視覚表現である。 例示的な実施形態による、グラウンド・トゥルースのセグメンテーションの２Ｄ視覚表現である。 例示的な実施形態による、マルチラベルＶ−Ｎｅｔによる結果のセグメンテーションの３Ｄボリューム・レンダリングである。 例示的な実施形態による、後処理後の結果のセグメンテーションの３Ｄボリューム・レンダリングである。 例示的な実施形態による、グラウンド・トゥルースのセグメンテーションの３Ｄボリューム・レンダリングである。 例示的な実施形態による、マルチラベルＶ−Ｎｅｔを用いた心臓ＣＴＡにおける解剖学的構造のセグメンテーションのためのニューラル・ネットワーク訓練エンジンを示すブロック図である。 例示的な実施形態による、マルチラベルＶ−Ｎｅｔを用いた心臓ＣＴＡにおける解剖学的構造のセグメンテーションのためのニューラル・ネットワーク・テスト・エンジンのブロック図である。 例示的な実施形態による、心臓ＣＴＡにおける解剖学的構造のセグメンテーションのための教師ありディープ・ラーニング・ネットワークを訓練するためのメカニズムの動作を示すフローチャートである。 例示的な実施形態による、心臓ＣＴＡにおける解剖学的構造のセグメンテーションのための訓練されたネットワークをテストするためのメカニズムの動作を示すフローチャートである。

心腔、肺の異なるセグメント、および大動脈の異なるセグメントなどの胸部の解剖学的構造をセグメント化することは、多くの自動疾患検出アプリケーションにおける重要なステップである。マルチアトラス・ベースの方法は、このタスクのために開発され、安定した優れた結果を実現する。しかしながら、これらは、非剛体レジストレーション（deformable registration）・ステップが必要であるため、しばしば計算コストが高くなり、処理時間の点でボトルネックが生じる。対照的に、２Ｄまたは３Ｄカーネルを用いた畳み込みニューラル・ネットワーク（ＣＮＮ：convolutional neural network）は、訓練には時間がかかるが、デプロイメント段階では非常に高速であり、医用撮像のセグメンテーション・タスクを解決するために採用されている。Ｖ−Ｎｅｔと呼ばれる完全畳み込みアーキテクチャにおける重みを最適化するためにダイス類似度係数（ＤＳＣ：dice similarity coefficient）を使用すると、医用画像セグメンテーションにおけるニューラル・ネットワークの性能が向上することが最近報告された。しかしながら、以前の作業では、１つの前景オブジェクトに対して計算されたＤＳＣのみが最適化され、その結果ＤＳＣベースのセグメンテーションＣＮＮは、２値セグメンテーションを実行することしかできない。本書では、Ｖ−Ｎｅｔ２値アーキテクチャをマルチラベル・セグメンテーション・ネットワークに拡張し、心臓ＣＴＡにおける複数の解剖学的構造をセグメント化するためにそれを使用する。方法は、すべての解剖学的組織に対するＤＳＣを合計することによって最適化されたマルチラベルＶ−Ｎｅｔを使用し、その後、セグメンテーションの表面をリファインするための後処理方法を使用する。この方法は、ＣＴＡボリューム全体をセグメント化するのに平均で１０秒未満かかる。この方法は、４分割交差検証（four-fold cross validation）を使用して、１６のセグメント化された解剖学的組織に対して７７％の平均ＤＳＣを実現する。

例示的な実施形態の様々な態様の説明を始める前に、この説明全体を通して「メカニズム」という用語は、様々な動作、機能などを実行する本発明の要素を指すために使用されることを最初に理解されたい。本明細書で使用される「メカニズム」という用語は、装置、手順、またはコンピュータ・プログラム製品の形での例示的な実施形態の機能または態様の実装であり得る。手順の場合、手順は、１つまたは複数のデバイス、装置、コンピュータ、データ処理システムなどによって実施される。コンピュータ・プログラム製品の場合、コンピュータ・プログラム製品内またはコンピュータ・プログラム製品上で実施されるコンピュータ・コードまたは命令によって表されるロジックは、特定の「メカニズム」に関連する機能を実装するため、または特定の「メカニズム」に関連する動作を実行するために、１つまたは複数のハードウェア・デバイスによって実行される。したがって、本明細書に記載のメカニズムは、専用ハードウェアとして、汎用ハードウェア上で実行されるソフトウェアとして、命令が専用または汎用ハードウェアによって容易に実行可能であるように媒体に記憶されたソフトウェア命令として、機能を実行するための手順もしくは方法として、またはこれらのいずれかの組合せとして実装される場合がある。

本説明および特許請求の範囲は、例示的な実施形態の特定の特徴および要素に関して、「１つの（a）」、「のうちの少なくとも１つ（at least one of）」、および「のうちの１つまたは複数（one or more of）」という用語を使用することがある。これらの用語および句は、特定の例示的な実施形態に存在する特定の特徴または要素のうちの少なくとも１つが存在するが、２つ以上も存在し得ることを示すように意図したものであることを理解されたい。すなわち、これらの用語／句は、説明または特許請求の範囲を、存在する単一の特徴／要素に限定すること、または複数のそのような特徴／要素が存在するよう要求すること意図するものではない。それとは反対に、これらの用語／句は、複数のそのような機能／要素が説明および特許請求の範囲の範囲内にある可能性がある、少なくとも単一の機能／要素のみを必要とする。

さらに、「エンジン」という用語の使用は、本発明の実施形態および特徴の説明に関して本明細書で使用される場合、エンジンに起因する、またはエンジンによって実行される、あるいはその両方の動作、ステップ、プロセスなどを、実現する、または実行する、あるいはその両方のための任意の特定の実装を限定することを意図するものではないことを理解されたい。エンジンは、ソフトウェア、ハードウェア、またはファームウェアあるいはその組合せ、あるいは、機械可読メモリにロードまたは格納され、プロセッサによって実行される適切なソフトウェアと組み合わせた汎用または専用あるいはその両方のプロセッサの任意の使用を含むがこれらに限定されない指定された機能を実行するその任意の組合せとすることができるが、これらに限定されない。さらに、特定のエンジンに関連するいずれの名称も、特に指定されていない限り、参照の利便性を目的としており、特定の実装に限定することを意図したものではない。さらに、エンジンに起因するいずれの機能も、複数のエンジンによって同等に実行され、同じまたは異なるタイプの別のエンジンの機能に組み込まれるか、または組み合わされるか、あるいはその両方とされるか、あるいは、様々な構成の１つまたは複数のエンジンに分散されてもよい。

明示的および暗黙的な他の定義が、以下に含まれ得る。

アトラス：解剖学的組織の集合に関するＣＴＡ画像および手動セグメンテーション・マスク。

マルチアトラス：解剖学的組織の集合に関する複数のＣＴＡ画像およびそれらの手動セグメンテーション・マスク。

ニューラル・ネットワーク：人工ニューラル・ネットワーク（ＡＮＮ：artificial neural network）またはコネクショニスト・システムは、動物の脳を構成する生物学的な神経回路網から漠然と着想を得たコンピューティング・システムである。このようなシステムは、一般にタスク固有のプログラミングなしで、例を考察することによってタスクを「学習」する（すなわち、徐々に性能を向上させる）。

畳み込みニューラル・ネットワーク：畳み込みニューラル・ネットワーク（ＣＮＮ）は、上部に（典型的なＡＮＮにおける層と一致する）全結合層を有する１つまたは複数の畳み込み層で構成される、深層順伝播型ネットワークのクラスである。ＣＮＮは、結合重みおよびプーリング層を使用する。このアーキテクチャにより、ＣＮＮは入力データの２Ｄ構造を利用することができる。

ダイス：セグメンテーションが良好であるかどうかを判定する尺度。ダイス・スコアは、一般に０から１の間であり、ダイス・スコアが高いほど、良好なセグメンテーションを示す。

ダイス類似度係数（ＤＳＣ）：２つの臨床例で示される、手動セグメンテーションの再現性とＭＲ画像の自動化された確率的部分セグメンテーションの空間重なり精度との両方の性能を評価するための統計的検証メトリックとして使用される係数。

損失：モデルがテストと訓練の２つのセットに対してどの程度うまく機能しているかを示す、訓練とテストで計算される尺度。損失が少ないほど良好である。

コンピュータ断層撮影血管造影（ＣＴＡ）：コンピュータ断層撮影血管造影（ＣＴ血管造影またはＣＴＡとも呼ばれる）は、全身の動脈血管および静脈血管を視覚化するために使用されるコンピュータ断層撮影技法である。これは、脳に到達する動脈から、肺、腎臓、腕、および脚に血液を運ぶ動脈にまで及ぶ。

Ｖ−Ｎｅｔ：ボリューム医用画像セグメンテーションのための完全畳み込みニューラル・ネットワーク。

さらに、以下の説明では、例示的な実施形態の例示的な実装をさらに示すため、および例示的な実施形態のメカニズムの理解を助けるために、例示的な実施形態の様々な要素について複数の様々な例を使用していることを理解されたい。これらの例は、非限定的であることが意図されており、例示的な実施形態のメカニズムを実装するための様々な可能性を網羅するものではない。本明細書に鑑みて、本発明の思想および範囲から逸脱することなく、本明細書で提供される例に加えて、または本明細書で提供される例の代わりに利用され得るこれらの様々な要素について多くの他の代替実装が存在することが当業者には明らかであろう。

本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組合せであってもよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または複数の媒体）を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持および記憶することができる有形のデバイスであってもよい。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、またはこれらの任意の適切な組合せであり得るが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例の非網羅的なリストには、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読取専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記憶されている溝の中の***構造などの機械的に符号化されるデバイス、および、これらの任意の適切な組合せが含まれる。本明細書で使用されるコンピュータ可読記憶媒体は、それ自体が、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の送信媒体を介して伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号などの一過性の信号であると解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング・デバイス／処理デバイスに、またはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、または無線ネットワーク、あるいはその組合せを介して外部コンピュータまたは外部記憶デバイスにダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを備え得る。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、コンピュータ可読プログラム命令を各コンピューティング・デバイス／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＪａｖａ（Ｒ）、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの従来の手続型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで記述されたソース・コードもしくはオブジェクト・コードであってもよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行すること、ユーザのコンピュータ上であるスタンドアロン・ソフトウェア・パッケージとして部分的に実行すること、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行すること、またはリモート・コンピュータ上もしくはサーバ上で全体的に実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行われてもよい。いくつかの実施形態では、本発明の態様を実行するために、例えばプログラマブル論理回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路を個人化するためのコンピュータ可読プログラム命令を実行してもよい。

発明の態様は、本明細書において、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組合せが、コンピュータ可読プログラム命令によって実施され得ることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／動作を実施するための手段を作り出すように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを生成するものであってもよい。これらのコンピュータ可読プログラム命令は、命令が記憶されたコンピュータ可読記憶媒体がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作の態様を実施する命令を含む製造品を備えるように、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラム可能なデータ処理装置または他のデバイスあるいはその組合せに特定の方式で機能するように指示できるものであってもよい。

コンピュータ可読プログラム命令は、コンピュータ上、他のプログラム可能な装置上、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実施するように、コンピュータ上、他のプログラム可能なデータ処理装置上、または他のデバイス上にロードされ、一連の動作ステップを、コンピュータ上、他のプログラム可能な装置上、または他のデバイス上で実行させてコンピュータ実装プロセスを生成してもよい。

図面のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または一部を表す場合がある。いくつかの代替実装形態では、ブロックに示された機能は、図面に示された順序と異なる順序で行われてもよい。例えば、連続して図示されている２つのブロックは、実際には、含まれている機能性に応じて、実質的に同時に実行されるか、または場合によっては反対の順序で実行されてもよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方におけるブロックの組合せは、指定された機能または動作を実行するか、または専用ハードウェアとコンピュータ命令の組合せを実行する専用ハードウェアベースのシステムによって実装され得ることも留意されたい。

例示的な実施形態は、多くの異なるタイプのデータ処理環境で利用されてもよい。例示的な実施形態の特定の要素および機能性の説明のためのコンテキストを提供するために、以下に例示的な実施形態の態様が実施され得る例示的な環境として図１および図２が提供されている。図１および図２は単なる例であり、本発明の態様または実施形態が実施され得る環境に関するいかなる制限も、主張または示唆することを意図していないことを理解されたい。本発明の思想および範囲から逸脱することなく、示された環境に対する多くの修正を行うことができる。

図１は、例示的な実施形態の態様が実施され得る例示的な分散型データ処理システムの図形的表現を示す。分散型データ処理システム１００は、例示的な実施形態の態様が実施され得るコンピュータのネットワークを含んでもよい。分散型データ処理システム１００は、分散型データ処理システム１００内で互いに接続された様々なデバイスとコンピュータとの間の通信リンクを提供するために使用される媒体である少なくとも１つのネットワーク１０２を含む。ネットワーク１０２は、有線、無線通信リンク、または光ファイバ・ケーブルなどの接続部を含んでもよい。

図示の例では、サーバ１０４およびサーバ１０６は、記憶ユニット１０８とともにネットワーク１０２に接続されている。さらに、クライアント１１０、１１２、および１１４もネットワーク１０２に接続されている。これらのクライアント１１０、１１２、および１１４は、例えば、パーソナル・コンピュータ、ネットワーク・コンピュータなどであってもよい。図示の例では、サーバ１０４は、ブート・ファイル、オペレーティング・システム・イメージ、およびアプリケーションなどのデータをクライアント１１０、１１２、および１１４に提供する。クライアント１１０、１１２、および１１４は、図示の例では、サーバ１０４に対するクライアントである。分散型データ処理システム１００は、図示されていない追加のサーバ、クライアント、および他のデバイスを含んでもよい。

図示の例では、分散型データ処理システム１００は、相互に通信するためにプロトコルの伝送制御プロトコル／インターネット・プロトコル（ＴＣＰ／ＩＰ）スイートを使用するネットワークおよびゲートウェイの世界規模の集合体を表す、ネットワーク１０２を伴うインターネットである。インターネットの中心には、データおよびメッセージを送る数千の商業系、政府系、教育系、および他のコンピュータ・システムで構成された、主要ノードまたはホスト・コンピュータ間の高速データ通信回線のバックボーンがある。当然ながら、分散型データ処理システム１００は、例えば、イントラネット、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）などの多数の異なるタイプのネットワークを含むように実装されてもよい。上述のように、図１は、本発明の異なる実施形態のアーキテクチャ上の制限としてではなく、一例として意図しており、したがって、図１に示す特定の要素は、本発明の例示的な実施形態が実施され得る環境に関して限定するものと見なされるべきではない。

図１に示すように、１つまたは複数のコンピューティング・デバイス、例えば、サーバ１０４は、完全畳み込みニューラル・ネットワークを用いた心臓ＣＴＡにおける解剖学的構造のセグメンテーションを実装するように特に構成され得る。コンピューティング・デバイスの構成は、例示的な実施形態に関して本明細書に記載されている動作の実行および出力の生成を容易にするために、特定用途向けハードウェア、ファームウェアなどの提供を含む場合がある。コンピューティング・デバイスの構成は、または代替として、例示的な実施形態に関して本明細書に記載されている動作を実行し出力を生成するようにプロセッサを構成するソフトウェア・アプリケーションをコンピューティング・デバイスの１つまたは複数のハードウェア・プロセッサに実行させるために、１つまたは複数の記憶デバイスに格納され、サーバ１０４などのコンピューティング・デバイスのメモリにロードされる、ソフトウェア・アプリケーションの提供を含む場合がある。さらに、例示的な実施形態の思想および範囲から逸脱することなく、特定用途向けハードウェア、ファームウェア、ハードウェア上で実行されるソフトウェア・アプリケーションなどの任意の組合せが使用されてもよい。

コンピューティング・デバイスがこれらの方法の１つで構成されると、コンピューティング・デバイスは、例示的な実施形態のメカニズムを実装するように特に構成された専用のコンピューティング・デバイスになり、汎用コンピューティング・デバイスではないことを理解されたい。さらに、後述するように、例示的な実施形態のメカニズムの実装は、コンピューティング・デバイスの機能性を向上させ、完全畳み込みニューラル・ネットワークを用いた心臓ＣＴＡにおける解剖学的構造のセグメンテーションを容易にする有用かつ具体的な結果をもたらす。

上記のように、例示的な実施形態のメカニズムは、特に構成されたコンピューティング・デバイスまたはデータ処理システムを利用して、完全畳み込みニューラル・ネットワークを用いた心臓ＣＴＡにおける解剖学的構造のセグメンテーションのための動作を実行する。これらのコンピューティング・デバイス、またはデータ処理システムは、ハードウェア構成、ソフトウェア構成、またはハードウェア構成とソフトウェア構成の組合せのいずれかによって、本明細書に記載のシステム／サブシステムのうちの１つまたは複数を実装するように特に構成される、様々なハードウェア要素を含み得る。図２は、例示的な実施形態の態様が実装され得るごく一例のデータ処理システムのブロック図である。データ処理システム２００は、図１におけるサーバ１０４などのコンピュータの一例であり、本発明の例示的な実施形態のプロセスおよび態様を実装するコンピュータ使用可能コードまたは命令は、本明細書に記載のような例示的な実施形態の動作、出力、および外部効果を実現するように配置されるか、または実行されるか、あるいはその両方としてもよい。

図示の例では、データ処理システム２００は、ノース・ブリッジおよびメモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ）２０２ならびにサウス・ブリッジおよび入力／出力（Ｉ／Ｏ）コントローラ・ハブ（ＳＢ／ＩＣＨ）２０４を含むハブ・アーキテクチャを採用している。処理ユニット２０６、メイン・メモリ２０８、およびグラフィックス・プロセッサ２１０は、ＮＢ／ＭＣＨ２０２に接続される。グラフィックス・プロセッサ２１０は、アクセラレイテッド・グラフィックス・ポート（ＡＧＰ）を介してＮＢ／ＭＣＨ２０２に接続され得る。

図示の例では、ローカル・エリア・ネットワーク（ＬＡＮ）アダプタ２１２は、ＳＢ／ＩＣＨ２０４に接続している。オーディオ・アダプタ２１６、キーボードおよびマウス・アダプタ２２０、モデム２２２、読取専用メモリ（ＲＯＭ）２２４、ハード・ディスク・ドライブ（ＨＤＤ）２２６、ＣＤ−ＲＯＭドライブ２３０、ユニバーサル・シリアル・バス（ＵＳＢ）ポートおよび他の通信ポート２３２、ならびにＰＣＩ／ＰＣＩｅデバイス２３４は、バス２３８およびバス２４０を介してＳＢ／ＩＣＨ２０４に接続している。ＰＣＩ／ＰＣＩｅデバイスには、例えば、Ｅｔｈｅｒｎｅｔ（Ｒ）アダプタ、アドイン・カード、およびノートブック・コンピュータ用のＰＣカードが含まれ得る。ＰＣＩはカード・バス・コントローラを使用するが、ＰＣＩｅは使用しない。ＲＯＭ２２４は、例えば、フラッシュ基本入出力システム（ＢＩＯＳ）であってもよい。

ＨＤＤ２２６およびＣＤ−ＲＯＭドライブ２３０は、バス２４０を介してＳＢ／ＩＣＨ２０４に接続している。ＨＤＤ２２６およびＣＤ−ＲＯＭドライブ２３０は、例えば、統合ドライブ・エレクトロニクス（ＩＤＥ）またはシリアル・アドバンスト・テクノロジー・アタッチメント（ＳＡＴＡ）インターフェースを使用してもよい。スーパーＩ／Ｏ（ＳＩＯ）デバイス２３６は、ＳＢ／ＩＣＨ２０４に接続される場合がある。

オペレーティング・システムは、処理ユニット２０６上で実行される。オペレーティング・システムは、図２のデータ処理システム２００内の様々なコンポーネントの制御を調整および提供する。クライアントとして、オペレーティング・システムは、Ｍｉｃｒｏｓｏｆｔ（Ｒ）Ｗｉｎｄｏｗｓ（Ｒ）７（Ｒ）などの市販のオペレーティング・システムとすることができる。Ｊａｖａ（Ｒ）（ＴＭ）プログラミング・システムなどのオブジェクト指向プログラミング・システムは、オペレーティング・システムとともに実行することができ、データ処理システム２００上で実行されるＪａｖａ（Ｒ）（ＴＭ）プログラムまたはアプリケーションからのオペレーティング・システムに対する呼び出しを提供する。

サーバとして、データ処理システム２００は、例えば、Ａｄｖａｎｃｅｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｅｘｅｃｕｔｉｖｅ（ＡＩＸ（Ｒ））オペレーティング・システムまたはＬＩＮＵＸ（Ｒ）オペレーティング・システムを実行する、ＩＢＭ ｅＳｅｒｖｅｒ（ＴＭ）Ｓｙｓｔｅｍ ｐ（Ｒ）コンピュータ・システム、Ｐｏｗｅｒ（ＴＭ）プロセッサ・ベースのコンピュータ・システムなどとすることができる。データ処理システム２００は、処理ユニット２０６内に複数のプロセッサを含む対称型マルチプロセッサ（ＳＭＰ：symmetric multiprocessor）システムとすることができる。代替として、シングル・プロセッサ・システムを用いることもできる。

オペレーティング・システム、オブジェクト指向プログラミング・システム、およびアプリケーションまたはプログラムに対する命令は、ＨＤＤ２２６などの記憶デバイス上に配置されてもよく、処理ユニット２０６による実行のためにメイン・メモリ２０８にロードされてもよい。本発明の例示的な実施形態のプロセスは、例えば、メイン・メモリ２０８、ＲＯＭ２２４などのメモリ内または１つもしくは複数の周辺デバイス２２６および２３０内に配置され得るコンピュータ使用可能プログラム・コードを使用して、処理ユニット２０６によって実行されてもよい。

図２に示すようなバス２３８またはバス２４０などのバス・システムは、１つまたは複数のバスで構成され得る。当然ながら、バス・システムは、ファブリックまたはアーキテクチャに取り付けられた異なるコンポーネントまたはデバイス間のデータ転送を提供する任意のタイプの通信ファブリックまたはアーキテクチャを使用して実装されてもよい。図２のモデム２２２またはネットワーク・アダプタ２１２などの通信ユニットは、データの送信および受信に使用される１つまたは複数のデバイスを含み得る。メモリは、例えば、メイン・メモリ２０８、ＲＯＭ２２４、または図２のＮＢ／ＭＣＨ２０２に見られるようなキャッシュとすることができる。

上述のように、いくつかの例示的な実施形態では、例示的な実施形態のメカニズムは、特定用途向けハードウェア、ファームウェアなど、処理ユニット２０６などの１つまたは複数のハードウェア・プロセッサによって実行するためにＨＤＤ２２６などの記憶デバイスに格納され、メイン・メモリ２０８などのメモリにロードされるアプリケーション・ソフトウェアなどとして実装され得る。したがって、図２に示すコンピューティング・デバイスは、例示的な実施形態のメカニズムを実装するように特に構成され、完全畳み込みニューラル・ネットワークを用いた心臓ＣＴＡにおける解剖学的構造のセグメンテーションに関して後述される動作を実行し、出力を生成するように特に構成されるようになる。

当業者であれば、図１および図２のハードウェアが実装によって異なる場合があることを理解するであろう。図１および図２に示すハードウェアに加えて、またはその代わりに、フラッシュ・メモリ、同等の不揮発性メモリ、または光ディスク・ドライブなどの他の内部ハードウェアまたは周辺デバイスが使用されてもよい。また、例示的な実施形態のプロセスは、本発明の思想および範囲から逸脱することなく、前述のＳＭＰシステム以外のマルチプロセッサ・データ処理システムに適用されてもよい。

さらに、データ処理システム２００は、クライアント・コンピューティング・デバイス、サーバ・コンピューティング・デバイス、タブレット・コンピュータ、ラップトップ・コンピュータ、電話または他の通信デバイス、携帯情報端末（ＰＤＡ：personal digital assistant）などを含む、多数の異なるデータ処理システムのいずれかの形をとることができる。いくつかの例示的な例では、データ処理システム２００は、例えば、オペレーティング・システム・ファイルまたはユーザ生成データあるいはその両方を格納するための不揮発性メモリを提供するフラッシュ・メモリで構成されるポータブル・コンピューティング・デバイスとすることができる。本質的に、データ処理システム２００は、アーキテクチャ上の制限なく、任意の知られた、または後に開発されるデータ処理システムとすることができる。

コントラストが強化された胸部コンピュータ断層撮影（ＣＴ）は、心室および心房の機能を評価し、肺塞栓症、上大静脈の閉塞の疑い、冠状動脈アテローム性硬化症などの血管の異常、大動脈瘤、大動脈解離を含む、心臓、肺、または胸部の主要動脈の多くの障害を示すことができる。心室および心房の機能を評価するには、心筋重量および心腔の容積などのいくつかのバイオマーカーを定量化する必要がある。さらに、胸部の主要動脈の位置特定は、多くの疾患検出アルゴリズムの前処理ステップとしても使用される。解剖学的構造のセグメンテーションは、バイオマーカーの定量化および疾患検出にとって重要である。

心臓の解剖学および大血管のセグメンテーションのために、アクティブ・アピアランス・モデル、マルチアトラス・レジストレーションおよびマージナル空間学習などの多くの手法が提案されている。マルチアトラス・セグメンテーションは、その高い堅牢性および卓越した性能により、心腔のセグメンテーションおよび胸部解剖学的組織全体のセグメンテーションに広く使用されている。マルチアトラス・セグメンテーション・アルゴリズムは、対象画像に複数のアトラスを位置合せする非剛体レジストレーション・ステップ、および複数のアトラスによって作成された競合するラベルを解決するラベル融合ステップを含む。しかしながら、レジストレーション・ステップおよびボクセル単位のラベル融合ステップにおける計算が大量であるため、マルチアトラス・ベースの方法は非常に時間がかかる。その結果、研究者らはこれらの手法に伴う計算コストの削減に関する研究を報告している。従来技術の手法の１つは、レジストレーション・ステップの前にアトラス選択法を実行して、より良いセグメンテーション精度を実現し、計算コストを削減した。別の従来技術の手法は、脳組織セグメンテーション用に非局所的ラベル融合技法を使用した。さらに別の従来技術の手法は、マルチアトラス学習のスピード・アップにおける修正学習の役割を調査するために実験的研究を行った。これらは、最初に低解像度空間でマルチアトラス・セグメンテーションを実行し、元の高解像度空間にアップサンプリングする。結果として生じるセグメンテーション誤差は、教師あり学習を用いて修正される。この方法は、高解像度空間から直接得られる結果に近いセグメンテーション精度を維持するとともに、時間コストを劇的に削減する。

ＣＮＮは、２次元（２Ｄ）タスクと３次元（３Ｄ）タスクの両方の医用画像セグメンテーションにおいて有望な結果を示している。完全畳み込みネットワーク（ＦＣＮ：fully convolutional network）は、自然な赤、緑、青（ＲＧＢ）の画像セグメンテーション用に提案されており、さらに短軸医用共鳴画像法（ＭＲＩ：medical resonance imaging）の心臓セグメンテーションに使用されている。別の従来技術の手法は、Ｕ−Ｎｅｔネットワークを提案し、それを透過光顕微鏡画像に適用した。隣接するスライスからのコンテキストを組み込むために、Ｍ−Ｎｅｔアーキテクチャは、複数のスライスを１つのスライスにフラット化し、２Ｄ ＣＮＮセグメンテーション・ネットワークに送り込むことを提案した。Ｍ−Ｎｅｔは、ＭＲＩの脳組織セグメンテーションに適用された。別の従来技術の手法は、すべての２Ｄコンポーネントを３Ｄに置き換えることによってＵ−Ｎｅｔを拡張した。

特定の従来技術の手法の１つは、３Ｄボリューム・セグメンテーションのためのＶ−Ｎｅｔ構造を提案した。Ｖ−Ｎｅｔの主な貢献のうちの１つは、ＤＳＣが損失層で計算および最適化され、ネットワークの重みを最適化するために逆伝播されることである。Ｖ−ＮｅｔはＭＲＩの前立腺セグメンテーションでテストされている。しかしながら、元のＶ−Ｎｅｔは、２値セグメンテーション・タスク用に開発されている。マルチラベル・セグメンテーション・タスクに適用する場合、新しいＤＳＣベースの損失層が開発されるべきである。

例示的な実施形態は、２値Ｖ−Ｎｅｔをマルチラベル・セグメンテーション・ネットワークに拡張する。例示的な実施形態は、損失層において対象となるすべての解剖学的構造について計算されたＤＳＣの合計を使用する。次いで、マルチラベルＶ−Ｎｅｔからのセグメンテーション結果を平滑化して小さなセグメンテーション誤差を取り除き、オブジェクトの表面をリファインする。

例示的な実施形態は、１人の放射線科医によって１６の解剖学的構造について注釈が付けられた４８の心臓ＣＴＡボリュームを収集する。１６の解剖学的組織は、胸骨、上行大動脈／下行大動脈／大動脈弓／大動脈根、左肺動脈／右肺動脈／肺動脈幹、椎骨、左心房／右心房、左心室／右心室、左心室筋、および上大静脈／下大静脈と同様のものである。我々の研究で用いた心臓ＣＴ検査は、ＣＴスキャナによって取得された。各画像は、１ｍｍ×１ｍｍ未満の等方性の面内解像度を有する。スライスの厚さは０．８ｍｍから２．０ｍｍまで変化する。すべての画像は、患者間の強度変動を排除するために強度が均一化され、すべての次元でボクセル・サイズ１．５ｍｍに再サンプリングされる。

Ｖ−Ｎｅｔをボリューム画像セグメンテーションのための強力なディープ・ネットワークにする３つの態様がある。１つ目の態様は、各畳み込み層においてボリューム・カーネルを使用する。２つ目の態様は、異なる解像度の各段階で残余関数を学習する。３つ目の態様は、背景と前景のボリューム間の不均衡を回避するように前景オブジェクトのＤＳＣを最適化する。従来技術の手法の１つは、サンプルの再重み付けにより多項ロジスティック損失を最適化することによって訓練された同じアーキテクチャと比較して、セグメンテーション結果が改善されたと報告した。しかしながら、従来の作業では、単一の前景のＤＳＣのみが最適化される。

Ｖ−Ｎｅｔをマルチラベル・ネットワークに拡張するために、

を確立することによって、解剖学的構造ｉのセグメンテーション・マスク画像Ｆ_ｉを見いだすことを目標とするセグメンテーションの問題を考える。式中、

は、ｉ番目のセグメント化された前景のｊ番目のボクセルであり、

がｉ番目のグラウンド・トゥルース構造内にあるグラウンド・トゥルースを条件とし、適用例では１＜ｉ＜１６である。セグメンテーションとグラウンド・トゥルースの間の全体的なＤＳＣを、ｉ番目のセグメンテーションのｊ番目のボクセルで微分して、以下の勾配を求める。

式中、Ｎは画像中のボクセルの総数である。３Ｄ畳み込みのメモリ要件が高いため、入力画像は２ｍｍ×２ｍｍ×３．５ｍｍにダウンサンプリングされ、サイズ１２８×１９２×６４のサブ画像は元の画像の中心からクロッピングされてネットワークに送られる。テスト時には、マルチラベルＶ−Ｎｅｔの出力が元の解像度にアップサンプリングされ、評価のために元の画像サイズにパディングされる。

入力がダウンサンプリングされるので、マルチラベルＶ−Ｎｅｔからのセグメンテーション結果は、元の解像度にアップサンプリングして戻った後に粗くなる。また、Ｖ−Ｎｅｔは、形状の事前情報を組み込まない。その結果、結果は通常平滑化を必要とする。１つ目の問題については、ハードウェアの将来のアップグレードが役立つ可能性がある。２つ目の問題については、従来技術の手法の１つは、オートエンコーダを訓練し、コード化されたセグメンテーションとグラウンド・トゥルースとの間の平均絶対差を損失として使用することを提案した。しかしながら、この手法をＤＳＣに基づいて計算される損失関数に拡張することは、容易ではない。

例示的な実施形態は、表面曲率を前面輪郭の進化速度として使用して表面を進化させることによって、セグメンテーションの表面を平滑化することを提案する。セグメンテーションの突然の不連続性の一部は、その表面の曲率が高くなることによって消失する。平滑化の最終ステップとして、例示的な実施形態は、各前景の最大の独立成分を抽出する。

図３は、異なる方法についての各解剖学的組織のＤＳＣおよび平均ＤＳＣの棒グラフである。図４〜図７は、セグメンテーションの２Ｄ視覚表現であり、図４：元の画像、図５：マルチラベルＶ−Ｎｅｔによる結果、図６：後処理後の結果、図７：グラウンド・トゥルースである。図８〜図１０は、セグメンテーションの３Ｄボリューム・レンダリングであり、図８：マルチラベルＶ−Ｎｅｔによる結果、図９：後処理後の結果、図１０：グラウンド・トゥルースである。

例示的な実施形態は、４分割交差検証を使用して、提案されたマルチラベルＶ−Ｎｅｔネットワークを評価する。異なる解剖学的組織に対する平均ＤＳＣ値を図３に示す。平滑化の前は、平均ＤＳＣは、平滑化後の０．７７と比較して０．７２である。図３に見られるように、１６の解剖学的組織のうち１５の解剖学的組織について、平滑化後にＤＳＣが改善された。

図４は、例示的な実施形態による、元の画像のセグメンテーションの２Ｄ視覚表現である。図５は、例示的な実施形態による、マルチラベルＶ−Ｎｅｔによる結果のセグメンテーションの２Ｄ視覚表現である。図６は、例示的な実施形態による、後処理後の結果のセグメンテーションの２Ｄ視覚表現である。図７は、例示的な実施形態による、グラウンド・トゥルースのセグメンテーションの２Ｄ視覚表現である。

図８は、例示的な実施形態による、マルチラベルＶ−Ｎｅｔによる結果のセグメンテーションの３Ｄボリューム・レンダリングである。図９は、例示的な実施形態による、後処理後の結果のセグメンテーションの３Ｄボリューム・レンダリングである。図１０は、例示的な実施形態による、グラウンド・トゥルースのセグメンテーションの３Ｄボリューム・レンダリングである。

例示的な実施形態は、セグメンテーション結果を、これまでで最速である公開されたマルチアトラス・レジストレーションおよびラベル融合法と比較する。その文献の結果は、全体の平均ＤＳＣが０．７８であることを示している。しかしながら、これは４８のデータセットのサブセットで実現された。公平な比較のために、例示的な実施形態は、拡張されたセットに対して実験を繰り返した。例示的な実施形態は、すべての構造にわたって平均すると、従来技術のマルチアトラス法の同じデータでの０．８２と比較して、０．７７のＤＳＣを実現する。例示的な実施形態は画像を２ｍｍ×２ｍｍ×３．５ｍｍのサイズにダウンサンプリングしたが、アトラスは１．５ｍｍ×１．５ｍｍ×６ｍｍの再サンプリングされたボクセル・サイズであったので、直接比較は依然として困難であることに留意されたい。

例示的な実施形態の主な利点は、特にグラフィックス処理ユニット（ＧＰＵ）で実行されるときに、テスト／デプロイメント段階での時間コストを削減することにある。マルチラベルＶ−Ｎｅｔが１２ＧＢのメモリを搭載した１つのＴＩＴＡＮ Ｘ ＧＰＵで３Ｄボリュームをセグメント化するのに要する時間は１０秒未満であり、一方、周波数２．１０ＧＨｚのインテル（Ｒ）Ｘｅｏｎ（Ｒ）ＣＰＵ Ｅ５−２６２０ｖ２のマルチアトラス・セグメンテーション方法では約１０分を要する。これは、異なるアトラスのレジストレーションを並列化した後に実現された。

マルチアトラス・ラベル融合法の利点は、小さい解剖学的構造をより正確にセグメント化することにある。例示的な実施形態の適用において、これは、ほとんどの場合に欠落している左肺動脈、上大静脈および大動脈弓の場合に顕著である。図３に示すように、左肺動脈について、マルチアトラス・ラベル融合法はＤＳＣ０．８２を返しており、平滑化されたＶ−Ｎｅｔは、ＤＳＣ０．６８という結果になる。

例示的な実施形態は、胸部ＣＴＡ内の主要な解剖学的構造をセグメント化するために、異なる前景の全体的なＤＳＣに基づくマルチラベルＶ−Ｎｅｔ目的関数を提案する。この方法は、４分割交差検証を使用して訓練および評価され、大きい解剖学的組織のための最先端のマルチアトラス・セグメンテーション方法に近い結果を実現する。方法は、デプロイメント時に非常に有効である。

図１１は、例示的な実施形態による、マルチラベルＶ−Ｎｅｔを用いた心臓ＣＴＡにおける解剖学的構造のセグメンテーションのためのニューラル・ネットワーク訓練エンジンを示すブロック図である。ニューラル・ネットワーク訓練エンジン６１０は、複数のグラウンド・トゥルースＣＴＡボリューム６０５を受け取る。これらのＣＴＡボリューム６０５は、１人または複数の放射線科医によって複数の解剖学的構造について注釈が付けられる訓練インスタンスである。複数の解剖学的構造には、例えば、上行大動脈／下行大動脈／大動脈弓／大動脈根、左肺動脈／右肺動脈／肺動脈幹、椎骨、左心房／右心房、左心室／右心室、左心室筋、または上大静脈／下大静脈が含まれ得る。

ニューラル・ネットワーク訓練エンジン６１０は、前処理コンポーネント６１１、ニューラル・ネットワーク訓練コンポーネント６１２、および後処理コンポーネント６１３を含む。前処理コンポーネント６１１は、グラウンド・トゥルースＣＴＡボリューム６０５に対して１つ以上の前処理動作を実行する。一実施形態では、前処理動作は、ＣＴＡボリューム６０５における画像をダウンサンプリングおよびクロッピングすることを含み得る。より具体的には、前処理動作は、患者間の強度変動を排除するために画像の強度を均一化し、次いでより大きいボクセル・サイズに再サンプリングすることを含み得る。

ニューラル・ネットワーク訓練コンポーネント６１２は、グラウンド・トゥルースＣＴＡボリューム６０５を使用して、ニューラル・ネットワークを訓練し、セグメント化されたＣＴＡボリューム６２５を生成する。例示的な実施形態によれば、ニューラル・ネットワークは、複数の解剖学的構造のセグメンテーション・マスク画像を見いだすことを目標とするセグメンテーションの問題を考慮するためにマルチラベル・ネットワークに拡張されたＶ−Ｎｅｔニューラル・ネットワークとすることができる。したがって、ニューラル・ネットワークは、臓器などの複数の解剖学的構造を同時に識別するように訓練される。ニューラル・ネットワーク訓練コンポーネント６１２は、画像および手動セグメンテーションを使用して教師ありディープ・ラーニング・セグメンテーション・ネットワークを訓練することによって、ニューラル・ネットワークを訓練し、損失が、複数の解剖学的構造についてのダイス・スコアの合計であるマルチダイス・スコアから決定される。

後処理コンポーネント６１３は、セグメンテーション・コンポーネント６１２の結果に対して少なくとも１つの後処理動作を実行する。一実施形態では、後処理動作は、セグメンテーション・コンポーネント６１２の結果をアップサンプリングおよび平滑化することを含む。より具体的には、後処理動作は、表面曲率を前面輪郭の進化速度として使用して表面を進化させることによって、セグメンテーションの表面を平滑化することを含み得る。

図１２は、例示的な実施形態による、マルチラベルＶ−Ｎｅｔを用いた心臓ＣＴＡにおける解剖学的構造のセグメンテーションのためのニューラル・ネットワーク・テスト・エンジンのブロック図である。ニューラル・ネットワーク・テスト・エンジン７１０は、複数のテストＣＴＡボリューム７０５を受け取る。これらのＣＴＡボリューム７０５は、１人または複数の放射線科医によって複数の解剖学的構造について注釈が付けられ得るテスト・インスタンスである。複数の解剖学的構造には、例えば、上行大動脈／下行大動脈／大動脈弓／大動脈根、左肺動脈／右肺動脈／肺動脈幹、椎骨、左心房／右心房、左心室／右心室、左心室筋、または上大静脈／下大静脈が含まれ得る。

ニューラル・ネットワーク・テスト・エンジン７１０は、前処理コンポーネント７１１、訓練されたニューラル・ネットワーク７１２、および後処理コンポーネント７１３を含む。前処理コンポーネント７１１は、グラウンド・トゥルースＣＴＡボリューム７０５に対して１つまたは複数の前処理動作を実行する。一実施形態では、前処理動作は、ＣＴＡボリューム７０５における画像をダウンサンプリングおよびクロッピングすることを含み得る。より具体的には、前処理動作は、患者間の強度変動を排除するために画像の強度を均一化し、次いでより大きいボクセル・サイズに再サンプリングすることを含み得る。

訓練されたニューラル・ネットワーク７１２は、テストＣＴＡボリューム７０５をセグメント化して、セグメント化されたＣＴＡボリューム７２５を生成するように動作する。例示的な実施形態によれば、訓練されたニューラル・ネットワーク７１２は、複数の解剖学的構造のセグメンテーション・マスク画像を見いだすことを目標とするセグメンテーションの問題を考慮するためにマルチラベル・ネットワークに拡張されたＶ−Ｎｅｔニューラル・ネットワークとすることができる。ニューラル・ネットワーク７１２は、臓器などの複数の解剖学的構造を同時に識別するように訓練される。ニューラル・ネットワーク７１２は、教師ありディープ・ラーニング・セグメンテーション・ネットワークであり、損失が、複数の解剖学的構造についてのダイス・スコアの合計であるマルチダイス・スコアから決定される。

後処理コンポーネント７１３は、訓練されたニューラル・ネットワーク７１２の結果に対して少なくとも１つの後処理動作を実行する。一実施形態では、後処理動作は、訓練されたニューラル・ネットワーク７１２の結果をアップサンプリングおよび平滑化することを含む。より具体的には、後処理動作は、表面曲率を前面輪郭の進化速度として使用して表面を進化させることによって、セグメンテーションの表面を平滑化することを含み得る。

図１３は、例示的な実施形態による、心臓ＣＴＡにおける解剖学的構造のセグメンテーションのための教師ありディープ・ラーニング・ネットワークを訓練するためのメカニズムの動作を示すフローチャートである。動作が開始し（ブロック８００）、メカニズムは、訓練ＣＴＡ画像のセットを受け取り（ブロック８０１）、複数の臓器の画像の手動セグメンテーションを受け取る（ブロック８０２）。メカニズムは、前処理を実行する（ブロック８０３）。前処理は、訓練ＣＴＡボリュームにおける画像をダウンサンプリングすることを含み得る。

メカニズムは、訓練画像および手動セグメンテーションを使用して教師ありディープ・ラーニング・ネットワークを訓練し、損失が、マルチダイス・スコアから決定される（ブロック８０４）。例示的な実施形態によれば、メカニズムは、複数の解剖学的構造のセグメンテーション・マスク画像を見いだすことを目標とするセグメンテーションの問題を考慮するためにマルチラベル・ネットワークに拡張された教師ありディープ・ラーニング・ネットワークを訓練する。ニューラル・ネットワークは、臓器などの複数の解剖学的構造を同時に識別するように訓練される。メカニズムは、画像および手動セグメンテーションを使用することによって教師ありディープ・ラーニング・セグメンテーション・ネットワークを訓練し、損失が、複数の解剖学的構造についてのダイス・スコアの合計であるマルチダイス・スコアから決定される。その後、動作は終了する（ブロック８０５）。

図１４は、例示的な実施形態による、心臓ＣＴＡにおける解剖学的構造のセグメンテーションのための訓練されたネットワークをテストするためのメカニズムの動作を示すフローチャートである。動作が開始し（ブロック９００）、メカニズムはテストＣＴＡ画像を受け取る（ブロック９０１）。メカニズムは前処理を実行する（ブロック９０２）。前処理は、訓練ＣＴＡボリュームにおける画像をダウンサンプリングすることを含み得る。

メカニズムは、訓練された教師ありディープ・ラーニング・ネットワークを使用して、テスト画像のセグメント化された出力を取得する（ブロック９０３）。例示的な実施形態によれば、教師ありディープ・ラーニング・ネットワークは、複数の解剖学的構造のセグメンテーション・マスク画像を見いだすことを目標とするセグメンテーションの問題を考慮するように訓練される。ニューラル・ネットワークは、臓器などの複数の解剖学的構造を同時に識別するように訓練される。

次いで、メカニズムは、Ｖ−Ｎｅｔマルチラベル・セグメンテーションを実行した結果に対して後処理を実行する（ブロック９０４）。後処理は、セグメンテーション動作によって得られた画像に対する平滑化を含み得る。その後、動作は終了する（ブロック９０５）。

上記のように、例示的な実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはハードウェア要素とソフトウェア要素の両方を含む実施形態の形をとり得ることを理解されたい。例示的な一実施形態では、例示的な実施形態のメカニズムは、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがこれらに限定されないソフトウェアまたはプログラム・コードにおいて実装される。

プログラム・コードを格納するため、または実行するため、あるいはその両方に適したデータ処理システムは、例えば、システム・バスなどの通信バスを介してメモリ要素に直接または間接的に結合された少なくとも１つのプロセッサを含むことになる。メモリ要素は、プログラム・コードの実際の実行中に使用されるローカル・メモリ、大容量記憶装置、および実行中に大容量記憶装置からコードを取得しなければならない回数を低減するために少なくともいくつかのプログラム・コードの一時的記憶領域を提供するキャッシュ・メモリを含み得る。メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ、ソリッド・ステート・メモリなどを含むがこれらに限定されない様々なタイプのものであってよい。

入力／出力デバイスすなわちＩ／Ｏデバイス（キーボード、ディスプレイ、ポインティング・デバイスなどが含まれるがこれらに限定されない）は、直接または介在する有線または無線のＩ／Ｏインターフェースまたはコントローラあるいはその両方などを介してシステムに結合され得る。Ｉ／Ｏデバイスは、例えば、従来のキーボード、ディスプレイ、ポインティング・デバイスなど以外にも、例えば、スマートフォン、タブレット・コンピュータ、タッチ・スクリーン・デバイス、音声認識デバイスなどを含むがこれらに限定されない有線または無線接続を介して結合された通信デバイスなど、多くの様々な形をとることができる。任意の知られたまたは後に開発されるＩ／Ｏデバイスは、例示的な実施形態の範囲内にあることを意図したものである。

データ処理システムが、介在するプライベート・ネットワークまたはパブリックネット・ワークを介して他のデータ処理システムまたはリモート・プリンタもしくは記憶デバイスに結合できるように、ネットワーク・アダプタをシステムに結合することもできる。モデム、ケーブル・モデム、およびＥｔｈｅｒｎｅｔ（Ｒ）カードは、有線通信用ネットワーク・アダプタの現在利用可能なタイプのごく一部である。８０２．１１ａ／ｂ／ｇ／ｎ無線通信アダプタ、Ｂｌｕｅｔｏｏｔｈ（Ｒ）無線アダプタなどを含むがこれらに限定されない無線通信ベースのネットワーク・アダプタを利用することもできる。任意の知られたまたは後に開発されるネットワーク・アダプタは、本発明の思想および範囲内にあることを意図したものである。

本発明の説明は、例示および説明の目的で提示されており、網羅的であること、または開示された形態の本発明に限定することを意図したものではない。説明された実施形態の範囲から逸脱することなく、多くの修正および変形が当業者には明らかであろう。実施形態は、本発明の原理、実際の適用を最もよく説明し、当業者が企図される特定の用途に適した様々な変更を加えた様々な実施形態の本発明を理解できるようにするために選択および説明された。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実際の適用または技術的改良を最もよく説明するため、または当業者が本明細書で開示される実施形態を理解できるようにするために選択された。

Claims (20)

1. プロセッサおよびメモリを含むデータ処理システムにおける方法であって、前記メモリが、完全畳み込みニューラル・ネットワークを用いた心臓コンピュータ断層撮影血管造影（ＣＴＡ）における解剖学的構造のセグメンテーションのためのシステムを実装するように前記プロセッサを特に構成するように前記プロセッサによって実行される命令を含み、前記方法が、
   （ａ）複数の解剖学的構造のそれぞれについて（ｉ）軸位断で走査された１組の胸部ＣＴＡ画像、および（ｉｉ）前記画像の手動セグメンテーションを収集することと、
   （ｂ）同じ視野（ＦＯＶ）を共有するように前記画像を前処理することと、
   （ｃ）前記画像と前記手動セグメンテーションの両方を使用して教師ありディープ・ラーニング・セグメンテーション・ネットワークを訓練することであって、損失が、前記複数の解剖学的構造すべてについてのダイス・スコアの合計であるマルチダイス・スコアから決定され、各ダイス・スコアが前記解剖学的構造のうちの１つについての前記手動セグメンテーションと前記ネットワークの出力との間の類似度として計算される、訓練することと、
   （ｄ）前記訓練されたネットワーク上で所与の前処理済み画像をテストし、それによって前記所与の画像のセグメント化された出力を取得することと、
   （ｅ）前記所与の画像の前記セグメント化された出力に対して後処理を実行することと
   を含む方法。
2. 前記画像を前処理することが、前記所与の画像の前記セグメント化された出力をダウンサンプリングすることを含む、請求項１に記載の方法。
3. 後処理を実行することが、前記所与の画像の前記セグメント化された出力に対してアップサンプリングを実行することを含む、請求項２に記載の方法。
4. 後処理を実行することが、前記所与の画像の前記セグメント化された出力に対して平滑化を実行することを含む、請求項２に記載の方法。
5. 前記教師ありディープ・ラーニング・セグメンテーション・ネットワークが、マルチラベル・ネットワークに拡張され、
   

   

   を確立することによって、解剖学的構造ｉのセグメンテーション・マスク画像Ｆ_ｉを見いだすことを目標とし、ここで、
   

   

   が、ｉ番目のセグメント化された前景のｊ番目のボクセルであり、
   

   

   がｉ番目のグラウンド・トゥルース構造内にあるグラウンド・トゥルースであり、前記セグメンテーションと前記グラウンド・トゥルースとの間の全体的なダイス・スコアを、ｉ番目のセグメンテーションのｊ番目のボクセルで微分して、以下の勾配を求め、
   

   

   ここで、Ｎが前記画像中のボクセルの総数である、請求項１に記載の方法。
6. 前記所与の画像の前記セグメント化された出力が、前記複数の解剖学的構造についてセグメント化される、請求項１に記載の方法。
7. 複数の解剖学的構造が、上行大動脈、下行大動脈、大動脈弓、大動脈根、左肺動脈、右肺動脈、肺動脈幹、椎骨、左心房、右心房、左心室、右心室、左心室筋、および上大静脈、下大静脈を含む、請求項１に記載の方法。
8. 前記画像を前処理することが、患者間の強度変動を排除するために前記画像の強度を均一化することを含む、請求項１に記載の方法。
9. 格納されたコンピュータ可読プログラムを有するコンピュータ可読記憶媒体を備えるコンピュータ・プログラム製品であって、前記コンピュータ可読プログラムが、コンピューティング・デバイス上で実行されると、前記コンピューティング・デバイスに、完全畳み込みニューラル・ネットワークを用いた心臓コンピュータ断層撮影血管造影（ＣＴＡ）における解剖学的構造のセグメンテーションのためのシステムを実装させ、前記コンピュータ可読プログラムが、前記コンピューティング・デバイスに、
   （ａ）複数の解剖学的構造のそれぞれについて（ｉ）軸位断で走査された１組の胸部ＣＴＡ画像、および（ｉｉ）前記画像の手動セグメンテーションを収集することと、
   （ｂ）同じ視野（ＦＯＶ）を共有するように前記画像を前処理することと、
   （ｃ）前記画像と前記手動セグメンテーションの両方を使用して教師ありディープ・ラーニング・セグメンテーション・ネットワークを訓練することであって、損失が、前記複数の解剖学的構造すべてについてのダイス・スコアの合計であるマルチダイス・スコアから決定され、各ダイス・スコアが前記解剖学的構造のうちの１つについての前記手動セグメンテーションと前記ネットワークの出力との間の類似度として計算される、訓練することと、
   （ｄ）前記訓練されたネットワーク上で所与の前処理済み画像をテストし、それによって前記所与の画像のセグメント化された出力を取得することと、
   （ｅ）前記所与の画像の前記セグメント化された出力に対して後処理を実行することと
   を実行させる、コンピュータ・プログラム製品。
10. 前記画像を前処理することが、前記所与の画像の前記セグメント化された出力をダウンサンプリングすることを含む、請求項９に記載のコンピュータ・プログラム製品。
11. 後処理を実行することが、前記所与の画像の前記セグメント化された出力に対してアップサンプリングを実行することを含む、請求項１０に記載のコンピュータ・プログラム製品。
12. 後処理を実行することが、前記所与の画像の前記セグメント化された出力に対して平滑化を実行することを含む、請求項１０に記載のコンピュータ・プログラム製品。
13. 前記教師ありディープ・ラーニング・セグメンテーション・ネットワークが、マルチラベル・ネットワークに拡張され、
    

    

    を確立することによって、解剖学的構造ｉのセグメンテーション・マスク画像Ｆ_ｉを見いだすことを目標とし、ここで、
    

    

    が、ｉ番目のセグメント化された前景のｊ番目のボクセルであり、
    

    

    がｉ番目のグラウンド・トゥルース構造内にあるグラウンド・トゥルースであり、前記セグメンテーションと前記グラウンド・トゥルースとの間の全体的なダイス・スコアを、ｉ番目のセグメンテーションのｊ番目のボクセルで微分して、以下の勾配を求め、
    

    

    ここで、Ｎが前記画像中のボクセルの総数である、請求項９に記載のコンピュータ・プログラム製品。
14. 前記所与の画像の前記セグメント化された出力が、前記複数の解剖学的構造についてセグメント化される、請求項９に記載のコンピュータ・プログラム製品。
15. 複数の解剖学的構造が、上行大動脈、下行大動脈、大動脈弓、大動脈根、左肺動脈、右肺動脈、肺動脈幹、椎骨、左心房、右心房、左心室、右心室、左心室筋、および上大静脈、下大静脈を含む、請求項９に記載のコンピュータ・プログラム製品。
16. 前記画像を前処理することが、患者間の強度変動を排除するために前記画像の強度を均一化することを含む、請求項９に記載のコンピュータ・プログラム製品。
17. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに結合されたメモリと
    を備える装置であって、前記メモリが、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、完全畳み込みニューラル・ネットワークを用いた心臓コンピュータ断層撮影血管造影（ＣＴＡ）における解剖学的構造のセグメンテーションのためのシステムを実装させる命令を含み、前記命令が、前記少なくとも１つのプロセッサに、
    （ａ）複数の解剖学的構造のそれぞれについて（ｉ）軸位断で走査された１組の胸部ＣＴＡ画像、および（ｉｉ）前記画像の手動セグメンテーションを収集することと、
    （ｂ）同じ視野（ＦＯＶ）を共有するように前記画像を前処理することと、
    （ｃ）前記画像と前記手動セグメンテーションの両方を使用して教師ありディープ・ラーニング・セグメンテーション・ネットワークを訓練することであって、損失が、前記複数の解剖学的構造すべてについてのダイス・スコアの合計であるマルチダイス・スコアから決定され、各ダイス・スコアが前記解剖学的構造のうちの１つについての前記手動セグメンテーションと前記ネットワークの出力との間の類似度として計算される、訓練することと、
    （ｄ）前記訓練されたネットワーク上で所与の前処理済み画像をテストし、それによって前記所与の画像のセグメント化された出力を取得することと、
    （ｅ）前記所与の画像の前記セグメント化された出力に対して後処理を実行することと
    を実行させる、装置。
18. 前記画像を前処理することが、前記所与の画像の前記セグメント化された出力をダウンサンプリングすることを含み、後処理を実行することが、前記所与の画像の前記セグメント化された出力に対してアップサンプリングを実行することを含む、請求項１７に記載の装置。
19. 後処理を実行することが、前記所与の画像の前記セグメント化された出力に対して平滑化を実行することを含む、請求項１８に記載の装置。
20. 前記教師ありディープ・ラーニング・セグメンテーション・ネットワークが、マルチラベル・ネットワークに拡張され、
    

    

    を確立することによって、解剖学的構造ｉのセグメンテーション・マスク画像Ｆ_ｉを見いだすことを目標とし、ここで、
    

    

    が、ｉ番目のセグメント化された前景のｊ番目のボクセルであり、
    

    

    がｉ番目のグラウンド・トゥルース構造内にあるグラウンド・トゥルースであり、前記セグメンテーションと前記グラウンド・トゥルースとの間の全体的なダイス・スコアを、ｉ番目のセグメンテーションのｊ番目のボクセルで微分して、以下の勾配を求め、
    

    

    ここで、Ｎが前記画像中のボクセルの総数である、請求項１７に記載の装置。

Images