JP2022509016A - 深層スペクトルボーラス追跡 - Google Patents

Abstract

イメージング動作を支援するコンピュータ実施システム及び関連する方法である。システムは、イメージング装置ＩＡによって調達された物体ＯＢの導管ＶＳ内の標的位置ＲＯＩの入力画像を含む入力データを受け取る１つ以上の入力インターフェースＩＮを含む。導管は、導管内を標的位置に向かって伝搬可能である標的物質ＣＡを含む。事前トレーニングされた機械学習コンポーネントＭＬＣ２が、入力データを処理して、標的位置への標的物質の到達を示す出力データを得る。出力インターフェースＯＵＴが出力データを出力する。

Description

本発明は、画像処理システム、画像処理用の機械学習コンポーネントをトレーニングするシステム、画像処理方法、画像処理用の機械学習コンポーネントをトレーニングする方法、コンピュータプログラム要素、及びコンピュータ可読媒体に関する。

コンピュータ断層撮影血管造影（ＣＴＡ）は、身体全体の動脈及び静脈血管を可視化するために使用されるコンピュータ断層撮影ベースのイメージング技術である。

例としては、脳に血液を供給する動脈、特に心筋に血液を供給する冠動脈が挙げられる。ＣＴＡ画像は、血流に造影剤を注入した後にＣＴデータを取得することで生成される。

ＣＴ血管造影を成功させるための前提条件は、造影剤の動脈通過とＣＴデータ取得との、最適ではないにしても良好な同期である。

末梢静脈に注入された流入造影剤の臓器への到達時間を決定するために、いくつかのアプローチが提案されている：
１）造影剤注入後、一定の遅延でＣＴスキャンが開始される固定遅延技術。これは、異なる患者に対して血流速度が異なるため、準最適な結果をもたらす可能性がある。
２）試験ボーラス注入を使用した通過時間の決定。これは、複数回のスキャン、及び、患者に投与される造影剤の量の増加をもたらす。
３）ボーラス追跡。このアプローチでは、薄い画像スラブが取得され、複数の短いスキャンを使用して定期的に更新される。ユーザ定義の領域内の画像強度がモニタリングされ、ボーラスが標的領域に到達したことを示す所定の強度値に達したときに、診断画像取得が開始される。

しかしながら、ＣＴスキャンを造影剤の流れと同期させるためのボーラス追跡アプローチは、ａ）正確な取得開始時間を見つけるためだけに費やされるＸ線線量がかなりの量であること、ｂ）ＣＴ取得をトリガするユーザ／自動アルゴリズムに強度増強が可視であるように、患者に投与される造影剤の量が十分であること、ｃ）取得をトリガするために、様々なユーザによって主観的にＲＯＩが選択され、閾値が設定されることは、画質がばらつく可能性があることを含む、いくつかの欠点がある。

したがって、特にボーラス追跡においてであるが、ボーラス追跡のみにおいてではなく、画像ベースの解析を支援する代替システム又は方法が必要である。

本発明の目的は、独立請求項の主題によって解決され、さらなる実施形態は従属請求項に組み込まれる。なお、以下に説明する本発明の態様は、コンピュータプログラム要素、及びコンピュータ可読媒体に等しく適用されることに留意されたい。

本発明の第１の態様によれば、画像処理用の（コンピュータ実施）システムが提供される。システムは、
イメージング装置を介して調達された、物体の導管内の標的位置（「ＲＯＩ」）の入力画像を含む入力データを受け取る１つ以上の入力インターフェースであって、導管は、標的位置に向かって導管内を伝搬可能である標的物質を含む、１つ以上の入力インターフェースと、
入力データを処理して、標的位置における標的物質の到達を示す出力データを得るために事前トレーニングされた機械学習コンポーネントと、
出力データを出力する出力インターフェースとを含む。出力データは、例えば、標的位置における物質の質量又は濃度を示す。出力データは、トレーニング目的に使用できる。好ましくは、実施形態では、システムは、出力データに基づいて、イメージング装置の動作を制御するイメージング制御コンポーネントを含む。具体的には、実施形態では、イメージング制御コンポーネントは、画像取得動作をトリガする。この実施形態では、出力は、「イメージングを開始」するための「１」、又は、「０」、すなわち、「保留」などのトリガスケジュール又は命令を含み得る。

好ましくは、入力画像は、モニタリング動作において調達された関心位置の「ライブ」画像を形成する。好ましくは、一連のそのような入力画像は、医用イメージングにおける造影剤のボーラスなどの物質の到達について、位置をモニタリングするためのライブフィードとして取得される。つまり、１つ以上の入力画像は、好ましくは、ライブボーラス追跡セッションのコンテキストにおいて調達される。「物体」は患者であってもよく、入力画像はこの患者に関して取得される。

実施形態では、このようにトリガされた画像取得動作は、標的位置に対して異なる方向から複数の投影画像を取得することを含む。つまり、実際のイメージング、すなわち、診断イメージングが、特定の患者に対してトリガされる。ＣＴでは、好ましくは、例えば約１８０°の回転でフルスキャンがトリガされる。トリガされたイメージング動作は、好ましくは、診断目的であり、モニタリング中に入力画像（複数可）を取得するために使用された線量よりも多い線量で行われ得る。

実施形態では、機械学習コンポーネントは、ニューラルネットワークとして、特に畳み込みニューラルネットワークとして構成されている。

実施形態では、ニューラルネットワークは、少なくとも１の深さを有し、２以上が一層よい。特に、ニューラルネットワークは、少なくとも１つの隠れ層、好ましくは、２つ以上の隠れ層を含む。実施形態では、ニューラルネットワークは、少なくとも２つの隠れ層を含み、少なくとも２つの層のうちの少なくとも一方の隠れ層は、データ次元の低減をもたらし、少なくとも他方の隠れ層は、データ次元の増加をもたらす。これは、過剰適合を抑制し続けることができるので、よりロバストな遂行を達成するのに役立つアップサンプリング及びダウンサンプリングを実施する。また、深層アーキテクチャを使用することにより、入力画像のマルチスケール解析が可能になり、したがって、正しい遂行率をさらに高めることができる。

実施形態では、入力画像は、スペクトルイメージング用に構成された別のイメージング装置又は上述のイメージング装置によって調達される。具体的には、スペクトルイメージングアルゴリズムによって入力画像を処理して、入力画像を造影剤により良く適応させることができる。

実施形態では、導管は、体液を保持又は運ぶヒト又は動物の脈管の少なくとも一部を含み。一実施形態では、導管は、ヒト又は動物（例えば、哺乳動物）の心臓の冠状脈管（動脈又は静脈）などの脈管である。実施形態において、標的物質は、医用イメージング用の造影剤を含む。しかしながら、本明細書では、非医学的なコンテキストも想定されている。

実施形態では、調達された入力画像は、イメージング装置によって取得された少なくとも１つの投影画像である。好ましくは、モニタリング中に一度にイメージング装置によって取得される単一の投影画像は、適切なサンプリング周波数で取得される。モニタリング中に入力投影画像が取得される方向は一定のままであっても、変化してもよい。

モニタリング中に投影画像（複数可）を取得するために使用されるイメージング装置は、好ましくは、トリガされた診断イメージングに使用されるものと同じであるが、実施形態では、２つは異なってもよく、したがって、同じ又は異なるモダリティの２つのイメージング装置もまた、本明細書で想定されている。好ましくは、しかし必然的に、診断イメージングは、モニタリングイメージングよりも高い線量で行われる。

実施形態では、入力データは、ｉ）物体を記述するデータ、ｉｉ）物質の伝搬様式を記述するデータのうちのいずれか又は両方を含む。このデータは、非画像データを含み得るコンテキストデータを形成する。これにより、機械学習コンポーネントの優れたロバスト性といった優れた性能を達成できる。

いくつかの実施形態では、標的位置は、イメージング装置によって使用されたイメージングプロトコルに少なくとも基づいて、他の機械学習コンポーネントによって事前に特定されている。すなわち、この実施形態では、２つの機械学習アルゴリズムがあり、１つは追跡パラメータを予測し、もう１つは上述のように実際の追跡データに基づいてスキャンを開始する。

別の態様では、イメージング動作を支援する方法が提供される。方法は、
イメージング装置を介して調達された、物体の導管内の標的位置の入力画像を含む入力データを受け取るステップであって、導管は、標的位置に向かって導管内を伝搬可能である標的物質を含む、受け取るステップと、
事前トレーニングされた機械学習コンポーネントによって、入力画像を処理して、標的位置における標的物質の到達を示す出力データを得るステップと、
出力データを出力するステップとを含む。

本明細書において提案するシステム又は方法は、造影剤のボーラスが患者に投与される血管造影応用において特に有益である。ＭＲＩ、ＰＥ、ＳＰＥＣＴなどのＸ線ベースのイメージング以外の応用もまた、本明細書で想定され、イメージングのシナリオには、心臓イメージングなどが含まれる。提案する方法、具体的には、深層学習ベースの機械学習アーキテクチャとスペクトル画像の使用との組合せは、低用量の造影剤が使用される場合であっても、特にＣＴ血管造影のために、正確なボーラス追跡を可能にする。本発明の別の利点は、再構成画像ではなく、単に投影画像をモニタリングイメージングに使用できる点にある。上述のように、実施形態では、モニタリング中に一度の単一の投影画像を使用できる。正確なボーラス追跡のために、一度にわずか１つの投影画像を使用できることは、スペクトル画像を使用すること、及び／又は特に深層学習アーキテクチャにおいて構成された機械学習コンポーネントがあることに起因し得る。このような深層学習アーキテクチャには、ニューラルネットワーク、特に、少なくとも１つの、２つ以上が一層よい、隠れ層を有する畳み込みニューラルネットワーク（ＣＮＮ）の少なくとも一部分が含まれるが、これに限定されない。

実施形態では、提案する方法及びシステムは、深層学習ベースのスペクトルボーラス追跡を使用して、造影剤投与との向上された、正確で、客観的且つ標準化されたＣＴスキャン同期を可能にする。提案するシステム及び方法は、好ましくは、スペクトルＣＴ又はＸ線撮影データを深層学習ベースのモジュールと共に利用して、ｉ）ＲＯＩの位置を特定すること、ｉｉ）ボーラスを追跡すること、ｉｉｉ）ＣＴ、ＭＲＩ、又はＰＥＴ／ＳＰＥＣＴフルスキャンなどの画像取得動作をトリガすることのうちの任意の１つ又は複数を自動的に行う。

量が少ない造影剤のボーラスを追跡できることは、現在使用されている造影剤用量に関連する有害な副作用を減少させ、さらに、特に、ＣＴＡスキャンにおいて、より良く、より標準化され且つ一貫した画質を達成する可能性を有する。

本明細書で想定されているさらなる態様は、イメージング動作を支援するシステムを含む。システムは、
イメージング動作の仕様及び／又はイメージングされる物体を記述するデータを含む入力データを受け取る１つ以上の入力インターフェースと、
入力データを処理して、ｉ）物体内の標的位置、及び／又は、ｉｉ）物体の導管を通って標的位置に向かって伝搬可能な標的物質の伝搬様式を示す出力データを得るために事前トレーニングされた機械学習コンポーネントと、
出力データを出力する出力インターフェースとを含む。

実施形態では、上述のシステムのいずれか１つ又は複数は、イメージング装置内へ完全に又は少なくとも部分的に統合される。

別の態様では、イメージング動作を支援する方法が提供される。方法は、
イメージング動作の仕様及び／又はイメージングされる物体を記述するデータを含む入力データを受け取るステップと、
事前トレーニングされた機械学習コンポーネントによって、入力データを処理して、ｉ）物体内の標的位置、及び／又は、ｉｉ）物体の導管を通って標的位置に向かって伝搬可能な標的物質の伝搬様式を示す出力データを得るステップと、
出力データを出力するステップとを含む。

別の態様では、上述の機械学習コンポーネントのいずれか１つをトレーニングするシステムが提供される。

別の態様では、上述の態様又は実施形態のいずれか１つにおいて使用される機械学習コンポーネントをトレーニングする方法が提供される。学習方法は、
トレーニングデータを提供するステップと、
対応する学習コンポーネントのモデルにトレーニングデータを適用するステップと、
トレーニングアルゴリズムを実行して、学習を行うために、モデルの１つ以上のパラメータを調整するステップとを含み得る。ステップは、トレーニングデータのアイテムに対して繰り返されてもよい。

別の態様では、少なくとも１つのコンピュータプログラム要素が提供される。これは、少なくとも１つの処理ユニットによって実行されると、該処理ユニットに、上述の態様のいずれか１つによる方法を行わせる。

好ましくは、処理ユニットは、マルチコアデザインである、及び／又は、並列計算用に構成されている。

別の態様では、プログラム要素が記憶されている少なくとも１つのコンピュータ可読媒体が提供される。

トレーニング及びデプロイメントは、同じ計算ハードウェア上で行われても、異なるハードウェア構成部上で行われてもよい。

上記で使用される「調達」とは、イメージング装置の動作によって投影ドメインの画像データを取得することを含むが、特に、そのような投影データからの再構成によって、画像ドメインの画像データを形成することも含む。

本明細書で使用される「構成」は、トレーニング中に調整可能なすべてのモデルパラメータ（重み、フィルタ係数）を含む。そのような変数の所与の集合は、ＭＬＣが動作するやり方を定義し、したがって、ＭＬＣの構成を形成する。

一般に、「機械学習コンポーネント」は、タスクを行う機械学習（「ＭＬ」）アルゴリズムを実装するコンピュータ化された構成部である。ＭＬアルゴリズムでは、構成部に多くのトレーニングデータＴＩを供給した後に、タスク性能が測定できるほどに向上する。タスク性能は、システムにテストデータを供給する際の客観的テストによって測定され得る。タスク性能は、所与のテストデータに対して一定の誤り率が達成されることを要求するものとして定義されてもよい。Ｔ．Ｍ．Ｍｉｔｃｈｅｌｌによる「Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」（２頁、第１．１章、ＭｃＧｒａｗ‐Ｈｉｌｌ、１９９７年）を参照されたい。

次に、本発明の例示的な実施形態について、縮尺通りではない以下の図面を参照して説明する。

図１は、イメージング構成部の概略ブロック図を示す。 図２は、一実施形態による機械学習コンポーネントのブロック図を示す。 図３は、一実施形態による機械学習コンポーネントの人工ニューラルネットワーク実施形態のブロック図を示す。 図４は、第２の実施形態による機械学習コンポーネントのブロック図を示す。 図５は、一実施形態による機械学習コンポーネントの人工ニューラルネットワーク実施形態のブロック図を示す。 図６は、一実施形態による機械学習コンポーネントのためのシステムを示す。 図７は、一実施形態による機械学習コンポーネントをトレーニングするためのシステムを示す。 図８は、一実施形態によるイメージングを支援する方法のフローチャートを示す。 図９は、第２の実施形態によるイメージングを支援する方法のフローチャートを示す。 図１０は、機械学習コンポーネントをトレーニングするシステムのフローチャートを示す。

図１の概略ブロック図を参照して、イメージング構成部の概略ブロック図が示されている。イメージング構成部は、イメージング装置ＡＩと、イメージングを支援する、特にイメージング装置ＡＩ又は他のイメージング装置によるイメージングを支援するコンピュータ化されたシステムＳＳＩ（本明細書では「ＳＳＩ」とも呼ぶ）とを含む。

イメージング装置ＩＡは、Ｘ線ベースであることが好ましいが、必ずしもそうである必要はなく、物体ＯＢの１つ以上の画像を取得する。

ＳＳＩは、物体に関してデータを解析することによって、イメージング動作を支援する。データは、イメージング装置によって取得された物体ＯＢの（１つ以上の）画像、又は、そのように取得された画像から導出できる画像を含む。ＳＳＩは、好ましくは、コンピュータ化されたシステムである。

本明細書で想定されるイメージング構成部の主な応用は、医学分野にあるが、本明細書では、非破壊的材料検査又は手荷物検査などの非医学的コンテキストも除外されていない。したがって、用語「物体ＯＢ」は、本明細書では、ヒト若しくは動物の患者、又はその解剖学的部分といった生物「物体」を含むように一般的な意味で使用されるが、無生物の物体も含む。しかし、提案するシステムＳＳＩは、本明細書では、主に医療分野を参照して説明され、したがって、物体ＯＢを「患者」として参照し、関心位置ＲＯＩは、患者ＯＢの特定の解剖学的構造又は解剖学的構造のグループである。

ＳＳＩは、以下のコンポーネント：物体の画像を解析し、その解析に基づいて、イメージング装置の動作を制御する機械学習コンポーネントＭＬＣ２のうちの１つ又は２つを含む。機械学習コンポーネントＭＬＣ２は、物体内の特定の関心位置を検査する必要があるが、その位置がアクセス不能であるか、閉塞されているか、又は周囲の不透過性材料内に埋め込まれていて、直接的な目視検査ができない応用シナリオにおいて、有益に使用される。

本明細書で想定されている１つのそのような応用シナリオは、導管ＶＳの内側位置の画像ベースの検査であり、ここでは、イメージング装置によって取得される位置ＲＯＩの画像のコントラストを高めるために物質ＣＡが使用される。本明細書で主に想定される好ましい応用シナリオ及び実施形態は、医学分野、すなわち、Ｘ線ベースのイメージング、特に血管造影にある。血管造影は、Ｘ線撮影におけるように、２Ｄ画像に基づくか、又は、ＣＴスキャナベースの血管造影（ＣＴＡ）若しくはＣアームイメージングなどの他の回転イメージング応用におけるように、３Ｄ画像に基づいている。以下では、Ｘ線ベースのイメージングを主に参照するが、提案するシステムは、ＭＲＩイメージングなどにおける造影剤の使用など、他のイメージングモダリティでも有益に使用される。

Ｘ線ベースの血管造影では、大腿静脈又は動脈などの適切な入口点を通して、ボーラスが患者ＯＢに投与される。患者ＯＢは、血管造影手順の間、支持体Ｔ上に存在する。ボーラスは、特に軟組織画像においてコントラストを高めるために投与される規定量の物質、すなわち、造影剤ＣＡである。適切な造影剤には、ＣＴ用のヨウ素ベースの造影剤、又は、ＭＲＩ用のガドリニウムベースの造影剤が含まれる。硫酸バリウムなどの経口投与される造影剤も考えられる。投与後、ボーラスは、入口点から標的位置まで血流と共に伝搬する。一定の時間、すなわち、通過時間の後、物質ＣＡの一部又は全部が目的の標的位置に達し、この位置を通過する。標的位置は、患者ＯＢの心臓の冠動脈などの特定の種類の血管ＶＳである。血管造影イメージングの利点を最大限に引き出すためには、十分な量の造影剤が標的部位に到達し集積したちょうどの時間に診断画像を取得する必要がある。十分な造影剤が蓄積される前で、画像取得のトリガが早過ぎる場合、画像コントラストは悪い。しかし、画像取得のトリガが遅過ぎる場合、造影剤がすでに標的位置を通過しているので、画像コントラストは同様に悪い。本明細書で主に想定されるこの応用又は同様の応用において、ボーラス追跡手順が使用される。ボーラス追跡では、標的位置は、１つ以上のモニタリング画像、すなわち、充分な造影剤がその位置に到達した時点（本明細書では「トリガ時間」と呼ぶ）を確立し、次いで診断イメージング取得を行うために、機械学習コンポーネントＭＬＣ２によって解析される関心位置（本明細書では関心領域ＲＯＩとも呼ぶ）のリアルタイムのライブ画像を取得することによってモニタリングされる。機械学習コンポーネントは、診断画像取得をいつトリガするかを決定するための決定ロジックを実装する。診断イメージングでは、一般に、患者へのＸ線量被ばくを低減するために、モニタリングイメージングを取得するためよりも高い線量が使用される。

トリガ時間は、患者の物理的特性、血管管腔の状態、血液の粘度、血流速度、使用される造影剤のタイプなどの多くの因子によることを理解されたい。これらの因子は、最初に投与されたボーラスが周囲の流体、例えば、血液とどのように分散し、混合し、伝搬するかに影響を及ぼすことが予想される。これらの因子が組み合わさって、通過時間中にボーラスの形状がどのように変化するかに影響を及ぼす。ボーラスは、異なる患者ＯＢに対して、関心位置を通過する際に異なる外観を有する。最終的に関心位置に現れるボーラス（又はその少なくとも一部）の外観とトリガ時間との間には、関数関係がある。このボーラスの外観は、ひいては、好ましくは投影ドメインにあるモニタリング画像によって記録可能な関心位置における強度パターンを決定する。したがって、関心位置において記録可能なコントラスト分布（又は強度パターン）とトリガ時間との間にマッピングがある。したがって、基礎となるマッピングと呼ばれるこのマッピングは未知であり、比較的複雑であると予想される。本明細書で想定される機械学習コンポーネントＭＬＣ２は、過去のトレーニングデータから、基礎となるマッピングを十分な近似値まで学習し、その後、将来の血管造影応用のためのトリガ時間を推定する。学習コンポーネントＭＬＣ２のこのような実施形態は、以下では「ボーラストラッカ」と呼ぶ。しかしながら、機械学習コンポーネントＭＬＣ２は、アクティブ画像取得の停止、取得モードの変更（高エネルギー／低エネルギー）のうちの任意の１つ以上といった、画像取得トリガ以外のイメージング動作を制御するためにも使用されることを理解されたい。

ボーラストラッカ実施形態ＭＬＣ２に加えて又はその代わりに、支援システムＳＳＩは、イメージングプロトコルデータを含む適切な入力データに基づいて、上述の標的位置を空間的に確立する別の機械学習コンポーネントＭＬＣ１を含んでもよい。この入力データは、画像データを含んでも含まなくてもよい。さらに又は代わりに、機械学習コンポーネントＭＬＣ２は、ボーラストラッカＭＬＣ２用の入力として使用される適切なボーラス追跡パラメータ（本明細書では「ＢＴＰ」とも呼ぶ）を確立してもよい。機械学習コンポーネントのこの第２の実施形態ＭＬＣ１は、本明細書では、「コンテキストファインダ」とも呼ぶ。

しかしながら、コンテキストファインダは、スタンドアロンアプリケーションとして構成されてもよく、ボーラストラッカに必ずしも結び付けられていなくてもよいことを理解されたい。同様に、ボーラストラッカも、コンテキストファインダなしでスタンドアロンアプリケーションとして使用されてもよい。有利には、ボーラストラッカＭＬＣ２及びコンテキストファインダＭＬＣ１の両方を、実施形態で想定されているように組み合わせて使用する。さらに、ボーラストラッカ及びコンテキストファインダは、ボーラス追跡以外の医学的応用に使用されてもよいことを理解されたい。導管内の隠れた位置の画像ベースの検査が必要とされる非医学的応用も想定される。これには、水文学、例えば、地下洞穴系における水流の検査や配管系における漏れ検出が含まれる。

２つの機械学習実施形態、ボーラストラッカＭＬＣ２及びコンテキストファインダＭＬＣ１をさらに詳細に説明する前に、以下の用語が、特にボーラス追跡応用のコンテキストにおいて有用である。

本明細書で使用される用語「ボーラス」は、関心領域ＲＯＩとも呼ぶ所望の標的位置における画像コントラストを高める目的で、ヒト又は動物の患者などの関心物体に投与されるある量の物質に関する。造影剤の投与点は、一般に、関心位置とは異なる。一般に、造影剤物質が投与点から関心位置まで移動する通過時間がある。

本明細書で使用される用語「ボーラス追跡パラメータ（ＢＴＰ）」は、ボーラスの伝搬を記述可能である、及び／又は、様々な位置、特に関心位置におけるボーラスの性質を定義するために使用できるパラメータを指す。より詳細には、ボーラス追跡パラメータは、トリガ時間を確立するのに適している。

Ｘ線ベースの実施形態において本明細書で主に想定される「ボーラス追跡」の手順は、特定の、しかし必ずしもそうである必要はないが、標的位置で取得された画像、又はそのように取得された画像から導出可能な画像データに基づいて、標的位置での投与されたボーラスの一部又は全部の存在を推測することに関する。

引き続き図１に参照して、イメージング構成部の上述のコンポーネントについてより詳細に説明する。ここで先ず、イメージング装置をみると、イメージング装置は、一般に、問い合わせ信号を生成可能なコンポーネントと、この問い合わせ信号と患者ＯＢ、特に関心位置ＲＯＩとの相互作用の後の問い合わせ信号を検出するセンサコンポーネントとを含む。

本明細書で想定されるイメージング装置の例には、Ｘ線イメージング装置が含まれる。Ｘ線装置は、患者ＯＢのＸ線画像を取得する。Ｘ線イメージングの場合、問い合わせ信号はＸ線であり、上述のコンポーネントはＸ線源ＸＲである。これに対応して、Ｘ線イメージングでは、センサはＸ線検出器Ｄである。本明細書で想定されるＸ線イメージング装置の実施形態は、Ｃアームイメージング装置、ＣＢＣＴ（コーンビームＣＴ）スキャナ、ＣＴスキャナ、スペクトルＣＴスキャナ、マンモグラフィ装置、又はＸ線撮影装置などを含み、それぞれ、物体ＰＡＴのＸ線画像を取得する。

より詳細には、Ｘ線イメージング装置ＩＡは、Ｘ線源ＸＳと、Ｘ線感受性検出器ＸＤとを含む。使用時、患者ＯＢは、Ｘ線源ＸＳ及びＸ線検出器ＸＤ内の検査領域において軸ｚに沿って位置決めされる。Ｘ線源ＸＳは、Ｘ線ビームＸＢを生成し、Ｘ線ビームＸＢは、焦点ＦＳから放射され、検査領域、したがって、少なくとも、物体ＯＢの関心領域を横断する。Ｘ線ビームＸＢは、物体ＯＢの物質（例えば、組織、骨など）と相互作用する。相互作用後、Ｘ線は、物体ＯＢの遠い側から出て、その後、Ｘ線検出器ＸＤに衝突する。衝突するＸ線は、検出器ＸＤによって検出され、電気信号に変換される。電気信号は、適切な変換回路（図示せず）によって、画像、ここでは、Ｘ線投影画像を形成する画像値の集合に変換される。Ｘ線画像は、イメージングされた患者ＯＢの内部の解剖学的構造の詳細を明らかにする。これは、イメージングされた患者ＯＢの診断及び治療法又は他の検査に役立つ。画像は、投影画像を含む。減衰が主なコントラストメカニズムであるＸ線イメージングに加えて、位相コントラストイメージング又は暗視野イメージングなどの他の変形例もまた、本明細書で想定されている。

回転３Ｄイメージングでは、ＲＯＩの周りの軌道ＯＲに沿ったＸ線源ＸＲの回転中の異なる方向ｑから、投影画像のセットが収集される。軌道は、一般に、１８０°までの円弧である。回転Ｘ線イメージャＩＡによって供給される投影画像は、フィルタ逆投影（ＦＢＰ）、ＡＲＴ、反復再構成、フーリエ領域ベースの再構成を含むラドン変換ベースのアルゴリズムなどの断層撮影再構成アルゴリズム、又は、機械学習ベースの再構成も実装するプロセッサＲＥＣＯＮによって、軸方向又はスライス画像ＩＭにさらに処理される。再構成アルゴリズムは、検出器ドメイン内の２Ｄからの投影画像を、画像ドメイン内の３Ｄボリュームのスライス又は軸方向画像に変換する。画像ドメインは、検査領域内に位置し、物体ＰＡＴを通過する。したがって、イメージング軸ｚ上の各位置に１つずつ、そのような２Ｄスライス画像の集合又は「スタック」から構成されるＣＴ３Ｄボリュームが得られる。

ＭＲＩ、ＳＰＥＣＲ、ＰＥＴなどの他の想定されるイメージングモダリティでは、検出器ドメインからの信号を対応する画像ドメイン（すなわち、イメージングされる物体が位置する空間の一部）に変換する他の再構成アルゴリズムを使用できる。

投影画像又は再構成画像内の画像値は、１つ以上のｎ次元行列、すなわち、「テンソル」（ｎ＞３）などの適切なデータ構造で編成される。ｎの適切な値は、１、２、３、４、又はｎ＞４である。画像は、グレースケール又はカラーであってもよい。カラー画像は、ＲＧＢスキーム又は別の適切なコード化スキームでコード化される。例えば、画像値は、２次元構造を空間的に表すために、行ｉ及び列ｊで表される。３次元画像値は、行ｉ及び列ｊ、並びに奥行き成分ｋで空間的に表される。

実施形態では、画像は、行ｉ及び列ｊを有する２Ｄ構造で表されるが、画像は、実際には、ＣＴ３Ｄボリュームのスライス画像など、３次元ボリュームのセクション又はサブ空間を形成する。同様に、ＭＲＩボリュームも、３Ｄにおけるセクションである２Ｄスライス画像を含む。時間を通して取得された２Ｄ又は３Ｄ画像は、それぞれ、第３又は第４の成分が取得時間を表して、３Ｄ又は４Ｄ画像データとも表される。

画像が２Ｄ構造を表す場合であっても、ＲＧＢでコード化されたカラー画像の場合のように、より高次元の表現を依然として使用できる。ＲＧＢ画像は、２つの空間次元ｉ、ｊを有し、別の成分が、任意の所与の画像位置ｉ、ｊに対する赤、緑、及び青の画像値を表す３次元構造として表される。すなわち、２Ｄカラー画像は、それぞれが所与の画像位置についての赤、緑及び青の画像値を表す３つの別個の２Ｄ画像の重ね合わせによって形成される３Ｄボリュームとして表される。したがって、時間を通じて取得された空間的に３Ｄのカラー画像は、７次元テンソル、すなわち、３つの空間的次元、カラー値の３つの次元、及び時間の１つの次元として表される。グレー値画像は、追加の奥行き成分なしで表される。

イメージング装置ＩＡを使用して画像を取得するときに、イメージャＩＡのイメージング動作を制御するイメージング制御ユニットＣＣによって、１つ以上の取得パラメータＡＰを調整する必要がある。この調整は、通信ネットワークを介してイメージング装置の制御ユニットＣＣに、適切な設定コマンドを転送する適切なイメージングプロトコルを介して自動的に行われる。或いは、取得パラメータＡＰは、ＣＣに通信可能に結合されたコンソール（図示せず）を介してユーザによって設定されてもよい。Ｘ線イメージングでは、取得パラメータは、スキャンタイプ、身体部分、ＸＲ源（管）や、ｍＡ、ｍＡｓ、ｋＶｐ、回転時間、コリメーション設定、ピッチなどのＸＲ設定のうちの任意の１つ以上を含む。「スキャンタイプ」は、ヘリカル又はアキシャルであるか、及び／又は胸部、肺、肺塞栓、心臓などのイメージングされる関心領域（ＲＯＩ）を指定することができる。「ピッチ」は、マルチスライススパイラルＣＴにおけるパラメータであり、検出器コリメーションに対するテーブル増分の比率として定義される。ＣＴ、ＭＲ、又は放出イメージング（ＰＥＴ／ＳＰＥＣＴ）などにおけるように、再構成モジュールＲＥＣＯＮによる再構成動作が必要とされる場合、再構成パラメータの仕様を、再構成アルゴリズムに合わせて調整することが必要である。ＣＴ再構成において想定される適切な再構成パラメータは、再構成フィルタ、再構成アルゴリズム（例えば、ＦＢＰ、ｉＤｏｓｅ又はＩＭＲ）、スライス厚、スライス増分、画像サイズ（ピクセル又はボクセル、ｍ×ｎ）、及び視野などのうちの任意の１つ以上を含む。

取得パラメータは、イメージング装置が、後に画像値に変換される画像信号を取得するためにどのように動作するかを指定する。再構成パラメータは、画像値が他の画像値にどのように変換されるかを記述する。したがって、両方のパラメータ、すなわち、取得パラメータ及び／又は再構成パラメータは、初期入力画像における画像値又はその分布に影響を及ぼす。取得パラメータＡＰ、及び／又は、該当する場合は、再構成パラメータＲＰは、集合的に「イメージングパラメータＩＰ」とも呼ぶ。要するに、イメージングパラメータＩＰは、画像がどのように得られたかを記述する。

引き続き図１に参照して、次に、Ｘ線ベース又はＭＲＩイメージングにおけるボーラス追跡のための応用シナリオについてより詳細に説明する。提案するＳＳＩにおいて、別々に又は一緒に、実施形態において使用される機械学習コンポーネントＭＬＣ１及び／又はＭＬＣ２は、２つのモード、すなわち、トレーニングモード及びデプロイメントで動作可能である。図６、図７、及び図１０において以下により詳細に説明されるトレーニングモードでは、トレーニングデータを用いて、機械学習コンポーネントのパラメータが調整される。すなわち、機械学習コンポーネントは、意図された目的のために、トレーニング段階において調整される。デプロイメント段階では、機械学習コンポーネントを使用して、以前に解析されていない画像データに対して作用する。以下では、デプロイメント中のボーラス追跡シナリオを説明するときは、機械学習コンポーネントが適切にトレーニングされ、使用の準備ができていると仮定する。

イメージングシナリオでは、規定の量且つタイプの造影剤ＣＡが、適切な入口点から患者に投与される。場合によっては、大腿静脈又は大腿動脈が使用される。

標的位置ＲＯＩは、ユーザ（すなわち、イメージングを操作する臨床医）によって手動で画定されるか、又は、機械学習コンポーネントＭＬＣ１、すなわち、コンテキストファインダＭＬＣ１によって自動的に供給される。例えば、患者によって以前に取得された初期画像を使用して、標的位置ＲＯＩを画定できる。

ユーザは、例えば、表示デバイスＤＤ上に画像を表示させ、マウス、スタイラスなどのポインティングツールを用いて、標的位置を選択する。心臓の冠動脈の一部などの標的位置ＲＯＩが画定され、造影剤のボーラスが送達されると、ボーラス追跡は、以下のように進行する。

イメージャＩＡを操作して、適切な周波数又はサンプリングレートで取得されたモニタリング画像のフィードを取得する。これは、１秒あたりに１つの画像、すなわち、１秒あたりに１つのフレーム（ｆｐｓ）であるが、より速くても遅くてもよい。いくつかの例外的な場合では、正しい瞬間に取得されているならば、単一のモニタリング画像又はフレームで十分であるが、ほとんどの実際の状況では、ボーラスが標的位置に到達するための通過時間の間にわたって、複数の画像が取得される。

ボーラスが標的位置に到達すると、指定された標的領域ＲＯＩ内の造影剤の濃度は、しばらくの間増加し、その後、再び低下する。濃度が増加するにつれて、これは、ひいては、取得されたモニタリングフレーム内に記録される強度パターンの変化につながる。しかし、このパターンは、ＣＡがどのように周囲の流体、例えば血液と分散し、混合し、及び伝搬するかに依存するので、一般に、固定されたパターンではない。ボーラスの形状は、通過時間中に変化する。機械学習は、様々な強度パターンを正しいトリガ時間に関連付けることを可能にする。

モニタリング画像のフィードは、イメージャＩＡからボーラストラッカＭＬＣ２に転送される。ボーラストラッカＭＬＣ２は、以下により詳細に説明するように、受け取った入力画像を、オプションのコンテキストデータと共に処理する。オプションのコンテキストデータ及び入力画像内に観測された強度パターンに基づいて、診断イメージング取得をトリガするか否かがトラッカによって決定される。したがって、トラッカＭＬＣ２の出力はトリガ情報であり、これは、制御コンソールＣＣの適切なマシンインターフェースＣＩＦによって低レベル信号に変換され、これによって、診断画像取得が行われる。具体的には、ボーラストラッカＭＬＣ２による現在のモニタリング画像の解析によって、十分な造影剤が標的位置ＲＯＩにまだ蓄積されていないことが分かる場合、診断画像のための画像取得はトリガされない。しかしながら、トラッカＭＬＣ２が、モニタリング画像の１つについて、充分な造影剤が蓄積されたと決定すると、トリガスケジュール出力によってトリガ信号が引き起こされ、イメージング装置ＩＡによって行われる診断イメージングシーケンスがトリガされる。

トリガ時に取得される診断画像は、Ｘ線源ＸＲがモニタリング画像を取得する際に使用される線量よりも高い線量で動作することを必要とする。回転又は３Ｄ実施形態では、Ｘ線源ＸＲが標的位置ＲＯＩの周りをイメージング軌道ＯＲに沿って移動する間に、異なる方向ｑからの投影画像πが必要とされる。コリメータ（図示せず）が、標的位置ＲＯＩの周りの撮像に使用されてもよい。しかしながら、これは、プライマリビームＸＢが標的位置ＲＯＩを照射する限り、すべての実施形態において必ずしもそうではない。投影画像πは、フィルタ逆投影などの再構成アルゴリズムを使用して関心領域の軸方向画像ＩＭを生成する再構成器に転送される。これが診断画像を形成する。診断画像は、記憶装置に記憶されるか、又は適切なビジュアライザソフトウェアによって表示デバイスＤＤで視覚化される。関心血管ＶＳの画像は、臨床目的に応じて狭窄などについて臨床医により検査される。

上述したように、追跡段階中に取得されるモニタリング撮像は、後続の診断画像ＩＭに使用される線量と比較して、より低い線量である。好ましい実施形態では、モニタリング画像を軸方向画像に再構成するのではなく、モニタリング画像のために投影画像を使用するだけで十分である。軸方向画像への再構成は、幾つかの実施形態では、再構成器によって依然として行われてもよい。

さらに、好ましい実施形態では、一回で取得された単一の投影画像を使用してもよい。すなわち、モニタリング段階の間、Ｘ線源は静止したままであり、その方向ｑから、設定されたサンプリング周波数で、単一投影フレームを取得する。

さらに他の実施形態では、モニタリング動作中に、Ｘ線源を異なる位置に移動できる。

患者に投与される造影剤の量を減らすために、本明細書では、スペクトルイメージング装置ＩＡを使用することが提案される。実施形態では、モニタリング画像として使用されるスペクトルイメージングデータは、少なくとも２つのエネルギーレベルで取得された画像データ（ＣＴ投影画像データなど）を含む。本明細書で想定される他の実施形態には、検出器におけるＸ線束を２つのエネルギーレベルに分離する二重層検出器システムで取得されたＣＴ投影データから再構成された関心の解剖学的構造ＲＯＩのＣＴ画像が含まれるが、これに限定されない。さらに、光子計数検出器によって取得されたスペクトルＣＴデータを使用できる。また、本明細書では、それぞれが異なるエネルギーレベルで画像を取得する二重Ｘ線管を有するイメージャも想定される。これらの実施形態のいずれかにおいて記録されたスペクトル画像生データは、計算処理されて、スペクトル解析において計算的にスペクトル画像が導出される。例えば、１つのアプローチは、コンプトン散乱効果と光子吸収効果とを差別化すること、又は異なる材料種類を区別すること（材料分解）である。そうすると、２つの効果のうちの１つについて、又は選択された材料について、オーダーメードの画像を計算できる。

すなわち、本明細書で使用されるスペクトルイメージングは、検出器信号を様々なエネルギーレベルに分解して、全体の信号に対する物質固有の寄与を抽出することを可能にする、検出器ハードウェア及び／又は信号プロセッシング技術を使用する能力を含む。好ましくは、使用される造影剤ＣＡは、そのＫエッジが、Ｘ線源によって使用されるエネルギー範囲内にある。画像コントラストが現在の造影剤濃度に正確に従う造影剤画像が取得される。スペクトルイメージングから得られる造影剤画像は、投影画像であっても、再構成画像であってもよい。好ましくは、投影又はイメージングドメインにおけるこのような造影剤画像を、上述のモニタリング画像として使用する。より好ましくは、少数の、好ましくは単一の投影画像が、モニタリング中に一度に取得され、ＭＬＣ２によってそれぞれ処理されて、トリガ時間を確立する。

投影画像及び／又はそこから再構成可能な画像内にコード化されたスペクトル情報によって、臨床的に且つ診断的に価値のある画像を依然として生成し、正確なトリガ時間をロバストにピックアップするために、より低い量の造影剤で十分であることが見出された。

必ずしもすべての実施形態ではないが、いくつかの実施形態では、上述のように、標的位置ＲＯＩは、コンテキストファインダＭＬＣ１によって自動的に見つけられる。コンテキストファインダＭＬＣ１は、一般に、トラッカＭＬＣ２とは別の機械学習コンポーネントであり、診断イメージングに使用されるイメージングプロトコルなどのコンテキストデータを使用して、標的位置ＲＯＩを自動的に見つける。このように見つけられた標的位置を使用して、このように見つけられた標的位置ＲＯＩに対してＸ線源及び検出器を適切に位置決めするために、適切な制御信号を送るように制御コンソールに自動的に指示する。コリメータも、ある場合には、これに応じて調整されて、標的位置ＲＯＩの周りをコリメートする。代わりに又はさらに、このように見つけられた標的位置は、ボーラス追跡手順のセットアップ中に、表示デバイスＤＤ上に表示された以前の画像セット上にグラフィカルに示されてもよい。

コンテキストファインダＭＬＣ１によって見つけられた標的位置ＲＯＩは、入力としてトラッカＭＬＣ２に転送され、これがコンテキスト情報として使用される。さらに又は代わりに、コンテキストファインダは、トラッカＭＬＣ２のためのコンテキストデータ、すなわち、非画像入力データとして供給される適切なボーラス追跡パラメータＢＴＰを抽出できる。したがって、ボーラストラッカＭＬＣ２は、画像情報、すなわち、モニタリング画像を、コンテキスト情報と共に且つ組合せて使用して、診断イメージング手順のための適切なトリガ時間をよりロバストに検出できる。上述したように、トラッカとコンテキストファインダとを組み合わせて使用しているが、いずれか一方を、単独で、且つ他方から独立して使用してもよい。例えば、上述したように、トラッカは、コンテキストファインダの代わりにユーザによって提供されるコンテキストデータの有無にかかわらず、モニタリング画像のみを使用できる。同様に、コンテキストファインダは、その機能のためにトラッカが必ずしも必要ではなく、例えば、教示目的のために、意図された関心領域、標的位置に関する指示を提供できる。

コンテキストファインダＭＬＣ１が作用する入力データは、自動的に、又はユーザの要求に応じて、医療患者記録などの適切なデータベースから取り出される。さらに又は代わりに、コンテキストファインダは、スカウト画像、既存の画像などの画像データを使用して、それに基づいて、意図された標的位置ＲＯＩを確立できる。

ここで、ボーラス追跡機械学習コンポーネントＭＬＣ２の態様をより詳細に説明する図２を参照する。好ましくは、必ずしもすべての実施形態においてではないが、トラッカＭＬＣ２は、人工ニューラルネットワーク（本明細書では「ＮＮ」と呼ぶ）として、特に、畳み込みニューラルネットワーク（本明細書では「ＣＮＮ」と呼ぶ）として構成される。しかしながら、好ましくは、信念ネットワーク、サポートベクターマシン（ＳＶＭ）などの他のアーキテクチャも本明細書で想定され、深層アーキテクチャが使用される以下により詳細に説明される。実施形態では、深層学習アーキテクチャは、入力層と出力層との間に配置された少なくとも２又はそれ以上、例えば５、１０、又は１１以上の隠れ層を含む。しかしながら、深層学習の概念は、他の機械学習コンポーネントにも適用され、必ずしもＮＮアーキテクチャに結び付けられるわけではない。本明細書で使用される機械学習の深さの概念については、図１０で以下により詳細に説明する。

大まかに言えば、トラッカＭＦＣ２は、ニューラルネットワークとして構成されると、入力層ＩＬ又は入力インターフェースＩＮと出力層ＯＬ又は出力インターフェースＯＵＴとの間に配置される複数の層においてカスケード方式で編成されると考えられる、時に「ニューロン」と呼ばれる複数の処理ノードを含む。しかしながら、これは、ノードの層における構成は、ノード間の相互接続の様式、したがって、ノード間のデータフローの様式に関係しているので、必ずしも空間的ではない。ニューラルネットワークのアーキテクチャは、例えば、ポインタ構造を使用して構成された２次元又はそれ以上の次元の行列などの適切なデータ構造として、又は、別の方法で層間の相互接続を実施するために構成される。

機械学習コンポーネントＭＬＣ２は、任意の適切なメモリＭＥＭに保持される。デプロイメントにおけるネットワークの動作は、専用マイクロプロセッサなどの計算処理ユニットによって有益に実施される。必ずしもそうではないが、好ましくは、プロセッサＰＵは並列計算用に構成される。実施形態では、マルチコアデザインが使用される。特に、グラフィカル処理ユニットＧＰＵ、又は、最近では、ＴＰＵを、ニューラルネットワークに含まれる計算のために有益に使用できる。ニューラルネットワーク構造の機械学習コンポーネントＭＬＣ２は、ネットワークＮＮの構成を定義する潜在的に非常に多くのネットワークパラメータによって定義される。

この構成は、トレーニングによって達成され、以下でより詳細に説明する。トレーニングでは、基礎となるマッピングが、適切なコーパス（複数可）から引き出されたトレーニングデータＴＤから推定される。機械学習コンポーネントが適切にトレーニングされていると仮定すると、デプロイメントは、機械学習コンポーネントＭＬＣ２の入力層でデプロイメント入力データＤＩＤを適用することを含む。

トラッカの目的のためのデプロイメント中の入力データＤＩＤは、画像データＩＤ及び／又は非画像データＮＩＤを含む。画像データは、画像、既存の画像、及び／又は、特に関心領域又は標的位置ＲＯＩのモニタリング画像を含む。画像データは、２次元又はそれ以上の次元のアレイ又は行列での強度値として構成される。

Ｘ線画像では、各画素値が、記録された放射線の強度を表すが、各画素値の「意味論」は、磁気共鳴ＭＲＩなどの他のイメージングモダリティでは異なる。

非画像データは、特にイメージングされる患者の特性を記述するデータを含む。非画像データは、特にコンテキストデータを含む。画像データは、エネルギー積分画像データと比較して低い造影剤濃度であっても良好なコントラスト結果をもたらすことが分かっていることから、特にスペクトル画像データを含む。

非画像データはまた、使用されるイメージングパラメータＩＰを含んでもよい。展開中の入力データＤＩＤはまた、それ自体が非画像データ又は画像データから部分的に構成され得るボーラス追跡パラメータＢＴＰを含んでもよい。具体的には、ボーラス追跡パラメータは、以下でより詳細に説明するコンテキストファインダＭＬＣ１などの別の機械学習コンポーネントによって供給される。

ボーラス追跡情報は、一般に、血液の流動性若しくは粘度、又は他の物理的な生理学的特性などの患者の特徴を所与として、患者を通るボーラスの予想される伝搬の仕方を記述する。特に、ボーラス追跡情報は、予想される通過時間を含む。さらに又は代わりに、ボーラス追跡情報は、標的位置ＲＯＩにおける適切な量の造影剤について予想される強度パターンを含んでもよい。ＢＴＰは、導管を通過する間のボーラスの挙動、特にＲＯＩにおけるその外観を記述する。さらに又は代わりに、ボーラス追跡パラメータＢＴＰは、入口点から標的位置ＲＯＩまでの予想通過時間を含んでもよい。ＢＴＰは、データの個人化を可能にする。ＢＴＰはまた、２つ以上の造影剤が投与されたコンテキストにおいて、例えば、材料分解目的のためのスペクトル又は光子計数システムにおいても有用である。このコンテキスト又は類似のコンテキストでは、ＢＴＰは、２つの異なる通過時間、すなわち、造影剤の各タイプに１つずつ含む。本明細書で想定されるように、ボーラストラッカへの入力としてＢＴＰを提供することは、ボーラストラッカの動作をよりロバストにする。ＢＴＰがボーラストラッカの機械学習アルゴリズムをより現実的な解決策に誘導することで、誤ったトリガの可能性を低減できる。

デプロイメント中の入力データＤＩＤは、有線接続又は無線接続を介してデータベースから部分的に受け取られ、機械学習コンポーネントの入力層に適用される。さらに、画像データ、特にモニタリング画像は、サンプリング周波数で入力層ＩＮに繰り返し適用される。グローバル入力データとも呼ばれる入力ポートに適用されるデプロイメント入力データは、ネットワークＭＬＣ２を通って伝搬し、入力層と出力層との間の一連の中間層を生成し、最終的に、出力層ＯＬにおいて変換されたグローバル出力として現れる。このようにネットワークにデータを適用することは、本明細書では順方向伝搬と呼ぶ。

ボーラス追跡の実施形態では、グローバル出力データＯＤは、特にイメージング装置の動作を制御するためのトリガスケジュール、特に診断イメージングのための画像獲得をトリガするための仕様を含む。しかしながら、出力データはまた、エネルギー設定（Ｘ線管の電圧及び／又はアンペア数）、コリメータ設定、及びＸ線又は他のモダリティ用の任意の他のイメージングパラメータの設定などの、イメージング装置用の他の制御パラメータを含んでもよい。実施形態では、出力はバイナリであり、例えば、「０」が「保留（holding on）」としてコード化され、すなわち、診断イメージング取得のトリガが行われず、一方、「１」が診断イメージング動作をトリガするためのリクエストとしてコード化される。他のコード化スキームが使用されてもよい。

以下で機械学習コンポーネントＭＬＣ２についてより詳細に説明する前に、一般に、畳み込みネットワーク又は全結合型ニューラルネットワークとしての機械学習コンポーネントの実装に特に関連するいくつかのコンポーネントについて説明する。大まかに言えば、機械学習コンポーネントのＮＮ状の構造は、少なくとも部分的に相互結合され、異なる層に配置される複数のノードを含む。層は、１つ以上のシーケンスで構成される。各ノードは、ある値をとるか、及び／又は、前の層の１つ以上のノードから受け取った入力に基づいて出力を生成できるエントリである。

実施形態では、いくつかの又は各ノードは、単純なスカラー値（ノード重み）であり得るが、より複雑な線形又は非線形関数でもよい特定の関数に関連付けられる。２つの異なる層のノード間の「結合」は、後の層のノードが、前の層のノードからの入力を受け取れることを意味する。２つのノード間に結合が定義されていない場合、２つのノードのうちの一方のノードの出力を、他方のノードによって入力として受け取ることができない。ノードは、その関数を入力に適用することで出力を生成する。これは、ノードの（重みの）スカラー値による、受け取った入力の乗算として実施できる。異なるノードからの２つ以上の入力が、後の層のノードによって受け取られてもよい。異なる入力は、統合値を生成するために、統合関数ｇによって統合されてもよく、受け取った側のノードは、この統合値に自身の関数ｆを適用して、ノードの出力を生成する。例えば、ｇは、前のノードから受け取った入力を、積（例えば、ドット積）の和にマッピングし、この積の和にノードの関数ｆが適用される。

結合は、それ自身の重み（「結合重み」）を有し得る。重みを使用して、その結合に沿って進む出力に重みを付ける。統合関数は、結合重みを使用して、所与のノードについてのすべての受け取った入力を組み合わせて、統合ドット積出力を生成する。層間の結合は、固定されていても、処理中に変化してもよい。いくつかの層が全結合されていても、他の層は全結合されていなくてもよい。後の層の各ノードが、前の層のすべてのノードに結合されている場合、２つの層は全結合されている。部分結合されている層では、後の層のすべてのノードが、前の層のすべてのノードに結合されているわけではない。

所与の層のすべてのノードの出力を、本明細書では「層の出力」と呼び、前の層から受け取った入力を、本明細書では「層の入力」と呼ぶ。

各層は、２次元、３次元、又はそれ以上の次元の行列として表される。３次元以上である場合、行列は、通常、テンソルと呼ばれる。ノードは、これらの行列又はテンソルのエントリとして実装される。各層は、サイズ（行ｉ及び列ｊ）、深さｋ（１より大きくてもよい）、及び場合によってはさらなる次元を有する。或いは、サイズ、深さ、及び１つ以上のさらなる次元は、行列又はテンソル以外の他のデータ構造によって実現されてもよい。

ニューラルネットワーク構造のＭＬＣコンポーネントは、１つ以上の初期入力層ＩＬと、１つ以上の最終出力層ＯＬとを含む。初期入力層ＩＬは、初期画像ＩＭ及びイメージングパラメータＩｐが、それぞれ、ノードをポピュレートすることによって、又は変換回路ＣＣなどによってさらなる処理のための最終結果を提示することによって、受け取られる場所である。入力層への入力は、初期入力であり、出力層における出力は、最終出力である。隠れ層における入力及び出力は、中間入力及び出力と呼ぶ。

異なるタイプの層は、異なる関数を有し、したがって、異なる演算を適用する。ＭＬＣ２の動作をさらに詳細に説明する前に、まず、特に（しかし、それだけではないが）ＣＮＮタイプのネットワークについて、又は少なくとも１つのＣＮＮサブネットワークを有する、異なるタイプの層について説明する。本明細書では、そのいくつか又はすべてを異なる組合せ及びその下位の組み合わせで想定されている。

本明細書で想定されるＮＮ層タイプは、全結合層ＦＬ、畳み込み層ＣＬ、逆畳み込み層、プーリング層Ｐ、及び活性化層Ｒのうちの任意の１つ若しくはそれ以上、又はすべてを組み合わせて含む。

ストライド＞１を有する畳み込み層及び／又はプーリング層は、１つ又は複数のダウンサンプリング層を実装するために使用される。さらに又は代わりに、ダウンサンプリング層は、補間を介して、又は逆畳み込みによって実装されてもよい。

層タイプは、例えば、異なるスケールレベルで処理を実施するために、様々な演算ユニットを形成するために、ユニットにまとめられる。層を２、３又はそれ以上のそのようなユニットにまとめると、層は、行列／テンソル及び行列／テンソル乗算として表されるときに、実装上の利点を有することができるが、まとめることは必ずしもすべての実施形態において想定されるわけではない。

プーリング層は、前の層からの入力のグループに作用し、これらを単一の出力に折り畳み、したがって、入力データの次元を低減する。折り畳みは、様々なやり方で行われてもよく、それぞれ、本明細書の実施形態で想定されている。最大又は最小プーリングでは、入力のグループ内の最大値又は最小値が出力として生成され、平均プーリングでは、グループ内の値の平均が形成されて出力が生成される。

ここで、活性化層Ｒをより詳細にみると、活性化層は、ロジスティックベースのシグモイド関数、逆正接（ａｒｃｔａｎ）、ソフトマックス（ｓｏｆｔｍａｘ）、整流器関数（ｘ^＋＝ｍａｘ（ｘ，０））などを含む、任意の非線形関数を使用して実装される。整流器関数を実装する活性化層は、正規化線形ユニット（ＲｅＬＵ）と呼ばれ得る。活性化層Ｒは、各ノードの値に適用される非線形関数を実装して非線形性を導入して、ＭＬＣが非線形パターンをキャプチャできるようにする。（中間）入力層のサイズは、整流層Ｒによって保存される。層Ｒはまた、入力が閾値を下回る場合に、入力を除去又は軽減するための「重要度フィルタ」としても機能する。ノードからの入力は、完全に無効にされてもよく、しがたって、結合があっても、次の層に全く転送されなくなる。この場合、ノードは「発火」しないと言われ、このイベントは、次の層に「ゼロ」を転送することによって記録される。所与の構成における非発火ノードの割合は、ＭＬＣのスパース性として表される。

次に、全結合層ＦＣを見ると、本明細書でＭＬＣにおいて想定される層は必ずしも全結合層ではないが、実施形態では、ネットワークＭＬＣは、２つ以上の全結合層を含む。全結合層は、上記の図３にＦＣとして示されている。全結合層ＦＣは、各ノードがその活性化関数及び重みに関連付けられている、より伝統的な非畳み込みＮＮコンポーネントを表す。ＦＣの１つの層の各ノードは、一般的な序論で上述したように、結合の重みに従ってそれぞれ重み付けされている、前の層のすべてのノードから入力を受け取る。次に、この全体の入力が、活性化関数層Ｒによって合計され、評価される。活性化関数層は、ノードの重みに適用されて、後続の層のノードに渡されるノード出力を生成する。ＦＣを使用する利点は、より複雑で非線形のパターンをモデル化することである。

畳み込み層ＣＬ及び逆畳み込み層は、非全結合層の例である。より具体的には、これらの層は、前の層のすべてのノードに完全に結合されているわけではない。さらに、前の層からの（中間）入力を処理するときに、結合は変化する。

畳み込み層ＣＬでは、中間出力の各ノードが、畳み込み層を前の層のノードのサブグループと畳み込むことによって得られ、したがって、すべての可能な結合のサブセットのみが関与する。次に、結合は、次の中間出力層のノードの新しいグループを選び出すように再定義され、（中間）入力層全体が処理されるまで以下同様にされる。

畳み込み層ＣＬは、中心位置を有する３×３又は５×５などの、好ましくは奇数のサイズを有する行列として構成される。また、畳み込み層／逆畳み込み層は、それが適用されるべき中間入力の深さに対応する深さを有してもよい。

畳み込み層／逆畳み込み層のサイズは一般に、それが作用する中間入力のサイズよりも小さい。従来の畳み込みと同様に、畳み込み層は、概念的に、その（中間）入力層上をスライドすると考えられ、ノードの異なるグループに選択的に適用されて、（中間）出力として、フィルタリングされたノードを生成する。畳み込み演算自体は、畳み込み層のノード間、及び／又はその中間入力層のインスタントグループ内のすべてのノード間の積の和を形成することを伴い得る。フィルタリングされたノードは、畳み込み層の奇数サイズの行列の中心ノードである。

畳み込み層の処理におけるノードの新しいグループへのシフトは、各グループノードの（中間）出力を生成するために、（中間）入力にわたってストライド＝ｎ（ｎは自然数）で畳み込み層ＣＬをスライドさせることとして概念的に理解され得る。ストライドは、各シフトの程度を示すＣＮＮのデザインパラメータである。例えば、ストライドｎ＝１は、値が次の（中間）出力ノードの値を得るために畳み込まれるノードの次のグループへの結合を再定義するときに、層ＣＬを１ノードだけ効果的にシフトすることによって、新しいグループが得られることを意味する。ストライドｎ＝２では、１列又は１行のノードがスキップされ、ｎ＞２では、それに応じたものである。上述のスライディングウィンドウアプローチの代わりに、畳み込み層によって処理される入力層は、部分（タイル）に分割されてもよく、次いで、これらの各々は、畳み込み層と別々に畳み込みされることを理解されたい。

畳み込み層が、それが作用するその中間入力層の最外のノードを越えて延在する場合は、ゼロパディングが使用される。畳み込み層／逆畳み込み層は、説明されたように連続で適用されても、中間入力層の全体に並列に適用されてもよい。

逆畳み込み層は、実質的に、畳み込み層ＣＬによって生じる畳み込みの逆演算である。畳み込み層は、最初に、画素から次第に高いレベルの特徴へとマッピングするが、逆畳み込み演算は、特徴を画素に戻すようにマップする。関数的には、逆畳み込みは、上述の畳み込み層で使用される畳み込み演算に関して定式化でき、これらは、処理された位置の周りのローカルゼロパディングとオプションで合計される。例えば、ＭＤ Ｚｅｉｌｅｒらの「Ａｄａｐｔｉｖｅ Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｍｉｄ ａｎｄ Ｈｉｇｈ Ｌｅｖｅｌ Ｆｅａｔｕｒｅ Ｌｅａｒｎｉｎｇ」（２０１１ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｂａｒｃｅｌｏｎａ、Ｓｐａｉｎ）の第２章を参照されたい。また、逆畳み込み層Ｄは、適切な深さを有する行列として表されてもよい。

したがって、畳み込み層及び逆畳み込み層は、一般に、ストライドが１である場合、それらの（中間）入力のサイズを保持する。それ以外の場合は、ダウンサンプラ層として機能する。ダウンサンプリングは、畳み込み層／逆畳み込み層と同様に構成されるが、それらは、その入力データに対して異なるように作用する。ダウンサンプリング／アップサンプリング層（本明細書では単に「ダウンサンプラ」又は「アップサンプラ」とも呼ぶ）は、奇数サイズでも、偶数サイズでもよい。ダウンサンプリング層は、前の層のノードのグループを一緒に集めて、後続の出力層のための単一のノードを生成し、したがって、（中間）入力層の空間を低減する（より少ない行及び／又は列）。これは、平均を形成することによって、又は対象のノードのグループから最大値／最小値又は任意の他の指定値を選ぶことによって行われる。グループのサイズは、ダウンサンプリング層のサイズに対応する。

アップサンプラは、ダウンサンプラとは準逆に作用し、その出力で、好ましくは入力ノード間の補間によって、より大きなノードのセットを生成する。畳み込み／逆畳み込み、及びアップサンプリング／ダウンサンプリング機能は、同じ層内で組み合わされ得る。例えば、畳み込み及びダウンサンプリングは、２以上などの、ストライド＞１を有する畳み込みとして達成される。同様に、逆畳み込みは、アップサンプリング機能と組み合わされ得る。

ここで、図３を参照すると、実施形態ではトラッカＭＬＣ２についての、本明細書で想定されるフィードフォワードニューラルネットワークアーキテクチャが示されている。このネットワークは、ハイブリッド型であり、畳み込みＣＮＮサブネット部分及び完全結合部分サブネットと、２つのサブネットからの出力を合成するコンバイナ段とを含む。入力層ＩＮに供給されるデプロイメント中のグローバル入力データＤＩＤは、上述したように、モニタリング画像データＩＤと、オプションのコンテキスト非画像データＮＩＤとを含む。

画像データＩＤは、特にモニタリング画像（フレーム）のフィードを含むが、例外的な状況では、トリガ時間を確立するために単一のモニタリング画像で十分である場合がある。モニタリング画像（複数可）は、好ましくは投影又は画像ドメインにおけるスペクトル画像である。或いは、従来のエネルギー積分画像を使用してもよい。好ましくは、投影ドメイン画像が使用され、より好ましくは、モニタリング中に一度に単一の投影画像が取得される。

非画像データＮＩＤは、患者臨床データ、イメージングパラメータＩＰ、又はＢＴＰの少なくとも一部のうちのいずれか１つを含む。ＢＴＰは、関心位置におけるボーラスの予想される強度プロファイルを記述する画像データコンポーネントを含む。この場合、ＢＴＰの画像部分は、画像データＩＤの一部としてここで処理される。ＢＴＰ又はその一部は、コンテキストファインダＭＬＣ１によって供給される。非画像データはコンテキストデータを形成し、心拍数、血圧などのバイタルサイン測定値も含み得る。さらに又は代わりに、ＢＴＰは、場合によっては、使用される特定の造影剤に依存して、及び／又はバイタルサイン測定値などの患者データに依存して、予想到達時間を含み得る。画像データ及び非画像データは、単一の入力層に適用されてもよいが、好ましくは、別個の専用入力層がそれぞれに使用される。好ましくは、非画像データ及び画像データのための隠れ層の別々のセットも存在する。したがって、実施形態では、ＭＬＣ２は、組み合わされた２つの別個の畳み込みニューラルネットワークアーキテクチャと考えられる。実際、非画像データは、１つのサブネットワーク（完全結合されているか又はＣＮＮである）によって処理され、画像データは、好ましくは、ＣＮＮである別のサブネットワークによって処理される。そして、それぞれの出力が、コンバイナ段として機能する第３のコンポーネントへマージされる。コンバイナ段自体が、ニューラルネットワークアーキテクチャを含み得るが、必ずしもＣＮＮアーキテクチャである必要はない。具体的には、画像データを処理するサブネットワークは、好ましくはＣＮＮであり、一方、非画像データを処理するサブネットワークは、完全結合ＮＮであり、したがって、ＣＮＮではない。

ここで、図３の実施形態をより詳細にみると、実施形態では、非画像入力データを処理するためのサブネットワークは、図３に示されているように、その出力が活性化層を通過する単一の全結合層ＦＬとして実装される。或いは、２つ（又はそれ以上）の全結合層が、直列に配置され、いくつか又は各々が、活性化層ＡＬによって処理される出力を有する。

他方、画像データの処理は、１つ、２つ、又は３つの畳み込み層ＣＬを含むＣＮＮとして実施され、いくつか又は各々が、自身の活性化層ＡＬを有する。中間出力は、最終畳み込み層ＦＬの活性化層において出現する。

次に、画像データ及び非画像データのための２つのサブネットワークの中間出力は、コンバイナ段における１つ以上の全結合層へと一緒に供給される。次に、出力層におけるこの出力は、制御コマンドに変換され、制御コンソール及びイメージングインターフェースＣＩＦ、イメージャへと転送され、診断目的のためのイメージングをトリガする。診断イメージングを開始するか否かをコード化するために、バイナリ出力が求められる場合、出力を「０」か「１」に変換するシグモイド層ＳＬを下流で使用してもよい。慣例により、０は、診断イメージングを開始しないことを示し、１は、診断イメージングのための開始信号をコード化する。代わりに他のコード化を使用してもよい。シグモイド層の使用は、実質的に、診断イメージングを開始するか否かの確率に関して、前の層が出力を生成した有益である閾値処理をもたらす。シグモイド層を使用して、現在のモニタリング画像が関心位置で十分に多い量の造影剤を表す確率が閾値ｐ％よりも高い場合にのみ、イメージングをトリガする。閾値は、例えばｐ＝９５％又は他の適切な値に設定される。パーセンテージの閾値ｐは、ユーザが調整可能であってもよい。代替の実施形態では、閾値処理はない。代わりに、確率はトラッカＭＬＣ２の最終出力であり、表示デバイスＤＤでユーザに表示される。そして、可能性が十分に高いと考えられる場合、ユーザが診断イメージングを手動でトリガする。

図３に示されるアーキテクチャは、例示的な実施形態であり、ＣＮＮと完全結合ＮＮとの他の組み合わせも、実施形態において本明細書で想定されている。また、説明された層の正確な順序及び数は変化してもよく、このような置換及び変形例はすべて、少なくとも２、５、１０、又はそれ以上の深さである、異なる深さのアーキテクチャについて、本明細書で想定されている。

ここで、コンテキストファインダ実施形態による機械学習コンポーネントＭＬＣ１についてのより詳細を提供する図４のブロック図を参照する。基本的なコンポーネントは、図３において上述したとおりであり、同様の数字は、同様のコンポーネント及びデータを示す。

コンテキストファインダもまた、畳み込みネットワークＣＮＮを含むニューラルネットワークアーキテクチャとして実装される。図２に関連して上述したように、ニューラルネットワーク以外の他の機械学習技術を代わりに使用してもよい。

デプロイメント中の入力データＤＩＤはここでも、画像データＩＤ及び／又は非画像データＮＩＤを含む。ボーラストラッカに関して上述したように、非画像データは、コンテキストデータを形成する。コンテキストデータは、心拍数、血圧などのバイタルサイン測定値をさらに含み得る。

画像データは、例えば、関心の解剖学的構造の第１のＣＴスキャンなどの第１の画像を含む。この第１の画像は、ＲＯＩを含む身体領域をカバーするのに十分な広さの視野を有する。非画像データは、どの関心領域をイメージングすべきかを示すスキャンプロトコルを含み得る。

入力データは、医療記録又は他の臨床データ、又は一般的なコンテキストデータなどで、患者をさらに記述できる。

デプロイメント中、入力データＤＩＤは、ネットワークＭＬＣ１の入力層に供給され、そこを通って伝搬され、出力層ＯＵＴが得られる。この実施形態における出力データは、例えば、入力層に供給された画像データＩＤ内の座標に関して、標的位置ＲＯＩの指示を含む。すなわち、ＲＯＩの位置が、好ましくは、イメージングされる特定の患者の座標に関して、コンテキストファインダＭＬＣ１によって自動的に送達される。この自動的なＲＯＩ発見能力は、提案するシステムがＲＯＩ位置を患者パラメータに適応させることができるマルチＲＯＩイメージングシナリオにおいて有益に使用できる。さらに又は代わりに、出力データは、標的位置ＲＯＩにおけるボーラスの予想される特性及び挙動を記述するＢＴＰを指定できる。

ここで、図５を参照すると、コンテキストファインダＭＣＬ１にニューラルネットワークアーキテクチャを使用する特定の実施形態が示されている。

図３と同様に、全体的なネットワーク構造は、１つは画像データＩＤ用であり、１つはデプロイメント中のグローバル入力データＤＩＤの非画像データ用であるサブニューラルネットワーク構造から構成される。

意図されるイメージングプロトコルＩＰ及び／又は患者データＰＤ、医療記録などの非画像データＮＩＤ、概して、イメージングされる患者を記述するデータは、１つ又は２つの全結合層ＦＬを含むフィードフォワード全結合ネットワークに供給される。図５の実施形態では、連続する２つの全結合層ＦＬが示され、各々が活性化層ＡＬを有する。このサブネットワークが非画像データを処理する。このサブネットワークの出力は、画像データを処理する第２のサブネットワークに供給される。

ここで、第２のサブネットワークをより詳細にみると、これは、畳み込みネットワークアーキテクチャとして構成されている。具体的には、実施形態では、また、図５に示すように、「Ｕネット（Ｕ－ｎｅｔ）」アーキテクチャが使用されている。Ｕネットネットワークは、例えば、Ｎａｖａｂ Ｎ．ら（編）による「Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ－ＭＩＣＣＡＩ ２０１５，ＭＩＣＣＡＩ ２０１５．Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ」（Ｓｐｒｉｎｇｅｒ、第９３５１巻、２３４－２４１頁）において発表された、Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒらによる「Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」において説明されている。

より一般的には、必ずしもＵネットアーキテクチャにおいてそうではないが、画像データＩＤを処理するネットワークは、２つの処理ストランド、すなわち、１つのダウンサンプリングストランドＤＳ及び１つのアップサンプリングストランドＵＳを含み、ストランドは、連続して配置され、ＤＳの下流にＵＳを含む。別の実施形態では、逆の配置も想定される。

大まかに言えば、ダウンサンプリングストランドＤＳにおいて、入力画像データのデータ次元は、１つ以上のダウンサンプリング層によって徐々に低減される。これにより、画像データの低次元表現が達成され、望ましくない過剰適合効果によりうまく対抗できる。後続のアップサンプリングストランドでは、アップサンプリング層を使用して、データ次元をアップサンプリングして、実施形態では、入力層ＩＬで受け取られたグローバル入力画像データの次元と再マッチングする。

ダウンサンプリングストランドＤＳは、連続して配置された１つ以上のダウンサンプリング層を含み、いくつか又は各々、その活性化層を有する。ダウンサンプリング層は、１よりも大きいストライドを有する畳み込み層として、及び／又は、１つ以上のプーリング層ＰＬを使用することによって実装されてもよい。ある場合には、プーリング層は、１よりも大きいストライドを有しても有しなくてもよい関連する畳み込み層ＣＬと組み合わされてもよい。

ダウンサンプリングストランドＤＳの最後の層において、出現する中間出力は、アップサンプリングストランドＵＳに供給される。上述したように、アップサンプリングストランドは、一連の（１つ以上の）アップサンプリング層から構成される。アップサンプリング層の数は、一般に、グローバル出力において同じ次元を達成するために、ダウンサンプリングストランドＤＳにおけるダウンサンプリング層の数と一致する。しかしながら、これは、アップサンプリングストランドにおける出力の次元が、入力層において受け取られる次元と異なるすべての実施形態において必ずしもそうであるわけではない。

アップサンプリング層ＵＳＬは、逆畳み込み層又は補間層として構成されてもよく、いくつか又は各々に活性化層ＡＬが取り付けられている。実施形態では、（さらなる）それぞれの畳み込み層ＣＬがアップサンプリング層ＵＳＬと組み合わされ、オプションで、図５に示すように、活性化層が挿入される。

実施形態では、アップサンプリングストランドＵＳの終わりにおける中間出力は、次に、コンバイナ段において、一緒に処理されるべき、非画像データ処理ネットワークコンポーネントの出力と組み合わされる。コンバイナ段は、活性化層を有する畳み込み層などの別個の層によって形成され得る。コンバイナ段は、出力層ＯＬに結合し、ここで、最終出力が、ＢＴＰ及びイメージングされる関心領域又は関心位置の指示のいずれか一方又は両方に関して出現する。

オプションとして、最終出力の一方又は両方、すなわち、ＢＴＰ及び／又はＲＯＩを、図２及び図３で前述したように、トラッカネットワークＭＬＣ２への初期入力として供給してもよい。

上述のように、コンバイナ段で非画像データ出力と画像データ出力とを組み合わせることに加えて又はその代わりに、ネットワークＭＬＣ１は、非画像処理サブネットワークの中間出力からアップサンプリングストランド（図５に示す）及び／又はダウンサンプリングストランドに供給する１つ以上の交差フィードリンクＸＬを含んでもよい。より具体的には、実施形態では、非画像データは、複数のそのような交差リンクにおいて、アップサンプリングストランドＵＳ又はダウンサンプリングストランドＤＳのいくつかの層又は各層に供給される。

このような交差リンクに加えて又はその代わりに、ダウンサンプリングストランド内のいくつかの層又は各層から（特に活性化層ＡＬから）アップサンプリングストランドＵＳのそれぞれの層、特にその中の畳み込み層ＣＬ（複数可）に供給する１つ以上の画像データ交差フィードリンクがあってもよい。２つのストランドの交差リンクは、マルチスケール認識のためにネットワークＭＬＣ１を構成することを可能にする。

図５に示すアーキテクチャは、例示的な実施形態である。ＣＮＮと完全結合ＮＮとの他の組み合わせも、代替実施形態において本明細書で想定されている。また、説明された層の正確な順序及び数は変化してもよく、このような置換及び変形例はすべて、少なくとも２、具体的には５以下、さらにより具体的には１０以下、又はそれ以上の深さである、異なる深さのアーキテクチャについて、本明細書で想定されている。

変形例として、図５のアーキテクチャを、ボーラストラッカＭＬＣ２の代わりに又はそれに加えて使用できる。同様に、図３によるボーラストラッカのアーキテクチャを、コンテキストファインダＭＬＣ１の代わりに又はそれに加えて使用できる。

ここで、図６を参照すると、図４、図５において上述したようなトレーニング機械学習コンポーネントＭＬＣ１のためのシステムのブロック図が示されている。

入力層で受け取られるトレーニングデータＴＤは、トレーニング画像データＴＩＤ及び／又は非画像データを含み、後者は、特に、どのＲＯＩがイメージングされるべきかを示すイメージングプロトコルを含む。

トレーニングが開始する前に、機械学習コンポーネントは、選択されたモデル、例えば、完全結合ＮＮ、ＣＮＮアーキテクチャなどでセットアップされ、このアーキテクチャは、初期モデルパラメータ（例えば、ランダムパラメータ）又は同一のパラメータで初期化される。すなわち、例としてＣＮＮを使用すると、ノード結合の重み、フィルタなどが事前にポピュレートされる。選択されたＣＮＮのアーキテクチャは、例えば、隠れ層の数、活性化関数のタイプ、畳み込み層フィルタ（もしあれば）のサイズ及び形状などを定義する。

次に、学習アルゴリズムは、適切な処理ユニットＰＵ上で実行される。学習アルゴリズムは、最適化問題として定式化できる。目的は、目的関数を最適化することである。トレーニングデータ内の各サンプルは、初期化された機械学習コンポーネントに適用される。機械学習コンポーネントは、その出力層において、トレーニング出力データＴＯＤを生成し、これは、目的関数によって参照トレーニングデータＴＲＤと比較される。参照データＴＲＤと標的トレーニング出力データＴＯＤとの間には誤差が生じる可能性が高く、この誤差は目的関数によって測定される。次に、最適化アルゴリズムが、現在（初期）のパラメータを再調整し、必要に応じて、ネットワークに新しい又は更新されたモデルパラメータＮＰを再ポピュレートする。この手順は反復的に繰り返され、トレーニングデータＴＤの新しいアイテムが機械学習コンポーネントに供給される。反復の過程で、ネットワークパラメータは再調整されて、コンテキストファインダＭＬＣ１の充分にトレーニングされたバージョンに最終的に到達する。トレーニング参照データＴＲＤは、過去のセッションのボーラス追跡セッションで使用された、特に、過去のＢＴＰや、画像座標などに関してのＲＯＩの適切な特定を含む。

同様のトレーニング手順が、トラッカ実施形態ＭＬＣ２について図７に概説されている。この場合のトレーニングデータＴＤは、他の患者の過去の（以前の）ボーラス追跡セッションで取得されたモニタリング画像を含む。特に、これらの過去のセッションにおいて診断画像取得をもたらしたモニタリング画像が、トレーニング画像データとして使用される。トレーニング入力データは、上述したように、ＢＴＰや、オプションで患者の臨床データなどのコンテキストデータＮＩＤを含む。参照トレーニングデータＲＴＤは、特に、過去のセッションにおけるトリガ時間を含む。トレーニングは、図６に関連して上述したように進む。トラッカは、好ましくは、デプロイメントにおいてのみ、投影画像に作用することが想定されているが、トレーニングにおいて、投影画像及び画像ドメインの関連する再構成画像の両方をトレーニング入力データとして提供することが有益である。

図６及び図７に説明されているトレーニングシステムは、多くのことがデプロイメントに関連して上述されている、マルチコアプロセッサなど、好ましくは、並列計算用に構成されているＧＰＵ又は類似のプロセッサを使用して実装され得ることを理解されたい。

機械学習コンポーネントＭＬＣ１及びＭＬＣ２のパラメータを調整するために使用される学習アルゴリズムは、選択されるアーキテクチャに依存する。例えば、本明細書で主に想定されている畳み込みネットワークを含むニューラルネットワークでは、逆伝搬アルゴリズムのような勾配降下最適化スキームを使用できる。決定木又はサポートベクターマシンなどの他のアーキテクチャでは、異なる最適化スキームが求められ得る。

支援システムＳＳＩ及びトレーニングシステムの全体的な入力ポート／インターフェースＩＮによって、（トレーニング又はデプロイメント目的の）入力データを入力層ＩＬに適用できる。同様に、全体的な出力ポートＯＵＴは、各出力層ＯＬから出力データを読み取る。ポートＩＮ、ＯＵＴは、それぞれの層ＩＬ、ＯＬと論理的又は物理的に組み合わされ得る。

トレーニングデータの選択、及び学習フェーズについて、以下の図１０においてさらに詳細に説明する。

ここで先ず、図８及び図９をみると、図２～図５で上述した事前トレーニングされた機械学習コンポーネントＭＬＣ１、ＭＬＣ２の基礎となっている演算方法を説明するフローチャートが示されている。しかしながら、図８及び図９に示される以下の方法は、それら自体の教示として理解することができ、特に、図２～図５において上述されたアーキテクチャの存在に必ずしも結びついていなくてもよいことを理解されたい。

ここで先ず、図８をみると、特に、関心位置に向かって導管を通る物質の伝搬が観察されるボーラス追跡実施形態又は同様の応用において、イメージングを支援するための方法が説明されている。

ステップＳ８１０において、入力データが受け取られる。入力データは、特にＸ線装置などのイメージング装置によって取得された標的位置の入力画像を含む。好ましくは、Ｘ線イメージング装置は、スペクトルイメージング用に構成されている。ある場合には、単一の画像で十分であり得るが、通常は、時系列で取得された複数の画像のフィードが、事前設定された又は調整可能なサンプリング周波数で受け取られる。

モニタリング画像は、投影画像から再構成された画像ドメインの画像であってもよいが、好ましくは、投影画像自体が使用される。一実施形態では、一度に単一の投影画像が必要なサンプリング周波数で取得される。投影画像は、モニタリング段階全体を通して固定の方向から取得されるが、方向の変更も代替実施形態では依然として想定されている。

他の実施形態では、例えば、Ｘ線源の移動による１つのイメージング方向から別の方向への変更も想定されている。

ステップＳ８２０において、モニタリング画像が、事前トレーニングされた機械学習コンポーネントによって処理される。

ステップＳ８３０において、機械学習コンポーネントＭＬＣ２が、目標位置における伝搬物質の到達を示す出力を生成する。

出力はバイナリで、イメージング装置のイメージング動作を実行すべきか否かを指定する。特に、診断画像動作のトリガが想定されている。

次のステップＳ８４０において、出力データがそう示している場合に、診断イメージングが開始される。出力データが、現在のモニタリング画像に基づいて、診断イメージングを開始すべきでないことを示す場合、方法の処理フローは、受け取るステップＳ８１０に戻り、処理は、フィード内の新たに受け取られたモニタリングフレームについて繰り返される。

診断イメージングでは、モニタリング段階とは対照的に、画像は、通常、一連のモニタリング画像に使用される線量よりも高い線量で取得される。例えば、ＣＴでは、トリガイベントは、Ｘ線源を、関心位置の周りで、必ずしも完全ではない回転で移動させて、必要な線量で異なる方向から複数の投影画像を取得し、次いで、これは、再構成器によって軸方向画像に組み立てられる。モニタリング画像を取得するために使用されるイメージャＩＡは、好ましくは、スペクトルイメージングのために適切に装備及び構成され、ステップＳ８１０で受け取るモニタリング画像は、好ましくは、使用される造影剤の物質特性に適応されたスペクトル画像である。

しかしながら、トリガコマンドが、第２のイメージング装置に送られて診断イメージが行われ、一方、モニタリング画像は別のイメージング装置によって取得されることを理解されたい。しかしながら、好ましくは、同じイメージング機器が、モニタリング画像の取得と診断イメージングとの両方に使用される。

ステップＳ８２０において、機械学習コンポーネントによって生成された出力データは、低レベルハードウェアコマンドに変換される必要がある場合があり、診断イメージング動作、特に診断イメージング取得動作の開始を実際に行うために、適切なインターフェースによって行われてよい。

しかしながら、機械学習コンポーネントによって生成される出力データは、進行中の画像取得の停止、進行中の取得中のイメージングパラメータの変更（例えば、高エネルギーから低エネルギーへ）など、単に画像取得シーケンスをトリガすること以外のイメージング装置の他の制御動作についても想定されていることを理解されたい。

ここで図９をみると、特に、説明されたコンテキストファインダ又は同様の応用のコンテキストにおいて、イメージングを支援するための動作方法に関する。

ステップＳ９１０において、入力データが受け取られる。入力データは、特に実行されるべきイメージング動作の仕様を含む。さらに又は代わりに、入力データは、一般的な身体的特徴及び／又は血圧、心拍数などのバイタルサインに関して、イメージングされる患者である物体を記述する。

ステップＳ９２０において、入力データは、ステップＳ８２０において実質的に上述したように、事前トレーニングされた機械コンポーネントによって処理されて、出力データを得る。

この実施形態では、出力データは、イメージングされる患者内の標的位置を示す。出力データは、例えば、画像座標や、冠状動脈、肝臓などの関心の解剖学的構造の近傍又は中心に関して示す。さらに又は代わりに、出力データは、上述のボーラス追跡パラメータＢＴＰを含んでもよい。

ボーラス追跡パラメータＢＴＰは、ボーラスが標的位置に到達したかどうかを確立することができるパラメータである。特に、ＢＴＰは、標的位置に向かうボーラスの伝搬様式を少なくとも部分的に記述する。これらの伝搬様式は、例えば、秒又は分での予想到達時間を含む。さらに又は代わりに、ＢＴＰはまた、強度プロファイル曲線での標的位置における予想強度パターンを記述する。予想強度パターンは、標的位置に到達したときのボーラス又はその一部の絶対値又は濃度での量、及び／又は形状に対応する。

このようにして得られた出力データは、ステップＳ９３０において、さらなる処理、記憶などのために出力される。

ステップＳ９３０で生成された出力データの１つの応用は、図８の上述のボーラス追跡方法で使用するために、ステップＳ９４０において、この入力データを転送することを含む。この実施形態では、生成された出力データは、上述したように、受け取るステップＳ８１０において、コンテキストデータ及び／又は画像データとして受け取られる。

ここで、図１０を参照すると、上述の機械学習コンポーネントのトレーニングの基礎となる処理ステップがより詳細に説明される。特に、以下のステップは、図６、図７で上述したトレーニングシステムの詳細も提供する。トレーニング段階又は学習段階において、機械学習コンポーネントは、ＭＬＣ２では、ボーラス到達検出、又は、コンテキストファインダＭＬＣ１では、ＲＯＩ位置発見などのタスクを学習するモデルである。以下により詳細に説明する。

ステップＳ１０１０において、コンポーネントが適切に初期化されている上述の機械学習コンポーネントをトレーニングするために、トレーニングデータＴＤが提供される。

大まかに言えば、トレーニングデータは、機械学習コンポーネントに供給されるトレーニング入力データと、トレーニング入力データｖに関連する標的データｖ’とを含む。標的データは、トレーニング入力データを所与とするときの正しい応答を表す。したがって、トレーニングデータは、トレーニングされる機械学習コンポーネントに連続で又は並列に供給されるデータ対（ｖ，ｖ’）のバッチを含む。

ボーラストラッカＭＬＣ２のトレーニング又は類似の実施形態では、トレーニング入力データは、上述したように、診断イメージングをトリガするための決定ベースとして使用された過去のモニタリング画像データと、患者臨床データ、患者の特徴（年齢、性別、体重など）、過去に測定されたバイタルサイン、及び、いくつかの実施形態では、過去に依拠したボーラストラッカパラメータ又はイメージングパラメータなどのコンテキストデータとを含む。

この実施形態におけるデータの標的部分は、適切なトリガ時間、すなわち、例えば、過去のケースにおけるボーラスの到達時間と、特に、過去のケースにおいて、診断イメージングのトリガをもたらしたモニタリング画像とを含む。

興味深いことに、実施形態では、決定ベースとして使用されたトレーニング画像は、関心領域を指定するか、又は、別の方法でマークアップする必要はない。これは、それは、正しいトリガ又はイメージング制御パラメータを学習するために使用される全体な画像だからである。しかしながら、この実施形態のためのトレーニング画像は、関心位置の輪郭又は他のグラフィカル視覚化など、そのようなマークアップされた指定を含んでいてもよい。

コンテキストファインダＭＬＣ１実施形態をトレーニングするためのトレーニングデータは、使用された過去のスキャンプロトコル及び／又は患者の臨床記録、他の臨床データなどと、オプションで、これらの過去のケースで依拠した過去の画像とを含む。この実施形態における標的は、ＢＴＰ及び／又は関心領域の仕様に依拠する。関心領域／位置は、グラフィカルに及び／又は画像座標によって特徴付けることができる。例えば、関心領域の周りに円、楕円、又は正方形などの近傍を画定するか、及び／又は、さらに若しくは代わりに、関心領域の中心部分の座標を使用する。

トレーニングデータは、過去数十年にわたり世界中のクリニックで行われてきた成功した血管造影イメージングセッションの現存の、好ましくはディジタルの記録から、多くの手動労力を必要とすることなく又は手動労力を全く必要とすることなく、容易に得られることを理解されたい。このようにして、潜在的に数万又は数十万もの対のこのようなトレーニングデータが得られる。上述したトレーニングデータ情報の多くは、例えば、広く使用されているＤＩＣＯＭ規格で記憶されている画像の場合のように、画像データ自体のヘッダファイルに既にコード化されている。この場合及び同様の場合、スクリプトプログラムなどのデータグラバを使用して、ヘッダファイルから又は患者の関連する健康記録から、トレーニングデータを自動的に抽出できる。データグラバは、ＨＩＳや、ＰＡＣＳなどの他のデータリポジトリにアクセスできる。Ｐｅａｒｌ、Ｐｙｔｈｏｎ、ＰＨＰなどの適切なスクリプト言語を使用して、このようなデータグラバを定式化する。

例えば、過去の血管造影イメージングセッションに関するヘッダファイル又は他の記録は、過去のセッションにおいて手順が開始された時間と、診断イメージングがトリガされた時間とを示し、これにより、単純に引き算することによって、トリガ時間の標的データが得られる。

トレーニングデータは、取得及び特定されると、数値形式などの構造化フォーマットに変換される。トレーニング入力データｖ、ｖ’は、好ましくは、２次元以上の行列のベクトルにフォーマットされる。畳み込みネットワークアーキテクチャがトレーニングされる場合、行列フォーマットは特に有利である。というのは、ＣＮＮのトレーニング（及び、実際には、デプロイメント）中の演算が、ベクトル及び行列又はテンソル演算で定式化されるからである。

特に、図３、図５のネットワークのマージャ又はコンバイナ段で行われたように、トレーニングにおいて（デプロイメントにおいても）、画像データ及び非画像データを一緒に処理するために、非画像データは、画像データと共に処理できる擬似画像に再フォーマットされる。このような擬似画像、データを数値的にコード化し、これらの数を２次元以上の行列（「データボリューム」）にポピュレートすることによって形成できる。特に、このようなデータボリュームのそれぞれの層は、それぞれの非画像データアイテムの同一コピーでポピュレートされ、次のデータアイテムのそれぞれのコピーは、次の層へポピュレートされ、以下同様にされる。次に、ボリューム内の層は、それぞれ、それぞれのデータアイテムのコピーを、非画像データボリュームの深さ次元に沿って配置された異なるデータアイテムとともに保持する。このやり方又は同様のやり方で、非画像データは、ニューラルネットワークアーキテクチャ、特にＣＮＮにおいて、一緒に処理される。他の再フォーマット技術も想定されている。

次に、ステップＳ１０２０において、それぞれの学習コンポーネントに、トレーニングデータが連続で又は並列に供給されて、トレーニング出力データが得られる。

次に、ステップＳ１０３０において、最適化アルゴリズムが実行されて、学習が行われる。最適化アルゴリズムでは、機械学習コンポーネントの初期モデルのモデルパラメータ（複数可）が調整されて、デプロイメントの準備が整った、最終的な充分にトレーニングされた機械学習コンポーネントＭＬＣ１、ＭＬＣ２に（場合によっては、１回又は複数回の反復の後に）到達する。学習は、１回限りの演算であっても、又は、十分にトレーニングされた機械学習コンポーネントＭＬＣ１、ＭＬＣ２は、新しいトレーニングデータが利用可能になると、１回又は複数回の追加のトレーニング段階においてさらにトレーニングされてもよい。ＭＬコンポーネントＭＬＣ１、ＭＬＣは、十分な量のトレーニングデータでトレーニングされた後、デプロイメントにおいて、新しい入力データ、すなわち、トレーニングデータの一部ではないデータに適用される。

以下、図１０の方法の上述のステップについてさらに詳細に説明する。

最初に、機械学習プロトタイプである学習モデルがセットアップされる。上述のＣＮＮ、ＮＮ、ＳＶＭなどの学習モデルが、セットアップの一環としてパラメータで初期化される。モデルは、初期セットアップにおいて、乱数値又は一定値でポピュレートされてもよい。これらの初期パラメータは、トレーニング中に調整される。トレーニング手順自体は、決められた回数のステップで、又は、停止条件が満たされるまで、反復的に進行する。

本明細書で想定されているいくつかのトレーニングアルゴリズムは、最適化関数が最適化される最適化問題として定式化できる。最適化は、目的関数の最小化又は最大化を含む。目的関数は、ネットワークパラメータの関数であり、好ましくは、数値にマップされる。最適化は、使用される最適化アルゴリズムに従って機械学習コンポーネントのパラメータを調整することによって、目的関数の最小値又は最大値を見つけることを含む。このように見つけられるのは、必ずしもグローバル最適値ではない。ほとんどの場合、ローカル最適値（すなわち、極小値又は極大値）を見つけることで十分である。また、ローカル又はグローバル最適値へのアルゴリズムの反復は、完全な収束まで行われないが、収束は、閾値に対して測定され、閾値に応じて反復が停止される。或いは、反復は、必要に応じて、いくつかの反復サイクルの後に、早期に中止されてもよい。

機械学習コンポーネントのトレーニングに関するいくつかの最適化問題では、これらは最小化される損失関数ｆ^Ｌで定式化でき、これを以下に使用するが、最大化される効用関数に関するデュアル定式化も本明細書で想定されていることを理解されるものとする。

一般に、損失関数ｆは、ｖ、ｖ’を数値にマップする関数である。損失関数ｆ^Ｌは、トレーニング入力データｖに応答して、反復の全体にわたって機械学習コンポーネントによって生成される標的ｖ’とトレーニング出力データとの間の誤差Δ（形式的には「Ｍ（ｖ）」と書く）を定量化する。「Ｍ」は、上述のＭＬＣ１、ＭＬＣ２、又は任意の他の好適な学習モデル、完全結合ＮＮ、ＣＮＮ、ＣＮＮとＮＮとの混合物、ＳＶＭなどである選択されたモデルを指定する。ｆ^Ｌは、誤差Δを定量化するために、「近さ」の尺度μ（．）に関して定式化される。したがって、形式的には、ｆ^Ｌは、次のように書くことができる：

ここで、Δは、誤差（正数）であり、μ（・）は、モデルパラメータＮＰの現在の集合を所与として、適切な近さの尺度である。本明細書で想定される尺度ｍは、最小二乗法を実施するためのユークリッド二乗距離（Ｍ（ｖ）‐ｖ’）^２を含む。実施形態では、１／２以外のｐを有する任意の適切なＬ^Pノルムも想定されている。

コンテキストファインダＭＬＣ１の実施形態では、以下の二乗平均平方根誤差の損失関数をトレーニングに使用できる：

ここで、Ｍ（ｖ_ｉ）は、モデルパラメータＮＰの現在の集合を所与として、予測されたＲＯＩ座標及び／又はボーラス追跡パラメータＢＴＰを表すトレーニング入力データのｉ番目のアイテムｖ_ｉにコンテキストファインダを適用することによって得られるｉ番目の標的であり、ｗ_ｉは、様々な出力パラメータの異なる場合のある範囲を考慮するためのオプションのスケーリング係数であり、ｖ’_ｉは、トレーニングデータからのｉ番目の標的である。

ボーラストラッカの実施形態では、損失関数は、μについてのカルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ‐Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ：ＫＢＤ）に基づく。具体的には、バイナリの交差エントロピー損失関数をトレーニングに使用できる。本明細書で主に想定される個別設定では、ＫＢＤは、バイナリの交差エントロピー損失関数の以下の定式化に単純化する：

ここで、ｖ’＝ｙ_ｉは、ｉ番目の標的、ここでは、診断イメージング（例えばフルスキャン）をトリガするか否かの参照決定であり、ｐ_ｉ＝Ｍ（ｖ）は、（投影又は画像ドメインの）トレーニング用の（１つ以上の）モニタリング画像を含むｉ番目のトレーニング入力ｖに応答して、（現在のモデルパラメータの集合を所与として）ネットワークＭＬＣ２によって出力される確率でのｉ番目の出力トリガスケジュールである。

損失関数（２）、（３）は例示的な実施形態であり、他のタイプの定式化も想定されていることを理解されたい。さらに、コンテキストファインダＭＬＣ１をトレーニングするために、交差エントロピーセットアップ（３）を追加的に又は代わりに使用してもよいし、ボーラストラッカＭＬＣ２をトレーニングするために、（２）の最小二乗法を追加的に又は代わりに使用してもよい。

損失関数を所与として、最適化、特に最小化問題は、損失関数を（ローカル又はグローバル）最小値に減らすモデルパラメータＮＰを見つけることとして定式化される：
ａｒ ｇｍｉｎ_ＮＰｆ^Ｌ（ｖ，ｖ’｜ＮＰ） （４）
或いは、（４）は、単に、事前定義された受容閾値を下回る（ｆ^Ｌ＜Ｔｈ）ようにしてもよい。

最適化（４）は、パラメータ空間内で見つけられるモデルパラメータ解の特定の望ましい特性を強化するために正則化される。正則化は、（４）を解くときに考慮される関数制約によって実施される。実施形態では、正則化は、例えばスパース性制約によって強化される。明示的な正則化に加えて又はその代わりに、他の暗黙的な正則化セットアップが、ＣＮＮモデリングにおいてなど、１つ又は複数のドロップアウト層をモデルに含めることによって実施されてもよい。ドロップアウト層は、ランダムに又は決定論的に、異なる層のノード間の結合を切断して、実行中の最適化アルゴリズムをより単純な解決策に導いて、過剰適合現象に対処する。

機械学習コンポーネントが、リカレント又はフィードフォワード型の、完全結合ネットワーク、畳み込みネットワーク、又はこれらの組み合わせなどの人工ニューラルネットワークである場合、勾配降下型最適化を使用して、一実施形態では、逆伝搬アルゴリズムを含む（４）を解くことができる。

最適化アルゴリズムが実行されるとき、（現在の）モデルパラメータは徐々に調整されて、損失関数が最小化され、この調整は、所与のトレーニングデータアイテムｉについて、多数の反復サイクルにわたって繰り返される。トレーニングデータ入力の異なるアイテムに対して反復される第２の反復がある。このようにして、二重ループが実現される。損失関数が測定する累積寄与は、トレーニングデータセット内の好ましくはすべてのアイテムに生じるすべての誤差の累積寄与であることを理解されたい。

１つの実施形態では、逆伝搬が使用される。この実施形態では、トレーニングデータは、現在のモデルパラメータを有するＮＮモデルに適用される。トレーニング入力データは、そこを通って順方向に伝搬されて、最終出力としてのトレーニング出力データが得られる。標的とトレーニング出力との間の損失又は偏差は、ネットワーク内の個々のニューロンノードに対する誤差寄与で表現される。これらの誤差寄与は、逆伝搬ステップにおいて確立され、ここでは、損失関数で測定された全体の誤差は、ニューロンの誤差への寄与に依存して、ニューロンにわたって分布する。寄与は、それらの結合の現在の重みによって測定される。次に、誤差寄与は、勾配降下ステップにおいて使用されて、更新ステップにおいて、現在の新しいネットワークパラメータを調整することによって損失関数を向上させる。次に、このように更新されたモデルパラメータは、（更新された）ネットワークを通してトレーニングデータを順方向に伝搬することによって、次の反復ステップにおいて、同じデータセットに使用され、以下同様にされる。

人工ニューラルネットワークＣＮＮなどの機械学習コンポーネントのようなネットワークの学習は、逆伝搬などの説明された降下ベースの最適化スキームに依拠するが、他の代替的な最適化スキームもまた有利に使用できる。これらの代替案としては、例えば、共役勾配降下法、確率的勾配降下法、ＢＦＧＳ法、ネルダー・ミード（Ｎｅｌｄｅｒ－Ｍｅａｄ）法、ニュートン・ラフソン（Ｎｅｗｔｏｎ－Ｒａｐｈｓｏｎ）アルゴリズムなどが含まれる。しかし、これは、勾配ベースの方法がすべての実施形態において必ずしも必要であるというわけではない。言うまでもなく、他の最適化スキームに対して、統計的、無作為、又は他の方法が、他の実施形態、特に、トレーニングされる機械学習コンポーネントがネットワーク状の構造を有さない実施形態で使用されてもよい。本明細書で想定されている非ネットワーク状の機械学習コンポーネントの代替案は、上述のサポートベクターマシン、決定木、回帰方法を含み、これらはすべて代替実施形態で、本明細書で想定されている。

完全結合されたネットワーク構造などの畳み込みニューラルネットワーク構造などの人工ニューラル構造が、本明細書では主に想定されているが、これは（深層）信念ネットワーク、ボルツマンマシンだけでなく、マルコフモデル、ランダムフィールド及び他のグラフィカルモデルなどの他のネットワーク状の機械学習セットアップを除外するものではない。少なくともこのクラスの機械アルゴリズムの共通点は、それらが、いくつかの処理ノードから構成されている点であり、各処理ノードは、入力及び出力を生成可能であり、処理ノードは、結合している他の処理ノードから入力を受け取ったり、結合している他の処理ノードに出力を渡したりする。

上述したように、提案するシステムは、深層学習アーキテクチャが使用される場合に、良好な結果をもたらすことが観察されている。深層学習の概念は、ニューラルネットワークだけでなく、他の代替ネットワーク型の機械学習アーキテクチャにも適用可能である。上述のフィードフォワード人工ニューラルネットワークでは、深さは、入力層と出力層との間の隠れ層の数に対応する。しかしながら、他のネットワークでは、この対応は必ずしもそうではない。ネットワークの深さの一般的な概念は、所与の最終出力を初期入力にリンクするネットワークを通る因果経路に関して定義できる。経路は、観測された出力に寄与したすべての処理ノードを記述する。これらの経路の長さは、パスが通過するノードの数によって定義できる。したがって、例えば、リカレントネットワークは、実際にはより多くの隠れ層を有するフィードフォワード型ネットワークよりも深いと推測できる。これは、リカレントネットワークでは、深さは、出力を生成するためにパスがネットワーク構造を横切る回数によって定義され、隠れ層の数だけで定義されるわけではないからである。すなわち、隠れ層が少ないリカレントネットワークは、隠れ層が多いフィードフォワードネットワークよりも深い場合がある。深さは、例えば、最大因果経路長（「ＰＬ＿ｍａｘ」）として、又は経路長に関する他の任意のメトリックで測定される。

２の深度（ＰＬ＿ｍａｘなどの適切な因果経路長で測定される）が、良好な結果をもたらすことが分かっているが、３、４、５、６、７、８、９又は１０、又は、１１以上のうちのいずれか１つなどの他のより深いアーキテクチャも想定されている。いくつかの実施形態では、深さは、数十又は数百であるが、深さは、デプロイされたときと学習中の応答性とトレードオフされなければならない。約１０の深さを有するＣＮＮは、本目的のために、ほぼリアルタイムの遂行で、デプロイメント中に迅速なターンアラウンドを有して正確な結果をもたらすことが分かっている。ハードウェア及び負荷に応じて、ミリ秒のオーダーの遂行が、デプロイメント中に、特に、ニューラルネットワーク構造を通る順方向伝搬において達成される。

入力ｖ及び標的ｖ’の対に関するトレーニングデータの上記の定式化は、教師付き学習アプローチを意味し得る。しかしながら、明示的なラベル付けは必要とされない。代わりに、提案する学習システムのトレーニングを行うには、上述したような適切なデータグラバを使用して医療データベース内で適切な検索を実行するだけでよい。したがって、提案するシステムを、教師なし学習のインスタンスと呼ぶことができる。例えば、自律駆動のための画像認識タスクにおけるような明示的なラベル付けはここでは必要とされず、これにより、ＭＬＣ２、ＭＬＣ１の高いスループット及び迅速なトレーニングが達成される。強化学習スキーム及び／又は様々なハイブリッドアプローチもまた、実施形態において考慮されている。

図３、図５で上述したようなネットワークセットアップは、完全結合された部分と、完全結合されていないＣＮＮ部分とを含むので、ハイブリッド特性のものであると見ることができる。完全結合されたサブネットワーク及び完全結合されていないサブネットワークを有する他のそのようなハイブリッドネットワークも想定されている。純粋なネットワーク又はハイブリッドネットワークのノードは、それらの活性化関数を実装するためのサブルーチンとしてソフトウェアで実装される。或いは、各ノード又はいくつかのノードは、それぞれ個別の計算ユニットとして、ハードウェアで作られてもよい。ネットワークは、デプロイメント中又はトレーニング中に、分散計算ネットワークとして動作してもよい。計算負担は、相互接続された計算ユニットのネットワークにわたって共有される。これらのタイプの実施形態において、（フェデレーテッド）クラウドアーキテクチャを有益に使用できる。この分散アプローチは、完全結合されたサブネットワーク及びＣＮＮ型のサブネットワークを有するハイブリッドネットワークに対して有益に使用でき、サブネットワークは、場合により互いに遠隔であるが、相互間で入力を提供する又は出力を受け取るように通信可能に結合されている、クラウド内の異なる計算ユニット（例えば、サーバ）によって実装される。代替実施形態では、中央サーバ上での中央処理も想定されている。

ＭＬコンポーネントＭＬＣ１及び／又はＭＬＣ２及び／又はそのトレーニングは、ＧＰＵなどの処理ユニットＰＵによって適切に実装され得ることを理解されたい。ＧＰＵ（グラフィカル処理ユニット）又はＴＰＵ（テンソル処理ユニット）は、テンソル又は行列演算（一連のドット積である）を行うように最適化される。テンソル又は行列演算は、トレーニング又はデプロイメントのために有益に使用できることがわかっている。ＧＰＵ、ＴＰＵ、又は類似のマイクロプロセッサは、一般に、マルチコアシステムにおけるようになど、並列計算のために最適化されている。

上述のシステムＳＳＩをソフトウェアで実装するのに適している回路は、固定コンピュータ、ワークステーション、例えばラップトップ、ハンドヘルドデバイス、タブレットなどの計算デバイス上に配置されている。

提案するデプロイメント及び／又はトレーニングは、クライアントーサーバベースの環境で実施することもできる。特に、トレーニング又はデプロイメントは、クラウドベースのアーキテクチャにおける１つ以上のサーバによって行われてもよい。

ソフトウェアベースの回路に加えて、上述のデプロイメント又はトレーニングのためのシステムは、ハードコードされたマイクロチップとして実装されてもよい。特定用途向け集積回路ＡＳＩＣなどの特定の回路を使用してもよい。システムオンチップ（ＳＯＣ）は、ディスクリート回路及び／又は集積回路、並びにそれらの組合せを含んでもよい。代替実施形態では、回路は、適切に構成されたフィールドプログラマブルゲートアレイＦＧＰＡを含んでもよい。特に、説明されたイメージング支援システムＳＳＩは、イメージング装置のコントローラＣＣ内へ少なくとも部分的に統合されてもよいし、又は、別の方法でイメージング装置内へ統合されてもよい。システムＳＳＩは、イメージング装置に関連するワークステーション又は他のコンピュータユニット内へ統合されてもよい。

トレーニングされたＭＬＣは、中央メモリＭＥＭに保持されても、好ましくは、エンドユーザ計算デバイス（ラップトップ、スマートフォン、デスクトップコンピュータなど）に接続可能で、上述のシステムのいずれか１つに従ってトレーニング及び／又はデプロイメントの実行を要求する複数のサーバ又はメモリデバイスに分散されてもよい。

トレーニング及びデプロイメントは、ハードウェア機器上で実行されても、異なる計算ハードウェア上で実行されてもよい。好ましくは、トレーニングのためのハードウェアは、デプロイメントについてよりも高い性能で構成される。これは、トレーニングは計算要求が多いことによる。トレーニングは、最初は１回限りの演算であるが、新しいトレーニングデータを用いて繰り返されてもよい。機械学習コンポーネントＭＬＣ１、ＭＬＣ２は、トレーニングモード又はデプロイメントモードに切り替え可能であってもよい。

本発明の別の例示的な実施形態では、適切なコンピュータ化されたシステム上で、前述の実施形態のうちの1つによる方法の方法ステップを実行するように構成されることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。

したがって、コンピュータプログラム要素は、本発明の実施形態の一部であり得るコンピュータユニットに格納されてもよい。この計算ユニットは、上述の方法のステップを実行し、又は該ステップの実行を誘導するように構成され得る。また、上述の計算ユニットは、上述の装置の各コンポーネントを動作させるようにしてもよい。計算ユニットは、自動的に動作するように、及び／又はユーザの指令を実行するように構成されてもよい。コンピュータプログラムは、データプロセッサの作業メモリにロードされてもよい。したがって、データプロセッサは、本発明の方法を実行するように装備できる。

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって既存のプログラムを本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。

さらに、コンピュータプログラム要素は、上述の方法の例示的な実施形態の手順を満たすために必要なすべてのステップを提供することができる。

本発明のさらなる例示的な実施形態によれば、ＣＤ‐ＲＯＭなどのコンピュータ可読媒体が提示される。コンピュータ可読媒体は、その上に格納されたコンピュータプログラム要素を有し、コンピュータプログラム要素は、前述の段落によって説明されている。

コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体（一時的又は非一時的）上に記憶／配布することができるが、インターネット又は他の有線もしくは無線の（遠隔）通信システムなどを介して他の形態で配布することもできる。

しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提示されてもよく、このようなネットワークからデータプロセッサの作業メモリにダウンロードすることができる。本発明のさらなる例示的な実施形態によれば、ダウンロードのためにコンピュータプログラム要素を利用可能にするための媒体が提供され、このコンピュータプログラム要素は、本発明の前述の実施形態のうちの1つによる方法を行うように構成される。

本発明の実施形態は、異なる主題を参照して説明されていることに留意されたい。特に、方法タイプの請求項を参照して説明される実施形態もあれば、デバイスタイプの請求項を参照して説明される実施形態もある。しかしながら、当業者は、上記及び以下の説明から、別段の通知がない限り、1つのタイプの主題に属する特徴の任意の組合せに加えて、異なる主題に関する特徴間の任意の組合せも、本出願で開示されると考えられることを理解するであろう。しかしながら、すべての特徴を組み合わせて、特徴の単なる寄せ集め以上の相乗効果を提供できる。

本発明を、図面及び前述の説明において詳細に図示及び説明したが、このような図示及び説明は、例示的であり、限定的ではないと考えられるべきである。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形は、図面、開示及び従属請求項の精査から、特許請求されている発明を実施する際に当業者によって理解され、達成され得る。

特許請求の範囲において、「含む」という用語は、他の要素又はステップを排除するものではなく、単数形は、複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されるいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組合せを有利に使用することができないことを示すものではない。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (20)

1. イメージング装置を介して調達された、物体の導管内の標的位置の入力画像を含む入力データを受け取る１つ以上の入力インターフェースであって、前記導管は、前記標的位置に向かって前記導管内を伝搬可能な標的物質を含む、１つ以上の入力インターフェースと、
   前記入力データを処理して、前記標的位置における前記標的物質の到達を示す出力データを得るための事前トレーニングされた機械学習コンポーネントと、
   前記出力データを出力する出力インターフェースと、
   を含む、画像処理システム。
2. 前記出力データに基づいて、前記イメージング装置の動作を制御するイメージング制御コンポーネントを含む、請求項１に記載の画像処理システム。
3. 前記イメージング制御コンポーネントは、画像取得動作をトリガする、請求項２に記載の画像処理システム。
4. トリガされた前記画像取得動作は、前記標的位置に対して異なる方向から複数の投影画像を取得することを含む、請求項３に記載の画像処理システム。
5. 前記機械学習コンポーネントは、ニューラルネットワークとして、特に畳み込みニューラルネットワークとして構成されている、請求項１から４のいずれか一項に記載の画像処理システム。
6. 前記ニューラルネットワークは、少なくとも１の、又は、少なくとも２の深さを有する、請求項５に記載の画像処理システム。
7. 前記ニューラルネットワークは、少なくとも２つの隠れ層を含み、前記少なくとも２つの隠れ層のうちの少なくとも一方の隠れ層は、データ次元の低減をもたらし、少なくとも他方の隠れ層は、データ次元の増加をもたらす、請求項５又は６に記載の画像処理システム。
8. 前記入力画像は、スペクトルイメージング用に構成された別のイメージング装置又は前記イメージング装置によって調達される、請求項１から７のいずれか一項に記載の画像処理システム。
9. ｉ）前記導管は、体液を保持又は運ぶヒト又は動物の脈管の少なくとも一部を含み、及び／又は、ｉｉ）前記標的物質は、医用イメージング用の造影剤を含む、請求項１から８のいずれか一項に記載の画像処理システム。
10. 調達された前記入力画像は、投影画像である、請求項１から９のいずれか一項に記載の画像処理システム。
11. 前記入力データは、ｉ）前記物体を記述するデータ、ｉｉ）前記標的物質の伝搬様式を記述するデータのうちのいずれか又は両方を含む、請求項１から１０のいずれか一項に記載の画像処理システム。
12. 前記標的位置は、前記イメージング装置によって使用されたイメージングプロトコルに少なくとも基づいて、他の機械学習コンポーネントによって事前に特定されている、請求項１から１１のいずれか一項に記載の画像処理システム。
13. イメージング動作の仕様及び／又はイメージングされる物体を記述するデータを含む入力データを受け取る１つ以上の入力インターフェースと、
    前記入力データを処理して、ｉ）物体内の標的位置、及び／又は、ｉｉ）前記物体の導管を通って前記標的位置に向かって伝搬可能な標的物質の伝搬様式を示す出力データを得るために事前トレーニングされた機械学習コンポーネントと、
    前記出力データを出力する出力インターフェースと、
    を含む、イメージング動作支援システム。
14. 請求項１から１３のいずれか一項に記載のイメージング動作支援システムにおいて使用される前記機械学習コンポーネントをトレーニングする、システム。
15. イメージング動作の仕様及び／又はイメージングされる物体を記述するデータを含む入力データを受け取るステップと、
    事前トレーニングされた機械学習コンポーネントによって、前記入力データを処理して、ｉ）物体内の標的位置、及び／又は、ｉｉ）前記物体の導管を通って標的位置に向かって伝搬可能な標的物質の伝搬様式を示す出力データを得るステップと、
    前記出力データを出力するステップと、
    を含む、イメージング動作を支援する方法。
16. イメージング装置を介して調達された、物体の導管内の標的位置の入力画像を含む入力データを受け取るステップであって、前記導管は前記標的位置に向かって前記導管内を伝搬可能である標的物質を含む、受け取るステップと、
    事前トレーニングされた機械学習コンポーネントによって、前記入力画像を処理して、前記標的位置における前記標的物質の到達を示す出力データを得るステップと、
    前記出力データを出力するステップと、
    を含む、イメージング動作を支援する方法。
17. 請求項１５又は１６に記載の方法において使用される機械学習コンポーネントをトレーニングする、方法。
18. 少なくとも１つの処理ユニットによって実行されると、前記少なくとも１つの処理ユニットに、請求項１５から１７のいずれか一項に記載の方法を行わせる、少なくとも１つのコンピュータプログラム。
19. 前記少なくとも１つの処理ユニットは、マルチコアデザインである、及び／又は、並列計算用に構成されている、請求項１８に記載の少なくとも１つのコンピュータプログラム。
20. 請求項１８又は１９に記載の少なくとも１つのコンピュータプログラムが記憶されている、少なくとも１つのコンピュータ可読媒体。

Images