JP2021140769A - 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム - Google Patents

医用情報処理装置、医用情報処理方法及び医用情報処理プログラム Download PDF

Info

Publication number
JP2021140769A
JP2021140769A JP2021022024A JP2021022024A JP2021140769A JP 2021140769 A JP2021140769 A JP 2021140769A JP 2021022024 A JP2021022024 A JP 2021022024A JP 2021022024 A JP2021022024 A JP 2021022024A JP 2021140769 A JP2021140769 A JP 2021140769A
Authority
JP
Japan
Prior art keywords
filter
image data
information processing
data
medical information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021022024A
Other languages
English (en)
Inventor
グルジェゴルツ・ヤツェンコフ
Jacenkow Grzegorz
ソティリオス・ツァフタリス
Tsaftaris Sotirios
ブライアン・モー
Brian Mohr
アリソン・オニール
O'neil Alison
アネタ・リソフスカ
Lisowska Aneta
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Edinburgh
Canon Medical Systems Corp
Original Assignee
University of Edinburgh
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Edinburgh, Canon Medical Systems Corp filed Critical University of Edinburgh
Publication of JP2021140769A publication Critical patent/JP2021140769A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】例えば教師あり機械学習を用いた画像診断において、処理の効率化、ユーザの負担軽減を実現すること。【解決手段】本実施形態に係る医用情報処理装置は、取得部と、処理部とを備える。前記取得部は、少なくとも１つの被検体について医用画像データと、非画像データとを取得する。処理部は、非画像データに基づいて医用画像データの領域を限定するフィルタを生成し、フィルタを用いて医用画像データを処理する。【選択図】図２

Description

本明細書等に開示の実施形態は、医用情報処理装置、医用情報処理方法及び医用情報処理プログラムに関する。
例えば医用データなどのデータを処理するために機械学習アルゴリズムをトレーニングすることが知られている。
機械学習モデルのトレーニングは、教師あり、又は、教師なしのいずれかを用いるか、又は、教師ありと教師なしとを併せて用いて行うことができる。
教師あり機械学習の手法は、良好なパフォーマンスを達成するために多量のアノテーションされたトレーニングデータを必要とする。しかし、アノテーションされたデータは、特に、時間が不足しているドメインエキスパートのみが信頼できるラベルを与えることができる医療ドメインにおいて、取得が困難であり、費用がかかり得る。トレーニング済の機械学習モデルの出力品質を改善すること、及び／又は、当該モデルをトレーニングするために必要なアノテーションされたトレーニングデータの量を減らすこと、及び／又は、エキスパートによるアノテーションの負担を減らすことが望ましい。
米国特許出願公開第２０１６／０２１７３６８号明細書
本明細書等に開示の実施形態が解決しようとする課題の一つは、例えば教師あり機械学習を用いた画像診断において、処理の効率化、ユーザの負担軽減を実現することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
本実施形態に係る医用情報処理装置は、取得部と、処理部とを備える。前記取得部は、少なくとも１つの被検体について医用画像データと、非画像データとを取得する。前記処理部は、前記非画像データに基づいて前記医用画像データの領域を限定するフィルタを生成し、前記フィルタを用いて前記医用画像データを処理する。
図１は、実施形態に従う装置の概略図である。 図２は、図１の実施形態によって行われる処理の概略図である。 図３は、図２に従う処理を使うテスト処理を行うときに使われる画像を示す図である。 図４は、実施形態に従うネットワークの概略図である。 図５ａと図５ｂは、注意喚起マップ重畳あり及び注意喚起マップ重畳なしの画像である。 図６は、図１の実施形態によって行われる処理の概略図である。
以下、添付図面を参照しながら、実施形態に係る医用情報処理装置、医用情報処理方法及び医用情報処理プログラムについて説明する。
図１に、実施形態に従ったデータ処理装置２０を概略的に示す。本実施形態において、データ処理装置２０は、医用イメージングデータを処理するように構成される。他の実施形態において、データ処理装置２０は、例えば、イメージングデータ、テキストデータ、構造化データ、又は、異種のデータの組み合わせなど、任意の好適なデータを処理するように構成されてよい。
データ処理装置２０は、本例ではパーソナルコンピュータ（ＰＣ）又はワークステーションであるコンピューティング装置２２を備える。コンピューティング装置２２は、医用情報処理装置の一例である。コンピューティング装置２２は、ディスプレイスクリーン２６、又は、他の表示装置と、コンピュータキーボードやマウスなどの１つ又は複数の入力装置２８とに接続される。ディスプレイスクリーン２６は表示部の一例である。
コンピューティング装置２２は、データ記憶部３０から画像データセットを取得するように構成される。当該画像データセットは、スキャナ２４によって取得されたデータを処理することにより生成され、データ記憶部３０に記憶されたものである。
スキャナ２４は、医用イメージングデータを生成するように構成され、医用画像データは、任意の画像診断法における２次元、３次元、又は、４次元のデータを備えてよい。例えば、スキャナ２４は、磁気共鳴（ＭＲ又はＭＲＩ）スキャナ、ＣＴ（コンピュータ断層撮影）スキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、超音波スキャナ、ＰＥＴ（陽電子放出断層撮影）スキャナ、又は、ＳＰＥＣＴ（単一光子放射コンピュータ断層撮影）スキャナを備えてよい。医用イメージングデータは、例えば、非イメージングデータを含み得る追加的な条件付けデータを備える、又は、それに関連付けられていてもよい。
コンピューティング装置２２は、データ記憶部３０の代わりに、又は、データ記憶部３０に加えて、１つ又は複数の更なるデータ記憶部（図示されない）から医用画像データ、及び／又は、更なる条件付けデータを受け取ってもよい。例えば、コンピューティング装置２２は、医用画像保管伝送システム（ＰＡＣＳ）又は他の情報システムの一部を形成してもよい１つ又は複数の遠隔のデータ記憶部（図示されない）から医用画像データを受け取ることができる。
コンピューティング装置２２は、自動的に、又は、半自動で医用画像データを処理するための処理リソースを提供する。コンピューティング装置２２は、処理装置３２を備える。処理装置３２は処理部の一例である。処理装置３２は、非画像データに基づいて医用画像データの領域を限定するフィルタを生成し、フィルタを用いて医用画像データを処理する。より具体的には、処理装置３２は、モデルトレーニング回路３４と、データ処理／ラベル付け回路３６と、インターフェイス回路３８とを備える。モデルトレーニング回路３４は、１つ又は複数のモデルをトレーニングするように構成される。データ処理／ラベル付け回路３６は、例えば、ユーザへの出力のために、又は、更なるモデルトレーニング処理のためにモデルトレーニング回路３４に与えるためになど、ラベル、セグメンテーション、又は、他の処理結果を取得するためなど、出力を取得するため、及び／又は、ラベルを取得するためにトレーニング済みモデルを適用する。インターフェイス回路３８は、ユーザ入力又は他の入力、データ記憶部３０に記憶されたデータを取得する。また、インターフェイス回路３８は、データ処理の結果を出力するように構成される。
本実施形態において、モデルトレーニング回路３４、データ処理／ラベル付け回路３６、インターフェイス回路３８は、各々、実施形態の方法を実行するために実行可能であるコンピュータが読み出し可能な命令を有するコンピュータプログラムにより、コンピューティング装置２２に実装される。しかし、他の実施形態では、種々の回路が、１つ又は複数のＡＳＩＣ（特定用途向け集積回路）又はＦＰＧＡ（フィールドプログラマブルゲートアレー）として実装されてよい。
また、コンピューティング装置２２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス、種々のデバイスドライバを含むオペレーティングシステム、及び、グラフィックカードを含むハードウェア装置を含んだＰＣの他のコンポーネントとを有する。その様なコンポーネントは、明瞭化のために、図１には示されない。
図１のデータ処理装置２０は、図示され、及び／又は、以下に説明される方法を実行するように構成される。
実施形態の特徴として、非画像データ形式の条件付けデータは、空間可変関数を生成するために使用できる。空間可能関数はフィルタと称されることがあり、空間的ローカライゼーションのための非イメージング情報（「非画像情報」とも言う）又は非イメージングデータ（「非画像データ」とも言う）のイメージングパイプラインへの組み込みを可能にする注意喚起メカニズムを与えることができる。当該情報は、例えば、ニューラルネットワーク又は他のモデルのトレーニング中に、非画像情報に基づいて画像データの特定の領域に注意を集中させるために適用可能な関心領域（ＲＯＩ）へ変換することができる。
モデルトレーニングにおける生成した空間依存フィルタに基づく注意喚起メカニズムの使用は、例えば、これに限定されないが、医用画像のアノテーションに使用するモデルに有益であり得る、また、例えばエキスパートによる追加的トレーニングセットのアノテーションを要求しない予測の品質を向上させることができる。このようなアプリケーションにおいて、多くの画像は、例えば、電子健康記録（ＥＨＲ）及び（ＤＩＣＯＭの）メタデータなど、非イメージング情報を伴う。そのような非画像データは、いくつかの実施形態において、トレーニング処理において空間依存注意喚起メカニズムとして使用される、例えばフィルタなどの空間可変関数を生成するために使われる。すなわち、非画像データは、例えば、少なくとも一つの被検体の年齢、体重、性別、特定の症状の有無、イメージング処理又はイメージング装置の少なくとも１つのプロパティ、別の方法の出力、電子健康記録、テキストデータ、構造化データ、メタデータ、ＤＩＣＯＭデータ、ＤＩＣＯＭメタデータのうち少なくとも１つを含むものである。また、非画像データは、例えばデジタルカメラ等の光学式撮像装置によって取得された画像データを用いて生成される情報であってもよい。また、非画像データは、例えば他のモダリティによって取得された画像データを用いて生成することもできる。
ニューラルネットワーク又は他のモデルのトレーニングにおける空間依存注意喚起メカニズムの提供において、図１の実施形態で行われる非画像情報を適用する処理を、図２を参照して詳細に説明する。
当該処理の第１ステージ４０において、インターフェイス回路３８は、検討すべき解剖学的領域を表す、複数の被検体の医用画像データのアノテーションされたトレーニングセットを受け取る（取得する）。ステージ４０では１つの画像が示されているが、これは図示のみを目的としており、モデルのトレーニングにおいては、複数の医用画像データのアノテーションされたトレーニングセットが使われると考えられる。なお、本実施形態においては、ステージ４０において取得される医用画像データを、例えばＣＴ画像、ＭＲ画像等の再構成処理後の画像とする場合を例としている。これに対し、ステージ４０において取得される医用画像データを、例えば再構成前の生データ（サイノグラム等）、再構成前のｋ空間データ等とすることもできる。
医用画像データのアノテーションされたトレーニングセットの其々は、検討すべき解剖学的領域を表す医用画像データを備え、各データセットにおいて、アノテーションにより、モデルトレーニング処理の主題である、特定の注目する解剖学的特徴又は病理が同定される。モデルトレーニング処理は、例えばデータ処理／ラベル付け回路３６によってトレーニング済のモデルを新しいデータセットに適用し、当該新しいデータセット其々における注目する解剖学的特徴又は病理のアノテーションを得られるように、モデルをトレーニングする意図がある。このような新しいデータセットは、例えば、スキャナ２４によって取得するデータセットであってもよい。
アノテーションされたトレーニングセットに含まれるアノテーションは、例えば、画像データのセグメンテーション（例えば、どのピクセル又はボクセル、又は、どのピクセル又はボクセルの領域が、注目する解剖学的特徴又は病理に対応するか）を表すために使うラベルを備えてもよい。
医用画像データのアノテーションされたトレーニングセットを受け取った後、トレーニングセットはインターフェイス回路３８によってモデルトレーニング回路３４に渡される。図２の実施形態では、モデルトレーニング回路３４は、畳み込みニューラルネットワーク（ＣＮＮ）を提供し、ＣＮＮを医用画像データのアノテーションされたトレーニングセットでトレーニングする。なお、図２の実施形態のＣＮＮは医用画像データを入力し、出力情報を出力する第１のモデルの一例である。
図２の実施形態のＣＮＮは、通常は、任意の好適な且つ公知のＣＮＮの構造又はアーキテクチャに基づく構造又はアーキテクチャを有し、入力層及び出力層とともに畳み込み層、全結合層、及びプーリング層を含む複数の層を備える。その他の任意の好適な層が、公知のＣＮＮ方法に従って含まれていてもよい。
公知の手法に従って、特定の層に対して、前の層によって行われた処理からの出力として、特徴マップが作成され、当該特徴マップは当該層に入力として与えられる。そして、例えば、特徴マップの形式での、当該層の出力は、ＣＮＮの次の層へ入力として与えられる。各層は、任意の好適な数の入力チャネル及び出力チャネルを持つことができる。各層において、例えば、フィルタ／畳み込み、プール、ＲｅＬＵ処理などの任意の好適かつ所望する処理、又は、他の任意の所望する処理が行われてもよい。実施形態において、任意の好適な数の層が与えられ得る。また、例えば、特定のＣＮＮ手法及びアーキテクチャの要求によってのみ制約付けられた、各種の任意の好適な数及び配列の層が使用され得る。
なお、明瞭化のために、図２は実施例のＣＮＮの各層、又は、層間の順序及び結合を図示していない。代わりに、図２は、図２の実施形態におけるＣＮＮの層で行われる、条件付け処理４２，４４，４６を概略的に示す。
図２では、処理４２，４４，４６が互いに隣接するように図示されているが、これらの処理がＣＮＮの連続する層で行われなければならない、ということを示す意図はない。なお、要望があれば、いくつかの実施形態でそうであってもよい。図２による実施形態では、処理４２，４４，４６は、ＣＮＮの任意の所望の層で行われ、当該層は、任意の所望の数のＣＮＮの他の層により分離されていてもよい。
図２の実施形態では、処理装置３２は、第１のモデルとは異なるニューラルネットワークであって、フィルタの少なくとも１つのパラメータ値を得る第２のモデルをトレーニングし、フィルタを生成する。すなわち、第２のモデルとしての補助ネットワーク４８又は他のモデル又はアルゴリズムが、第１のモデルとしてのメインＣＮＮに加えて備えられている。補助ネットワーク４８は別のＣＮＮ、又は、その他の任意の好適なタイプのニューラルネットワーク、深層学習アルゴリズム、又は代替となるトレーニング可能なもの、又はその他のモデルであり得る。
図２に示すように、図示の実施形態において、補助ネットワークは、メインＣＮＮの曖昧な出力の空間を限定するため、又は、影響を及ぼすために使用できる非画像データを受け取る（例えば、各画像データのセットにおいて、注目する特定の解剖学的特徴を特定するタスクのための曖昧な出力）。
図２に示す具体的な実施例において、補助ネットワークへ入力する非画像データは、被検体の生物学的性別（例えば、男性又は女性）、被検体の身長、被検体の体重として示されている。
このような非画像データは、注目する解剖学的特徴のサイズ、ロケーション、又はその他の特性と関連し得ることがわかるだろう。例えば、健康な若い被検体の心臓又は血管などのプロパティは、不健康で肥満な高齢者のものと異なることが予想される。その他のプロパティのうち、サイズ、形状、位置、又は相対位置は、そのような非画像データ又は他の条件付けデータに依存して異なり得る。
図２に概略的に示すように、補助ネットワーク４８の出力は、モデルの層で処理４４，４６の入力として与えられる、スケール（γ）及びシフト（β）パラメータを与え得る。スケール及びシフトパラメータは、画像Ｆｃ（例えば、１つ又は複数のトレーニング画像データセット、又は、ＣＮＮの前の層から導出された特徴マップ）を、例えば以下の式（１）で表されるバッチノーマライゼーション処理に従って変換する。例えば、Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, Ioffe et al, 2015, arXiv.1502.03167、US2016217368に記載されるようなバッチノーマライゼーション処理などの、任意の好適なバッチノーマライゼーション処理をＣＮＮに適用してもよい。
Figure 2021140769
処理４４，４６の一部として、別々のスケール（γ）及びシフト（β）因子をＣＮＮの１つ又は複数の関連する層の各チャネルに適用することで、個々の増幅又は抑制すべき特徴マップを結果として得て、ＣＮＮの最終予測に影響を及ぼすことができる。しかし、例えば４４，４６に適用されるそのようなバッチノーマライゼーション処理は、一般的には、空間位置に依存してチャネルを調整する柔軟性を与えず、その代わりに、スケール及びシフト因子は特徴マップ全体を修正する。
図２による実施形態の重要な特徴として、非画像データに依存する空間依存条件付けは、ＣＮＮの１つ又は複数の層にも与えられる。すなわち、第１のモデルとしてのＣＮＮは、第１の層と、第１の層からの出力を入力とする第２の層とを少なくとも備える。処理装置３２は、第１の層からの出力に対してフィルタを用いる。具体的には、図２による実施形態において、微分可能関数（例えば、ガウシアン）に基づく注意喚起メカニズムを提供し、例えば特徴別変換を適用する前に与えられる得る空間依存フィルタを生成する。
フィルタは、モデルをトレーニングする際に画像データの空間領域により注意（例えば、重み又は重要さ）が向けられるように、医用画像データの領域を限定する効果をもつ。例えば、非画像バラメータの特定の値をもつ被検体にとって、画像（例えば、アライメントされた、及び／又は、ノーマライゼーションされた画像）の特定の空間領域において注目する解剖学特徴が見つかりやすい場合は、当該注目する解剖学的特徴を画像データセットにおいてラベル付けする（例えば、セグメンテーションする）ためのモデル（第１のモデルの一例）を適用する場合がある。係る第１のモデルとしてのＣＮＮ、又は他のニューラルネットワークを含むネットワークモデルをトレーニングする際に、注意喚起機能として機能するフィルタはより多くの注意が画像の当該領域に向くことを保証してもよい。
図２による実施形態において、フィルタは２つのガウシアンベクトルの積（ａ＝ａ１ａＴ ２）として生成され、条件インスタンスノーマライゼーション処理４４を行う層に組み入れられる。当該メカニズムは計算上効率がよく、４つのパラメータ（μ１,σ１,μ２,σ２）だけをＣＮＮの既存の層に追加する。他の実施形態において任意の好適な空間可変関数を使用してもよく、実施形態は、ガウシアン又はガウシアンの組み合わせを備える関数に限定されない。
例えば、各ガウシアンのピーク位置及び分散などの、ガウシアンの形状及び位置を判断するパラメータ値は、図２の実施形態において、非画像データ（例えば、図２に示すデータ例では、被検体の性別、身長、体重）に基づいて補助ネットワーク４８の出力として、又は、関連するトレーニング画像データセットとともに与えられるその他の条件付けデータに基づいて補助ネットワーク４８への入力として、判断される。
補助ネットワーク４８により生成される、注意喚起関数として機能するフィルタは、ＣＮＮをトレーニングするときに、特徴マップ間で共有、又は、チャネルごとに適用することができる。例えば、異なるパラメータ値（例えば、ピーク位置、分散）をもつガウシアン又はその他のフィルタを、ＣＮＮをトレーニングするときに、１つ又は複数の層で、異なる特徴マップ及び／又はチャネルに使用してもよい。当該異なる特徴マップ及び／又はチャネルに注意喚起関数として適用されるフィルタのパラメータの値は、補助ネットワーク４８により別々に学習されてもよい。又は、いくつかの実施形態において、同一のパラメータ値をもつ同一のフィルタを、全ての関連チャネル及び／又は１つより多い特徴マップに対して注意喚起関数として使用してもよい。
注意喚起関数として機能するガウシアンフィルタがＣＮＮの単一の層に適用されるように図２では概略的に示しているが、他の実施形態において、注意喚起関数として機能する当該フィルタをＣＮＮの１つより多い異なる層に適用してもよく、又は、非画像データを用いて得た、それぞれ注意喚起関数として機能する異なるフィルタを、ＣＮＮの異なる層に適用してもよい。
被検体の身長、体重、性別を図２の実施形態の具体的な実施に関連して上記のように説明したが、空間に依存する注意を与えるために任意の好適なデータを条件付けデータとして使用してもよい。条件付けデータは、例えば、画像、Ｏｎｅ−ｈｏｔ符号化ベクトル、構造化テキストなど、任意のモダリティであってよい。条件付けデータは、例えば、年齢、体重、性別、特定の症状の有無、イメージング処理又はイメージング装置の少なくとも１つのプロパティ、別の方法の出力、電子健康記録（ＨＥＲ）、メタデータ、ＤＩＣＯＭデータ、音声データ、又は構造化データのうち１つ又は複数を備える、又は、表してもよい。
ある実施形態の特徴として、例えば非画像データなどの条件付けデータが空間情報を含まない、もしくは、画像の、又は、画像内の関連する解剖学的特徴又は病理の空間分布と関連を有さない場合、当該方法は条件インスタンスノーマライゼーション層に汎化する、すなわち、注意は特徴マップに影響しない（実際には、例えば大きな拡散をもつガウシアンが、等しい重みを全特徴マップに適用するフィルタとして、例えば補助ネットワーク４８により生成される）。
条件付けデータが画像の、又は、画像内の関連する解剖学的特徴又は病理の空間分布と関連を有する場合、いくつかの実施形態では、フィルタ（例えば、１つ又は複数のガルシアン）生成は、当該フィルタの非空間的な均一化を促進する処理の適用を備える。
例えば、均一な注意マップを使った一般的解決法へのネットワークデフォルティング（network defaulting）が求められておらず、これを避けるために、正則化ペナルティを、フィルタを生成する処理に使ってコスト関数に含め、ローカライゼーションの学習を促進してもよい。例えば、ガウシアン関数の場合、（例えば、大きな標準偏差／分散をもつ）大きな拡散をもつガウシアンを、いくつかの実施形態において、下記の式（２）で表されるようなトレーニング損失関数でペナルティを科してもよい。
Figure 2021140769
上記式（２）において、第１項は例えばＤｉｃｅ損失などの最適化の主目的である。第２項は注意喚起ガルシアンフィルタの標準偏差パラメータなどの科されるペナルティである（例えば、大きな標準偏差値にペナルティが科される）。ハイパーパラメータηは、主目的と正則化ペナルティとのトレードオフを制御するために使われる。空間依存フィルタの非空間的均一化を促進するための上記方法は、図２の実施形態における補助ネットワーク４８により実施されてもよい。いくつかの実施形態において、例えばNumerical Co-ordinate Regression with Convolutional Neural Networks, Nibali et al, 2018, arXiv:1801.07372に記載される手法に従って損失関数を実装してもよい。
図２の実施形態は、セグメンテーションマスクといくつかの条件付けシナリオを備えるように修正されたＣＬＥＶＲデータセット（CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning Johnson et al, arXiv:1612.06890, 2016）の拡張に適用された。図３は、最下画像において、ラベル付けされる各種特徴（異なる色をもち、異なるロケーションにある四角、丸、プリズム形状のオブジェクト）を含み、方法が適用されるデータセットの表現を示す。
図３に示すアプリケーションでは、ｉ）ロケーション（例えば、右下の角にあるオブジェクトだけ選択）、ｉｉ）色（例えば、赤いオブジェクトだけ選択）、ｉｉｉ）形状（例えば、プリズムだけ選択）、ｉｖ）サイズ（例えば、中位のサイズのオブジェクトだけ選択）という条件のＣＮＮの出力で各種テストを行った。シナリオｉ）では、条件因子は空間情報を備え、シナリオｉｉ）〜ｉｖ）では、条件因子は空間情報を備えない。
図３の最下画像の上にある他の画像は、条件ｉ）〜ｉｖ）に対応するセグメンテーションマスクを示す。
図３に関連して説明したタスクを、図２の実施形態の２つの変形を使って実行した。１つ目はチャネル毎にフィルタ（例えば、ガルシアン形式の注意喚起マップ）を使ったものであり、排他的注意喚起変形例と呼ぶ。もう１つはフィルタ（例えば、ガルシアン形式の注意喚起マップ）を注意喚起マップ間で共有するものであり、共有注意喚起変形例と呼ぶ。
タスクもまた、ベースライン（追加条件付けなしの公知のＣＮＮ）、ＦｉＬＭ（FiLM: Visual Reasoning with a General Conditioning Layer, Perez et al, arXiv:1709.07871, 2017から導出する技術を使用）、及びＧｕｉｄｅ Ｍｅ（Guide Me: Interacting with Deep Networks, Rupprecht et al, arXiv:1803.11544, 2018から導出する技術を使用）を参照する公知の技術に基づいて行われた。
図２の実施形態の２つの変形例と公知の各種技法を使った異なる条件付けシナリオｉ）〜ｉｖ）で行ったタスクの結果を、下記の表において達成したＤｉｃｅ値の形式で示す。各ケースにおいて、最良のパフォーマンスは（表において提案方法とラベル付けされている）図２の実施形態の１つによって達成された。全技法において、同一の基本セグメンテーションネットワーク、例えばＣＮＮが使用された。
Figure 2021140769
使用される条件付け因子に空間情報が含まれない場合、例えば、画像空間内の絶対位置に関連しない場合、いくつかの実施形態による方法は条件インスタンスノーマライゼーション層に汎化する。
タスクはまた、ＡＣＤＣデータセット（Bernard, O., Lalande, A., Zotti, C., Cervenansky, F., Yang, X., Heng, P.A., Cetin, I., Lekadir, K., Camara, O., Ballester, M.A.G. and Sanroma, G., 2018. Deep Learning Techniques for Automatic MRI Cardiac Multi-structures Segmentation and Diagnosis: Is the Problem Solved?. IEEE Transactions on Medical Imaging, 37(11), pp. 2514-2525）で実行された。トレーニング例の数を限定し（例えば１００％、２５％、６％データセット）、装置が膨大な数のアノテーションされた例へのアクセスを有さないシナリオを模倣するタスクが繰り返された。
アプリケーションにおいて、ｉ）心臓容積内での入力画像の位置（例えば、１で示される底面スライス）、ｉｉ）入力画像を取得する間の心拍位相（例えば、収縮末期）という条件のＣＮＮの出力で各種テストを行った。
Figure 2021140769
実施形態によると、非画像データに基づくフィルタと、例えば位置依存注意喚起マップの提供は、ＣＮＮ又は他のモデルの層として提供又は実施され得る。例えば層として実施されるフィルタのロケーションは、実施形態で異なっていてもよく、所望のネットワークの各種ロケーションに含まれていてもよい。非画像データに基づくフィルタを備え、例えば位置依存注意喚起マップの提供する当該層は、ネットワークで１回より多く出現してもよい。図４は当該フィルタ層６２がＣＮＮ６０に２回提供される実施形態を示している。ＣＮＮ６０のその他の層又はその他の要素は、（パートＡとラベル付けされた）ブロック６４と（パートＢとラベル付けされた）ブロック６６である。
モデルをトレーニングすると、例えば、ＣＮＮは任意の好適なデータセットに適用され、例えば、画像データセット内の解剖学的特徴又は病理のラベル付けなど、そのためにトレーニングが行われたタスクを実行してもよい。
いくつかの実施形態において、空間可変関数の視覚的表現が、画像データセットから得た画像と共に、例えば、その上に重畳するように表示される。画像は、例えばＣＮＮなどのトレーニング済みモデルが生成したセグメンテーション又はその他のラベル付けの表現を備えていてもよい。例えばガウシアンなどのフィルタの表現を表示することにより、ユーザは、どこに、例えば、画像空間のどのパートに、モデルをトレーニングする際に注意が向けられたかがわかる。これは、ユーザがトレーニング処理を理解する際の支援として、又は、モデルトレーニング処理が信頼できるものであるというユーザの信頼を得るために役に立つ。位置依存注意喚起を与えるために使われたフィルタの表現の重畳を図５ａ、図５ｂに示す。図５ａは、フィルタ表現の重畳なしの画像を示し、図５ｂは、フィルタ表現の重畳ありの画像を示す。
図２の実施形態において、フィルタ処理４２は、画像空間内の絶対位置に基づいて注意を向けさせるために使用される。代替となる実施形態においては、例えば１つ又は複数のガウシアンなどのフィルタは、例えば解剖学的特徴及び／又は病理間での相対位置などの相対位置に基づいて、関心領域に注意を向けさせるために使用され得る。このように、オブジェクトの位置は符号化されてよく、又は、相互に相対的に表されてもよい（例えば、「ピクセル空間内の位置（１５０，７５）」と同様に、又は、その代わりに「右心室内腔が心筋の隣にある」）。そのような代替となる実施形態を図６に概略的に示す。ここでは、類似の参照番号が類似の特徴を表している。図６の実施形態は、図２のものと類似するが、符号化するために、又は、相対位置に基づいて注意を向けさせるために使われる（例えば、１つ又は複数のガルシアンのパラメータを判断する）フィルタを生成するために使用される追加的補助ネットワーク７０を備える。
ある実施形態では、データ処理方法を提供する。当該方法は、データの値の空間分布に関連する追加的条件付けデータを使って、空間可変関数のためのパラメータ値を判断し、当該空間可変関数を当該データに適用し、当該データの処理を当該空間可変関数に依存させる、ことを備える。
空間可変関数のためのパラメータ値は、当該データと当該追加的条件付けデータの両方を使って判断してもよい。当該データは、複数のデータセットを備えてもよい。少なくとも一部の、任意選択としては、全ての当該データセットのそれぞれは、条件付けデータと関連していてもよい。
当該空間可変関数は複数の空間可変関数を備えてもよい。
当該データはイメージングデータのセットを備えてもよく、当該追加的条件付けデータは非イメージングデータを備えてもよい。
当該データは医用イメージングデータ、テキストデータ、又は任意の好適なタイプのデータを備えてもよい。当該データはＥＣＧ又は他のセンサデータ、加速度データ、装着可能装置データ及び／又は任意の好適な一連の信号又は好適な時間依存信号を備えてもよい。
当該データは、少なくとも１つの磁気共鳴（ＭＲ）データ、コンピュータ断層撮影（ＣＴ）データ、Ｘ線データ、超音波データ、陽電子放出断層撮影（ＰＥＴ）データ、単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）データ、又は患者の記録データを備えてもよい。
当該データのセットはラベル付けされたデータのセットを備えてもよく、ラベルは解剖学的特徴又は病理の分類及び／又はセグメンテーション及び／又は同定を備える、又は、表してもよい。
当該データは、患者の画像を表すイメージングデータを備えてもよく、当該追加的条件付けデータは、少なくとも一部の患者に対して、当該患者の少なくとも１つの特徴、又は、当該画像を取得するために使用したイメージング処理又は撮像装置の少なくとも１つのプロパティを表してもよい。
当該条件付けデータは、年齢、体重、性別、特定の症状の有無のうち少なくとも１つを備える、又は、表してもよい。
当該条件付けデータは、他のデータ、電子健康記録（ＥＨＲ）又は、当該画像で見出せる視覚的プロパティ（例えば、病理、取得設定等）に相互に関連する任意のデータを処理する別の方法の１つ又は複数の出力を備える、又は、表してもよい。
当該空間可変関数は、注意喚起関数を備えてもよい。空間可変関数の適用は、空間可変関数に応じて判断される処理において、データにより大きい又は小さい重要性を与えるようなものかもしれない。
当該空間可変関数はフィルタを備えてもよい。
当該方法は、モデルをトレーニングする方法を備える。当該モデルは、複数の層を備えてもよい。当該データはトレーニングデータのセットを備えてもよい。空間可変関数の適用は、モデルのトレーニングの一部として、モデルの層の出力に対する空間可変関数の適用を備えてもよい。
当該モデルは機械学習モデルを備えてもよい。
当該モデルはニューラルネットワークを備えてもよい。空間可変関数のためのパラメータ値の判断は、パラメータ値を得るための補助モデルのトレーニングを備えてもよく、当該補助モデルは補助ニューラルネットワークを備えてもよい。
空間可変関数のためのパラメータ値の判断は、空間可変関数の非空間的な均一化を促進する処理の適用を備えてもよい。
空間可変関数の非空間的な均一化を促進する処理は、例えば、関数の標準偏差のより小さな値と比較して標準偏差のより大きな値にペナルティを科すなどの、損失関数でのペナルティの使用を備えてもよい。
モデルの層の出力への空間可変関数の適用は、モデルの更なる層の一部として空間可変関数を適用することを備えてもよく、当該層の出力は当該更なる層への入力として使用されてもよい。
当該更なる層は、複数の特徴マップ及び／又はチャネルを備えてよく、空間可変関数の適用は、特徴マップ及び／又はチャネルのうちの異なるものに対して、異なる関数パラメータ値及び／又は異なる関数を適用することを備えてもよい。
当該方法は、複数のチャネル及び／又は特徴マップのそれぞれに対して、空間可変関数の個別のパラメータ値を判断することを備えてもよい。
当該方法は、複数のチャネル及び／又は特徴マップのうちの異なるものに対して、空間可変関数のピーク又は他の特徴の位置の変化を促進する処理を適用することをさらに備えてもよい。
空間可変関数の個別のパラメータ値の判断は、補助ニューラルネットワークを使って、複数のチャネル及び／又は特徴マップのそれぞれに対して分離してパラメータ値を学習することを備えてもよい。
空間可変関数のモデルの層の出力への適用は、異なる空間可変関数を異なる特徴マップ及び／又はチャネルへ適用することを備えてもよい。
当該方法は、複数の空間可変関数のためのパラメータ値を判断し、モデルのトレーニングの一部として、モデルの複数の異なる層の出力に対して空間可変関数を適用することを備えてもよい。
モデルの複数の異なる層の出力に対する空間可変関数の適用は、モデルの複数の更なる層の当該複数の空間可変関数の適用を備えてもよい。
当該方法は、空間可変関数を使った２つ以上の関心特徴の相対位置を表すことを備えてもよい。
空間可変関数のためのパラメータ値を判断は、追加的条件付けデータを当該データ、及び／又は、容積測定データ、画像データ、テキストデータ、メタデータ、音声データのうちの少なくとも１つと共に使用して、パラメータ値を判断することを更に備えてもよい。
当該方法は、空間可変関数の視覚的表現を表示することを更に備えてもよい。
当該空間可変関数は、微分可能関数及び／又はコンパクトなパラメータ化された関数を備えてもよい。当該空間可変関数は、ガウシアン関数又は生徒のＴ関数、又は任意の効率的にパラメータ化された平滑関数、又は、関数の混合を備えてもよい。当該空間可変関数は、少なくとも２つのベクトルの、任意選択としては、少なくとも２つのガウシアンベクトル及び／又は行列の積を備えてもよい。当該空間可変関数は多変数関数、任意選択としては、多変数ガウシアンを備えてもよい。当該追加的条件付けデータは、画像データ、テキストデータ、メタデータ、音声データ及び／又は構造化データのうちの少なくとも１つを備えてもよい。
当該方法は、出力を生成するために当該モデルをデータセットに適用することを備えてもよい。
当該データは、イメージングデータセットを備えてもよく、当該出力は画像を備えてもよく、当該方法は空間可変関数の視覚的表現を含めることを更に備えてもよい。
当該出力は、解剖学的特徴又は病理のラベル、及び／又は、分類、及び／又は、セグメンテーション、及び／又は、同定の少なくとも１つを備えてもよい。当該出力は、病気分類、解剖又は病理描写、又は、解剖又は病理検出を表す出力に対応するために使用してもよく、及び／又は、それを備えてもよい。
ある実施形態では、処理回路を備えたデータ処理装置を提供する。当該処理回路は、複数の入力データセット及び当該入力データの値の空間分散に関する追加的条件付けデータを使って、空間可変関数のパラメータ値を判断し、当該空間可変関数を、当該入力データセットの少なくとも１つ、任意選択としては、当該入力データセットの全てに適用し、当該入力データセットの当該少なくとも１つの処理を、当該空間可変関数に依存させる、ように構成される。
ある実施形態では、ニューラルネットワークモデルを提供する。当該ニューラルネットワークモデルは、複数の層と、当該複数の層のうちの１つの層とそれとは別の層との間にある空間依存条件付け層と、を備え、当該空間依存条件付け層は、イメージングデータと関連する非イメージングデータとのセットの組み合わせに基づいて判断される空間可変関数を適用する。
当該空間依存条件付け層は、補助ネットワークを使って構成、又は、補助ネットワークを備えてもよい。
ある実施形態では、処理回路を備えた医用画像処理装置を提供する。当該処理回路は、被検体の医用画像データ、及び、当該被検体に関するパラメータである非医用画像データを受け取り、当該非医用画像データに基づいて当該医用画像データに適用するフィルタを生成するように構成され、当該フィルタは医用画像データの領域を限定するフィルタである。
当該非医用画像は、少なくとも性別、身長、体重、ＢＭＩ、病気のうちの１つを備えてもよい。
当該フィルタはガウシアンフィルタを備えてもよい。
当該処理回路は、当該非医用画像データに基づいて当該ガウシアンフィルタのパラメータを決定するように更に構成されてもよい。
当該処理回路は、当該非医用画像データに基づいて当該ガウシアンフィルタのピーク位置と分散を決定するように更に構成されてもよい。
当該処理回路は、当該非医用画像データ入力に基づいて当該ガウシアンフィルタのパラメータを出力するニューラルネットワークを含むように更に構成されてもよい。
ある実施形態は、空間情報を組み込む方法を提供する。当該空間情報は、ａ）ニューラルネットワーク、ｂ）トレーニング例のセット、及び、当該トレーニングポイントに空間的に関する追加的条件付けデータ、とを備え、ｃ）当該追加的情報は、微分可能関数（例えば、ガウシアン、生徒のＴ分布など）からの注意喚起の形式で組み込まれ、及び／又はｄ）当該注意喚起パラメータは、補助ネットワークを使って予測され、及び／又はｅ）当該注意喚起メカニズムはチャネルごとに別々に学習されてもよく、及び／又はｆ）損失関数のペナルティは、情報伝達的（非均一）関数の学習を促進するために、例えば、ガウシアン関数の場合であれば、大きな標準偏差にペナルティを科し、異なるチャネルのガウシアン平均が分散するように促進し、ｇ）当該追加的情報は、画像、テキスト、メタデータ、音声又はその他の構造化データのうちの１つ又は複数であり得る。
当該ガウシアンパラメータは、任意の好適なコンパクトなパラメータ化された関数に置き換えてもよい。
また、当該パラメータ化された注意喚起関数を学習する責任を負う当該補助ネットワークは、オリジナルデータ内の特徴をより良くローカライズするために、源であるボリューム、画像、テキスト、メタデータ、音声を供給されてもよい。
ユーザが非イメージングデータを当該ネットワークに適用し、結果である最終の注意喚起マップがどのように変化するかを確認できるように、ユーザインターフェイスを提供してもよい。
特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の１つ又は複数の機能を、１つの処理リソース又は他のコンポーネントによって提供することができ、又は、１つの回路によって提供される機能を、２つ又はそれより多くの処理リソース又は他のコンポーネントを組み合わせることによって提供することができる。１つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントがお互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する１つのコンポーネントを包含する。
所定の実施形態が説明されているが、これらの実施形態は、例示のためにのみ提示されており、発明の範囲を限定することは意図されない。実際は、本明細書において説明された新規な方法及びシステムは、様々な他の形態で具体化することができる。更に、本明細書において説明された方法及びシステムの形態における様々な省略、置き換え、及び、変更が、発明の要旨を逸脱することなくなされてよい。添付の特許請求の範囲の請求項及びそれらに均等な範囲は、発明の範囲にはいるような形態及び変更をカバーすると意図される。
２０ データ処理装置
２２ コンピューティング装置（医用情報処理装置）
２４ スキャナ
２６ ディスプレイスクリーン
２８ 入力装置
３０ データ記憶部
３２ 処理装置
３４ モデルトレーニング回路
３６ データ処理／ラベル付け回路
３８ インターフェイス回路
６０ ＣＮＮ
６２ フィルタ層
６４、６６ ブロック

Claims (19)

  1. 少なくとも１つの被検体について医用画像データと、非画像データとを取得する取得部と、
    前記非画像データに基づいて前記医用画像データの領域を限定するフィルタを生成し、前記フィルタを用いて前記医用画像データを処理する処理部と、
    を備えた医用情報処理装置。
  2. 前記処理部は、
    前記医用画像データを入力し、出力情報を出力する第１のモデルを有し、
    前記第１のモデルのトレーニングにおいて、前記フィルタを用いる、
    請求項１に記載の医用情報処理装置。
  3. 前記第１のモデルはニューラルネットワークを有し、
    前記処理部は、前記第１のモデルとは異なるニューラルネットワークであって、前記フィルタの少なくとも１つのパラメータ値を得る第２のモデルをトレーニングし、前記フィルタを生成する、
    請求項２に記載の医用情報処理装置。
  4. 前記第１のモデルは、第１の層と、前記第１の層からの出力を入力とする第２の層とを少なくとも備え、
    前記処理部は、前記第１の層からの前記出力に対して前記フィルタを用いる、
    請求項２又は３に記載の医用情報処理装置。
  5. 前記処理部は、前記第１のモデルが備える層からの出力として生成される複数の特徴マップ及び前記第１のモデルが有する複数のチャネルの少なくとも一方のそれぞれに対して、前記フィルタに関して異なるパラメータ値及び異なる関数を用いる、
    請求項４に記載の医用情報処理装置。
  6. 前記処理部は、前記第１のモデルが備える層からの出力として生成される複数の特徴マップ及び前記第１のモデルが有する複数のチャネルの少なくとも一方のそれぞれに対して、前記フィルタに関して前記フィルタの個別のパラメータ値を判断する、
    請求項４に記載の医用情報処理装置。
  7. 前記処理部は、
    ａ）複数のフィルタのパラメータ値を判断し、前記第１のモデルの前記トレーニングの一部として前記第１のモデルの複数の異なる層の出力に対して前記フィルタを適用すること、
    ｂ）複数の特徴マップ及び複数のチャネルのうちの異なるものに対する、前記フィルタのピーク位置又は特徴の変化を促進する処理を適用すること、
    のうちの少なくとも１つを実行する請求項２乃至６のうちいずれか一項に記載の医用情報処理装置。
  8. 前記複数のフィルタの前記パラメータ値の判断は、ニューラルネットワークを用いて、前記複数のチャネル及び前記複数の特徴マップのうちの少なくとも一方のそれぞれについて、前記パラメータ値を学習することを含む、
    請求項７に記載の医用情報処理装置。
  9. 前記非画像データは、前記少なくとも１つの被検体の年齢、体重、性別、特定の症状の有無、イメージング処理又はイメージング装置の少なくとも１つのプロパティ、別の方法の出力、電子健康記録、テキストデータ、構造化データ、メタデータ、ＤＩＣＯＭデータ、ＤＩＣＯＭメタデータ、光学式撮像装置によって取得された画像データを用いて生成される情報のうち少なくとも１つを含む、
    請求項１乃至８のうちいずれか一項に記載の医用情報処理装置。
  10. 前記処理部は、前記非画像データに基づいて、ガウシアンフィルタとしての前記フィルタのピーク位置及び分散を判断する、
    請求項１乃至９のうちいずれか一項に記載の医用情報処理装置。
  11. 前記処理部は、前記非画像データに基づいて、前記フィルタとしてのガウシアンフィルタのパラメータを出力するニューラルネットワークを有する、
    請求項１乃至９のうちいずれか一項に記載の医用情報処理装置。
  12. 前記処理部は、前記フィルタの非空間的均一化処理を実行する、
    請求項１乃至９のうちいずれか一項に記載の医用情報処理装置。
  13. 前記フィルタの前記非空間的均一化処理は、損失関数におけるペナルティを用いた正則化処理を含む、
    請求項１２に記載の医用情報処理装置。
  14. 前記フィルタは、関心特徴の位置を抽出する抽出処理及び複数の関心特徴の相対位置を抽出する抽出処理の少なくとも一方を実行する、
    請求項１乃至１３のうちいずれか一項に記載の医用情報処理装置。
  15. 前記フィルタの視覚的表現を表示する表示部をさらに備えた、
    請求項１乃至１４のうちいずれか一項に記載の医用情報処理装置。
  16. ａ）前記フィルタは、微分可能関数、コンパクトな平滑関数、効率的にパラメータ化された平滑関数のうちの少なくともいずれかを備えること、
    ｂ）前記フィルタは、ガウシアン関数又は生徒のＴ分布を備えること、
    ｃ）前記フィルタは、少なくとも２つのベクトル及び行列積の少なくとも一方を用いること、
    ｄ）前記非画像データは、画像データ、テキストデータ、メタデータ、音声データ、及び／又は構造化データのうち少なくとも１つを備えること、
    のうちの少なくとも一つを含む、
    請求項１乃至１５のうちいずれか一項に記載の医用情報処理装置。
  17. 前記トレーニング済みの前記第１のモデルをデータセットに適用することを備える、
    請求項２に記載の医用情報処理装置。
  18. 少なくとも１つの被検体について医用画像データと、非画像データとを取得し、
    前記非画像データに基づいて前記医用画像データの領域を限定するフィルタを生成し、
    前記フィルタを用いて前記医用画像データを処理すること、
    を備えた医用情報処理方法。
  19. コンピュータに、
    少なくとも１つの被検体について医用画像データと、非画像データとを取得する取得機能と、
    前記非画像データに基づいて前記医用画像データの領域を限定するフィルタを生成し、前記フィルタを用いて前記医用画像データを処理する処理機能と、
    を実現させる医用情報処理プログラム。
JP2021022024A 2020-03-03 2021-02-15 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム Pending JP2021140769A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062984471P 2020-03-03 2020-03-03
US62/984,471 2020-03-03
US16/992,466 US11610303B2 (en) 2020-03-03 2020-08-13 Data processing apparatus and method
US16/992,466 2020-08-13

Publications (1)

Publication Number Publication Date
JP2021140769A true JP2021140769A (ja) 2021-09-16

Family

ID=77556276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021022024A Pending JP2021140769A (ja) 2020-03-03 2021-02-15 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム

Country Status (2)

Country Link
US (1) US11610303B2 (ja)
JP (1) JP2021140769A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062764A1 (ja) * 2021-10-13 2023-04-20 国立大学法人東北大学 生体画像処理プログラム，生体画像処理装置及び生体画像処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410309B2 (en) * 2020-12-03 2022-08-09 Ping An Technology (Shenzhen) Co., Ltd. Method, device, and computer program product for deep lesion tracker for monitoring lesions in four-dimensional longitudinal imaging
US11500463B2 (en) 2020-12-30 2022-11-15 Imagine Technologies, Inc. Wearable electroencephalography sensor and device control methods using same

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996016534A2 (en) * 1994-11-25 1996-06-06 Sophisview Technologies, Ltd. System and method for diagnosis of living tissue diseases
US20070286525A1 (en) 2006-06-08 2007-12-13 General Electric Company Generation of imaging filters based on image analysis
US8965080B2 (en) 2009-03-26 2015-02-24 Koninklijke Philips N.V. Perfusion imaging
US9655563B2 (en) * 2013-09-25 2017-05-23 Siemens Healthcare Gmbh Early therapy response assessment of lesions
US9824457B2 (en) 2014-08-28 2017-11-21 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure
KR102055355B1 (ko) 2015-01-28 2019-12-12 구글 엘엘씨 배치 정규화 레이어들
WO2019002474A1 (en) 2017-06-28 2019-01-03 Deepmind Technologies Limited GENERALIZED MEDICAL IMAGING ANALYSIS USING NEURONAL SEGMENTATION AND CLASSIFICATION NETWORKS
US10726948B2 (en) 2017-12-08 2020-07-28 International Business Machines Corporation Medical imaging device- and display-invariant segmentation and measurement
US11497478B2 (en) 2018-05-21 2022-11-15 Siemens Medical Solutions Usa, Inc. Tuned medical ultrasound imaging

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062764A1 (ja) * 2021-10-13 2023-04-20 国立大学法人東北大学 生体画像処理プログラム，生体画像処理装置及び生体画像処理方法

Also Published As

Publication number Publication date
US11610303B2 (en) 2023-03-21
US20210279863A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
JP2022025095A (ja) 機械学習を用いた医用イメージングの変換のためのシステムおよび方法
US10580159B2 (en) Coarse orientation detection in image data
US10803354B2 (en) Cross-modality image synthesis
Iqbal et al. Generative adversarial networks and its applications in the biomedical image segmentation: a comprehensive survey
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
Khader et al. Medical diffusion: denoising diffusion probabilistic models for 3D medical image generation
CN111369562B (zh) 图像处理方法、装置、电子设备及存储介质
Tmenova et al. CycleGAN for style transfer in X-ray angiography
US11244455B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
JP2022077991A (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、モデルトレーニング装置、およびトレーニング方法
Billot et al. Robust segmentation of brain MRI in the wild with hierarchical CNNs and no retraining
Zakirov et al. Dental pathology detection in 3D cone-beam CT
Xie et al. Synthesizing PET images from high‐field and ultra‐high‐field MR images using joint diffusion attention model
US11176413B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
Lalitha et al. Medical imaging modalities and different image processing techniques: State of the art review
Hachaj et al. Nowadays and future computer application in medicine
Sarkar Deep Learning in Medical Imaging
Pal et al. Panoptic Segmentation and Labelling of Lumbar Spine Vertebrae using Modified Attention Unet
US20230022549A1 (en) Image processing apparatus, method and program, learning apparatus, method and program, and derivation model
US12039718B2 (en) Inference apparatus, medical apparatus, and program
US20230368895A1 (en) Device at the point of imaging for integrating training of ai algorithms into the clinical workflow
US20210334959A1 (en) Inference apparatus, medical apparatus, and program
Khan Artificial Intelligence in Radiology
Zhang et al. 3D Temporomandibular Joint CBCT Image Segmentation via Multi-directional Resampling Ensemble Learning Network
Shehata et al. Image Processing in Health Informatics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240213