JP2023539091A - X線イメージングに関連する方法及びシステム - Google Patents
X線イメージングに関連する方法及びシステム Download PDFInfo
- Publication number
- JP2023539091A JP2023539091A JP2023511887A JP2023511887A JP2023539091A JP 2023539091 A JP2023539091 A JP 2023539091A JP 2023511887 A JP2023511887 A JP 2023511887A JP 2023511887 A JP2023511887 A JP 2023511887A JP 2023539091 A JP2023539091 A JP 2023539091A
- Authority
- JP
- Japan
- Prior art keywords
- image
- representation
- data
- basis
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 127
- 238000003384 imaging method Methods 0.000 title claims description 37
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 131
- 238000012545 processing Methods 0.000 claims abstract description 107
- 239000000463 material Substances 0.000 claims abstract description 102
- 238000010801 machine learning Methods 0.000 claims abstract description 90
- 230000006870 function Effects 0.000 claims description 58
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 23
- 238000013135 deep learning Methods 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 239000000126 substance Substances 0.000 claims description 13
- 238000003066 decision tree Methods 0.000 claims description 12
- 238000012706 support-vector machine Methods 0.000 claims description 12
- 238000013526 transfer learning Methods 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000012432 intermediate storage Methods 0.000 claims description 5
- 238000013179 statistical model Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 29
- 238000002591 computed tomography Methods 0.000 description 35
- 238000004422 calculation algorithm Methods 0.000 description 26
- 239000011630 iodine Substances 0.000 description 14
- 229910052740 iodine Inorganic materials 0.000 description 14
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 13
- 238000007476 Maximum Likelihood Methods 0.000 description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 11
- 230000008901 benefit Effects 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 9
- 239000004698 Polyethylene Substances 0.000 description 7
- 239000004800 polyvinyl chloride Substances 0.000 description 7
- 229920000915 polyvinyl chloride Polymers 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 229910001868 water Inorganic materials 0.000 description 7
- 239000011575 calcium Substances 0.000 description 6
- 229910052791 calcium Inorganic materials 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 210000004872 soft tissue Anatomy 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- PNDPGZBMCMUPRI-UHFFFAOYSA-N iodine Chemical compound II PNDPGZBMCMUPRI-UHFFFAOYSA-N 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 229910052688 Gadolinium Inorganic materials 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 239000002872 contrast media Substances 0.000 description 3
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000005284 basis set Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- -1 polyethylene Polymers 0.000 description 2
- 229920000573 polyethylene Polymers 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000002083 X-ray spectrum Methods 0.000 description 1
- GLXGDSIDFQEZRG-UHFFFAOYSA-N [Ca].[I] Chemical compound [Ca].[I] GLXGDSIDFQEZRG-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002800 charge carrier Substances 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/482—Diagnostic techniques involving multiple energy imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
- A61B6/4208—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
- A61B6/4241—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using energy resolving detectors, e.g. photon counting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/419—Imaging computed tomograph
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/423—Imaging multispectral imaging-multiple energy imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/408—Dual energy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- High Energy & Nuclear Physics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Pulmonology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
μ(E)=a1f1(E)+a2f2(E)
ここで、fiは基底関数、aiは対応する基底係数である。イメージングに使用されるエネルギー範囲にk吸収端が存在するのに十分な高い原子番号を持つ1つ以上の元素がイメージングされたボリュームに存在する場合、1つの基底関数をそのような元素ごとに追加する必要がある。医用画像診断の分野では、そのようなk吸収端の元素は、典型的には、造影剤として使用される物質であるヨウ素またはガドリニウムであり得る。
エネルギー分解X線データの少なくとも1つの表現を収集し、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セット(at least two original basis image representation sets:少なくとも2つのオリジナルの基底画像表現のセット)を生成し、
元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択し、
取得又は選択された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成する。
エネルギー分解X線データの少なくとも1つの表現を受信するための入力と、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、基底画像表現の少なくとも2つのセットを生成するように構成された基底物質分解システムと、
入力-出力対の訓練データに基づいて決定された構成(configuration determined based on input-output-paired training data)を有し、基底画像表現のセットの少なくとも2つから少なくとも2つの基底画像表現を受信し、受信した基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するように構成された訓練された機械学習システムと、
出力画像データの少なくとも1つの表現を出力する出力と、
を備える。
エネルギー分解X線データの少なくとも1つの表現を収集し、
エネルギー分解X線データの前記少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成し、
前記元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を抽出し、
前記抽出された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成することを含む。
μ(E)=a1f1(E)+a2f2(E)
ここで、fiは基底関数、aiは対応する基底係数である。イメージングに使用されるエネルギー範囲にk吸収端が存在するのに十分な高い原子番号を持つ1つ以上の元素がイメージングされたボリュームに存在する場合、1つの基底関数をそのような元素ごとに追加する必要がある。医用画像診断の分野では、そのようなk吸収端の元素は、典型的には、造影剤として使用される物質であるヨウ素またはガドリニウムであり得る。
基本的に、この方法には以下の工程が含まれる。
S1:エネルギー分解されたX線データの少なくとも1つの表現を収集する。
S2:エネルギー分解X線データの少なくとも1つの表現に基づいて、少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成する。
S3:元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択する。
S4:機械学習に基づくデータ処理によって取得又は選択された基底画像表現を処理し、出力画像データの少なくとも1つの表現を生成する。
一例として、機械学習に基づくデータ処理は、取得又は選択された基底画像表現を、出力画像データの少なくとも1つの表現に対応付けるように構成され得る。
-取得又は選択された基底画像表現を、非基底画像データ(non-basis image data)の少なくとも1つの表現と組み合わせるステップ
-機械学習に基づくデータ処理によって、取得又は選択された基底画像表現を少なくとも1つの非基底画像データの表現と一緒に処理するステップ。
-前記取得又は選択された基底画像表現を事前情報の少なくとも1つの表現と組み合わせるステップ
-機械学習に基づく前記データ処理によって、事前情報の前記少なくとも1つの表現を用いて、前記取得又は選択された基底画像表現を処理するステップ。
-取得又は選択された基底画像表現を、取得システム内の物理プロセスの少なくとも1つの計算表現と組み合わせるステップ、
-取得又は選択された基底画像表現を、機械学習に基づくデータ処理によって、物理プロセスの前記少なくとも1つの計算表現で処理するステップ。
-取得又は選択された基底画像表現を、測定データの統計モデルの少なくとも1つの計算表現と組み合わせるステップ、
-機械学習に基づくデータ処理によって、統計モデルの前記少なくとも1つの計算表現を用いて、取得又は選択された基底画像表現を処理するステップ。
-エネルギー分解X線データの少なくとも1つの表現を受信するための入力、
-エネルギー分解X線データの前記少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2セットの基底画像表現を生成するように構成された基底物質分解システム、
-入出力ペア訓練データに基づいて決定された構成を有し、前記ベース画像表現のセットの少なくとも2つから少なくとも2つのベース画像表現を受信し、受信したベース画像表現を機械学習によって処理するように適合された、訓練済み機械学習システムと、出力画像データの少なくとも1つの表現を生成するためのベースのデータ処理。
-出力画像データの前記少なくとも1つの表現を出力するための出力。
-エネルギー分解X線データの少なくとも1つの表現を収集するステップ
-エネルギー分解X線データの前記少なくとも1つの表現に対して少なくとも2つの基底物質分解を実行し、少なくとも2つの元の基底画像表現セットをもたらすステップ
-元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択するステップ
-前記取得又は選択された基底画像表現を、機械学習アルゴリズムに基づくデータ処理(データ処理手順など)で処理し、出力画像データの少なくとも1つの表現を生成するステップ。
-システムは、エネルギー分解X線データの少なくとも1つの表現を収集するように構成され、
-システムは、画像データの前記表現に対して少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成するように構成され、
-システムは、前記元の基底画像表現セットのうちの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択するように構成され、
-出力画像データの少なくとも1つの表現を生成するために、機械学習に基づくデータ処理(データ処理手順など)を使用して、取得又は選択された基底画像表現を処理するように構成される。
-前記選択された基底画像データを、非基底画像データの少なくとも1つの表現と組み合わせることであって、非基底画像データは、例えば、ビン計数サイノグラム・データ、対数正規化ビン計数サイノグラム・データ、ビンオーバーサムサイノグラム又は対数正規化データ、再構築されたCT画像データ、及び/又はセグメンテーション・マスク・データ(bin counts sinogram data, log-normalized bin counts sinogram data, sum-over-bins sinogram or log-normalized data, reconstructed CT image data, and/or segmentation mask data)である。
-機械学習に基づくデータ処理方法を用いて、選択された基底画像データを非基底画像データの表現とともに処理すること。
-前記選択された基底画像データを、事前画像上のボリューム制約、学習済み辞書として表される事前分布、正規化ペナルティ、学習済み正規化ニューラルネットワーク、もしくは学習済み部分空間、または統計的解剖学的形状モデル(a volume constraint on a prior image, a prior distribution represented as a learned dictionary, a regularization penalty, a learned regularization neural network, or a learned subspace, or a statistical anatomical shape model)などの、事前情報の少なくとも1つの表現と結合するステップと
-前記選択された基底画像データを、前記事前情報の表現を用いて、機械学習に基づく前記データ処理で処理するステップ。
-前記選択された基底画像データを、収集システムにおいて物理的プロセスの少なくとも1つの計算表現、例えば、コンプトン散乱、蛍光、電荷共有、パイルアップ又は幾何学的ぼかしと組み合わせるステップと、
-機械学習アルゴリズムに基づく物理プロセスの計算表現を用いて、選択された基底画像データを処理するステップとを含む。
(i)ニューラル・ネットワーク
o提案する残差ネットワークのスケーリング:入力の次元が大きい場合、畳み込み層のサイズとブロックの数はそれに応じて設計することができる。すなわち、各ブロックの畳み込み層を増やす、各層の畳み込み出力チャンネルを増やす、または5つ以上のResBlockを増やすなど。
o ネットワークアーキテクチャの変更:提案した残差ネットワークは、入力のマルチスケール情報も利用するU-netに置き換えることができる。例えば、"U-Netは"O. Ronnebergerらによる「Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer-Assisted Intervention- MICCAI (2015)」を参照することができる。代替的に、提案されたネットワークは、畳み込み層と完全連結層(convolutional and fully-connected layers)を組み合わせた別の一般的なネットワークアーキテクチャ、例示的にAlexNetまたはLeNetによって置き換えられることもあり得る。
o ニューラルネットワークのアーキテクチャの強化:幅方向(投影優位)、高さ方向(検出優位)のフィルタなど、正方形ではなく長方形の畳み込みフィルタを検討する。参考文献として、”Machine Friendly Machine Learning: Interpretation of Computed Tomography Without Image Reconstruction”, by Lee, H., et al., Sci Rep 9, 15540 (2019)を参照することができる。
o最適化問題の反復更新ステップをより明示的に模倣:それゆえ、その定義にシステムのフォワードモデルに関する事前情報を含むニューラルネットワークアーキテクチャを考察する。例えば、“Learned Primal Dual Reconstruction”, by Adler, J and Oktem, O., IEEE Transactions on Medical Imaging (2018)を参照することができる。
o学習損失をカスタマイズ:基本的な平均二乗誤差(MSE:basic mean-squared error)の代わりに、偏り、コントラスト対ノイズ比(CNR:contrast-to-noise ratio)、正則化損失(regularized loss)など、学習損失において関心のある品質指標を考慮することができる。
oネットワークへの入力として、複数の形式のデータを取り入れる:例えば、エネルギービンサイノグラムと物質分解サイノグラムを組み合わせて、ネットワークへの入力として使用することができる。また、エネルギービンサイノグラム及び/又は物質分解サイノグラムと、エネルギービン画像及び/又は物質分解画像とを組み合わせて、ネットワークへの入力とすることも可能である。また、尤度関数の微分値や基底画像ノイズのCramer-Rao下限値の表現を、物質分解サイノグラムと組み合わせてネットワークに入力することも可能である。上記の入力データのすべての組み合わせは、2つ以上の基底物質サイノグラム、または少なくとも2つの異なる基底画像表現セットからの画像と共に使用することができる。
oスペクトルアテンションモジュール(spectral attention modules)でネットワークの表現能力を高める:エネルギービンデータはネットワークの入力にもなり、ネットワークアーキテクチャのスペクトルアテンションモジュールでいくつかの情報が抽出される可能性がある。例えば、"Learning Spectral-Spatial Prior Via 3DDNCNN for Hyperspectral Image Deconvolution" by X. Wang et al., ICASSP (2020)などを参照することができる。
(ii)別の分解:
o組織/診断/解剖学的分解:ディープラーニングは柔軟な学習プロセスを可能にし、そこから基礎となるモデルを定義する必要なく、入力データの興味深い変換を推論することができる。したがって、必ずしも3基底分解を得る必要はなく、むしろ(3よりもさらに大きな)組織型分解、診断領域分解、解剖学的断面分解を得ることができる場合がある。ラベル付きの入出力学習データのセットがあれば、同様の設定でこれらの目的に使用できる。
(iii)その過程でCT再構成を検討する。
oステップの分解と再構成:提案された方法では、CT再構成(サイノグラムから画像空間へ)が独立したステップであると仮定される。ニューラルネットワークは、2つのステップを同時に処理することができる。例えば、偏った物質分解されたサイノグラムを、偏った物質分解された再構成画像に直接変換するように学習させた非転写反復最適化ネットワークが考えられる。このようにして、ニューラルネットワークは、より最適な方法(計算と精度)で、両方のステップ(分解と再構成)を解くことができる。例えば、"Learned Primal-Dual Reconstruction" by J. Adler and O. Oktem, IEEE Transactions on Medical Imaging, (2018)を参照されたい。このような展開反復最適化ネットワークは、勾配降下最適化法、プライマル-デュアル最適化法、または交互方向乗数法(a gradient descent optimization method, a primal-dual optimization method, or an alternating direction method of multipliers method)に基づくものであってよい。この種の繰り込み最適化法は、他のニューラルネットワークアーキテクチャと比較して、ネットワークの重みが少なく、少量の訓練データでより良く動作するなど、有利な特性を有する。このようなワンステップ法は、例えば、基底画像データ及びエネルギー分解された測定データの組合せを入力として取ることができる。あるいは、ワンステップ再構成法は、反復アルゴリズムとして実装されてもよい。本発明のこの実施形態の非限定的な例は、図14に示されており、機械学習システムが、少なくとも2つの基底物質分解から物質分解サイノグラムを処理し、出力として物質分解画像のセットを生成するものである。
oあるいは、元の基底画像セットを生成するために使用される物質分解ステップは、出力として再構成された基底画像をもたらす、ワンステップ再構成方法を構成することができる。これらは、次に、機械学習アルゴリズムによって処理され、1つ以上の出力基底画像をもたらす。本発明のこの実施形態の非限定的な例は、図15に示されており、機械学習システムは、入力エネルギービンサイノグラムを物質分解再構成画像に変換する少なくとも2つのワンステップ画像再構成から物質分解画像を処理し、出力として物質分解画像セットを生成する。さらなる代替案は、2ステップ基底分解法を用いて元の基底画像セットを生成することであり、これは、基底物質分解が各投影光線に対して別々に実施される第1のステップと、得られた基底サイノグラムが画像再構成アルゴリズムへの入力として取られて再構成された基底画像をもたらし、これが機械学習アルゴリズムによって処理されて1以上の出力基底画像をもたらす第2のステップとから構成されている。本発明のこの実施形態の非限定的な例が図16に示されており、機械学習システムは、それぞれが基底物質分解ステップに続いて画像再構成ステップからなる少なくとも2つの2ステップ画像再構成から物質分解画像を処理し、物質分解画像のセットを出力として生成する。前記1ステップまたは2ステップ分解方法は、任意に、事前画像または体積保存制約などの事前情報を組み込んでもよいし、サイノグラムまたは画像内のノイズレベルまたは相関構造に関する情報、例示的にCramer-Rao下限に関する情報を組み込んでもよい。
-エネルギー分解されたX線データの少なくとも1つの表現を取得し、
-エネルギー分解X線データの前記少なくとも1つの表現に基づいて、少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成すること、
-前記元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を抽出し、
-出力画像データの少なくとも1つの表現を生成するために、機械学習に基づくデータ処理によって抽出された基底画像表現を処理する。
Claims (38)
- エネルギー分解X線データに基づく画像再構成方法であって、
エネルギー分解X線データの少なくとも1つの表現を収集するステップ(S1)と、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成するステップ(S2)と、
元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択するステップ(S3)と、
取得又は選択された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するステップ(S4)と、
を含む、方法。 - 機械学習に基づいたデータ処理は、取得又は選択された基底画像表現を出力画像データの少なくとも1つの表現にマッピングするように構成される、請求項1に記載の方法。
- 機械学習に基づくデータ処理は、訓練されたニューラルネットワーク、サポートベクターマシン、または決定木に基づいて、取得又は選択された基底画像表現を出力画像データの少なくとも1つの表現にマッピングするよう構成される、請求項1又は2に記載の方法。
- 訓練されたニューラルネットワーク、サポートベクターマシン、または決定木は、測定された患者画像データ若しくはファントム画像データの少なくとも1つ、又は数値ファントムに基づくシミュレーション画像データで訓練される、請求項3に記載の方法。
- 訓練されたニューラルネットワーク、サポートベクターマシン、または決定木は、第1のタイプの画像で訓練され、転移学習を使用して第2のタイプの画像で使用するように適合される、請求項3又は4に記載の方法。
- 訓練されたニューラルネットワーク、サポートベクターマシン、または決定木は、非エネルギー分解CT画像で訓練され、転移学習を使用してエネルギー分解光子計数CT画像で使用されるように適合される、請求項5に記載の方法。
- エネルギー分解X線データの少なくとも1つの表現は、X線検出器または中間記憶装置に由来し、エネルギー分解X線画像データおよび/またはエネルギー分解X線測定データを含む、請求項1乃至6のいずれかに記載の方法。
- X線検出器が、マルチビン光子計数X線検出器とも呼ばれるエネルギー分解光子計数検出器である、請求項7に記載の方法。
- 出力画像データの少なくとも1つの表現は、基底画像表現の出力セットと呼ばれる基底画像表現のセットを含み、出力セットにおける基底画像表現の数は、少なくとも2つの元の基底画像表現セットのいずれかにおける基底画像表現の最大数より大きい、請求項1乃至8のいずれかに記載の方法。
- 出力セットの基底画像表現は、複数の基底関数を有し、元の基底画像表現セットの各々は、それぞれ対応する数の基底関数を有し、出力セットの基底画像表現に対応する基底関数は、少なくとも2つの元の基底画像表現セットに対応する基底関数のサブセットであるか、またはそれに等しい、請求項9に記載の方法。
- 出力セットの基底画像表現は、複数の基底関数を有し、元の基底画像表現セットの各々はそれぞれ対応する数の基底関数を有し、取得又は選択された基底画像表現の数は、出力セットの基底画像表現に対応する基底関数の数と同じかより大きい、請求項9または10に記載の方法。
- 元の基底画像表現セットが2基底分解に基づき、基底画像表現の出力セットが3基底分解に基づく、請求項9乃至11のいずれかに記載の方法。
- 機械学習に基づくデータ処理がニューラル・ネットワークによって実行され、ニューラル・ネットワークが入力データとしていくつかの2基底画像表現セットと出力データとして3基底画像表現セットで訓練される、請求項12に記載の方法。
- 2基底画像表現セット及び3基底画像表現セットが、測定された患者画像データ又はファントム画像データから、又は数値ファントムに基づくシミュレートされた画像データから生成される、請求項13に記載の方法。
- 取得又は選択された基底画像表現を機械学習に基づいてデータ処理するステップ(S4)は、
取得又は選択された基底画像表現を、非基底画像データの少なくとも1つの表現と結合するステップと、
機械学習に基づくデータ処理によって、取得又は選択された基底画像表現を、非基底画像データの少なくとも1つの表現と一緒に処理するステップと、
を含む、請求項1乃至14のいずれかに記載の方法。 - 非基底画像データは、ビン計数サイノグラム・データ、対数正規化ビン計数サイノグラム・データ、総和サイノグラム又は対数正規化データ、再構成されたCT画像データのうちの少なくとも1つを含む、請求項15に記載の方法。セグメンテーション・マスク・データ。
- 取得又は選択された基底画像表現を機械学習に基づいてデータ処理するステップ(S4)は、
取得又は選択された基底画像表現を少なくとも1つの事前情報の表現と組み合わせるステップと、
機械学習に基づくデータ処理によって、取得又は選択された基底画像表現を、少なくとも1つの事前情報の表現と共に処理するステップと、
を含む、請求項1乃至16のいずれかに記載の方法。 - 取得又は選択された基底画像表現を機械学習に基づいてデータ処理するステップ(S4)は、
取得又は選択された基底画像表現を、収集システム内の物理プロセスの少なくとも1つの計算表現と組み合わせるステップと、
機械学習に基づくデータ処理によって、物理的プロセスの少なくとも1つの計算表現を用いて、取得又は選択された基底画像表現を処理するステップと、
を含む、請求項1乃至17のいずれかに記載の方法。 - 取得又は選択された基底画像表現を機械学習に基づいてデータ処理するステップ(S4)は、
取得又は選択された基底画像表現を、測定データの統計モデルの少なくとも1つの計算表現と組み合わせ、
機械学習に基づくデータ処理によって、統計モデルの少なくとも1つの計算表現を用いて、取得又は選択された基底画像表現を処理するステップと、
を含む、請求項1乃至18のいずれかに記載の方法。 - 出力画像データの少なくとも1つの表現が、基底画像表現及び/又は物質分解再構成画像の出力セットを含む、請求項1乃至19のいずれかに記載の方法。
- 機械学習に基づくデータ処理は、学習データに基づいて構成されたディープラーニング後処理を含み、ディープラーニング後処理は、入力として偏った物質分解サイノグラムを受け取り、出力として偏りのない物質分解サイノグラム又は偏りのない物質分解再構成画像を提供するよう構成される、請求項1乃至20のいずれかに記載の方法。
- サイノグラムのセットが、2つ以上の基底画像表現を生成するための2基底分解の入力として提供され、ディープラーニングニューラルネットワークが、得られた基底画像表現を3物質分解に変換するために使用される、請求項21に記載の方法。
- エネルギー分解X線データに基づく画像再構成のためのシステム(30、200)であって、
エネルギー分解X線データの少なくとも1つの表現を取得し、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、基底画像表現の少なくとも2つのセットを生成し、
基底画像表現のセットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択し、
取得又は選択された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するように構成される、画像再構成システム(30、200)。 - エネルギー分解X線データに基づく画像再構成のためのシステム(30、200)であって、
エネルギー分解X線データの少なくとも1つの表現を受信するための入力(31、240)と、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、基底画像表現の少なくとも2つのセットを生成するように構成された基底物質分解システム(32;210、225)と、
入力-出力対の訓練データに基づいて決定された構成を有し、基底画像表現のセットの少なくとも2つから少なくとも2つの基底画像表現を受信し、受信した基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するように構成された訓練された機械学習システム(33、210、225)と、
出力画像データの少なくとも1つの表現を出力する出力(34、240)と、
を備える画像再構成システム(30、200)。 - 機械学習システム(33、210、225)は、ニューラル・ネットワーク、サポートベクターマシン、又は決定木ベースの実装に基づく、請求項23又は24に記載の画像再構成システム。
- 機械学習システム(33、210、225)は、測定された患者画像データ又はファントム画像データのうちの少なくとも1つで、または数値ファントムに基づくシミュレーション画像データで訓練される、請求項23乃至25のいずれかに記載の画像再構成システム。
- 機械学習システム(33、210、225)は、第1のタイプの画像で訓練され、転移学習を使用して第2のタイプの画像で使用されるように適合される、請求項23乃至25のいずれかに記載の画像再構成システム。
- 機械学習システム(33、210、225)は、非エネルギー分解CT画像で訓練され、転移学習を使用してエネルギー分解光子計数CT画像で使用されるように適合される、請求項27に記載の画像再構成システム。
- 機械学習システム(33、210、225)は、取得又は選択された基底画像表現を出力画像データの少なくとも1つの表現にマッピングするように構成される、請求項23乃至28のいずれかに記載の画像再構成システム。
- エネルギー分解されたX線データの少なくとも1つの表現が、X線検出器(20)又は中間記憶装置(220)から生じ、エネルギー分解X線画像データ及び/又はエネルギー分解X線測定データを含む、請求項23乃至29のいずれかに記載の画像再構成システム。
- X線検出器(20)が、マルチビン光子計数X線検出器とも呼ばれるエネルギー分解光子計数検出器である、請求項30に記載の画像再構成システム。
- 出力画像データの少なくとも1つの表現は、基底画像表現の出力セットと呼ばれる基底画像表現のセットを含み、出力セットにおける基底画像表現の数は、少なくとも2つの元の基底画像表現セットのいずれかにおける基底画像表現の最大数より大きい、請求項23乃至31のいずれかに記載の画像再構成システム。
- 出力セットの基底画像表現は、複数の基底関数を有し、元の基底画像表現セットの各々は、それぞれ対応する数の基底関数を有し、出力セットの基底画像表現に対応する基底関数は、少なくとも2つの元の基底画像表現セットに対応する基底関数のサブセットであるか、またはそれに等しい、請求項32に記載の画像再構成システム。
- 出力画像データの少なくとも1つの表現が、基底画像表現及び/又は物質分解再構成画像の出力セットを含む、、請求項23乃至33のいずれかに記載の画像再構成システム。
- 前記システムが少なくとも1つのプロセッサ及びメモリを備え、メモリが、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに画像再構成を実行させる命令を備える、請求項23乃至34のいずれかに記載の画像再構成システム。
- 基底物質分解システムが、基底画像表現の少なくとも2つのセットを生成するように構成された処理回路を備え、訓練された機械学習システムが、出力の少なくとも1つの表現を生成するように構成された処理回路を備える、請求項23乃至34のいずれかに記載の画像再構成システム。
- 請求項23乃至34のいずれかに記載の画像再構成システムを備えるX線イメージングシステム(100)。
- プロセッサ(210)によって実行されると、プロセッサ(210)に複数のステップを行わせる命令を含むコンピュータプログラム(225、235)を格納した非一時的コンピュータ可読媒体(220、230)を含むコンピュータプログラム製品であって、
複数のステップが、
エネルギー分解X線データの少なくとも1つの表現を収集するステップ(S1)と、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成するステップ(S2)と、
元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を抽出するステップ(S3)と、
抽出された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するステップ(S4)と、
を含む、コンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063067656P | 2020-08-19 | 2020-08-19 | |
US63/067,656 | 2020-08-19 | ||
PCT/SE2021/050685 WO2022039643A1 (en) | 2020-08-19 | 2021-07-06 | Methods and systems related to x-ray imaging |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023539091A true JP2023539091A (ja) | 2023-09-13 |
Family
ID=80350529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023511887A Pending JP2023539091A (ja) | 2020-08-19 | 2021-07-06 | X線イメージングに関連する方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230326100A1 (ja) |
EP (1) | EP4200809A1 (ja) |
JP (1) | JP2023539091A (ja) |
CN (1) | CN116249489A (ja) |
WO (1) | WO2022039643A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230132514A1 (en) * | 2021-10-27 | 2023-05-04 | Wisconsin Alumni Research Foundation | System and method for controlling errors in computed tomography number |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016148616A1 (en) * | 2015-03-18 | 2016-09-22 | Prismatic Sensors Ab | Image reconstruction based on energy-resolved image data from a photon-counting multi bin detector |
US10970887B2 (en) * | 2016-06-24 | 2021-04-06 | Rensselaer Polytechnic Institute | Tomographic image reconstruction via machine learning |
US10559100B2 (en) * | 2017-05-22 | 2020-02-11 | Prismatic Sensors Ab | Method and devices for image reconstruction |
EP3451284A1 (de) * | 2017-09-05 | 2019-03-06 | Siemens Healthcare GmbH | Verfahren zur automatischen artefakterkennung in computertomographischen bilddaten |
US11039806B2 (en) * | 2018-12-20 | 2021-06-22 | Canon Medical Systems Corporation | Apparatus and method that uses deep learning to correct computed tomography (CT) with sinogram completion of projection data |
US11246555B2 (en) * | 2019-05-17 | 2022-02-15 | GE Precision Healthcare LLC | Systems and methods for automatic tube potential selection in dual energy imaging |
US11176642B2 (en) * | 2019-07-09 | 2021-11-16 | GE Precision Healthcare LLC | System and method for processing data acquired utilizing multi-energy computed tomography imaging |
-
2021
- 2021-07-06 EP EP21858700.4A patent/EP4200809A1/en active Pending
- 2021-07-06 CN CN202180057643.8A patent/CN116249489A/zh active Pending
- 2021-07-06 WO PCT/SE2021/050685 patent/WO2022039643A1/en active Search and Examination
- 2021-07-06 US US18/042,279 patent/US20230326100A1/en active Pending
- 2021-07-06 JP JP2023511887A patent/JP2023539091A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4200809A1 (en) | 2023-06-28 |
US20230326100A1 (en) | 2023-10-12 |
CN116249489A (zh) | 2023-06-09 |
WO2022039643A1 (en) | 2022-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7334048B2 (ja) | X線ctシステム及び方法 | |
US10274439B2 (en) | System and method for spectral x-ray imaging | |
Carmi et al. | Material separation with dual-layer CT | |
CN105580054B (zh) | 电子密度图像的联合重建 | |
US8923583B2 (en) | Methods and systems for performing model-based iterative reconstruction | |
CN104411245B (zh) | 对光子计数探测器的缺陷的动态建模 | |
US10176603B2 (en) | Sinogram (data) domain pansharpening method and system for spectral CT | |
US9437016B2 (en) | Image domain pansharpening method and system for spectral CT with large pixel energy discriminating detectors | |
JP6793469B2 (ja) | データ処理装置、x線ct装置及びデータ処理方法 | |
EP2686832A1 (en) | Likelihood-based spectral data projection domain de-noising | |
CN113167913A (zh) | 针对常规成像的光子计数的能量加权 | |
WO2022268618A1 (en) | Multi-energy x-ray imaging with anatomical intelligence | |
JP2023539091A (ja) | X線イメージングに関連する方法及びシステム | |
CN107019518B (zh) | 用于计算机断层扫描中的散射校正的信号处理方法及成像*** | |
US20230309937A1 (en) | Spectral x-ray material decomposition method | |
WO2022258429A1 (en) | A phase-contrast x-ray imaging system for obtaining a dark-field image and a method therefor | |
US20240193827A1 (en) | Determining a confidence indication for deep learning image reconstruction in computed tomography | |
Shi et al. | Raw-Data-Based Material Decomposition Using Modified U-Net for Low-Dose Spectral CT | |
WO2024036278A1 (en) | System and method for generating denoised spectral ct images from spectral ct image data acquired using a spectral ct imaging system | |
Fredette | Multi-Material Discrimination Using Photon Counting Spectral Computed Tomography | |
Bismark | On the application of the polychromatic statistical reconstruction technique to C-arm CT data | |
Niu et al. | Simultaneous Reconstruction and Denoising of Spectral CT Images | |
Symes et al. | Processing of x-ray images obtained with laser-betatron radiation generated using Gemini |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230417 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240605 |