JP6981799B2 - 画像データ復元装置、画像データ復元方法、及びプログラム - Google Patents
画像データ復元装置、画像データ復元方法、及びプログラム Download PDFInfo
- Publication number
- JP6981799B2 JP6981799B2 JP2017142037A JP2017142037A JP6981799B2 JP 6981799 B2 JP6981799 B2 JP 6981799B2 JP 2017142037 A JP2017142037 A JP 2017142037A JP 2017142037 A JP2017142037 A JP 2017142037A JP 6981799 B2 JP6981799 B2 JP 6981799B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- observation data
- observation
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000011084 recovery Methods 0.000 title claims description 5
- 238000004364 calculation method Methods 0.000 claims description 126
- 230000009466 transformation Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000003595 spectral effect Effects 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 description 169
- 239000011159 matrix material Substances 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 238000013461 design Methods 0.000 description 11
- 238000002595 magnetic resonance imaging Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010187 selection method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 101000585359 Homo sapiens Suppressor of tumorigenicity 20 protein Proteins 0.000 description 2
- 101100018027 Pisum sativum HSP70 gene Proteins 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 229910052704 radon Inorganic materials 0.000 description 2
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 2
- 238000002083 X-ray spectrum Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本実施形態に係る画像データ復元システムについて説明する。本実施形態に係る画像データ復元システムは、マルチスペクトルカメラにおける画像のノイズ除去、スペクトラルX線装置における画像の再構成、及びMRI装置における画像の再構成等を行うシステムに広く適用可能である。
1.1.1 画像データ復元システムの構成について
まず、本実施形態に係る画像データ復元システムの構成について図1を用いて説明する。
次に、本実施形態に係る画像データ復元部の構成について図2を用いて説明する。
次に、本実施形態に係る最適化演算部134において繰り返し実行される最適化演算の詳細について説明する。
最適化演算部134は、以下の式(1)に示す評価関数E(x)を最小化することにより、最終的に復元画像データxを算出する。すなわち、最適化演算部134における最適化演算の繰り返しは、以下の式(1)を最小化する最小化問題として定式化される。
なお、画像復元問題がMAP(Maximum A Posteriori)推定における確率の最大化問題として定式化されている場合、最大化問題における評価関数は、その対数に“−1”を乗ずることによって式(1)に示す評価関数E(x)の形に変形できる。このため、いずれにしても、画像復元問題は、式(1)の最小化問題に帰着できる。
以下では、最適化演算を繰り返し実行して復元画像データxを得るための繰り返し解法の一例として、最適化演算部134にペナルティ法を適用した場合について説明する。
次に、ペナルティ法に代えてADMM法を最適化演算部134に適用した場合について説明する。
1.2 動作について
次に、本実施形態に係る画像データ復元装置における画像データ復元動作について説明する。図3は、本実施形態に係る画像データ復元装置の動作の一例を示すフローチャートである。
本実施形態によれば、画質の劣化を抑制しつつ、画像データの復元に要する時間を短縮することが出来る。本効果につき、以下説明する。
なお、本実施形態に係る画像データ復元装置は、上述の例に限らず、種々の変形が適用可能である。
上述の通り、データ適合度Ed(x)は、復元画像データxの観測データyに対する適合度を示し、事前知識適合度Ep(x)は、復元画像データxの事前知識に対する適合度を示す。データ適合度Ed(x)及び事前知識適合度Ep(x)を最適化するためには、最適化演算の繰り返し毎に、各々の適合度の大きさのバランスが保たれることが望ましい。
また、本実施形態では、最適化演算の繰り返しの最後の1回に観測データフルセットyfullを適用し、残りの最適化演算について観測データサブセットysubを適用する場合について説明したが、これに限られない。例えば、観測データフルセットyfullは、最適化演算の繰り返しの任意の回数において、適宜適用されてもよい。より具体的には、判定部135は、最適化演算が実行されるたびに、打切り条件を満たすか否かに加えて、チャネルサブセットを用いるか否かを更に判定してもよい。
また、本実施形態では、センサ2からの観測データyについて、実際のチャネル(センサ又はスペクトル)に基づいて最適化演算を行う場合について説明したが、これに限られない。例えば、画像データ復元部13は、実際のチャネルに対応付けられた観測データyを、仮想のチャネル(仮想チャネル)に対応付けられた観測データy’にチャネル変換し、当該観測データy’を用いて最適化演算を行ってもよい。
上記実施形態及び各変形例は、種々の装置に適用することが可能である。以下に、いくつかの具体的な適用例について説明する。
まず、MRI装置への適用例について説明する。
次に、マルチスペクトルカメラへの適用例について説明する。
次に、スペクトラルX線装置への適用例について説明する。スペクトラルX線装置は、CT装置、デュアルエナジー装置、及びフォトンカウンティング装置等を含む。
また、上述の実施形態は、以下に示す変更が適宜可能である。
Claims (15)
- 対象について、複数のチャネルに対応する観測データを取得する取得部と、
前記複数のチャネルのうちの一部のチャネルを有するチャネルサブセットまたは前記複数のチャネルを有するチャネルフルセットを選択する選択部と、
前記対象を視覚的に復元して復元画像データを作成するために、前記チャネルサブセットに対応する第1の観測データと、前記第1の観測データに基づく第1の中間画像データとの適合度を最適化するための演算を繰り返し実行する演算部と
を備え、
繰り返し実行される前記演算が所定の条件を満たした後、
前記演算部は、前記チャネルフルセットに対応する第2の観測データと、前記第2の観測データに基づく第2の中間画像データとの適合度を最適化するための演算を実行し、前記第2の中間画像データを前記復元画像データとして出力する、
画像データ復元装置。 - 前記適合度は、前記観測データと前記復元画像データとを対応付ける復元モデルに基づく前記復元画像データの前記観測データに対する適合度を示すデータ適合度と、前記復元画像データに関する知識を示す事前知識モデルに対する前記復元画像データの適合度を示す事前知識適合度とを含み、
前記演算部は、前記データ適合度と前記事前知識適合度を最適化するための演算を実行する、
請求項1に記載の画像データ復元装置。 - 前記復元モデルと、前記事前知識モデルとを記憶する記憶装置
を更に具備する、
請求項2に記載の画像データ復元装置。 - 繰り返し実行される前記演算が前記所定の条件を満たすか否かを判定する判定部
を更に具備する、請求項1から請求項3までのいずれか一項に記載の画像データ復元装置。 - 前記所定の条件は、前記第1の中間画像データについての評価関数が閾値を越えることである、
請求項1から請求項4までのいずれか一項に記載の画像データ復元装置。 - 前記所定の条件は、繰り返し実行される前記演算の演算回数が所定の上限値に達することである、
請求項1から請求項4までのいずれか一項に記載の画像データ復元装置。 - 前記演算部は、前記選択部によって選択された前記一部のチャネルの数と、前記取得された観測データに対応する前記複数のチャネルの数との割合に応じて、前記データ適合度をスケーリングする、請求項2または請求項3記載の画像データ復元装置。
- 前記演算部は、前記選択部によって選択された前記一部のチャネルに対応する観測データのノルムと、前記取得された観測データのノルムとの割合に応じて、前記データ適合度をスケーリングする、請求項2または請求項3記載の画像データ復元装置。
- 前記取得された観測データに対応する複数のチャネルを、直交変換を適用することによって、複数の仮想チャネルに変換する変換部を更に備え、
前記選択部は、前記複数の仮想チャネルに対応する観測データの固有値の大きさに基づいて、前記実行された演算の次に繰り返される演算に使用される観測データの仮想チャネルを選択する、
請求項1記載の画像データ復元装置。 - 前記演算は、前記復元画像データを最適化する第1演算と、内部データを最適化する第2演算と、を含み、
前記演算部は、前記第1演算と、前記第2演算とを交互に実行することにより、前記演算を繰り返し実行する、
請求項1記載の画像データ復元装置。 - 前記複数のチャネルの各々は、MRI装置におけるコイルごとに観測された観測データに対応し、
前記データ適合度は、前記復元画像データに対して前記復元モデルを適用したデータと、前記観測データと、の差のL2ノルム又はフロベニウスノルムを評価する項を含む、
請求項2または請求項3記載の画像データ復元装置。 - 前記複数のチャネルの各々は、マルチスペクトルカメラ又はスペクトラルX線装置におけるスペクトルごとに観測された観測データに対応し、
前記データ適合度は、前記復元画像データに対して前記復元モデルを適用したデータと、前記観測データと、の差のL2ノルムを評価する項を含む、
する、請求項2または請求項3記載の画像データ復元装置。 - 前記取得部は、前記対象を複数の時刻にわたって観測した時系列の観測データを取得し、
前記事前知識適合度は、第1時刻における前記復元画像データと、前記第1時刻と異なる第2時刻における前記復元画像データと、の差のL1ノルムを評価する項を含む、
請求項2または請求項3記載の画像データ復元装置。 - 対象について、複数のチャネルに対応する観測データを取得する過程と、
前記複数のチャネルのうちの一部のチャネルを有するチャネルサブセットまたは前記複数のチャネルを有するチャネルフルセットを選択する過程と、
前記対象を視覚的に復元して復元画像データを作成するために、前記チャネルサブセットに対応する第1の観測データと、前記第1の観測データに基づく第1の中間画像データとの適合度を最適化するための演算を繰り返し実行する過程と、
繰り返し実行される前記演算が所定の条件を満たした後、前記チャネルフルセットに対応する第2の観測データと、前記第2の観測データに基づく第2の中間画像データとの適合度を最適化するための演算を実行し、前記第2の中間画像データを前記復元画像データとして出力する過程と
を備える、画像データ復元方法。 - 請求項1乃至13のいずれか1項に記載の画像データ復元装置が備える各部としてコンピュータを機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017142037A JP6981799B2 (ja) | 2017-07-21 | 2017-07-21 | 画像データ復元装置、画像データ復元方法、及びプログラム |
US16/032,334 US10867369B2 (en) | 2017-07-21 | 2018-07-11 | Image data restoration apparatus and image data restoration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017142037A JP6981799B2 (ja) | 2017-07-21 | 2017-07-21 | 画像データ復元装置、画像データ復元方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019021258A JP2019021258A (ja) | 2019-02-07 |
JP6981799B2 true JP6981799B2 (ja) | 2021-12-17 |
Family
ID=65023039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017142037A Active JP6981799B2 (ja) | 2017-07-21 | 2017-07-21 | 画像データ復元装置、画像データ復元方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10867369B2 (ja) |
JP (1) | JP6981799B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139920B (zh) * | 2021-05-12 | 2023-05-12 | 闽南师范大学 | 一种古籍图像修复方法、终端设备及存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6169817B1 (en) * | 1998-11-04 | 2001-01-02 | University Of Rochester | System and method for 4D reconstruction and visualization |
US6680610B1 (en) * | 1999-05-24 | 2004-01-20 | Walid E. Kyriakos | Apparatus and method for parallel MR data acquisition and parallel image reconstruction from multiple receiver coil arrays for fast MRI |
JP4214409B2 (ja) * | 2003-01-31 | 2009-01-28 | 国立大学法人東京工業大学 | 高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム |
CN101061504B (zh) * | 2004-11-17 | 2011-07-06 | 皇家飞利浦电子股份有限公司 | 通过迭代约束去卷积进行核医学2d平面图像的恢复 |
EP1877819A2 (en) | 2005-05-06 | 2008-01-16 | Invivo Corporation | Method and apparatus for adaptive channel reduction for parallel imaging |
US8055098B2 (en) * | 2006-01-27 | 2011-11-08 | Affymetrix, Inc. | System, method, and product for imaging probe arrays with small feature sizes |
US20110089949A1 (en) * | 2009-10-02 | 2011-04-21 | Kyriakos Walid | Parallel Imaging Apparatus and Method |
US20140070804A1 (en) * | 2011-03-17 | 2014-03-13 | Koninklijke Philips N.V. | Mri method of faster channel-by-channel reconstruction without image degradation |
US9841482B2 (en) * | 2012-08-29 | 2017-12-12 | Koninklijke Philips N.V. | Iterative sense denoising with feedback |
US10610182B2 (en) * | 2014-01-15 | 2020-04-07 | Alara Systems, Inc | Converting low-dose to higher dose 3D tomosynthesis images through machine-learning processes |
JP6494986B2 (ja) * | 2014-01-16 | 2019-04-03 | キヤノンメディカルシステムズ株式会社 | 磁気共鳴イメージング装置及び画像処理装置 |
US9672638B2 (en) * | 2014-06-16 | 2017-06-06 | The University Of Chicago | Spectral X-ray computed tomography reconstruction using a vectorial total variation |
US9846214B2 (en) * | 2014-12-29 | 2017-12-19 | Toshiba Medical Systems Corporation | Magnetic resonance image reconstruction for undersampled data acquisitions |
US11151760B2 (en) | 2015-08-17 | 2021-10-19 | Shimadzu Corporation | Image reconstruction processing method, image reconstruction processing program, and tomography device equipped with same |
US11200709B2 (en) * | 2016-12-27 | 2021-12-14 | Canon Medical Systems Corporation | Radiation image diagnostic apparatus and medical image processing apparatus |
JP7055601B2 (ja) | 2017-06-26 | 2022-04-18 | キヤノンメディカルシステムズ株式会社 | 磁気共鳴イメージング装置 |
-
2017
- 2017-07-21 JP JP2017142037A patent/JP6981799B2/ja active Active
-
2018
- 2018-07-11 US US16/032,334 patent/US10867369B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019021258A (ja) | 2019-02-07 |
US10867369B2 (en) | 2020-12-15 |
US20190026866A1 (en) | 2019-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10996306B2 (en) | MRI system and method using neural network for detection of patient motion | |
Chen et al. | Fast algorithms for image reconstruction with application to partially parallel MR imaging | |
US8094904B2 (en) | Method and system for bone suppression based on a single x-ray image | |
US10180476B2 (en) | Systems and methods for segmented magnetic resonance fingerprinting dictionary matching | |
US10871535B2 (en) | Magnetic resonance fingerprinting optimization in magnetic resonance imaging | |
JP2016218991A (ja) | 画像処理装置、撮像システム、画像処理方法 | |
CN115950837A (zh) | 基于即插即用先验的快照式光谱成像方法、***及介质 | |
US9652437B2 (en) | Solution method and solution apparatus for underdetermined system of linear equations | |
JP6981799B2 (ja) | 画像データ復元装置、画像データ復元方法、及びプログラム | |
CN115115723A (zh) | 图像重建模型生成及图像重建方法、装置、设备和介质 | |
JP7014648B2 (ja) | 信号復元装置、信号復元方法、信号復元プログラム、モデル学習方法、およびモデル学習プログラム | |
CN114224354B (zh) | 心律失常分类方法、装置及可读存储介质 | |
US11798134B2 (en) | Image processing device, image processing method, and image processing program | |
CN112166332A (zh) | 使用磁共振指纹识别的异常检测 | |
JP7369572B2 (ja) | Mri装置、画像処理装置および画像処理方法 | |
JP5396977B2 (ja) | データ処理装置、データ処理方法およびプログラム | |
KR102432766B1 (ko) | 알츠하이머 병 분류를 위한 mr 이미지 분석 시스템 및 방법 | |
CN114529519A (zh) | 基于多尺度深度空洞残差网络的图像压缩感知重建方法及*** | |
JP5326881B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
CN117257539B (zh) | 数字化颈椎牵引*** | |
Li et al. | Automatic Image Quality Assessment and Cardiac Segmentation Based on CMR Images | |
WO2024108438A1 (zh) | 一种速度编码磁共振成像的运动伪影校正方法 | |
Muckley et al. | Fast MR image reconstruction with orthogonal wavelet regularization via shift-variant shrinkage | |
US20220343634A1 (en) | Pseudo data generation apparatus, pseudo data generation method, and non-transitory storage medium | |
JP5417972B2 (ja) | 遺伝的処理装置、遺伝的処理方法、および遺伝的処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6981799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |