CN111436936A - 基于mri的ct图像重建方法 - Google Patents
基于mri的ct图像重建方法 Download PDFInfo
- Publication number
- CN111436936A CN111436936A CN202010355883.3A CN202010355883A CN111436936A CN 111436936 A CN111436936 A CN 111436936A CN 202010355883 A CN202010355883 A CN 202010355883A CN 111436936 A CN111436936 A CN 111436936A
- Authority
- CN
- China
- Prior art keywords
- space data
- mri
- image
- undersampled
- offline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 claims abstract description 49
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 2
- 210000004072 lung Anatomy 0.000 abstract description 8
- 230000005865 ionizing radiation Effects 0.000 abstract description 4
- 238000001959 radiotherapy Methods 0.000 abstract description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 73
- 238000002591 computed tomography Methods 0.000 description 50
- 230000006872 improvement Effects 0.000 description 6
- 206010035664 Pneumonia Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 241000711573 Coronaviridae Species 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 208000002151 Pleural effusion Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于MRI的CT图像重建方法,包括以下步骤:1)利用深度学习网络重建MRI,训练深度学习网络,获取待测物体的欠采样k空间数据,将所述待测物体的欠采样k空间数据输入至训练好的深度学习网络,以获取所述待测物体的线上MRI;2)利用双向生成对抗网络,利用双向生成对抗网络由MRI重建CT图像。本发明具有以下优点:(1)MRI成像速度快;(2)应用范围广,可以用于肺部成像,也可以用于人体其他部位成像;(3)由MRI重建得到CT图像,避免了CT检查的电离辐射;(4)重建得到的CT图像还可以用于放射治疗计划制定,以及PET衰减校正。
Description
技术领域
本发明涉及医学图像处理技术领域,具体地说是一种基于MRI的CT图像重建方法。
背景技术
新冠肺炎传染性强、致死率高,早发现、早诊断、早治疗、早隔离是目前防控治疗的最有效手段。相比核酸检查的种种受限,CT(computed tomography)检查及时、准确、快捷、阳性率高、肺部病变范围与临床症状密切相关,因此成为新型冠状病毒肺炎患者早期筛查与诊断的主要参考依据。根据新型冠状病毒肺炎诊疗方案(试行第六版),新冠肺炎早期呈现多发小斑片影及间质改变,以肺外带明显。进而发展为双肺多发磨玻璃影、浸润影,严重者可出现肺实变,胸腔积液少见。患者从入院的CT扫描初评、到了解病变进展、直至治愈出院,少则2次CT检查,多则3~4次CT检查。由于存在电离辐射,儿童和孕妇等人群不适合做CT检查。磁共振成像(magnetic resonance imaging,MRI)具有软组织对比度高、无电离辐射、高分辨率和任意方向断层扫描等优点,是现代医学成像中的一项重要技术。MRI通常作为胸部平片和CT的重要补充,对于鉴别胸内外病变、纵膈内外病变,膈上下病变,了解病变的起源有很大帮助。对于新冠肺炎的影像学检查,与CT相比,MRI的缺陷主要在于成像速度慢,对肺部细微结构的显示差。
发明内容
有鉴于此,本发明针对上述MRI成像速度慢,对肺部细微结构的显示差的问题,提供了一种成像速度快、对肺部细微结构显示效果好的基于MRI的CT图像重建方法。
本发明的技术解决方案是,提供一种以下步骤的基于MRI的CT图像重建方法,包括以下步骤:
1)利用深度学习网络重建MRI,包括以下步骤:
获取样本物体的全采样的线下k空间数据,所述全采样是指k空间数据采集满足奈奎斯特采样定理,可以通过全采样k空间数据恢复样本物体的图像,所述线下k空间数据是指从磁共振设备获取的k空间数据;
对所述全采样的线下k空间数据进行逆傅里叶变换得到全采样的线下多对比度MRI;所述多对比度MRI是指用多种成像序列进行扫描,得到不同的对比度,如T1W、T2W等;
在k空间对所述全采样的线下k空间数据进行欠采样,以获取欠采样的线下k空间数据,所述欠采样是指k空间数据采集不满足奈奎斯特采样定理,直接用来进行图像重建时会产生混叠伪影;
根据所述欠采样的线下k空间数据和所述全采样的线下多对比度MRI,训练深度学习网络;
获取待测物体的欠采样k空间数据;
将所述待测物体的欠采样k空间数据输入至训练好的深度学习网络,以获取所述待测物体的线上MRI;
2)利用双向生成对抗网络,由线上MRI重建CT图像;所述双向生成对抗网络由两个生成器和两个判别器构成,第一生成器GA为由线上MRI映射到CT图像,第二生成器GB为由CT图像映射到线上MRI,所述判别器包括CT判别器和MRI判别器,所述CT判别器DCT用于区分由第一生成器GA生成的CT图像和真实CT图像,MRI判别器DMRI用于区分由第二生成器GB生成的MRI和真实MRI;利用双向生成对抗网络由MRI重建CT图像包括以下步骤:
分别获取未标记未配对的MRI和CT图像;
真实MRI通过生成器GA转换为生成CT图像GA(IMRI);
生成CT图像GA(IMRI)再通过生成器GB转换为重建MRI;
真实CT图像ICT通过生成器GB转换为生成MRI;
生成MRI再通过生成器GA转换为重建CT图像GA(GB(ICT));
第一生成器GA和第二生成器GB组成的生成器网络与CT判别器和MRI判别器组成判别器网络相互对抗、不断调整参数,最终优化使得判别网络无法判断生成网络的输出结果是否真实,同时最小化重建损失||GB(GA(IMRI))-IMRI||和||GA(GB(ICT))-ICT||。
采用以上方法,本发明与现有技术相比,具有以下优点:(1)成像速度快;(2)应用范围广,可以用于肺部成像,也可以用于人体其他部位成像;(3)由MRI重建得到CT图像,避免了CT检查的电离辐射;(4)重建得到的CT图像还可以用于放射治疗计划制定,以及PET(positron emission tomography)衰减校正。
作为改进,在步骤2)中,所述双向生成对抗网络为Wasserstein双向生成对抗网络,用Wasserstein距离代替双向生成对抗网络中的Jensen–Shannon散度,损失函数为:λ1||GB(GA(IMRI))-IMRI||+λ2||GA(GB(ICT))-ICT||-DMRI(GB(ICT))-DCT(GA(IMRI)),其中λ1和λ2为正则化参数,可以根据经验选择。
作为改进,在步骤2)中,在损失函数中增加感知损失,用预训练的VGG16网络作为特征提取器,损失函数为:
其中λ1、λ2、λ3和λ4为正则化参数,可以根据经验选择。所述VGG16网络是图片分类任务中经典的深度学习模型,VGG是由Simonyan和Zisserman在文献《VeryDeepConvolutional Networks forLarge Scale Image Recognition》中提出的卷积神经网络模型,其名称来源于论文作者所在的牛津大学视觉几何组(Visual Geometry Group)的缩写,该模型参加2014年的ImageNet图像分类与定位挑战赛,取得了优异成绩:在分类任务上排名第二,在定位任务上排名第一。
作为改进,所述步骤1)中利用深度学习网络重建MRI包括:
获取样本物体的全采样的线下k空间数据y0;
对所述全采样的线下k空间数据y0进行逆傅里叶变换得到全采样的线下多对比度磁共振图像x0;
在k空间对所述全采样的线下k空间数据y0进行欠采样,以获取欠采样的线下k空间数据y1;
对所述欠采样的线下k空间数据y1进行高通滤波得到y1*h;
根据所述高通滤波后的欠采样的线下k空间数据y1*h和所述全采样的线下多对比度磁共振图像x0,训练深度学习网络;
获取待测物体的欠采样k空间数据y2;
对所述欠采样的k空间数据y2进行高通滤波得到y2*h;
将所述待测物体的高通滤波后的欠采样k空间数据y2*h输入至训练好的深度学习网络,得到k空间填充后的k空间数据y2’*h;
对所述进行逆高通滤波得到重建k空间数据y2’;
对所述重建k空间数据y2’进行逆傅里叶变换得到线上磁共振图像。
作为改进,所述步骤1)中利用深度学习网络重建MRI包括:
获取样本物体的全采样的多通道线下k空间数据y0;
对所述全采样的多通道线下k空间数据y0进行逆傅里叶变换得到全采样的多通道线下多对比度磁共振图像x0;
在k空间对所述全采样的多通道线下k空间数据y0进行欠采样,以获取欠采样的多通道线下k空间数据y1;
对所述欠采样的多通道线下k空间数据y1进行高通滤波得到y1*h;
根据所述高通滤波后的欠采样的多通道线下k空间数据y1*h和所述全采样的多通道线下多对比度磁共振图像x0,训练深度学习网络,如图3所示,分别在并行成像前后设置深度学习网络;
经过两个深度学习网络和并行成像处理后的k空间数据为y1’*h,对y1’*h进行逆高通滤波和数据一致性校正,通过将采样得到的k空间数据替换相应位置的k空间数据,保证深度学习网络仅填充未采样的k空间数据;
对数据一致性校正后的k空间数据进行逆傅里叶变换和均方根操作得到最终线下重建磁共振图像;
获取待测物体的多通道欠采样k空间数据y2;
对所述多通道欠采样的k空间数据y2进行高通滤波得到y2*h;
将所述待测物体的高通滤波后的多通道欠采样k空间数据y2*h输入至训练好的深度学习网络,得到k空间填充后的k空间数据y2’*h;
对所述进行逆高通滤波得到重建k空间数据y2’;
对所述重建k空间数据y2’进行逆傅里叶变换和均方根操作得到线上磁共振图像。
作为改进,所述并行成像方法为GRAPPA或SPIRiT中的一种。
作为改进,所述步骤1)中的深度学习网络由k空间域U-Net和图像域U-Net构成,欠采样的线下k空间数据首先输入k空间域U-Net,之后进行数据一致性校正,经过逆傅里叶变换得到磁共振图像,输入图像域U-Net,之后进行傅里叶变换得到k空间数据,并进行数据一致性校正;所述数据一致性校正通过将采样得到的k空间数据替换相应位置的k空间数据,保证深度学习网络仅填充未采样的k空间数据。
附图说明
图1为本发明利用深度学习网络重建MRI的流程图;
图2为本发明利用生成对抗网络由MRI重建CT图像的原理图;
图3为本发明实施例一中利用深度学习网络重建MRI的流程图;
图4为本发明实施例一中深度学习网络的构成图。
1-MRI空间,2-CT空间,31-由MRI生成CT的生成器GA,32-由CT生成MRI的生成器GB,41-MRI判别器,42-CT判别器,11-真实MRI图像,12-生成CT图像,13-重建MRI图像;21-真实CT图像,22-生成MRI图像,23-重建CT图像。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
与传统的MRI图像重建技术相比,基于深度学习的图像重建方法在缩短磁共振成像扫描时间,加快成像速度,提高成像质量方面具有巨大潜力。图1为本发明利用深度学习网络重建MRI的流程图。在线下训练过程中,利用欠采样的线下k空间数据和全采样的线下多对比度磁共振图像训练深度学习网络,由深度学习网络获得的重建k空间数据经过逆傅里叶变换得到重建磁共振图像。在线上测试过程中,向深度学习网络输入待测物体的欠采样k空间数据,输出重建k空间数据,经过逆傅里叶变换得到重建磁共振图像。k空间是直角坐标体空间的傅里叶对偶空间,即傅里叶变换的频率空间,主要应用在磁共振成像领域。
可选的,所述多对比度图像包括T1加权图像、T2加权图像和质子密度图像,所述多对比度图像的视野和矩阵尺寸相同。其中,所述T1加权图像主要突出所述样本物体中组织的纵向弛豫差别,尽量减少组织其他特性如横向弛豫等对图像的影响。所述T2加权图像主要突出所述样本物体中组织的横向弛豫差别。所述质子密度图像主要反映所述样本物体中组织的质子含量差别。
图2为本发明利用生成对抗网络由MRI重建CT图像的原理图。1-MRI空间,2-CT空间,31-由MRI生成CT的生成器GA,32-由CT生成MRI的生成器GB,41-MRI判别器,42-CT判别器,11-真实MRI图像,12-生成CT图像,13-重建MRI图像;21-真实CT图像,22-生成MRI图像,23-重建CT图像。
根据一个实施例,分别获取未标记未配对的MRI和CT图像;
真实MRI图像IMRI通过生成器GA转换为生成CT图像GA(IMRI);
生成CT图像GA(IMRI)再通过生成器GB转换为重建MRI图像GB(GA(IMRI));
类似地,真实CT图像ICT通过生成器GB转换为生成MRI图像GB(ICT);
生成MRI图像GB(ICT)再通过生成器GA转换为重建CT图像GA(GB(ICT));
生成器网络和判别器网络相互对抗、不断调整参数,最终优化使得判别网络无法判断生成网络的输出结果是否真实。
线上测试时,输入MRI图像,通过生成器GA得到相应的CT图像。
根据一个实施例,线上测试时,输入输入待测物体的欠采样k空间数据,经过磁共振图像重建深度学习网络得到重建磁共振图像,将重建得到的磁共振图像输入生成对抗网络,得到最终的CT图像。
根据一个实施例,CT图像重建方法包括以下步骤:
获取样本物体的全采样的线下k空间数据y0;
对所述全采样的线下k空间数据y0进行逆傅里叶变换得到全采样的线下多对比度磁共振图像x0;
在k空间对所述全采样的线下k空间数据y0进行欠采样,以获取欠采样的线下k空间数据y1;
对所述欠采样的线下k空间数据y1进行高通滤波得到y1*h;
根据所述高通滤波后的欠采样的线下k空间数据y1*h和所述全采样的线下多对比度磁共振图像x0,训练深度学习网络;
获取待测物体的欠采样k空间数据y2;
对所述欠采样的k空间数据y2进行高通滤波得到y2*h;
将所述待测物体的高通滤波后的欠采样k空间数据y2*h输入至训练好的深度学习网络,得到k空间填充后的k空间数据y2’*h;
对所述进行逆高通滤波得到重建k空间数据y2’;
对所述重建k空间数据y2’进行逆傅里叶变换得到线上磁共振图像。
将所述线上磁共振图像输入生成对抗网络,得到最终CT图像。
根据一个实施例,针对多通道磁共振成像,结合并行成像和深度学习的MRI成像步骤包括:
获取样本物体的全采样的多通道线下k空间数据y0;
对所述全采样的多通道线下k空间数据y0进行逆傅里叶变换得到全采样的多通道线下多对比度磁共振图像x0;
在k空间对所述全采样的多通道线下k空间数据y0进行欠采样,以获取欠采样的多通道线下k空间数据y1;
对所述欠采样的多通道线下k空间数据y1进行高通滤波得到y1*h;
根据所述高通滤波后的欠采样的多通道线下k空间数据y1*h和所述全采样的多通道线下多对比度磁共振图像x0,训练深度学习网络,如图3所示,分别在并行成像前后设置深度学习网络;
经过两个深度学习网络和并行成像处理后的k空间数据为y1’*h,对y1’*h进行逆高通滤波和数据一致性校正,通过将采样得到的k空间数据替换相应位置的k空间数据,保证深度学习网络仅填充未采样的k空间数据;
对数据一致性校正后的k空间数据进行逆傅里叶变换和均方根操作得到最终线下重建磁共振图像;
获取待测物体的多通道欠采样k空间数据y2;
对所述多通道欠采样的k空间数据y2进行高通滤波得到y2*h;
将所述待测物体的高通滤波后的多通道欠采样k空间数据y2*h输入至训练好的深度学习网络,得到k空间填充后的k空间数据y2’*h;
对所述进行逆高通滤波得到重建k空间数据y2’;
对所述重建k空间数据y2’进行逆傅里叶变换和均方根操作得到线上磁共振图像。
将所述线上磁共振图像输入生成对抗网络,得到最终CT图像。
根据一个实施例,如图4所示,深度学习网络包括k空间域U-Net和图像域U-Net,欠采样的线下k空间数据首先输入k空间域U-Net,之后进行数据一致性校正,经过逆傅里叶变换得到磁共振图像,输入图像域U-Net,之后进行傅里叶变换得到k空间数据,并进行数据一致性校正;所述数据一致性校正通过将采样得到的k空间数据替换相应位置的k空间数据,保证深度学习网络仅填充未采样的k空间数据。
基于上述重建方法可以形成基于MRI的CT图像重建***。
以上仅就本发明较佳的实施例作了说明,但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例,其具体结构允许有变化。总之,凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。
Claims (7)
1.一种基于MRI的CT图像重建方法,包括以下步骤:
1)利用深度学习网络重建MRI,包括以下步骤:
获取样本物体的全采样的线下k空间数据,所述全采样是指k空间数据采集满足奈奎斯特采样定理,可以通过全采样k空间数据恢复样本物体的图像,所述线下k空间数据是指从磁共振设备获取的k空间数据;
对所述全采样的线下k空间数据进行逆傅里叶变换得到全采样的线下多对比度MRI,所述多对比度MRI是指用多种成像序列进行扫描,得到不同的对比度;
在k空间对所述全采样的线下k空间数据进行欠采样,以获取欠采样的线下k空间数据,所述欠采样是指k空间数据采集不满足奈奎斯特采样定理,直接用来进行图像重建时会产生混叠伪影;
根据所述欠采样的线下k空间数据和所述全采样的线下多对比度MRI,训练深度学习网络;
获取待测物体的欠采样k空间数据;
将所述待测物体的欠采样k空间数据输入至训练好的深度学习网络,以获取所述待测物体的线上MRI;
2)利用双向生成对抗网络,由线上MRI重建CT图像;所述双向生成对抗网络由两个生成器和两个判别器构成,第一生成器GA为由线上MRI映射到CT图像,第二生成器GB为由CT图像映射到线上MRI,所述判别器包括CT判别器和MRI判别器,所述CT判别器DCT用于区分由第一生成器GA生成的CT图像和真实CT图像,MRI判别器DMRI用于区分由第二生成器GB生成的MRI和真实MRI;利用双向生成对抗网络由MRI重建CT图像包括以下步骤:
分别获取未标记未配对的MRI和CT图像;
真实MRI通过生成器GA转换为生成CT图像GA(IMRI);
生成CT图像GA(IMRI)再通过生成器GB转换为重建MRI;
真实CT图像ICT通过生成器GB转换为生成MRI;
生成MRI再通过生成器GA转换为重建CT图像GA(GB(ICT));
第一生成器GA和第二生成器GB组成的生成器网络与CT判别器和MRI判别器组成判别器网络相互对抗、不断调整参数,最终优化使得判别网络无法判断生成网络的输出结果是否真实,同时最小化重建损失||GB(GA(IMRI))-IMRI||和||GA(GB(ICT))-ICT||。
2.如权利要求1所述的基于MRI的CT图像重建方法,其特征在于:在步骤2)中,所述双向生成对抗网络为Wasserstein双向生成对抗网络,用Wasserstein距离代替双向生成对抗网络中的Jensen–Shannon散度,损失函数为:
λ1||GB(GA(IMRI))-IMRI||+λ2||GA(GB(ICT))-ICT||-DMRI(GB(ICT))-DCT(GA(IMRI)),其中λ1和λ2为正则化参数。
4.如权利要求1所述的基于MRI的CT图像重建方法,其特征在于:所述步骤1)中利用深度学习网络重建MRI包括:
获取样本物体的全采样的线下k空间数据y0;
对所述全采样的线下k空间数据y0进行逆傅里叶变换得到全采样的线下多对比度磁共振图像x0;
在k空间对所述全采样的线下k空间数据y0进行欠采样,以获取欠采样的线下k空间数据y1;
对所述欠采样的线下k空间数据y1进行高通滤波得到y1*h;
根据所述高通滤波后的欠采样的线下k空间数据y1*h和所述全采样的线下多对比度磁共振图像x0,训练深度学习网络;
获取待测物体的欠采样k空间数据y2;
对所述欠采样的k空间数据y2进行高通滤波得到y2*h;
将所述待测物体的高通滤波后的欠采样k空间数据y2*h输入至训练好的深度学习网络,得到k空间填充后的k空间数据y2’*h;
对所述进行逆高通滤波得到重建k空间数据y2’;
对所述重建k空间数据y2’进行逆傅里叶变换得到线上磁共振图像。
5.如权利要求1或4所述的基于MRI的CT图像重建方法,其特征在于所述步骤1)中利用深度学习网络重建MRI包括:
获取样本物体的全采样的多通道线下k空间数据y0;
对所述全采样的多通道线下k空间数据y0进行逆傅里叶变换得到全采样的多通道线下多对比度磁共振图像x0;
在k空间对所述全采样的多通道线下k空间数据y0进行欠采样,以获取欠采样的多通道线下k空间数据y1;
对所述欠采样的多通道线下k空间数据y1进行高通滤波得到y1*h;
根据所述高通滤波后的欠采样的多通道线下k空间数据y1*h和所述全采样的多通道线下多对比度磁共振图像x0,训练深度学习网络,如图3所示,分别在并行成像前后设置深度学习网络;
经过两个深度学习网络和并行成像处理后的k空间数据为y1’*h,对y1’*h进行逆高通滤波和数据一致性校正,通过将采样得到的k空间数据替换相应位置的k空间数据,保证深度学习网络仅填充未采样的k空间数据;
对数据一致性校正后的k空间数据进行逆傅里叶变换和均方根操作得到最终线下重建磁共振图像;
获取待测物体的多通道欠采样k空间数据y2;
对所述多通道欠采样的k空间数据y2进行高通滤波得到y2*h;
将所述待测物体的高通滤波后的多通道欠采样k空间数据y2*h输入至训练好的深度学习网络,得到k空间填充后的k空间数据y2’*h;
对所述进行逆高通滤波得到重建k空间数据y2’;
对所述重建k空间数据y2’进行逆傅里叶变换和均方根操作得到线上磁共振图像。
6.如权利要求5所述的基于MRI的CT图像重建方法,其特征在于:所述并行成像方法为GRAPPA或SPIRiT中的一种。
7.如权利要求1-3中任一项所述的基于MRI的CT图像重建方法,其特征在于:所述步骤1)中的深度学习网络由k空间域U-Net和图像域U-Net构成,欠采样的线下k空间数据首先输入k空间域U-Net,之后进行数据一致性校正,经过逆傅里叶变换得到磁共振图像,输入图像域U-Net,之后进行傅里叶变换得到k空间数据,并进行数据一致性校正;所述数据一致性校正通过将采样得到的k空间数据替换相应位置的k空间数据,保证深度学习网络仅填充未采样的k空间数据。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010355883.3A CN111436936B (zh) | 2020-04-29 | 2020-04-29 | 基于mri的ct图像重建方法 |
CN202110770801.6A CN113470139A (zh) | 2020-04-29 | 2020-04-29 | 一种基于mri的ct图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010355883.3A CN111436936B (zh) | 2020-04-29 | 2020-04-29 | 基于mri的ct图像重建方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110770801.6A Division CN113470139A (zh) | 2020-04-29 | 2020-04-29 | 一种基于mri的ct图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111436936A true CN111436936A (zh) | 2020-07-24 |
CN111436936B CN111436936B (zh) | 2021-07-27 |
Family
ID=71657717
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010355883.3A Active CN111436936B (zh) | 2020-04-29 | 2020-04-29 | 基于mri的ct图像重建方法 |
CN202110770801.6A Pending CN113470139A (zh) | 2020-04-29 | 2020-04-29 | 一种基于mri的ct图像重建方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110770801.6A Pending CN113470139A (zh) | 2020-04-29 | 2020-04-29 | 一种基于mri的ct图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN111436936B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150568A (zh) * | 2020-09-16 | 2020-12-29 | 浙江大学 | 基于Transformer模型的磁共振指纹成像重建方法 |
CN112700508A (zh) * | 2020-12-28 | 2021-04-23 | 广东工业大学 | 一种基于深度学习的多对比度mri图像重建方法 |
CN112862738A (zh) * | 2021-04-09 | 2021-05-28 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 多模态图像的合成方法、装置、存储介质及处理器 |
CN113470139A (zh) * | 2020-04-29 | 2021-10-01 | 浙江大学 | 一种基于mri的ct图像重建方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114549681A (zh) * | 2022-02-25 | 2022-05-27 | 清华大学 | 一种图像生成方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106970343A (zh) * | 2017-04-11 | 2017-07-21 | 深圳先进技术研究院 | 一种磁共振成像方法及装置 |
US20190066281A1 (en) * | 2017-08-24 | 2019-02-28 | Siemens Healthcare Gmbh | Synthesizing and Segmenting Cross-Domain Medical Images |
CN110084863A (zh) * | 2019-04-25 | 2019-08-02 | 中山大学 | 一种基于生成对抗网络的多域图像转换方法与*** |
CN110503654A (zh) * | 2019-08-01 | 2019-11-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
CN110689561A (zh) * | 2019-09-18 | 2020-01-14 | 中山大学 | 基于模块化gan的多模态mri与多模态ct的转换方法、***及介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110074813B (zh) * | 2019-04-26 | 2022-03-04 | 深圳大学 | 一种超声图像重建方法及*** |
CN110270015B (zh) * | 2019-05-08 | 2021-03-09 | 中国科学技术大学 | 一种基于多序列MRI的sCT生成方法 |
CN110827369B (zh) * | 2019-10-31 | 2023-09-26 | 上海联影智能医疗科技有限公司 | 欠采样模型生成方法、图像重建方法、设备和存储介质 |
CN111047660B (zh) * | 2019-11-20 | 2022-01-28 | 深圳先进技术研究院 | 图像重建方法、装置、设备及存储介质 |
CN110992440B (zh) * | 2019-12-10 | 2023-04-21 | 中国科学院深圳先进技术研究院 | 弱监督磁共振快速成像方法和装置 |
CN111436936B (zh) * | 2020-04-29 | 2021-07-27 | 浙江大学 | 基于mri的ct图像重建方法 |
-
2020
- 2020-04-29 CN CN202010355883.3A patent/CN111436936B/zh active Active
- 2020-04-29 CN CN202110770801.6A patent/CN113470139A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106970343A (zh) * | 2017-04-11 | 2017-07-21 | 深圳先进技术研究院 | 一种磁共振成像方法及装置 |
US20190066281A1 (en) * | 2017-08-24 | 2019-02-28 | Siemens Healthcare Gmbh | Synthesizing and Segmenting Cross-Domain Medical Images |
CN110084863A (zh) * | 2019-04-25 | 2019-08-02 | 中山大学 | 一种基于生成对抗网络的多域图像转换方法与*** |
CN110503654A (zh) * | 2019-08-01 | 2019-11-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
CN110689561A (zh) * | 2019-09-18 | 2020-01-14 | 中山大学 | 基于模块化gan的多模态mri与多模态ct的转换方法、***及介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470139A (zh) * | 2020-04-29 | 2021-10-01 | 浙江大学 | 一种基于mri的ct图像重建方法 |
CN112150568A (zh) * | 2020-09-16 | 2020-12-29 | 浙江大学 | 基于Transformer模型的磁共振指纹成像重建方法 |
CN112700508A (zh) * | 2020-12-28 | 2021-04-23 | 广东工业大学 | 一种基于深度学习的多对比度mri图像重建方法 |
CN112700508B (zh) * | 2020-12-28 | 2022-04-19 | 广东工业大学 | 一种基于深度学习的多对比度mri图像重建方法 |
CN112862738A (zh) * | 2021-04-09 | 2021-05-28 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 多模态图像的合成方法、装置、存储介质及处理器 |
CN112862738B (zh) * | 2021-04-09 | 2024-01-16 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 多模态图像的合成方法、装置、存储介质及处理器 |
Also Published As
Publication number | Publication date |
---|---|
CN113470139A (zh) | 2021-10-01 |
CN111436936B (zh) | 2021-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111436936B (zh) | 基于mri的ct图像重建方法 | |
US10852376B2 (en) | Magnetic resonance imaging method and device | |
CN110476075B (zh) | 针对解剖区域的磁共振指纹识别词典的选择 | |
US12000918B2 (en) | Systems and methods of reconstructing magnetic resonance images using deep learning | |
Zhang et al. | Can signal-to-noise ratio perform as a baseline indicator for medical image quality assessment | |
DE112016004907T5 (de) | Virtuelle CT-Bilder aus Magnetresonanzbildern | |
CN111951344A (zh) | 一种基于级联并行卷积网络的磁共振图像重建方法 | |
CN104220898A (zh) | 基于mr图像的pet吸收校正图像生成方法以及计算机程序 | |
Ikeda et al. | Compressed sensing and parallel imaging accelerated T2 FSE sequence for head and neck MR imaging: comparison of its utility in routine clinical practice | |
CN110270015A (zh) | 一种基于多序列MRI的sCT生成方法 | |
CN112489150B (zh) | 面向快速mri的深度神经网络的多尺度序贯训练方法 | |
Xiao et al. | Highly and adaptively undersampling pattern for pulmonary hyperpolarized 129 Xe dynamic MRI | |
CN109920017A (zh) | 基于特征向量的自一致性的联合全变分Lp伪范数的并行磁共振成像重构方法 | |
JP6730995B2 (ja) | 環境内に動きがある物体のmr画像を生成する方法及びシステム | |
US20230186532A1 (en) | Correction of magnetic resonance images using multiple magnetic resonance imaging system configurations | |
CN113192150B (zh) | 基于循环神经网络的磁共振介入图像重建方法 | |
CN114236444A (zh) | 一种超极化气体肺部变采样率快速磁共振扩散加权成像方法 | |
US10908247B2 (en) | System and method for texture analysis in magnetic resonance fingerprinting (MRF) | |
CN113052840A (zh) | 一种基于低信噪比pet图像的处理方法 | |
Segers et al. | Discrete tomography in MRI: a simulation study | |
CN114097041A (zh) | 针对深度学习电特性断层摄影的不确定度图 | |
Zumbo et al. | Advances in MRI based electrical properties tomography: A comparison between physics-supported learning approaches | |
Liu et al. | Accounting For Inter-Subject Variations in Deep Learning for Reduced-Dose Studies in Cardiac SPECT | |
CN113341357B (zh) | 一种基于vBM3d的磁共振图像重建方法 | |
Lajous et al. | Simulated Half-Fourier Acquisitions Single-shot Turbo Spin Echo (HASTE) of the Fetal Brain: Application to Super-Resolution Reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |