CN114140341B - 一种基于深度学习的磁共振图像非均匀场校正方法 - Google Patents
一种基于深度学习的磁共振图像非均匀场校正方法 Download PDFInfo
- Publication number
- CN114140341B CN114140341B CN202111269797.1A CN202111269797A CN114140341B CN 114140341 B CN114140341 B CN 114140341B CN 202111269797 A CN202111269797 A CN 202111269797A CN 114140341 B CN114140341 B CN 114140341B
- Authority
- CN
- China
- Prior art keywords
- magnetic resonance
- uniform
- resonance image
- training
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012937 correction Methods 0.000 title claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 74
- 238000013507 mapping Methods 0.000 claims description 83
- 238000011176 pooling Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 10
- 238000002059 diagnostic imaging Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001123862 Mico Species 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种基于深度学习的磁共振图像非均匀场校正方法,涉及磁共振图像处理方法。包括以下步骤:获取带有非均匀场的磁共振图像,由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集;设计校正磁共振图像非均匀场的深度学习网络模型;构建网络的损失函数;训练校正磁共振图像非均匀场的深度学习网络模型参数;对目标带有非均匀场的磁共振图像进行校正。通过深度学习对均匀磁共振图像和非均匀场进行联合估计的方法,具有校正误差小,图像质量高的特点。
Description
技术领域
本发明涉及磁共振图像处理方法,尤其是涉及一种基于深度学习的磁共振图像非均匀场校正方法。
背景技术
磁共振成像(Magnetic ResonanceImaging,MRI)技术是临床上广泛使用的一种无创、无辐射的成像技术,广泛应用于临床诊断中。
磁共振图像提供丰富的组织解剖信息,但图像质量会受到很多非理想条件的影响,如非均匀场。非均匀场会导致磁共振图像强度不均匀,这会对许多磁共振图像处理技术产生影响,如图像分割。常用的校正非均匀场的方法可以分为前瞻性方法和回顾性方法。常用的前瞻性方法包括基于不同线圈的校正方法(Narayana P.A.,Brey W.W.,KulkarniM.V.,and Sievenpiper C.L.,“Compensation for surface coil sensitivityvariation in magnetic resonance imaging,”Medical Physics,vol.15,no.2,pp.241-245,1988)和基于不同序列的校正方法(Chiou Jr-Yuan,Ahn Chang Beom,Muftuler LutfiTugan,and Nalcioglu Orhan,“A simple simultaneous geometric and intensitycorrection method for echo-planar imaging by EPI-based phase modulation,”IEEETransactions on Medical Imaging,vol.22,no.2,pp.200-205,2003)等。在回顾性方法中,往往通过约束磁共振图像的分段常数性质和非均匀场的光滑缓慢变化性质来校正非均匀场(Tustison Nicholas J,Avants Brian B,Cook Philip A,Zheng Yuanjie,EganAlexander,Yushkevich Paul A,and Gee James C,“N4ITK:Improved N3 biascorrection,”IEEE Transactions on Medical Imaging,vol.29,no.6,pp.1310-20,2010.;Chunming Li,John C.Gore,and Christos Davatzikos,“Multiplicativeintrinsic component optimization(MICO)for MRI bias field estimation andtissue segmentation,”Magnetic Resonance Imaging,vol.32,no.7,pp.913-923,2014)。
近年来,深度学习在各个领域发挥巨大的作用(Tieyuan Lu,Xinlin Zhang,YihuiHuang,Di Guo,Feng Huang,Qin Xu,Yuhan Hu,Lin Ou-Yang,Jianzhong Lin,ZhipingYan,and Xiaobo Qu,“pFISTA-SENSE-ResNet for parallel MRI reconstruction,”Journal of Magnetic Resonance,vol.318,pp.106790,2020.;Xiaobo Qu,Yihui Huang,Hengfa Lu,Tianyu Qiu,Di Guo,Tatiana Agback,Vladislav Orekhov,and Zhong Chen,“Accelerated nuclear magnetic resonance spectroscopy with deep learning,”AngewandteChemie-International Edition,vol.59,no.26,pp.10297-10300,2020)。一些基于深度学习的校正非均匀场的方法已经出现(Fengkai Wan,Smedby,andChunliang Wang,"Simultaneous MR knee image segmentation and bias fieldcorrection using deeplearning and partial convolution,"Medical Imaging 2019:Image Processing,Proceedings of SPIE E.D.Angelini and B.A.Landman,eds.,2019)。Dai等人(Xianjin Dai,Yang Lei,Yingzi Liu,Tonghe Wang,Lei Ren,Walter J.Curran,Pretesh Patel,Tian Liu,and Xiaofeng Yang,“Intensity non-uniformity correctionin MR imaging usingresidual cycle generative adversarial network,”Physics inMedicine andBiology,vol.65,no.21,pp.215025,2020)提出一种残差循环生成对抗网络,它通过判别标签均匀磁共振图像和生成的均匀磁共振图像来约束模型。Venkatesh等人(Vishal Venkatesh,Neeraj Sharma,and Munendra Singh,“Intensity inhomogeneitycorrection of MRI images using InhomoNet,”Computerized Medical Imaging andGraphics,vol.84,pp.101748,2020)提出的神经网络中包含一个多尺度模块用于捕获磁共振图像不同尺度下的信息;同时提出两个新的损失函数用以实现脑磁共振图像不同区域的像素一致性。
然而,这两种深度学习方法都只使用了均匀磁共振图像的信息,而没有充分地使用非常关键的、含有丰富可用先验的非均匀场的信息。
发明内容
本发明的目的在于提供校正误差小、图像质量高的一种基于深度学习的磁共振图像非均匀场校正方法。
本发明包括以下步骤:
1)获取带有非均匀场的磁共振图像,由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集;
2)设计校正磁共振图像非均匀场的深度学习网络模型;
3)构建网络的损失函数;
4)训练校正磁共振图像上非均匀场的深度学习网络模型参数;
5)对目标带有非均匀场的磁共振图像进行校正。
在步骤1)中,所述获取带有非均匀场的磁共振图像,由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集的具体方法为:
利用磁共振仪器对同一被试采集两组不同的带有非均匀场的图像Y和Z,使得:
其中,I,J表示图像大小,Yij表示图像Y在坐标i,j处的强度,Zij表示图像Z在坐标i,j处的强度,Bij表示在坐标i,j处的非均匀场的强度;由此可以得到非均匀场和均匀的磁共振图像为:
其中,Xij表示在坐标i,j处均匀的磁共振图像的强度。由B、X和Y共同组成训练集。
在步骤2)中,所述深度学习网络模型由估计非均匀场的模块和估计均匀磁共振图像的模块/>组成,每个模块主要包含K个不同尺度的编码器块E、K个不同尺度的解码器块D和深度表示块R;不同尺度的编码器块E之间有一层最大池化层,不同尺度的解码器块D之间有一层上采样层;第k个编码器块Ek、解码器块Dk和深度表示块R是由N个卷积层拼接组成,每个卷积层后都有一个线性整流函数(Rectified Linear Unit,ReLU),第n个卷积层卷积核的大小为In×In,其中k,n为大于等于1的整数,具体描述如下:
(1)估计非均匀场的模块
在估计非均匀场的模块中,第一个编码器块/>的映射函数可以表示为经过最大池化层后映射函数可以表示为/>其中/>为第一个编码器块的训练参数,则K个级联的编码器块的映射函数可以表示为:
其中,为K个编码器块训练参数的集合。EB(Y|ΘBE)表示训练从Y到EB的非线性映射,/>是训练的各子块非线性映射
的组合函数。在第K个编码器块后是深度表示块RB,其映射函数可以表示为:
RB=RB(EB|ΘBR)=RB(EBθBR),
其中,ΘBR={θBR}为深度表示块RB训练参数的集合。深度表示块RB后是索引为K的解码器块其映射函数可以表示为/>经过上采样层后映射函数可以表示为则K个级联的解码器块的映射函数可以表示为:
其中,为K个级联的解码器块训练参数的集合。DB(RB|ΘBD)表示训练从RB到DB的非线性映射,/>是训练的各子块非线性映射
的组合函数。
综上,K个不同尺度的编码器块EB、深度表示块RB和K个不同尺度的解码器块DB级联,得到估计非均匀场的模块的映射函数为:
其中,ΘB={ΘBE,ΘBR,ΘBD}为估计非均匀场的模块的训练参数的集合;表示从带有非均匀场的图像Y到非均匀场/>的非线性映射。/>是训练的各子块EB(Y|ΘBE),RB(EB|ΘBR),DB(RB|ΘBD)非线性映射的组合函数。
(2)估计均匀磁共振图像的模块
在估计均匀磁共振图像的模块中,每一个编码器块和解码器块后都有一个残差结构。第k个编码器块/>的映射函数可以表示为/>将估计非均匀场的模块/>中第k个编码器块/>的输出/>输入到残差结构中,那么残差结构的输出可以表示为:
其中,为第k个估计均匀磁共振图像编码器块和第k个估计非均匀场编码器块的训练参数的集合。经过最大池化层后映射函数可以表示为/>那么K个级联的编码器块的映射函数可以表示为:
其中,为K个编码器块训练参数的集合。EX(Y|ΘE)表示训练从Y到EX的非线性映射,/>是训练的各子块非线性映射
的组合函数。在第K个编码器块后是深度表示块RX,其映射函数可以表示为:
RX=RX(EX|ΘR)=RX(EX|θR),
其中,ΘR={θR}为深度表示块RX训练参数的集合。深度表示块RX后是索引为K的解码器块其映射函数可以表示为/>第k个解码器块/>的映射函数可以表示为/>将估计非均匀场的模块/>中第k个解码器块/>的输出/>输入到残差结构中,那么残差结构的输出可以表示为:
其中,为第k个估计均匀磁共振图像解码器块和第k个估计非均匀场解码器块的训练参数的集合;经过上采样层后映射函数可以表示为/>那么K个级联的解码器块的映射函数可以表示为:
其中,为K个级联的解码器块训练参数的集合;DX(RX|ΘD)表示训练从RX到DX的非线性映射,/>是训练的各子块非线性映射
的组合函数。
K个不同尺度的编码器块EX、深度表示块RX和K个不同尺度的解码器块DX级联,得到估计均匀磁共振图像的模块的映射函数为:
其中,ΘX={ΘE,ΘR,ΘD}为估计均匀磁共振图像的模块的训练参数的集合;表示从带有非均匀场的图像Y到均匀磁共振图像/>的非线性映射;/>是训练的各子块非线性映射EX(Y|ΘE),RX(EX|ΘR),DX(RX|ΘD)的组合函数。
在步骤3)中,所述网络的损失函数为:
其中,Θ={ΘB,ΘX}为整个网络训练参数的集合,b为向量化的非均匀场B,为向量化的网络估计出来的非均匀场/>x为向量化的均匀的磁共振图像X,/>为向量化的网络估计出来的均匀的磁共振图像/>0≤λ1,λ2,λ3≤1且λ1+λ2+λ3=1,/>表示向量的二范数的平方,上标T表示转置。
在步骤4)中,所述训练校正磁共振图像非均匀场的深度学习网络模型参数的具体方法为:通过最小化损失函数来估计映射函数和/>中参数Θ={ΘB,ΘX}的最优值最小化损失函数的方法采用深度学习中的Adam算法。
在步骤5)中,所述对目标带有非均匀场的磁共振图像进行校正的具体方法为:将步骤4)中训练得到的网络模型最优值作为/>和/>中参数Θ={ΘB,ΘX};将目标带有非均匀场的磁共振图像Y输入到网络模型中,经过前向传播后,得到对应的非均匀场和均匀的磁共振图像/>可用公式表示为:
本发明首先通过磁共振一起获取带有非均匀场的磁共振图像,由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集,前两者作为标签,后者作为网络的输入;然后设计校正磁共振图像非均匀场的深度学习网络模型,用上述的训练集求解网络最优参数构成校正非均匀场的深度学习网络模型;最后将对目标带有非均匀场的磁共振图像输入到训练好的网络进行非均匀场的校正。
本发明在对网络训练时同时利用非均匀场和均匀图像的信息,校正结果优于前沿的深度学习方法(Vishal Venkatesh,Neeraj Sharma,and Munendra Singh,“Intensityinhomogeneity correction of MRI images using InhomoNet,”Computerized MedicalImaging and Graphics,vol.84,pp.101748,2020.)。本发明通过深度学习对均匀磁共振图像和非均匀场进行联合估计,具有校正误差小,图像质量高的特点。
附图说明
图1为设计的校正磁共振图像非均匀场的深度学习网络模型。其中数字表示通道数。
图2为目标带有非均匀场的磁共振图像通过所提深度学习网络进行校正的结果。在图2中,(a)是带有非均匀场的磁共振图像,(b)是前沿的深度学习方法的校正结果,(c)是本发明的校正结果,(d)是均匀的磁共振图像,(e)是前沿的深度学习方法校正的误差图,(f)是本发明校正的误差图,(g)是非均匀场,(h)是前沿的深度学习方法估计出来的非均匀场,(i)是本发明估计出来的非均匀场。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明,本发明实施例是一个利用深度学习方法对多通道脑部数据进行重建的具体过程。
本发明实施例包括以下步骤:
第一步:获取带有非均匀场的磁共振图像;
本发明实施例使用磁场强度为3特斯拉、通道数为32的磁共振仪器对9名自愿者的大脑用两种序列进行成像。第一种序列的参数为:序列的回波时间TE=2400ms,重复时间TR=2.14ms。第二种序列的参数为:序列的回波时间TE=3200ms,重复时间TR=565ms。采集得到的磁共振图像Y和Z的大小为256×256,其中:
其中,Yij表示图像Y在坐标i,j处的强度,Zij表示图像Z在坐标i,j处的强度,Bij表示在坐标i,j处的非均匀场的强度;由此得到非均匀场和均匀的磁共振图像为:
其中,Xij表示在坐标i,j处均匀的磁共振图像的强度。由此,得到9名自愿者经过磁共振仪器扫描后的脑部带有非均匀场的磁共振图像、非均匀场和均匀的磁共振图像。其中,训练集来自于8名自愿者的800对磁共振图像,测试集来自于另外一位自愿者的100对磁共振图像。
第二步:设计校正磁共振图像非均匀场的深度学习网络模型
该深度学习网络模型由估计非均匀场的模块和估计均匀磁共振图像的模块/>组成,如图1所示。每个模块主要包含4个不同尺度的编码器块E、4个不同尺度的解码器块D和1个深度表示块R;不同尺度的编码器块E之间有一层最大池化层,不同尺度的解码器块D之间有一层上采样层;第k个编码器块Ek、解码器块Dk和深度表示块R是由3个卷积层拼接组成,每个卷积层后都有一个线性整流函数(Rectified Linear Unit,ReLU),这3个卷积层卷积核的大小分别为3×3、5×5、7×7,具体如下:
a)估计非均匀场的模块
在估计非均匀场的模块中,第一个编码器块/>的映射函数可以表示为经过最大池化层后映射函数可以表示为/>其中/>为第一个编码器块的训练参数,则4个级联的编码器块的映射函数表示为:
其中,为4个编码器块训练参数的集合。EB(Y|ΘBE)表示训练从Y到EB的非线性映射,/>是训练的各子块非线性映射
的组合函数;在第4个编码器块后是深度表示块RB,其映射函数表示为:
RB=RB(EB|ΘBR)=RB(EB|θBR),
其中,ΘBR={θBR}为深度表示块RB训练参数的集合;深度表示块RB后是索引为4的解码器块其映射函数可以表示为/>经过上采样层后映射函数表示为则4个级联的解码器块的映射函数表示为:
其中,为4个级联的解码器块训练参数的集合。DB(RB|ΘBD)表示训练从RB到DB的非线性映射,/>是训练的各子块非线性映射
的组合函数。
综上,4个不同尺度的编码器块EB、深度表示块RB和4个不同尺度的解码器块DB级联,得到估计非均匀场的模块的映射函数为:
其中,ΘB={ΘBE,ΘBR,ΘBD}为估计非均匀场的模块的训练参数的集合;表示从带有非均匀场的图像Y到非均匀场/>的非线性映射;/>是训练的各子块EB(Y|ΘBE),RB(EB|ΘBR),DB(RB|ΘBD)非线性映射的组合函数。
a)估计均匀磁共振图像的模块
在估计均匀磁共振图像的模块中,每一个编码器块和解码器块后都有一个残差结构。第k个编码器块/>的映射函数表示为/>将估计非均匀场的模块/>中第k个编码器块/>的输出/>输入到残差结构中,那么残差结构的输出表示为:
其中,为第k个估计均匀磁共振图像编码器块和第k个估计非均匀场编码器块的训练参数的集合。经过最大池化层后映射函数表示为/>那么4个级联的编码器块的映射函数表示为:
其中,为4个编码器块训练参数的集合。EX(Y|ΘE)表示训练从Y到EX的非线性映射,/>是训练的各子块非线性映射
的组合函数。在第4个编码器块后是深度表示块RX,其映射函数表示为:
RX=RX(EX|ΘR)=RX(EX|θR),
其中,ΘR={θR}为深度表示块RX训练参数的集合。深度表示块RX后是索引为4的解码器块其映射函数表示为/>第k个解码器块/>的映射函数表示为将估计非均匀场的模块/>中第k个解码器块/>的输出/>输入到残差结构中,那么残差结构的输出表示为:
其中,为第k个估计均匀磁共振图像解码器块和第k个估计非均匀场解码器块的训练参数的集合。经过上采样层后映射函数表示为/>那么4个级联的解码器块的映射函数表示为:
其中,为4个级联的解码器块训练参数的集合。DX(RX|ΘD)表示训练从RX到DX的非线性映射,/>是训练的各子块非线性映射
的组合函数。
综上,4个不同尺度的编码器块EX、深度表示块RX和4个不同尺度的解码器块DX级联,得到估计均匀磁共振图像的模块的映射函数为:
其中,ΘX={ΘE,ΘR,ΘD}为估计均匀磁共振图像的模块的训练参数的集合;表示从带有非均匀场的图像Y到均匀磁共振图像/>的非线性映射。/>是训练的各子块非线性映射EX(Y|ΘE),RX(EX|ΘR),DX(RX|ΘD)的组合函数。
设计的校正磁共振图像非均匀场的深度学习网络模型如图1所示。
第三步:构建网络的损失函数
深度学习网络的损失函数定义为:
其中,Θ={ΘB,ΘX}为整个网络训练参数的集合,b为向量化的非均匀场B,为向量化的网络估计出来的非均匀场/>x为向量化的均匀的磁共振图像X,/>为向量化的网络估计出来的均匀的磁共振图像/>λ1=0.4,λ2=0.5,λ3=0.1,/>表示向量的二范数的平方,上标T表示转置。
第四步:训练校正磁共振图像非均匀场的深度学习网络模型参数
通过深度学习中表现较好的Adam优化器(Diederik Kingma and Jimmy Ba,“Adam:Amethod for stochastic optimization,”arXiv preprint,arXiv:1412.6980,2014.),利用第一步中的训练集进行100次训练,初始学习率设置为0.001,指数衰减设置为0.95,得到最小化步骤三中的损失函数的参数Θ={ΘB,ΘX}的最优值/>
第五步:对目标带有非均匀场的磁共振图像进行校正
将第四步中训练得到的网络模型最优值作为/>和/>中参数Θ={ΘB,ΘX};将目标带有非均匀场的磁共振图像Y输入到网络模型中,经过前向传播后,得到对应的非均匀场/>和均匀的磁共振图像/>用公式表示为:
目标带有非均匀场的磁共振图像通过所提深度学习网络进行校正的结果如图2所示。
与现有前沿技术相比,本发明通过深度学习对均匀磁共振图像和非均匀场进行联合估计的方法,大大提升了图像质量。图2中的(e)图为前沿的深度学习方法(VishalVenkatesh,Neeraj Sharma,and Munendra Singh,“Intensity inhomogeneitycorrection of MRI images using InhomoNet,”Computerized Medical Imaging andGraphics,vol.84,pp.101748,2020.)的校正误差图,(f)图为本发明的校正误差图;误差图越暗表示校正误差越小,由此可知本发明的校正误差较小,图像质量较高。
Claims (3)
1.一种基于深度学习的磁共振图像非均匀场校正方法,其特征在于包括以下步骤:
1)获取带有非均匀场的磁共振图像,由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集;
2)设计校正磁共振图像非均匀场的深度学习网络模型;
所述深度学习网络模型由估计非均匀场的模块和估计均匀磁共振图像的模块X组成,每个模块主要包含K个不同尺度的编码器块E、K个不同尺度的解码器块D和深度表示块R;不同尺度的编码器块E之间有一层最大池化层,不同尺度的解码器块D之间有一层上采样层;第k个编码器块Ek、解码器块Dk和深度表示块R是由N个卷积层拼接组成,每个卷积层后都有一个线性整流函数,第n个卷积层卷积核的大小为In×In,其中k,n为大于等于1的整数,具体描述如下:
(1)估计非均匀场的模块
在估计非均匀场的模块中,第一个编码器块/>的映射函数表示为/>经过最大池化层后映射函数表示为/>其中/>为第一个编码器块的训练参数,则K个级联的编码器块的映射函数表示为:
其中,为K个编码器块训练参数的集合,EB(Y|ΘE)表示训练从Y到EB的非线性映射,/>是训练的各子块非线性映射
的组合函数;在第K个编码器块后是深度表示块RB,其映射函数表示为:
RB=RB(EB|ΘBR)=RB(EB|θBR),
其中,ΘBR={θBR}为深度表示块RB训练参数的集合,深度表示块RB后是索引为K的解码器块其映射函数表示为/>经过上采样层后映射函数表示为/>则K个级联的解码器块的映射函数表示为:
其中,为K个级联的解码器块训练参数的集合;DB(RB|ΘBD)表示训练从RB到DB的非线性映射,/>是训练的各子块非线性映射
的组合函数;
K个不同尺度的编码器块EB、深度表示块RB和K个不同尺度的解码器块DB级联,得到估计非均匀场的模块的映射函数为:
其中,ΘB={ΘBE,ΘBR,ΘBD}为估计非均匀场的模块的训练参数的集合;/>表示从带有非均匀场的图像Y到非均匀场/>的非线性映射;/>是训练的各子块EB(Y|ΘBE),RB(EB|ΘBR),DB(RB|ΘBD)非线性映射的组合函数;
(2)估计均匀磁共振图像的模块
在估计均匀磁共振图像的模块中,每一个编码器块和解码器块后都有一个残差结构;第k个编码器块/>的映射函数表示为/>将估计非均匀场的模块/>中第k个编码器块/>的输出/>输入到残差结构中,那么残差结构的输出表示为:
其中,为第k个估计均匀磁共振图像编码器块和第k个估计非均匀场编码器块的训练参数的集合;经过最大池化层后映射函数表示为/>那么K个级联的编码器块的映射函数表示为:
其中,为K个编码器块训练参数的集合,EX(Y|ΘE)表示训练从Y到EX的非线性映射,/>是训练的各子块非线性映射
的组合函数;在第K个编码器块后是深度表示块RX,其映射函数表示为:
RX=RX(EX|ΘR)=RX(EX|θR),
其中,ΘR={θR}为深度表示块RX训练参数的集合;深度表示块RX后是索引为K的解码器块其映射函数表示为/>第k个解码器块/>的映射函数表示为/>将估计非均匀场的模块/>中第k个解码器块/>的输出/>输入到残差结构中,那么残差结构的输出表示为:
其中,为第k个估计均匀磁共振图像解码器块和第k个估计非均匀场解码器块的训练参数的集合;经过上采样层后映射函数表示为/>那么K个级联的解码器块的映射函数表示为:
其中,为K个级联的解码器块训练参数的集合;DX(RX|ΘD)表示训练从RX到DX的非线性映射,/>是训练的各子块非线性映射
的组合函数;
K个不同尺度的编码器块EX、深度表示块RX和K个不同尺度的解码器块DX级联,得到估计均匀磁共振图像的模块的映射函数为:
其中,ΘX={ΘE,ΘR,ΘD}为估计均匀磁共振图像的模块的训练参数的集合;表示从带有非均匀场的图像Y到均匀磁共振图像/>的非线性映射;/>是训练的各子块非线性映射EX(Y|ΘE),RX(EX|ΘR),DX(RX|ΘD)的组合函数;
3)构建网络的损失函数;
4)训练校正磁共振图像非均匀场的深度学习网络模型参数:通过最小化损失函数来估计映射函数和/>中参数Θ={ΘB,ΘX}的最优值/>最小化损失函数的方法采用深度学习中的Adam算法;
5)对目标带有非均匀场的磁共振图像进行校正:将步骤4)中训练得到的网络模型最优值作为/>和/>中参数Θ={ΘB,ΘX};将目标带有非均匀场的磁共振图像Y输入到网络模型中,经过前向传播后,得到对应的非均匀场/>和均匀的磁共振图像/>用公式表示为:
2.如权利要求1所述一种基于深度学习的磁共振图像非均匀场校正方法,其特征在于在步骤1)中,所述获取带有非均匀场的磁共振图像,由非均匀场、均匀的磁共振图像和带有非均匀场的磁共振图像共同组成训练集的具体方法为:
利用磁共振仪器对同一被试采集两组不同的带有非均匀场的图像Y和Z,使得:
其中,I,J表示图像大小,Yij表示图像Y在坐标i,j处的强度,Zij表示图像Z在坐标i,j处的强度,Bij表示在坐标i,j处的非均匀场的强度;得到非均匀场和均匀的磁共振图像为:
其中,Xij表示在坐标i,j处均匀的磁共振图像的强度;由B、X和Y共同组成训练集。
3.如权利要求1所述一种基于深度学习的磁共振图像非均匀场校正方法,其特征在于在步骤3)中,所述网络的损失函数为:
其中,Θ={ΘB,ΘX}为整个网络训练参数的集合,b为向量化的非均匀场B,为向量化的网络估计出来的非均匀场/>x为向量化的均匀的磁共振图像X,/>为向量化的网络估计出来的均匀的磁共振图像/>0≤λ1,λ2,λ3≤1且λ1+λ2+λ3=1,/>表示向量的二范数的平方,上标T表示转置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111269797.1A CN114140341B (zh) | 2021-10-29 | 2021-10-29 | 一种基于深度学习的磁共振图像非均匀场校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111269797.1A CN114140341B (zh) | 2021-10-29 | 2021-10-29 | 一种基于深度学习的磁共振图像非均匀场校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114140341A CN114140341A (zh) | 2022-03-04 |
CN114140341B true CN114140341B (zh) | 2024-06-07 |
Family
ID=80394817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111269797.1A Active CN114140341B (zh) | 2021-10-29 | 2021-10-29 | 一种基于深度学习的磁共振图像非均匀场校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114140341B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115240032B (zh) * | 2022-07-20 | 2023-06-23 | 中国人民解放军总医院第一医学中心 | 基于深度学习的3t磁共振图像生成7t磁共振图像的方法 |
CN115905817B (zh) * | 2022-12-20 | 2023-11-03 | 无锡鸣石峻致医疗科技有限公司 | 一种多通道非均匀场信号降噪方法、装置和存储介质 |
CN116908760B (zh) * | 2023-07-11 | 2024-05-14 | 哈尔滨工业大学 | 一种基于深度解耦网络的mri偏置场修正方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636747A (zh) * | 2018-12-04 | 2019-04-16 | 上海理工大学 | 应用于单幅红外图像非均匀校正的深度高频网络校正算法 |
CN111783631A (zh) * | 2020-06-29 | 2020-10-16 | 厦门大学 | 一种基于稀疏表示的深度学习磁共振波谱重建方法 |
CN112767283A (zh) * | 2021-02-03 | 2021-05-07 | 西安理工大学 | 一种基于多图像块划分的非均匀图像去雾方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10753997B2 (en) * | 2017-08-10 | 2020-08-25 | Siemens Healthcare Gmbh | Image standardization using generative adversarial networks |
-
2021
- 2021-10-29 CN CN202111269797.1A patent/CN114140341B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636747A (zh) * | 2018-12-04 | 2019-04-16 | 上海理工大学 | 应用于单幅红外图像非均匀校正的深度高频网络校正算法 |
CN111783631A (zh) * | 2020-06-29 | 2020-10-16 | 厦门大学 | 一种基于稀疏表示的深度学习磁共振波谱重建方法 |
CN112767283A (zh) * | 2021-02-03 | 2021-05-07 | 西安理工大学 | 一种基于多图像块划分的非均匀图像去雾方法 |
Non-Patent Citations (1)
Title |
---|
基于奇异谱分析的校正磁共振图像非均匀场的新方法;郑建英;方青;蒋利红;谢林森;骆建华;;上海交通大学学报;20060828(第08期);第176-181+192页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114140341A (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114140341B (zh) | 一种基于深度学习的磁共振图像非均匀场校正方法 | |
Liu et al. | Generalized total variation-based MRI Rician denoising model with spatially adaptive regularization parameters | |
Zhang et al. | Application of Tikhonov regularization to super-resolution reconstruction of brain MRI images | |
Roy et al. | MR contrast synthesis for lesion segmentation | |
WO2022183988A1 (en) | Systems and methods for magnetic resonance image reconstruction with denoising | |
Kastryulin et al. | Image quality assessment for magnetic resonance imaging | |
Liu et al. | A two‐step optimization approach for nonlocal total variation‐based Rician noise reduction in magnetic resonance images | |
CN110895320A (zh) | 基于深度学***面回波成像方法及装置 | |
Aetesam et al. | Noise dependent training for deep parallel ensemble denoising in magnetic resonance images | |
Mani et al. | Model-based deep learning for reconstruction of joint kq under-sampled high resolution diffusion MRI | |
Defazio et al. | MRI banding removal via adversarial training | |
KR20200025598A (ko) | 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법 | |
JP2002000581A (ja) | 磁気共鳴画像化を使用して得られた複素画像の合成 | |
Aggarwal et al. | Multi-shot sensitivity-encoded diffusion MRI using model-based deep learning (MODL-MUSSELS) | |
Cui et al. | Unsupervised arterial spin labeling image superresolution via multiscale generative adversarial network | |
Ye et al. | Simultaneous superresolution reconstruction and distortion correction for single‐shot EPI DWI using deep learning | |
Safari et al. | MRI motion artifact reduction using a conditional diffusion probabilistic model (MAR‐CDPM) | |
Qian et al. | Physics-informed deep diffusion MRI reconstruction: Break the bottleneck of training data in artificial intelligence | |
US20230380714A1 (en) | Method and system for low-field mri denoising with a deep complex-valued convolutional neural network | |
Thomaz et al. | Undersampled magnetic resonance image reconstructions based on a combination of u-nets and l1, l2, and tv optimizations | |
Mihailova et al. | Comparative analysis various filters for noise reduction in MRI abdominal images | |
Yan et al. | A multi-modal medical image fusion method in spatial domain | |
Selvathi et al. | Segmentation of tissues in MR images using modified spatial fuzzy C means algorithm | |
Thurnhofer-Hemsi et al. | Super-resolution of 3D magnetic resonance images by random shifting and convolutional neural networks | |
US11313933B2 (en) | Diffusion-weighted MRI with magnitude-based locally low-rank regularization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |