CN111932460B - Mr图像超分辨率重建方法、装置、计算机设备及存储介质 - Google Patents
Mr图像超分辨率重建方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111932460B CN111932460B CN202010796792.3A CN202010796792A CN111932460B CN 111932460 B CN111932460 B CN 111932460B CN 202010796792 A CN202010796792 A CN 202010796792A CN 111932460 B CN111932460 B CN 111932460B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- loss
- residual error
- dense residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 62
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008034 disappearance Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000005481 NMR spectroscopy Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种MR图像超分辨率重建方法、装置、计算机设备及存储介质,该MR图像超分辨率重建方法包括:对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图;将所述待重建MR图像和所述增强梯度图输入预先训练好的密集残差网络分别进行特征提取,以得到所述待重建MR图像的第一特征和所述增强梯度图的第二特征;将所述第二特征***所述第一路径与所述第一特征共同进行特征映射,以得到全局特征;将所述全局特征、第一特征及所述第二特征共同进行图像重建,以得到高分辨率MR图像。由此,可以避免低频区域的结构信息随网络的加深消失,并且避免了高频区域的过度平滑,重建效果更好。
Description
技术领域
本发明涉及医学图像处理领域,尤其涉及一种MR图像超分辨率重建方法、装置、计算机设备及存储介质
背景技术
医学影像作为一种医疗辅助手段用于诊断和治疗,已经成为目前医学检测不可缺少的步骤。核磁共振(MagneticResonance,MR)图像在颅脑,心脏等部位有较好的成像和诊断效果,在目前的临床检查项目中应用十分广泛。高分辨率的MRI可以产生详细的结构信息,有利于临床诊断,决策和准确的定量图像分析。但是,作为应用于全身各***的成像诊断技术,高分辨率(HR)成像的代价是扫描时间长,空间覆盖范围小、较小的空间收敛性和信噪比低。从单个低分辨率(LR)图像输入恢复HR图像的能力可能会克服这些缺陷。因此。因此MR图像的超分辨率方法在医学图像处理中受到了广泛关注。
图像超分辨率在图像处理领域中是不适定的,传统的图像处理方法通过使用插值、建模或重构方法进行处理,但这些方法的性能受到其实现原理的限制,需要图像满足较为严格的图像先验,同时也不能学到足够的进行来进行建模。近年来发展迅速的深度学***滑,重建效果不佳。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的第一个目的在于提出一种MR图像超分辨率重建方法。
本发明的第二个目的在于提出一种MR图像超分辨率重建方装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机存储介质。
为实现上述目的,第一方面,根据本发明实施例的一种MR图像超分辨率重建方法,包括:包括:
对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图;
将所述待重建MR图像和所述增强梯度图输入预先训练好的密集残差网络分别进行特征提取,以得到所述待重建MR图像的第一特征和所述增强梯度图的第二特征;其中,所述密集残差网络包括第一路径和第二路径,所述待重建MR图像输入所述第一路径进行特征提取,所述增强梯度图输入所述第二路径进行特征提取;
将所述第二特征***所述第一路径与所述第一特征共同进行特征映射,以得到全局特征;
将所述全局特征、第一特征及所述第二特征共同进行图像重建,以得到高分辨率MR图像。
优选地,所述对低分辨率的初始图像采用二维多尺度分析进行小波变换,得到增强梯度图之前包括:
构建特征提取模块;
根据所述特征提取模块,输入多个密集残差学习模块进行堆叠,并输入上采样模块,以完成密集残差网络搭建;
根据所述密集残差网络,将待训练MR图像输入所述密集残差网络,以得到所述待训练MR图像的像素损失和梯度感知损失;其中,所述待训练MR图像包括预测图像和真实图像,所述像素损失为所述预测图像与所述真实图像在像素间的损失,所述梯度感知损失为所述预测图像的增强梯度图和真实图像的增强梯度图之间的损失;
根据所述像素损失和所述梯度感知损失将所述密集残差网络的网络参数进行多次迭代训练,以得到训练好的所述密集残差网络。
优选地,所述根据所述像素损失和所述梯度感知损失将所述密集残差网络的网络参数进行多次迭代训练采用以下公式进行计算:
其中,ILR表示低分辨率真实图像,IHR表示高分辨率真实图像,FSR(ILR)表示超分辨率预测图像,表示预测图像和真实图像在像素间的L1损失,表示预测图像的增强梯度图和真实图像的增强梯度图之间的损失。
优选地,所述对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图包括:
对所述待重建MR图像沿水平方向和垂直方向分别进行滤波和采样,以得到四个子图;其中,所述四个子图包括粗略逼近子图、水平方向细节子图、垂直方向细节子图及对角线方向细节子图;
将所述四个子图进行加权融合,以得到所述增强梯度图;
所述四个子图进行加权融合采用以下公式进行计算:
G(x,y)=λ1ILL(x,y)+λ2IHL(x,y)+λ3ILH(x,y)+λ4IHH(x,y),
其中,ILL(x,y)表示为所述粗略逼近子图,IHL(x,y)表示为所述水平方向细节子图,ILH(x,y)表示为所述垂直方向细节子图,IHH(x,y)表示为所述对角线方向细节子图,G(x,y)=表示为所述增强梯度图。
优选地,所述密集残差网络包括特征提取模块、多个密集残差学习模块及上采样模块;
所述将所述第二特征***所述第一路径与所述第一特征共同进行特征映射,以得到全局特征包括:
将所述第一特征输入至所述多个密集残差学习模块中,并将所述第二特征输入第3个密集残差学习模块、第6个密集残差学习模块及第9个密集残差学习模块中;
将每个所述密集残差学习模块采用级联融合与全局注意力映射以得到全局特征;
将所述全局特征、第一特征及所述第二特征输出至所述上采样模块。
优选地,所述上采样模块包括两个卷积层和一个上采样层;所述将所述全局特征、第一特征及所述第二特征共同进行图像重建,以得到高分辨率MR图像包括:
将所述全局特征、第一特征及所述第二特征输入其中一个所述卷积层进行卷积操作以拓展通道数并输入至所述上采样层;
将所述全局特征、第一特征及所述第二特征输入上采样层进行通道和像素排列以完成采样,并输出至下一个所述卷积层;
通过下一个所述卷积层将所述所述全局特征、第一特征及所述第二特征共同的采采用卷积操作以得到所述高分辨率MR图像。
第二方面,根据本发明实施例的核磁共振图像重建装置,包括:
变换单元,用于对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图;
提取单元,用于将所述待重建MR图像和所述增强梯度图输入预先训练好的密集残差网络分别进行特征提取,以得到所述待重建MR图像的第一特征和所述增强梯度图的第二特征;其中,所述密集残差网络包括第一路径和第二路径,所述待重建MR图像输入所述第一路径进行特征提取,所述增强梯度图输入所述第二路径进行特征提取;
映射单元,用于将所述第二特征***所述第一路径与所述第一特征共同进行特征映射,以得到全局特征;
重建单元,用于将所述全局特征、第一特征及所述第二特征共同进行图像重建,以得到高分辨率MR图像。
优选地,还包括:
构建单元,用于构建特征提取模块;
堆叠单元,用于根据所述特征提取模块,输入多个密集残差学习模块进行堆叠,并输入上采样模块,以完成密集残差网络搭建;
输入单元,用于根据所述密集残差网络,将待训练MR图像输入所述密集残差网络,以得到所述待训练MR图像的像素损失和梯度感知损失;其中,所述待训练MR图像包括预测图像和真实图像,所述像素损失为所述预测图像与所述真实图像在像素间的损失,所述梯度感知损失为所述预测图像的增强梯度图和真实图像的增强梯度图之间的损失;
训练单元,用于根据所述像素损失和所述梯度感知损失将所述密集残差网络的网络参数进行多次迭代训练,以得到训练好的所述密集残差网络。
第三方面,根据本发明实施例的计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的MR图像超分辨率重建方法。
第四方面,根据本发明实施例的计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的MR图像超分辨率重建方法。
根据本发明实施例提供的MR图像超分辨率重建方法,通过对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图;将待重建MR图像和增强梯度图输入预先训练好的密集残差网络分别进行特征提取,以得到待重建MR图像的第一特征和增强梯度图的第二特征;然后将第二特征***第一路径与第一特征共同进行特征映射,以得到全局特征;将全局特征、第一特征及第二特征共同进行图像重建,以得到高分辨率MR图像,由此,可以避免低频区域的结构信息随网络的加深消失,并且避免了高频区域的过度平滑,重建效果更好。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例中提供的MR图像超分辨率重建方法的流程示意图;
图2是本发明实施例中提供的小波变换MR图像的参考示意图;
图3是本发明实施例中提供的密集残差学习模块的的结构框图;
图4是本发明实施例中提供的密集残差网络的使用流程参考图;
图5是本发明实施例中步骤S40的具体流程示意图;
图6是本发明实施例中提供的MR图像超分辨率重建方法的另一流程示意图;
图7是本发明实施例中提供的迭代训练MR图像的参考示意图;
图8是本发明实施例中提供的MR图像超分辨率重建装置的结构框图;
图9是本发明实施例中提供的MR图像超分辨率重建装置的另一结构框图;
图10是本发明实施例中提供的计算机设备的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
参照图1所示,本发明实施例中提供的MR图像超分辨率重建方法,包括:
S10、对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图。
其中,上述步骤S10的具体实现方式包括:
对待重建MR图像沿水平方向和垂直方向分别进行滤波和采样,以得到四个子图;其中,四个子图包括粗略逼近子图、水平方向细节子图、垂直方向细节子图及对角线方向细节子图;
将四个子图进行加权融合,以得到增强梯度图;
四个子图进行加权融合采用以下公式进行计算:
G(x,y)=λ1ILL(x,y)+λ2IHL(x,y)+λ3ILH(x,y)+λ4IHH(x,y),
其中,ILL(x,y)表示为粗略逼近子图,IHL(x,y)表示为水平方向细节子图,ILH(x,y)表示为垂直方向细节子图,IHH(x,y)表示为对角线方向细节子图,G(x,y)表示为增强梯度图。
结合图2所示,图2示出了在本发明的实施例中,可以采用二维尺度函数进行分析并进行小波变换,二维尺度函数和小波函数是从一维空间的函数变化得到,具体的,可以通过二维金字塔算法,并通过分析小波的低通滤波器,对待重建MR图像的水平方向和垂直方向进行滤波和2下采样,从而得到小波分解后的四个子图,由此可以保证分解稀疏无冗余,比如一个256x256的图像,分解一层后得到的是4个64x64的小图像,一个是原图的低频估计,另外三个是高频细节。横向细节是因为对纵向做高通滤波,横向低通;纵向细节是对横向高通滤波,纵向低通;对角细节是对横向和纵向都进行了高通滤波;在得到分解后的四个子图后,将四个子图采用上述公式进行加权融合,从而可以得到增强梯度图以更好地约束重建过程。具体的,多尺度小波增强操作被定义为函数G(·),将原图像定义为I(x,y),则沿行向进行滤波和2-下采样,得到系数矩阵IL(x,y)和IH(x,y),再对IL(x,y)和IH(x,y)分别沿列向进行滤波和2下采样,最终得到一层小波分解的四个子图,使得四个子图可以加权融合形成增强梯度图。
S20、将待重建MR图像和增强梯度图输入预先训练好的密集残差网络分别进行特征提取,以得到待重建MR图像的第一特征和增强梯度图的第二特征;其中,密集残差网络包括第一路径和第二路径,待重建MR图像输入第一路径进行特征提取,增强梯度图输入第二路径进行特征提取。
在本发明的实施例中,密集残差网络包括特征提取模块、多个密集残差学习模块DRLB及上采样模块,第一路径具有特征提取模块和多个密集残差学习模块,特征提取模块是由两个3×3卷积层和一个1×1卷积层组成,待重建MR图像经过卷积层进行简单的特征提取后将第一特征输入至多个密集残差学习模块中,第二路径中只有特征提取模块,因此增强梯度图进入特征提取模块中进行简单的特征提取以得到第二特征。
S30、将第二特征***第一路径与第一特征共同进行特征映射,以得到全局特征。
具体的,上述步骤S30的具体实现方式包括:
将第一特征输入至多个密集残差学习模块中,并将第二特征输入第3个密集残差学习模块、第6个密集残差学习模块及第9个密集残差学习模块中;
将每个密集残差学习模块采用级联融合与全局注意力映射以得到全局特征;
将全局特征、第一特征及第二特征输出至上采样模块。
结合图3和图4所示,密集残差学习模块是由两个堆叠密集连接子模块组成,每个子模块中包括迭代的2个3×3卷积层、ReLU激活层及1个1×1卷积层,在第一特征被提取后,第一特征输入至多个密集残差学习模块,并且提取的第二特征输入至密集残差学习模块中的第3个、第6个及第9个中,使得每个密集残差学习模块输出时通过级联融合和全局注意力映射得到待重建MR图像的全局特征,在得到全局特征后,为使得待重建MR图像重建效果更好,将全局特征、第一特征及第二特征输出至上采样模块中进行超分辨率重建以得到高分辨率MR图像。
S40、将全局特征、第一特征及第二特征共同进行图像重建,以得到高分辨率MR图像。
参照图5所示,在本发明的实施例中,上采样模块包括两个3×3卷积层和一个上采样层,因此,上述步骤S40的具体实现方式包括包括:
S401、将全局特征、第一特征及第二特征输入其中一个卷积层进行卷积操作以拓展通道数并输入至上采样层;
S402、将全局特征、第一特征及第二特征输入上采样层进行通道和像素排列以完成采样,并输出至下一个卷积层;
S403、通过下一个卷积层将全局特征、第一特征及第二特征共同的采用卷积操作以得到高分辨率MR图像。
具体的,在全局特征、第一特征及第二特征输入输入时还处于低分辨率图像,通过第一个卷积层进行特征通道数拓展,通道数表示每个点能存放多少个数,将通道数进行拓展后输入至上采样层进行通道和像素排列,例如通道为R^2(R是图像的目标放大倍数)。将每个像素的R^2个通道重新排列成一个R×R的区域,对应于高分辨率图像中的一个R×R大小的子块,从而大小为R^2×H×W的特征图像被重新排列成1×RH×RW大小的图像,在重新排列完成后通过第二个卷积层进行卷积操作从而得到高分辨率的MR图像,使得重建效果更好且图像清晰度更高。
参照图6所示,上述步骤S10之前具体包括:
11、构建特征提取模块;
12、根据特征提取模块,输入多个密集残差学习模块进行堆叠,并输入上采样模块,以完成密集残差网络搭建;
13、根据密集残差网络,将待训练MR图像输入密集残差网络,以得到待训练MR图像的像素损失和梯度感知损失;其中,待训练MR图像包括预测图像和真实图像,像素损失为预测图像与真实图像在像素间的损失,梯度感知损失为预测图像的增强梯度图和真实图像的增强梯度图之间的损失;
14、根据像素损失和梯度感知损失将密集残差网络的网络参数进行多次迭代训练,以得到训练好的密集残差网络。
在本发明的实施例中,在对待重建MR图像进行重建之前,需要对密集残差网络进行构建和训练,使得在重建时输入任意低分辨率的MR图像即可在密集残差网络中得到高分辨率的MR图像;其中,构建密集残差网络可以将密集残差学习模块作为该密集残差网络的主要特征提取模块,使得输入的待重建MR图像和增强梯度图可以通过特征提取模块进行特征提取,进一步地可以通过堆叠密集残差学习模块并加入上采样模块的卷积层和上采样层完成网络搭建;在将密集残差网络搭建完成后,可以将待训练MR图像输入,使得密集残差网络可以通过待训练MR图像进行预测得到的高分辨率预测图像和真实得到高分辨率的真实图像之间的损失进行训练,具体的,根据像素损失和梯度感知损失将密集残差网络的网络参数进行多次迭代训练采用以下公式进行计算:
LSR=EISR||FSR(ILR)-IHR||1+EISR||G(FSR(ILR))-G(IHR)||1,
其中,ILR表示低分辨率真实图像,IHR表示高分辨率真实图像,FSR(ILR)表示超分辨率预测图像,EISR||FSR(ILR)-IHR||1表示预测图像和真实图像在像素间的L1损失,EISR||G(FSR(ILR))-G(IHR)||1表示预测图像的增强梯度图和真实图像的增强梯度图之间的损失。
结合图7所示,图7中示出了在迭代训练了4500次之后的图像由模糊逐渐变为清晰,分辨率更高,由此在对待重建MR图像进行重建时可以使其快速重建出高分辨率MR图像,可选的,可以在训练过程中设置密集残差模块数量为10个,在梯度优化过程中可以采用Adam算法,Adam算法相当于先把原始梯度做一个指数加权平均,再做一次归一化处理,然后再更新梯度值,从而在多次迭代训练后可以使得密集残差网络能够输出最优网络参数,使得输出的MR图像更为清晰,分辨率更高。
参照图8所示,本发明的实施例中提供的MR图像超分辨率重建装置,包括:
变换单元601,用于对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图;
提取单元602,用于将待重建MR图像和增强梯度图输入预先训练好的密集残差网络分别进行特征提取,以得到待重建MR图像的第一特征和增强梯度图的第二特征;其中,密集残差网络包括第一路径和第二路径,待重建MR图像输入第一路径进行特征提取,增强梯度图输入第二路径进行特征提取;
映射单元603,用于将第二特征***第一路径与第一特征共同进行特征映射,以得到全局特征;
重建单元604,用于将全局特征、第一特征及第二特征共同进行图像重建,以得到高分辨率MR图像。
具体的,该MR图像超分辨率重建装置60还包括:
构建单元605,用于构建特征提取模块;
堆叠单元606,用于根据特征提取模块,输入多个密集残差学习模块进行堆叠,并输入上采样模块,以完成密集残差网络搭建;
输入单元607,用于根据密集残差网络,将待训练MR图像输入密集残差网络,以得到待训练MR图像的像素损失和梯度感知损失;其中,待训练MR图像包括预测图像和真实图像,像素损失为预测图像与真实图像在像素间的损失,梯度感知损失为预测图像的增强梯度图和真实图像的增强梯度图之间的损失;
训练单元608,用于根据像素损失和梯度感知损失将密集残差网络的网络参数进行多次迭代训练,以得到训练好的密集残差网络。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置或***类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明的实施例中提供的计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的MR图像超分辨率重建方法。
参照图10所示,图10示出了本发明实施例提供的计算机设备实施例的结构示意图,为了便于描述,仅示出了与本发明实施例相关的部分。具体的,该计算机设备700包括存储器702、处理器701以及存储在所述存储器702中并可在所述处理器701上运行的计算机程序,所述处理器701执行所述计算机程序时实现如上述实施例所述方法的步骤,例如图1所示的S10至S40的步骤。或者,所述处理器701执行所述计算机程序时实现上述实施例所述装置中的各模块/单元的功能,例如图8所示单元601至604的功能。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器702中,并由所述处理器701执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述计算机设备700中的执行过程。
所述计算机设备700可包括,但不仅限于处理器701、存储器702。本领域技术人员可以理解,图仅仅是计算机设备700的示例,并不构成对计算机设备700的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述计算机设备700还可以包括输入输出设备、网络接入设备、总线等。
所称处理器701可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器701、数字信号处理器701(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立预设硬件组件等。通用处理器701可以是微处理器701或者该处理器701也可以是任何常规的处理器701等。
所述存储器702可以是所述计算机设备700的内部存储单元,例如计算机设备700的硬盘或内存。所述存储器702也可以是所述计算机设备700的外部存储设备,例如所述计算机设备700上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器702还可以既包括所述计算机设备700的内部存储单元也包括外部存储设备。所述存储器702用于存储所述计算机程序以及所述计算机设备700所需的其他程序和数据。所述存储器702还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器701执行时实现如上述实施例中所述方法中的步骤,例如图1所示的步骤S10至步骤S40。或者,所述计算机程序被处理器701执行时实现上述实施例中所述装置中的各模块/单元的功能,例如图8所示的单元601至604的功能。
所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器701执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例***中的模块或单元可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子预设硬件、或者计算机软件和电子预设硬件的结合来实现。这些功能究竟以预设硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本发明所提供的实施例中,应该理解到,所揭露的装置/计算机设备700和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备700实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (7)
1.一种MR图像超分辨率重建方法,其特征在于,包括:
对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图;
将所述待重建MR图像和所述增强梯度图输入预先训练好的密集残差网络分别进行特征提取,以得到所述待重建MR图像的第一特征和所述增强梯度图的第二特征;其中,所述密集残差网络包括第一路径和第二路径,所述待重建MR图像输入所述第一路径进行特征提取,所述增强梯度图输入所述第二路径进行特征提取;
将所述第二特征***所述第一路径与所述第一特征共同进行特征映射,以得到全局特征;
将所述全局特征、第一特征及所述第二特征共同进行图像重建,以得到高分辨率MR图像;
所述对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图之前包括:
构建特征提取模块;
根据所述特征提取模块,输入多个密集残差学习模块进行堆叠,并输入上采样模块,以完成密集残差网络搭建;
根据所述密集残差网络,将待训练MR图像输入所述密集残差网络,以得到所述待训练MR图像的像素损失和梯度感知损失;其中,所述待训练MR图像包括预测图像和真实图像,所述像素损失为所述预测图像与所述真实图像在像素间的损失,所述梯度感知损失为所述预测图像的增强梯度图和真实图像的增强梯度图之间的损失;
根据所述像素损失和所述梯度感知损失将所述密集残差网络的网络参数进行多次迭代训练,以得到训练好的所述密集残差网络;
所述根据所述像素损失和所述梯度感知损失将所述密集残差网络的网络参数进行多次迭代训练采用以下公式进行计算:
其中,ILR表示低分辨率真实图像,IHR表示高分辨率真实图像,FSR(ILR)表示超分辨率预测图像,表示预测图像和真实图像在像素间的L1损失,表示预测图像的增强梯度图和真实图像的增强梯度图之间的损失;
所述对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图包括:
对所述待重建MR图像沿水平方向和垂直方向分别进行滤波和采样,以得到四个子图;其中,所述四个子图包括粗略逼近子图、水平方向细节子图、垂直方向细节子图及对角线方向细节子图;
将所述四个子图进行加权融合,以得到所述增强梯度图;
所述四个子图进行加权融合采用以下公式进行计算:
G(x,y)=λ1ILL(x,y)+λ2IHL(x,y)+λ3ILH(x,y)+λ4IHH(x,y),
其中,ILL(x,y)表示为所述粗略逼近子图,IHL(x,y)表示为所述水平方向细节子图,ILH(x,y)表示为所述垂直方向细节子图,IHH(x,y)表示为所述对角线方向细节子图,G(x,y)表示为所述增强梯度图;
密集残差网络包括特征提取模块、多个密集残差学习模块及上采样模块,第一路径具有特征提取模块和多个密集残差学习模块,特征提取模块是由两个3×3卷积层和一个1×1卷积层组成,待重建MR图像经过卷积层进行简单的特征提取后将第一特征输入至多个密集残差学习模块中,第二路径中只有特征提取模块,增强梯度图进入特征提取模块中进行简单的特征提取以得到第二特征。
2.根据权利要求1所述的方法,其特征在于,所述密集残差网络包括特征提取模块、多个密集残差学习模块及上采样模块;
所述将所述第二特征***所述第一路径与所述第一特征共同进行特征映射,以得到全局特征包括:
将所述第一特征输入至所述多个密集残差学习模块中,并将所述第二特征输入第3个密集残差学习模块、第6个密集残差学习模块及第9个密集残差学习模块中;
将每个所述密集残差学习模块采用级联融合与全局注意力映射以得到全局特征;
将所述全局特征、第一特征及所述第二特征输出至所述上采样模块。
3.根据权利要求2所述的方法,其特征在于,所述上采样模块包括两个卷积层和一个上采样层;所述将所述全局特征、第一特征及所述第二特征共同进行图像重建,以得到高分辨率MR图像包括:
将所述全局特征、第一特征及所述第二特征输入其中一个所述卷积层进行卷积操作以拓展通道数并输入至所述上采样层;
将所述全局特征、第一特征及所述第二特征输入上采样层进行通道和像素排列以完成采样,并输出至下一个所述卷积层;
通过下一个所述卷积层将所述所述全局特征、第一特征及所述第二特征共同的采用卷积操作以得到所述高分辨率MR图像。
4.一种MR图像超分辨率重建装置,其特征在于,包括:
变换单元,用于对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图;
提取单元,用于将所述待重建MR图像和所述增强梯度图输入预先训练好的密集残差网络分别进行特征提取,以得到所述待重建MR图像的第一特征和所述增强梯度图的第二特征;其中,所述密集残差网络包括第一路径和第二路径,所述待重建MR图像输入所述第一路径进行特征提取,所述增强梯度图输入所述第二路径进行特征提取;
映射单元,用于将所述第二特征***所述第一路径与所述第一特征共同进行特征映射,以得到全局特征;
重建单元,用于将所述全局特征、第一特征及所述第二特征共同进行图像重建,以得到高分辨率MR图像;
所述对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图之前包括:
构建特征提取模块;
根据所述特征提取模块,输入多个密集残差学习模块进行堆叠,并输入上采样模块,以完成密集残差网络搭建;
根据所述密集残差网络,将待训练MR图像输入所述密集残差网络,以得到所述待训练MR图像的像素损失和梯度感知损失;其中,所述待训练MR图像包括预测图像和真实图像,所述像素损失为所述预测图像与所述真实图像在像素间的损失,所述梯度感知损失为所述预测图像的增强梯度图和真实图像的增强梯度图之间的损失;
根据所述像素损失和所述梯度感知损失将所述密集残差网络的网络参数进行多次迭代训练,以得到训练好的所述密集残差网络;
所述根据所述像素损失和所述梯度感知损失将所述密集残差网络的网络参数进行多次迭代训练采用以下公式进行计算:
其中,ILR表示低分辨率真实图像,IHR表示高分辨率真实图像,FSR(ILR)表示超分辨率预测图像,表示预测图像和真实图像在像素间的L1损失,表示预测图像的增强梯度图和真实图像的增强梯度图之间的损失;
所述对低分辨率的待重建MR图像采用二维多尺度分析进行小波变换,得到增强梯度图包括:
对所述待重建MR图像沿水平方向和垂直方向分别进行滤波和采样,以得到四个子图;其中,所述四个子图包括粗略逼近子图、水平方向细节子图、垂直方向细节子图及对角线方向细节子图;
将所述四个子图进行加权融合,以得到所述增强梯度图;
所述四个子图进行加权融合采用以下公式进行计算:
G(x,y)=λ1ILL(x,y)+λ2IHL(x,y)+λ3ILH(x,y)+λ4IHH(x,y),
其中,ILL(x,y)表示为所述粗略逼近子图,IHL(x,y)表示为所述水平方向细节子图,ILH(x,y)表示为所述垂直方向细节子图,IHH(x,y)表示为所述对角线方向细节子图,G(x,y)表示为所述增强梯度图;
密集残差网络包括特征提取模块、多个密集残差学习模块及上采样模块,第一路径具有特征提取模块和多个密集残差学习模块,特征提取模块是由两个3×3卷积层和一个1×1卷积层组成,待重建MR图像经过卷积层进行简单的特征提取后将第一特征输入至多个密集残差学习模块中,第二路径中只有特征提取模块,增强梯度图进入特征提取模块中进行简单的特征提取以得到第二特征。
5.根据权利要求4所述的装置,其特征在于,还包括:
构建单元,用于构建特征提取模块;
堆叠单元,用于根据所述特征提取模块,输入多个密集残差学习模块进行堆叠,并输入上采样模块,以完成密集残差网络搭建;
输入单元,用于根据所述密集残差网络,将待训练MR图像输入所述密集残差网络,以得到所述待训练MR图像的像素损失和梯度感知损失;其中,所述待训练MR图像包括预测图像和真实图像,所述像素损失为所述预测图像与所述真实图像在像素间的损失,所述梯度感知损失为所述预测图像的增强梯度图和真实图像的增强梯度图之间的损失;
训练单元,用于根据所述像素损失和所述梯度感知损失将所述密集残差网络的网络参数进行多次迭代训练,以得到训练好的所述密集残差网络。
6.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任意一项所述的MR图像超分辨率重建方法。
7.一种计算机存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至3任意一项所述的MR图像超分辨率重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010796792.3A CN111932460B (zh) | 2020-08-10 | 2020-08-10 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010796792.3A CN111932460B (zh) | 2020-08-10 | 2020-08-10 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111932460A CN111932460A (zh) | 2020-11-13 |
CN111932460B true CN111932460B (zh) | 2023-09-22 |
Family
ID=73307148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010796792.3A Active CN111932460B (zh) | 2020-08-10 | 2020-08-10 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111932460B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112435164B (zh) * | 2020-11-23 | 2024-04-30 | 浙江工业大学 | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 |
CN112801866B (zh) * | 2020-12-18 | 2023-04-07 | 展讯通信(天津)有限公司 | 图像重建模型的生成方法、图像重建方法及相关设备 |
CN112950473B (zh) * | 2021-03-04 | 2023-04-18 | 清华大学深圳国际研究生院 | 一种mr图像超分辨方法 |
CN113129214A (zh) * | 2021-04-21 | 2021-07-16 | 北京工业大学 | 一种基于生成对抗网络的超分辨率重建方法 |
CN113570505B (zh) * | 2021-09-24 | 2022-01-04 | 中国石油大学(华东) | 一种页岩三维超分辨率数字岩心分级重构方法及*** |
CN114663288A (zh) * | 2022-04-11 | 2022-06-24 | 桂林电子科技大学 | 一种单轴向头部mri超分辨率重建方法 |
CN115880157B (zh) * | 2023-01-06 | 2023-05-26 | 中国海洋大学 | 一种k空间金字塔特征融合的立体图像超分辨率重建方法 |
CN115861081B (zh) * | 2023-02-27 | 2023-05-23 | 耕宇牧星(北京)空间科技有限公司 | 一种基于阶梯型多级小波网络的图像超分辨率重建方法 |
CN115908144B (zh) * | 2023-03-08 | 2023-06-02 | 中国科学院自动化研究所 | 基于随机小波注意力的图像处理方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
CN110232653A (zh) * | 2018-12-12 | 2019-09-13 | 天津大学青岛海洋技术研究院 | 快速轻型超分辨率重建密集残差网络 |
CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
CN110458758A (zh) * | 2019-07-29 | 2019-11-15 | 武汉工程大学 | 一种图像超分辨率重建方法、***及计算机存储介质 |
CN110852947A (zh) * | 2019-10-30 | 2020-02-28 | 浙江大学 | 一种基于边缘锐化的红外图像超分辨方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106851399B (zh) * | 2015-12-03 | 2021-01-22 | 阿里巴巴(中国)有限公司 | 视频分辨率提升方法及装置 |
-
2020
- 2020-08-10 CN CN202010796792.3A patent/CN111932460B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
CN110232653A (zh) * | 2018-12-12 | 2019-09-13 | 天津大学青岛海洋技术研究院 | 快速轻型超分辨率重建密集残差网络 |
CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
CN110458758A (zh) * | 2019-07-29 | 2019-11-15 | 武汉工程大学 | 一种图像超分辨率重建方法、***及计算机存储介质 |
CN110852947A (zh) * | 2019-10-30 | 2020-02-28 | 浙江大学 | 一种基于边缘锐化的红外图像超分辨方法 |
Non-Patent Citations (2)
Title |
---|
Structure-Preserving Super Resolution With Gradient Guidance;Cheng Ma, Yongming Rao, Yean Cheng, et al.;2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR);7766-7775 * |
多尺度小波梯度图像增强方法;张光年;首都师范大学学报(自然科学版);第27卷(第2期);16-19 * |
Also Published As
Publication number | Publication date |
---|---|
CN111932460A (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111932460B (zh) | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 | |
Pham et al. | Multiscale brain MRI super-resolution using deep 3D convolutional networks | |
Du et al. | Super-resolution reconstruction of single anisotropic 3D MR images using residual convolutional neural network | |
CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
Lee et al. | Deep learning in MR image processing | |
CN110461228A (zh) | 使用多对比度和深度学习改进医学图像的质量 | |
CN113160380B (zh) | 三维磁共振影像超分辨重建方法、电子设备和存储介质 | |
CN113379867B (zh) | 一种基于联合优化采样矩阵的核磁共振图像重建方法 | |
Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
CN111899165A (zh) | 一种基于功能模块的多任务图像重建卷积网络模型 | |
CN104181486A (zh) | 磁共振图像重建方法及装置 | |
Thapa et al. | A performance comparison among different super-resolution techniques | |
KR102584166B1 (ko) | 리스케일링과 인공신경망을 적용한 자기 공명 영상 처리 장치 및 그 방법 | |
Li et al. | A modified generative adversarial network using spatial and channel-wise attention for CS-MRI reconstruction | |
Lin et al. | Deep learning for low-field to high-field MR: image quality transfer with probabilistic decimation simulator | |
CN114331849B (zh) | 一种跨模态核磁共振超分网络及图像超分辨率方法 | |
CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及*** | |
CN112037304A (zh) | 基于swi相位图像的两阶段的边缘增强qsm重建方法 | |
CN106981046B (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
Zhou et al. | Spatial orthogonal attention generative adversarial network for MRI reconstruction | |
Lin et al. | Low-field magnetic resonance image enhancement via stochastic image quality transfer | |
Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
CN111681297B (zh) | 图像重建方法、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |