CN114331849A - 一种跨模态核磁共振超分网络及图像超分辨率方法 - Google Patents
一种跨模态核磁共振超分网络及图像超分辨率方法 Download PDFInfo
- Publication number
- CN114331849A CN114331849A CN202210250052.9A CN202210250052A CN114331849A CN 114331849 A CN114331849 A CN 114331849A CN 202210250052 A CN202210250052 A CN 202210250052A CN 114331849 A CN114331849 A CN 114331849A
- Authority
- CN
- China
- Prior art keywords
- network
- module
- cross
- modal
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005481 NMR spectroscopy Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 230000000295 complement effect Effects 0.000 claims description 34
- 238000005070 sampling Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 16
- 238000002156 mixing Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 241000282414 Homo sapiens Species 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008447 perception Effects 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003925 brain function Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提出了一种跨模态核磁共振超分网络及图像超分辨率方法,通过引入T1WI核磁共振图像作为辅助信息重建高分辨率T2WI图像,实现不同模态之间的信息交流与互补,显著提高信息的融合能力,加强特征表达。将T2WI模态图像的低高频信息重建任务分而治之,利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力,有效提升高频信息的重建效果。设计的模态间多头注意力模块,利用空间特征自相似性来有效融合特征非局部信息,有效提高模型泛化性。
Description
技术领域
本发明涉及核磁共振图像超分辨率领域,特别涉及一种跨模态核磁共振超分网络及图像超分辨率方法。
背景技术
凭借其在捕获人体软组织的病理学细节方面的适用性,核磁共振图像被认为是计算机辅助诊断和脑功能探究中使用最广泛的数据之一,可以有效地帮助医学研究者进行疾病诊断和脑功能分析。高分辨率核磁共振图像能给病理分析提供有效的辅助信息,反之,低分辨率核磁共振图像可能会在临床诊断中对部分疾病(例如病灶区域很小的肿瘤)的诊断造成困难,不利于病情的及时诊断而带来健康隐患,也给研究人员探索人脑内部结构带来挑战。然而,由于硬件和处理程序的运行限制,在特定模态下完成核磁扫描程序以获取高分辨率核磁共振图像需要耗费较长的时间。为了提高核磁共振图像分辨率,我们可以改善成像设备的精密度,然而,由此而造成的成本会显著增加。而现有图像超分重建算法在提升分辨率时,往往会引入噪声信息,导致信噪比较低。为了解决这个问题,课题组计划基于可变形神经网络构建新型核磁共振图像超分框架,以期推动该研究领域的进展,大幅改善超分图像的全局结构信息的准确度和局部细节的清晰度。
当前核磁共振图像超分辨率的主流技术是基于卷积神经网络的深度学习模型。借助强大的表征学习能力,卷积神经网络可以有效学习从低分辨率图像到高分辨率图像的非线性映射,使得模型能够取得令人较为满意的结果。但是,由于卷积神经网络固有的局部感知特性影响,其捕获全局结构和长距离上下文信息的能力较为欠缺,而核磁共振超分辨率重建需要深度学习模型既能拥有良好的局部感知特性来重建低频上下文细节,又能拥有长距离的全局感知来重建高频纹理结构,这使得基于卷积神经网络的核磁共振超分辨率技术并不是最优解决方案。对于核磁共振图像超分任务,如果能够同时实现高质量的低频信号重建和高频结构以及纹理信息恢复,那么将能以较低成本为疾病诊断和治疗带来便利,有效提高临床诊断地准确性,更好地造福人类生命健康。
发明内容
本发明的目的主要解决当前基于深度学习的核磁共振图像超分任务中,跨模态核磁共振图像超分问题。基于卷积神经网络的深度学习模型难以兼顾局部和全局信息的互补融合,并且单模态输入无法引入有效的辅助信息,这极大限制了深度学习模型的上采样映射能力。
为实现上述目的,本发明提供如下技术方案:
本申请公开了一种跨模态核磁共振超分网络的图像超分辨率方法,包括以下步骤:所述跨模态核磁共振超分网络包括依次串联的输入门、跨模态高频融合互补模块和输出门,所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络,其中,多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应,多级所述跨模态高频可变形网络模块依次串联,多级所述密集残差嵌入网络依次串联,当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入,最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入;
所述方法包括以下步骤:
S3、将作为第一级的密集残差嵌入网络的输入,将、作为第一级的跨模态高频可变形网络模块的输入,在所述跨模态高频融合互补模块中进行处理,获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出;
作为优选,所述跨模态高频可变形网络模块共有4级,所述密集残差嵌入网络共有4级。
作为优选,所述跨模态高频可变形网络模块从由长短距离感知模块,空间特征自适应模块和模态间多头注意力模块依次串联而成,所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机,所述第一多层感知机和第二多层感知机内部结构依次为层归一化,卷积,高斯线性分布单元;所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式,长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式,所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式,参数初始化为1。
作为优选,所述步骤S3具体包括:
S31、将作为第一级的密集残差嵌入网络的输入,将、作为第一级的跨模态高频可变形网络模块的输入,在所述跨模态高频融合互补模块中,当前级的T2对应的跨模态高频可变形网络模块输出的T2对应的浅层图像域特征通过下一级的密集残差嵌入网络得到特征,特征通过一组卷积得到跨模态输入特征,并与T2对应的浅层梯度特征进行通道拼接,得到;其中,,R表示通过密集残差嵌入网络;i为密集残差嵌入网络的级别数,且i≥1;,C表示通过一组卷积;
S32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内,经过长短距离感知模块得到特征,与T1对应的浅层梯度特征结合输入空间特征自适应模块得到分布对齐特征,与进行通道拼接之后经过模态间多头注意力模块得到特征;
S34、迭代步骤S31至S33,迭代预设次后,获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输,其中,预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
本发明还公开了一种跨模态核磁共振超分网络,包括依次串联的输入门、跨模态高频融合互补模块和输出门,所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络,其中,多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应,多级所述跨模态高频可变形网络模块依次串联,多级所述密集残差嵌入网络依次串联,当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入,最后一级的跨模态高频可变形网络模块的输出以及最后级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入;
其中,所述输入门用于对外部输入的核磁共振图像T2对应的模态图像和梯度图、核磁共振图像T1对应的梯度图为进行浅层度特征提取,获得T1对应的浅层梯度特征、T2对应的浅层图像域特征、T2对应的浅层梯度特征;T1、T2分别为同一人体组织部位所获得的T1加权图像和T2加权图像;将作为第一级的密集残差嵌入网络的输入,将、作为第一级的跨模态高频可变形网络模块的输入,在所述跨模态高频融合互补模块中进行处理,获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出;
作为优选,所述跨模态高频可变形网络模块共有4级,所述密集残差嵌入网络共有4级。
作为优选,所述密集残差嵌入网络由5组密集残差嵌入模块串联而成,所述密集残差嵌入模块串联由5组密集残差模块串联而成。
作为优选,所述跨模态高频可变形网络模块从由长短距离感知模块,空间特征自适应模块和模态间多头注意力模块依次串联而成,所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机,所述第一多层感知机和第二多层感知机内部结构依次为层归一化,卷积,高斯线性分布单元;所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式,长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式,所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式,参数初始化为1。
本发明还公开了一种跨模态核磁共振超分网络的图像超分辨率装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现上述的一种跨模态核磁共振超分网络的图像超分辨率方法。
本发明还公开了一种计算机可读存储介质,其特征在于:其上存储有程序,该程序被处理器执行时,用于实现上述的一种跨模态核磁共振超分网络的图像超分辨率方法。
本发明的有益效果:
1、本发明通过引入T1核磁共振图像作为辅助信息重建高分辨率T2核磁共振图像,实现不同模态之间的信息交流与互补,显著提高信息的融合能力,加强特征表达。
2、本发明将T2对应的模态图像的低高频信息重建任务分而治之,利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力,有效提升高频信息的重建效果。
3、本发明设计的模态间多头注意力模块,利用空间特征自相似性来有效融合特征非局部信息,有效提高模型泛化性。
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
图1是本发明一种跨模态核磁共振超分网络的结构示意图;
图2是本发明的跨模态高频可变形模块结构示意图;
图3是本发明的长短距离感知模块中的长短距离采样结构示意图;
图4是本发明的输出门的结构示意图;
图5是本发明空间特征自适应模块的结构示意图;
图6是本发明模态间多头注意力模块的结构示意图;
图7是本发明一种跨模态核磁共振超分网络的图像超分辨率装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面通过附图及实施例,对本发明进行进一步详细说明。但是应该理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
参见图1,本发明实施例中的跨模态核磁共振超分网络包括依次串联的输入门、跨模态高频融合互补模块和输出门,所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络(图1中的5xRRDB),其中,多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应,多级所述跨模态高频可变形网络模块依次串联,多级所述密集残差嵌入网络依次串联,当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入,最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入。
其中,所述输入门用于对外部输入的核磁共振图像T2对应的模态图像和梯度图、核磁共振图像T1对应的梯度图为进行浅层度特征提取,获得T1对应的浅层梯度特征、T2对应的浅层图像域特征、T2对应的浅层梯度特征。T1、T2分别为同一人体组织部位所获得的T1加权图像和T2加权图像。
将作为第一级的密集残差嵌入网络的输入,将、作为第一级的跨模态高频可变形网络模块的输入,在所述跨模态高频融合互补模块中进行处理,获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出。
本发明实施例通过引入T1核磁共振图像作为辅助信息重建高分辨率T2核磁共振图像,实现不同模态之间的信息交流与互补,显著提高信息的融合能力,加强特征表达;并且,将T2对应的模态图像的低高频信息重建任务分而治之,利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力,有效提升高频信息的重建效果;另外,本发明实施例设计的模态间多头注意力模块,利用空间特征自相似性来有效融合特征非局部信息,有效提高模型泛化性。
可选地,在一些实施例中,跨模态高频融合互补模块的具体处理过程如下:
S31、将作为第一级的密集残差嵌入网络的输入,将、作为第一级的跨模态高频可变形网络模块的输入,在所述跨模态高频融合互补模块中,当前级的T2对应的跨模态高频可变形网络模块输出的T2对应的浅层图像域特征通过下一级的密集残差嵌入网络得到特征,特征通过一组卷积得到跨模态输入特征,并与T2对应的浅层梯度特征进行通道拼接,得到;其中,,R表示通过密集残差嵌入网络;i为密集残差嵌入网络的级别数,且i≥1;,C表示通过一组卷积;
S32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内,经过长短距离感知模块得到特征,与T1对应的浅层梯度特征结合输入空间特征自适应模块得到分布对齐特征,与进行通道拼接之后经过模态间多头注意力模块得到特征;
S34、迭代步骤S31至S22,迭代预设次后,获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输,其中,预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
在跨模态高频融合互补模块中,跨模态高频可变形网络模块的级数与密集残差嵌入网络的级数大小相等,具体可根据需要设置跨模态高频可变形网络模块的级数与密集残差嵌入网络的级数大。例如,在一些实施例中,所述跨模态高频可变形网络模块共有4级,所述密集残差嵌入网络共有4级,本实施例中,i=1,2,3,4,通过将跨模态高频可变形网络模块的级数和密集残差嵌入网络的级数均设置成4级,能够利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力,从而有效提升高频信息的重建效果。当然,跨模态高频可变形网络模块的级数和密集残差嵌入网络的级数也可设置为其他大小,如2、3、5、6等等。
所述跨模态高频可变形网络模块从由长短距离感知模块,空间特征自适应模块和模态间多头注意力模块依次串联而成,所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机,所述第一多层感知机和第二多层感知机内部结构依次为层归一化,卷积,高斯线性分布单元;所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式,长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式,所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式,参数初始化为1。
实施例:
本发明的学习目标是 :
对此,本发明从跨模态核磁共振图像超分入手,设计出能兼顾全局和局部感知特性的跨模态高频可变形网络,利用其内部空间特征自适应模块消除不同模态特征之间的差异性,进一步加强跨模态特征融合,并设计了高频结构先验和模态间上下文先验,引入峰值信噪比和结构相似性约束,将高分辨率T2WI模态的图像及其高频梯度图像作为网络学习目标,卷积神经网络和可变形网络双分支中间不同频率及不同模态特征彼此融合,相互提高表达能力。
本发明设计的一种跨模态核磁共振超分网络从网络结构(如图1)上看,可以分成三个部分:输入门(Input Gate)(如图1中的部分标注),由4个结构相同的跨模态高频可变形网络(Cross-modality High-frequency Transformer Cohf-T)(如图2)构成的跨模态高频融合互补模块,输出门(Output Gate)(如图3)。输入门由卷积神经网络构成,其作用是对输入的T1WI和T2WI模态图像进行浅层特征提取,跨模态高频可变形网络进行跨模态特征融合与互补,输出门将融合的T1WI和T2WI特征进行上采样重建。本发明所设计的网络输入是T1WI核磁共振模态图像作为辅助信息,T2WI模态核磁共振图像作为所要超分的对象,网络输出为放大n()倍的T2W1模态核磁共振高分辨率图像。
本发明在训练模型上包括如下步骤:
步骤S01:高分辨率T2WI模态的核磁共振图像经过K-space频域下采样方法得到低分辨率图像,K-space操作首先将输入的高分辨率T2WI模态图像进行傅里叶变换,然后根据下采样因子截断频谱图外圈频域信息,最后反傅里叶变换。
在输入到输入门之前,辅助模态图像经过梯度提取操作得到其梯度图像,
输入门的设计如图1部分标注所示,其中,RRDB(residual-in-residual denseblock,)表示密集残差嵌入模块,由5个密集残差模块(Residual Dense Network RDN)经过串联而成,一个密集残差模块由5层卷积结构经过残差连接而成,残差连接是指输入特征经过某个卷积层或者某个模块得到的输出特征与输入特征相加形成新的输出特征,传播到下一个串联模块。
GELU表示高斯分布线性单元(Gaussian Error Linerar Units)。
步骤S02:输入门出来的T1WI、T2WI模态特征及其梯度特征分别为,结构一致的跨模态高频可变形网络模块迭代4次,跨模态高频可变形网络模块包括3个模块,分别为长短距离感知模块,空间特征自适应模块,长短距离感知模块包括短距离感知模块和长距离感知模块,短距离感知模块由短距离窗口采样模块和多层感知机串联而成,长距离感知模块由长距离窗口采样模块和多层感知机串联而成。
第i个跨模态高频可变形网络模块的输入输出:
第i+1个跨模态高频可变形网络模块的输入输出:
步骤S02所提的长短距离感知模块,如图3,为了充分利用可变形网络的长距离信息感知能力,在该模块中引入两种不同的长短距离窗口采样作为特征向量嵌入方式,如图4,使得一个特征窗口内既包含短距离细节信息,又包含长距离的结构信息,两种不同距离的向量嵌入交替迭代在网络的前向传播过程,由卷积神经网络提取的浅层特征经过本发明设计的长短距离注意力提取更深更高频的特征,短距离注意力模块的输入特征为像素相邻的特征元素构成,旨在感知局部信息,提取和加工由T2图像域的低频特征,补充卷积核所感w知的局部信息,恢复图像的纹理细节。长距离注意力模块的输入特征(embedding)为全局间隔特征元素构成,旨在感知全局部信息,提取和加工由T2梯度域的高频特征,补充卷积核所不充分感知的全局信息,恢复图像的高频结构。长短距离向量嵌入相互配合,可以提高可变形网络对特征的感知能力,让网络在同时具有局部感知何全局感知的能力,在感知纹理细节的同时能够有效处理全局的高频信息。
步骤S03:经过长短距离感知模块提取的特征输入到空间特征自适应模块,本发明在进行跨模态注意力之前,将T1WI(T1)的梯度特征与T2WI(T2)特征分布一致,使得跨模态注意力模块能够更准确地融合T1和T2模态地高频分量。使网络学习出适应T1模态特征均值和方差分布的能力,在设计跨模态注意力模块之前,本发明加入空间特征自适应模块,如图5,使T1模态特征分布适应T2模态特征分布,能够更好地进行跨模态高频特征融合。
T1WI模态梯度特征归一化:
T1WI模态梯度特征反归一化输出:
步骤S04:T1模态的特征分布经通过空间特征自适应模块之后,送入模态间多头注意力,如图6,根据T2模态特征的自相似性和T2与T1模态特征之间的互相关性,该模块提取到加强的高频信息,以T1模态的相关高频特征来补充T2模态的高频特征,T1与T2特征经过一系列卷积然后融合各自的位置编码,得到嵌入向量,该模块主要由头内注意力及头间注意力两部分构成,在头内注意力部分,T2 模态的嵌入向量由网络自学习出头内注意力矩阵,通过头内自相关性进行特征融合,
为了充分利用头间特征,在头内注意力之后,该模块加入了头间注意力融合模块,通过头间相关性矩阵融合进一步加强特征表达能力;
A、u、V分别表示头间注意力分数矩阵、输出特征、输入特征,N、M分别表示特征维度及空间大小。
步骤S05:经过迭代的跨模态高频可变形网络模块之后,T1WI和T2WI模态的特征输入到输出门,输出门通过通道混洗(Channel Shuffle)将通道特征转变为空间特征,然后经过卷积重构特征为图像。特征尺寸的转换过程如下:
步骤S06:重构的图像与目标图像的损失函数L为:
实施例:
1.数据集与平均指标
本发明利用两个常用医学影像分析的数据集作为训练及测试数据:BraTS2018[16]和IXI[17]。BraTS2018是由 750 个 核磁共振三维体(volume)组成。空间分辨率为(1毫米(mm)×1mm×1mm)。其中训练集484个volume(包括75,020张图像),验证集66个volume(包括10,230张图像)测试集200个volume(包括31,000张图像)。IXI数据集由 576 个MRvolume构成, 其中训练集404个volume(包括48480张图像),验证集42个volume(包括5040张图像),测试集130个volume(包括15600张图像)。
评价指标
a. 峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)
b. 结构相似性(Structural SIMilarity,SSIM)
2.数据准备与参数设置
T1WI模态输入的图像为高分辨率核磁共振图像,T2WI模态输入的图像为低分辨率分辨率核磁共振图像,下采样方式为K域(K-space)频域下采样。
网络搭建架构基于python 火炬库(Pytorch),在英伟达(nVidia)V100上训练并测试,使用阿达姆(Adam)优化器,其权重衰减系数为0.0001,网络特征维度为32,在长短距离子模块,模态内注意力模块的窗口大小为6*6,patch大小为1,模态间注意力模块的窗口大小为5*5,多头自注意力的头(head)数为4,如不加特别说明,本发明所使用的卷积核为3*3大小,图像外填充为1,步长为1,各组RRDB的输入输出通道为32。损失函数系数λ为0.5,α为0.95。
3.图像处理过程
在Bra2018和IXI两个数据集中,高分辨率T1WI和T2WI模态图像空间分辨率为240*240,在四倍下采样设定下,输入的低分辨率T2WI模态图像大小为为60*60,低分辨T2WI和高分辨T1WI模态图像首先经过梯度提取卷积,横向卷积核为[[1,0,-1],[1,0,-1],[1,0,-1]],纵向卷积核为[[1,0,-1],[1,0,-1],[1,0,-1]]的转置,分别得到两个方向的梯度图,然后逐像素平方和再取其算术平方根,得到梯度图。输入的T2WI模态图像及其梯度图设为,;
在一个跨模态高频可变形网络模块内,, ,首先经过输入门分别得到,,;通过一组卷积得到跨模态输入特征,并与进行通道拼接,得到,依次经过短距窗口感知模块,长距离感知模块,与结合输入空间自适应模块,经过模态间注意力模块得到,经过一组卷积和GELU激活函数得到高低频融合注意力图,,通过矩阵相乘广播机制得到,该步骤一次迭代4次,得到输出门的输入特征,其中T2WI模态的图像特征为,梯度域特征为。
子模块使用步骤
输入门模块对输入图像进行浅层特征提取,具体而言是图像域的T1W2核磁共振图像经过一层卷积层(Conv1),其输入通道为1,输出通道为32,卷积核大小为3,步长为1,无填充,梯度域的低分辨率T1W2核磁共振图像经过一层与Conv1相同设置的卷积层,以及5个迭代的密集残差嵌入模块(RRDB),输出通道为32,梯度域的高分辨率T1W1核磁共振图像的输入门分支设置与梯度域的低分辨率T1W2核磁共振图像处理形式相同,输入门的三分支输出分布是。
输入门之后的特征传入基于可变形网络的跨模态高频融合互补模块(Cross-modality High-frequency Transformer, Cohf-T)进行跨模态特征融合与互补,将高分辨率T1WI模态特征作为辅助信息,来复原低分辨率T1W2模态的高频结构部分,其子模块连接顺序分别为短距离窗口注意力子模块,长距离窗口注意力子模块,空间特征自适应模块,模态间注意力子模块。图像域的特征通过5*RRDB模块得到特征,经过一个卷积层得到加强特征,并于梯度与特征进行通道拼接,接入下一个卷积层,之后依次传入短距离窗口注意力模块,多层感知机,长距离感知子模块,多层感知机,空间自适应模块,模态间注意力子模块,多层感知机,每两个相邻的子模块之间采用残差连接。
连接图像域及梯度域的RRDB迭代模块将加强的梯度辅助信息引入图像域中,加强低频信息与高频信息融合,提高图像复原质量。来自梯度域的高频特征与卷积分支的图像域特征进行通道拼接之后传入下一个RRDB模块,依次同形式迭代4次,输入门得到的图形域T1WI模块特征经过残差连接域最后一个RRDB输出的特征传入输出门,得到最后的T1W2模块高分辨率复原图像。
输出门是进行低频图像域及高频梯度域的深层特征融合,得到最后的输出图像,低频图像域特征首先经过3个RRDB,然后与输入门传来的浅层特征进行通道拼接,输入到下一个卷积层,通过通道混洗将通过信息转移到空间上来,再传到下一个卷积及高斯线性激活函数,与经过同种形式的卷积操作的梯度域特征进行通道拼接,然后经过一个RRDB模块和一层卷积得到最后的输出。
本发明实施例还提供一种跨模态核磁共振超分网络的图像超分辨率方法,包括以下步骤:
S3、将作为第一级的密集残差嵌入网络的输入,将、作为第一级的跨模态高频可变形网络模块的输入,在所述跨模态高频融合互补模块中进行处理,获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出。
在一些实施例中,所述步骤S3具体包括:
S31、将作为第一级的密集残差嵌入网络的输入,将、作为第一级的跨模态高频可变形网络模块的输入,在所述跨模态高频融合互补模块中,当前级的T2对应的跨模态高频可变形网络模块输出的T2对应的浅层图像域特征通过下一级的密集残差嵌入网络得到特征,特征通过一组卷积得到跨模态输入特征,并与T2对应的浅层梯度特征进行通道拼接,得到;其中,,i为密集残差嵌入网络的级别数,且i≥1;;
S32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内,经过长短距离感知模块得到特征,与T1对应的浅层梯度特征结合输入空间特征自适应模块得到分布对齐特征,与进行通道拼接之后经过模态间多头注意力模块得到特征;
S34、迭代步骤S31至S22,迭代预设次后,获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输,其中,预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
本发明实施例还提供一种跨模态核磁共振超分网络的图像超分辨率方法,包括以下步骤:
S40、在跨模态高频融合互补模块中的第一个跨模态高频可变形网络模块内,经过长短距离感知模块得到特征,与T1WI浅层梯度特征结合输入空间特征自适应模块得到分布对齐特征,与进行通道拼接之后经过模态间多头注意力模块得到特征;
本发明实施例还提供一种跨模态核磁共振超分网络的图像超分辨率装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现上述实施例中的跨模态核磁共振超分网络的图像超分辨率方法。
本发明一种跨模态核磁共振超分网络的图像超分辨率装置的实施例可以应用在任意具备数据处理能力的设备上,该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图7所示,为本发明一种跨模态核磁共振超分网络的图像超分辨率装置所在任意具备数据处理能力的设备的一种硬件结构图,除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现上述实施例中的一种跨模态核磁共振超分网络的图像超分辨率装置。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。进一步的,所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种跨模态核磁共振超分网络的图像超分辨率方法,其特征在于,所述跨模态核磁共振超分网络包括依次串联的输入门、跨模态高频融合互补模块和输出门,所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络,其中,多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应,多级所述跨模态高频可变形网络模块依次串联,多级所述密集残差嵌入网络依次串联,当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入,最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入;
所述方法包括以下步骤:
S3、将作为第一级的密集残差嵌入网络的输入,将、作为第一级的跨模态高频可变形网络模块的输入,在所述跨模态高频融合互补模块中进行处理,获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出;
2.如权利要求1所述的一种跨模态核磁共振超分网络的图像超分辨率方法,其特征在于,所述跨模态高频可变形网络模块共有4级,所述密集残差嵌入网络共有4级。
3.如权利要求1 所述的一种跨模态核磁共振超分网络的图像超分辨率方法,其特征在于:所述跨模态高频可变形网络模块从由长短距离感知模块,空间特征自适应模块和模态间多头注意力模块依次串联而成,所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机,所述第一多层感知机和第二多层感知机内部结构依次为层归一化,卷积,高斯线性分布单元;所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式,长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式,所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式,参数初始化为1。
4.如权利要求1至3任一项所述的一种跨模态核磁共振超分网络的图像超分辨率方法,其特征在于:所述步骤S3具体包括如下步骤:
S31、将作为第一级的密集残差嵌入网络的输入,将、作为第一级的跨模态高频可变形网络模块的输入,在所述跨模态高频融合互补模块中,当前级的T2对应的跨模态高频可变形网络模块输出的T2对应的浅层图像域特征通过下一级的密集残差嵌入网络得到特征,特征通过一组卷积得到跨模态输入特征,并与T2对应的浅层梯度特征进行通道拼接,得到;其中,,R表示通过密集残差嵌入网络;i为密集残差嵌入网络的级别数,且i≥1;;C表示通过一组卷积;
S32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内,经过长短距离感知模块得到特征,与T1对应的浅层梯度特征结合输入空间特征自适应模块得到分布对齐特征,与进行通道拼接之后经过模态间多头注意力模块得到特征;
S34、迭代步骤S31至S33,迭代预设次后,获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输,其中,预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
5.一种跨模态核磁共振超分网络,其特征在于,包括依次串联的输入门、跨模态高频融合互补模块和输出门,所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络,其中,多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应,多级所述跨模态高频可变形网络模块依次串联,多级所述密集残差嵌入网络依次串联,当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入,最后一级的跨模态高频可变形网络模块的输出以及最后级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入;
其中,所述输入门用于对外部输入的核磁共振图像T2对应的模态图像和梯度图、核磁共振图像T1对应的梯度图为进行浅层度特征提取,获得T1对应的浅层梯度特征、T2对应的浅层图像域特征、T2对应的浅层梯度特征;T1、T2分别为同一人体组织部位所获得的T1加权图像和T2加权图像;将作为第一级的密集残差嵌入网络的输入,将、作为第一级的跨模态高频可变形网络模块的输入,在所述跨模态高频融合互补模块中进行处理,获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出;
6.如权利要求5所述的一种跨模态核磁共振超分网络,其特征在于:所述跨模态高频可变形网络模块共有4级,所述密集残差嵌入网络共有4级。
7.如权利要求5所述的一种跨模态核磁共振超分网络,其特征在于:所述密集残差嵌入网络由5组密集残差嵌入模块串联而成,所述密集残差嵌入模块串联由5组密集残差模块串联而成。
8.如权利要求5所述的一种跨模态核磁共振超分网络,其特征在于:所述跨模态高频可变形网络模块从由长短距离感知模块,空间特征自适应模块和模态间多头注意力模块依次串联而成,所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机,所述第一多层感知机和第二多层感知机内部结构依次为层归一化,卷积,高斯线性分布单元;所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式,长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式,所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式,参数初始化为1。
9.一种跨模态核磁共振超分网络的图像超分辨率装置,其特征在于:包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1-4任一项所述的一种跨模态核磁共振超分网络的图像超分辨率方法。
10.一种计算机可读存储介质,其特征在于:其上存储有程序,该程序被处理器执行时,实现权利要求1-4任一项所述的一种跨模态核磁共振超分网络的图像超分辨率方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210250052.9A CN114331849B (zh) | 2022-03-15 | 2022-03-15 | 一种跨模态核磁共振超分网络及图像超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210250052.9A CN114331849B (zh) | 2022-03-15 | 2022-03-15 | 一种跨模态核磁共振超分网络及图像超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114331849A true CN114331849A (zh) | 2022-04-12 |
CN114331849B CN114331849B (zh) | 2022-06-10 |
Family
ID=81033651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210250052.9A Active CN114331849B (zh) | 2022-03-15 | 2022-03-15 | 一种跨模态核磁共振超分网络及图像超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114331849B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115619647A (zh) * | 2022-12-20 | 2023-01-17 | 北京航空航天大学 | 一种基于变分推断的跨模态超分辨率重建方法 |
CN117253112A (zh) * | 2023-08-29 | 2023-12-19 | 哈尔滨工业大学 | 结构健康诊断大模型视觉语言跨模态学习方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140133780A1 (en) * | 2011-12-14 | 2014-05-15 | Peking University | Nonlocality based super resolution reconstruction method and device |
CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
CN110728658A (zh) * | 2019-09-16 | 2020-01-24 | 武汉大学 | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 |
CN111768342A (zh) * | 2020-09-03 | 2020-10-13 | 之江实验室 | 基于注意力机制和多级反馈监督的人脸超分辨方法 |
US20200372609A1 (en) * | 2019-05-23 | 2020-11-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium |
US20210133926A1 (en) * | 2019-11-04 | 2021-05-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium |
CN113506222A (zh) * | 2021-07-30 | 2021-10-15 | 合肥工业大学 | 一种基于卷积神经网络的多模态图像超分辨方法 |
CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及*** |
WO2021230646A1 (en) * | 2020-05-12 | 2021-11-18 | Samsung Electronics Co., Ltd. | System and method for depth map recovery |
CN113837940A (zh) * | 2021-09-03 | 2021-12-24 | 山东师范大学 | 基于密集残差网络的图像超分辨率重建方法及*** |
CN113850719A (zh) * | 2021-06-16 | 2021-12-28 | 北京大学 | 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法 |
WO2021258530A1 (zh) * | 2020-06-22 | 2021-12-30 | 北京大学深圳研究生院 | 图像分辨率处理方法、装置、设备及可读存储介质 |
CN114049408A (zh) * | 2021-11-15 | 2022-02-15 | 哈尔滨工业大学(深圳) | 用于加速多模态mr成像的深度网络模型 |
-
2022
- 2022-03-15 CN CN202210250052.9A patent/CN114331849B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140133780A1 (en) * | 2011-12-14 | 2014-05-15 | Peking University | Nonlocality based super resolution reconstruction method and device |
CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
US20200372609A1 (en) * | 2019-05-23 | 2020-11-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium |
CN110728658A (zh) * | 2019-09-16 | 2020-01-24 | 武汉大学 | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 |
US20210133926A1 (en) * | 2019-11-04 | 2021-05-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium |
WO2021230646A1 (en) * | 2020-05-12 | 2021-11-18 | Samsung Electronics Co., Ltd. | System and method for depth map recovery |
WO2021258530A1 (zh) * | 2020-06-22 | 2021-12-30 | 北京大学深圳研究生院 | 图像分辨率处理方法、装置、设备及可读存储介质 |
CN111768342A (zh) * | 2020-09-03 | 2020-10-13 | 之江实验室 | 基于注意力机制和多级反馈监督的人脸超分辨方法 |
CN113850719A (zh) * | 2021-06-16 | 2021-12-28 | 北京大学 | 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法 |
CN113506222A (zh) * | 2021-07-30 | 2021-10-15 | 合肥工业大学 | 一种基于卷积神经网络的多模态图像超分辨方法 |
CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及*** |
CN113837940A (zh) * | 2021-09-03 | 2021-12-24 | 山东师范大学 | 基于密集残差网络的图像超分辨率重建方法及*** |
CN114049408A (zh) * | 2021-11-15 | 2022-02-15 | 哈尔滨工业大学(深圳) | 用于加速多模态mr成像的深度网络模型 |
Non-Patent Citations (4)
Title |
---|
ZHIYU ZHU等: "Hyperspectral Image Super-Resolution via Deep Progressive Zero-Centric Residual Learning", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
张丹等: "无人***之"眼"——计算机视觉技术与应用浅析", 《无人***技术》 * |
王丁东: "基于弱监督学习的医学图像跨模态超分辨率重建方法研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》 * |
雷鹏程等: "分层特征融合注意力网络图像超分辨率重建", 《中国图象图形学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115619647A (zh) * | 2022-12-20 | 2023-01-17 | 北京航空航天大学 | 一种基于变分推断的跨模态超分辨率重建方法 |
CN117253112A (zh) * | 2023-08-29 | 2023-12-19 | 哈尔滨工业大学 | 结构健康诊断大模型视觉语言跨模态学习方法 |
CN117253112B (zh) * | 2023-08-29 | 2024-06-04 | 哈尔滨工业大学 | 结构健康诊断大模型视觉语言跨模态学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114331849B (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8014616B2 (en) | System and method for fixed point continuation for total variation based compressed sensing imaging | |
CN114331849B (zh) | 一种跨模态核磁共振超分网络及图像超分辨率方法 | |
CN107194912B (zh) | 基于稀疏表示的改进耦合字典学习的脑部ct/mr图像融合方法 | |
CN111932460B (zh) | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 | |
CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
Zhou et al. | Deep learning methods for medical image fusion: A review | |
CN116402865B (zh) | 一种利用扩散模型的多模态影像配准方法、装置和介质 | |
KR102584166B1 (ko) | 리스케일링과 인공신경망을 적용한 자기 공명 영상 처리 장치 및 그 방법 | |
CN114299185A (zh) | 磁共振图像生成方法、装置、计算机设备和存储介质 | |
US11941732B2 (en) | Multi-slice MRI data processing using deep learning techniques | |
CN110246200B (zh) | 磁共振心脏电影成像方法、装置及磁共振扫描仪 | |
Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
WO2024021796A1 (zh) | 一种图像处理方法、装置、电子设备、存储介质及程序产品 | |
CN115984296B (zh) | 一种应用多注意力机制的医学图像分割方法及*** | |
WO2024093083A1 (zh) | 一种基于变分自编码器的磁共振加权图像合成方法和装置 | |
CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及*** | |
Sun et al. | Leveraging EAP-sparsity for compressed sensing of MS-HARDI in-space | |
Christilin et al. | Residual encoder-decoder up-sampling for structural preservation in noise removal | |
Vaidya et al. | Perceptually improved T1-T2 MRI translations using conditional generative adversarial networks | |
CN117541673B (zh) | 一种多模态磁共振图像的转换方法 | |
CN117333571B (zh) | 磁共振图像的重建方法、***、设备及介质 | |
Radhakrishnan et al. | Establishing the Validity of Compressed Sensing Diffusion Spectrum Imaging | |
KR102572311B1 (ko) | 보조맵과 인공신경망을 적용한 자기 공명 영상 처리 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |