CN113298717A - 基于多注意力残差特征融合的医学图像超分辨率重建方法 - Google Patents
基于多注意力残差特征融合的医学图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN113298717A CN113298717A CN202110636035.4A CN202110636035A CN113298717A CN 113298717 A CN113298717 A CN 113298717A CN 202110636035 A CN202110636035 A CN 202110636035A CN 113298717 A CN113298717 A CN 113298717A
- Authority
- CN
- China
- Prior art keywords
- attention
- feature
- module
- network
- multiplied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 8
- RUDATBOHQWOJDD-UHFFFAOYSA-N (3beta,5beta,7alpha)-3,7-Dihydroxycholan-24-oic acid Natural products OC1CC2CC(O)CCC2(C)C2C1C1CCC(C(CCC(O)=O)C)C1(C)CC2 RUDATBOHQWOJDD-UHFFFAOYSA-N 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 abstract description 4
- 238000012958 reprocessing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
一种基于多注意力残差特征融合的医学图像超分辨率重建方法,联合了通道注意力机制和空间注意力机制两个模块,让网络对输入图片的特征进行加权重处理,从而解决输入特征被平等处理而导致网络表征能力不足的问题;提出了残差注意力特征融合模块(RAFF),将神经网络中局部的特征进行融合,再加上全局的特征融合,可以更充分地利用整个网络中的局部残差特征,从而解决深度神经网络过深而网络学习能力不足的问题。本发明有效地对医学图像进行超分辨率重建,可以提高较深的超分辨率网络的图像超分重建性能。
Description
技术领域
本发明涉及一种基于多注意力残差特征融合的医学图像超分辨率重建方法。
背景技术
近年来,深度卷积神经网络在单幅图像上的超分辨率上取得了非常好的效果,图像超分辨率的一种常见方法是基于实例的方法,该方法利用高分辨率图像和低分辨率图像的信息,生成近似原始高分辨率图像的超分辨率版本。在医学图像上也存在许多使用超分辨率的方法,医学影像的超分辨率重建有助于提高基于计算机辅助的临床医学诊断和疾病定量分析的准确性和客观性,所以,对需要的医学图像进行超分辨率重建是有必要的。
现有技术存在的缺陷为:现有的大部分超分网络都是基于卷积神经网络进行训练的,网络对输入图片的特征是平等处理的,网络虽然学习到了输入图像的特征,但是这些特征并没有差异,从而会降低超分网络的表征能力。并且现有的超分辨率方法主要专注于设计更深的网络结构,却很少挖掘层间特征的相关性,难以充分利用整个网络中的局部特征信息,从而会降低深度神经网络的学习能力。
发明内容
为了克服现有的不足,本发明针对上述的两个问题进行了改进,提出了一种基于多注意力残差特征融合的医学图像超分辨率重建方法,联合了通道注意力机制和空间注意力机制两个模块,让网络对输入图片的特征进行加权重处理,从而解决输入特征被平等处理而导致网络表征能力不足的问题;提出了残差注意力特征融合模块(RAFF),将神经网络中局部的特征进行融合,再加上全局的特征融合,可以更充分地利用整个网络中的局部残差特征,从而解决深度神经网络过深而网络学习能力不足的问题。
本发明解决其技术问题所采用的技术方案是:
一种基于多注意力残差特征融合的医学图像超分辨率重建方法,联合通道注意力和空间注意力模块,将输入图片的特征从多方面加以权重,再加上局部和全局的残差特征融合并构建了新颖的超分辨率重建方法,包括以下步骤:
1)训练样本的处理:
为了使所提超分辨率网络模型再训练过程中有对应的高分辨率图像(即HR)和低分辨率图像(即LR),本发明先对512x512分辨率的高清医学图像原图数据集做2倍和4倍的双三次下采样,得到256x256分辨率和128x128分辨率的低分辨率数据集。
2)联合多注意力机制:
本发明提出了一种多注意力的超分辨率重建网络。当提取到输入图像的特征H×W×C后,会分别进行Channel attention和Spatial attention的处理,最后将通道注意力权重和空间注意力权重相结合得到一个三维的Attention map M(U’)。本发明在注意力机制前还添加了一个上下文融合模块Combine Context,目的是让输入图像的特征拥有更多的图像上下文信息,具体操作为:输入一张特征图F:H×W×C,先经过一个池化层变为H/r×W/r×C,再经过上采样变为特征图U:H×W×C,此时H×W上每个像素点都含有周围像素点的信息,见公式(1):
U′=upsample(Pool(F))+F (1)
然后再将U’分别输入到两个注意力模块。在通道注意力模块中,先进行全局平均池化(GAP)聚合feature map在每个通道的维度,得到了1×1×C大小的特征图,紧接着用一个全连接层将特征通道数降为C/r,再用一个全连接层将其变为1×1×C,得到了通道注意力的权重特征图Mc(U′),计算过程如公示(2):
Mc(U′)=BN(FC2(FC1(AvgPool(U′)))) (2)
在空间注意力模块中,先用1x1的卷基层将特征通道压缩一半,再紧接一个3x3的卷基层和一个1x1的卷积层将特征变为H×W×1,得到了空间注意力的权重特征图Ms(U′),计算过程如公式(3):
然后将两个注意力分支中获取到的权重特征图融合起来,由于这两张注意力特征图的形状不一样,于是先将两者扩展到H×W×C,然后再将它们逐项求和,求和后,取一个Sigmoid函数σ,将数值控制到0到1范围内,得到既有通道注意力权重也有空间注意力权重的三维注意力特征图M(U’),如公式(4):
M(U′)=σ(Mc(U′)+Ms(U′)) (4)
再将该三维注意力图与最开始的输入特征F相乘,然后再将其添加到F上,得到带有双重注意力权重的特征图F’,图1的整个过程称为CCDA(Combine Context DualAttention),如公式(5):
3)局部和全局残差特征融合:
该网络框架主要有三个模块构成:Head、Body和Tail。
3.1)、Head module:使用一个卷基层提取输入图像的初始特征图,可以描述为公式(6):
F0=H(ILR) (6)
其中ILR表示输入图像,F0表示提取到的浅层特征,H表示提取输入图浅层特征的卷积操作;
3.2)、Body module:本模块是整个网络的重点部分,包含了G个CCDA模块,但是直接堆加模块而加深网络深度的话,难以充分利用整个网络中的局部特征信息,从而会降低深度神经网络的学习能力。于是本发明在网络结构中加入了局部特征融合,将每一个CCDA模块的输出都直接和最后一个CCDA模块的输出进行汇聚,这样最后的特征图不仅拥有网络最终输入的结果还会有网络中间结果的信息。此外,在body module的最后还加入了一个全局的特征融合,用于融合F0和FDF的特征,还具有加速训练收敛的作用,该过程描述为公式(7):
FDF=HRAFF(F0)=F0+Bg(Fg-1(…))+Bg-1(Fg-2(…))+…+B0(F0) (7)
其中FDF表示提取到的深层特征,HRAFF表示本发明提出的残差注意力特征融合模块(Residual Attention Feature Fusion),其中包含了G个CCDA模块,Bg表示第g个堆叠的CCDA Block。
3.3)、Tail module:包含上采样模块和重建模块,以Head和Body的输出作为输入,输出重建图像,该部分描述为公式(8):
其中ISR表示最终超分辨率重建的图像,HUP表示上采样模块,HREC表示重建模块,ILR是输入给神经网络的低分辨率图。
其中,θ表示该网络的参数集,并采用随机梯度下降的方法对损失函数进行了优化。
本发明的技术构思为:当一张低分辨率图像输入给网络模型,首先在Head模块进行浅层特征的提取,下一步进入Body模块进行深层特征的提取,该模块中包含了多个CCDA模块,每个CCDA模块中有结合上下文信息机制、通道注意力机制和空间注意力机制,可以让网络更加有效地提取到图像的深层特征。最后进入Tail模块,进行图像的上采样和最终的超分辨率图像重建。
本发明方法的内容主要包括:1)联合了通道注意力机制和空间注意力机制两个模块,让网络对输入图片的特征进行加权重处理,从而解决输入特征被平等处理而导致网络表征能力不足的问题。2)提出了残差注意力特征融合模块(RAFF),将神经网络中局部的特征进行融合,再加上全局的特征融合,可以更充分地利用整个网络中的局部残差特征,从而解决深度神经网络过深而网络学习能力不足的问题。
本发明的有益效果主要表现在:1、该新颖的融合残差特征的多注意力卷积神经网络模型可以有效地对医学图像进行超分辨率重建。2、该网络模型联合了通道注意力和空间注意力模块,从而解决了神经网络的输入特征被平等处理而导致网络表征能力不足的问题。3、本发明中的残差注意力特征融合模块(RAFF),可以更充分地利用整个网络中的局部残差特征,从而解决深度神经网络过深而网络学习能力不足的问题,可以提高较深的超分辨率网络的图像超分重建性能。
附图说明
图1是所提网络中的CCDA模块,包含了通道注意力和空间注意力的融合机制。
图2是所提超分网络的整体框架以及各部分组件的简介,其中,①表示headmodule,一层卷积提取输入图像的浅层特征;②表示body module,包含G个CCDA模块、局部特征融合、全局特征融合;③表示tail module,上采样模块和重建模块。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1和图2,一种基于多注意力残差特征融合的医学图像超分辨率重建方法,联合通道注意力和空间注意力模块,将输入图片的特征从多方面加以权重,再加上局部和全局的残差特征融合并构建了新颖的超分辨率重建方法,包括以下步骤:
1)训练样本的处理:
为了使所提超分辨率网络模型再训练过程中有对应的高分辨率图像(即HR)和低分辨率图像(即LR),本发明先对512x512分辨率的高清医学图像原图数据集做2倍和4倍的双三次下采样,得到256x256分辨率和128x128分辨率的低分辨率数据集。
2)联合多注意力机制:
本发明提出了一种多注意力的超分辨率重建网络,如图1所示。当提取到输入图像的特征H×W×C后,会分别进行Channel attention和Spatial attention的处理,最后将通道注意力权重和空间注意力权重相结合得到一个三维的Attention map M(U’)。本发明在注意力机制前还添加了一个上下文融合模块Combine Context,目的是让输入图像的特征拥有更多的图像上下文信息,具体操作为:输入一张特征图F:H×W×C,先经过一个池化层变为H/r×W/r×C,再经过上采样变为特征图U:H×W×C,此时H×W上每个像素点都含有周围像素点的信息,见公式(1):
U′=upsample(Pool(F))+F (1)
然后再将U’分别输入到两个注意力模块。在通道注意力模块中,先进行全局平均池化(GAP)聚合feature map在每个通道的维度,得到了1×1×C大小的特征图,紧接着用一个全连接层将特征通道数降为C/r,再用一个全连接层将其变为1×1×C,得到了通道注意力的权重特征图Mc(U′),计算过程如公示(3):
Mc(U′)=BN(FC2(FC1(AvgPool(U′)))) (2)
在空间注意力模块中,先用1x1的卷基层将特征通道压缩一半,再紧接一个3x3的卷基层和一个1x1的卷基层将特征变为H×W×1,得到了空间注意力的权重特征图Ms(U′),计算过程如公式(3):
然后将两个注意力分支中获取到的权重特征图融合起来,由于这两张注意力特征图的形状不一样,于是先将两者扩展到H×W×C,然后再将它们逐项求和,求和后,取一个Sigmoid函数σ,将数值控制到0到1范围内,得到既有通道注意力权重也有空间注意力权重的三维注意力特征图M(U’),如公式(4):
M(U′)=σ(Mc(U′)+Ms(U′)) (4)
再将该三维注意力图与最开始的输入特征F相乘,然后再将其添加到F上,得到带有双重注意力权重的特征图F’,图1的整个过程称为CCDA(Combine Context DualAttention),如公式(5):
3)局部和全局残差特征融合:
网络的整体框架如图2所示,该网络框架主要有三个模块构成:Head、Body和Tail。
3.1)、Head module:使用一个卷基层提取输入图像的初始特征图,可以描述为公式(6):
F0=H(ILR) (6)
其中ILR表示输入图像,F0表示提取到的浅层特征,H表示提取输入图浅层特征的卷积操作;
3.2)、Body module:本模块是整个网络的重点部分,包含了G个CCDA模块(即图1的过程),但是直接堆加模块而加深网络深度的话,难以充分利用整个网络中的局部特征信息,从而会降低深度神经网络的学习能力。于是本发明在网络结构中加入了局部特征融合,将每一个CCDA模块的输出都直接和最后一个CCDA模块的输出进行汇聚,这样最后的特征图不仅拥有网络最终输入的结果还会有网络中间结果的信息。此外,在body module的最后还加入了一个全局的特征融合,用于融合F0和FDF的特征,还具有加速训练收敛的作用,该过程描述为公式(7):
FDF=HRAFF(F0)=F0+Bg(Fg-1(…))+Bg-1(Fg-2(…))+…+B0(F0) (7)
其中FDF表示提取到的深层特征,HRAFF表示本发明提出的残差注意力特征融合模块(Residual Attention Feature Fusion),其中包含了G个CCDA模块,Bg表示第g个堆叠的CCDA Block。
3.3)、Tail module:包含上采样模块和重建模块,以Head和Body的输出作为输入,输出重建图像,该部分可以描述为公式(8):
其中ISR表示最终超分辨率重建的图像,HUP表示上采样模块,HREC表示重建模块,ILR是输入给神经网络的低分辨率图。
其中,θ表示该网络的参数集,并采用随机梯度下降的方法对损失函数进行了优化。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举,仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式,本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。
Claims (1)
1.一种基于多注意力残差特征融合的医学图像超分辨率重建方法,其特点在于,所述方法包括以下步骤:
1)训练样本的处理:
为了使所提超分辨率网络模型再训练过程中有对应的高分辨率图像HR和低分辨率图像LR,先对512x512分辨率的高清医学图像原图数据集做2倍和4倍的双三次下采样,得到256x256分辨率和128x128分辨率的低分辨率数据集。
2)联合多注意力机制:
当提取到输入图像的特征H×W×C后,会分别进行Channel attention和Spatialattention的处理,最后将通道注意力权重和空间注意力权重相结合得到一个三维的Attention map M(U’);在注意力机制前还添加了一个上下文融合模块Combine Context,目的是让输入图像的特征拥有更多的图像上下文信息,操作为:输入一张特征图F:H×W×C,先经过一个池化层变为H/r×W/r×C,再经过上采样变为特征图U:H×W×C,此时H×W上每个像素点都含有周围像素点的信息,见公式(1):
U′=upsample(Pool(F))+F (1)
然后再将U’分别输入到两个注意力模块。在通道注意力模块中,先进行全局平均池化GAP聚合feature map在每个通道的维度,得到了1×1×C大小的特征图,紧接着用一个全连接层将特征通道数降为C/r,再用一个全连接层将其变为1×1×C,得到了通道注意力的权重特征图Mc(U′),计算过程如公示(2):
Mc(U′)=BN(FC2(FC1(AvgPool(U′)))) (2)
在空间注意力模块中,先用1x1的卷基层将特征通道压缩一半,再紧接一个3x3的卷基层和一个1x1的卷基层将特征变为H×W×1,得到了空间注意力的权重特征图Ms(U′),计算过程如公式(3):
然后将两个注意力分支中获取到的权重特征图融合起来,由于这两张注意力特征图的形状不一样,于是先将两者扩展到H×W×C,然后再将它们逐项求和,求和后,取一个Sigmoid函数σ,将数值控制到0到1范围内,得到既有通道注意力权重也有空间注意力权重的三维注意力特征图M(U’),如公式(4):
M(U′)=σ(Mc(U′)+Ms(U′)) (4)
再将该三维注意力图与最开始的输入特征F相乘,然后再将其添加到F上,得到带有双重注意力权重的特征图F’,图1的整个过程称为CCDA,如公式(5):
3)局部和全局残差特征融合,网络框架有三个模块构成:Head、Body和Tail,过程如下:
3.1)、Head module模块使用一个卷基层提取输入图像的初始特征图,描述为公式(6):
F0=H(ILR) (6)
其中ILR表示输入图像,F0表示提取到的浅层特征,H表示提取输入图浅层特征的卷积操作;
3.2、Body module模块包含了G个CCDA模块,在网络结构中加入了局部特征融合,将每一个CCDA模块的输出都直接和最后一个CCDA模块的输出进行汇聚,这样最后的特征图不仅拥有网络最终输入的结果还会有网络中间结果的信息,此外,在body module的最后还加入了一个全局的特征融合,用于融合F0和FDF的特征,还具有加速训练收敛的作用,该过程描述为公式(7):
FDF=HRAFF(F0)=F0+Bg(Fg-1(…))+Bg-1(Fg-2(…))+…+B0(F0) (7)
其中FDF表示提取到的深层特征,HRAFF表示本发明提出的残差注意力特征融合模块(Residual Attention Feature Fusion),其中包含了G个CCDA模块,Bg表示第g个堆叠的CCDA Block。
3.3、Tail module模块包含上采样模块和重建模块,以Head和Body的输出作为输入,输出重建图像,该部分描述为公式(8):
其中ISR表示最终超分辨率重建的图像,HUP表示上采样模块,HREC表示重建模块,ILR是输入给神经网络的低分辨率图;
其中,θ表示该网络的参数集,并采用随机梯度下降的方法对损失函数进行了优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110636035.4A CN113298717A (zh) | 2021-06-08 | 2021-06-08 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110636035.4A CN113298717A (zh) | 2021-06-08 | 2021-06-08 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113298717A true CN113298717A (zh) | 2021-08-24 |
Family
ID=77327538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110636035.4A Pending CN113298717A (zh) | 2021-06-08 | 2021-06-08 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113298717A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706388A (zh) * | 2021-09-24 | 2021-11-26 | 上海壁仞智能科技有限公司 | 图像超分辨率重建方法及装置 |
CN114170089A (zh) * | 2021-09-30 | 2022-03-11 | 成都大学附属医院 | 一种用于糖尿病视网膜病变分类的方法及电子设备 |
CN114898143A (zh) * | 2022-04-19 | 2022-08-12 | 天津大学 | 基于全局与局部视觉特征协同分类方法、设备及存储介质 |
CN115577242A (zh) * | 2022-10-14 | 2023-01-06 | 成都信息工程大学 | 一种基于注意力机制及神经网络的脑电信号分类方法 |
CN116246331A (zh) * | 2022-12-05 | 2023-06-09 | 苏州大学 | 一种圆锥角膜自动分级方法、装置及存储介质 |
CN116256586A (zh) * | 2023-05-10 | 2023-06-13 | 广东电网有限责任公司湛江供电局 | 电力设备过热检测方法、装置、电子设备与存储介质 |
CN116664677A (zh) * | 2023-05-24 | 2023-08-29 | 南通大学 | 一种基于超分辨率重建的视线估计方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110992270A (zh) * | 2019-12-19 | 2020-04-10 | 西南石油大学 | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 |
CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
CN111445390A (zh) * | 2020-02-28 | 2020-07-24 | 天津大学 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
CN112330542A (zh) * | 2020-11-18 | 2021-02-05 | 重庆邮电大学 | 基于crcsan网络的图像重建***及方法 |
-
2021
- 2021-06-08 CN CN202110636035.4A patent/CN113298717A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110992270A (zh) * | 2019-12-19 | 2020-04-10 | 西南石油大学 | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 |
CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
CN111445390A (zh) * | 2020-02-28 | 2020-07-24 | 天津大学 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
CN112330542A (zh) * | 2020-11-18 | 2021-02-05 | 重庆邮电大学 | 基于crcsan网络的图像重建***及方法 |
Non-Patent Citations (2)
Title |
---|
C. XIAO, J. YU AND Y. XUE: "A High-Efficiency Super-Resolution Reconstruction Algorithm from Image/Video Sequences", 《2007 THIRD INTERNATIONAL IEEE CONFERENCE ON SIGNAL-IMAGE TECHNOLOGIES AND INTERNET-BASED SYSTEM》, 31 December 2007 (2007-12-31), pages 573 - 580, XP031316601 * |
刘文可 等: "基于残差通道注意力网络的医学图像超分辨率重建方法", 《激光与光电子学进展》, vol. 57, no. 2, 31 January 2020 (2020-01-31) * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706388A (zh) * | 2021-09-24 | 2021-11-26 | 上海壁仞智能科技有限公司 | 图像超分辨率重建方法及装置 |
CN114170089A (zh) * | 2021-09-30 | 2022-03-11 | 成都大学附属医院 | 一种用于糖尿病视网膜病变分类的方法及电子设备 |
CN114170089B (zh) * | 2021-09-30 | 2023-07-07 | 成都市第二人民医院 | 一种用于糖尿病视网膜病变分类的方法及电子设备 |
CN114898143A (zh) * | 2022-04-19 | 2022-08-12 | 天津大学 | 基于全局与局部视觉特征协同分类方法、设备及存储介质 |
CN115577242A (zh) * | 2022-10-14 | 2023-01-06 | 成都信息工程大学 | 一种基于注意力机制及神经网络的脑电信号分类方法 |
CN116246331A (zh) * | 2022-12-05 | 2023-06-09 | 苏州大学 | 一种圆锥角膜自动分级方法、装置及存储介质 |
CN116256586A (zh) * | 2023-05-10 | 2023-06-13 | 广东电网有限责任公司湛江供电局 | 电力设备过热检测方法、装置、电子设备与存储介质 |
CN116664677A (zh) * | 2023-05-24 | 2023-08-29 | 南通大学 | 一种基于超分辨率重建的视线估计方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113298717A (zh) | 基于多注意力残差特征融合的医学图像超分辨率重建方法 | |
EP3828765A1 (en) | Human body detection method and apparatus, computer device, and storage medium | |
EP3678059B1 (en) | Image processing method, image processing apparatus, and a neural network training method | |
CN110415170B (zh) | 一种基于多尺度注意力卷积神经网络的图像超分辨率方法 | |
CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
CN110659727B (zh) | 一种基于草图的图像生成方法 | |
CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN109361934B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113343705A (zh) | 一种基于文本语义的细节保持图像生成方法及*** | |
CN110136122B (zh) | 一种基于注意力深度特征重建的脑mr图像分割方法 | |
CN113033570A (zh) | 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法 | |
CN110930306B (zh) | 一种基于非局部感知的深度图超分辨率重建网络构建方法 | |
CN109447897B (zh) | 一种真实场景图像合成方法及*** | |
CN114119975A (zh) | 一种语言引导的跨模态实例分割方法 | |
WO2023040108A1 (zh) | 一种图像超分辨率放大模型及其方法 | |
CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
CN111369567B (zh) | 三维图像中目标对象的分割方法、装置及电子设备 | |
CN117079105B (zh) | 遥感图像空谱融合方法、装置、电子设备及存储介质 | |
CN115439329B (zh) | 人脸图像超分辨率重建方法及计算机可读取的存储介质 | |
CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
CN113240683A (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
CN113889234A (zh) | 基于通道混合的编解码网络的医学图像分割方法 | |
CN111626926A (zh) | 一种基于gan的纹理图像智能合成方法 | |
CN117611601B (zh) | 基于文字辅助的半监督3d医学图像分割方法 | |
CN112149662A (zh) | 一种基于扩张卷积块的多模态融合显著性检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |