CN110992270A - 基于注意力的多尺度残差注意网络图像超分辨率重建方法 - Google Patents
基于注意力的多尺度残差注意网络图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN110992270A CN110992270A CN201911319741.5A CN201911319741A CN110992270A CN 110992270 A CN110992270 A CN 110992270A CN 201911319741 A CN201911319741 A CN 201911319741A CN 110992270 A CN110992270 A CN 110992270A
- Authority
- CN
- China
- Prior art keywords
- image
- attention
- scale residual
- residual error
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 19
- 230000005284 excitation Effects 0.000 claims description 14
- 238000002474 experimental method Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001125 extrusion Methods 0.000 claims description 4
- 229940050561 matrix product Drugs 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 14
- 239000000284 extract Substances 0.000 abstract description 3
- 239000012141 concentrate Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 28
- 238000001994 activation Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004873 anchoring Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像超分辨率重建技术领域，公开了一种基于注意力的多尺度残差注意网络图像超分辨率重建方法，包括选取公共图像数据集作为待实验图像集，并将待实验图像集划分为图像训练集和图像测试集，进行图像预处理；设计多尺度残差结构单元模块，并引入通道注意力机制，搭建基于通道注意力的多尺度残差注意神经网络模型；将预处理后的图像训练集输入到基于通道注意力的多尺度残差注意神经网络模型中进行模型训练；将预处理后的图像测试集输入到训练好的模型中进行测试，得到最终重建的高分辨率图像。该方法使基础单元更加专注高频信息的提取，更好的突出通道中重要的特征图信息，更好的提取图像中的重要信息，减少重建误差。
Description
技术领域
本发明属于图像超分辨率重建技术领域，具体涉及一种基于注意力的多尺度残差注意网络图像超分辨率重建方法。
背景技术
图像超分辨率重建是一种利用输入图像为低分辨率图像来产生高分辨率输出图像的技术。图像超分辨率重建应用领域涉及图像处理领域，在军事，计算机视觉，医学诊断，公共安全和卫星图像等方面都存在着重要的应用前景。
目前应用于图像超分辨率重建算法主要可分为:基于插值的方法、基于重建的方法和基于学习的方法。
基于插值方法，常见插值法为最近邻插值法、双线性插值法和双三次插值法。它们是利用输入的单幅低分辨率图像相邻像素之间的相关性，采用数学插值原理来求解未知点的像素，进而重建出一幅高分辨率图像。但基于插值的方法没有充分考虑图像全局信息，同时重建出的高分辨率图像过于平滑，失去了图像大部分细节，重建出的高分辨率图像灰度剧烈变化处产生的震荡，图像细节恢复效果差，边缘效应严重，尤其是高频信息严重丢失。
基于重建的方法根据低分辨率图像与高分辨率图像之间的配准对应关系，得出高分辨率图像与低分辨率图像像素之间的依赖关系作为待重建图像的先验知识，利用先验知识重建出目标高分辨率图像。采用基于重建方法过程中，我们假设低分辨率的输入图像信号能很好地预估出原始的高分辨率图像信号。根据已知的退化模型得到我们需要的LR图像，采取提取LR图像中关键的像素点特征信息对待生成HR图像的生成进行先验约束，再结合HR图像中的先验知识得到相应的待重建高分辨率图像。但基于重建方法获得的图像先验知识有限，因此对于重建复杂的图像无法恢复出更多高频细节信息。
基于学习的方法通过学习高分辨率和低分辨率之间的映射关系，利用学习获得的图像先验知识来指导高分辨率图像的重建。基于学习的方法主要有领域嵌入法、稀疏表示法、基于深度学习的方法。Yang等提出一种基于稀疏表示和字典学习的超分辨率重建方法，根据通过学习LR图像块和对应的HR图像块超完备字典对进行图像重建。但由于重建过程中对高、低分辨率超完备字典对的学习要求较高，重建图像实用性较差，Timofte等将领域嵌入和稀疏字典进行结合，提出了锚定领域回归(ANR)算法和改进后的锚定领域回归(A+)算法，虽然在这个重建过程中的计算效率得到了提高，但图像高频细节恢复效果仍然较差，重建的高分辨率图像没有得到较好的提升。基于深度学习的方法，近年来，随着神经网络的蓬勃发展，卷积神经网络高效提取特征信息的能力在图像超分辨率重建上得到了广泛的应用。2014年Dong等首次采用输入层、特征提取层、重建层三层卷积神经网络(SRCNN)来提取图像高频信息特征。提出的网络结构简单，层数少，易于实现。其效果也比传统的基于插值和基于重建的效果好。但由于存在网络层数较少，感受野小，泛化能力差，提取的图像高频信息有限等缺点，使得并没有提取到图像深层次的高频信息特征，导致重建效果一般。
我们知道随着网络层数的加深，能够更进一步的提取到图像的深层次特征信息。提出了20层的卷积神经网络VDSR网络模型，通过增加网络层数和增大感受野，来进行提取图像信息特征。但随着网络层数的加深，会出现梯度消失和梯度***等现象，使得存在网络难以训练和难以收敛等缺陷。受残差网络结构的启发，在加深网络的同时引入残差结构，能够较好的解决这一问题。但加深网络层数，简单推叠网络层数会导致计算负担加重，网络仍然存在难以收敛等缺点。同时单一残差结构的引入不能针对不同尺度的特征进行提取，在此问题上，网络平等对待处理每个通道的特征信息，针对富含高频信息通道和大量低频信息的通道进行同等处理，浪费有限网络计算资源，造成高频信息的丢失。
发明内容
本发明的目的是提供一种基于通道注意力机制的多尺度残差网络的图像超分辨率重建方法，用以解决上述现有技术中存在的问题。
为了实现上述目的，本发明采用的技术方案如下：
一种基于注意力的多尺度残差注意网络图像超分辨率重建方法，包括以下步骤：
选取公共图像数据集作为待实验图像集，并将所述待实验图像集按一定比例划分图像训练集和图像测试集，进行图像预处理操作；
设计多尺度残差结构单元模块，并引入通道注意力机制，搭建基于通道注意力的多尺度残差注意神经网络模型；
将预处理后的所述图像训练集输入到所述基于通道注意力的多尺度残差注意神经网络模型中进行模型训练，获得训练好的基于通道注意力的多尺度残差注意神经网络模型；
将预处理后的所述图像测试集输入到训练好的基于通道注意力的多尺度残差注意神经网络模型中进行测试，得到最终重建的高分辨率图像。
进一步的，所述选取公共图像数据集作为待实验图像集，并将所述待实验图像集按一定比例划分图像训练集和图像测试集，进行图像预处理操作的方法包括：
采用DIV2K数据集作为实验的图像集，将多张高分辨率图像中随机选取N张图片作为实验训练集，剩下M张作为实验测试集；分别对实验训练集和测试集进行以降采样因子k的双三次插值法对原始高分辨率图像降采样，得到对应的LR实验训练集和LR实验测试集，其中，k＝2,3,4，表征图像缩小2，3，4倍；
将所述LR实验训练集裁剪为尺寸大小为ILR×ILR，所述LR实验训练集对应的高分辨率图像裁剪为尺寸大小为IHR×IHR，裁剪出的LR图像与HR图像尺寸大小满足关系式IHR×IHR＝kILR×kILR，所述LR图像和所述HR图像的实际图像张量大小分别为H*W*C和kH*kW*C；
将裁剪得到的所述LR实验训练集作为训练网络的输入标签，将裁剪得到的所述HR图像块数据集作为训练网络的数据标签。
进一步的，所述设计多尺度残差结构单元模块，并引入通道注意力机制，搭建基于通道注意力的多尺度残差注意神经网络模型的方法包括：
以3×3和5×5的卷积大小的残差结构构建多尺度残差结构单元模块，并在所述多尺度残差结构单元模块的输出部分引入注意力机制；
使用多个卷积层、所述多尺度残差结构单元模块和亚像素卷积构建基于通道注意力机制的多尺度残差注意网络，并采用最小绝对值偏差损失函数对基于通道注意力机制的多尺度残差注意网络进行优化。
进一步的，所述注意力机制由挤压和激励函数和矩阵乘积三个过程组成，其中，
所述挤压过程为：将张量为H*W*C的输入图像特征进行全局平均池化，使其张量大小变为1*1*C，其中，所述全局平均池化对应的挤压函数为：
其中，H×W表示张量大小，fsq(uc)函数表示全局平均池化操作，uc(i,j)表示第c个特征uc在(i,j)处的值，uc表示通道注意力块原始输入张量；
所述激励过程为：利用激励函数自适应校准各个通道的权重，其中，所述激励函数为：
ec＝fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z)
其中，δ函数表示ReLU激活函数，σ是sigmoid激活函数，W1、W2的维度分别表示为
和
所述矩阵乘积过程为：将经过挤压和激励部分的含有权重得分的大小为1×1×C的张量，与原始输入张量进行乘积操作，表示为：
Xc＝f(uc,ec)＝ecuc
其中，Xc表示整个通道注意力块的输出，ec表示经过激励部分的输出张量，uc表示通道注意力块原始输入张量。
进一步的，所述最小绝对值偏差损失函数为：
其中，LLAD表示最小绝对值偏差损失函数，i表示训练集中第i个样本块，F(Ii LR)表示第i个LR图像重建出的高分辨率图像块，N表示训练集的样本总数，Ii HR表示原始真值高分辨率图像。
与现有技术相比，本发明提供的技术方案具有如下有益效果或优点：
本发明提供的基于注意力的多尺度残差注意网络图像超分辨率重建方法将单一尺度的残差结构设计为含有不同尺度的残差结构，以此来提取不同尺度下的图像特征信息，同时融合不同尺度下的图像特征信息，在基础单元的末端引入通道注意力机制构建，使基础单元更加专注高频信息的提取，同时，引入通道注意力机制，能够更好的突出通道中重要的特征图信息，便于更好的提取图像中的重要信息，减少重建误差。
参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于注意力的多尺度残差注意网络图像超分辨率重建方法的方法流程图；
图2为本发明实施例中多尺度残差结构单元模块的结构框图；
图3为本发明实施例中注意力机制的网络结构框图；
图4为本发明实施例中搭建好的基于通道注意力的多尺度残差注意神经网络模型的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
实施例
如图1所示，本发明实施例提供了一种基于注意力的多尺度残差注意网络图像超分辨率重建方法，包括以下步骤：
步骤S1：选取公共图像数据集作为待实验图像集，并将所述待实验图像集按一定比例划分图像训练集和图像测试集，进行图像预处理操作。
在具体的实施过程中，选取公共图像数据集作为待实验图像集，并将所述待实验图像集按一定比例划分图像训练集和图像测试集，进行图像预处理操作的方法包括：
首先，采用DIV2K数据集作为实验的图像集，将多张高分辨率图像中随机选取N张图片作为实验训练集，剩下M张作为实验测试集。比如将1000张高分辨率图像中随机选取900张图片作为实验训练集，剩下100张作为实验测试集。
然后，分别对实验训练集和测试集进行以降采样因子k的双三次插值法对原始高分辨率图像降采样，得到对应的LR实验训练集和LR实验测试集，其中，k＝2,3,4，表征图像缩小2，3，4倍。
然后，将所述LR实验训练集裁剪为尺寸大小为ILR×ILR，将所述LR实验训练集对应的高分辨率图像裁剪为尺寸大小为IHR×IHR，裁剪出的LR图像与HR图像尺寸大小满足关系式IHR×IHR＝kILR×kILR，所述LR图像和所述HR图像的实际图像张量大小分别为H*W*C和kH*kW*C。
最后，将裁剪得到的所述LR实验训练集作为训练网络的输入标签，将裁剪得到的所述HR图像块数据集作为训练网络的数据标签。图像预处理后的训练集表示为
完成图像预处理之后，执行步骤S2：设计多尺度残差结构单元模块，并引入通道注意力机制，搭建基于通道注意力的多尺度残差注意神经网络模型。
在具体的实施过程中，本发明实施例中设计多尺度残差结构单元模块，并引入通道注意力机制，搭建基于通道注意力的多尺度残差注意神经网络模型的方法具体包括：
首先，以3×3和5×5的卷积大小的残差结构构建多尺度残差结构单元模块，如图2所示，并在所述多尺度残差结构单元模块的输出部分引入注意力机制。具体的，本发明实施例中的所述注意力机制具体为SE模块(squeeze-and-excitation blocks)，所述SE模块具体由挤压和激励和矩阵乘积三个过程组成，如图3所示，其中：
所述挤压过程为：将张量为H*W*C的输入图像特征进行全局平均池化，使其张量大小变为1*1*C，其中，所述全局平均池化对应的挤压函数为：
其中，H×W表示张量大小，fsq(uc)函数表示全局平均池化操作，uc(i,j)表示第c个特征uc在(i,j)处的值，uc表示通道注意力块原始输入张量。
上述挤压函数对输入张量做了一个全局平均的操作，对于每个通道的全部特征值进行求和，再取平均。
挤压过程是为了后续激励过程做准备。对于卷积核的卷积操作，由于卷积核对特征图进行卷积操作时，都是按照一个局部感受野的方式对原特征图进行卷积，因此在卷积核进行卷积操作过程中，对于局部感受野以外的特征图信息不能利用，没有充分利用特征图的全局特征消息。尤其在网络的初始阶段此问题更加明显。而SE结构的挤压操作能够很好的解决这个问题。通过对各个通道的特征图进行全局池化，以此来将各个通道特征图中的整个图的所有位置信息相融合，防止在进行通道权重评估时，由于卷积核的局部感受野在进行特征图卷积时，提取的信息不能代表该通道的特征图信息，使得参考信息不足，导致评估不准确。
为了充分利用全局平均池化操作后的信息，需要经过激励，本发明实施例中的所述激励过程具体为：利用激励函数自适应校准各个通道的权重，其中，所述激励函数为：
ec＝fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z)
其中，δ函数表示ReLU激活函数，σ是sigmoid激活函数，W1、W2的维度分别表示为
和
将全剧平均池化后的特征图作为激励部分的输入，经过全连接层和ReLU激活函数达到降维目的，再经过全连接层和sigmoid激活函数达到原始维数，同时对通道进行权重得分评估，每个通道的权重得分在[0,1]范围内，通道权重得分越接近1，代表着该通道信息越重要。
激励之后，将经过挤压和激励部分的含有权重得分的大小为1×1×C的张量与原始输入张量进行乘积操作，即矩阵乘积过程，表示为：
Xc＝f(uc,ec)＝ecuc
其中，Xc表示整个通道注意力块的输出，ec表示经过激励部分的输出张量，uc表示通道注意力块原始输入张量。
搭建好基于通道注意力的多尺度残差注意神经网络模型之后，采用最小绝对值偏差损失函数对基于通道注意力机制的多尺度残差注意网络进行优化。其中，本发明实施例中的最小绝对值偏差损失函数具体为：
其中，LLAD表示最小绝对值偏差损失函数，i表示训练集中第i个样本块，F(Ii LR)表示第i个LR图像重建出的高分辨率图像块，N表示训练集的样本总数，Ii HR表示原始真值高分辨率图像。
搭建好的基于通道注意力的多尺度残差注意神经网络模型如图4所示，包括图像特征信息提取部分、汇聚层部分和重建部分。
其中，图像特征信息提取部分：为了网络中每一层输入图像和输出图像尺寸保持相等，采用了padding操作，同时多尺度残差结构单元由3*3和5*5的卷积大小的残差结构、3*3和5*5的卷积层和激活层组成。
汇聚层部分：将每个多尺度残差注意结构单元提取的特征信息通过汇聚层进行信息融合，汇聚层采取1*1尺寸的卷积大小来进行特征融合。
重建部分：为将图像放大k倍，我们采用亚像素卷积层来进行对特征提取的输出进行上采样。
搭建好基于通道注意力的多尺度残差注意神经网络模型之后，执行步骤S3：将预处理后的所述图像训练集输入到所述基于通道注意力的多尺度残差注意神经网络模型中进行模型训练，获得训练好的基于通道注意力的多尺度残差注意神经网络模型。
完成训练之后，执行步骤S4：将预处理后的所述图像测试集输入到训练好的基于通道注意力的多尺度残差注意神经网络模型中进行测试，得到最终重建的高分辨率图像。
本发明实施例提供的基于注意力的多尺度残差注意网络图像超分辨率重建方法将单一尺度的残差结构设计为含有不同尺度的残差结构，以此来提取不同尺度下的图像特征信息，同时融合不同尺度下的图像特征信息，在基础单元的末端引入通道注意力机制构建，使基础单元更加专注高频信息的提取，同时，引入通道注意力机制，能够更好的突出通道中重要的特征图信息，便于更好的提取图像中的重要信息，减少重建误差。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种基于注意力的多尺度残差注意网络图像超分辨率重建方法，其特征在于，包括以下步骤：
选取公共图像数据集作为待实验图像集，并将所述待实验图像集按一定比例划分图像训练集和图像测试集，进行图像预处理操作；
设计多尺度残差结构单元模块，并引入通道注意力机制，搭建基于通道注意力的多尺度残差注意神经网络模型；
将预处理后的所述图像训练集输入到所述基于通道注意力的多尺度残差注意神经网络模型中进行模型训练，获得训练好的基于通道注意力的多尺度残差注意神经网络模型；
将预处理后的所述图像测试集输入到训练好的基于通道注意力的多尺度残差注意神经网络模型中进行测试，得到最终重建的高分辨率图像。
2.根据权利要求1所述的基于注意力的多尺度残差注意网络图像超分辨率重建方法，其特征在于，所述选取公共图像数据集作为待实验图像集，并将所述待实验图像集按一定比例划分图像训练集和图像测试集，进行图像预处理操作的方法包括：
采用DIV2K数据集作为实验的图像集，将多张高分辨率图像中随机选取N张图片作为实验训练集，剩下M张作为实验测试集；分别对实验训练集和测试集进行以降采样因子k的双三次插值法对原始高分辨率图像降采样，得到对应的LR实验训练集和LR实验测试集，其中，k＝2,3,4，表征图像缩小2，3，4倍；
将所述LR实验训练集裁剪为尺寸大小为ILR×ILR，所述LR实验训练集对应的高分辨率图像裁剪为尺寸大小为IHR×IHR，裁剪出的LR图像与HR图像尺寸大小满足关系式IHR×IHR＝kILR×kILR，所述LR图像和所述HR图像的实际图像张量大小分别为H*W*C和kH*kW*C；
将裁剪得到的所述LR实验训练集作为训练网络的输入标签，将裁剪得到的所述HR图像块数据集作为训练网络的数据标签。
3.根据权利要求2所述的基于注意力的多尺度残差注意网络图像超分辨率重建方法，其特征在于，所述设计多尺度残差结构单元模块，并引入通道注意力机制，搭建基于通道注意力的多尺度残差注意神经网络模型的方法包括：
以3×3和5×5的卷积大小的残差结构构建多尺度残差结构单元模块，并在所述多尺度残差结构单元模块的输出部分引入注意力机制；
使用多个卷积层、所述多尺度残差结构单元模块和亚像素卷积构建基于通道注意力机制的多尺度残差注意网络，并采用最小绝对值偏差损失函数对基于通道注意力机制的多尺度残差注意网络进行优化。
4.根据权利要求3所述的基于注意力的多尺度残差注意网络图像超分辨率重建方法，其特征在于，所述注意力机制由挤压和激励和矩阵乘积三个过程组成，其中，
所述挤压过程为：将张量为H*W*C的输入图像特征进行全局平均池化，使其张量大小变为1*1*C，其中，所述全局平均池化对应的挤压函数为：
其中，H×W表示张量大小，fsq(uc)函数表示全局平均池化操作，uc(i,j)表示第c个特征uc在(i,j)处的值，uc表示通道注意力块原始输入张量；
所述激励过程为：利用激励函数自适应校准各个通道的权重，其中，所述激励函数为：
ec＝fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z)
其中，δ函数表示ReLU激活函数，σ是sigmoid激活函数，W1、W2的维度分别表示为
和
所述矩阵乘积过程为：将经过挤压和激励部分的含有权重得分的大小为1×1×C的张量，与原始输入张量进行乘积操作，表示为：
Xc＝f(uc,ec)＝ecuc
其中，Xc表示整个通道注意力块的输出，ec表示经过激励部分的输出张量，uc表示通道注意力块原始输入张量。
5.根据权利要求4所述的基于注意力的多尺度残差注意网络图像超分辨率重建方法，其特征在于，所述最小绝对值偏差损失函数为：
其中，LLAD表示最小绝对值偏差损失函数，i表示训练集中第i个样本块，
表示第i个LR图像重建出的高分辨率图像块，N表示训练集的样本总数，
表示原始真值高分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911319741.5A CN110992270A (zh) | 2019-12-19 | 2019-12-19 | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911319741.5A CN110992270A (zh) | 2019-12-19 | 2019-12-19 | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110992270A true CN110992270A (zh) | 2020-04-10 |
Family
ID=70065762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911319741.5A Pending CN110992270A (zh) | 2019-12-19 | 2019-12-19 | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110992270A (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598778A (zh) * | 2020-05-13 | 2020-08-28 | 云南电网有限责任公司电力科学研究院 | 一种绝缘子图像超分辨率重建方法 |
| CN111667445A (zh) * | 2020-05-29 | 2020-09-15 | 湖北工业大学 | 一种基于Attention多特征融合的图像压缩感知重建方法 |
| CN111738055A (zh) * | 2020-04-24 | 2020-10-02 | 浙江大学城市学院 | 多类别文本检测***和基于该***的票据表单检测方法 |
| CN111783792A (zh) * | 2020-05-31 | 2020-10-16 | 浙江大学 | 一种提取b超图像显著纹理特征的方法及其应用 |
| CN111814863A (zh) * | 2020-07-03 | 2020-10-23 | 南京信息工程大学 | 一种轻量级车辆与行人的检测方法 |
| CN111915487A (zh) * | 2020-08-04 | 2020-11-10 | 武汉工程大学 | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 |
| CN112085756A (zh) * | 2020-09-23 | 2020-12-15 | 清华大学苏州汽车研究院（相城） | 一种基于残差网络的道路图像多尺度边缘检测模型及方法 |
| CN112215755A (zh) * | 2020-10-28 | 2021-01-12 | 南京信息工程大学 | 一种基于反投影注意力网络的图像超分辨率重建方法 |
| CN112347977A (zh) * | 2020-11-23 | 2021-02-09 | 深圳大学 | 一种诱导性多能干细胞的自动检测方法、存储介质及装置 |
| CN112381164A (zh) * | 2020-11-20 | 2021-02-19 | 北京航空航天大学杭州创新研究院 | 一种基于多分支注意力机制的超声图像分类方法和装置 |
| CN112419155A (zh) * | 2020-11-26 | 2021-02-26 | 武汉大学 | 一种全极化合成孔径雷达影像超分辨率重建方法 |
| CN112686297A (zh) * | 2020-12-29 | 2021-04-20 | 中国人民解放军海军航空大学 | 一种雷达目标运动状态的分类方法及*** |
| CN112862688A (zh) * | 2021-03-08 | 2021-05-28 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建模型及方法 |
| CN112950570A (zh) * | 2021-02-25 | 2021-06-11 | 昆明理工大学 | 一种结合深度学习与密集连续中心点的裂纹检测方法 |
| CN113066013A (zh) * | 2021-05-18 | 2021-07-02 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、***、装置及存储介质 |
| CN113095398A (zh) * | 2021-04-08 | 2021-07-09 | 西南石油大学 | 一种基于遗传算法优化的bp神经网络的压裂数据清洗方法 |
| CN113298717A (zh) * | 2021-06-08 | 2021-08-24 | 浙江工业大学 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
| CN113379598A (zh) * | 2021-05-20 | 2021-09-10 | 山东省科学院自动化研究所 | 基于残差通道注意力网络的太赫兹图像重建方法及*** |
| CN113421187A (zh) * | 2021-06-10 | 2021-09-21 | 山东师范大学 | 一种超分辨率重建方法、***、存储介质、设备 |
| CN113436155A (zh) * | 2021-06-16 | 2021-09-24 | 复旦大学附属华山医院 | 基于深度学习的超声臂丛神经图像识别方法 |
| CN113538235A (zh) * | 2021-06-30 | 2021-10-22 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN113616209A (zh) * | 2021-08-25 | 2021-11-09 | 西南石油大学 | 基于时空注意力机制的精神***症患者甄别方法 |
| CN113793267A (zh) * | 2021-09-18 | 2021-12-14 | 中国石油大学(华东) | 基于跨维度注意力机制的自监督单遥感图像超分辨率方法 |
| CN113902617A (zh) * | 2021-09-27 | 2022-01-07 | 中山大学·深圳 | 基于参考图像的超分辨率方法、装置、设备及介质 |
| CN114066873A (zh) * | 2021-11-24 | 2022-02-18 | 袁兰 | 一种利用ct图像检测骨质疏松的方法及装置 |
| CN114066727A (zh) * | 2021-07-28 | 2022-02-18 | 华侨大学 | 一种多阶段渐进式图像超分辨率方法 |
| CN114331830A (zh) * | 2021-11-04 | 2022-04-12 | 西安理工大学 | 一种基于多尺度残差注意力的超分辨率重建方法 |
| CN114494022A (zh) * | 2022-03-31 | 2022-05-13 | 苏州浪潮智能科技有限公司 | 模型训练方法、超分辨率重建方法、装置、设备及介质 |
| CN114821449A (zh) * | 2022-06-27 | 2022-07-29 | 松立控股集团股份有限公司 | 一种基于注意力机制的车牌图像处理方法 |
| CN115330635A (zh) * | 2022-08-25 | 2022-11-11 | 苏州大学 | 一种图像压缩伪迹移除方法、装置及存储介质 |
| CN117151990A (zh) * | 2023-06-28 | 2023-12-01 | 西南石油大学 | 一种基于自注意力编码解码的图像去雾方法 |
| CN118052811A (zh) * | 2024-04-10 | 2024-05-17 | 南京航空航天大学 | 一种基于nam-dssd模型的飞机蒙皮缺陷检测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903228A (zh) * | 2019-02-28 | 2019-06-18 | 合肥工业大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
-
2019
- 2019-12-19 CN CN201911319741.5A patent/CN110992270A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903228A (zh) * | 2019-02-28 | 2019-06-18 | 合肥工业大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| JUNCHENG LI ET AL: ""Multi-scale Residual Network for Image Super-Resolution"", 《ECCV》 * |
| YULUN ZHANG: ""Image Super-Resolution Using Very Deep Residual Channel Attention Networks"", 《ECCV 2018：COMPUTER VISION》 * |
| 王东飞: "基于通道注意力的卷积神经网络在图像超分辨率重建中的应用", 《广播与电视技术》 * |
| 陈书贞等: "利用多尺度卷积神经网络的图像超分辨率算法", 《信号处理》 * |
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738055A (zh) * | 2020-04-24 | 2020-10-02 | 浙江大学城市学院 | 多类别文本检测***和基于该***的票据表单检测方法 |
| CN111738055B (zh) * | 2020-04-24 | 2023-07-18 | 浙江大学城市学院 | 多类别文本检测***和基于该***的票据表单检测方法 |
| CN111598778A (zh) * | 2020-05-13 | 2020-08-28 | 云南电网有限责任公司电力科学研究院 | 一种绝缘子图像超分辨率重建方法 |
| CN111598778B (zh) * | 2020-05-13 | 2023-11-21 | 云南电网有限责任公司电力科学研究院 | 一种绝缘子图像超分辨率重建方法 |
| CN111667445A (zh) * | 2020-05-29 | 2020-09-15 | 湖北工业大学 | 一种基于Attention多特征融合的图像压缩感知重建方法 |
| CN111783792B (zh) * | 2020-05-31 | 2023-11-28 | 浙江大学 | 一种提取b超图像显著纹理特征的方法及其应用 |
| CN111783792A (zh) * | 2020-05-31 | 2020-10-16 | 浙江大学 | 一种提取b超图像显著纹理特征的方法及其应用 |
| CN111814863A (zh) * | 2020-07-03 | 2020-10-23 | 南京信息工程大学 | 一种轻量级车辆与行人的检测方法 |
| CN111915487A (zh) * | 2020-08-04 | 2020-11-10 | 武汉工程大学 | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 |
| CN111915487B (zh) * | 2020-08-04 | 2022-05-10 | 武汉工程大学 | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 |
| CN112085756A (zh) * | 2020-09-23 | 2020-12-15 | 清华大学苏州汽车研究院（相城） | 一种基于残差网络的道路图像多尺度边缘检测模型及方法 |
| CN112085756B (zh) * | 2020-09-23 | 2023-11-07 | 清华大学苏州汽车研究院（相城） | 一种基于残差网络的道路图像多尺度边缘检测模型及方法 |
| CN112215755A (zh) * | 2020-10-28 | 2021-01-12 | 南京信息工程大学 | 一种基于反投影注意力网络的图像超分辨率重建方法 |
| CN112381164A (zh) * | 2020-11-20 | 2021-02-19 | 北京航空航天大学杭州创新研究院 | 一种基于多分支注意力机制的超声图像分类方法和装置 |
| CN112347977B (zh) * | 2020-11-23 | 2021-07-20 | 深圳大学 | 一种诱导性多能干细胞的自动检测方法、存储介质及装置 |
| CN112347977A (zh) * | 2020-11-23 | 2021-02-09 | 深圳大学 | 一种诱导性多能干细胞的自动检测方法、存储介质及装置 |
| CN112419155A (zh) * | 2020-11-26 | 2021-02-26 | 武汉大学 | 一种全极化合成孔径雷达影像超分辨率重建方法 |
| CN112419155B (zh) * | 2020-11-26 | 2022-04-15 | 武汉大学 | 一种全极化合成孔径雷达影像超分辨率重建方法 |
| CN112686297A (zh) * | 2020-12-29 | 2021-04-20 | 中国人民解放军海军航空大学 | 一种雷达目标运动状态的分类方法及*** |
| CN112950570A (zh) * | 2021-02-25 | 2021-06-11 | 昆明理工大学 | 一种结合深度学习与密集连续中心点的裂纹检测方法 |
| CN112950570B (zh) * | 2021-02-25 | 2022-05-17 | 昆明理工大学 | 一种结合深度学习与密集连续中心点的裂纹检测方法 |
| CN112862688A (zh) * | 2021-03-08 | 2021-05-28 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建模型及方法 |
| CN112862688B (zh) * | 2021-03-08 | 2021-11-23 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建***及方法 |
| CN113095398A (zh) * | 2021-04-08 | 2021-07-09 | 西南石油大学 | 一种基于遗传算法优化的bp神经网络的压裂数据清洗方法 |
| CN113095398B (zh) * | 2021-04-08 | 2022-07-12 | 西南石油大学 | 一种基于遗传算法优化的bp神经网络的压裂数据清洗方法 |
| CN113066013A (zh) * | 2021-05-18 | 2021-07-02 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、***、装置及存储介质 |
| CN113379598B (zh) * | 2021-05-20 | 2023-07-14 | 山东省科学院自动化研究所 | 基于残差通道注意力网络的太赫兹图像重建方法及*** |
| CN113379598A (zh) * | 2021-05-20 | 2021-09-10 | 山东省科学院自动化研究所 | 基于残差通道注意力网络的太赫兹图像重建方法及*** |
| CN113298717A (zh) * | 2021-06-08 | 2021-08-24 | 浙江工业大学 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
| CN113421187B (zh) * | 2021-06-10 | 2023-01-03 | 山东师范大学 | 一种超分辨率重建方法、***、存储介质、设备 |
| CN113421187A (zh) * | 2021-06-10 | 2021-09-21 | 山东师范大学 | 一种超分辨率重建方法、***、存储介质、设备 |
| CN113436155A (zh) * | 2021-06-16 | 2021-09-24 | 复旦大学附属华山医院 | 基于深度学习的超声臂丛神经图像识别方法 |
| CN113436155B (zh) * | 2021-06-16 | 2023-12-19 | 复旦大学附属华山医院 | 基于深度学习的超声臂丛神经图像识别方法 |
| CN113538235A (zh) * | 2021-06-30 | 2021-10-22 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN113538235B (zh) * | 2021-06-30 | 2024-01-09 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN114066727A (zh) * | 2021-07-28 | 2022-02-18 | 华侨大学 | 一种多阶段渐进式图像超分辨率方法 |
| CN113616209A (zh) * | 2021-08-25 | 2021-11-09 | 西南石油大学 | 基于时空注意力机制的精神***症患者甄别方法 |
| CN113616209B (zh) * | 2021-08-25 | 2023-08-04 | 西南石油大学 | 基于时空注意力机制的精神***症患者甄别方法 |
| CN113793267B (zh) * | 2021-09-18 | 2023-08-25 | 中国石油大学(华东) | 基于跨维度注意力机制的自监督单遥感图像超分辨率方法 |
| CN113793267A (zh) * | 2021-09-18 | 2021-12-14 | 中国石油大学(华东) | 基于跨维度注意力机制的自监督单遥感图像超分辨率方法 |
| CN113902617A (zh) * | 2021-09-27 | 2022-01-07 | 中山大学·深圳 | 基于参考图像的超分辨率方法、装置、设备及介质 |
| CN114331830A (zh) * | 2021-11-04 | 2022-04-12 | 西安理工大学 | 一种基于多尺度残差注意力的超分辨率重建方法 |
| CN114066873A (zh) * | 2021-11-24 | 2022-02-18 | 袁兰 | 一种利用ct图像检测骨质疏松的方法及装置 |
| CN114494022A (zh) * | 2022-03-31 | 2022-05-13 | 苏州浪潮智能科技有限公司 | 模型训练方法、超分辨率重建方法、装置、设备及介质 |
| CN114494022B (zh) * | 2022-03-31 | 2022-07-29 | 苏州浪潮智能科技有限公司 | 模型训练方法、超分辨率重建方法、装置、设备及介质 |
| CN114821449A (zh) * | 2022-06-27 | 2022-07-29 | 松立控股集团股份有限公司 | 一种基于注意力机制的车牌图像处理方法 |
| CN115330635B (zh) * | 2022-08-25 | 2023-08-15 | 苏州大学 | 一种图像压缩伪迹移除方法、装置及存储介质 |
| CN115330635A (zh) * | 2022-08-25 | 2022-11-11 | 苏州大学 | 一种图像压缩伪迹移除方法、装置及存储介质 |
| CN117151990A (zh) * | 2023-06-28 | 2023-12-01 | 西南石油大学 | 一种基于自注意力编码解码的图像去雾方法 |
| CN117151990B (zh) * | 2023-06-28 | 2024-03-22 | 西南石油大学 | 一种基于自注意力编码解码的图像去雾方法 |
| CN118052811A (zh) * | 2024-04-10 | 2024-05-17 | 南京航空航天大学 | 一种基于nam-dssd模型的飞机蒙皮缺陷检测方法 |
| CN118052811B (zh) * | 2024-04-10 | 2024-06-11 | 南京航空航天大学 | 一种基于nam-dssd模型的飞机蒙皮缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992270A (zh) | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN111260586B (zh) | 扭曲文档图像的矫正方法和装置 | |
| CN110059768B (zh) | 用于街景理解的融合点与区域特征的语义分割方法及*** | |
| CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN115482241A (zh) | 一种跨模态双分支互补融合的图像分割方法及装置 | |
| Zhang et al. | Image super-resolution reconstruction based on sparse representation and deep learning | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN112507997A (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** | |
| CN112215755B (zh) | 一种基于反投影注意力网络的图像超分辨率重建方法 | |
| CN112258526A (zh) | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 | |
| CN106408550A (zh) | 一种改进的自适应多字典学习的图像超分辨率重建方法 | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和*** | |
| CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN111402128A (zh) | 一种基于多尺度金字塔网络的图像超分辨率重建方法 | |
| CN112001928A (zh) | 一种视网膜血管分割方法及*** | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| CN113706388A (zh) | 图像超分辨率重建方法及装置 | |
| Chen et al. | RBPNET: An asymptotic Residual Back-Projection Network for super-resolution of very low-resolution face image | |
| CN113689517A (zh) | 一种多尺度通道注意力网络的图像纹理合成方法及*** | |
| CN114998671A (zh) | 基于卷积掩码的视觉特征学习器、获取装置及存储介质 | |
| CN117593187A (zh) | 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法 | |
| CN111428809B (zh) | 基于空间信息融合与卷积神经网络的人群计数方法 | |
| CN117173404A (zh) | 一种基于深度学习的遥感目标自动检测及隐藏方法 | |
| CN111814693A (zh) | 一种基于深度学习的海上船舶识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |