CN117078511A - 一种基于超图卷积的单图像超分辨率重建方法和*** - Google Patents
一种基于超图卷积的单图像超分辨率重建方法和*** Download PDFInfo
- Publication number
- CN117078511A CN117078511A CN202310535215.2A CN202310535215A CN117078511A CN 117078511 A CN117078511 A CN 117078511A CN 202310535215 A CN202310535215 A CN 202310535215A CN 117078511 A CN117078511 A CN 117078511A
- Authority
- CN
- China
- Prior art keywords
- features
- feature
- convolution
- spatial
- hypergraph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003993 interaction Effects 0.000 claims abstract description 39
- 230000000694 effects Effects 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 1
- 238000004451 qualitative analysis Methods 0.000 abstract description 3
- 238000004445 quantitative analysis Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于超图卷积的单图像超分辨率重建方法和***，包含主干网络、空间特征交互模块和特征前传模块。主干网络由多个通道注意力残差模块组堆叠而成，提取低分辨图像的特征；空间特征交互模块是基于超图卷积的特征交互模块，从空间结构充分利用特征之间的相关性，同时能够捕获远距离特征之间的复杂关系，增强特征的表达能力；特征前传模块利用主干网络中的中间特征，采用非局部哈希注意力进一步进行特征的融合，使网络能够利用到中间特征中有价值的细节信息，帮助重建具有更加丰富的纹理信息的超分辨率图像。本发明整体网络架构清晰，具有优异的重建性能，在定量分析和定性分析上的对比也展现了显著的优越性，实现更精细的图像重建效果。
Description
技术领域
本发明属于计算机视觉研究技术领域，更具体地说，特别涉及一种基于超图卷积的单图像超分辨率重建方法和***。
背景技术
单图像超分辨率重建是从单张低分辨率图像中恢复出高分辨率图像，甚至比原始图像更高的分辨率，以提高图像质量。随着深度学习等研究领域的快速发展，超分辨率重建技术在许多领域也有着举足轻重的作用，具有广泛的现实应用，它被广泛应用于医学影像领域、遥感影响领域和安防监控领域等。单图像超分辨率重建的关键在于如何能够从低分辨率图像中提取有效的纹理信息，重建具有更精细纹理特征的图像。
在现实生活中，尽管人们可以很方便的利用相机、手机、监控摄像等设备采集图像，但是这些图像的质量往往会受到设备精度过低、成像过程中受外部环境干扰、图像传输和接受过程中存在多种噪声等各种因素影响，导致图像的质量与预期存在偏差。这正是超分辨率重建技术兴起并日益发展的原因所在。卷积神经网络的提出使得超分辨率重建任务有了前所未有的成就，深度学习技术的优势，在于它可以从有限的数据集中学习到更加复杂的特征，从而使得单图像超分辨率技术的性能得到了显著的提升。
尽管基于CNN的图像超分辨率重建算法取得了重大的突破，但仍然存在一些不足。现有的基于CNN的方法更多的关注网络的深度，而忽略了网络中间层所提取到的特征，从而丢失了一些细节信息。同时，当前方法通常利用了网络中间层的所有信息，这些信息中包含有用信息和无用信息，利用全部信息则会引入大量的冗余特征，这极大地浪费了计算资源，限制了网络的表达能力。此外，现有的基于CNN的模型没有考虑图像在空间结构上的相关性来实现特征的相互增强，图像内部复杂的空间关系同样能增强纹理细节。
发明内容
为了解决以上出现的问题，本发明提供一种基于超图卷积的单图像超分辨率重建网络，本发明的网络模型充分利用了卷积神经网络提取的中间层中有用的特征，并且对提取到的特征进一步增强，提高了网络的表达能力。
具体而言，本发明引入超图卷积设计一种空间特征交互模块来增强特征，减少图像中伪影的出现。同时，中间特征虽然包含丰富的高频信息，有利于重建特征，但是，并不是所有的中间特征都是有用信息，其中同样包含有噪声信息，因此，本发明利用特征前传模块，通过一种非局部哈希注意力来融合中间特征，尽可能多的利用中间特征中最有意义的特征信息，从而实现更好的重建效果。本发明的模型主要由以下三个关键部分组成：1)本发明引入了超图卷积，设计了空间特征交互模块，通过改进超图卷积的关联矩阵来充分利用特征图的空间结构之间的关系，实现图像中空间特征的交互，重建更加清晰的细节信息。同时可以建模远距离特征之间的复杂关系。采用超图卷积的目的在于对特征内的复杂关系进行建模来增强提取的特征。2)本发明设计了一个特征前传模块，融合主干网络提取的中间特征，利用有价值的特征信息。3)本发明设计了一个非局部哈希注意力，利用了局部敏感哈希方法，使得非局部注意力具有一定的稀疏性和高效性，从而能够使特征前传模块抑制无价值的特征信息，充分利用有价值的特征信息。经过本发明大量的实验结果表明，本发明的模型能很好地重建超分辨率图像，尤其是在条纹信息上，重建的效果都优于其他的算法。不论在定性分析还是定量分析上，本发明的方法对比当前大多超分辨率重建算法都有更好的表现。
本发明一种基于超图卷积的单图像超分辨率重建网络的目的与功效，由以下具体技术手段所达成：
一种基于超图卷积的单图像超分辨率重建方法，其步骤包括：
将低分辨率图像作为输入，经过主干网络提取中间特征；
将主干网络提取的最后一层特征输入到空间特征交互模块中，空间特征交互模块捕获空间结构中特征之间的复杂关系，经过超图卷积处理来细化特征，得到具有丰富空间纹理信息的特征；
将主干网络提取的中间特征输入到特征前传模块中，特征前传模块采用非局部哈希注意力抑制中间特征中不重要的特征信息，只利用有价值的特征向下传播，提升纹理细节重建效果；
将空间特征交互模块和特征前传模块处理的特征送入到重建模块中，获得最终的超分辨率图像。
一种基于超图卷积的单图像超分辨率重建***，其包含主干网络、空间特征交互模块和特征前传模块；所述主干网络由多个通道注意力残差模块组堆叠而成，提取低分辨图像的特征；所述空间特征交互模块是基于超图卷积的特征交互模块，从空间结构充分利用特征之间的相关性，同时能够捕获远距离特征之间的复杂关系，增强特征的表达能力；所述特征前传模块利用主干网络中的中间特征，采用非局部哈希注意力进一步进行特征的融合，使网络能够利用到中间特征中有价值的细节信息，帮助重建具有更加丰富的纹理信息的超分辨率图像。
进一步地，所述主干网络是由多个通道注意力残差模块组堆叠而成，是一种残差中包含残差的结构，并采用通道注意力，调整通道特征之间的相互依赖。
进一步地，所述空间特征交互模块是基于超图卷积获取空间特征复杂关系的特征增强模块，通过改进超图卷积中的关联矩阵，实现更好的超边连接，从而能够捕获空间特征之间复杂的内部关系。利用关联矩阵收集节点特征形成超边特征，通过矩阵计算聚合相关超边特征获得输出的节点特征，实现节点-超边-节点的变换，能够更好的细化特征，有效的提升重建效果。
进一步地，本发明引入超图卷积设计了空间特征交互模块，先前的研究将超图卷积定义为：
其中，Xi+1表示经过超图卷积处理后的输出信号，Xi表示超图卷积的输入信号，使用关联矩阵H，顶点度D和超边度B来计算超图卷积，其中ε为可学习的参数，σ为激活函数，W是包含每条边的权重的对角矩阵。关联矩阵对于超图节点之间的信息共享具有重要作用。因此，为了能够更好的在空间结构中捕获图像细节信息，本发明改进了超图卷积的关联矩阵H∈Rnxn，设置n＝HxW，HxW表示输入特征的空间位置的数量。对于关联矩阵H，主要采取点积的方法来计算H，点积在CNN中有更真实的表现。H通过计算每个节点在每个超边中的贡献来建模节点之间的关系，并且通过一个较大核的卷积来捕获长距离的内部空间特征的相关性。
进一步地，所述空间特征交互模块主要由三条分支组成，由主干网络提取的最后一层特征FN∈Rh×w×c作为输入，首先通过第一条分支的1x1卷积进行线性嵌入，得到Ma。
Ma＝Conv1×1(FN)
然后，在第二个分支中，先用一个全局平均池化GAP()求均值，再进行一个1x1卷积的线性嵌入操作，改变输入特征的维度。Diag()对角化操作可以更好的学习关联矩阵的距离度量。接着依次与第一条分支的线性嵌入结果和其转置后的矩阵做矩阵乘法，帮助学习节点之间更好的距离关系，得到结果Mb。
为了能够更好实现超边连接，建模长距离节点的关系，在第三条分支，本发明使用了7x7的卷积核。
Mc＝Conv7×7(FN)
最后将第三条分支与第二条分支的结果进行矩阵相乘得到最终的关联矩阵H。
H＝Mb×Mc
接下来进行超图卷积的计算，将空间特征转换为图结构。本发明对主干网络提取的最后一层特征FN∈Rh×w×c作为输入，进行reshape(维度变换)，得到维度变换后的输入特征F′N∈Rhw×c，即将每个空间特征视为一个节点，作为超图卷积的输入信号，根据超图卷积的以下计算公式进行计算，得到空间特征交互模块输出的特征Fs。
Fs＝P(F′N)
进一步地，所述特征前传模块是利用主干网络中提取的中间特征，采用了非局部哈希注意力融合中间特征。非局部哈希注意力具有一定的稀疏性和高效性，能够使网络忽略中间特征中的噪声信息，利用到有价值的信息。从而使得中间特征中有意义的细节信息也能被网络利用到，帮助超分辨率重建更精细的纹理细节。
本发明至少具有以下有益效果：
本发明提供了一种基于超图卷积的单图像超分辨率重建网络，可以重建更清晰纹理细节的超分辨率图像。本发明提出一种基于超图卷积的空间交互模块，通过改进超图卷积的关联矩阵来实现更好的超边连接，从而能够捕获空间特征之间复杂的内部关系。利用关联矩阵收集节点特征形成超边特征，通过矩阵计算聚合相关超边特征获得输出的节点特征，实现节点-超边-节点的变换，能够更好的细化特征，有效的提升重建效果。本发明设计了特征前传模块，是利用主干网络中提取的中间特征，采用了非局部哈希注意力融合中间特征。非局部哈希注意力具有一定的稀疏性和高效性，能够使网络忽略中间特征中的噪声信息，利用到有价值的信息。从而使得中间特征中有意义的细节信息也能被网络利用到，帮助超分辨率重建更精细的纹理细节。
附图说明
图1为本发明的网络模型图；其中Conv表示卷积，Upsample表示上采样层。
图2为本发明的空间特征交互模块图；其中GAP表示全局平均池化，Transpose表示矩阵转置，reshape表示维度变换，Diag表示矩阵对角化。
图3为本发明的特征前传模块图；
图4为本发明的非局部哈希注意力模块图；
图5本发明的空间特征交互模块消融效果和特征前传模块消融效果对比图；
图6为本发明的超分辨率重建效果对比图。
具体实施方式
下面通过实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例：
本发明提供一种基于超图卷积的单图像超分辨率重建***，该***采用的超分辨率重建网络包含有主干网络、空间特征交互模块(SFIM)和特征前传模块(FFM)，如图1所示。主干网络是由多个通道注意力残差模块组(CARMG-N)堆叠而成，通道注意力残差模块组(CARMG-N)中包含多个通道注意力残差模块(CARM)，将每一个通道注意力残差模块组提取的特征作为中间特征。通道注意力残差模块包含一个残差块和一个通道注意力机制，用来捕捉输入特征中通道之间的关系；空间特征交互模块是一种基于超图卷积的特征交互模块，从空间结构充分利用特征之间的相关性，同时能够捕获远距离特征之间的复杂关系，增强特征的表达能力；特征前传模块利用主干网络中的中间特征，采用非局部哈希注意力(NLHA)进一步进行特征的融合，使网络能够利用到中间特征中有价值的细节信息，帮助重建具有更加丰富的纹理信息的超分辨率图像。
进一步的，主干网络是由多个通道注意力残差模块组堆叠而成，提取低分辨图像的中间特征。其中通道注意力残差模块组是由多个通道注意力残差模块构成，通道注意力残差模块包含一个残差块和一个通道注意力机制，残差块接收低分辨率图像作为输入，并通过多个卷积层提取特征；通道注意力机制被用来捕捉输入特征图中的通道之间的关系，通过全局平均池化将每个通道的平均值作为其重要性的度量，然后经过一个全连接层将度量与通道特征相乘，以加权重要的特征。
进一步的，本发明设计了一种空间特征交互模块，是基于超图卷积获取空间特征复杂关系的特征增强模块，通过改进超图卷积中的关联矩阵，实现更好的超边连接，从而能够捕获空间特征之间复杂的内部关系。利用关联矩阵收集节点特征形成超边特征，通过矩阵计算聚合相关超边特征获得输出的节点特征，实现节点-超边-节点的变换，能够更好的细化特征，有效的提升重建效果。
进一步的，本发明设计了一种特征前传模块，能够融合主干网络提取的中间特征，充分利用网络中有用的特征信息。
进一步的，本发明设计了一个非局部哈希注意力，利用了局部敏感哈希方法，使得非局部注意力具有一定的稀疏性和高效性，从而能够使特征前传模块抑制无价值的特征信息，充分利用有价值的特征信息。经过本发明大量的实验结果表明，本发明的模型能很好地重建超分辨率图像，尤其是在条纹信息上，重建的效果都优于其他的算法。不论在定性分析还是定量分析上，本发明的方法对比当前大多超分辨率重建算法都有更好的表现。
本实施例的一种基于超图卷积的单图像超分辨率重建方法，如图1所示，所述方法的步骤为：
一、将低分辨率图像ILR作为输入，通过一个卷积层提取浅层特征F0，再经过主干网络提取中间特征F1～FN；
二、将主干网络提取的最后一层特征输入到空间特征交互模块中，捕获空间结构中特征之间的复杂关系，经过超图卷积处理来细化特征，得到具有丰富空间纹理信息的特征；
三、将主干网络提取的中间特征输入到特征前传模块当中，利用非局部哈希注意力充分利用中间特征，采用非局部哈希注意力，抑制中间特征中不重要的特征信息，只利用有价值的特征向下传播，提升纹理细节重建效果；
四、将空间特征交互模块处理的特征Fs和特征前传模块处理的特征Fa送入到重建模块中，获得最终的超分辨率图像ISR。如图1所示，重建模块对Fs和Fa进行拼接，再通过一个亚像素卷积进行上采样操作，从而获得最终的超分辨率图像ISR。
所述步骤二中，引入超图卷积设计了空间特征交互模块，先前的研究将超图卷积定义为。
使用关联矩阵H，顶点度D和超边度B来计算超图卷积，其中ε为可学习的参数，σ为激活函数，W是包含每条边的权重的对角矩阵。关联矩阵对于超图节点之间的信息共享具有重要作用。因此，为了能够更好的在空间结构中捕获图像细节信息，本发明改进了超图卷积的关联矩阵H∈Rnxn，设置n＝HxW，HxW表示输入特征的空间位置的数量。对于关联矩阵H，主要采取点积的方法来计算H，点积在CNN中有更真实的表现。H通过计算每个节点在每个超边中的贡献来建模节点之间的关系，并且通过一个较大核的卷积来捕获长距离的内部空间特征的相关性。
如图2所示，空间特征交互模块主要由三条分支组成，由主干网络提取的最后一层特征FN∈Rh×w×c作为输入，首先通过第一条分支的1x1卷积进行线性嵌入，得到Ma。
Ma＝Conv1×1(FN)
然后，在第二个分支中，先用一个全局平均池化GAP()求均值，再进行一个1x1卷积的线性嵌入操作，改变输入特征的维度。Diag()对角化操作可以更好的学习关联矩阵的距离度量。接着依次与第一条分支的线性嵌入结果和其转置(Transpose)后的矩阵做矩阵乘法，帮助学习节点之间更好的距离关系，得到结果Mb。
为了能够更好实现超边连接，建模长距离节点的关系，在第三条分支，本发明使用了7x7的卷积核。
Mc＝Conv7×7(FN)
最后将第三条分支与第二条分支的结果进行矩阵相乘得到最终的关联矩阵H。
H＝Mb×Mc
接下来进行超图卷积的计算，将空间特征转换为图结构。本发明对主干网络提取的最后一层特征FN∈Rh×w×c作为输入，进行reshape(维度变换)，得到维度变换后的输入特征F′N∈Rhw×c，即将每个空间特征视为一个节点，作为超图卷积计算的输入信号，根据超图卷积的以下计算公式进行计算。
Fs＝P(F′N)
图3为本发明的特征前传模块图。如该图所示，输入为通道注意力残差模块组提取的中间特征F1～FN，将中间特征进行通道维度的拼接得到拼接后的特征图，再通过非局部哈希注意力来聚合拼接后的中间特征，最终得到输出特征Fa。
图4为本发明的非局部哈希注意力模块图。如该图所示，本发明采用多超平面局部敏感哈希的方法，利用多个超平面将球体划分为多个哈希桶。将张量投影到球体中，然后进行随机旋转。那么，如果两个点的角距离很远，哈希后的结果大概率不会在同一个哈希桶中，对于较近的角距离，它们很可能落入同一个哈希桶中，则这两点具有相似性。本发明将哈希码定义为S(x)＝argmaxi(x')，表示经过随机旋转后的x'取最大值时的x值保存在S(x)集合中，作为哈希码，则可以把空间划分为包含相关元素的哈希桶。
本发明将这种思想应用到注意力机制中，注意力机制表示为：
其中，Q、K、V分别表示查询、键、值。由于要计算QKT，其计算复杂度高，为了减少其复杂度，可以使用局部敏感哈希的方法，对于一个查询Q只寻找其周围的K值进行运算。接着，将注意力桶进行排序，为了达到并行性，需要保证每个哈希桶中块的个数是相等的，因此，再次进行块的拆分，最后本发明对于每个查询Q只需注意Q本身的块以及相邻的块。这样，就减少了计算复杂度，同时保证了一种稀疏性，对于多层中间特征，只利用其中有效的信息。
图5为本发明的空间特征交互模块消融效果和特征前传模块消融效果对比图。其中第1～5列分别是高分辨率图像Image、高分辨率图像块HR、空间特征交互模块重建效果HCSR-SFIM、特征前传模块重建效果HCSR-FFM、本发明总体重建效果HCSR。可以看出，本发明中的每一个模块都对图像纹理信息进行了很好的重建，能够较好的避免伪影、模糊现象。
图6为本发明的超分辨率重建效果对比图。其中左侧图片是高分辨率图像，右侧是经过多种方法处理后的图像块。可以看出，大多数方法使图像出现线条与线条之间扭曲、重叠和线条边界不清晰的情况。而本发明对于图像中的线条具有更好的重建效果，并且，基本保持图像的原始结构以及纹理信息。
本发明的另一实施例提供一种计算机设备(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。
本发明未详述之处，均为本领域技术人员的公知技术。
本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施。
Claims (9)
1.一种基于超图卷积的单图像超分辨率重建方法，其特征在于，包括以下步骤：
将低分辨率图像作为输入，经过主干网络提取中间特征；
将主干网络提取的最后一层特征输入到空间特征交互模块中，空间特征交互模块捕获空间结构中特征之间的复杂关系，经过超图卷积处理来细化特征，得到具有丰富空间纹理信息的特征；
将主干网络提取的中间特征输入特征前传模块中，特征前传模块采用非局部哈希注意力抑制中间特征中不重要的特征信息，只利用有价值的特征向下传播，提升纹理细节重建效果；
将空间特征交互模块和特征前传模块处理的特征送入到重建模块中，获得最终的超分辨率图像。
2.根据权利要求1所述的方法，其特征在于，所述主干网络由多个通道注意力残差模块组堆叠而成，提取低分辨图像的中间特征；所述通道注意力残差模块组由多个通道注意力残差模块构成，所述通道注意力残差模块包含一个残差块和一个通道注意力机制，残差块接收低分辨率图像作为输入，并通过多个卷积层提取特征；通道注意力机制被用来捕捉输入特征图中的通道之间的关系，通过全局平均池化将每个通道的平均值作为其重要性的度量，然后经过一个全连接层将度量与通道特征相乘，以加权重要的特征。
3.根据权利要求1所述的方法，其特征在于，所述空间特征交互模块是基于超图卷积获取空间特征复杂关系的特征增强模块，通过改进超图卷积中的关联矩阵，实现更好的超边连接，从而能够捕获空间特征之间复杂的内部关系，并利用关联矩阵收集节点特征形成超边特征，通过矩阵计算聚合相关超边特征获得输出的节点特征，实现节点-超边-节点的变换。
4.根据权利要求3所述的方法，其特征在于，所述空间特征交互模块中，将超图卷积定义为：
其中，Xi+1表示经过超图卷积处理后的输出信号，Xi表示超图卷积的输入信号，使用关联矩阵H、顶点度D和超边度B来计算超图卷积，其中ε为可学习的参数，σ为激活函数，W是包含每条边的权重的对角矩阵；改进超图卷积的关联矩阵H∈Rnxn，设置n＝HxW，HxW表示输入特征的空间位置的数量，H通过计算每个节点在每个超边中的贡献来建模节点之间的关系，并且通过一个较大核的卷积来捕获长距离的内部空间特征的相关性。
5.根据权利要求4所述的方法，其特征在于，所述空间特征交互模块包含三条分支，其中：
由主干网络提取的最后一层特征FN作为输入，首先通过第一条分支的1x1卷积进行线性嵌入，得到Ma；
在第二条分支中，先用一个全局平均池化求均值，再进行一个1x1卷积的线性嵌入操作，改变输入特征的维度，通过对角化操作更好的学习关联矩阵的距离度量；接着依次与第一条分支的线性嵌入结果和其转置后的矩阵做矩阵乘法，帮助学习节点之间更好的距离关系，得到结果Mb；
在第三条分支中，使用7x7的卷积核以更好地实现超边连接，建模长距离节点的关系，得到结果Mc；
将第三条分支的结果Mc与第二条分支的结果Mb进行矩阵相乘得到最终的关联矩阵H；
然后进行超图卷积的计算，将主干网络提取的最后一层特征FN作为输入，进行维度变换，得到维度变换后的输入特征F′N，作为超图卷积的输入信号，根据超图卷积的计算公式Fs＝P(F′N)进行计算，得到空间特征交互模块输出的特征Fs。
6.根据权利要求1所述的方法，其特征在于，所述特征前传模块是利用主干网络中提取的中间特征，采用非局部哈希注意力融合中间特征；所述非局部哈希注意力具有一定的稀疏性和高效性，能够使网络忽略中间特征中的噪声信息，利用到有价值的信息，使得中间特征中有意义的细节信息也能被网络利用到，帮助超分辨率重建更精细的纹理细节。
7.一种基于超图卷积的单图像超分辨率重建***，其特征在于，包括主干网络、空间特征交互模块和特征前传模块；所述主干网络由多个通道注意力残差模块组堆叠而成，提取低分辨图像的特征；所述空间特征交互模块是基于超图卷积的特征交互模块，从空间结构充分利用特征之间的相关性，同时能够捕获远距离特征之间的复杂关系，增强特征的表达能力；所述特征前传模块利用主干网络中的中间特征，采用非局部哈希注意力进一步进行特征的融合，使网络能够利用到中间特征中有价值的细节信息，帮助重建具有更加丰富的纹理信息的超分辨率图像。
8.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～6中任一项所述方法的指令。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310535215.2A CN117078511A (zh) | 2023-05-12 | 2023-05-12 | 一种基于超图卷积的单图像超分辨率重建方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310535215.2A CN117078511A (zh) | 2023-05-12 | 2023-05-12 | 一种基于超图卷积的单图像超分辨率重建方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117078511A true CN117078511A (zh) | 2023-11-17 |
Family
ID=88706762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310535215.2A Pending CN117078511A (zh) | 2023-05-12 | 2023-05-12 | 一种基于超图卷积的单图像超分辨率重建方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078511A (zh) |
-
2023
- 2023-05-12 CN CN202310535215.2A patent/CN117078511A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Ultra-dense GAN for satellite imagery super-resolution | |
| CN112308200B (zh) | 神经网络的搜索方法及装置 | |
| CN115690324A (zh) | 一种基于点云的神经辐射场重建优化方法及装置 | |
| CN111105352A (zh) | 超分辨率图像重构方法、***、计算机设备及存储介质 | |
| CN111815516B (zh) | 一种弱监督红外遥感图像超分辨率重建方法 | |
| CN110570351B (zh) | 一种基于卷积稀疏编码的图像超分辨率重建方法 | |
| CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| Sun et al. | Multiscale generative adversarial network for real‐world super‐resolution | |
| CN113792641A (zh) | 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法 | |
| CN113469884A (zh) | 基于数据仿真的视频超分辨方法、***、设备及存储介质 | |
| CN116797461A (zh) | 基于多级强化注意力机制的双目图像超分辨率重建方法 | |
| CN114757862B (zh) | 用于红外光场设备的图像增强渐进式融合方法 | |
| CN114463176B (zh) | 基于改进esrgan的图像超分辨重建方法 | |
| CN117635428A (zh) | 一种肺部ct图像超分辨重建方法 | |
| Pang et al. | Lightweight multi-scale aggregated residual attention networks for image super-resolution | |
| Yang et al. | Variation learning guided convolutional network for image interpolation | |
| Dong et al. | Remote sensing image super-resolution via enhanced back-projection networks | |
| CN116385265B (zh) | 一种图像超分辨率网络的训练方法及装置 | |
| CN116777745A (zh) | 一种基于稀疏自适应聚类的图像超分辨率重建方法 | |
| CN117114987A (zh) | 基于亚像素和梯度引导的光场图像超分辨率重建方法 | |
| CN116630152A (zh) | 图像分辨率重建方法、装置、存储介质及电子设备 | |
| CN117078511A (zh) | 一种基于超图卷积的单图像超分辨率重建方法和*** | |
| CN116266336A (zh) | 视频超分辨率重建方法、装置、计算设备及存储介质 | |
| CN115861062A (zh) | 多尺度学习小波注意力机制网络及图像超分辨率重建方法 | |
| CN113191947B (zh) | 一种图像超分辨率的方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |