CN111833246A - 基于注意力级联网络的单帧图像超分辨方法 - Google Patents
基于注意力级联网络的单帧图像超分辨方法 Download PDFInfo
- Publication number
- CN111833246A CN111833246A CN202010489160.2A CN202010489160A CN111833246A CN 111833246 A CN111833246 A CN 111833246A CN 202010489160 A CN202010489160 A CN 202010489160A CN 111833246 A CN111833246 A CN 111833246A
- Authority
- CN
- China
- Prior art keywords
- attention
- stage
- module
- convolution
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000001965 increasing effect Effects 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 230000000295 complement effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000001737 promoting effect Effects 0.000 claims abstract description 3
- 230000008447 perception Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于注意力级联网络的单帧图像超分辨方法,通过多阶段注意力增强网络多阶段处理实现;浅层特征提取阶段,利用一个浅层特征提取卷积层从低分辨率图像中提取浅层特征,深层特征提取与融合阶段,利用深层级联残差U‑net结构的主网络在浅层特征基础上进行深层特征提取与融合,使用长、短跳连接促进低频信息流动;尺度增加阶段,利用尺度增加网络对深层特征上采样;上采样后再卷积操作,映射成高分辨率图像。本发明可以充分利用多个表示阶段的互补信息来生成逼真的图像。
Description
技术领域
本发明涉及单帧图像超分辨技术领域,特别是涉及一种基于注意力级联网络的单帧图像超分辨方法。
背景技术
单帧图像超分辨(SISR)旨在从低分辨率(LR)输入图像中重建高分辨率(HR)图像。对于同一LR图像,由于HR图像估计具有多种解决方案,因此SISR是个典型的不适定反问题。另外,包括噪声和模糊在内的成像质量下降问题将使HR图像的恢复过程更加困难。因此有必要探索可靠的自然图像先验知识,甚至是HR-LR对的正确映射,以找到具有高视觉质量的最佳HR解决方案。
早期插值方法通过用各种插值内核来预测未知像素值来生成HR图像,但由于对相邻像素加权的过程易于擦除高频图像分量,因此它们的内插性能受限制。为提供更多有用信息,基于重构的方法采用各种正则化术语作为先验知识。但它们仍然很难恢复精细的结构和纹理。为获得更好感知质量,已通过从HR-LR示例图像或共现补丁对中学习映射关系来解决SR问题,但它们的建模能力相对于大量训练数据仍然有限,将限制重建质量提高。
当前,用于SR任务的深度学习技术已比以前的SR方法取得了更加优越的性能。由于以纯数据驱动的方式,具有端到端训练模式的深度卷积神经网络(CNN)具有强大的特征表示能力。目前有一系列基于CNN的SISR方法,以从LR输入及其对应的HR输出中学习映射函数。但大多数基于CNN的SR模型主要着眼于设计更深或更广的网络以学习更多区分性的高级特征,忽略了跨不同尺度和通道的特征交互,因此缺乏固有特征的表示能力,且限制了图像SR结果的准确性和稳定性。
发明内容
本发明的目的是针对现有技术中的问题,为进一步提高SISR性能,而提供一种基于注意力级联网络的单帧图像超分辨方法,通过多阶段注意力增强网络(AHN)的多阶段特征学习策略,可以获得更优越的SR结果。
为实现本发明的目的所采用的技术方案是:
一种基于注意力级联网络的单帧图像超分辨方法,通过多阶段注意力增强网络多阶段处理实现;浅层特征提取阶段,利用一个浅层特征提取卷积层从低分辨率图像中提取浅层特征,深层特征提取与融合阶段,利用深层级联残差U-net结构的主网络在浅层特征基础上进行深层特征提取与融合,使用长、短跳连接促进低频信息流动;尺度增加阶段,利用尺度增加网络对深层特征上采样;上采样后再卷积操作,映射成高辨率图像:其中,
主网络包括多G个顺序连接的深层级联残差模块CRG与一个末端卷积层,深层级联残差模块CRG依次设置一个内容感知模块CAM、多个顺序连接的方向感知模块OAM及末端一个内部卷积模块;第g个深层级联残差模块CRG输出如下:
Fg=Fg-1+Fg,B=Hg(Fg-1),
其中Fg-1和Fg分别表示第g个深层级联残差模块CRG的输入和输出,Fg,B表示方向感知模块OAM的输出,Hg(·)表示第g个CRG函数;
深层特征通过以下式得到,
FDF=F0+HDF(FG),
其中,FG是在主网络尾部提取的CRG特征图,HDF(·)是卷积操作,F0是提取到的浅层特征。
尺度增加网络由位置感知模块PAM与像素混洗模块依次连接构成,位置感知模块PAM通过自注意力机制来实现,以增强图像纹理和细节的中高频特征响应;像素混洗将通道空间的深度重塑为空间的宽度和高度。
其中,内容感知模块CAM为三层深度网络结构;收缩路径中,通过卷积操作将输入的特征图进行两次下采样,扩展路径中,通过带有像素混洗操作的卷积层将下采样后的特征图上采样,然后与相同级别的空间注意力模块SAB的输出特征拼接:内容感知模块CAM第m级别的输出特征表示为
其中,空间注意力模块SAB,用于通过以全局方式对互补上下文特征进行重新校准来对分离的空间区域之间的关系进行建模,具体执行以下步骤:
将解码器阶段的卷积特征图像x分别传入两个1×1卷积层分别生成两个特征图像f(x)和g(x),转换为两个特征空间f和g之后,在特征图像f(x)和特征图像g(x)的转置之间执行矩阵乘法,并应用softmax层来计算空间注意力图;
与此同时,将编码阶段的特征输入到空间注意力模块SAB,通过一个1×1卷积层生成一个新的特征图像h(y),然后在空间注意力图与新的特征图像h(y)之间执行矩阵相乘,将结果通过一个1×1卷积转换成s(y)输出;空间注意力模块SAB的输出为
βj,i表示第i个位置对第j个位置的影响。
其中,方向感知模块OAM包含三个并行的卷积层,以提取不同方向上的方向感知特征,用于重新缩放通道特征的通道注意力;三个上述卷积层中使用预定义的稀疏内核来部署两个稀疏卷积层以减少参数的数量,两个5×5稀疏卷积SConv内核,一个是具有垂直和水平SConv_VH方向的内核;另一个是具有对角SConv_D方向的SConv内核;两个5×5稀疏卷积SConv内核的每个内核在5×5空间中允许有9个非零权重条目,其余16个条目为0。
其中,位置感知模块PAM为Pointtwise Conv层-APReLU层-Pointtwise Conv层-Sigmoid层的结构;执行位置感知时,首先应用逐点Conv运算符来处理带有C个通道的输入特征图将卷积核尺寸减小到可接受的范围内,形成APReLU层的输入特征图xPAM,对负特征使用了学***均池化被用作系数,从而进行非线性变换以自适应地响应上下文特征;APReLU函数Rc为
在[0,1]范围内构造权重图,从位置像素的邻近相关关系中获得更好的注意力权重,如下所示:
HPW表示逐点卷积算子的函数,是在训练过程中学习的;
本发明提出的注意力级联网络(AHN),以便共同学习多尺度,多方位和多层次特征的最优表示。通过利用空间注意力来捕获不同分辨率特征图中的远程依存关系,构建多尺度的U-net以生成内容感知特征。基于具有跳过连接的残差结构,使用2D稀疏和非稀疏卷积核的组合在通道注意力的指导下执行不同方向的自适应特征提取和多方向融合。利用自我关注机制,以根据相邻位置中的特征交互作用来调整元素方向的值,完善最终的特征图;并且通过将建议的注意力增强模块堆叠到深度残差架构中,可以充分利用多个表示阶段的互补信息来生成逼真的HR图像。
附图说明
图1是本发明所用的多阶段注意力增强网络(AHN)的原理示意图。
图2是本发明所用的内容感知模块(CAM)的原理图;
图3是本发明所用的空间注意力块(SAB)的原理图;
图4是本发明所用的方向感知模块(OAM)的原理图;
图5是本发明所用的位置感知模块(PAM)的原理图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明通过图1所示的多阶段注意力增强网络(AHN)实现,通过多阶段学习,实现最终获得一个优越的SR结果。
其中,特征提取阶段,提出注意门控U-net结构,以生成内容感知特征。为进一步增强特征识别,利用两个预定义的稀疏内核和一个标准内核组合,以提取多方向特征,这些多方向特征是通过通道注意力机制进行融合的。
多尺度阶段,提出自我关注机制,以促进训练结果并帮助恢复真实的细节。
本发明基于注意力级联网络的单帧图像超分辨方法,其实现的网络结构为一种新型网络结构——多阶段注意力增强网络(AHN),如图1所示。
多阶段注意力增强网络(AHN)由三个注意力级联阶段组成:浅层特征提取阶段(Feature extraction Stage),深层特征提取与融合阶段(Feature extraction andfusion stage),尺度增加阶段(Upscale stage)。
本发明K,用ILR和ISR分别表示多阶段注意力增强网络(AHN)的输入和输出。本发明仅用一个卷积层(Conv)来从LR输入中提取浅层特征F0,
F0=HSF(ILR) (1)
其中HSF(·)表示卷积操作,提取到的浅层特征F0被输入到主网络中,用于深层特征的提取与融合。因此,可以进一步得到以下表达式
FDF=HCRG(F0) (2)
其中,HCRG(·)表示深层级联残差U-net结构。此主网络包含总级数为G的多级CRGs,这可以达到很大的深度,从而提供更大的感受野。在特征提取和融合阶段,使用长、短跳连接来促进低频信息的流动。然后,提取到的深层特征FDF通过一个Upscale Stage来进行上采样操作;
FUP=HUP(FDP) (3)
尺度增加的特征FUP通过一个3×3卷积层映射成SR图像;
ISR=HMAAN(ILR) (4)
其中,HMAAN(·)表示整个AHN网络的函数。
如图1所示,每个CRG包含一个内容感知模块(CAM)、一些方向感知模块(OAM)和跳跃连接。内容感知模块(CAM)利用互补的多尺度特征和具有不同分辨率的特征图的远程关联。此外,内容感知模块(CAM)可有效地组合多尺度特征以获得更好的上下文表示,并在较大感受野中生成丰富的结构提示。
方向感知模块(OAM)被引入到CRG中以进一步有效地生成更多独特的特征,因为存在多个与方向相关的卷积核,以通过级联多个残差结构来提取丰富的层次特征。特征图拼接之后,方向感知模块(OAM)进一步进行局部特征融合,从而为后面的CRGs自适应地保留上下文信息。
已经证明,堆叠残差块有助于构建深层CNN。但对于图像SR任务,以这种方式构建的非常深的网络会遭受训练困难,并且很难获得更精细的重建质量。将具有残差结构的CRG用作更深层网络的基本模块。CRG内的级联机制可以进一步稳定非常深层网络的训练。然后将第g组中的CRG表示为,
Fg=Fg-1+Fg,B=Hg(Fg-1) (5)
其中Fg-1和Fg分别表示第g个CRG的输入和输出,Fg,B表示最终OAM的输出。为简单起见省略偏置项。Hg(·)表示第g个CRG函数。深层特征FDF通过下式得到
FDF=F0+HDF(FG) (6)
其中,FG是在主网络尾部提取的CRG特征图。HDF(·)是卷积操作。这种多阶段结构不仅可以简化重要特征的提取和跨多个CRG的流动,而且还可为图像SR训练非常深的CNN。
如图2所示,内容感知模块(CAM)旨在将两个空间注意力块(SAB)集成到具有残差结构的基本U-net中。这样所提出的模块可学习具有不同分辨率的多尺度深度特征,并根据空间和通道的相互依赖性将它们组合起来。
基本的U-net架构本质上是一个编码器和解码器网络,其中的收缩路径和对称扩展路径通过一系列跳跃连接进行连接。内容感知模块(CAM)的结构鼓励完全重用信息流,并将跳过连接中的HR低级功能自适应地纳入扩展路径中的功能。传统跳过连接允许在特征图中重复传输LR信息,但这经常导致提取的图像特征模糊。而且,网络提取的全局特征通常不包含足够的输入HR上下文信息。
为了解决该问题,本发明将空间注意力块(SAB)添加到基本U-net的跳跃连接中,以避免重复功能的LR信息。
内容感知模块(CAM)由三个层次的深度组成。为了捕获具有足够大的感受野的上下文信息,从第一阶段开始逐渐对特征图进行下采样(Downsampling)。
在收缩路径中,在每个级别应用两个卷积块以提取特征,其中每个卷积块由一个3×3Conv层和紧随其后的线性单元(ReLU)组成。使用步长为2的3×3Conv操作对特征图进行下采样后,特征的LR信息将在下一阶段传输到Conv层。在第一阶段,Conv层不会影响特征通道的数量。使用其他两个阶段的第一个卷积块将特征通道加倍,随后的块用于进一步提取特征。
在扩展路径中,通过带有像素混洗操作的3×3卷积层将特征图上采样(Upsampling)到一个较大级别,然后与相同级别的空间注意力块(SAB)的输出特征进行拼接。扩展路径中的每个卷积块将特征通道的数量减半,并使用随后的3×3Conv层来减轻网格化伪影。
最后,HR特征与LR上下文信息相结合,并经过许多层处理,以产生具有U-net残差结构的信息特征。
本发明的空间注意力块(SAB),如图3所示。将空间注意力模块(SAB)与CAM内部的直接连接集成在一起,参见图2。空间注意力块(SAB)的目的是通过以全局方式对互补上下文特征进行重新校准来有效地对分离的空间区域之间的关系进行建模。空间注意力机制的输出用于有选择地强调更多的信息功能并抑制无用的功能。
考虑解码器阶段的卷积特征图像沿着通道尺度,特征图像改变为N=H×W表示特征图像中位置的数量。如图3所示,首先将卷积特征图像x传入1×1卷积层分别生成两个特征图像f(x)=Wfx和g(x)=Wgx。转换为两个特征空间f和g之后,在f(x)和g(x)的转置(Transpose)之间执行矩阵乘法(Matrix Multiplicationg),并应用softmax层来计算空间注意图(Attention Map);
其中,βj,i表示第i个位置对第j个位置的影响。两个位置上的特征表示的相似性衡量了它们之间的相关性。与此同时,将编码阶段的特征输入到SAB中生成一个新的特征图像h(y)=Why。然后在注意力图与h(y)之间执行矩阵相乘,将其结果通过一个1×1卷积进行转换s(y)=Wsy。注意力层的输出为
本发明的方向感知模块(OAM),如图4所示。方向感知模块(OAM)包含三个卷积层,以提取不同方向上的方向感知特征,用于重新缩放通道特征的通道注意力,以及一个带有ReLU的标准3×3卷积层。每个OAM中,使用预定义的稀疏内核来部署两个稀疏卷积层,这可以显著减少参数的数量,并且相对于标准卷积而言,精度的降低可忽略不计。通过定义2D滤波器内核中的稀疏模式,利用了输入感受野的结构稀疏性,并提取了不同方向上的定向感知特征。零位置在训练之前定义,并在训练和推理过程中保持不变。
方向感知模块(OAM)中的特征级联层(Concat),将前面的三个卷积层提取的特征进行串接操作,最后形成一个3×H×W的向量送入下一级网络,下一级网络为四层结构,依次设置有池化层(Global Pooling),全连接层(FC),ReLU层,全连接层(FC)以及最后一层的Sigmoid;其中,池化层(Global Pooling)将每个通道的特征图求其算术平均的操作,全连接层(FC)是对方向感知模块(OAM)中的通道数进行先降维数再增加维数的操作。
图4示出了两个5×5稀疏卷积(SConv)内核。一个预定义的过滤器具有SConv内核具有垂直和水平(SConv_VH)方向;另一个是具有对角线(SConv_D)方向的SConv内核。每个内核,在5×5空间中允许有9个非零权重条目(参见图4中的SConv_VH和SConv_D的深色网格),其余16个条目为0。此设置下,SConv_VH和SConv_D过滤器更适合提取方向感知特征。
本发明的位置感知模块(PAM),如图5所示。为了提高重建性能,将位置感知模块(PAM)与ESPCN算法的像素混洗(PixelShuffle)相结合,以自适应地改进LR特征图的元素方向值。
如图5所示,位置感知模块(PAM)通过自注意力机制来实现,可增强图像纹理和细节的中高频特征响应。像素混洗(PixelShuffle)将通道空间的深度重塑为空间的宽度和高度。然而,仅混洗算子不能响应像素之间的局部相关性,因此限制了SR性能。为了超越限制,提出的位置感知模块(PAM)执行高效的自注意算子,以学习每个位置的空间自适应权重。
执行PAM时,首先应用逐点Conv运算符来处理带有c个通道的输入特征图将卷积核尺寸减小到可接受的范围内不会损害性能。让xPAM表示APReLU的输入特征图。为了适应特定实例内容,对负特征使用了学***均池化也被用作系数,从而进行非线性变换以自适应地响应上下文特征。形式上,考虑通道级APReLU函数Rc为
HPW表示逐点卷积算子的函数,它是在训练过程中学习的。考虑到性能和效率之间的良好折衷,将内核大小设置为3×3。
通过位置感知模块(PAM)空间上改进后,输出特征图像可以更精确地表示图像结构,因此Upscale模块可以预测更好的SR结果。这样,PAM可以在整个Upscale阶段有效传播更多上下文信息,以重建HR图像。
综上,可以看出,本发明所提出的用于单帧图像超分辨的多阶段注意力增强网络,通过精心设计的多阶段特征学习策略,能获得最先进的SR结果。
以上所述仅是本发明的优选实施方式,应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.基于注意力级联网络的单帧图像超分辨方法,其特征在于,通过多阶段注意力增强网络多阶段处理实现;浅层特征提取阶段,利用一个浅层特征提取卷积层从低分辨率图像中提取浅层特征,深层特征提取与融合阶段,利用深层级联残差U-net结构的主网络在浅层特征基础上进行深层特征提取与融合,使用长、短跳连接促进低频信息流动;尺度增加阶段,利用尺度增加网络对深层特征上采样;上采样后再卷积操作,映射成高辨率图像:其中,
主网络包括多G个顺序连接的深层级联残差模块CRG与一个末端卷积层,深层级联残差模块CRG依次设置一个内容感知模块CAM、多个顺序连接的方向感知模块OAM及末端一个内部卷积模块;第g个深层级联残差模块CRG输出如下:
Fg=Fg-1+Fg,B=Hg(Fg-1),
其中Fg-1和Fg分别表示第g个深层级联残差模块CRG的输入和输出,Fg,B表示方向感知模块OAM的输出,Hg(·)表示第g个CRG函数;
深层特征通过以下式得到,
FDF=F0+HDF(FG),
其中,FG是在主网络尾部提取的CRG特征图,HDF(·)是卷积操作,F0是提取到的浅层特征。
尺度增加网络由位置感知模块PAM与像素混洗模块依次连接构成,位置感知模块PAM通过自注意力机制来实现,以增强图像纹理和细节的中高频特征响应;像素混洗将通道空间的深度重塑为空间的宽度和高度。
3.根据权利要求2所述基于注意力级联网络的单帧图像超分辨方法,其特征在于,空间注意力模块SAB,用于通过以全局方式对互补上下文特征进行重新校准来对分离的空间区域之间的关系进行建模,具体执行以下步骤:
将解码器阶段的卷积特征图像x分别传入两个1×1卷积层分别生成两个特征图像f(x)和g(x),转换为两个特征空间f和g之后,在特征图像f(x)和特征图像g(x)的转置之间执行矩阵乘法,并应用softmax层来计算空间注意力图;
与此同时,将编码阶段的特征输入到空间注意力模块SAB,通过一个1×1卷积层生成一个新的特征图像h(y),然后在空间注意力图与新的特征图像h(y)之间执行矩阵相乘,将结果通过一个1×1卷积转换成s(y)输出;空间注意力模块SAB的输出为
βj,i表示第i个位置对第j个位置的影响。
4.根据权利要求1所述基于注意力级联网络的单帧图像超分辨方法,其特征在于,方向感知模块OAM包含三个并行的卷积层,以提取不同方向上的方向感知特征,用于重新缩放通道特征的通道注意力;三个上述卷积层中使用预定义的稀疏内核来部署两个稀疏卷积层以减少参数的数量,两个5×5稀疏卷积SConv内核,一个是具有垂直和水平SConv_VH方向的内核;另一个是具有对角SConv_D方向的SConv内核;两个5×5稀疏卷积SConv内核的每个内核在5×5空间中允许有9个非零权重条目,其余16个条目为0。
5.根据权利要求1所述基于注意力级联网络的单帧图像超分辨方法,其特征在于,位置感知模块PAM为Pointtwise Conv层-APReLU层-Pointtwise Conv层-Sigmoid层的结构;执行位置感知时,首先应用逐点Conv运算符来处理带有C个通道的输入特征图将卷积核尺寸减小到可接受的范围内,形成APReLU层的输入特征图xPAM,对负特征使用了学***均池化被用作系数,从而进行非线性变换以自适应地响应上下文特征;APReLU函数Rc为
在[0,1]范围内构造权重图,从位置像素的邻近相关关系中获得更好的注意力权重,如下所示:
HPW表示逐点卷积算子的函数,是在训练过程中学习的;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010489160.2A CN111833246B (zh) | 2020-06-02 | 2020-06-02 | 基于注意力级联网络的单帧图像超分辨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010489160.2A CN111833246B (zh) | 2020-06-02 | 2020-06-02 | 基于注意力级联网络的单帧图像超分辨方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111833246A true CN111833246A (zh) | 2020-10-27 |
CN111833246B CN111833246B (zh) | 2022-07-08 |
Family
ID=72897558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010489160.2A Active CN111833246B (zh) | 2020-06-02 | 2020-06-02 | 基于注意力级联网络的单帧图像超分辨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111833246B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112258487A (zh) * | 2020-10-29 | 2021-01-22 | 德鲁动力科技(海南)有限公司 | 图像检测***及方法 |
CN112348766A (zh) * | 2020-11-06 | 2021-02-09 | 天津大学 | 一种用于监控视频增强的渐进式特征流深度融合网络 |
CN112508137A (zh) * | 2021-02-09 | 2021-03-16 | 南方电网数字电网研究院有限公司 | 变压器异常检测方法、装置、计算机设备和存储介质 |
CN112528803A (zh) * | 2020-12-03 | 2021-03-19 | 中国地质大学(武汉) | 道路特征提取方法、装置、设备及存储介质 |
CN112633429A (zh) * | 2020-12-21 | 2021-04-09 | 安徽七天教育科技有限公司 | 一种学生手写选择题识别方法 |
CN112750082A (zh) * | 2021-01-21 | 2021-05-04 | 武汉工程大学 | 基于融合注意力机制的人脸超分辨率方法及*** |
CN113065844A (zh) * | 2021-03-15 | 2021-07-02 | 武汉大学 | 一种专利数据管理***、方法及电子设备 |
CN113116361A (zh) * | 2021-03-09 | 2021-07-16 | 山东大学 | 一种基于单导脑电的睡眠分期方法 |
CN113177546A (zh) * | 2021-04-30 | 2021-07-27 | 中国科学技术大学 | 一种基于稀疏注意力模块的目标检测方法 |
CN113361493A (zh) * | 2021-07-21 | 2021-09-07 | 天津大学 | 一种对不同图像分辨率鲁棒的人脸表情识别方法 |
CN113935365A (zh) * | 2021-09-27 | 2022-01-14 | 华南农业大学 | 基于空域和频域双特征的深度伪造视频鉴定方法及*** |
CN114187275A (zh) * | 2021-12-13 | 2022-03-15 | 贵州大学 | 一种基于多阶段和多尺度注意力融合网络及图像去雨方法 |
CN114693759A (zh) * | 2022-03-31 | 2022-07-01 | 电子科技大学 | 一种基于编解码网络的轻量级快速图像深度估计方法 |
CN115546030A (zh) * | 2022-11-30 | 2022-12-30 | 武汉大学 | 基于孪生超分辨率网络的压缩视频超分辨率方法及*** |
CN116071691A (zh) * | 2023-04-03 | 2023-05-05 | 成都索贝数码科技股份有限公司 | 一种基于内容感知融合特征的视频质量评价方法 |
WO2023123108A1 (en) * | 2021-12-29 | 2023-07-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Methods and systems for enhancing qualities of images |
CN116594061A (zh) * | 2023-07-18 | 2023-08-15 | 吉林大学 | 一种基于多尺度u形注意网络的地震数据去噪方法 |
CN116797456A (zh) * | 2023-05-12 | 2023-09-22 | 苏州大学 | 图像超分辨率重建方法、***、设备和存储介质 |
WO2024007160A1 (en) * | 2022-07-05 | 2024-01-11 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Convolutional neural network (cnn) filter for super-resolution with reference picture resampling (rpr) functionality |
CN117575915A (zh) * | 2024-01-16 | 2024-02-20 | 闽南师范大学 | 一种图像超分辨率重建方法、终端设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859106A (zh) * | 2019-01-28 | 2019-06-07 | 桂林电子科技大学 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
CN109886871A (zh) * | 2019-01-07 | 2019-06-14 | 国家新闻出版广电总局广播科学研究院 | 基于通道注意力机制和多层特征融合的图像超分辨率方法 |
CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
US20200104978A1 (en) * | 2018-09-27 | 2020-04-02 | Google Llc | Image generation using subscaling and depth up-scaling |
CN111179167A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 一种基于多阶段注意力增强网络的图像超分辨方法 |
CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
-
2020
- 2020-06-02 CN CN202010489160.2A patent/CN111833246B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200104978A1 (en) * | 2018-09-27 | 2020-04-02 | Google Llc | Image generation using subscaling and depth up-scaling |
CN109886871A (zh) * | 2019-01-07 | 2019-06-14 | 国家新闻出版广电总局广播科学研究院 | 基于通道注意力机制和多层特征融合的图像超分辨率方法 |
CN109859106A (zh) * | 2019-01-28 | 2019-06-07 | 桂林电子科技大学 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
CN111179167A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 一种基于多阶段注意力增强网络的图像超分辨方法 |
CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
Non-Patent Citations (2)
Title |
---|
CHEN DU ET AL.: "Orientation-aware Deep Neural Network for Real Image Super-Resolution", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
张贺舒等: "单帧图像的耦合生成式对抗超分辨率重建", 《计算机工程与应用》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112258487A (zh) * | 2020-10-29 | 2021-01-22 | 德鲁动力科技(海南)有限公司 | 图像检测***及方法 |
CN112348766A (zh) * | 2020-11-06 | 2021-02-09 | 天津大学 | 一种用于监控视频增强的渐进式特征流深度融合网络 |
CN112348766B (zh) * | 2020-11-06 | 2023-04-18 | 天津大学 | 一种用于监控视频增强的渐进式特征流深度融合网络 |
CN112528803A (zh) * | 2020-12-03 | 2021-03-19 | 中国地质大学(武汉) | 道路特征提取方法、装置、设备及存储介质 |
CN112528803B (zh) * | 2020-12-03 | 2023-12-19 | 中国地质大学(武汉) | 道路特征提取方法、装置、设备及存储介质 |
CN112633429A (zh) * | 2020-12-21 | 2021-04-09 | 安徽七天教育科技有限公司 | 一种学生手写选择题识别方法 |
CN112750082A (zh) * | 2021-01-21 | 2021-05-04 | 武汉工程大学 | 基于融合注意力机制的人脸超分辨率方法及*** |
CN112750082B (zh) * | 2021-01-21 | 2023-05-16 | 武汉工程大学 | 基于融合注意力机制的人脸超分辨率方法及*** |
CN112508137A (zh) * | 2021-02-09 | 2021-03-16 | 南方电网数字电网研究院有限公司 | 变压器异常检测方法、装置、计算机设备和存储介质 |
CN113116361A (zh) * | 2021-03-09 | 2021-07-16 | 山东大学 | 一种基于单导脑电的睡眠分期方法 |
CN113065844B (zh) * | 2021-03-15 | 2022-07-29 | 武汉大学 | 一种专利数据管理***、方法及电子设备 |
CN113065844A (zh) * | 2021-03-15 | 2021-07-02 | 武汉大学 | 一种专利数据管理***、方法及电子设备 |
CN113177546A (zh) * | 2021-04-30 | 2021-07-27 | 中国科学技术大学 | 一种基于稀疏注意力模块的目标检测方法 |
CN113361493B (zh) * | 2021-07-21 | 2022-05-20 | 天津大学 | 一种对不同图像分辨率鲁棒的人脸表情识别方法 |
CN113361493A (zh) * | 2021-07-21 | 2021-09-07 | 天津大学 | 一种对不同图像分辨率鲁棒的人脸表情识别方法 |
CN113935365A (zh) * | 2021-09-27 | 2022-01-14 | 华南农业大学 | 基于空域和频域双特征的深度伪造视频鉴定方法及*** |
CN113935365B (zh) * | 2021-09-27 | 2024-05-14 | 华南农业大学 | 基于空域和频域双特征的深度伪造视频鉴定方法及*** |
CN114187275A (zh) * | 2021-12-13 | 2022-03-15 | 贵州大学 | 一种基于多阶段和多尺度注意力融合网络及图像去雨方法 |
CN114187275B (zh) * | 2021-12-13 | 2024-07-02 | 贵州大学 | 一种基于多阶段和多尺度注意力融合网络及图像去雨方法 |
WO2023123108A1 (en) * | 2021-12-29 | 2023-07-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Methods and systems for enhancing qualities of images |
CN114693759A (zh) * | 2022-03-31 | 2022-07-01 | 电子科技大学 | 一种基于编解码网络的轻量级快速图像深度估计方法 |
WO2024007160A1 (en) * | 2022-07-05 | 2024-01-11 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Convolutional neural network (cnn) filter for super-resolution with reference picture resampling (rpr) functionality |
CN115546030A (zh) * | 2022-11-30 | 2022-12-30 | 武汉大学 | 基于孪生超分辨率网络的压缩视频超分辨率方法及*** |
CN116071691A (zh) * | 2023-04-03 | 2023-05-05 | 成都索贝数码科技股份有限公司 | 一种基于内容感知融合特征的视频质量评价方法 |
CN116797456A (zh) * | 2023-05-12 | 2023-09-22 | 苏州大学 | 图像超分辨率重建方法、***、设备和存储介质 |
CN116594061A (zh) * | 2023-07-18 | 2023-08-15 | 吉林大学 | 一种基于多尺度u形注意网络的地震数据去噪方法 |
CN116594061B (zh) * | 2023-07-18 | 2023-09-22 | 吉林大学 | 一种基于多尺度u形注意网络的地震数据去噪方法 |
CN117575915A (zh) * | 2024-01-16 | 2024-02-20 | 闽南师范大学 | 一种图像超分辨率重建方法、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111833246B (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111833246B (zh) | 基于注意力级联网络的单帧图像超分辨方法 | |
CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
CN113139907B (zh) | 视觉分辨率增强的生成方法、***、装置及存储介质 | |
CN112347859B (zh) | 一种光学遥感图像显著性目标检测方法 | |
CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
CN106991646B (zh) | 一种基于密集连接网络的图像超分辨率方法 | |
CN111179167B (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
CN112288632B (zh) | 基于精简esrgan的单图像超分辨率方法及*** | |
Singla et al. | A review on Single Image Super Resolution techniques using generative adversarial network | |
CN111681166A (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
CN110942424A (zh) | 一种基于深度学习的复合网络单图像超分辨率重建方法 | |
CN109447897B (zh) | 一种真实场景图像合成方法及*** | |
CN112070668B (zh) | 一种基于深度学习和边缘增强的图像超分辨方法 | |
CN112767283A (zh) | 一种基于多图像块划分的非均匀图像去雾方法 | |
CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
Peng et al. | Progressive training of multi-level wavelet residual networks for image denoising | |
CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
CN116167920A (zh) | 一种基于超分辨率和先验知识的图像压缩与重建方法 | |
CN109272450B (zh) | 一种基于卷积神经网络的图像超分方法 | |
CN113627487B (zh) | 一种基于深层注意力机制的超分辨率重建方法 | |
CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与*** | |
CN115004220A (zh) | 用于原始低光图像增强的神经网络 | |
CN117292017A (zh) | 一种草图到图片跨域合成方法、***及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |