CN115293968A - 一种超轻量高效的单图像超分辨率方法 - Google Patents
一种超轻量高效的单图像超分辨率方法 Download PDFInfo
- Publication number
- CN115293968A CN115293968A CN202210861170.3A CN202210861170A CN115293968A CN 115293968 A CN115293968 A CN 115293968A CN 202210861170 A CN202210861170 A CN 202210861170A CN 115293968 A CN115293968 A CN 115293968A
- Authority
- CN
- China
- Prior art keywords
- feature
- information
- fusion
- branch
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 80
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000004821 distillation Methods 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000006835 compression Effects 0.000 claims abstract description 9
- 238000007906 compression Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 27
- 230000002087 whitening effect Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 12
- 230000002787 reinforcement Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 11
- 230000002708 enhancing effect Effects 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000002059 diagnostic imaging Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种超轻量高效的单图像超分辨率方法，该方法以一张低分辨率图像作为输入，使得算法可在超轻量设备或者高速设备上进行部署。主要包括：提出了一种更为轻量的超分辨率骨干网络，使网络在保持性能的同时大大减少了参数量；提出了一种双支路多尺度感受野融合模块，增大蒸馏信息间特征多样性与网络整体感受野并去除信息重叠，提升网络性能；提出了一种解耦增强的基于可学习哈希映射的轻量注意力机制，对输入信息进行解耦并对区域边界重建和区域内关系学习进行增强；提出了一种基于全局信息监督的二阶坐标注意力机制，提高网络特征表达的正确性。利用本发明提出的策略可用于公共安防、医学成像、遥感检测、视频压缩传输等多个领域。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种超轻量高效的单图像超分辨率方法。
背景技术
单图像超分辨率任务旨在从一个低分辨率图像重建细节信息得到一个高分辨率图像。但是，同样的一张低分辨率图像可以通过不同的高分辨率图像退化生成，这就导致了任务的不适应性和高难度。
为了解决这个问题，许多基于深度学习的单图像超分辨率算法被提出并取得了远超传统算法的效果，成为当前的主流方法。目前在许多场景下，例如在各种各样算力较弱的移动设备和穿戴设备中，基于传统方法的图像超分辨率算法精度太低，而基于深度学习的图像超分辨率算法复杂度过高，计算量太大，导致模型无法正常部署。
发明内容
本发明针对现有技术中存在的技术问题，提供一种超轻量高效的单图像超分辨率方法，以解决现有的深度学习方法难以部署在各种各样算力较弱的移动设备和穿戴设备中的技术问题。
根据本发明的第一方面，提供了一种超轻量高效的单图像超分辨率方法，包括：
步骤1，输入待处理的低分辨率图像Il，利用一个3×3卷积对所述低分辨率图像Iι进行浅层特征提取得到包含粗粒度信息的浅层特征F0；
步骤2，对所述浅层特征F0进行深层特征提取后得到深层特征F6；
步骤3，搭建所述浅层特征F0和所述深层特征F6之间的残差连接得到残差特征为Fr；
步骤4，利用一个3×3卷积将所述残差特征Fr转换成特征Fu，再由Sub-pixel模块将所述特征Fu上采样为高分辨率图像Ih。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述步骤2中进行深层特征提取的过程包括：将所述浅层特征F0输入双支路多尺度感受野融合模块进行提取和融合；
所述双支路多尺度感受融合模块包括信息蒸馏支路和特征提取支路；
所述特征提取支路中分别用1×1、3×3、5×5和7×7的卷积提取特征；所述信息蒸馏支路中采用1×1、3×3、5×5和7×7的逐深度卷积提取特征后，得到融合特征。
可选的，所述步骤2中进行深层特征提取的过程包括：将所述融合特征输入基于全局信息监督的二阶坐标注意力模块；
所述二阶坐标注意力模块包括：全局均值信息编码支路和全局方差信息编码支路；
将所述融合特征输入所述全局均值信息编码支路进行可学习权重编码后得到加权调整后的全局均值信息；
将所述融合特征输入所述全局方差信息编码支路进行可学习权重编码后得到加权调整后的全局方差信息；
将加权调整后的所述全局均值信息和所述全局方差信息相加并使用Sigmoid函数对其进行非线性映射，得到综合编码全局信息。
可选的，所述步骤2中进行深层特征提取的过程包括：所述浅层特征重复三次输入所述双支路多尺度感受野融合模块和所述二阶坐标注意力模块后，得到深层特征{F1，F2，F3}；
将所述深层特征F1和F3输入毗邻特征融合模块进行特征融合得到深层融合特征，所述毗邻特征融合模块包括1×1降维卷积和激活函数。
可选的，所述步骤2中进行深层特征提取的过程还包括：将所述深层融合特征输入加强学习模块进行加强学习，所述加强学习模块使用解耦增强的基于可学习哈希映射的轻量Non-local注意力机制对所述深层融合特征进行加强学习。
可选的，所述加强学习模块包括特征变换支路和全局语义信息编码支路；
所述特征变换支路对所述深层融合特征处理的过程包括：将通道压缩比为r的3×3卷积右侧加入白化模块，将所述深层融合特征输入所述白化模块得到白化特征FB；
对所述白化特征FB通过相似图谱计算得到桶形分布的白化点间相似度信息Fbs；
将所述白化点间相似度信息Fbs与所述白化特征FB共同执行桶内自相似特征修正操作，得到修正后的桶形分布特征FBR；
根据逆映射H-1，将所述桶形分布特征FBR还原成大小为C/2×H×W的自相似修正特征FP；
所述全局语义信息编码支路对所述深层融合特征处理的过程包括：将所述深层融合特征输入通道压缩比为C的1×1卷积，得到大小为1×H×W的逐像素显著性信息Fi；
将所述逐像素显著性信息Fi输入Softmax模块进行非线性映射得到分布在0-1范围的逐像素相对显著性信息F′i；
将所述逐像素相对显著性信息F′i作为权重对所述特征变换支路得到的变换特征执行逐像素特征加权求和操作得到大小为C/2×1×1的全局语义信息FG；
使用两个1×1卷积对所述全局语义信息FG进行通道编码，得到通道敏感的全局语义信息F′G。
可选的，所述步骤2中进行深层特征提取的过程还包括：将像素点形式的所述自相似修正特征FP和通道敏感的所述全局语义信息F′G进行简单相加后得到大小为C/2×H×W的融合特征Ff，通过1×1升维卷积将所述融合特征Ff还原成C×H×W维度大小的特征Fo。
可选的，所述步骤2中进行深层特征提取的过程还包括：
将所述特征Fo经过所述双支路多尺度感受野融合模块和所述二阶坐标注意力模块后得到特征F4，将所述特征F4再经过所述双支路多尺度感受野融合模块和所述二阶坐标注意力模块后得到深度特征F5；
利用所述毗邻特征融合模块对深度特征Fo和所述深度特征F5进行特征融合后，经过所述双支路多尺度感受野融合模块得到所述深度特征F6。
本发明实施例提出了一种超轻量高效的单图像超分辨率方法，对部署在算力有限的移动设备上有明显优势，其优势主要来自以下几个方面：首先，通过去除和替换了以前超分辨率算法的大量冗余结构，得到一个更为轻量的超分辨率骨干网络，使网络在保持性能的同时大大减少了参数量。在此基础上，进一步利用双支路多尺度感受野融合模块来增大蒸馏信息间特征多样性与网络整体感受野，并去除信息重叠，提升网络性能。接着使用解耦增强的基于可学习哈希映射的轻量注意力机制对输入信息进行解耦并利用两种解耦信息分别对区域边界重建和区域内关系学习进行增强。最后通过提取有效全局信息对网络进行监督和修正，从而提高网络特征表达的正确性，得到高质量的高分辨率图像。通过重建细节信息得到一个高分辨率图像。该方法在保证精度的同时使模型最小化，解决了以前的超分辨率算法无法在超轻量设备或者高速设备上进行部署的问题。利用本发明提出的策略可用于公共安防、医学成像、遥感检测、视频压缩传输等多个领域。
附图说明
图1为本发明提供的一种超轻量高效的单图像超分辨率方法的流程图；
图2为本发明提供的一种超轻量高效的单图像超分辨率方法的实施例的整体架构示意图：
图3为本发明实施例提供的一种双支路多尺度感受野融合模块架构的示意图；
图4本发明实施例提供的一种解耦增强的基于可学习哈希映射的轻量注意力机制架构的示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
为了克服背景技术中的缺陷和问题，本发明提出了一种更为轻量的超分辨率骨干网络，去除和替换了以前超分辨率算法的大量冗余结构，使网络在保持性能的同时大大减少了参数量。图1为本发明提供的一种超轻量高效的单图像超分辨率方法的流程图，如图1所示，该超轻量高效的单图像超分辨率方法包括：
步骤1，输入待处理的低分辨率图像Iι，利用一个3×3卷积对低分辨率图像Iι进行浅层特征提取得到包含粗粒度信息的浅层特征F0。
步骤2，对浅层特征F0进行深层特征提取后得到深层特征F6。
步骤3，搭建浅层特征F0和深层特征F6之间的残差连接得到残差特征为Fr。
步骤4，利用一个3×3卷积将残差特征Fr转换成更适合进行上采样的特征Fu，再由Sub-pixel(亚像素)模块将低分辨率的特征Fu上采样为高分辨率图像Ih。
本发明提供的一种超轻量高效的单图像超分辨率方法，保证精度的同时使模型参数量最小化，实现在各种移动设备上的部署使用。
实施例1
本发明提供的实施例1为本发明提供的一种超轻量高效的单图像超分辨率的实施例，为了克服背景技术中的缺陷和问题，本发明实施例提出了一种更为轻量的超分辨率骨干网络，去除和替换了以前超分辨率算法的大量冗余结构，使网络在保持性能的同时大大减少了参数量。同时，在此基础上，提出了一种双支路多尺度感受野融合模块，该模块进一步增大蒸馏信息间特征多样性与网络整体感受野并去除信息重叠，提升网络性能。提出了一种解耦增强的基于可学习哈希映射的轻量注意力机制，对输入信息进行解耦并利用两种解耦信息分别对区域边界重建和区域内关系学习进行增强。提出了一种基于全局信息监督的二阶坐标注意力机制，通过提取有效全局信息对网络进行监督和修正，从而提高网络特征表达的正确性。
图2为本发明提供的一种超轻量高效的单图像超分辨率方法的实施例的整体架构示意图，结合图1和图2可知，该超轻量高效的单图像超分辨率方法的实施例包括：
步骤1，输入待处理的低分辨率图像Iι，利用一个3×3卷积对低分辨率图像Iι进行浅层特征提取得到包含粗粒度信息的浅层特征F0。
步骤2，对浅层特征F0进行深层特征提取后得到深层特征F6。
在一种可能的实施例中，步骤2中进行深层特征提取的过程包括：
步骤201，将浅层特征F0输入双支路多尺度感受野融合模块进行提取和融合。
如图3所示为本发明实施例提供的一种双支路多尺度感受野融合模块架构的示意图，结合图3可知，双支路多尺度感受融合模块包括信息蒸馏支路和特征提取支路。
特征提取支路中分别用1×1、3×3、5×5和7×7的卷积提取特征；信息蒸馏支路中采用1×1、3×3、5×5和7×7的逐深度卷积提取特征后，得到融合特征。
保证每次进入信息蒸馏支路的特征是在残差连接之前的特征，这样两条支路既有效扩大网络感受野又降低了蒸馏特征间的信息冗余。
步骤202，步骤2中进行深层特征提取的过程包括：将融合特征输入基于全局信息监督的二阶坐标注意力模块，增强网络对于图像整体的把控。
二阶坐标注意力模块包括：全局均值信息编码支路和全局方差信息编码支路。
将融合特征输入全局均值信息编码支路进行可学习权重编码后得到加权调整后的全局均值信息。
将融合特征输入全局方差信息编码支路进行可学习权重编码后得到加权调整后的全局方差信息。
使特征能够在网络训练过程中根据任务自适应地调整一维特征向量的权重分布，从而获得更加鲁棒和可靠的全局信息。
在模块的末尾，将加权调整后的全局均值信息和全局方差信息相加并使用Sigmoid函数对其进行非线性映射，得到综合编码全局信息。
步骤203，浅层特征重复三次输入双支路多尺度感受野融合模块和二阶坐标注意力模块后，得到深层特征{F1，F2，F3}。
将深层特征F1和F3输入毗邻特征融合模块进行特征融合得到深层融合特征，毗邻特征融合模块包括1×1降维卷积和激活函数，增强网络中较浅层信息的流动性。
步骤204，将深层融合特征输入加强学习模块进行加强学习，加强学习模块使用解耦增强的基于可学习哈希映射的轻量Non-local注意力机制对深层融合特征进行加强学习。
如图4所示本发明实施例提供的一种解耦增强的基于可学习哈希映射的轻量注意力机制架构的示意图，结合图4可知，在一种可能的实施例中，加强学习模块包括特征变换支路和全局语义信息编码支路。
特征变换支路对深层融合特征处理的过程包括：将通道压缩比为r的3×3卷积右侧加入白化模块，将深层融合特征输入白化模块得到白化特征FB。
对白化特征FB通过相似图谱计算得到桶形分布的白化点间相似度信息Fbs。
将白化点间相似度信息Fbs与白化特征FB共同执行桶内自相似特征修正操作，得到修正后的桶形分布特征FBR。
根据逆映射H-1，将桶形分布特征FBR还原成大小为C/2×H×W的自相似修正特征FP。
全局语义信息编码支路对深层融合特征处理的过程包括：将深层融合特征输入通道压缩比为C的1×1卷积，得到大小为1×H×W的逐像素显著性信息Fi。
将逐像素显著性信息Fi输入Softmax模块进行非线性映射得到分布在0-1范围的逐像素相对显著性信息F′i。
将逐像素相对显著性信息F′i作为权重对特征变换支路得到的变换特征执行逐像素特征加权求和操作得到大小为C/2×1×1的全局语义信息FG。
使用两个1×1卷积对全局语义信息FG进行通道编码，得到通道敏感的全局语义信息F′G。该全局语义信息F′G能很好地对区域边界建模。
步骤205，将像素点形式的自相似修正特征FP和通道敏感的全局语义信息F′G进行简单相加后得到大小为C/2×H×W的融合特征Ff，通过1×1升维卷积将融合特征Ff还原成C×H×W维度大小的特征Fo。
步骤206，将特征Fo经过双支路多尺度感受野融合模块和二阶坐标注意力模块后得到特征F4，将特征F4再经过双支路多尺度感受野融合模块和二阶坐标注意力模块后得到深度特征F5。
步骤207，利用毗邻特征融合模块对深度特征Fo和深度特征F5进行特征融合后，经过双支路多尺度感受野融合模块得到深度特征F6。
步骤3，搭建浅层特征F0和深层特征F6之间的残差连接得到残差特征为Fr。
步骤4，利用一个3×3卷积将残差特征Fr转换成更适合进行上采样的特征Fu，再由Sub-pixel模块将低分辨率的特征Fu上采样为高分辨率图像Ih。
本发明实施例提出了一种超轻量高效的单图像超分辨率方法，对部署在算力有限的移动设备上有明显优势，其优势主要来自以下几个方面：首先，通过去除和替换了以前超分辨率算法的大量冗余结构，得到一个更为轻量的超分辨率骨干网络，使网络在保持性能的同时大大减少了参数量。在此基础上，进一步利用双支路多尺度感受野融合模块来增大蒸馏信息间特征多样性与网络整体感受野，并去除信息重叠，提升网络性能。接着使用解耦增强的基于可学习哈希映射的轻量注意力机制对输入信息进行解耦并利用两种解耦信息分别对区域边界重建和区域内关系学习进行增强。最后通过提取有效全局信息对网络进行监督和修正，从而提高网络特征表达的正确性，得到高质量的高分辨率图像。通过重建细节信息得到一个高分辨率图像。该方法在保证精度的同时使模型最小化，解决了以前的超分辨率算法无法在超轻量设备或者高速设备上进行部署的问题。利用本发明提出的策略可用于公共安防、医学成像、遥感检测、视频压缩传输等多个领域。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (8)
1.一种超轻量高效的单图像超分辨率方法包括：
步骤1，输入待处理的低分辨率图像Il，利用一个3×3卷积对所述低分辨率图像Il进行浅层特征提取得到包含粗粒度信息的浅层特征F0；
步骤2，对所述浅层特征F0进行深层特征提取后得到深层特征F6；
步骤3，搭建所述浅层特征F0和所述深层特征F6之间的残差连接得到残差特征为Fr；
步骤4，利用一个3×3卷积将所述残差特征Fr转换成特征Fu，再由Sub-pixel模块将所述特征Fu上采样为高分辨率图像Ih。
2.根据权利要求1所述的单图像超分辨率方法，其特征在于，所述步骤2中进行深层特征提取的过程包括：将所述浅层特征F0输入双支路多尺度感受野融合模块进行提取和融合；
所述双支路多尺度感受融合模块包括信息蒸馏支路和特征提取支路；
所述特征提取支路中分别用1×1、3×3、5×5和7×7的卷积提取特征；所述信息蒸馏支路中采用1×1、3×3、5×5和7×7的逐深度卷积提取特征后，得到融合特征。
3.根据权利要求2所述的单图像超分辨率方法，其特征在于，所述步骤2中进行深层特征提取的过程包括：将所述融合特征输入基于全局信息监督的二阶坐标注意力模块；
所述二阶坐标注意力模块包括：全局均值信息编码支路和全局方差信息编码支路；
将所述融合特征输入所述全局均值信息编码支路进行可学习权重编码后得到加权调整后的全局均值信息；
将所述融合特征输入所述全局方差信息编码支路进行可学习权重编码后得到加权调整后的全局方差信息；
将加权调整后的所述全局均值信息和所述全局方差信息相加并使用Sigmoid函数对其进行非线性映射，得到综合编码全局信息。
4.根据权利要求3所述的单图像超分辨率方法，其特征在于，所述步骤2中进行深层特征提取的过程包括：所述浅层特征重复三次输入所述双支路多尺度感受野融合模块和所述二阶坐标注意力模块后，得到深层特征{F1,F2,F3}；
将所述深层特征F1和F3输入毗邻特征融合模块进行特征融合得到深层融合特征，所述毗邻特征融合模块包括1×1降维卷积和激活函数。
5.根据权利要求4所述的单图像超分辨率方法，其特征在于，所述步骤2中进行深层特征提取的过程还包括：将所述深层融合特征输入加强学习模块进行加强学习，所述加强学习模块使用解耦增强的基于可学习哈希映射的轻量Non-local注意力机制对所述深层融合特征进行加强学习。
6.根据权利要求5所述的单图像超分辨率方法，其特征在于，所述加强学习模块包括特征变换支路和全局语义信息编码支路；
所述特征变换支路对所述深层融合特征处理的过程包括：将通道压缩比为r的3×3卷积右侧加入白化模块，将所述深层融合特征输入所述白化模块得到白化特征FB；
对所述白化特征FB通过相似图谱计算得到桶形分布的白化点间相似度信息Fbs；
将所述白化点间相似度信息Fbs与所述白化特征FB共同执行桶内自相似特征修正操作，得到修正后的桶形分布特征FBR；
根据逆映射H-1，将所述桶形分布特征FBR还原成大小为C/2×H×W的自相似修正特征FP；
所述全局语义信息编码支路对所述深层融合特征处理的过程包括：将所述深层融合特征输入通道压缩比为C的1×1卷积，得到大小为1×H×W的逐像素显著性信息Fi；
将所述逐像素显著性信息Fi输入Softmax模块进行非线性映射得到分布在0-1范围的逐像素相对显著性信息F′i；
将所述逐像素相对显著性信息F′i作为权重对所述特征变换支路得到的变换特征执行逐像素特征加权求和操作得到大小为C/2×1×1的全局语义信息FG；
使用两个1×1卷积对所述全局语义信息FG进行通道编码，得到通道敏感的全局语义信息F′G。
7.根据权利要求6所述的单图像超分辨率方法，其特征在于，所述步骤2中进行深层特征提取的过程还包括：将像素点形式的所述自相似修正特征FP和通道敏感的所述全局语义信息F′G进行简单相加后得到大小为C/2×H×W的融合特征Ff，通过1×1升维卷积将所述融合特征Ff还原成C×H×W维度大小的特征Fo。
8.根据权利要求7所述的单图像超分辨率方法，其特征在于，所述步骤2中进行深层特征提取的过程还包括：
将所述特征Fo经过所述双支路多尺度感受野融合模块和所述二阶坐标注意力模块后得到特征F4，将所述特征F4再经过所述双支路多尺度感受野融合模块和所述二阶坐标注意力模块后得到深度特征F5；
利用所述毗邻特征融合模块对深度特征Fo和所述深度特征F5进行特征融合后，经过所述双支路多尺度感受野融合模块得到所述深度特征F6。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210861170.3A CN115293968A (zh) | 2022-07-19 | 2022-07-19 | 一种超轻量高效的单图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210861170.3A CN115293968A (zh) | 2022-07-19 | 2022-07-19 | 一种超轻量高效的单图像超分辨率方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115293968A true CN115293968A (zh) | 2022-11-04 |
Family
ID=83823913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210861170.3A Pending CN115293968A (zh) | 2022-07-19 | 2022-07-19 | 一种超轻量高效的单图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115293968A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115994857A (zh) * | 2023-01-09 | 2023-04-21 | 深圳大学 | 一种视频超分辨率方法、装置、设备及存储介质 |
| CN116934598A (zh) * | 2023-09-19 | 2023-10-24 | 湖南大学 | 一种多尺度特征融合的轻量级遥感图像超分方法及*** |
-
2022
- 2022-07-19 CN CN202210861170.3A patent/CN115293968A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115994857A (zh) * | 2023-01-09 | 2023-04-21 | 深圳大学 | 一种视频超分辨率方法、装置、设备及存储介质 |
| CN115994857B (zh) * | 2023-01-09 | 2023-10-13 | 深圳大学 | 一种视频超分辨率方法、装置、设备及存储介质 |
| CN116934598A (zh) * | 2023-09-19 | 2023-10-24 | 湖南大学 | 一种多尺度特征融合的轻量级遥感图像超分方法及*** |
| CN116934598B (zh) * | 2023-09-19 | 2023-12-01 | 湖南大学 | 一种多尺度特征融合的轻量级遥感图像超分方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及*** | |
| CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及*** | |
| CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
| CN115293968A (zh) | 一种超轻量高效的单图像超分辨率方法 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN112184585B (zh) | 一种基于语义边缘融合的图像补全方法及*** | |
| CN112419191B (zh) | 基于卷积神经网络的图像运动模糊去除方法 | |
| CN114511798B (zh) | 基于transformer的驾驶员分心检测方法及装置 | |
| CN113076957A (zh) | 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法 | |
| CN111696110A (zh) | 场景分割方法及*** | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| Zhong et al. | Deep attentional guided image filtering | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
| CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN115511708A (zh) | 基于不确定性感知特征传输的深度图超分辨率方法及*** | |
| CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN117237623B (zh) | 一种无人机遥感图像语义分割方法及*** | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| CN116152263A (zh) | 一种基于cm-mlp网络的医学图像分割方法 | |
| CN115578260A (zh) | 针对图像超分辨率的方向解耦的注意力方法和*** | |
| CN113033616B (zh) | 高质量视频重建方法、装置、设备及存储介质 | |
| CN114943655A (zh) | 基于循环深度卷积生成对抗网络结构的图像修复*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: No. 548, 5th Floor, Building 10, No. 28 Linping Avenue, Donghu Street, Linping District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Tuke Intelligent Information Technology Co.,Ltd. Address before: 430000 B033, No. 05, 4th floor, building 2, international enterprise center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone) Applicant before: Wuhan Tuke Intelligent Technology Co.,Ltd. |
|
| CB02 | Change of applicant information |