CN116071243A - 一种基于边缘增强的红外图像超分辨率重建方法 - Google Patents
一种基于边缘增强的红外图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN116071243A CN116071243A CN202310300255.9A CN202310300255A CN116071243A CN 116071243 A CN116071243 A CN 116071243A CN 202310300255 A CN202310300255 A CN 202310300255A CN 116071243 A CN116071243 A CN 116071243A
- Authority
- CN
- China
- Prior art keywords
- edge
- features
- convolution
- representing
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 82
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000011176 pooling Methods 0.000 claims abstract description 24
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 8
- 230000010339 dilation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于边缘增强的红外图像超分辨率重建方法，涉及图像处理方法技术领域。本发明利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS‑RCF边缘提取网络组成；多重残差深层特征提取模块由多个级联残差可选择核卷积组、边缘特征融合块和全局残差连接组成，利用多重残差深层特征提取模块对浅层特征进行多尺度特征提取并有效融合边缘特征，得到深层特征；利用重建模块使用亚像素卷积对深层特征进行上采样，得到超分辨率红外图像。通过本发明的方法，能够重建出边缘清晰和纹理细节丰富的超分辨率红外图像。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于边缘增强的红外图像超分辨率重建方法。
背景技术
由于微电子技术的迅猛发展，基于可见光的光学相机凭借其较快的成像速度和较好的成像质量，迅速在安防监控、无人机、军事和农业等领域得到了广泛的应用。然而，由于其成像原理的限制，在夜间和极端恶劣天气条件场景下，基于可见光的RGB相机成像质量直线下降。此时，红外相机由于穿透烟、雾等能力较强，在上述场景下可替代传统的可见光相机用于捕获图像。但是，一般民用红外相机的传感器分辨率较低，与动辄百万像素的RGB光学相机难以比拟，导致其最终捕获的红外图像分辨率较低。因而，采用新技术高效而又经济的提高红外图像的分辨率成为亟待解决的问题。相较于花费大量时间和资金投入研发高分辨率红外传感器，从图像处理算法这一技术路径来提升红外图像分辨率成为目前主流发展方向。
单一图像超分辨率重建是图像处理领域中一个经典的研究问题，其旨在通过低分辨率图像重建具有精细细节的高分辨率图像。为了生成高质量的超分辨率图像，图像处理领域的研究学者提出了许多超分辨率方法，目前单一图像超分辨率重建方法可分为三种类型：基于插值的方法、基于重构的方法和基于学习的方法。基于插值的方法主要有最近邻近插值、双线性插值和双三次插值等。这类方法计算较为简单、易于实现和理解，但是重建结果容易出现振铃效应，无法恢复图像中的纹理细节信息。基于重构的方法有迭代反向投影法、非均匀内插法和最大后验概率法等。该类方法对图像的获取过程建立观测模型，然后通过求解观测模型的逆问题来实现超分辨重建，但是该类方法实现过程相对复杂，计算量较大，并且十分耗时。基于深度学习的方法主要有SRCNN、FSRCNN、ESPCNN、VDSR、EDSR、RDN和RCAN等算法。该类算法利用在低分辨率图像块与高分辨率图像块之间建立端到端的映射，对高频信息进行复原，重建出了很不错的高分辨率图像，但是上述方法在提取高频特征时，提取方式比较单一，并没有考虑多尺度特征信息，并且重建出的图像缺乏清晰的边缘结构。
发明内容
为了克服上述所述的不足，本发明的目的是提供一种基于边缘增强的红外图像超分辨率重建方法，以使重建的超分辨率红外图像边缘更加清晰，纹理细节更加丰富，且适用范围广。
本发明解决其技术问题的技术方案是：一种基于边缘增强的红外图像超分辨率重建方法，利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS-RCF边缘提取网络组成；多重残差深层特征提取模块由多个级联残差可选择核卷积组、边缘特征融合块和全局残差连接组成，利用多重残差深层特征提取模块对浅层特征进行多尺度特征提取并有效融合边缘特征，得到深层特征；利用重建模块使用亚像素卷积对深层特征进行上采样，得到超分辨率红外图像。
进一步优选，所述边缘特征提取是指将低分辨率红外图像通过追踪损失优化预训练好的强边缘特征提取模块，提取输入的低分辨红外图像边缘特征，得到边缘特征。
进一步优选，所述边缘特征提取：将输入的低分辨率红外图像输入最大值池化坐标注意力模块，通过引入最大值池化操作以关注变化明显的图像边缘区域，增强输入低分辨率红外图像的边缘权重，将增强边缘权重的低分辨率红外图像输入CATS-RCF边缘提取网络进行边缘特征提取，得到准确清晰的边缘特征。
进一步优选，在最大值池化坐标注意力模块中，低分辨率红外图像分别进行X方向最大值池化和Y方向最大值池化，然后连接，经过卷积层卷积并非线性激活后分离，分离之后再分别通过卷积层卷积并sigmoid激活，之后与X、Y方向权值分别加强相乘，输出增强边缘权重的低分辨率红外图像。
进一步优选，CATS-RCF边缘提取网络包括依次设置的阶段1、阶段2、阶段3、阶段4和阶段5，每个阶段设有卷积层，5个阶段的阶段边缘特征输出进行通道拼接，然后经过上下文感知融合模块处理并sigmoid激活，输出最终边缘特征。
进一步优选，深层特征提取时，将浅层特征通过多个级联残差可选择核卷积组、一个边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，进行多尺度特征提取和边缘特征融合，得到深层特征。
进一步优选，深层特征提取时，通过将浅层特征输入由n个级联残差可选择核卷积组、边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，对浅层特征进行多尺度特征提取及边缘特征融合，得到边缘增强、层次更深的深层特征，其中级联残差可选择核卷积组包含m个级联残差可选择核卷积块，深层特征提取过程描述为：
其中，表示第个多重残差可选择核卷积组，表示多重残差可选择核卷积组的数量，表示第个多重残差可选择核卷积组的多尺度中间特征，表示第个多重残差可选择核卷积组的多尺度中间特征，表示第个多重残差可选择核卷积组的多尺度中间特征，表示边缘特征融合块，表示空间和通道维度边缘增强的高频特征，表示卷积核大小为3×3的卷积操作，表示深层特征，表示浅层特征，表示最终边缘特征。
进一步优选，所述残差可选择核卷积块包含两个3×3卷积层、一个激活函数、残差连接和一个注意力增强的可选择核卷积模块，残差可选择核卷积块处理过程描述为：
其中，表示残差可选择核卷积块的输入特征，表示残差可选择核卷积块的输出特征，表示注意力增强的可选择核卷积模块，表示可变的激活函数，表示激活函数可学习的斜率，表示激活函数可学习的截距，表示激活函数的输入特征。
进一步优选，注意力增强的可选择核卷积模块的处理过程描述为：
其中，表示可选择卷积的输入特征，为扩张率为1的3×3卷积，为扩张率为2的3×3卷积，表示LeakyReLU激活函数为扩张率为1的3×3卷积输出特征，为扩张率为2的3×3卷积输出特征，表示三重注意力机制，为经三重注意力权重增强的特征输出，为经三重注意力权重增强的特征输出，表示不同尺度融合的特征，表示融合特征在位置的值，表示全局平均池化，表示通道统计信息，表示训练权重，表示全连接层，表示压缩特征，表示Softmax激活函数，表示的软注意力向量，表示的软注意力向量，表示经核注意力权重二次分配的特征输出，表示经核注意力权重二次分配的特征输出，表示经多种核注意力权重分配输出的最终特征图。
进一步优选，边缘特征融合块将边缘特征经过一层3×3卷积进行特征维度转换，然后将转换维度后的边缘特征和多尺度纹理特征通过特征相加操作进行空间维度边缘增强得到空间维度边缘增强的纹理特征，继而将空间维度边缘增强的纹理特征与转换维度后的边缘特征拼接再通过通道混洗操作均匀混洗两种特征，最后经1×1卷积使两种特征充分融合得到空间和通道维度边缘增强的高频特征。
进一步优选重建模块由亚像素卷积层和3×3卷积组成。
与现有技术相比，本发明具有以下有益效果：本发明通过增强的残差可选择核卷积模块，实现神经元的自适应感受野大小，提取多尺度高频细节特征。将低分辨率红外图像输入强边缘特征提取模块，提取准确和细腻的边缘特征。通过边缘特征融合模块，利用空间维度相加和通道维度拼接技术，有效融合多尺度高频特征信息和边缘特征，得到边缘增强的高频特征。通过本发明的方法，可以获得边缘更加清晰，纹理细节更加丰富的超分辨率红外图像。
本发明的强边缘特征提取模块为融合最大值池化坐标注意力的CATS-RCF（Context-Aware Tracing Strategy-Richer Convolutional Features）边缘提取网络，引入了最大值池化坐标注意力来增强输入低分辨率红外图像的边缘权重，以方便CATS-RCF提取低分辨率红外图像的边缘特征，并且CATS-RCF边缘提取网络还引入了追踪损失和上下文感知融合模块，不仅融合了阶段边缘特征，对阶段边缘特征进行自注意力权重分配，而且通过追踪损失抑制非边缘点，得到清晰准确的边缘输出；具有边缘清晰和边界准确等特点，对超分重建任务具有很重要的意义。融合最大值池化坐标注意力的CATS-RCF边缘提取网络是预训练好的，在训练主干网络的同时这部分边缘提取模块是冻结参数，这样不仅可以在不增强任何训练时间的情况下，还能保证所提取的边缘特征的准确性。
附图说明
为了易于说明，本发明由下述附图作以详细描述。
图1为本发明的基于边缘增强的红外图像超分辨率重建网络模型结构图。
图2为本发明的基于最大值池化的坐标注意力模块结构图。
图3为本发明的CATS-RCF边缘提取网络结构图。
图4为本发明的多重残差深层特征提取模块结构图。
图5为本发明的残差可选择核卷积组结构图。
图6为本发明的残差可选择核卷积块结构图。
图7为本发明的注意力增强的可选择核卷积模块结构图。
图8为本发明的三重注意力机制结构图。
图9为本发明的边缘特征融合块结构图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
如图1所示，本实施例提供了一种基于边缘增强的红外图像超分辨率重建方法，本方法所使用基于边缘增强的红外图像超分辨率重建网络模型包括：浅层特征提取模块、强边缘特征提取模块、多重残差深层特征提取模块和重建模块。利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS-RCF边缘提取网络组成；多重残差深层特征提取模块由多个级联残差可选择核卷积组、边缘特征融合块和全局残差连接组成，利用多重残差深层特征提取模块对浅层特征进行多尺度特征提取并有效融合边缘特征，得到深层特征；利用重建模块使用亚像素卷积对深层特征进行上采样，得到超分辨率红外图像。
本实施例中，利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取具体为：利用卷积层擅于提取特征的特点，采用一个3×3卷积提取低分辨率红外图像的浅层特征，该过程描述为：
（1）
其中，表示浅层特征提取模块，表示低分辨率红外图像，表示浅层特征；
本实施例中，利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，将低分辨率红外图像通过追踪损失优化预训练好的强边缘特征提取模块，提取输入的低分辨红外图像边缘特征，得到边缘特征，该过程描述为：
（2）
其中，表示强边缘特征提取模块，表示最终边缘特征。
如图2所示，将输入的低分辨率红外图像输入最大值池化坐标注意力模块，通过引入最大值池化操作以关注变化明显的图像边缘区域，极大的增强输入低分辨率红外图像的边缘权重，该过程描述为：
（3）
其中，表示最大值池化坐标注意力模块，表示经最大值池化坐标注意力进行权重重新分配的低分辨率红外图像特征。低分辨率红外图像分别进行X方向最大值池化和Y方向最大值池化，然后连接，经过卷积层卷积并非线性激活后分离，分离之后再分别通过卷积层卷积并sigmoid激活，之后与X、Y方向权值分别加强相乘，输出增强边缘权重的低分辨率红外图像。
如图3所示，将增强边缘权重的低分辨率红外图像输入CATS-RCF边缘提取网络进行边缘特征提取，得到准确清晰的边缘特征，该过程描述为：
（4）
其中，表示CATS-RCF边缘提取网络。CATS-RCF边缘提取网络包括依次设置的阶段1、阶段2、阶段3、阶段4和阶段5，每个阶段设有卷积层，5个阶段的阶段边缘特征输出进行通道拼接，然后经过上下文感知融合模块处理并sigmoid激活，输出最终边缘特征。
本实施例中，将浅层特征通过多个级联残差可选择核卷积组、一个边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，进行多尺度特征提取和边缘特征融合，得到深层特征。
本实施例如图4所示，通过将浅层特征输入由n个级联残差可选择核卷积组、边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，可以对浅层特征进行多尺度特征提取及边缘特征融合，得到边缘增强、层次更深的深层特征，其中级联残差可选择核卷积组包含m个级联残差可选择核卷积块，本实例中取n=10,m=20，该过程描述为：
（5）
（6）
（7）
其中，表示第个多重残差可选择核卷积组，表示多重残差可选择核卷积组的数量，表示第个多重残差可选择核卷积组的多尺度中间特征，表示第个多重残差可选择核卷积组的多尺度中间特征，表示第个多重残差可选择核卷积组的多尺度中间特征，表示边缘特征融合块，表示空间和通道维度边缘增强的高频特征，表示卷积核大小为3×3的卷积操作，表示深层特征。
如图5所示，通过将浅层特征输入残差可选择核卷积组，可以提取多尺度高级特征，残差可选择核卷积组包含20个残差可选择核卷积块、一个3×3卷积和一个局部残差连接，该过程描述为：
（8）
（9）
其中，表示残差可选择核卷积块，表示残差多尺度特征，表示第1个多重残差可选择核卷积组的多尺度中间特征。
通过将中间特征输入残差可选择核卷积块，可以提取多尺度中间特征，如图6所示，残差可选择核卷积块包含两个3×3卷积层、一个激活函数、残差连接和一个注意力增强的可选择核卷积模块，该过程描述为：
（10）
（11）
其中，表示残差可选择核卷积块的输入特征，表示残差可选择核卷积块的输出特征，表示注意力增强的可选择核卷积模块，表示可变的激活函数，表示激活函数可学习的斜率，表示激活函数可学习的截距，表示激活函数的输入特征。
如图7所示，注意力增强的可选择核卷积模块通过移除普通可选择核卷积模块中的BN层以适应超分辨率重建任务，引入LeakyReLU激活函数以激活更多图像细节特征，并在每一个分支加入轻量的三重注意力机制，通过捕捉空间维度和输入张量通道维度之间的交互，进行跨维度权重分配，从而达到提取更精细的多尺度纹理特征，该过程描述为：
（12）
（13）
（14）
（15）
（16）
（17）
（18）
（19）
其中，表示可选择卷积的输入特征，为扩张率为1的3×3卷积，为扩张率为2的3×3卷积，表示LeakyReLU激活函数,为扩张率为1的3×3卷积输出特征，为扩张率为2的3×3卷积输出特征，表示三重注意力机制，为经三重注意力权重增强的特征输出，为经三重注意力权重增强的特征输出，表示不同尺度融合的特征，表示融合特征在位置的值，表示全局平均池化，表示通道统计信息，表示训练权重，表示全连接层，表示压缩特征，表示Softmax激活函数，表示的软注意力向量，表示的软注意力向量，表示经核注意力权重二次分配的特征输出，表示经核注意力权重二次分配的特征输出，表示经多种核注意力权重分配输出的最终特征图。
如图8所示，三重注意力机制将特征分别输入第一个分支和第二个分支，首先经过维度转换，接着进行平均池化和最大值池化操作，再经过7×7卷积和批量正则化进行特征提取，最后经过Sigmoid激活函数得到权重向量与输入特征相乘进行权重分配；再将特征输入第三个分支，首先经过通道池化，接着经过7×7卷积和批量正则化进行特征提取，最后经过Sigmoid激活函数得到权重向量与输入特征相乘进行权重分配；最后对三个分支输出特征相加求平均，得到跨维度交互注意力权重特征。
如图9所示，边缘特征融合块将边缘特征经过一层3×3卷积进行特征维度转换，然后将转换维度后的边缘特征和多尺度纹理特征通过特征相加操作进行空间维度边缘增强得到空间维度边缘增强的纹理特征，继而将空间维度边缘增强的纹理特征与转换维度后的边缘特征拼接再通过通道混洗操作均匀混洗两种特征，最后经1×1卷积使两种特征充分融合得到空间和通道维度边缘增强的高频特征，该过程描述为：
（20）
（21）
（22）
其中，表示经3×3卷积进行通道数转换的输出边缘特征，表示空间维度边缘增强的输出特征，表示通道特征拼接操作，表示通道混洗操作。
对深层特征进行上采样重建，通过上采样预测的特征图重构为超分辨率红外图像，重建模块由亚像素卷积层（Pixel-Shuffle）和3×3卷积组成，该过程描述为：
（23）
（24）
其中，表示亚像素卷积上采样模块，表示上采样后的特征，表示重建后的超分辨率红外图像。
本发明通过损失函数对所述红外图像超分辨率重建方法进行优化，所述损失函数使用K个重建超分辨率红外图像与对应真实高分辨率红外图像间的平均误差，其表达式为：
（25）
其中，表示基于边缘增强的红外图像超分辨率重建网络模型，表示损失函数,表示第k个低分辨率红外图像，表示第k个真实高分辨率红外图像。
本发明实施例通过采用注意力增强的可选择核卷积模块自适应地调整感受野，提取多尺度的细节特征。通过采用强边缘特征提取模块解决了低分辨率红外图像边缘不显著，并且提取到了清晰准确的边缘特征。通过构造边缘特征融合块，有效的融合了多尺度高频特征和边缘特征。本方法可以重建出边缘清晰，纹理细节丰富的超分辨率红外图像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于边缘增强的红外图像超分辨率重建方法，其特征在于，利用浅层特征提取模块对低分辨率红外图像进行浅层特征提取；利用强边缘特征提取模块对低分辨率红外图像进行边缘特征提取，强边缘特征提取模块由最大值池化坐标注意力模块和CATS-RCF边缘提取网络组成；多重残差深层特征提取模块由多个级联残差可选择核卷积组、边缘特征融合块和全局残差连接组成，利用多重残差深层特征提取模块对浅层特征进行多尺度特征提取并有效融合边缘特征，得到深层特征；利用重建模块使用亚像素卷积对深层特征进行上采样，得到超分辨率红外图像。
2.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，所述边缘特征提取是指将低分辨率红外图像通过追踪损失优化预训练好的强边缘特征提取模块，提取输入的低分辨红外图像边缘特征，得到边缘特征。
3.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，所述边缘特征提取：将输入的低分辨率红外图像输入最大值池化坐标注意力模块，通过引入最大值池化操作以关注变化明显的图像边缘区域，增强输入低分辨率红外图像的边缘权重，将增强边缘权重的低分辨率红外图像输入CATS-RCF边缘提取网络进行边缘特征提取，得到准确清晰的边缘特征。
4.根据权利要求3所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，在最大值池化坐标注意力模块中，低分辨率红外图像分别进行X方向最大值池化和Y方向最大值池化，然后连接，经过卷积层卷积并非线性激活后分离，分离之后再分别通过卷积层卷积并sigmoid激活，之后与X、Y方向权值分别加强相乘，输出增强边缘权重的低分辨率红外图像。
5.根据权利要求3所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，CATS-RCF边缘提取网络包括依次设置的阶段1、阶段2、阶段3、阶段4和阶段5，每个阶段设有卷积层，5个阶段的阶段边缘特征输出进行通道拼接，然后经过上下文感知融合模块处理并sigmoid激活，输出最终边缘特征。
6.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，深层特征提取时，将浅层特征通过多个级联残差可选择核卷积组、一个边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，进行多尺度特征提取和边缘特征融合，得到深层特征。
7.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，深层特征提取时，通过将浅层特征输入由n个级联残差可选择核卷积组、边缘特征融合块、一个3×3卷积和全局残差连接组成的多重残差深层特征提取模块，对浅层特征进行多尺度特征提取及边缘特征融合，得到边缘增强、层次更深的深层特征，其中级联残差可选择核卷积组包含m个级联残差可选择核卷积块，深层特征提取过程描述为：
其中，表示第个多重残差可选择核卷积组，表示多重残差可选择核卷积组的数量，表示第个多重残差可选择核卷积组的多尺度中间特征，表示第个多重残差可选择核卷积组的多尺度中间特征，表示第个多重残差可选择核卷积组的多尺度中间特征，表示边缘特征融合块，表示空间和通道维度边缘增强的高频特征，表示卷积核大小为3×3的卷积操作，表示深层特征，表示浅层特征，表示最终边缘特征。
8.根据权利要求7所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，所述残差可选择核卷积块包含两个3×3卷积层、一个激活函数、残差连接和一个注意力增强的可选择核卷积模块，残差可选择核卷积块处理过程描述为：
其中，表示残差可选择核卷积块的输入特征，表示残差可选择核卷积块的输出特征，表示注意力增强的可选择核卷积模块，表示可变的激活函数，表示激活函数可学习的斜率，表示激活函数可学习的截距，表示激活函数的输入特征。
9.根据权利要求8所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，注意力增强的可选择核卷积模块的处理过程描述为：
其中，表示可选择卷积的输入特征，为扩张率为1的3×3卷积，为扩张率为2的3×3卷积，表示LeakyReLU激活函数,为扩张率为1的3×3卷积输出特征，为扩张率为2的3×3卷积输出特征，表示三重注意力机制，为经三重注意力权重增强的特征输出，为经三重注意力权重增强的特征输出，表示不同尺度融合的特征，表示融合特征在位置的值，表示全局平均池化，表示通道统计信息，表示训练权重，表示全连接层，表示压缩特征，表示Softmax激活函数，表示的软注意力向量，表示的软注意力向量，表示经核注意力权重二次分配的特征输出，表示经核注意力权重二次分配的特征输出，表示经多种核注意力权重分配输出的最终特征图。
10.根据权利要求1所述的基于边缘增强的红外图像超分辨率重建方法，其特征在于，边缘特征融合块将边缘特征经过一层3×3卷积进行特征维度转换，然后将转换维度后的边缘特征和多尺度纹理特征通过特征相加操作进行空间维度边缘增强得到空间维度边缘增强的纹理特征，继而将空间维度边缘增强的纹理特征与转换维度后的边缘特征拼接再通过通道混洗操作均匀混洗两种特征，最后经1×1卷积使两种特征充分融合得到空间和通道维度边缘增强的高频特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310300255.9A CN116071243B (zh) | 2023-03-27 | 2023-03-27 | 一种基于边缘增强的红外图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310300255.9A CN116071243B (zh) | 2023-03-27 | 2023-03-27 | 一种基于边缘增强的红外图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116071243A true CN116071243A (zh) | 2023-05-05 |
| CN116071243B CN116071243B (zh) | 2023-06-16 |
Family
ID=86180533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310300255.9A Active CN116071243B (zh) | 2023-03-27 | 2023-03-27 | 一种基于边缘增强的红外图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116071243B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468812A (zh) * | 2023-05-16 | 2023-07-21 | 山东省计算中心（国家超级计算济南中心） | 一种基于多分支和多尺度的图像压缩感知重构方法及*** |
| CN117078516A (zh) * | 2023-08-11 | 2023-11-17 | 济宁安泰矿山设备制造有限公司 | 基于残差混合注意力的矿井图像超分辨率重建方法 |
| CN117132472A (zh) * | 2023-10-08 | 2023-11-28 | 兰州理工大学 | 基于前向-反向可分离自注意力的图像超分辨率重建方法 |
| CN117391938A (zh) * | 2023-12-13 | 2024-01-12 | 长春理工大学 | 一种红外图像超分辨率重建方法、***、设备及终端 |
| CN117456289A (zh) * | 2023-12-25 | 2024-01-26 | 四川大学 | 一种基于深度学习的颌骨病变分割分类*** |
| CN117495680A (zh) * | 2024-01-02 | 2024-02-02 | 华侨大学 | 基于特征融合Transformer的多对比度核磁共振图像超分辨率方法 |
| CN117575915A (zh) * | 2024-01-16 | 2024-02-20 | 闽南师范大学 | 一种图像超分辨率重建方法、终端设备及存储介质 |
| CN118096534A (zh) * | 2024-04-26 | 2024-05-28 | 江西师范大学 | 一种基于互补参考的红外图像超分辨率重建方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971354A (zh) * | 2014-05-19 | 2014-08-06 | 四川大学 | 低分辨率红外图像重建高分辨率红外图像的方法 |
| CN110458758A (zh) * | 2019-07-29 | 2019-11-15 | 武汉工程大学 | 一种图像超分辨率重建方法、***及计算机存储介质 |
| CN112330542A (zh) * | 2020-11-18 | 2021-02-05 | 重庆邮电大学 | 基于crcsan网络的图像重建***及方法 |
| CN113222819A (zh) * | 2021-05-19 | 2021-08-06 | 厦门大学 | 一种基于深度卷积神经网络的遥感图像超分辨重建方法 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及*** |
| CN114581300A (zh) * | 2022-02-17 | 2022-06-03 | 华南理工大学 | 一种图像超分辨率重建方法及装置 |
| WO2022151535A1 (zh) * | 2021-01-15 | 2022-07-21 | 苏州大学 | 基于深度学习的人脸特征点检测方法 |
| CN114782254A (zh) * | 2022-05-17 | 2022-07-22 | 江西师范大学 | 一种融合边缘信息的红外图像超分辨率重建***及方法 |
| CN115222601A (zh) * | 2022-08-06 | 2022-10-21 | 福州大学 | 基于残差混合注意力网络的图像超分辨率重建模型及方法 |
| WO2022242029A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、***、装置及存储介质 |
| CN115526779A (zh) * | 2022-10-10 | 2022-12-27 | 上海大学 | 一种基于动态注意力机制的红外图像超分辨率重建方法 |
-
2023
- 2023-03-27 CN CN202310300255.9A patent/CN116071243B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971354A (zh) * | 2014-05-19 | 2014-08-06 | 四川大学 | 低分辨率红外图像重建高分辨率红外图像的方法 |
| CN110458758A (zh) * | 2019-07-29 | 2019-11-15 | 武汉工程大学 | 一种图像超分辨率重建方法、***及计算机存储介质 |
| CN112330542A (zh) * | 2020-11-18 | 2021-02-05 | 重庆邮电大学 | 基于crcsan网络的图像重建***及方法 |
| WO2022151535A1 (zh) * | 2021-01-15 | 2022-07-21 | 苏州大学 | 基于深度学习的人脸特征点检测方法 |
| WO2022242029A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、***、装置及存储介质 |
| CN113222819A (zh) * | 2021-05-19 | 2021-08-06 | 厦门大学 | 一种基于深度卷积神经网络的遥感图像超分辨重建方法 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及*** |
| CN114581300A (zh) * | 2022-02-17 | 2022-06-03 | 华南理工大学 | 一种图像超分辨率重建方法及装置 |
| CN114782254A (zh) * | 2022-05-17 | 2022-07-22 | 江西师范大学 | 一种融合边缘信息的红外图像超分辨率重建***及方法 |
| CN115222601A (zh) * | 2022-08-06 | 2022-10-21 | 福州大学 | 基于残差混合注意力网络的图像超分辨率重建模型及方法 |
| CN115526779A (zh) * | 2022-10-10 | 2022-12-27 | 上海大学 | 一种基于动态注意力机制的红外图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| KORNKAMOL THAKULSUKANANT; VORAPOJ PATANAVIJIT: "A novel resolution enhancement established on an iterative regularized ML MSRR and high-frequency pre-determining SSRR for ultra-magnification rate", 《2017 14TH INTERNATIONAL CONFERENCE ON ELECTRICAL ENGINEERING/ELECTRONICS, COMPUTER, TELECOMMUNICATIONS AND INFORMATION TECHNOLOGY (ECTI-CON)》 * |
| 雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468812A (zh) * | 2023-05-16 | 2023-07-21 | 山东省计算中心（国家超级计算济南中心） | 一种基于多分支和多尺度的图像压缩感知重构方法及*** |
| CN117078516B (zh) * | 2023-08-11 | 2024-03-12 | 济宁安泰矿山设备制造有限公司 | 基于残差混合注意力的矿井图像超分辨率重建方法 |
| CN117078516A (zh) * | 2023-08-11 | 2023-11-17 | 济宁安泰矿山设备制造有限公司 | 基于残差混合注意力的矿井图像超分辨率重建方法 |
| CN117132472A (zh) * | 2023-10-08 | 2023-11-28 | 兰州理工大学 | 基于前向-反向可分离自注意力的图像超分辨率重建方法 |
| CN117132472B (zh) * | 2023-10-08 | 2024-05-31 | 兰州理工大学 | 基于前向-反向可分离自注意力的图像超分辨率重建方法 |
| CN117391938A (zh) * | 2023-12-13 | 2024-01-12 | 长春理工大学 | 一种红外图像超分辨率重建方法、***、设备及终端 |
| CN117391938B (zh) * | 2023-12-13 | 2024-02-20 | 长春理工大学 | 一种红外图像超分辨率重建方法、***、设备及终端 |
| CN117456289B (zh) * | 2023-12-25 | 2024-03-08 | 四川大学 | 一种基于深度学习的颌骨病变分割分类*** |
| CN117456289A (zh) * | 2023-12-25 | 2024-01-26 | 四川大学 | 一种基于深度学习的颌骨病变分割分类*** |
| CN117495680A (zh) * | 2024-01-02 | 2024-02-02 | 华侨大学 | 基于特征融合Transformer的多对比度核磁共振图像超分辨率方法 |
| CN117495680B (zh) * | 2024-01-02 | 2024-05-24 | 华侨大学 | 基于特征融合Transformer的多对比度核磁共振图像超分辨率方法 |
| CN117575915A (zh) * | 2024-01-16 | 2024-02-20 | 闽南师范大学 | 一种图像超分辨率重建方法、终端设备及存储介质 |
| CN118096534A (zh) * | 2024-04-26 | 2024-05-28 | 江西师范大学 | 一种基于互补参考的红外图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116071243B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116071243B (zh) | 一种基于边缘增强的红外图像超分辨率重建方法 | |
| Wang et al. | Ultra-dense GAN for satellite imagery super-resolution | |
| Zamir et al. | Learning enriched features for fast image restoration and enhancement | |
| Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
| CN108259994B (zh) | 一种提高视频空间分辨率的方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN110570353A (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN110070489A (zh) | 一种基于视差注意力机制的双目图像超分辨方法 | |
| CN112001843B (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| CN115358932B (zh) | 一种多尺度特征融合的人脸超分辨率重构方法及*** | |
| CN112419191B (zh) | 基于卷积神经网络的图像运动模糊去除方法 | |
| CN111654621B (zh) | 一种基于卷积神经网络模型的双焦相机连续数字变焦方法 | |
| Yang et al. | License plate image super-resolution based on convolutional neural network | |
| Rasheed et al. | LSR: Lightening super-resolution deep network for low-light image enhancement | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN114782298A (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
| Gong et al. | Learning deep resonant prior for hyperspectral image super-resolution | |
| Ai et al. | Single image super-resolution via residual neuron attention networks | |
| Zheng et al. | Double-branch dehazing network based on self-calibrated attentional convolution | |
| CN117952883A (zh) | 一种基于双边网格和显著性引导的逆光图像增强方法 | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| Chen et al. | Remote sensing image super-resolution with residual split attention mechanism | |
| CN116029905A (zh) | 一种基于渐进差值互补的人脸超分辨率重构方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |