CN117495681B - 一种红外图像超分辨重建***及方法 - Google Patents
一种红外图像超分辨重建***及方法 Download PDFInfo
- Publication number
- CN117495681B CN117495681B CN202410003817.8A CN202410003817A CN117495681B CN 117495681 B CN117495681 B CN 117495681B CN 202410003817 A CN202410003817 A CN 202410003817A CN 117495681 B CN117495681 B CN 117495681B
- Authority
- CN
- China
- Prior art keywords
- result
- convolution
- generate
- compression
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004913 activation Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 230000006835 compression Effects 0.000 claims description 47
- 238000007906 compression Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 34
- 230000009467 reduction Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 44
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 239000002346 layers by function Substances 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像超分辨重建领域，具体提供了一种红外图像超分辨重建***及方法，使用压缩‑扩展模块替换了标准的残差ResNet模块以降低计算成本，并在训练过程中加快收敛速度，同时采用优化的LReLU激活函数取代了传统的ReLU激活函数以及通道级特征映射以避免过拟合的问题进而提升最终的重建性能，以解决重建结果容易引入模糊伪影的问题。为电力设备的红外图像应用提供了高效、准确的解决方案并具备广泛的现场实时应用场景。
Description
技术领域
本发明涉及图像超分辨重建领域，尤其是指一种红外图像超分辨重建***及方法。
背景技术
红外热成像技术是一种通过信号处理与光电转换等手段，将探测到的热量精确的量化，并以图像的形式将物体的温度分布状态直观表现的技术。 在当前电力物联网技术广泛用于电力设备态势感知的形势下，利用红外热成像技术，可对电力设备进行实时的带电检测，获得电力设备的温度分布，从而发现设备的缺陷以及故障情况，并对电力设备健康状态进行评估。而红外热成像检测设备造价昂贵，成本较高，大规模使用经济性较差。而基于图像超分辨的传统方法则存在图像纹理等细节识别不足、复杂背景图像识别精度和效率较低、泛化能力较差，重建结果存在伪影等问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中基于图像超分辨的传统方法存在图像纹理等细节识别不足、复杂背景图像识别精度和效率较低、泛化能力较差，重建结果存在伪影等问题。
为解决上述技术问题，本发明的第一方面提供了一种红外图像超分辨重建***，所述***包括：浅层特征提取模块、压缩-扩展模块、拆分-连接模块、压缩单元模块和分支特征融合模块；
所述浅层特征提取模块被配置为：获取低分辨率红外图像；根据所述低分辨率红外图像生成第一卷积结果；根据所述第一卷积结果生成处理结果；根据所述处理结果生成第二卷积结果；将所述第一卷积结果、所述第二卷积结果和所述低分辨率红外图像进行连接生成浅层特征提取结果；
所述压缩-扩展模块被配置为：对所述浅层特征提取结果进行降维，生成压缩结果；将所述压缩结果输入至卷积网络，生成第三卷积结果；将所述第三卷积结果输入至级联层生成扩展结果；
所述拆分-连接模块被配置为：将所述扩展结果输入至LReLU激活函数层生成高分辨率特征映射图；根据所述高分辨率特征映射图生成第一输出结果；将所述第一输出结果和所述高分辨率特征映射图级联相加生成连接结果；所述连接结果包括最小化特征映射维度；
所述压缩单元模块被配置为：将所述最小化特征映射维度输入至神经网络生成第二输出结果，将所述第二输出结果和所述连接结果转换为特征结果；对所述特征结果进行卷积生成最终结果；
所述分支特征融合模块被配置为：对所述最终结果进行卷积生成第四卷积结果；通过全局跳跃连接将所述高分辨率特征映射图和所述第四卷积结果相加，生成超分辨率重建图像。
在本发明的一个实施例中，所述浅层特征提取模块还包括：第一卷积层、LReLU激活函数层和第二卷积层；
所述第一卷积层被配置为：对所述低分辨率红外图像进行卷积生成所述第一卷积结果；
所述LReLU激活函数层被配置为：对所述第一卷积结果进行处理生成处理结果；
所述第二卷积层被配置为：对所述处理结果进行卷积生成第二卷积结果。
在本发明的一个实施例中，所述压缩-扩展模块还包括：卷积内核和/>卷积内核；
所述卷积内核被配置为：将所述压缩结果进行卷积生成第一压缩结果；
所述卷积内核被配置为：将所述第一压缩结果进行卷积生成第三卷积结果。
在本发明的一个实施例中，所述拆分-连接模块还包括：
将所述高分辨率特征映射图分为第一路径和第二路径；
对所述第一路径进行降维处理生成第一降维结果；
对所述第二路径进行降维处理生成第二降维结果；
将所述第一降维结果和所述第二降维结果级联相加生成相加结果；
对所述相加结果进行卷积生成第一输出结果。
在本发明的一个实施例中，所述压缩单元模块还包括：级联单元和卷积核层；
所述级联单元被配置为：对所述第二输出结果和所述连接结果进行处理，生成特征结果；
所述卷积核层被配置为：对所述特征结果进行卷积，生成最终结果。
在本发明的一个实施例中，其还包括：图像采集模块；
所述图像采集模块被配置为：获取红外电力设备图像的数据集；所述数据集包括训练集、验证集和测试集；对所述训练集进行双三次运算生成低分辨率红外图像。
在本发明的一个实施例中，所述浅层特征提取模块的表达式为：
其中，为浅层特征提取模块的输出，/>为表示本模块的卷积运算，代表的是最初的低分辨率图像。
本发明的第二方面提供了一种红外图像超分辨率重建方法，所述方法包括：
获取低分辨率红外图像；
根据所述低分辨率红外图像生成第一卷积结果；
根据所述第一卷积结果生成处理结果；
根据所述处理结果生成第二卷积结果；
将所述第一卷积结果、所述第二卷积结果和所述低分辨率红外图像进行连接生成浅层特征提取结果；
对所述浅层特征提取结果进行降维，生成压缩结果；
将所述压缩结果输入至卷积网络，生成第三卷积结果；
将所述第三卷积结果输入至级联层生成扩展结果；
将所述扩展结果输入至LReLU激活函数层生成高分辨率特征映射图；
根据所述高分辨率特征映射图生成第一输出结果；
将所述第一输出结果和所述高分辨率特征映射图级联相加生成连接结果；
所述连接结果包括最小化特征映射维度；
将所述最小化特征映射维度输入至神经网络生成第二输出结果，将所述第二输出结果和所述连接结果转换为特征结果；
对所述特征结果进行卷积生成最终结果；
对所述最终结果进行卷积生成第四卷积结果；
通过全局跳跃连接将所述高分辨率特征映射图和所述第四卷积结果相加，生成超分辨重建图像。
本发明的第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第二方面或第二方面中任一种可能的实施方式中所述的方法。
本发明的第四方面提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第二方面或第二方面中任一种可能的实施方式中所述的方法。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的一种红外图像超分辨重建***及方法，通过使用压缩-扩展模块替换了标准的残差ResNet模块以降低计算成本，并在训练过程中加快收敛速度，同时采用优化的LReLU激活函数取代了传统的ReLU激活函数以及通道级特征映射以避免过拟合的问题进而提升最终的重建性能，以解决重建结果容易引入模糊伪影的问题。为电力设备的红外图像应用提供了高效、准确的解决方案并具备广泛的现场实时应用场景。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明提供的一种红外图像超分辨重建***及方法的***架构图；
图2是本发明提供的一种红外图像超分辨重建***及方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
参照图1所示，本发明提供了一种红外图像超分辨重建***，所述模型包括：浅层特征提取模块100、压缩-扩展模块200、拆分-连接模块300、压缩单元模块400和分支特征融合模块500；
所述浅层特征提取模块100被配置为：获取低分辨率红外图像；根据所述低分辨率红外图像生成第一卷积结果；根据所述第一卷积结果生成处理结果；根据所述处理结果生成第二卷积结果；将所述第一卷积结果、所述第二卷积结果和所述低分辨率红外图像进行连接生成浅层特征提取结果；
在实际应用场景中，浅层特征提取模块100（SFEB）从电力设备中获取低分辨率红外图像，对低分辨率红外图像进行卷积，得到对应的第一卷积结果。对第一卷积结果进行处理，以得到处理结果，对处理结果再次进行卷积，以得到第二卷积结果，通过级联层分别将第一卷积结果、第二卷积结果和最初的低分辨率红外图像进行连接，以得到最终的浅层特征提取结果。
所述压缩-扩展模块200被配置为：对所述浅层特征提取结果进行降维，生成压缩结果；将所述压缩结果输入至卷积网络，生成第三卷积结果；将所述第三卷积结果输入至级联层生成扩展结果；
在实际应用场景中，通道特征映射深度网络模型包含多个压缩-扩展模块200（SEB）模块，其中每个SEB模块包含suqeeze压缩子模块和expand扩展子模块以及LReLU激活函数，且单个模块结构由两个阶段组成：
压缩阶段采用四个的卷积内核组成以承接浅层特征提取模块（SFEB）的输出结果，由于用于训练学习的压缩卷积核的数量总是小于输入特征图像的大小，因此压缩阶段可以被认为是一个降维过程，也就是对浅层特征提取结果进行降维，生成压缩结果，该降维过程还捕获输入通道之间的像素相关性即四个卷积内核的输出结果经过相结合输出的压缩结果作为扩展阶段的输入。
扩展阶段是对压缩结果输入至卷积网络进行卷积，以得到第三卷积结果，将第三卷积结果经过级联层得到最终的SEB模块输出结果，也就是扩展结果。假设整个特征映射深度网络模型包含N个SEB模块，则xn-1和xn是第N个SEB模块的输入和输出。其表达式为：
（1）；
其中，表示的SEB模块的内部运算。
所述拆分-连接模块300被配置为：将所述扩展结果输入至LReLU激活函数层生成高分辨率特征映射图；根据所述高分辨率特征映射图生成第一输出结果；将所述第一输出结果和所述高分辨率特征映射图级联相加生成连接结果；所述连接结果包括最小化特征映射维度；
在实际应用场景中，拆分-连接模块（RCB）具体包括：LReLU激活函数层和级联层。将扩展结果输入至LReLU激活函数层生成高分辨率特征映射图，根据高分辨率特征映射图得到第一输出结果，将得到的第一输出结果与最初的未被处理的最初高分辨率特征映射图级联相加得到最终的RCB模块输出结果，也就是连接结果。其中，连接结果包括最小化特征映射维度。
所述压缩单元模块400被配置为：将所述最小化特征映射维度输入至神经网络生成第二输出结果，将所述第二输出结果和所述连接结果转换为特征结果；对所述特征结果进行卷积生成最终结果；
在实际应用场景中，压缩单元模块（CUB）具体包括：卷积核+LReLU激活函数层，通过/>卷积核+LReLU激活函数层承接拆分-连接模块输出的最小化特征映射维度，利用局部跳跃连接来重新校准信息以克服参数增长，进而构建高效的体系结构，即/>卷积核+LReLU激活函数层输出的第二输出结果和拆分-连接模块输出的连接结果通过处理后转化为特征结果，最后对特征结果进行卷积以得到最终结果。
所述分支特征融合模块500被配置为：对所述最终结果进行卷积生成第四卷积结果；通过全局跳跃连接将所述高分辨率特征映射图和所述第四卷积结果相加，生成超分辨重建图像。
在实际应用场景中，分支特征融合模块（UBB）具体包括：10个卷积核层+LReLU激活函数层，通过10个/>卷积核层+LReLU激活函数层将得到的低分辨率特征映射连接起来，并通过基于学习的/>反卷积层进行馈送，同时采用全局跳跃连接将最初的高分辨率特征映射图和对最终结果进行卷积处理后的第四卷积结果相加以完成超分辨重建的输出图像。在本申请中，为了不改变输入图像的大小，分别输入图像中提取特征信息，然后通过SCB和CUB模块。为了重建视觉上较好的高分辨结果，本申请使用分支级联层以融合多路径的所有特征信息，然后通过基于学习的转置卷积层上采样将结果输出。
所述浅层特征提取模块还包括：第一卷积层、LReLU激活函数层和第二卷积层；所述第一卷积层被配置为：对所述低分辨率红外图像进行卷积生成所述第一卷积结果；所述LReLU激活函数层被配置为：对所述第一卷积结果进行处理生成处理结果；所述第二卷积层被配置为：对所述处理结果进行卷积生成第二卷积结果。所述浅层特征提取模块的表达式为：
（2）；
其中，为浅层特征提取模块的输出，/>为表示本模块的卷积运算，代表的是最初的低分辨率图像。
在实际应用场景中，通过第一卷积层对低分辨率红外图像进行卷积以生成第一卷积结果，在将得到的第一卷积结果通过LReLU激活函数层处理后以得到处理结果，将处理结果作为第二卷积层的输入，通过第二卷积层对处理结果进行卷积以得到第二卷积结果，其中，层特征提取模块的表达式如式（2）所示。
所述压缩-扩展模块还包括：卷积内核和/>卷积内核；所述/>卷积内核被配置为：将所述压缩结果进行卷积生成第一压缩结果；所述/>卷积内核被配置为：将所述第一压缩结果进行卷积生成第三卷积结果。
在实际应用场景中，压缩-扩展模块的扩展阶段，扩展阶段由的卷积内核和卷积内核组成，首先将压缩结果分别输入到多个/>的卷积内核得到第一压缩结果，再将第一压缩结果输入到同等数量的/>卷积内核得到多个第三卷积结果。
所述拆分-连接模块还包括：将所述高分辨率特征映射图分为第一路径和第二路径；对所述第一路径进行降维处理生成第一降维结果；对所述第二路径进行降维处理生成第二降维结果；将所述第一降维结果和所述第二降维结果级联相加生成相加结果；对所述相加结果进行卷积生成第一输出结果。
在实际应用场景中，将高分辨率特征映射图分为第一路径和第二路径，其中，第一路径为LReLU激活函数+卷积核的输入，第二路径为LReLU激活函数+/>卷积核的输入，LReLU激活函数+/>卷积核和LReLU激活函数+/>卷积核将输入进行降维处理后生成第二降维结果，随后将第二降维结果级联相加生成相加结果，将相加结果输入到另一个LReLU激活函数+/>卷积核层进行卷积生成第一输出结果以防止梯度饱和并减轻梯度消失的风险。
所述压缩单元模块还包括：级联单元和卷积核层；所述级联单元被配置为：对所述第二输出结果和所述连接结果进行处理，生成特征结果；所述/>卷积核层被配置为：对所述特征结果进行卷积，生成最终结果。
在实际应用场景中，将第二输出结果和连接结果输入至级联单元中进行处理，以得到特征结果，将特征结果输入到卷积核层进行卷积，生成最终结果。
所述***还包括：图像采集模块600；所述图像采集模块600被配置为：获取红外电力设备图像的数据集；所述数据集包括训练集、验证集和测试集；对所述训练集进行双三次运算生成低分辨率红外图像。
在实际应用场景中，红外探测器采集多环境下的电力设备图像共1100张，包含变压器油枕，套管，避雷器，电磁阻抗器等设备红外图。将获取的红外电力设备图像的数据集划分为训练集、验证集和测试集，并对训练集利用MATLAB对放大比例因子×2、×3、×4、×8进行双三次运算得到低分辨率红外图像。利用多组训练集、验证集得到的各个网络模块的网络权重，此外，采用数据增强技术对数据进行去噪和像素修正，避免训练过程中出现过拟合现象，提高训练效率。
采用随机梯度下降法对通道特征映射深度学习网络模型进行优化修正训练，其初始学习率设定为0.0001；根据设定的Adam优化器和相应的损失函数确定停止训练条件，当达到停止训练条件时输出模型的权重集合。
训练中，本发明使用的硬件设备为GPU (GeForce NVIDIA RTX 2070 GPU)的Windows 11操作***，具有Intel(R) @ 2.60GHz的Core (TM) i7-9750H CPU，具有16.0 GBRAM***。训练和测试阶段在Keras 2.6.0和TensorFlow 2.6.0环境下进行。
第二方面，参照图2所示，本申请提供了一种红外图像超分辨重建方法，所述方法包括：
S001,获取低分辨率红外图像；
S002,根据所述低分辨率红外图像生成第一卷积结果；
S003,根据所述第一卷积结果生成处理结果；
S004,根据所述处理结果生成第二卷积结果；
S005,将所述第一卷积结果、所述第二卷积结果和所述低分辨率红外图像进行连接生成浅层特征提取结果；
S006,对所述浅层特征提取结果进行降维，生成压缩结果；
S007,将所述压缩结果输入至卷积网络，生成第三卷积结果；
S008,将所述第三卷积结果输入至级联层生成扩展结果；
S009,将所述扩展结果输入至LReLU激活函数层生成高分辨率特征映射图；
S010,根据所述高分辨率特征映射图生成第一输出结果；
S011,将所述第一输出结果和所述高分辨率特征映射图级联相加生成连接结果；
S012,所述连接结果包括最小化特征映射维度；
S013,将所述最小化特征映射维度输入至神经网络生成第二输出结果，将所述第二输出结果和所述连接结果转换为特征结果；
S014,对所述特征结果进行卷积生成最终结果；
S015,对所述最终结果进行卷积生成第四卷积结果；
S016,通过全局跳跃连接将所述高分辨率特征映射图和所述第四卷积结果相加，生成超分辨重建图像。
上述方法中在应用前述模型时的作用效果可参见前述模型实施例中的说明，在此不再赘述。
本发明的第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第二方面或第二方面中任一种可能的实施方式中所述的方法。
本发明的第四方面提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第二方面或第二方面中任一种可能的实施方式中所述的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (8)
1.一种红外图像超分辨重建***，其特征在于，所述***包括：浅层特征提取模块、压缩-扩展模块、拆分-连接模块、压缩单元模块和分支特征融合模块；
所述浅层特征提取模块被配置为：获取低分辨率红外图像；根据所述低分辨率红外图像生成第一卷积结果；根据所述第一卷积结果生成处理结果；根据所述处理结果生成第二卷积结果；将所述第一卷积结果、所述第二卷积结果和所述低分辨率红外图像进行连接生成浅层特征提取结果；
所述压缩-扩展模块包含suqeeze压缩子模块和expand扩展子模块以及LReLU激活函数；所述压缩-扩展模块被配置为：对所述浅层特征提取结果进行降维，生成压缩结果；将所述压缩结果输入至卷积网络，生成第三卷积结果；将所述第三卷积结果输入至级联层生成扩展结果
所述压缩-扩展模块包括： 卷积内核和/>卷积内核；
所述卷积内核被配置为：将所述压缩结果进行卷积生成第一压缩结果；
所述卷积内核被配置为：将所述第一压缩结果进行卷积生成第三卷积结果；
压缩阶段采用四个的卷积内核组成以承接浅层特征提取模块SFEB的输出结果；
扩展阶段是对压缩结果输入至卷积网络进行卷积，以得到第三卷积结果，将第三卷积结果经过级联层得到最终的压缩-扩展模块SEB输出结果；
假设整个特征映射深度网络模型包含N个SEB模块，则xn-1和xn是第N个SEB模块的输入和输出；其表达式为：
其中，表示的SEB模块的内部运算；
拆分-连接模块RCB包括：LReLU激活函数层和级联层，所述拆分-连接模块被配置为：将所述扩展结果输入至LReLU激活函数层生成高分辨率特征映射图；根据所述高分辨率特征映射图生成第一输出结果；将所述第一输出结果和所述高分辨率特征映射图级联相加生成连接结果；所述连接结果包括最小化特征映射维度；
其中，所述拆分-连接模块包括：
将所述高分辨率特征映射图分为第一路径和第二路径；
对所述第一路径进行降维处理生成第一降维结果；
对所述第二路径进行降维处理生成第二降维结果；
将所述第一降维结果和所述第二降维结果级联相加生成相加结果；
对所述相加结果进行卷积生成第一输出结果；
所述压缩单元模块被配置为：将所述最小化特征映射维度输入至神经网络生成第二输出结果，将所述第二输出结果和所述连接结果转换为特征结果；对所述特征结果进行卷积生成最终结果；
所述分支特征融合模块被配置为：对所述最终结果进行卷积生成第四卷积结果；通过全局跳跃连接将所述高分辨率特征映射图和所述第四卷积结果相加，生成超分辨重建图像。
2.根据权利要求1所述的一种红外图像超分辨重建***，其特征在于，所述浅层特征提取模块还包括：第一卷积层、LReLU激活函数层和第二卷积层；
所述第一卷积层被配置为：对所述低分辨率红外图像进行卷积生成所述第一卷积结果；
所述LReLU激活函数层被配置为：对所述第一卷积结果进行处理生成处理结果；
所述第二卷积层被配置为：对所述处理结果进行卷积生成第二卷积结果。
3.根据权利要求1所述的一种红外图像超分辨重建***，其特征在于，所述压缩单元模块还包括：级联单元和卷积核层；
所述级联单元被配置为：对所述第二输出结果和所述连接结果进行处理，生成特征结果；
所述卷积核层被配置为：对所述特征结果进行卷积，生成最终结果。
4.根据权利要求1所述的一种红外图像超分辨重建***，其特征在于，其还包括：图像采集模块；
所述图像采集模块被配置为：获取红外电力设备图像的数据集；所述数据集包括训练集、验证集和测试集；对所述训练集进行双三次运算生成低分辨率红外图像。
5.根据权利要求1所述的一种红外图像超分辨重建***，其特征在于，所述浅层特征提取模块的表达式为：
；
其中，为浅层特征提取模块的输出，/>为表示本模块的卷积运算，/>代表的是最初的低分辨率图像。
6.一种红外图像超分辨率重建方法，其特征在于，所述方法包括：
获取低分辨率红外图像；
根据所述低分辨率红外图像生成第一卷积结果；
根据所述第一卷积结果生成处理结果；
根据所述处理结果生成第二卷积结果；
将所述第一卷积结果、所述第二卷积结果和所述低分辨率红外图像进行连接生成浅层特征提取结果；
对所述浅层特征提取结果进行降维，生成压缩结果；其中，采用四个的卷积内核组成以承接所述浅层特征提取结果；
将所述压缩结果输入至卷积网络，生成第三卷积结果；其中，将压缩结果进行卷积生成第一压缩结果；将所述第一压缩结果进行卷积生成第三卷积结果；
将所述第三卷积结果输入至级联层生成扩展结果；
其中，扩展阶段是对压缩结果输入至卷积网络进行卷积，以得到第三卷积结果，将第三卷积结果经过级联层得到最终的压缩-扩展模块SEB输出结果；
所述压缩-扩展模块SEB包含suqeeze压缩子模块和expand扩展子模块以及LReLU激活函数；所述压缩-扩展模块被配置为：对所述浅层特征提取结果进行降维，生成压缩结果；将所述压缩结果输入至卷积网络，生成第三卷积结果；将所述第三卷积结果输入至级联层生成扩展结果；
其中，假设整个特征映射深度网络模型包含N个SEB模块，则xn-1和xn是第N个SEB模块的输入和输出；其表达式为：
其中，/>表示的压缩-扩展模块SEB的内部运算；
将所述扩展结果输入至LReLU激活函数层生成高分辨率特征映射图；
根据所述高分辨率特征映射图生成第一输出结果；其中，将所述高分辨率特征映射图分为第一路径和第二路径；对所述第一路径进行降维处理生成第一降维结果；对所述第二路径进行降维处理生成第二降维结果；将所述第一降维结果和所述第二降维结果级联相加生成相加结果；对所述相加结果进行卷积生成第一输出结果；
将所述第一输出结果和所述高分辨率特征映射图级联相加生成连接结果；
所述连接结果包括最小化特征映射维度；
将所述最小化特征映射维度输入至神经网络生成第二输出结果，将所述第二输出结果和所述连接结果转换为特征结果；其中，卷积核+LReLU激活函数层输出的第二输出结果和拆分-连接模块输出的连接结果通过处理后转化为特征结果；
对所述特征结果进行卷积生成最终结果；
对所述最终结果进行卷积生成第四卷积结果；
通过全局跳跃连接将所述高分辨率特征映射图和所述第四卷积结果相加，生成超分辨重建图像。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求6所述一种红外图像超分辨重建方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求6所述一种红外图像超分辨重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410003817.8A CN117495681B (zh) | 2024-01-03 | 2024-01-03 | 一种红外图像超分辨重建***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410003817.8A CN117495681B (zh) | 2024-01-03 | 2024-01-03 | 一种红外图像超分辨重建***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117495681A CN117495681A (zh) | 2024-02-02 |
| CN117495681B true CN117495681B (zh) | 2024-05-24 |
Family
ID=89674740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410003817.8A Active CN117495681B (zh) | 2024-01-03 | 2024-01-03 | 一种红外图像超分辨重建***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117495681B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN114596244A (zh) * | 2020-12-04 | 2022-06-07 | 国网山东省电力公司济南供电公司 | 基于视觉处理和多特征融合的红外图像识别方法及*** |
| CN114821383A (zh) * | 2022-02-28 | 2022-07-29 | 国网山东省电力公司泰安供电公司 | 基于轻量化网络的视频运动目标检测方法及*** |
| CN114972036A (zh) * | 2022-06-10 | 2022-08-30 | 上海交通大学 | 一种基于融合退化先验的盲图像超分辨率重建方法和*** |
| WO2022242029A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、***、装置及存储介质 |
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、***、装置及存储介质 |
| CN115423685A (zh) * | 2022-09-02 | 2022-12-02 | 济宁安泰矿山设备制造有限公司 | 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法 |
| CN115713462A (zh) * | 2022-11-11 | 2023-02-24 | 烟台中科网络技术研究所 | 超分辨模型训练方法、图像识别方法、装置及设备 |
| WO2023040108A1 (zh) * | 2021-09-14 | 2023-03-23 | 浙江师范大学 | 一种图像超分辨率放大模型及其方法 |
| CN116402679A (zh) * | 2022-12-28 | 2023-07-07 | 长春理工大学 | 一种轻量级红外超分辨率自适应重建方法 |
| CN116523740A (zh) * | 2023-03-13 | 2023-08-01 | 武汉大学 | 一种基于光场的红外图像超分辨率方法 |
| CN116664409A (zh) * | 2023-08-01 | 2023-08-29 | 北京智芯微电子科技有限公司 | 图像超分辨率重建方法、装置、计算机设备及存储介质 |
| CN116757934A (zh) * | 2023-06-26 | 2023-09-15 | 云南电网有限责任公司电力科学研究院 | 一种图像超分辨率重建方法、***、存储介质及智能终端 |
| CN117274047A (zh) * | 2023-07-31 | 2023-12-22 | 杭州电子科技大学 | 双路卷积与自注意力结合的红外图像超分辨率重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11756160B2 (en) * | 2018-07-27 | 2023-09-12 | Washington University | ML-based methods for pseudo-CT and HR MR image estimation |
| KR102673211B1 (ko) * | 2020-03-30 | 2024-06-07 | 주식회사 엘엑스세미콘 | 슬라이스 이미지 기반의 해상도 업스케일링 장치 및 방법 |
-
2024
- 2024-01-03 CN CN202410003817.8A patent/CN117495681B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN114596244A (zh) * | 2020-12-04 | 2022-06-07 | 国网山东省电力公司济南供电公司 | 基于视觉处理和多特征融合的红外图像识别方法及*** |
| WO2022242029A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、***、装置及存储介质 |
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、***、装置及存储介质 |
| WO2023040108A1 (zh) * | 2021-09-14 | 2023-03-23 | 浙江师范大学 | 一种图像超分辨率放大模型及其方法 |
| CN114821383A (zh) * | 2022-02-28 | 2022-07-29 | 国网山东省电力公司泰安供电公司 | 基于轻量化网络的视频运动目标检测方法及*** |
| CN114972036A (zh) * | 2022-06-10 | 2022-08-30 | 上海交通大学 | 一种基于融合退化先验的盲图像超分辨率重建方法和*** |
| CN115423685A (zh) * | 2022-09-02 | 2022-12-02 | 济宁安泰矿山设备制造有限公司 | 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法 |
| CN115713462A (zh) * | 2022-11-11 | 2023-02-24 | 烟台中科网络技术研究所 | 超分辨模型训练方法、图像识别方法、装置及设备 |
| CN116402679A (zh) * | 2022-12-28 | 2023-07-07 | 长春理工大学 | 一种轻量级红外超分辨率自适应重建方法 |
| CN116523740A (zh) * | 2023-03-13 | 2023-08-01 | 武汉大学 | 一种基于光场的红外图像超分辨率方法 |
| CN116757934A (zh) * | 2023-06-26 | 2023-09-15 | 云南电网有限责任公司电力科学研究院 | 一种图像超分辨率重建方法、***、存储介质及智能终端 |
| CN117274047A (zh) * | 2023-07-31 | 2023-12-22 | 杭州电子科技大学 | 双路卷积与自注意力结合的红外图像超分辨率重建方法 |
| CN116664409A (zh) * | 2023-08-01 | 2023-08-29 | 北京智芯微电子科技有限公司 | 图像超分辨率重建方法、装置、计算机设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Lightweight Image Super-Resolution With Mobile Share-Source Network;Du Juan 等;《IEEE Access》;20200324;第08卷;全文 * |
| 双路径反馈网络的图像超分辨重建算法;陶状 等;《计算机***应用》;20200415(第04期);全文 * |
| 基于多层连接卷积神经网络的单帧图像超分辨重建;贺瑜飞 等;《计算机应用与软件》;20190512(第05期);全文 * |
| 改进的残差卷积神经网络遥感图像超分辨重建;柏宇阳 等;《黑龙江大学自然科学学报》;20200625(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117495681A (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN111062872A (zh) | 一种基于边缘检测的图像超分辨率重建方法及*** | |
| CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** | |
| CN112750082A (zh) | 基于融合注意力机制的人脸超分辨率方法及*** | |
| CN109859152B (zh) | 模型生成方法、图像增强方法、装置及计算机可读存储介质 | |
| KR102221225B1 (ko) | 영상 화질 개선방법 및 그 장치 | |
| Afifi et al. | Cie xyz net: Unprocessing images for low-level computer vision tasks | |
| CN111951167A (zh) | 超分辨率图像重建方法、装置、计算机设备和存储介质 | |
| CN114820408A (zh) | 基于自注意力和卷积神经网络的红外可见光图像融合方法 | |
| Sun et al. | An FPGA-based residual recurrent neural network for real-time video super-resolution | |
| Feng et al. | Mipi 2022 challenge on under-display camera image restoration: Methods and results | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| Zhong et al. | Deep attentional guided image filtering | |
| CN116091916A (zh) | 一种多尺度从rgb图像重建对应的高光谱图像算法及*** | |
| Xie et al. | Adaptive densely connected single image super-resolution | |
| Zheng et al. | Windowing decomposition convolutional neural network for image enhancement | |
| CN117495681B (zh) | 一种红外图像超分辨重建***及方法 | |
| Khan et al. | Ntire 2022 challenge on efficient super-resolution: Methods and results | |
| CN114529794B (zh) | 一种红外与可见光图像融合方法、***及介质 | |
| CN116433518A (zh) | 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 | |
| CN110895790A (zh) | 基于后验降质信息估计的场景图像超分辨方法 | |
| CN112950478B (zh) | 基于双重身份属性约束的人脸超分辨率方法及*** | |
| CN114862670A (zh) | 大鼠踝骨骨折Micro-CT图像的超分辨率重建装置 | |
| Jiang et al. | Image super-resolution using multi-scale space feature and deformable convolutional network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |