CN112837220B - 一种提高红外图像分辨率的方法及其用途 - Google Patents

一种提高红外图像分辨率的方法及其用途 Download PDF

Info

Publication number
CN112837220B
CN112837220B CN202110082821.4A CN202110082821A CN112837220B CN 112837220 B CN112837220 B CN 112837220B CN 202110082821 A CN202110082821 A CN 202110082821A CN 112837220 B CN112837220 B CN 112837220B
Authority
CN
China
Prior art keywords
image
resolution
matrix
sparse
compressed sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110082821.4A
Other languages
English (en)
Other versions
CN112837220A (zh
Inventor
王艳
王龄婕
刘秉聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202110082821.4A priority Critical patent/CN112837220B/zh
Publication of CN112837220A publication Critical patent/CN112837220A/zh
Application granted granted Critical
Publication of CN112837220B publication Critical patent/CN112837220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种提高红外图像分辨率的方法及其用途，属于红外图像分辨率提升技术领域。所述方法基于改进分块压缩感知理论的支持，包括以下步骤：a.建立原始压缩感知图像超分辨率基础模型；b.引入图像降质模型；c.建立改进压缩感知图像超分辨率模型；d.建立基于改进分块压缩感知理论的超分辨率图像重建目标函数；e.目标函数的优化，获取重建高分辨率图像信号。方法在检测电力设备故障中的应用。该方法能够在较短的时间内更加有效地恢复图像细节、加强红外图像边缘轮廓，便于图像分割。该用途具有便于故障区域定位和故障类型识别等特点。

Description

一种提高红外图像分辨率的方法及其用途
技术领域
本发明涉及红外图像分辨率提升技术领域。
背景技术
近年来，红外热成像技术因其具有便捷、非接触等优点在电网中得到普遍应用。通过对电力***中各电力设备进行红外检测，获取电力设备表面温度的分布图后再结合一定的图像处理手段即可判断出该电力设备的运行状态。避免了工作人员与电力设备的直接接触，实现对设备的带电检测，能及时发现设备的潜在隐患；另外，还可以推动电力***运行维护的数字化和智能化，通过计算机视觉技术实现故障的自动诊断，而非传统的人工诊断。然而由于大规模装设红外传感器的成本问题，只能采用低精度红外传感器对设备进行监测，因此需要对低精度红外传感器采集到的低分辨率图像进行超分辨率重建，得到的高分辨率图像能对后续图像分割、故障定位等技术的实施提供有利条件。
常用图像超分辨率方法可分为三类，即基于插值的方法、基于建模的方法和基于学习的方法。其中基于插值的方法中，最邻近法、双线性、和双三次等代表性的方法都是利用周边点的信息得到待估计点的值，这样简单的估计方式会导致图像出现模糊、锯齿、边缘不清晰和丢失细节等问题。基于建模方法中经典的迭代反向投影法难以引入先验知识，且结果不稳定。基于学习的方法需要大量的训练样本，前期模型训练需要大量高清图像以及高性能硬件设备支持，且重建得到的高分辨率图像可能出现假纹理，这一缺陷会对红外监测、诊断过程中进行的图像分割、目标识别及故障定位等操作产生极为不利的影响。
发明内容
本发明要解决的技术问题是提供一种提高红外图像分辨率的方法及其用途，该方法能够在对图像进行超分辨率的同时达到去模糊的效果，提高重建图像的质量；能够充分利用高分辨率图像的先验知识，同时反映图像在稀疏基和梯度域下的稀疏特性；能够在较短的时间内更加有效地恢复图像细节、加强红外图像边缘轮廓，便于图像分割。该用途具有便于故障区域定位和故障类型识别等特点。
为解决上述技术问题，本发明所采取的技术方案是：
一种提高红外图像分辨率的方法，所述方法基于改进分块压缩感知理论的支持，包括以下步骤：
a.建立原始压缩感知图像超分辨率基础模型，令二维图像信号为X，将其像素点自左至右，自上至下依次排列展开后化为一维高分辨率图像信号x∈Rn；增加稀疏变换矩阵Ψ对一维高分辨率图像信号x进行稀疏变换，则，基于压缩感知理论，建立原始压缩感知图像超分辨率基础模型：
式中：为稀疏信号；Φ为采样矩阵；y∈Rm为一维低分辨率图像信号，且n＞＞m；矩阵Ψ为下述中的任意一种：傅里叶基、余弦基、小波基、稀疏基，人工构造的过完备字典；
b.引入图像降质模型，根据图像降质原理引入图像降质模型：
式中：Y为低分辨率图像；X为高分辨率图像；h为模糊核；为卷积运算；↓为下采样过程，多为三次插值下采样矩阵或点采样矩阵；η则为噪声；
c.建立改进压缩感知图像超分辨率模型，将图像降质原理引入原始压缩感知超分辨率模型后得到改进压缩感知超分辨率模型为：
式中：C为点采样矩阵；H为根据模糊核h构建的模糊矩阵；D为稀疏字典；
其中，稀疏字典D是采用K-SVD字典训练法生成的针对所采集对象的红外图像过完备字典；
模糊矩阵H的构建方式为：
通过生成循环Toeplitz矩阵的方式，将模糊核h与二维图像信号X间的卷积运算，转换为便于利用压缩感知理论计算的模糊矩阵H与一维高分辨率图像信号x间的矩阵乘法运算，即将转换为Hx。转换过程为：
设退化图像大小与X相同，均为M×N。模糊核h因其多为方阵且行列数为奇数，大小记为L×L，故设l＝(L-1)/2为模糊核半径；则有离散化的退化模型：
式中：首先对h(i,j)进行补零延拓为将X(i,j)和h(i,j)进行周期延拓，令其成为周期为M和N的周期函数；
将矩阵G(i,j)和X(i,j)自左至右，自上至下依次排列展开后，以分别得到长度为MN的一维模糊的高分辨率图像信号g和一维高分辨率图像信号x；进一步将的离散化退化模型转换为g＝Hx，进而可定义MN×MN大小的模糊矩阵H为：
式中:
上述转换方式中对X和h进行了延拓，在对X和h进行延拓前，首先要对X补零，X补零方式为：
式中：0≤i≤M+2l-1且0≤j≤N+2l-1，在完成对红外图像的超分辨率重建后，将图像补零位置重建像素点删除，即可得到重建图像；
离焦模糊的点扩散函数建模为二维高斯函数，模糊核选择为各向同性的高斯模糊核；核函数表达式为：
式中：0≤i,j≤L-1；
d.建立基于改进分块压缩感知理论的超分辨率图像重建目标函数，基于如式(3)所示的结合压缩感知理论与图像降质模型提出的高分辨率图像与低分辨率图像关系式，建立超分辨率图像重建模型并提出两步全变分稀疏迭代(Two-step Total VariationSparse Iteration,TwTVSI)优化求解算法；
基于图像降质原理的压缩感知超分辨率原始目标函数为：
采取分块压缩感知的方式，将图像划分为若干小图像块，对每一个小图像块分别进行超分辨率重建，图像分块方式为：
式中：Y为低分辨率图像，Yb(i,j)为低分辨率图像块，行方向上分为I块，列方向上分为J块，并记Xb(i,j)为Yb(i,j)对应位置的高分辨率图像块,Xb(i,j)大小为S×S；
在目标函数中引入TV正则项，对全图进行最小变分约束，从而达到消除重建图像块效应的目的，其中图像全变分计算方式为：
式中：X(i,j)表示图像矩阵X中第i行，第j列处所含数值内容；
对图像进行分块处理并引入TV正则项后得到目标函数：
式中：是对Xb(i,j)展开为列向量后的稀疏表示；y(i,j)为对应矩阵Yb(i,j)按行展开的列向量；
在对式(11)的优化求解过程中，用稀疏系数矩阵对图像矩阵X进行表示，表示方法为/>改进后的目标函数表达式为：
式中：为稀疏系数矩阵；函数Ar(z)表示将z中各列向量按顺序拼接成对应的图像；
e.目标函数的优化，获取重建高分辨率图像信号，利用拉格朗日乘数法将式(12)转化为式(13)所示的无约束优化问题：
式中:β(i,j)为拉格朗日乘数；
对于式(13)中的规划问题，采用TwTVSI优化求解算法，其迭代格式为：
式中：μ(K)为迭代步长；
为全变分约束项/>对稀疏系数矩阵/>的梯度导数，采用梯度下降法直接求解：
式中：和/>分别为图像行列方向差分运算函数；
相邻图像块间的差分运算用一周期循环的稀疏字典矩阵表征，设矩阵θ是以S为周期的循环矩阵，即θ(m,n)＝θ(m+S,n)＝θ(m,n+S)，其矩阵结构为：
θ(m,n)为矩阵θ中第m行n列对应的数值k，Dθ(m,n)表示稀疏字典D的第k行对应的行向量，则每一高分辨率图像块Xb(i,j)由其对应稀疏系数表示为：
则和/>计算方式为：/>
式中为取非算子，运算方式为/>
采用近端梯度法(Proximal Gradient Method,PG)进行求解，表达式为：
式中：函数Shrink()为软阈值收缩函数，表示逐元素乘法，sign()为符号函数。其中/>实质上起到步长因子的作用，其大小可通过回溯直线搜索法确定；
综上，两步全变分稀疏迭代优化算法TwTVSI按以下过程实现：
(1)初始化，令K＝1，
(2)进行第一步全变分约束迭代，由梯度下降法求
(3)进行第二步稀疏约束迭代，令根据式(17)由近端梯度法求取
(4)若满足小于误差约束ε或K大于最大迭代次数Kmax，迭代结束，输出/>为重建高分辨率图像。否则K＝K+1，返回步骤(2)。
提高红外图像分辨率的方法在检测电力设备故障中的应用。
采用上述技术方案所产生的有益效果在于：
本发明基于分块压缩感知理论对低分辨率的电力设备红外图像进行超分辨率重建，将压缩感知理论与图像降质模型相结合；另外，采用改进的K-SVD法训练得到了红外图像专一字典，可对红外图像进行有效的稀疏表示。训练稀疏字典的硬件要求和所需训练图像数量都远远小于构建同构字典的超分辨率方法，并且在进行改进后降低了训练所需时间；最后本发明提出了TwTVSI算法，为消除图像分块重建出现的“块效应”，在稀疏系数最小化的目标函数中引入TV正则项保证图像梯度域的稀疏性，通过梯度下降法与近端梯度法交替迭代求解，得到重建高分辨率图像。
该方法能够在对图像进行超分辨率的同时达到去模糊的效果，提高重建图像的质量；能够充分利用高分辨率图像的先验知识，同时反映图像在稀疏基和梯度域下的稀疏特性；能够在较短的时间内更加有效地恢复图像细节、加强红外图像边缘轮廓，便于图像分割。该用途具有便于故障区域定位和故障类型识别等特点。
附图说明
图1是待处理的64×64低分辨率红外图像；
图2是通过本发明所提出的方法处理图1后所得到的高分辨率红外图像；
图3是通过同构字典法处理图1后所得到的高分辨率红外图像；
图4是通过迭代反向投影法处理图1后所得到的高分辨率红外图像；
图5是通过双三次插值法处理图1后所得到的高分辨率红外图像；
图6是待处理的64×64低分辨率红外图像；
图7是通过本发明所提出的方法处理图6后所得到的高分辨率红外图像；
图8是通过BCS-L1法处理图6后所得到的高分辨率红外图像；
图9是通过BCS-TV法处理图6后所得到的高分辨率红外图像。
具体实施方式
下面将结合附图和具体实施例对本发明进行进一步详细说明。
一种提高红外图像分辨率的方法，所述方法基于改进分块压缩感知理论的支持，包括以下步骤：
a.建立原始压缩感知图像超分辨率基础模型，令二维图像信号为X，将其像素点自左至右，自上至下依次排列展开后化为一维高分辨率图像信号x∈Rn；增加稀疏变换矩阵Ψ对一维高分辨率图像信号x进行稀疏变换，则，基于压缩感知理论，建立原始压缩感知图像超分辨率基础模型：
式中：为稀疏信号；Φ为采样矩阵；y∈Rm为一维低分辨率图像信号，且n＞＞m；矩阵Ψ为下述中的任意一种：傅里叶基、余弦基、小波基、稀疏基，人工构造的过完备字典；
b.引入图像降质模型，根据图像降质原理引入图像降质模型：
式中：Y为低分辨率图像；X为高分辨率图像；h为模糊核；为卷积运算；↓为下采样过程，多为三次插值下采样矩阵或点采样矩阵；η则为噪声；
c.建立改进压缩感知图像超分辨率模型，将图像降质原理引入原始压缩感知超分辨率模型后得到改进压缩感知超分辨率模型为：
式中：C为点采样矩阵；H为根据模糊核h构建的模糊矩阵；D为稀疏字典；
其中，稀疏字典D是采用K-SVD字典训练法生成的针对所采集对象的红外图像过完备字典；
模糊矩阵H的构建方式为：
通过生成循环Toeplitz矩阵的方式，将模糊核h与二维图像信号X间的卷积运算，转换为便于利用压缩感知理论计算的模糊矩阵H与一维高分辨率图像信号x间的矩阵乘法运算，即将转换为Hx。转换过程为：
设退化图像大小与X相同，均为M×N。模糊核h因其多为方阵且行列数为奇数，大小记为L×L，故设l＝(L-1)/2为模糊核半径；则有离散化的退化模型：
式中：首先对h(i,j)进行补零延拓为将X(i,j)和h(i,j)进行周期延拓，令其成为周期为M和N的周期函数；
将矩阵G(i,j)和X(i,j)自左至右，自上至下依次排列展开后，以分别得到长度为MN的一维模糊的高分辨率图像信号g和一维高分辨率图像信号x；进一步将的离散化退化模型转换为g＝Hx，进而可定义MN×MN大小的模糊矩阵H为：
式中:
上述转换方式中对X和h进行了延拓，目的是为了以周期循环的方式补全边缘以外的像素点，但这种方式在对电力设备红外图像进行分块重建时，会对边缘像素点引入较大误差，因此在对X和h进行延拓前，首先要对X补零，X补零方式为：
式中：0≤i≤M+2l-1且0≤j≤N+2l-1，在完成对红外图像的超分辨率重建后，将图像补零位置重建像素点删除，即可得到重建图像；
由于“离焦”现象为导致红外图像模糊的常见原因，而离焦模糊的点扩散函数建模为二维高斯函数，因此本发明模糊核选择为各向同性的高斯模糊核；核函数表达式为：
式中：0≤i,j≤L-1；
d.建立基于改进分块压缩感知理论的超分辨率图像重建目标函数，基于如式(3)所示的结合压缩感知理论与图像降质模型提出的高分辨率图像与低分辨率图像关系式，建立超分辨率图像重建模型并提出两步全变分稀疏迭代(Two-step Total VariationSparse Iteration,TwTVSI)优化求解算法；
基于图像降质原理的压缩感知超分辨率原始目标函数为：
由于对图像整体进行压缩感知超分辨率重建占用存储空间过大，且计算复杂度极高，因此本发明采取分块压缩感知的方式，将图像划分为若干小图像块，对每一个小图像块分别进行超分辨率重建，图像分块方式为：
式中：Y为低分辨率图像，Yb(i,j)为低分辨率图像块，行方向上分为I块，列方向上分为J块，并记Xb(i,j)为Yb(i,j)对应位置的高分辨率图像块,Xb(i,j)大小为S×S；
由于分块压缩感知的重建方式会为超分辨率图像引入“块效应”，因此发明在目标函数中引入TV正则项，对全图进行最小变分约束，从而达到消除重建图像块效应的目的，其中图像全变分计算方式为：
式中：X(i,j)表示图像矩阵X中第i行，第j列处所含数值内容；
对图像进行分块处理并引入TV正则项后得到目标函数：
式中：是对Xb(i,j)展开为列向量后的稀疏表示；y(i,j)为对应矩阵Yb(i,j)按行展开的列向量；
在对式(11)的优化求解过程中，在受||X||TV约束时,需对变量X进行更新，而在对进行稀疏约束时，由于D是一个过完备字典，图像信号的维数远小于其由D表示的稀疏系数维数，故由X得到/>是一个难解问题。因此为便于目标函数优化求解，本发明用稀疏系数矩阵/>对图像矩阵X进行表示，表示方法为/>改进后的目标函数表达式为：
式中：为稀疏系数矩阵；函数Ar(z)表示将z中各列向量按顺序拼接成对应的图像；
e.目标函数的优化，获取重建高分辨率图像信号，利用拉格朗日乘数法将式(12)转化为式(13)所示的无约束优化问题：
式中:β(i,j)为拉格朗日乘数；
对于式(13)中的规划问题，采用TwTVSI优化求解算法，其迭代格式为：
式中：μ(K)为迭代步长；
为全变分约束项/>对稀疏系数矩阵/>的梯度导数，采用梯度下降法直接求解：
式中：和/>分别为图像行列方向差分运算函数；
由于本发明采用的是分块压缩感知的超分辨率重构模型，在进行行列方向差分运算时，会涉及到相邻图像块间边缘元素的交叉运算。经推导得到，相邻图像块间的差分运算用一周期循环的稀疏字典矩阵表征，在保证准确率的前提下，大大加快了运算速度。
设矩阵θ是以S为周期的循环矩阵，即θ(m,n)＝θ(m+S,n)＝θ(m,n+S)，其矩阵结构为：
θ(m,n)为矩阵θ中第m行n列对应的数值k，Dθ(m,n)表示稀疏字典D的第k行对应的行向量，则每一高分辨率图像块Xb(i,j)由其对应稀疏系数表示为：
则和/>计算方式为：/>
式中为取非算子，运算方式为/>
对于而言，/>为凸函数，但关于/>不可微，而/>为关于可微的凸函数，故/>不能用梯度下降法直接计算，因此采用近端梯度法(ProximalGradient Method,PG)进行求解，表达式为：
式中：函数Shrink()为软阈值收缩函数，表示逐元素乘法，sign()为符号函数。其中/>实质上起到步长因子的作用，其大小可通过回溯直线搜索法确定；
综上，两步全变分稀疏迭代优化算法TwTVSI按以下过程实现：
(1)初始化，令K＝1，
(2)进行第一步全变分约束迭代，由梯度下降法求
(3)进行第二步稀疏约束迭代，令根据式(17)由近端梯度法求取
(4)若满足小于误差约束ε或K大于最大迭代次数Kmax，迭代结束，输出/>为重建高分辨率图像。否则K＝K+1，返回步骤(2)。
提高红外图像分辨率的方法在检测电力设备故障中的应用。
在通过本申请所提出的方法将低精度红外传感器所采集的电力设备红外图像提高分辨率之后，检测电力设备运行状态，及时发现设备故障隐患的技术方案从现有技术，在此不再赘述。
对比试验：
由图1～5一组图像对比可以看出，采用本发明所提出的方法处理图1后所得到的高分辨率红外图像，其重建图像的边缘质量相较其它三种方法都有着明显提升，除了细节信息更多以外，其边缘区域对比度更高，而这一特点可以为红外诊断中图像分割、故障区域定位和故障类型识别等技术的实施提供更为有利的图像条件。
除上述主观视觉评判结果外，为定量分析红外图像超分辨率重建效果，本发明采用平均梯度(Average Gradient,AG)和信息熵(Information Entropy,IE)两个指标对重建图像进行评价。其中平均梯度计算时采用的差分算子为Sobel算子。同时本文在进行超分辨率重建时，图像转化为YCbCr格式，仅针对对视觉质量影响较大的Y分量采用TwTVSI算法重建，Cb和Cr分量则采用三次插值方法重建，因此评价过程中也仅针对Y分量进行计算。
表1测试图像AG及IE指标大小
可见无论在主观视觉效果，还是客观评价指标上，本发明提出方法所重建得到图像相较其它方法所得图像均有一定优势。
图6～9一组图像给出了采用本发明所提出的方法与目标函数仅有稀疏约束的BCS-L1算法和目标函数仅有全变分约束的BCS-TV算法重建结果对比图。由本组图像可以看出当目标函数仅有稀疏约束时，重建高分辨率图像因分块压缩感知的原因，内部存在较为明显的“块效应”问题，即图像块间边界明显，不连续。而目标函数中仅有全变分约束时，重构图像虽不存在“块效应”，但由于BCS-TV算法仅对图像梯度域稀疏性加以约束，无法很好利用图像其它变化域稀疏性，导致其重建结果中有亮斑出现，且重建时间为1135.6211秒，而采用本发明所提出的方法重建只需14.8195秒，相对来说BCS-TV算法速度过慢。
本发明将压缩感知超分辨率模型与图像降质模型相结合，通过在模型中引入模糊矩阵，在对图像进行超分辨率重建的同时达成反卷积去模糊的目的；再采用改进的K-SVD字典训练法得到包含电力设备红外图像特征的稀疏基；最后为了提高重构图像的效果，针对分块压缩感知重建产生的“块效应”问题，引入全变分正则项保证图像梯度域的稀疏性，消除重建图像的边界噪声，并就目标函数的求解提出了两步全变分稀疏迭代(TwTVSI)算法，通过梯度下降法求解图像最小全变分，利用近端梯度法实现图像稀疏编码的l1范数最小化。

Claims (2)

1.一种提高红外图像分辨率的方法，其特征在于：所述方法基于改进分块压缩感知理论的支持，包括以下步骤：
a.建立原始压缩感知图像超分辨率基础模型，令二维图像信号为X，将其像素点自左至右，自上至下依次排列展开后化为一维高分辨率图像信号x∈Rn；增加稀疏变换矩阵Ψ对一维高分辨率图像信号x进行稀疏变换，则，基于压缩感知理论，建立原始压缩感知图像超分辨率基础模型：
式中：为稀疏信号；Φ为采样矩阵；y∈Rm为一维低分辨率图像信号，且n＞＞m；矩阵Ψ为下述中的任意一种：傅里叶基、余弦基、小波基、稀疏基，人工构造的过完备字典；
b.引入图像降质模型，根据图像降质原理引入图像降质模型：
式中：Y为低分辨率图像；X为高分辨率图像；h为模糊核；为卷积运算；↓为下采样过程，多为三次插值下采样矩阵或点采样矩阵；η则为噪声；
c.建立改进压缩感知图像超分辨率模型，将图像降质原理引入原始压缩感知超分辨率模型后得到改进压缩感知超分辨率模型为：
式中：C为点采样矩阵；H为根据模糊核h构建的模糊矩阵；D为稀疏字典；
其中，稀疏字典D是采用K-SVD字典训练法生成的针对所采集对象的红外图像过完备字典；
模糊矩阵H的构建方式为：
通过生成循环Toeplitz矩阵的方式，将模糊核h与二维图像信号X间的卷积运算，转换为便于利用压缩感知理论计算的模糊矩阵H与一维高分辨率图像信号x间的矩阵乘法运算，即将转换为Hx；转换过程为：
设退化图像大小与X相同，均为M×N；模糊核h因其多为方阵且行列数为奇数，大小记为L×L，故设l＝(L-1)/2为模糊核半径；则有离散化的退化模型：
式中：首先对h(i，j)进行补零延拓为将X(i，j)和h(i，j)进行周期延拓，令其成为周期为M和N的周期函数；
将矩阵G(i，j)和X(i，j)自左至右，自上至下依次排列展开后，以分别得到长度为MN的一维模糊的高分辨率图像信号g和一维高分辨率图像信号x；进一步将的离散化退化模型转换为g＝Hx，进而可定义MN×MN大小的模糊矩阵H为：
式中：
上述转换方式中对X和h进行了延拓，在对X和h进行延拓前，首先要对X补零，X补零方式为：
式中：0≤i≤M+2l-1且0≤j≤N+2l-1，在完成对红外图像的超分辨率重建后，将图像补零位置重建像素点删除，即可得到重建图像；
离焦模糊的点扩散函数建模为二维高斯函数，模糊核选择为各向同性的高斯模糊核；核函数表达式为：
式中：0≤i，j≤L-1；
d.建立基于改进分块压缩感知理论的超分辨率图像重建目标函数，基于如式(3)所示的结合压缩感知理论与图像降质模型提出的高分辨率图像与低分辨率图像关系式，建立超分辨率图像重建模型并提出两步全变分稀疏迭代Two-step Total Variation SparseIteration，TwTVSI优化求解算法；
基于图像降质原理的压缩感知超分辨率原始目标函数为：
采取分块压缩感知的方式，将图像划分为若干小图像块，对每一个小图像块分别进行超分辨率重建，图像分块方式为：
式中：Y为低分辨率图像，Yb(i，j)为低分辨率图像块，行方向上分为I块，列方向上分为J块，并记Xb(i，j)为Yb(i，j)对应位置的高分辨率图像块，Xb(i，j)大小为S×S；
在目标函数中引入TV正则项，对全图进行最小变分约束，从而达到消除重建图像块效应的目的，其中图像全变分计算方式为：
式中：X(i，j)表示图像矩阵X中第i行，第j列处所含数值内容；
对图像进行分块处理并引入TV正则项后得到目标函数：
式中：是对Xb(i，j)展开为列向量后的稀疏表示；y(i，j)为对应矩阵Yb(i，j)按行展开的列向量；
在对式(11)的优化求解过程中，用稀疏系数矩阵对图像矩阵X进行表示，表示方法为改进后的目标函数表达式为：
式中：为稀疏系数矩阵；函数Ar(z)表示将z中各列向量按顺序拼接成对应的图像；
e.目标函数的优化，获取重建高分辨率图像信号，利用拉格朗日乘数法将式(12)转化为式(13)所示的无约束优化问题：
式中：β(i，j)为拉格朗日乘数；
对于式(13)中的规划问题，采用TwTVSI优化求解算法，其迭代格式为：
式中：μ(K)为迭代步长；
为全变分约束项/>对稀疏系数矩阵/>的梯度导数，采用梯度下降法直接求解：
式中：和/>分别为图像行列方向差分运算函数；
相邻图像块间的差分运算用一周期循环的稀疏字典矩阵表征，设矩阵θ是以S为周期的循环矩阵，即θ(m，n)＝θ(m+S，n)＝θ(m，n+S)，其矩阵结构为：
θ(m，n)为矩阵θ中第m行n列对应的数值k，Dθ(m，n)表示稀疏字典D的第k行对应的行向量，则每一高分辨率图像块Xb(i，j)由其对应稀疏系数表示为：
则和/>计算方式为：/>
式中为取非算子，运算方式为/>
采用近端梯度法(Proximal Gradient Method，PG)进行求解，表达式为：
式中：函数Shrink()为软阈值收缩函数，表示逐元素乘法，sign()为符号函数；其中实质上起到步长因子的作用，其大小可通过回溯直线搜索法确定；
综上，两步全变分稀疏迭代优化算法TwTVSI按以下过程实现：
(1)初始化，令K＝1，
(2)进行第一步全变分约束迭代，由梯度下降法求
(3)进行第二步稀疏约束迭代，令根据式(17)由近端梯度法求取/>
(4)若满足小于误差约束ε或K大于最大迭代次数Kmax，迭代结束，输出/>为重建高分辨率图像，否则K＝K+1，返回步骤(2)。
2.利用如权利要求1所述的方法的检测电力设备故障的***。
CN202110082821.4A 2021-01-21 2021-01-21 一种提高红外图像分辨率的方法及其用途 Active CN112837220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110082821.4A CN112837220B (zh) 2021-01-21 2021-01-21 一种提高红外图像分辨率的方法及其用途

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110082821.4A CN112837220B (zh) 2021-01-21 2021-01-21 一种提高红外图像分辨率的方法及其用途

Publications (2)

Publication Number Publication Date
CN112837220A CN112837220A (zh) 2021-05-25
CN112837220B true CN112837220B (zh) 2023-07-25

Family

ID=75929367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110082821.4A Active CN112837220B (zh) 2021-01-21 2021-01-21 一种提高红外图像分辨率的方法及其用途

Country Status (1)

Country Link
CN (1) CN112837220B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643203A (zh) * 2021-08-09 2021-11-12 上海海洋大学 一种图像模糊矩阵结构的辨识方法
CN113689336A (zh) * 2021-08-25 2021-11-23 华北电力大学（保定） 一种电力设备红外图像非盲超分辨率方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168429A (zh) * 2014-08-19 2014-11-26 西安电子科技大学 一种多孔径分波段高分辨率成像装置及其成像方法
CN104185026A (zh) * 2014-09-05 2014-12-03 西安电子科技大学 随机投影域下相位编码的红外高分辨率成像方法及其装置
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法
CN109785235A (zh) * 2018-12-29 2019-05-21 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 基于压缩感知的红外行人图像超分辨率重建方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766273B (zh) * 2015-04-20 2018-10-09 重庆大学 一种基于压缩感知理论的红外图像超分辨率重建方法
CN106600657A (zh) * 2016-12-16 2017-04-26 重庆邮电大学 基于自适应Contourlet变换的图像压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168429A (zh) * 2014-08-19 2014-11-26 西安电子科技大学 一种多孔径分波段高分辨率成像装置及其成像方法
CN104185026A (zh) * 2014-09-05 2014-12-03 西安电子科技大学 随机投影域下相位编码的红外高分辨率成像方法及其装置
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法
CN109785235A (zh) * 2018-12-29 2019-05-21 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 基于压缩感知的红外行人图像超分辨率重建方法及***

Also Published As

Publication number Publication date
CN112837220A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN102800071B (zh) 序列图像pocs超分辨率重建方法
CN107341765B (zh) 一种基于卡通纹理分解的图像超分辨率重建方法
CN105631807B (zh) 基于稀疏域选取的单帧图像超分辨重建方法
CN106127688B (zh) 一种超分辨率图像重建方法及其***
Li et al. FilterNet: Adaptive information filtering network for accurate and fast image super-resolution
CN109146787B (zh) 一种基于插值的双相机光谱成像***的实时重建方法
CN112837220B (zh) 一种提高红外图像分辨率的方法及其用途
CN106169174B (zh) 一种图像放大方法
CN106600533B (zh) 单图像超分辨率重建方法
CN112669209B (zh) 一种三维医学图像超分辨率重建方法和***
Thapa et al. A performance comparison among different super-resolution techniques
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN108460723B (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
CN106981046B (zh) 基于多层梯度约束回归的单幅图像超分辨率重建方法
CN104200439B (zh) 基于自适应滤波和正则约束的图像超分辨方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN103903239B (zh) 一种视频超分辨率重建方法及其***
Alvarez-Ramos et al. Image super-resolution via two coupled dictionaries and sparse representation
Suryanarayana et al. Deep Learned Singular Residual Network for Super Resolution Reconstruction.
CN116708807A (zh) 监控视频的压缩重建方法、压缩重建装置
CN106846286B (zh) 基于多种互补先验的视频超分辨率重建算法
Xie et al. Bidirectionally aligned sparse representation for single image super-resolution
CN114757826A (zh) 一种基于多特征的pocs图像超分辨率重建方法
CN113689336A (zh) 一种电力设备红外图像非盲超分辨率方法
CN104463793B (zh) 一种视频超分辨率重建方法及其***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant