CN112488920A - 一种基于类高斯模糊核的图像正则化超分辨重建方法 - Google Patents

Abstract

一种基于类高斯模糊核的图像正则化超分辨重建方法，综合考虑畸变和扰动因素即现有模型与实际退化的匹配误差，采用类高斯函数模型对实际退化所造成的模糊效应进行建模，并以最小均方误差为准则对图像进行超分辨重建。本发明采用四个参量来具体描述客观的模糊过程会更加逼近于模糊的实际情况，通过理论分析及实验结果得到，该模型用于去模糊算法中，提高了图像重建的效果。

Description

一种基于类高斯模糊核的图像正则化超分辨重建方法

技术领域

本发明涉及视觉处理技术领域，具体涉及一种改进模糊函数的图像正则化超分辨重建的方法。

背景技术

图像是对高分辨场景的二维表征，它可以直接或间接地影响人眼产生视觉感知，如何提高图像质量已成为近年来学者们的研究热点，评价图像质量的一个核心指标就是图像的分辨率。由于在图像的采集过程中，会受到像差和噪声的影响，以及相机与场景间的运动模糊，因而在成像过程中，会不得不产生失真，影响图像的分辨率。为了得到高分辨图像。首先，最直接的方法就是提高硬件的水平，缩小传感器的尺寸，提高传感器的排列密度，但也会产生散斑噪声。目前如果单纯的从硬件设备入手来提高图像分辨率，CCD,CMOS等成像器件不但价格昂贵，而且这些成像器件改善效果已经无法有更大的突破。因此，目前广泛采用的是低成本的软件方法来实现图像分辨率的提高，即超分辨率重建。超分辨率重建是指利用序列具有亚像素位移的低分辨率图像来得到一幅高分辨率图像，从而增加图像的高频信息，减弱由于成像***自身光点扩散所带来的退化影响。其思路是组合多帧低分辨率图像中包含的非重叠信息，生成高分辨率图像。该处理方法可以提高图像分辨率，整个过程不包括硬件增强，成本低，易于实施。

对于低分辨率图像，其退化模型描述了从实际场景收集的单个或多个低分辨率图像的整体退化过程，因此超分辨率重建算法中退化模型的正确构建非常重要。一个通用的简化图像退化模型为：

y＝Hx+N

其中，N为成像时引入的噪声，H为成像***的点扩散函数(Point SpreadFunction,PSF)算子。由于大部分采集***不理想，因此图像在获取的过程中会产生一些退化。例如，获取到的点光源则不可能是与原来场景相同的点，会产生由点扩散函数引起的模糊扩散。点扩散函数用于表现采集***对原来高分辨率场景和图像的退化过程，其由图像采集***决定。而且H往往是一个病态矩阵。常见的点扩散函数有：高斯形式、Sinc形式等。

假设原始的高分辨率图像经过某种图像退化(降质)过程得到一幅或多幅低分辨率图像，则单帧图像的退化模型可以表示为：

Y_k＝D_kB_kF_kX+N

其中，Y_k是第k幅低分辨率图像，X是原始的高分辨率图像，D_k是下采样因子，B_k是***的模糊因子，包括式(1)中的点扩散函数算子H，F_k是运动因子，可以通过运动估计方法来求得，N是噪声。通常多个低分辨率图像的退化过程是一样的，所以可以将上式简写成：

Y_k＝DBF_kX+N

低分辨率图像数量不足和各种退化因素会导致图像重建问题的病态特征。一般来说，无约束的最优化方法解决这类问题是有效的。但是该方法的解不是唯一的，不稳定的。为了解决最优化问题的弊端，可以对最优化方法添加约束条件来限制解的可取范围，这种解决病态问题的带有约束性质的最优化方法，称为正则化方法。

对于线性方程Ax＝b，当解不存在或者不唯一时，可以说是病态问题(ill posedproblem)。超分辨率重建问题根本上来说是一个病态问题，如果对问题施加一些约束限制条件会使得问题的解更具有稳定性，唯一性。当解不存在时，通过添加一些限制条件来得到一个近似解；当解不唯一时，通过增加一些约束条件(比如稀疏性、能量有界性等先验知识)限制解的可取范围。这种通过施加条件或约束来解决病态问题的方法称为正则化方法。

求解线性方程的常用方法是最小二乘法，即求解

对于病态的线性方程，Tikhonov提出可以在其后加上一个Tikhonov正则约束项来求解：

其中Γ叫做Tikhonov矩阵普遍将其看作是单位阵的乘积的形式(Γ＝αI)或者微分算子、拉普拉斯算子等。因此病态问题也就变为找到能够让上式取得最小值的x，这种正则化方法限制了求解条件，直接得到相应的最小解：

传统的正则化方法可以提高单帧图像的分辨率，但是单帧图像中所包含的原始场景的信息不足，重建效果不佳。因此如何有效地从多组低分辩图像重建出高分辨图像是关键问题。同时，使得点扩散函数形式更加近似实际退化过程也是超分辨过程的重要部分，使得有效的整体图像的超分辨结果得到保障。

发明内容

为了针对图像超分辨过程中现有的点扩散函数形式无法有效近似实际退化过程，也就是与实际退化函数模型存在较大的模拟匹配误差的不足，本发明提供了一种基于类高斯模糊核的图像正则化超分辨重建方法，综合考虑畸变和扰动因素即现有模型与实际退化的匹配误差，采用类高斯函数模型对实际退化所造成的模糊效应进行建模，并以最小均方误差为准则对图像进行超分辨重建。

本发明解决其技术问题所采用的技术方案是：

一种基于类高斯模糊核的图像正则化超分辨重建方法，包括以下步骤：

步骤一：去噪预处理，对由于光学***自身的不适应性导致退化的低分辩图像序列g_k∈R^M×N进行去噪预处理，其中k为图像序列的个数；对于不同的光学***，由于图像退化过程各不相同，需要采用适当的滤波器进行去噪处理，去噪效果越好越有利于后续的超分辨图像重建；

步骤二：选取低分辨率序列图像中的一帧g₀作为参考，通过光流法对序列中其他图像g_l进行亚像素配准生成配准参数F_k，l＝1…k-1；

步骤三：对光学图像退化中模糊过程进行数学表征，目前大多数的研究中采用Sinc模糊核、高斯模糊核对图像退化中的模糊过程进行数学描述，然而在实际应用中，图像的模糊过程往往表现出不确定性和非对称性，现有的模糊核难以对其描述，为此，可以采用一种类高斯函数来构造PSF模糊核模型，类高斯函数f(t)描述为：

这里

和

分别表示类高斯函数f(t)的对称部分和非对称部分，该数学模型由{a₁,a₂,b₁,b₂,c₁,c₂}这六个参数唯一确定；

参数选取：根据光学***的成像具有中心像素值高，向四周扩散过程中像素值逐渐降低的特点选择脉宽c₁和c₂、脉冲时延b₁和b₂；根据图像退化模型要在形态上近似实际点成像的特点选择幅值a₁和a₂；

步骤四：建立类高斯近似PSF模糊核模型：利用类高斯函数f(t)，以及选取的适当的参数{a₁,a₂,b₁,b₂,c₁,c₂}来建立类高斯近似PSF模糊核模型，构造形式为f(x,y)＝f(x)·f(y)；

步骤五：利用建立的类高斯模糊函数模型，进而构造5×5的PSF卷积核h，构造方法如下：首先，确定模糊区域，即生成一个5×5的矩阵；然后，确定模糊核，将每个网格的坐标值作为类高斯函数模型f(x,y)的坐标值，计算每点的权重并进行元素值的归一化处理后生成最终的5×5的PSF卷积核h；最后，转换为模糊矩阵，即利用卷积定理将模糊核h转换为模糊矩阵B；

步骤六：获取初始高分辨图像，即从低分辨图像中选取一幅作为参考，对其进行双三次插值，构成高分辨率图像解的一个初始估计，记为X₀；

对于超分辨图像重建问题，，选用梯度下降法迭代的方式来求解，根据实际情况设定迭代次数、迭代步长λ、正则化参数α、正则化算子Γ、下采样因子S，其中，λ为迭代步长，实际实验中可根据迭代次数、重建效果等因素来确定；较大α值的会减弱图像中的高频部分，导致的图像过于平滑；较小α值会比较完整地保留图像的细节信息，但噪声也会被保留下来，Γ通常被设置成具有高通滤波特性的算子；

步骤七：计算高分辨图像的估计误差。基于所获取的初始高分辨图像X₀，按照以下公式计算高分辨图像的估计误差：

其中，配准参数F_k、类高斯模糊矩阵B分别由步骤二和步骤五获得，下采样因子S由光学***的几何结构得到，该估计误差W用于修正上一次迭代后的高分辨率图像；

步骤八：生成正则化约束项，选取正则化参数α、正则化算子Γ，并结合上次迭代的高分辨图像的估计X_n，按照如下公式生成正则化约束项：

U＝αΓ^TΓX_n (3)

其中正则化正则化参数α设定为一个常数或设定成随着迭代次数的改变而改变的一种自适应系数，生成正则化约束项U用于约束最终的估计值，使其满足先验概率特性；

步骤九：通过迭代的方式逐步重建高分辨图像，利用步骤七计算的高分辨图像的估计误差W和步骤八生成正则化约束项U，开始迭代重建，按照下述公式输出最终高分辨率图像X_n+1：

X_n+1＝X_n-λ{W+U} (4)

其中，迭代终止条件根据具体的光学***而进行设定。

进一步，利用形态上近似以及光学成像的特点类高斯模型参数设置的范围为a₁∈[1,10],a₂∈[-10,10],b₁,b₂∈[-10,10],c₁,c₂∈[0,10]。

再进一步，正则化参数α取值范围为[0,5]，迭代步长λ取值范围为[0,10]。

本发明的有益效果主要表现在：在图像超分辨重建处理中，以类高斯模型来近似图像退化的点扩散函数，用于图像的超分辨重建算法当中。由于高斯型PSF是无法十分逼近真实的模糊过程，同时从光学***衍射的形态上近似考虑，选择类高斯模型更具广泛的适应性，相较于高斯模型而言，采用四个参量来具体描述客观的模糊过程会更加逼近于模糊的实际情况，通过理论分析及实验结果得到，该模型用于去模糊算法中，提高了图像重建的效果。

附图说明

图1是类高斯的PSF模型。

图2是模糊核的构造方法的过程图。

图3是原始图像。

图4是本发明图像复原。

图5是Sinc模型复原。

图6是高斯模型复原。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图6，一种基于类高斯模糊核的图像正则化超分辨重建方法，包括以下步骤：

步骤一：去噪预处理，对由于光学***自身的不适应性导致退化的低分辩图像序列g_k∈R^M×N进行去噪预处理，其中k为图像序列的个数，对于不同的光学***，由于图像退化过程各不相同，需要采用适当的滤波器进行去噪处理，去噪效果越好越有利于后续的超分辨图像重建；

步骤二：选取低分辨率序列图像中的一帧g₀作为参考，通过光流法对序列中其他图像g_l进行亚像素配准生成配准参数F_k，l＝1…k-1；

步骤三：对光学图像退化中模糊过程进行数学表征，目前大多数的研究中采用Sinc模糊核、高斯模糊核对图像退化中的模糊过程进行数学描述，然而在实际应用中，图像的模糊过程往往表现出不确定性和非对称性，现有的模糊核难以对其描述，为此，可以采用一种类高斯函数来构造PSF模糊核模型。类高斯函数f(t)描述为：

这里

和

分别表示类高斯函数f(t)的对称部分和非对称部分，该数学模型由{a₁,a₂,b₁,b₂,c₁,c₂}这六个参数唯一确定；

参数选取：根据光学***的成像具有中心像素值高，向四周扩散过程中像素值逐渐降低的特点选择脉宽c₁和c₂、脉冲时延b₁和b₂；根据图像退化模型要在形态上近似实际点成像的特点选择幅值a₁和a₂。

步骤四：建立类高斯近似PSF模糊核模型：利用类高斯函数f(t)，以及选取的适当的参数{a₁,a₂,b₁,b₂,c₁,c₂}来建立类高斯近似PSF模糊核模型，具体的构造形式为f(x,y)＝f(x)·f(y)；

步骤五：利用建立的类高斯模糊函数模型，进而构造5×5的PSF卷积核h，构造方法如下：首先，确定模糊区域，即生成一个5×5的矩阵；然后，确定模糊核，将每个网格的坐标值作为类高斯函数模型f(x,y)的坐标值，计算每点的权重并进行元素值的归一化处理后生成最终的5×5的PSF卷积核h；最后，转换为模糊矩阵，即利用卷积定理将模糊核h转换为模糊矩阵B；

步骤六：获取初始高分辨图像，即从低分辨图像中选取一幅作为参考，对其进行双三次插值，构成高分辨率图像解的一个初始估计，记为X₀；

对于超分辨图像重建问题，选用梯度下降法迭代的方式来求解，根据实际情况设定迭代次数、迭代步长λ、正则化参数α、正则化算子Γ、下采样因子S，其中，λ为迭代步长，实际实验中可根据迭代次数、重建效果等因素来确定；较大α值的会减弱图像中的高频部分，导致的图像过于平滑；较小α值会比较完整地保留图像的细节信息，但噪声也会被保留下来，Γ通常被设置成具有高通滤波特性的算子；

步骤七：计算高分辨图像的估计误差，基于所获取的初始高分辨图像X₀，按照以下公式计算高分辨图像的估计误差：

其中，配准参数F_k、类高斯模糊矩阵B分别由步骤二和步骤五获得，下采样因子S由光学***的几何结构得到，该估计误差W用于修正上一次迭代后的高分辨率图像；

步骤八：生成正则化约束项。选取适当的正则化参数α、正则化算子Γ，并结合上次迭代的高分辨图像的估计X_n，按照如下公式生成正则化约束项：

U＝αΓ^TΓX_n (3)

其中正则化正则化参数α设定为一个常数或设定成随着迭代次数的改变而改变的一种自适应系数。生成正则化约束项U用于约束最终的估计值，使其满足先验概率特性；

步骤九：通过迭代的方式逐步重建高分辨图像，利用步骤七计算的高分辨图像的估计误差W和步骤八生成正则化约束项U，开始迭代重建，按照下述公式输出最终高分辨率图像X_n+1：

X_n+1＝X_n-λ{W+U} (4)

其中，迭代终止条件根据具体的光学***而进行设定。

进一步，利用形态上近似以及光学成像的特点类高斯模型参数设置的范围为a₁∈[1,10],a₂∈[-10,10],b₁,b₂∈[-10,10],c₁,c₂∈[0,10]。

再进一步，正则化参数α取值范围为[0,5]，迭代步长λ取值范围为[0,10]。

针对图像超分辨过程中现有的点扩散函数形式无法有效近似实际退化过程，也就是与实际退化函数模型存在较大的模拟匹配误差，提出一种基于类高斯模糊核的图像正则化超分辨重建算法。该方法综合考虑畸变和扰动因素即现有模型与实际退化的匹配误差，采用类高斯函数模型对实际退化所造成的模糊效应进行建模，并以最小均方误差为准则对图像进行超分辨重建。

为了验证本发明方法的性能，进行了计算机仿真实验。实验采用的是模糊数据集HA下的俩幅具有实际光学离焦模糊的拍摄图像，大小为256×256。在实验中选用高斯模型、Sinc模型以及类高斯模型用于正则化图像超分辨算法来重建图像，并根据重建效果进行比较。在实验中引入相应的客观评价指标即峰值信噪比(PSNR)以及图像的结构相似性(SSIM)。

图3-6分别为原始图像以及采用不同PSF模型的重建仿真的结果图，从图中可以看出，基于类高斯模型的复原图像质量和视觉效果要优于Sinc模型和高斯模型的结果图。为了定量的进行客观比较，表1为各个模型复原结果的PSNR和SSIM的数值对比结果。

超分辨方法	PSNR	SSIM
			Sinc模型复原	20.4712	0.9588
高斯模型复原	26.3564	0.9739
			本发明方法	31.1678	0.9868

表1。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (3)

1.一种基于类高斯模糊核的图像正则化超分辨重建方法，其特征在于，所述方法包括以下步骤：

步骤一：去噪预处理，对由于光学***自身的不适应性导致退化的低分辩图像序列g_k∈R^M×N进行去噪预处理，其中k为图像序列的个数；

步骤二：选取低分辨率序列图像中的一帧g₀作为参考，通过光流法对序列中其他图像g_l进行亚像素配准生成配准参数F_k，l＝1…k-1；

步骤三：对光学图像退化中模糊过程进行数学表征，采用一种类高斯函数来构造PSF模糊核模型，类高斯函数f(t)描述为：

这里

和

分别表示类高斯函数f(t)的对称部分和非对称部分，该数学模型由{a₁,a₂,b₁,b₂,c₁,c₂}这六个参数唯一确定；

参数选取：根据光学***的成像具有中心像素值高，向四周扩散过程中像素值逐渐降低的特点选择脉宽c₁和c₂、脉冲时延b₁和b₂；根据图像退化模型要在形态上近似实际点成像的特点选择幅值a₁和a₂；

步骤四：建立类高斯近似PSF模糊核模型：利用类高斯函数f(t)，以及选取的适当的参数{a₁,a₂,b₁,b₂,c₁,c₂}来建立类高斯近似PSF模糊核模型，构造形式为f(x,y)＝f(x)·f(y)；

步骤五：利用建立的类高斯模糊函数模型，进而构造5×5的PSF卷积核h，构造方法如下：首先，确定模糊区域，即生成一个5×5的矩阵；然后，确定模糊核，将每个网格的坐标值作为类高斯函数模型f(x,y)的坐标值，计算每点的权重并进行元素值的归一化处理后生成最终的5×5的PSF卷积核h；最后，转换为模糊矩阵，即利用卷积定理将模糊核h转换为模糊矩阵B；

步骤六：获取初始高分辨图像，即从低分辨图像中选取一幅作为参考，对其进行双三次插值，构成高分辨率图像解的一个初始估计，记为X₀；

对于超分辨图像重建问题，，选用梯度下降法迭代的方式来求解，根据实际情况设定迭代次数、迭代步长λ、正则化参数α、正则化算子Γ、下采样因子S；

步骤七：计算高分辨图像的估计误差，基于所获取的初始高分辨图像X₀，按照以下公式计算高分辨图像的估计误差：

其中，配准参数F_k、类高斯模糊矩阵B分别由步骤二和步骤五获得，下采样因子S由光学***的几何结构得到，该估计误差W用于修正上一次迭代后的高分辨率图像；

步骤八：生成正则化约束项，选取正则化参数α、正则化算子Γ，并结合上次迭代的高分辨图像的估计X_n，按照如下公式生成正则化约束项：

U＝αΓ^TΓX_n (3)

其中正则化正则化参数α设定为一个常数或设定成随着迭代次数的改变而改变的一种自适应系数，生成正则化约束项U用于约束最终的估计值，使其满足先验概率特性；

步骤九：通过迭代的方式逐步重建高分辨图像，利用步骤七计算的高分辨图像的估计误差W和步骤八生成正则化约束项U，开始迭代重建，按照下述公式输出最终高分辨率图像X_n+1：

X_n+1＝X_n-λ{W+U} (4)

其中，迭代终止条件根据具体的光学***而进行设定。

2.如权利要求1所述的一种基于类高斯模糊核的图像正则化超分辨重建方法，其特征在于，利用形态上近似以及光学成像的特点类高斯模型参数设置的范围为a₁∈[1,10],a₂∈[-10,10],b₁,b₂∈[-10,10],c₁,c₂∈[0,10]。

3.如权利要求1或2所述的一种基于类高斯模糊核的图像正则化超分辨重建方法，其特征在于，正则化参数α取值范围为[0,5]，迭代步长λ取值范围为[0,10]。

Images