CN103136734B - 一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法 - Google Patents

Abstract

POCS超分辨率图像重建时边缘Halo效应的抑制方法，属于图像处理技术领域，包括：读取低分辨率图像序列；采用小波双三次插值法来获取凸集投影的高分辨率初始估计值；采用预滤波亚像素迭代法进行运动估计实现低分辨率图像配准；综合考虑高分辨率估计图像像素点的空间位置信息和灰度信息约束确定具有边缘保持特性的点扩散函数；根据各低分辨率观测帧和参考帧之间的相关性确定可变长的松弛投影参数值；结合所获得的高分辨率初始估计值、具有边缘保持特性的点扩散函数与可变长的松弛投影参数，采用POCS方法进行超分辨率重建，从而提升图像空间分辨率并获得理想的高分辨率图像。本发明能够很大程度上降低重建图像中的边缘Halo效应。

Description

一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法

技术领域

本发明属于图像处理领域，更具体的讲，涉及一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法。

背景技术

伴随着信息时代的高速发展，高分辨率图像得到了越来越广泛的应用。然而由于物理设备成本和各种成像环境等限制因素，导致人们得到的图像质量较低，分辨率不高。为此，一些学者提出了超分辨率重建技术。它的主旨是弥补硬件的不足，从软件的角度提高图像的空间分辨率，增强图像的可用性。超分辨率技术有广阔的应用领域。例如：在军事侦察领域，为了提高军事目标的定位、识别及预警能力和侦察精度，就需要使用高分辨率技术来提高图像分辨率；在天文遥感领域，由于卫星监控设备成本的限制，拍摄到的图像不太清晰，可以通过超分辨率重建技术对拍摄获得的图像进行高清重建，从而可以降低风险或成本；在银行、证券、交通安全监控领域，当有异常情况发生时，可以对监控视频进行重建，提高嫌疑人员的识别能力从而有助于案件侦察和破获；在医疗诊断领域，由于病变目标太小无法识别，通过超分辨率技术可以获得高清图像，可以精确定位病变目标，为医师做出正确的诊断结果提供指导作用；在计算机视觉领域，为了节省视频压缩传输时间和资源，一般情况可以传输低分辨率图像，当需要时可利用超分辨率技术对其进行高清重构，获得高清视频。

超分辨率图像重建就是利用一帧或多帧低分辨率降质图像(如模糊，变形，被噪声污染)来获得一帧高分辨率图像的技术。图像超分辨率研究始于20世纪60年代Harris的研究工作。超分辨率重建方法的研究主要分为两类：频域方法和空域方法。空域方法包括非均匀间隔样本内插法、迭代反向投影法、最大后验概率(MaximumaPosteriori,MAP)方法、凸集投影(ProjectionsOntoConvexSets,POCS)方法、混合MAP/POCS方法、正则化重建方法、滤波方法等。基于集合论的POCS算法是解决超分辨率图像重建问题的重要方法之一。

POCS超分辨率重建方法是基于集合理论提出的。该方法首先将各种先验知识定义为凸约束集，然后从解空间中任意一点开始投影到凸集，采用迭代修正的方法，利用其他集合的约束修正该点的位置，直至重建出高分辨率图像。由于该方法是在插值图像栅格上，基于PSF(点扩散函数)采用固定的松弛投影参数进行修正的过程，因此重建后的图像存在锯齿状边缘、边缘晕轮(Halo)效应，分辨率不高等问题。

发明内容

有鉴于此，本发明提供了抑制POCS超分辨率图像重建中边缘Halo效应的方法，以解决POCS方法存在的边缘模糊、边缘Halo效应、分辨率不高等图像质量问题。

1.POCS超分辨率图像重建时边缘Halo效应的抑制方法，其特征在于，是在计算机中依次按以下步骤实现的：

步骤(1)，计算机初始化：

设定：图像读取模块、高分辨率初始估计值获取模块、低分辨率图像配准模块以及凸集投影POCS方法重建模块；

步骤(2)，依次按以下步骤抑制POCS超分辨率图像重建时边缘Halo效应，边缘Halo效应是指边缘晕圈效应：

步骤(2.1)，所述图像读取模块从图像库读取在同一场景下的低分辨率图像序列g_i，1≤i≤n，i为低分辨率图像的序号，n为低分辨率图像的总数，n∈[6,36]，根据n确定迭代次数L∈[6,15]，所述低分辨率图像的分辨率为M×N，M∈[64,256]，N∈[64,256]，相邻低分辨率图像间有重叠部分，具有公共坐标系，用(x,y)表示坐标点；

步骤(2.2)，所述高分辨率初始估计值获取模块，包含低分辨率参考帧获取子模块、小波分解子模块、双三次插值子模块以及小波逆变换子模块，对应的高分辨率图像的大小为qM×qN，q表示分辨率提高的倍数，q∈[2,4]，其中：

低分辨率参考帧获取子模块，任选所述低分辨率图像序列其中一帧低分辨率图像作为低分辨率参考帧g₀，并保存一份低分辨率参考帧；

小波分解子模块，对所述低分辨率参考帧进行q层离散小波分解变换，得到低频子图水平方向的高频子图垂直方向的高频子图对角线方向的高频子图所有子图的大小均为M/q×N/q；

双三次插值子模块，采用Matlab库中的双三次插值法分别对三个所述的高频子图和进行外推，得到分辨率都为M×N的高频子图g^H，g^V和g^D；

小波逆变换子模块，把低分辨率参考图像g₀作低频子图，三个M×N的所述图像g^H,g^V,g^D作高频子图进行小波逆变换，获得qM×qN的高分辨率图像初始估计值f₀，[f₀]＝IDWT[g₀,g^H,g^V,g^D,q]；

步骤(2.3)，所述低分辨率图像配准模块，包括：预处理子模块、运动估计子模块以及运动参数向量补偿子模块，其中：

预处理子模块，利用低通滤波器F对包括保存的低分辨率参考帧在内的所有低分辨率图像进行滤波，F＝1/16×[1,2,1；2,4,2；1,2,1]，获得初步处理后的低分辨率图像；

运动估计子模块，按下式逐次求取各低分辨率观测帧g_i(x,y)与低分辨率参考帧g₀(x,y)之间的运动参数向量Z＝[k₁,k₂,k₃,k₄]^T：

Z＝G^-1V，其中：

$\begin{array}{ccc}V=\left[\begin{array}{c}\mathrm{\Σ}{R}_1(g_0-g_t)\\ \mathrm{\Σ}R(g_0-g_t)\\ \mathrm{\Σ}\frac{\∂g_t}{\∂x}(g_0-g_t)\\ \mathrm{\Σ}\frac{\∂g_t}{\∂y}(g_0-g_t)\end{array}\right],& R=y\frac{\∂g_t}{\∂x}-x\frac{\∂g_t}{\∂y},& R_1=x\frac{\∂g_t}{\∂x}+y\frac{\∂g_t}{\∂y},\end{array}$

$G=\left[\begin{array}{cccc}{\mathrm{\ΣR}}_1^2& {\mathrm{\ΣRR}}_1& {\mathrm{\ΣR}}_1\frac{\∂g_t}{\∂x}& {\mathrm{\ΣR}}_1\frac{\∂g_t}{\∂y}\\ {\mathrm{\ΣRR}}_1& {\mathrm{\ΣR}}^2& \mathrm{\Σ}R\frac{\∂g_t}{\∂x}& \mathrm{\Σ}R\frac{\∂g_t}{\∂y}\\ {\mathrm{\ΣR}}_1\frac{\∂g_t}{\∂x}& \mathrm{\Σ}R\frac{\∂g_t}{\∂x}& \mathrm{\Σ}{\left(\frac{\∂g_t}{\∂x}\right)}^2& \mathrm{\Σ}\left(\frac{\∂g_t}{\∂x}\·\frac{\∂g_t}{\∂y}\right)\\ {\mathrm{\ΣR}}_1\frac{\∂g_t}{\∂y}& \mathrm{\Σ}R\frac{\∂g_t}{\∂y}& \mathrm{\Σ}\left(\frac{\∂g_t}{\∂x}\·\frac{\∂g_t}{\∂y}\right)& \mathrm{\Σ}{\left(\frac{\∂g_t}{\∂y}\right)}^2\end{array}\right]$

通过采取迭代方法逐步逼近真实值，s为迭代次数，当迭代误差满足定精度Th≤10^-3时终止迭代；

运动参数向量补偿子模块，设定高分辨率图像补偿前的坐标为(x',y')，高分辨率图像补偿后的坐标为(x,y)，采用简化的四参数仿射模型，把计算得到的所述运动参数向量Z＝[k₁,k₂,k₃,k₄]^T补偿到高分辨率初始估计值f₀(x,y)中，所述f₀是f₀(x,y)的简略表达式；简化的四参数仿射变换为：

$\left\{\begin{array}{c}x=x^{\′}+k_1{x}^{\′}+k_2{y}^{\′}+k_3\\ y=y^{\′}+k_1{y}^{\′}-k_2{x}^{\′}+k_4\end{array}\right.,$

其中，k₁,k₂为仿射变换的旋转、缩放参数，k₃,k₄为仿射变换的平移参数；

步骤(2.4)，所述凸集投影POCS方法重建模块，包含：点扩散函数PSF获取子模块、松弛投影参数自适应调整子模块以及迭代投影修正子模块，依次按以下步骤降低重建结果中边缘Halo效应：

点扩散函数PSF获取子模块，依次按以下步骤求出具有边缘保持特性的点扩散函数PSF，其特征在于：

按下式计算所述高分辨率初始估计值f₀(x,y)中各像素与支撑域中心像素之间的空域中的欧氏距离，用h(x,y)表示：

$h(x,y)=\exp \{-\frac{{(x-m)}^2+{(y-n)}^2}{2{\mathrm{\δ}}_s^2}\},$ 其中，

δ_s为点扩散函数PSF的标准差，δ_s∈[0.5,2]，(m,n)为位于各相邻像素之间的5×5像素支撑域内中心像素的坐标，

按下式计算所述高分辨率初始估计值f₀(x,y)中各像素之间的灰度关系

$w_{{\mathrm{\δ}}_r}\left(\right|f_0\left(x,y\right)-f_0\left(m,n\right)\left|\right)=\exp \{-\frac{|f_0(x,y)-f_0(m,n){|}^2}{2{\mathrm{\δ}}_r^2}\},$ 其中，

f₀(x,y),f₀(m,n)分别为坐标(x,y),(m,n)处的灰度值，δ_r为标准差，δ_r∈[0.8,15]；

按下式求出考虑了所述高分辨率初始估计值中各像素之间的灰度关系的具有边缘保持特性的点扩散函数

$\tilde{h}(x,y)=U\·h(x,y)\·w_{{\mathrm{\δ}}_r}\left(\right|f_0\left(x,y\right)-f_0\left(m,n\right)\left|\right),$

U为归一化系数，U∈(0.001,1)；

松弛投影参数自适应调整子模块，依次按以下步骤根据低分辨率观测帧和低分辨率参考帧之间的相关性自适应调整松弛投影参数，获得可变长的松弛投影参数：

按下式计算各低分辨率观测帧与低分辨率参考帧之间的相关性Rl：

$\begin{array}{cc}Rl=\frac{\underset{x,y}{\mathrm{\&Sigma;}}\&lsqb;g_i\left(x,y\right)g_0\left(x,y\right)\&rsqb;}{\sqrt{\underset{x,y}{\mathrm{\&Sigma;}}{\&lsqb;g_i\left(x,y\right)\&rsqb;}^2\underset{x,y}{\mathrm{\&Sigma;}}{\&lsqb;g_0\left(x,y\right)\&rsqb;}^2}},& 0<Rl<1\end{array},$

g_i(x,y)为各低分辨率当前观测帧，g₀(x,y)为低分辨率参考帧，

设定：松弛投影参数λ，λ＝2Rl，所述λ是一个可变长的松弛投影参数，反映了低分辨率当前观测帧参与投影的程度，该λ值与Rl成正比；

迭代投影修正子模块，依次按以下步骤对所述高分辨率初始估计值f₀(x,y)进行凸集迭代投影修正，以便通过设定的迭代次数获得高分辨率图像：

已知：先验信息及其先验界限值δ_i，所述先验信息包括正定、能量有限、数据一致性光滑在内的任何一种信息，根据数据一致性信息定义凸集C_m,n,i，(m,n)为低分辨率图像g_i(x,y)中坐标点(x,y)对应于高分辨率估计值中的坐标，i为低分辨率图像观测帧的序号,

设定高分辨图像迭代投影过程中的估计值l∈[0,L)，L为迭代的总次数，L∈[6,15]，则任意一个高分辨图像迭代投影过程中的估计值到凸集C_m,n,i上的投影为：

$P_{\left(x,y\right)}\&lsqb;{\hat{f}}_l\left(m,n\right)\&rsqb;={\hat{f}}_l\left(m,n\right)+\left\{\begin{array}{cc}\left(\mathrm{\&lambda;}\&CenterDot;r_i^{{\hat{f}}_l\left(m,n\right)}\left(x,y\right)-{\mathrm{\&delta;}}_0\right)\&CenterDot;{\tilde{h}}_i\left(x,y;m,n\right),& {r_i}^{{\hat{f}}_l\left(m,n\right)}\left(x,y\right)>{\mathrm{\&delta;}}_i\\ 0,& \left|{r_i}^{{\hat{f}}_l\left(m,n\right)}\left(x,y\right)\right|\&le;{\mathrm{\&delta;}}_i\\ \left(\mathrm{\&lambda;}\&CenterDot;r_i^{{\hat{f}}_l\left(m,n\right)}\left(x,y\right)+{\mathrm{\&delta;}}_0\right)\&CenterDot;{\tilde{h}}_i\left(x,y;m,n\right),& {r_i}^{{\hat{f}}_l\left(m,n\right)}\left(x,y\right)<-{\mathrm{\&delta;}}_i\end{array}\right.,$

其中，δ_i＝cδ₀，c∈[2,5]，δ₀∈[0.1,3.8]，

$C_{m,n,i}=\{{\hat{f}}_l\left(m,n\right):|r_i^{{\hat{f}}_l(m,n)}\left(x,y\right)|\&le;{\mathrm{\&delta;}}_i\},$

为残差函数， $r_i^{{\hat{f}}_l(m,n)}(x,y)=g_i(x,y)-\underset{m,n}{\&Sigma;}{\hat{f}}_l(m,n){\tilde{h}}_i(x,y;m,n),$

为高分辨率估计值中点(m,n)处灰度值与点(m,n)的5×5支撑域中各像素灰度值之间的约束关系，表达式为：

$\begin{array}{cc}{\tilde{h}}_i(x,y;m,n)=U\&CenterDot;h(x,y;m,n)\&CenterDot;w_{{\mathrm{\&delta;}}_r}\left(\right|{\hat{f}}_l(x,y)-{\hat{f}}_l(m,n)\left|\right),& U\&Element;(0.001,1)\end{array}$

$\begin{array}{cc}h(x,y;m,n)=\exp \{-\frac{{(x-m)}^2+{(y-n)}^2}{2{\mathrm{\&delta;}}_s^2}\},& {\mathrm{\&delta;}}_s\&Element;\&lsqb;0.5,2\&rsqb;,\end{array}$

$\begin{array}{cc}{w}_{{\mathrm{\&delta;}}_r}\left(\right|{\hat{f}}_l\left(x,y\right)-{\hat{f}}_l\left(m,n\right)\left|\right)=\exp \{-\frac{|{\hat{f}}_l(x,y)-{\hat{f}}_l(m,n){|}^2}{2{\mathrm{\&delta;}}_r^2}\},& {\mathrm{\&delta;}}_r\&Element;\&lsqb;0.8,15\&rsqb;,\end{array}$

实质上是具有边缘保持特性的点扩散函数，通过把高分辨率图像估计值进行点扩散处理来获得低分辨率图像；

令 ${\hat{f}}_0(m,n)=f_0(m,n),$ 由计算得到 $\begin{array}{cc}{P}_{(x,y)}\&lsqb;{\hat{f}}_0(m,n)\&rsqb;,& {\hat{f}}_1\left(m,n\right)=P_{\left(x,y\right)}\&lsqb;{\hat{f}}_0(m,n)\&rsqb;,\end{array}$ 依次类推，逐次进行迭代；若未达到迭代次数，则把代入残差函数更新残差否则迭代结束，从中截断超出8比特图像取值范围[0，255]部分，得到重建的高分辨率图像。

本发明与现有技术相比具有以下优点：

1、该方法充分利用小波具有保持细节的特性，采用小波双三次插值法来获取凸集投影POCS的高分辨率初始估计值，改善双线性插值造成的图像边缘模糊问题。

2、该方法采用预滤波亚像素迭代法进行运动估计实现低分辨率图像配准，提高图像配准精度。

3、该方法将像素之间空域中的欧氏距离与值域中像素之间的灰度关系有机地结合起来，利用高斯值域函数来获得具有边缘保持特性的点扩散函数，很大程度上降低了重建结果中的边缘Halo效应。

4、该方法利用低分辨率观测帧和低分辨率参考帧之间的相关性来获取可变长的松弛投影参数，减小运动估计误差对重建图像带来的影响。

附图说明

为了更清楚地说明本发明的实施例或现有技术中的技术方案，下面将本发明的实施例或现有技术描述中需要使用的附图做简单介绍。显而易见，下面描述中的附图仅仅是本发明中的一些实施例，对于本领域中的普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明公开的方法的结构示意图。

图2为本发明公开的高分辨率初始估计值获取模块B的结构示意图。

图3为本发明公开的低分辨率图像配准模块C的结构示意图。

图4为本发明公开的POCS方法重建模块D的结构示意图。

图5为本发明实施例一公开的方法流程图。

图6为本发明实施例一公开的获取高分辨率初始估计值的流程图。

图7为本发明实施例一公开的低分辨率图像配准的流程图。

图8为本发明实施例一公开的POCS方法重建的流程图。

图9为本发明实施例一公开的POCS方法的基本原理示意图。

图10为本发明实施例一公开的获取具有边缘保持特性的PSF的流程图。

图11为本发明实施例一公开的松弛投影参数自适应调整的流程图。

图12为本发明实施例二公开的POCS超分辨率方法重建详细流程图。

图13为本发明在四种不同图像序列下，采用固定松弛投影参数的POCS方法重建高分辨率图像PSNR(峰值信噪比)的曲线图：代表重建Lena图像的PSNR曲线图；代表重建Cameraman图像的PSNR曲线图；代表重建Boats图像的PSNR曲线图；代表重建House图像的PSNR曲线图。

图14为本发明在四种不同图像序列下，采用可变长松弛投影参数的POCS方法重建高分辨率图像的PSNR(峰值信噪比)的曲线图。

图15为分别采用现有POCS方法和本发明公开的方法重建的Lena图像的灰度级中心横剖面图。(a)为采用现有POCS方法重建Lena图像的灰度级中心横剖面图，图中部分尖峰由虚线圈标出。(b)为采用本发明公开的方法重建的Lena图像的灰度级中心横剖面图。

具体实施方式

POCS超分辨率图像重建时边缘Halo效应的抑制方法，包括：

图像读取模块，用于读取同一场景具有重叠部分的n帧待处理低分辨率图像，n∈[6,36]；

高分辨率初始估计值获取模块，用于对低分辨率参考帧进行离散小波分解，再利用双三次插值法对分解得到的水平、垂直、对角线3个方向上的高频子图进行高频外推，最后采用小波逆变换获得高分辨率初始估计值。

低分辨率图像配准模块，用于采用预滤波亚像素迭代法进行运动估计获得运动参数向量，并将运动估计得到的运动参数向量补偿到高分辨率初始估计值中，实现图像配准。

POCS方法重建模块，用于将高分辨率估计值不断迭代投影到多个先验信息约束集合中，获得满足要求的高分辨率图像，实现从低分辨率图像序列重建一幅高分辨率图像。

优选的，所述的高分辨率初始估计值获取模块包括：

低分辨率参考帧获取子模块，用于任选低分辨率图像序列其中一帧低分辨率图像作为低分辨率参考帧，并保存一份；

小波分解子模块，用于将低分辨率参考图像分解为1个低频子图和水平、垂直、对角线3个方向上的高频子图，相应分辨率下水平、垂直、对角线三个方向的高频子图分别反映这三个方向上图像的边缘特性；

双三次插值子模块，用于对水平、垂直、对角线3个方向上的高频子图进行高频外推，获得3个方向上大小等于低分辨率参考帧的高频子图；

小波逆变换子模块，用于将低分辨率参考帧作低频子图，将双三次插值获得的3个方向上的图像作为高频子图进行小波逆变换，获得高分辨率图像的初始估计值。

优选的，所述的低分辨率图像配准模块包括：

预处理子模块，利用低通滤波器F对低分辨率图像进行滤波，F＝1/16×[1,2,1；2,4,2；1,2,1]，获得初步处理后的低分辨率图像；

运动估计子模块，用于采用亚像素迭代法进行配准，获得低分辨率图像之间的运动参数向量；

运动参数向量补偿子模块，用于将计算得到的运动参数向量补偿到高分辨率估计中，获得配准的高分辨率初始估计值。

优选的，所述的POCS方法重建模块包括：

点扩散函数获取子模块，用于采用高斯函数来获得具有边缘保持特性的点扩散函数，其特征在于：首先计算高分辨率估计图像像素之间空域中的欧氏距离；然后根据高斯型值域函数考察5×5邻域内各像素在值域上与中心像素之间的相似性，获得值域中像素灰度值之间的关系；最后，将像素之间空域中的欧氏距离与值域中像素之间的灰度关系有机地结合起来，获得具有边缘保持特性的点扩散函数。

松弛投影参数自适应调整子模块，用于获得可变长的松弛投影参数。其特征在于：计算低分辨率观测帧和低分辨率参考帧之间的相关性Rl；根据0<Rl<1，将松弛投影参数λ设置为λ＝2Rl；根据相关性自适应调整松弛投影参数，获得可变长的松弛投影参数。

迭代投影修正子模块，用于将高分辨率初始估计值不断投影到多个凸集中，通过不断迭代投影修正，获得重建的高分辨图像。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其他实施例，都属于本发明的保护范围。

本发明公开了POCS超分辨率图像重建时边缘Halo效应的抑制方法，以解决现有技术的算法存在重建图像边缘模糊、边缘Halo效应和振铃现象等问题。其结构如图1所示：图像读取模块A、高分辨率初始估计值获取模块B、低分辨率图像配准模块C、POCS方法重建模块D。其中：

图像读取模块A，用于读取在同一场景下具有重叠部分的n帧待处理低分辨率图像，n∈[6,36]；高分辨率初始估计值获取模块B，用于对低分辨率参考帧进行离散小波分解，再利用双三次插值法对分解得到的水平、垂直、对角线3个方向上的高频子图进行高频外推，最后采用小波逆变换获得高分辨率初始估计值。低分辨率图像配准模块C，用于采用预滤波亚像素迭代法进行运动估计获得运动参数向量，并将估计得到的运动参数向量补偿到高分辨率初始估计值中，实现图像配准。POCS方法重建模块D，用于将高分辨率估计值不断迭代投影到多个先验信息约束集合中，获得满足要求的高分辨率图像，实现从低分辨率序列图像重建一幅高分辨率图像。其详细内容可参见下面所对应的实施例。

所述高分辨率初始估计值获取模块B结构如图2所示，包括：低分辨率参考帧获取子模块B1，用于任选低分辨率图像序列的其中一帧低分辨率图像作为低分辨率参考帧；小波分解子模块B2，用于将低分辨率参考帧分解为1个低频子图和水平、垂直、对角线3个方向上的高频子图；双三次插值模块B3，用于对3个方向上的图像进行高频外推，获得3个方向上的大小等于低分辨率参考帧的高频子图；小波逆变换模块B4，用于把低分辨率参考帧作低频子图，把双三次插值获得的3个方向上的子图作高频子图进行小波逆变换，获得高分辨率图像的初始估计值。

所述低分辨率图像配准模块C结构如图3所示，包括：预处理子模块C1，用于对待配准低分辨率图像序列进行低通滤波预处理，获得初步降噪的图像；运动估计子模块C2，用于采用亚像素迭代法进行配准，获得低分辨率图像之间的运动参数向量；运动参数向量补偿子模块C3，用于将计算得到的运动参数向量补偿到高分辨率初始估计值中，获得配准的高分辨率初始估计值。

所述POCS方法重建模块D结构如图4所示，包括：点扩散函数获取子模块D1，用于采用高斯型函数来获得具有边缘保持特性的点扩散函数；松弛投影参数自适应调整子模块D2，用于获得可变长的松弛投影参数；迭代投影子模块D3，用于将高分辨率估计值进行凸集迭代投影修正，获得重建后的高分辨图像。其详细内容可参见下面的实施例。

其具体实施方式如下所述：

实施例一

参见图5，本实施例公开的POCS超分辨率图像重建时边缘Halo效应的抑制方法的流程包括以下步骤：

步骤S1，读取同一场景下具有重叠部分的低分辨率图像序列g_i，i为低分辨率图像观测帧的序号，i∈[1,n]，n为低分辨率图像总数，n∈[6,36]，分辨率均为M×N，M∈[64,256]，N∈[64,256]。

步骤S2，从n帧低分辨率图像中任选一帧作为低分辨率参考帧g₀，对g₀进行小波双三次插值，获得qM×qN的高分辨率初始估计值f₀(x,y)，q表示分辨率提高的倍数，q∈[2,4]，用(x,y)表示坐标点。

POCS算法就是将每一次迭代产生的高分辨率估计值投影到下一个凸约束集合中，因此高分辨率初始估计图像的质量直接影响到最终重建的高分辨率图像的质量。POCS算法通常采用双线性插值法获得初始图像，但是双线性插值法在图像放大的过程中会造成边缘模糊。由于小波双三次插值具有保持边缘细节的特性，故本实施例中采用小波双三次插值方法来获取高分辨率初始估计值。

步骤S3，对读入的n帧低分辨率图像进行运动估计与图像配准，获得运动参数向量Z＝[k₁,k₂,k₃,k₄]，并补偿到高分辨率初始估计图像中，从而实现图像配准。

图像配准是对低分辨率当前观测帧和低分辨率参考帧的同一目标进行对正，确定对应点的匹配关系，以消除或者减少图像间目标位置差别及噪声引起的畸变。采用POCS方法重建之前需要精确计算各低分辨率观测帧与参考帧间的运动参数向量，运动参数向量估计的准确性严重影响重建图像的质量。本发明首先利用低通滤波器F对低分辨率图像进行滤波，F＝1/16×[1,2,1；2,4,2；1,2,1]，获得初步处理后的低分辨率图像，然后运用亚像素迭代法进行配准。

步骤S4，利用POCS重建方法，将高分辨率估计值不断迭代投影到多个先验信息约束集合中，实现从低分辨率图像序列重建一幅高分辨率图像。

本实施例利用高斯函数来获得具有边缘保持特性的点扩散函数，降低重建结果中的边缘Halo效应；利用低分辨率参考帧和观测帧之间的相关性获得可变长的松弛投影参数，从而减小运动估计误差的影响；将小波双三次插值法获得的高分辨率初始估计值进行凸集迭代投影修正，从而提高图像分辨率，获得重建的高分辨图像。

在本实施例中，参见图6，步骤S2所述高分辨率初始估计值的获取具体以步骤S21—S24加以实现，包括：

步骤S21，从低分辨率图像序列中任选其中一帧低分辨率图像作为低分辨率参考帧g₀，并保存一份低分辨率参考帧；

步骤S22，对低分辨率参考帧进行q层离散小波分解变换，获得低频子图和水平、垂直、对角线3个方向的高频子图，这些子图分辨率均为M/q×N/q；

步骤S23，利用Matlab库中双三次插值分别对步骤S22分解得到的3个高频子图进行高频外推，获得分辨率为M×N的高频子图；

步骤S24，将低分辨率参考帧作低频子图，步骤S23获得的图像作高频子图，进行小波逆变换，获得高分辨率图像初始估计值f₀(x,y)。

步骤S21—S24的实施过程详细阐述如下：

从低分辨率图像序列任选其中一帧低分辨率图像作为低分辨率参考帧g₀，n∈[6,36]，并保存一份；

对其进行q层离散小波分解，得到一个低频子图和水平方向的高频子图垂直方向的高频子图以及对角线方向的高频子图所有子图的分辨率均为M/q×N/q；

采用双三次插值对进行外推，得到分辨率均为M×N的高频子图g^H,g^V,g^D；

把g₀作低频子图，把g^H,g^V,g^D作高频子图进行q层小波逆变换，获得高分辨率图像初始估计值f₀，[f₀]＝IDWT[g₀,g^H,g^V,g^D,q]，f₀是f₀(x,y)的简略表示。

在本实施例中，参见图7，步骤S3所述的低分辨率图像配准具体以步骤S31—S33加以实现，包括：

步骤S31，利用低通滤波器F对包括保存的低分辨率参考帧在内的所有低分辨率图像进行滤波，F＝1/16×[1,2,1；2,4,2；1,2,1]，获得初步处理的低分辨率图像；

步骤S32，采用亚像素迭代法进行配准，计算各低分辨率观测帧与低分辨率参考帧之间的运动参数向量；

步骤33，用于将计算得到的运动参数向量补偿到高分辨率初始估计值中，实现图像配准，获得配准的高分辨率初始估计值。

步骤S31—S33的实施过程详细阐述如下：

利用低通滤波器F对低分辨率图像进行滤波，F＝1/16×[1,2,1；2,4,2；1,2,1]，获得初步处理的低分辨率图像；

采用亚像素迭代法进行配准，逐次求取各低分辨率观测帧g_i(x,y)与低分辨率参考帧g₀(x,y)之间的运动参数向量Z＝[k₁,k₂,k₃,k₄]^T：

Z＝G^-1V(1)

其中， $\begin{array}{ccc}V=\left[\begin{array}{c}\mathrm{\&Sigma;}{R}_1(g_0-g_t)\\ \mathrm{\&Sigma;}R(g_0-g_t)\\ \mathrm{\&Sigma;}\frac{\&part;g_t}{\&part;x}(g_0-g_t)\\ \mathrm{\&Sigma;}\frac{\&part;g_t}{\&part;y}(g_0-g_t)\end{array}\right],& R=y\frac{\&part;g_t}{\&part;x}-x\frac{\&part;g_t}{\&part;y},& R_1=x\frac{\&part;g_t}{\&part;x}+y\frac{\&part;g_t}{\&part;y},\end{array}$

$G=\left[\begin{array}{cccc}{\mathrm{\&Sigma;R}}_1^2& {\mathrm{\&Sigma;RR}}_1& {\mathrm{\&Sigma;R}}_1\frac{\&part;g_t}{\&part;x}& {\mathrm{\&Sigma;R}}_1\frac{\&part;g_t}{\&part;y}\\ {\mathrm{\&Sigma;RR}}_1& {\mathrm{\&Sigma;R}}^2& \mathrm{\&Sigma;}R\frac{\&part;g_t}{\&part;x}& \mathrm{\&Sigma;}R\frac{\&part;g_t}{\&part;y}\\ {\mathrm{\&Sigma;R}}_1\frac{\&part;g_t}{\&part;x}& \mathrm{\&Sigma;}R\frac{\&part;g_t}{\&part;x}& \mathrm{\&Sigma;}{\left(\frac{\&part;g_t}{\&part;x}\right)}^2& \mathrm{\&Sigma;}\left(\frac{\&part;g_t}{\&part;x}\&CenterDot;\frac{\&part;g_t}{\&part;y}\right)\\ {\mathrm{\&Sigma;R}}_1\frac{\&part;g_t}{\&part;y}& \mathrm{\&Sigma;}R\frac{\&part;g_t}{\&part;y}& \mathrm{\&Sigma;}\left(\frac{\&part;g_t}{\&part;x}\&CenterDot;\frac{\&part;g_t}{\&part;y}\right)& \mathrm{\&Sigma;}{\left(\frac{\&part;g_t}{\&part;y}\right)}^2\end{array}\right]$

$Z_{s+1}=G_s^{-1}{V}_s+Z_s---\left(2\right)$

根据式(2)，通过迭代方法逐步逼近真实值，s为迭代次数，当迭代误差满足一定精度Th≤10^-3时终止迭代；

设定高分辨率图像补偿前的坐标为(x',y')，高分辨率图像补偿后的坐标为(x,y)，按式(3)把计算得到的所述运动参数向量Z＝[k₁,k₂,k₃,k₄]补偿到高分辨率初始估计f₀(x,y)中，

$\left\{\begin{array}{c}x=x^{\&prime;}+k_1{x}^{\&prime;}+k_2{y}^{\&prime;}+k_3\\ y=y^{\&prime;}+k_1{y}^{\&prime;}-k_2{x}^{\&prime;}+k_4\end{array}\right.---\left(3\right)$

在本实施例中，参见图8，步骤S4所述POCS方法重建具体以步骤S41—S43加以实现，包括：

步骤S41，采用高斯函数将高分辨率估计图像像素之间空域中的欧氏距离与值域中像素之间的灰度关系有机地结合起来，获得具有边缘保持特性的点扩散函数PSF；

步骤S42，利用各低分辨率观测帧和低分辨率参考帧之间的相关性，获得可变长的松弛投影参数，使得松弛投影参数随着相关性大小自适应调整；

步骤S43，将高分辨率初始估计值进行凸集迭代投影修正，获得重建的高分辨图像。

步骤S41-S43的实施过程详细阐述如下：

如图9所示，POCS算法是从给定的高分辨率初始估计值出发，不断迭代投影到凸集中直至产生满足要求的高分辨率图像。在POCS方法中，每一个先验信息将POCS的解限制在一个闭凸集中。

如图10所示，点扩散函数PSF的获取执行如下过程：

输入大小为5×5的高斯模板，并将其作用于待处理图像；

按式(4)计算高分辨率初始估计f₀(x,y)像素之间空域中的欧氏距离：

$h(x,y)=\exp \{-\frac{{(x-m)}^2+{(y-n)}^2}{2{\mathrm{\&delta;}}_s^2}\}---\left(4\right)$

δ_s∈[0.5,2]，(m,n)为位于各相邻像素之间的5×5像素支撑域内中心像素的坐标；

按式(5)计算高分辨率初始估计值f₀(x,y)中各像素之间的灰度关系

$w_{{\mathrm{\&delta;}}_r}\left(\right|f_0\left(x,y\right)-f_0\left(m,n\right)\left|\right)=\exp \{-\frac{|f_0(x,y)-f_0(m,n){|}^2}{2{\mathrm{\&delta;}}_r^2}\}---\left(5\right)$

其中，δ_r为标准差，δ_r∈[0.8,15]；

根据式(6)将像素之间空域中的欧氏距离h(x,y)与值域中像素之间的灰度关系有机地结合起来，获得具有边缘保持特性的点扩散函数

$\tilde{h}(x,y)=U\&CenterDot;h(x,y)\&CenterDot;w_{{\mathrm{\&delta;}}_r}\left(\right|f_0\left(x,y\right)-f_0\left(m,n\right)\left|\right)---\left(6\right)$

其中，U为归一化系数，U∈(0.001,1)。

如图11所示，松弛投影参数自适应调整的执行过程如下：

根据式(7)计算各低分辨率观测帧和低分辨率参考帧之间的相关性Rl：

$\begin{array}{cc}Rl=\frac{\underset{x,y}{\mathrm{\&Sigma;}}\&lsqb;g_i\left(x,y\right)g_0\left(x,y\right)\&rsqb;}{\sqrt{\underset{x,y}{\mathrm{\&Sigma;}}{\&lsqb;g_i\left(x,y\right)\&rsqb;}^2\underset{x,y}{\mathrm{\&Sigma;}}{\&lsqb;g_0\left(x,y\right)\&rsqb;}^2}},& 0<Rl<1\end{array}---\left(7\right)$

其中，g_i(x,y)为低分辨率当前观测帧，i为低分辨率图像观测帧的序号，g₀(x,y)为低分辨率参考帧；

将松弛投影参数λ设置为：

λ＝2Rl(8)

所述λ是一个可变长的松弛投影参数，反映了低分辨率当前观测帧参与投影的程度，该λ值与Rl成正比。

已知先验信息及其先验界限值δ_i，所述先验信息包括正定、能量有限、数据一致性、光滑性，根据数据一致性定义凸集C_m,n,i：

$C_{m,n,i}=\{{\hat{f}}_l\left(m,n\right):|r_i^{{\hat{f}}_l(m,n)}\left(x,y\right)|\&le;{\mathrm{\&delta;}}_i\}---\left(9\right)$

$r_i^{{\hat{f}}_i(m,n)}(x,y)=g_i(x,y)-\underset{m,n}{\&Sigma;}{\hat{f}}_l(m,n){\tilde{h}}_i(x,y;m,n)---\left(10\right)$

其中，为残差函数，(m,n)为低分辨率图像g_i(x,y)中坐标点(x,y)对应于高分辨率图像迭代投影过程中的估计值中的坐标，l∈[0,L)，L为迭代总次数，L∈[6,15]，i为低分辨率图像观测帧的序号。

任意一个高分辨图像迭代投影过程中的估计值到凸集C_m,n,i上的投影为：

$P_{\left(x,y\right)}\&lsqb;{\hat{f}}_l\left(m,n\right)\&rsqb;={\hat{f}}_l\left(m,n\right)+\left\{\begin{array}{cc}\left(\mathrm{\&lambda;}\&CenterDot;r_i^{{\hat{f}}_l\left(m,n\right)}\left(x,y\right)-{\mathrm{\&delta;}}_0\right)\&CenterDot;{\tilde{h}}_i\left(x,y;m,n\right),& {r_i}^{{\hat{f}}_l\left(m,n\right)}\left(x,y\right)>{\mathrm{\&delta;}}_i\\ 0,& \left|{r_i}^{{\hat{f}}_l\left(m,n\right)}\left(x,y\right)\right|\&le;{\mathrm{\&delta;}}_i\\ \left(\mathrm{\&lambda;}\&CenterDot;r_i^{{\hat{f}}_l\left(m,n\right)}\left(x,y\right)+{\mathrm{\&delta;}}_0\right)\&CenterDot;{\tilde{h}}_i\left(x,y;m,n\right),& {r_i}^{{\hat{f}}_l\left(m,n\right)}\left(x,y\right)<-{\mathrm{\&delta;}}_i\end{array}\right.---\left(11\right)$

其中，δ_i＝cδ₀，c∈[2,5]，δ₀∈[0.1,3.8]，为高分辨率估计值中点(m,n)处灰度值与(m,n)的5×5支撑域中各像素灰度值之间的约束关系，可根据式(6)计算得到。

若有j个先验信息，则有j个相应的凸集C_k,k∈[1,j]。POCS方法的解空间就是这些凸约束集的交集C₀，若C₀非空，则C₀中任何一个元素都是问题的一个可行解。对于给定的凸集C_k及相应的凸集投影算子P_k，则从低分辨率图像序列重建一幅高分辨率图像的迭代序列表示为：

${\hat{f}}_{l+1}=P_j{P}_{j-1}...P_1{\hat{f}}_l---\left(12\right)$

其中，j为凸集的个数，j∈[1,6]，更一般的形式采用松弛投影算子，可表示为：

${\hat{f}}_{l+1}=T_j{T}_{j-1}...T_1{\hat{f}}_l---\left(13\right)$

其中，T_k＝(1-λ_k)I+λ_kP_k，I为单位向量，λ_k为松弛投影算子，用于加速算法的收敛速度，0<λ_k<2。采用松弛投影算子，提高了POCS算法的收敛稳定性。

令 ${\hat{f}}_0(m,n)=f_0(m,n),$ 由计算得到 $\begin{array}{cc}{P}_{(x,y)}\&lsqb;{\hat{f}}_0\left(m,n\right)\&rsqb;,& {\hat{f}}_1\left(m,n\right)=P_{\left(x,y\right)}\&lsqb;{\hat{f}}_0(m,n)\&rsqb;,\end{array}$ 依次类推，逐次进行迭代；若未达到迭代次数，则把代入残差函数更新残差否则迭代结束，从中截断超出8比特图像取值范围[0，255]部分，得到重建的高分辨率图像。

本实施例充分利用了小波具有保持纹理细节的特性，采用小波双三次插值法来获取凸集投影POCS的高分辨率初始估计值，改善由双线性插值造成的图像边缘模糊问题；将高分辨率图像像素之间空域中的欧氏距离与值域中像素之间的灰度关系有机地结合起来，利用高斯值域函数来获得具有边缘保持特性的点扩散函数，很大程度上降低重建结果中的边缘Halo效应；利用低分辨率观测帧和低分辨率参考帧之间的相关性来获取可变长的松弛投影参数，减小运动估计误差对重建图像带来的影响。

实施例二

上述实施例是从理论方面对本发明公开的方法进行了详细描述，并从理论方面对其有益效果进行了描述。下面，本实施例将从实际处理过程出发，将本发明与现有技术对不同场景的图像进行重建的结果进行对比，从实际应用支持本发明。

参见图12，POCS方法重建的详细执行过程包括：采用256×256像素的图像作为原始的高分辨率图像，原始图像经过水平、垂直平移和旋转以及下采样后生成8幅128×128像素的低分辨率图像；不妨选取低分辨率图像中第一帧作为参考帧，通过小波双线性插值法对低分辨率参考帧进行处理，获得256×256的高分辨率初始估计值；通过运动估计实现图像配准，并进行迭代投影重建一幅256×256的高分辨率图像。本实施例中参数设置为M＝128,N＝128,q＝2,n＝8,c＝3,δ₀＝1.5,δ_s＝1,δ_r＝10,Th＝10^-4,U＝1,j＝2,L＝10。为了充分支持本发明，本实施例分别对图像库中6种不同场景图像进行实验，包括Lena、Cameraman、Boats、House、字母‘a’、Peppers图像。

为了充分证明本发明的有效性，本实施例采用峰值信噪比(PeakSignaltoNoiseRatio,PSNR)来定量地评价图像质量。PSNR的值越大，表明图像质量越高。原始的高分辨率图像f(x,y)与重建的高分辨率图像之间的PSNR定义为：

$PSNR=10\&CenterDot;{\log }_{10}\frac{{255}^2\&CenterDot;qM\&CenterDot;qN}{\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\&lsqb;f(x,y)-\hat{f}(x,y)\&rsqb;}^2}---\left(14\right)$

其中，M和N分别是低分辨率图像的长和宽，q为分辨率提高的倍数。

表格1为不同图像分别采用现有技术(基于双线性插值的POCS方法—BL+POCS)与本发明公开的方法重建的高分辨率图像的PSNR结果。这些图像包括模拟序列字母‘a’、Peppers、Lena、Boats、Cameraman、House图像。由表中数据可知，本发明公开的方法具有较高的PSNR值，能够有效地去除边缘Halo效应，提高重建高分辨率图像质量。

表格1：不同方法重建高分辨率图像的PSNR对比(db)

图13为本发明采用固定松弛投影参数重建高分辨率图像的PSNR，横坐标为松弛投影参数值，纵坐标为PSNR值，由图中曲线可知，4幅图像的PSNR都小于28db。图14为本发明采用可变长松弛投影参数重建图像的PSNR，横坐标为松弛投影参数值，纵坐标为PSNR值，由图中曲线可知，4幅图像的PSNR都大于28db，其中Boats图像的PSNR值提高了1.4db。

图15为分别采用现有技术和本发明公开的方法重建的Lena高分辨率图像的灰度级中心横剖面图。(a)为采用现有技术重建Lena高分辨率图像的灰度级中心横剖面图。边缘处出现了明显的尖峰(部分用虚线圈标出)，说明存在大量Halo效应；(b)为采用本发明公开的方法重建的Lena高分辨率图像的灰度级中心横剖面图。边缘处的尖峰几乎不见了，有效抑制了边缘Halo效应。由此可见，本发明公开的方法重建的高分辨率图像中的边缘Halo效应几乎消失了，说明本发明能够有效抑制POCS重建图像边缘Halo效应，大大提高了重建高分辨率图像的质量。

在处理速度方面，本发明对8幅低分辨率序列图像进行重建，分辨率提高2倍只要294ms就可获得一幅高分辨率图像，可见本发明公开的方法和***速度比较快，具有实际应用性。

本说明书中各实施例采用递进方式描述，专业人员还可以进一步认识到，结合本发明中所公开的实施例描述的各示例模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了个示例的组成与步骤。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本发明中所公开的实施例描述的方法或算法步骤，可以直接用硬件、处理器执行的软件模块或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其他形式的存储介质中。

对所公开的上述实施例的说明，使本领域专业技术人员能实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的。本发明中所定义的一般原理在不脱离本发明的精神和范围的情况下，在其他实施例中实现。因此，本发明不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理与新颖特点相一致的最宽范围。

Claims (2)

1.一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法，其特征在于，是在计算机中依次按以下步骤实现的：

步骤(1)，计算机初始化：

设定：图像读取模块、高分辨率初始估计值获取模块、低分辨率图像配准模块以及凸集投影(POCS)方法重建模块；

步骤(2)，依次按以下步骤抑制凸集投影超分辨率图像重建时边缘晕轮(Halo)效应，边缘晕轮效应是指边缘晕圈效应：

步骤(2.1)，所述图像读取模块从图像库读取在同一场景下的低分辨率图像序列g_i，1≤i≤n，i为低分辨率图像的序号，n为低分辨率图像的总数，n∈[6,36]，根据n确定迭代次数L∈[6,15]，所述低分辨率图像的分辨率为M×N，M∈[64,256]，N∈[64,256]，相邻低分辨率图像间有重叠部分，具有公共坐标系，用(x,y)表示坐标点；

步骤(2.2)，所述高分辨率初始估计值获取模块，包含低分辨率参考帧获取子模块、小波分解子模块、双三次插值子模块以及小波逆变换子模块，对应的高分辨率图像的大小为qM×qN，q表示分辨率提高的倍数，q∈[2,4]，其中：

低分辨率参考帧获取子模块，任选所述低分辨率图像序列其中一帧低分辨率图像作为低分辨率参考帧g₀，并保存一份低分辨率参考帧；

小波分解子模块，对所述低分辨率参考帧进行q层离散小波分解变换，得到低频子图水平方向的高频子图垂直方向的高频子图对角线方向的高频子图所有子图的大小均为M/q×N/q；

双三次插值子模块，采用Matlab库中的双三次插值法分别对三个所述的高频子图和进行外推，得到分辨率都为M×N的高频子图g^H,g^V和g^D；

小波逆变换子模块，把低分辨率参考图像g₀作低频子图，三个M×N的所述图像g^H,g^V,g^D作高频子图进行小波逆变换，获得qM×qN的高分辨率图像初始估计值f₀，[f₀]＝IDWT[g₀,g^H,g^V,g^D,q]；

步骤(2.3)，所述低分辨率图像配准模块，包括：预处理子模块、运动估计子模块以及运动参数向量补偿子模块，其中：

预处理子模块，利用低通滤波器F对包括保存的低分辨率参考帧在内的所有低分辨率图像进行滤波，F＝1/16×[1,2,1；2,4,2；1,2,1]，获得初步处理后的低分辨率图像；

运动估计子模块，按下式逐次求取各低分辨率观测帧g_i(x,y)与低分辨率参考帧g₀(x,y)之间的运动参数向量Z＝[k₁,k₂,k₃,k₄]^T：

Z＝G^-1V，其中：

$V=\left[\begin{array}{c}\mathrm{\&Sigma;}{R}_1(g_0-g_t)\\ \mathrm{\&Sigma;}R(g_0-g_t)\\ \mathrm{\&Sigma;}\frac{\&part;g_t}{\&part;x}(g_0-g_t)\\ \mathrm{\&Sigma;}\frac{\&part;g_t}{\&part;y}(g_0-g_t)\end{array}\right],R=y\frac{\&part;g_t}{\&part;x}-x\frac{\&part;g_t}{\&part;y},R_1=x\frac{\&part;g_t}{\&part;x}+y\frac{\&part;g_t}{\&part;y},$

$G=\left[\begin{array}{cccc}\&Sigma;R_1^2& \&Sigma;{\mathrm{RR}}_1& \&Sigma;R_1\frac{\&part;g_t}{\&part;x}& \&Sigma;R_1\frac{\&part;g_t}{\&part;y}\\ \&Sigma;{\mathrm{RR}}_1& \&Sigma;R^2& \&Sigma;R\frac{\&part;g_t}{\&part;x}& \&Sigma;R\frac{\&part;g_t}{\&part;y}\\ \&Sigma;R_1\frac{\&part;g_t}{\&part;x}& \&Sigma;R\frac{\&part;g_t}{\&part;x}& \&Sigma;{\left(\frac{\&part;g_t}{\&part;x}\right)}^2& \&Sigma;(\frac{\&part;g_t}{\&part;x}\&CenterDot;\frac{\&part;g_t}{\&part;y})\\ \&Sigma;R_1\frac{\&part;g_t}{\&part;y}& \&Sigma;R\frac{\&part;g_t}{\&part;y}& \&Sigma;(\frac{\&part;g_t}{\&part;x}\&CenterDot;\frac{\&part;g_t}{\&part;y})& \&Sigma;{\left(\frac{\&part;g_t}{\&part;y}\right)}^2\end{array}\right]$

通过采取迭代方法逐步逼近真实值，s为迭代次数，当迭代误差满足一定精度Th≤10^-3时终止迭代；

运动参数向量补偿子模块，设定高分辨率图像补偿前的坐标为(x',y')，高分辨率图像补偿后的坐标为(x,y)，采用简化的四参数仿射变换，把计算得到的所述运动参数向量Z＝[k₁,k₂,k₃,k₄]^T补偿到高分辨率初始估计值f₀(x,y)中，所述f₀是f₀(x,y)的简略表达式，简化的四参数仿射变换为：

$\{\begin{array}{c}x=x^{\&prime;}+k_1{x}^{\&prime;}+k_2{y}^{\&prime;}+k_3\\ y=y^{\&prime;}+k_1{y}^{\&prime;}-k_2{x}^{\&prime;}+k_4\end{array},$

其中，k₁,k₂为仿射变换的旋转、缩放参数，k₃,k₄为仿射变换的平移参数，它们均为实数；

步骤(2.4)，所述凸集投影方法重建模块，包含：点扩散函数PSF获取子模块、松弛投影参数自适应调整子模块以及迭代投影修正子模块，依次按以下步骤降低重建结果中边缘晕轮效应：

点扩散函数PSF获取子模块，依次按以下步骤求出具有边缘保持特性的点扩散函数PSF，其特征在于：

按下式计算所述高分辨率初始估计值f₀(x,y)中各像素与支撑域中心像素之间的空域中的欧氏距离，用h(x,y)表示：

$h(x,y)=\exp \{-\frac{{(x-m)}^2+{(y-n)}^2}{2{\mathrm{\&delta;}}_s^2}\},$ 其中，

δ_s为点扩散函数PSF的标准差，δ_s∈[0.5,2]，(m,n)为位于各相邻像素之间的5×5像素支撑域内中心像素的坐标，

按下式计算所述高分辨率初始估计值f₀(x,y)中各像素之间的灰度关系 $w_{{\mathrm{\&delta;}}_r}\left(\right|f_0\left(x,y\right)-f_0\left(m,n\right)\left|\right):$

$w_{{\mathrm{\&delta;}}_r}\left(\right|f_0\left(x,y\right)-f_0\left(m,n\right)\left|\right)=\exp \{-\frac{|f_0(x,y)-f_0(m,n){|}^2}{2{\mathrm{\&delta;}}_r^2}\},$ 其中，

f₀(x,y),f₀(m,n)分别为坐标(x,y),(m,n)处的灰度值，δ_r为标准差，δ_r∈[0.8,15]；

按下式求出考虑了所述高分辨率初始估计值中各像素之间的灰度关系的具有边缘保持特性的点扩散函数

$\tilde{h}(x,y)=U\&CenterDot;h(x,y)\&CenterDot;w_{{\mathrm{\&delta;}}_r}\left(\right|f_0\left(x,y\right)-f_0\left(m,n\right)\left|\right),$

U为归一化系数，U∈(0.001,1)；

松弛投影参数自适应调整子模块，依次按以下步骤根据低分辨率观测帧和低分辨率参考帧之间的相关性自适应调整松弛投影参数，获得可变长的松弛投影参数：

按下式计算各低分辨率观测帧与低分辨率参考帧之间的相关性Rl：

$Rl=\frac{\underset{x,y}{\&Sigma;}\&lsqb;g_i(x,y)g_0(x,y)\&rsqb;}{\sqrt{\underset{x,y}{\&Sigma;}{\&lsqb;g_i(x,y)\&rsqb;}^2}\sqrt{\underset{x,y}{\&Sigma;}{\&lsqb;g_0(x,y)\&rsqb;}^2}},0<Rl<1,$

g_i(x,y)为各低分辨率当前观测帧，g₀(x,y)为低分辨率参考帧，

设定：松弛投影参数λ，λ＝2Rl，所述λ是一个可变长的松弛投影参数，反映了低分辨率当前观测帧参与投影的程度，该λ值与Rl成正比；

迭代投影修正子模块，依次按以下步骤对所述高分辨率初始估计值f₀(x,y)进行凸集迭代投影修正，以便通过设定的迭代次数获得高分辨率图像：

已知：先验信息及其先验界限值δ_i，所述先验信息包括正定、能量有限、数据一致性光滑在内的任何一种信息，根据数据一致性信息定义凸集C_m,n,i，(m,n)为低分辨率图像g_i(x,y)中坐标点(x,y)对应于高分辨率估计值中的坐标，i为低分辨率图像观测帧的序号,

设定高分辨图像迭代投影过程中的估计值l∈[0,L)，L为迭代的总次数，L∈[6,15]，则任意一个高分辨图像迭代投影过程中的估计值到凸集C_m,n,i上的投影为：

$P_{(x,y)}\&lsqb;{\hat{f}}_l(m,n)\&rsqb;={\hat{f}}_l(m,n)+\left\{\begin{array}{cc}(\mathrm{\&lambda;}\&CenterDot;r_i^{{\hat{f}}_l(m,n)}(x,y)-{\mathrm{\&delta;}}_0)\&CenterDot;{\tilde{h}}_i(x,y;m,n),& r_i^{{\hat{f}}_l(m,n)}(x,y)>{\mathrm{\&delta;}}_i\\ 0,& \left|r_i^{{\hat{f}}_l(m,n)}(x,y)\right|\&le;{\mathrm{\&delta;}}_i\\ (\mathrm{\&lambda;}\&CenterDot;r_i^{{\hat{f}}_l(m,n)}(x,y)-{\mathrm{\&delta;}}_0)\&CenterDot;{\tilde{h}}_i(x,y;m,n),& r_i^{{\hat{f}}_l(m,n)}(x,y)>-{\mathrm{\&delta;}}_i\end{array}\right.,$

其中，δ_i＝cδ₀，c∈[2,5]，δ₀∈[0.1,3.8]，

$C_{m,n,i}=\{{\hat{f}}_l(m,n):|r_i^{{\hat{f}}_l(m,n)}(x,y)|\&le;{\mathrm{\&delta;}}_i\},$

为残差函数， $r_i^{{\hat{f}}_l(m,n)}(x,y)=g_i(x,y)-\underset{m,n}{\&Sigma;}{\hat{f}}_l(m,n){\tilde{h}}_i(x,y;m,n),$

为高分辨率估计值中点(m,n)处灰度值与点(m,n)的5×5支撑域中各像素灰度值之间的约束关系，表达式为：

${\tilde{h}}_i(x,y;m,n)=U\&CenterDot;h(x,y;m,n)\&CenterDot;w_{{\mathrm{\&delta;}}_r}\left(\right|{\hat{f}}_l\left(x,y)\right){\hat{f}}_l\left(m,n\right)\left|\right),U\&Element;(0.001,1)$

$h(x,y;m,n)=\exp \{-\frac{{(x-m)}^2+{(y-n)}^2}{2{\mathrm{\&delta;}}_s^2}\},{\mathrm{\&delta;}}_s\&Element;\&lsqb;0.5,2\&rsqb;,$

$w_{{\mathrm{\&delta;}}_r}\left(\right|{\hat{f}}_l\left(x,y\right)-{\hat{f}}_l\left(m,n\right)\left|\right)=\exp \{-\frac{|{\hat{f}}_l(x,y)-{\hat{f}}_l(m,n){|}^2}{2{\mathrm{\&delta;}}_r^2}\},{\mathrm{\&delta;}}_r\&Element;\&lsqb;0.8,15\&rsqb;,$

实质上是具有边缘保持特性的点扩散函数，通过把高分辨率图像估计值进行点扩散处理来获得低分辨率图像；

令 ${\hat{f}}_0(m,n)=f_0(m,n),$ 由计算得到 $P_{(x,y)}\&lsqb;{\hat{f}}_0(m,n)\&rsqb;,{\hat{f}}_1(m,n)=P_{(x,y)}\&lsqb;{\hat{f}}_0(m,n)\&rsqb;,$ 依次类推，逐次进行迭代；若未达到迭代次数，则把代入残差函数更新残差否则迭代结束，从中截断超出8比特图像取值范围[0，255]部分，得到重建的高分辨率图像。

2.根据权利要求1所述的一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法，其特征在于：选取低分辨率图像序列中的第一帧作为参考帧。