CN103366347B - 基于稀疏表示的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示的图像超分辨率重建方法，包括样本训练步骤和图像超分辨率重建步骤；所述样本训练步骤包括：计算低分辨率图像的梯度信息和高分辨率图像与低分辨率图像的残差信息；通过稀疏表达方法得到低分辨率特征集合和高分辨率特征集合；所述图像超分辨率重建步骤包括：计算待处理低分辨率图像的梯度信息；在低分辨率特征集合中找到其稀疏表示系数向量；在高分辨率特征集合中找到对应的残差信息，将此残差信息融合到低分辨率图像上，获得高分辨率图像。本发明得到的高分辨率图像细节更丰富、边缘更清晰，具有更好的视觉效果。本发明可在标清视频转换成高清视频中应用。

Description

基于稀疏表示的图像超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于稀疏表示的图像超分辨率重建方法。

背景技术

标清视频（Standard Definition，SD），是指分辨率在400线左右的VCD、DVD、电视节目等视频。高清（High Definition，HD），是指至少具备720线逐行扫描或1080线隔行扫描以及屏幕宽高比为16：9的视频。比较标清视频和高清视频的规范可以看到，两者的差别主要在分辨率和宽高比，其中转换的关键是视频分辨率的提高。

图像超分辨率重建技术是一种提升图像的分辨率技术解决方案，目前常用的图像超分辨率方法有三大类：基于插值、基于重建和基于学习的方法。基于插值的方法主要是利用相邻像素的强相关性来估计插值点的信息，该类方法速度快且简单，但是对于图像边缘区域和纹理区域处理效果不佳，重建结果细节不够丰富。基于重建的方法是运用从高分辨率图像到低分辨率图像的生成模型的先验假设来求解超分辨率问题，该类方法的缺点是由于高分辨率图像到低分辨率图像的生成模型的先验假设不准确，基于重建的方法会随着放大倍数的提高而严重退化，两种方法均会造成图像细节和边缘部分效果不佳。

发明内容

发明目的：基于上述问题，本发明提出了一种基于稀疏表示的图像超分辨率重建方法。

技术方案：基于稀疏表示的图像超分辨率重建方法，包括样本训练步骤和图像超分辨率重建步骤；所述样本训练步骤包括：计算低分辨率图像的梯度信息和高分辨率图像与低分辨率图像的残差信息；通过稀疏表达方法得到低分辨率特征集合和高分辨率特征集合；所述图像超分辨率重建步骤包括：计算待处理低分辨率图像的梯度信息；在低分辨率特征集合中找到其稀疏表示系数向量；在高分辨率特征集合中找到对应的残差信息，将此残差信息融合到低分辨率图像上，获得高分辨率图像。

优选的，所述图像超分辨率重建步骤中，利用基于分类思想的快速正交匹配追踪算法在低分辨率特征集合中找到其稀疏表示系数向量。

本发明采用上述技术方案，具有以下有益效果：本发明技术方案统计了大量的图像，并且特征的提取均与梯度和高频信息有关，因此，最后得到的高分辨率图像细节更丰富、边缘更清晰，具有更好的视觉效果。

附图说明

图1为本发明样本训练步骤流程图；

图2为本发明图像超分辨率重建步骤流程图；

图3为本发明方法与双三次插值算法在峰值信噪比（PSNR）的比较图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于稀疏表示的图像超分辨率重建方法，分为两个部分，分别是样本训练步骤和图像超分辨率重建步骤。在样本训练步骤，首先计算低分辨率图像的梯度信息和高分辨率图像与低分辨率图像的残差信息，进而通过稀疏表达方法得到低分辨率特征集合和高分辨率特征集合。在图像超分辨率重建步骤，首先计算待处理图像的梯度信息，然后在低分辨率特征集合中找到其近似表示，接下来可以在高分辨率特征集合中找到对应的残差信息，将此残差信息融合到低分辨率图像上，就可以得到高分辨率图像。具体技术方案如下：

具体的：

样本训练步骤，如图1所示：

1、构建高分辨率图像训练样本库对样本库中的图像进行双三次降采样处理，得到低分辨率图像再对进行双三次升采样得到高分辨率重建图像{T_l ^j}。

2、计算高分辨率图像与重建图像之间的残差图像对残差图像用6×6的窗口进行遍历，提取6×6的图像块并转换成长度为36的向量，记为其中K为块的序号。

3、对于每一幅高分辨率重建图像{T_l ^j}，分别在水平和垂直方向用1×3和1×5梯度算子进行滤波，得到四个滤波图像（r=1，2，3，4）。同样用6×6的窗口对图像进行遍历，提取相同位置上的4个6×6的图像块，并转换成长度为144的向量，记为其中K为块的序号。

4、对进行降维处理得到其中B为的降维基向量矩阵。

5、利用下式计算的稀疏表示系数和特征集合：

$\begin{array}{ccc}\{A_l,q^k\}=\underset{\{A_l,q^k\}}{\arg \min }\underset{k}{\mathrm{\Σ}}{\left|\right|p_l^k-A_l{q}^k\left|\right|}^2& s.t.{\left|\right|q^k\left|\right|}_0\≤L& \∀k.\end{array}$

其中A_l是低分辨率特征集合，q^k为对应特征在Al特征集合中的稀疏表示系数向量。

6、利用下式计算高分辨率的特征集合A_h：

$A_h=\underset{A_h}{\arg \min }\underset{k}{\mathrm{\Σ}}{\left|\right|p_h^k-A_h{q}^k\left|\right|}_2^2.$

图像超分辨率重建步骤，如图2所示：

1、对待处理的低分辨率图像s_l进行双三次插值得到放大的图像y_l。

2、对图像y_l分别在水平和垂直方向用1×3和1×5梯度算子进行滤波，得到四个滤波图像{y_f}_r（r=1，2，3，4）。用6×6的窗口对图像{y_f}_r进行遍历操作，提取相同位置上的4个6×6的图像块，并转换成长度为144的一维向量，记为其中k为块的序号。

3、利用训练过程中步骤4的基向量矩阵B，得到降维后的特征数据 ${\left\{m_l^k\right\}}_k=B^T*{\tilde{m}}_l^k.$

4、对于利用快速正交匹配追踪算法在低分辨率特征集合A_l中找到其稀疏表示系数向量{n^k}_k。

5、将系数向量{n^k}_k与高分辨率特征集合中相应的特征相乘，得到高分辨率块将获得的高分辨率块与y_l图像进行融合处理，获得最终的高分辨率图像

重建过程的核心部分为一种基于分类思想的快速正交匹配算法。传统正交匹配算法算法本质思想是：以贪婪迭代的方法选择传感矩阵Φ的列，使得在每次迭代中所选择的列与当前的冗余向量最大程度地相关，从测量向量中减去相关部分并反复迭代，直到迭代次数达到稀疏度K，强制迭代停止。其步骤如下：

输入：传感矩阵Φ，采样向量y，稀疏度K；

输出：x的K-稀疏的逼近

初始化：残差r_t-1=y，重建原子集合Λ_t-1＝φ（t=1）；

循环执行步骤1-4。

1、计算残差r_t-1和传感矩阵中每个列向量的相似度，并提取相似度最大的列向量记为将该向量加入重建原子集合，得到更新后的重建原子集合

2、由最小二乘得到 ${\hat{x}}_t=\arg \min {\left|\right|y-{\mathrm{\Λ}}_t\hat{x}\left|\right|}_2;$

3、更新残差t＝t+1；

4、判断是否满足t＞K，若满足，则停止迭代；若不满足，则执行步骤1。

上述正交匹配追踪算法由于需要对传感矩阵中的每个列向量进行遍历搜索，耗时非常严重，为此本发明针对步骤1相似度最大的列向量的寻找做了改进，利用分类的思想，将传感矩阵中列分为K类，并将每一个子类继续分下去，直到子类包含的原子个数小于初始设置的个数，而在寻找最近匹配的原子时，只需要和每一层各类中心比较，选择距离最近的类中心，在此类的子类中按照同样的搜索机制，直至最低层。此方法可以大幅度减少残差r和传感矩阵的列向量相似度计算的次数，具体步骤如下：

1、将传感矩阵Φ分为K类，分别记为Φ₁,Φ₂,...,Φ_k；

2、计算每类中心到其他各类中心的最大距离，分别记为D₁,D₂,...,D_k；

3、将传感矩阵中到每类中心的距离小于最大距离的原子组合成新的传感矩阵，记为

4、分别选取作为新的传感矩阵，如果某个新的传感矩阵中的原子个数小于初始设置的个数，则此传感矩阵停止分类，否则执行步骤1。

参见图3，本方法采用峰值信噪比（PSNR）来衡量超分辨率图像重建结果，其中，以B表示标准图像，标准图像经过降采样后即为本发明方法输入的原始待处理图像，图像X为本发明的重建结果。

均方误差反映了待评价图像、原始图像之间的差异性，其计算公式下式所示。

$\mathrm{MSE}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(B_{i,j}-X_{i,.j})}^2$

其中，M、N为图像数据的行列数，B_i,j为原始图像第i行第j列的像素点值，X_i,j为待评价图像第i行第j列的像素点值。

峰值信噪比反映了待评价图像的逼真度，其计算公式如下式所示。

$\mathrm{PSNR}=10{\log }_{10}\frac{L^2}{\mathrm{MSE}}$

其中，L是像素点值的动态变化范围，对于常见的8bit的图像，取L=255，PSNR值越大，说明图像逼真度越高，即重建结果与原始图像之间越相近。

Claims (1)

1.基于稀疏表示的图像超分辨率重建方法，其特征在于，包括样本训练步骤和图像超分辨率重建步骤；

所述样本训练步骤包括：计算低分辨率图像的梯度信息和高分辨率图像与低分辨率图像的残差信息；通过稀疏表达方法得到低分辨率特征集合和高分辨率特征集合；

所述图像超分辨率重建步骤包括：计算待处理低分辨率图像的梯度信息；在低分辨率特征集合中找到其稀疏表示系数向量；在高分辨率特征集合中找到对应的残差信息，将此残差信息融合到低分辨率图像上，获得高分辨率图像；

所述图像超分辨率重建步骤中，利用基于分类思想的快速正交匹配追踪算法在低分辨率特征集合中找到其稀疏表示系数向量；具体步骤如下：

一、将传感矩阵Φ分为K类，分别记为Φ₁，Φ₂，...，Φ_k；

二、计算每类中心到其他各类中心的最大距离，分别记为D₁,D₂,...,D_k；

三、将传感矩阵中到每类中心的距离小于最大距离的原子组合成新的传感矩阵，记为

四、分别选取作为新的传感矩阵，如果某个新的传感矩阵中的原子个数小于初始设置的个数，则此传感矩阵停止分类，否则执行步骤一。