CN103020935B - 一种自适应在线字典学习的图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种自适应在线字典学习的图像超分辨率方法，首先选定一组高分辨率和低分辨率训练图像集，然后在高/低训练图像集上建立一种对应关系，通过高/低分辨率字典对为重构图像提供了更多的先验信息，在高放大因子下也能获得较好的重构效果；同时本发明使用了SP稀疏编码算法，克服了传统贪婪算法重构精确度不高的缺点，同时保持了较低的计算复杂度；优点是服了当下主流字典学习算法中（如MOD、K-SVD等）计算复杂、训练速度慢的缺点，在总体上缩短了图像重构时间，与现有的基于学习图像超分辨率技术相比，本发明提出的方法具有更高的重构精度和更短的算法时间。

Description

一种自适应在线字典学习的图像超分辨率方法

技术领域

本发明涉及信号处理和多媒体数据处理领域的图像超分辨率技术，尤其是涉及一种自适应在线字典学习的图像超分辨率方法。

背景技术

图像超分辨率(super resolution,SR)是指单幅或多幅低分辨率图像恢复成高分辨率(high resolution，HR)图像的过程。随着图像在各行各业日益广泛的应用，人们对图像分辨率的要求也越来越高，因为HR图像意味着图像具有高像素密度，可以为人们提供更多的细节，而且这些细节往往在图像实际应用中起到关键作用。目前图像超分辨率技术在医学成像、遥感侦测、公共安全等领域都已经取得了广泛的应用，甚至在某些图像应用领域，图像的分辨率已经成为衡量图像质量的一个重要指标。因此深入研究图像超分辨率技术，具有十分重要的实际意义。

获得高分辨率图像最直接的方法就是使用高分辨率图像传感器，但高分辨率图像传感器的制作往往受到工艺水平以及成本的限制，因此在不改变传感器的前提下，使用软件的方法去改善图像的分辨率成为当前计算机视觉领域的热门研究方向。图像超分辨率技术可以分为三个主要范畴：基于插值、基于重建和基于学习的方法，其中基于模型重建和基于学习的方法是近年来主要的研究方向。基于重建的方法主要是构建一个低分辨率图像到高分辨率图像的映射模型，重构效率较高，但是很难找到一个统一的映射模型，而且在进行高放大因子的图像超分辨率重构时重构图像质量会急剧下降。而基于学习的方法因具有重构准确、鲁棒性高等优点，是目前最流行的图像超分辨率技术。

基于学习的超分辨率算法思想最早是由Freeman等人于2002年提出，他们利用马尔可夫网络来学习高频和低频信息之间的关系，相比于之前基于插值和基于重建的方法，这种利用样本学习的方法可以获得更多的高频信息，解决了由于先验信息提供能力不足而导致高放大因子下重建图像失真严重的问题。不过这种方法的缺点也比较明显，就是对训练样本的选择要求比较高，而且对图像中的噪声极为敏感。随后Chang等人提出了基于邻域嵌入的图像超分辨率方法，此种方法的基本思想是假设对应的高低分辨率图像块可以在它们的特征空间形成具有相同局部几何结构的流形。该算法相对需要更少的样本，且具有较好的抗噪性能。但是算法存在的问题是高低分辨率图像块在邻域嵌入时较难建立邻域保持关系，为了改进这一问题，出现了基于直方图匹配的训练样本选择算法和基于局部残差嵌入等方法。Karl等人提出使用支持向量回归(SVR)实现图像超分辨率，SVR通过对样本的自动选择，使用了更小的训练集，但是使得图像的对比度相对下降。2010年，Yang等人在压缩感知(CS)框架下，采用稀疏表示理论提出了一种基于学习的图像超分辨率重构方法，他们从一组高分辨率图像及其对应的低分辨率训练图像学习一组稀疏表示基，这组基集合构成一个过完备字典，通过线性规划使得训练集中每一个图像块都可由该过完备字典稀疏表示，随后在超分辨率图像重建过程中，首先得到原始低分辨率图像在过完备字典下的稀疏表示系数，然后用这组稀疏表示系数加权重构出高分辨率图像。该算法开创性的将CS理论用于图像超分辨率技术，克服了邻域嵌入方法中对于邻域大小的选择问题，即在求解稀疏表示的时候，无需指定重构所需要基的个数，其表示系数和基个数同时通过线性规划求解得到。但是该算法存在训练样本过大、字典对建立过程过于复杂、字典选择不具有自适应性等缺陷。同年，浦剑等又提出在字典学习中使用了BP稀疏编码及K-SVD字典更新的算法，取得了比前者更好的超分辨率效果；但是，该算法仍然存在着训练样本时间长等缺陷。

发明内容

本发明所要解决的技术问题是提供一种训练样本时间短，图像质量高的自适应在线字典学习的图像超分辨率方法。

本发明解决上述技术问题所采用的技术方案为：一种自适应在线字典学习的图像超分辨率方法，包括以下步骤：

①选取一组高分辨率图像及其对应的一组低分辨率图像作为训练样本；

②提取训练样本的高频特征，得到一组高分辨率样本特征图像和其对应的一组低分辨率样本特征图像，随机抽取高分辨率样本特征图像中的Q个高分辨率样本特征图像小块构成矩阵M，抽取低分辨率样本特征图像中与抽取的高分辨率样本特征图像小块对应的低分辨率特征图像小块构成矩阵M′，其中Q大于等于3万且小于等于10万，将矩阵M和矩阵M′均分成k类，其中k≥2，得到矩阵M′的k个聚类中心m₁,m₂,m₃,...,m_k以及初始子字典集合{(D_l1,D_h1),(D_l2,D_h2),(D_l3,D_h3),...,(D_lk,D_hk)}，其中D_l1,D_l2,D_l3,...,D_lk表示k个初始低分辨率子字典，D_h1,D_h2,D_h3,...,D_hk表示k个初始高分辨率子字典；

③利用在线算法对初始子字典集合进行优化，得到最优目标子字典集合{(D_l1-best,D_h1-best),(D_l2-best,D_h2-best),(D_l3-best,D_h3-best),...,(D_lk-best,D_hk-best)}，其中D_l1-best,D_l2-best,D_l3-best,...,D_lk-best表示k个最优低分辨率目标子字典，D_h1-best,D_h2-best,D_h3-best,...,D_hk-best表示k个最优高分辨率目标子字典；

④输入需要进行超分辨率放大的低分辨率图像X，提取低分辨率图像X的高频特征，得到低分辨率图像X对应的低分辨率特征图像X'，然后选取低分辨率特征图像X'的第q个图像小块X_q，q≥1，图像小块X_q对应的矩阵记为x_q，分别计算矩阵x_q和聚类中心m₁,m₂,m₃,...,m_k的欧氏距离，比较x_q与各个聚类中心的欧氏距离的大小，得到欧式距离最小的聚类中心m_n，1≤n≤k，选择以m_n为聚类中心的初始低分辨率子字典对应的最优低分辨率目标子字典，记作D_lq-best；

⑤利用SP算法计算矩阵x_q在D_lq-best下的稀疏表示系数α_q，α_q＝argmin||x_q-D_lq-bestα_q||₂+λ||α_q||₁，α_q＝SP(D_lq-best,x_q)，λ表示正则化系数且0<λ<1，具体步骤如下：

⑤-1将D_lq-best中与矩阵x_q相关性最大的K列原子的列号索引记为 表示D_lp-best里列号为的原子组成的矩阵，表示矩阵x_q在上的投影， ${\hat{x}}_q=D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}^{\&prime;}{x}_q,$ 其中 $D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}^{\&prime;}={\left(D_{\mathrm{lq}-\mathrm{best}-{\tilde{T}}_0}^{*}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}\right)}^{-1}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}^{*},$ *表示矩阵的转置；

⑤-2初始化：定义初始状态投影的初始残差向量为r₀，初始状态下x'_q中元素最大值所对应的K个序列原子的列号索引记为I₀， $r_0=\mathrm{resid}(x_q,D_{\mathrm{lq}-\mathrm{best}-I_0})=x_q-{\hat{x}}_q,$ 表示D_lp-best里列号为I₀的原子组成的矩阵；

⑤-3设当前迭代次数为ω，ω≥1，当前迭代中投影的残差向量为r_ω，令 $x_q^{\&prime;}=D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{\&prime;}{x}_q,$ $D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{\&prime;}={\left(D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{*}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}\right)}^{-1}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{*},$ 当前迭代中x′_p中元素最大值所对应的K个序列原子的列号索引为I_ω，结合公式{D_lq-best中与r_ω-1相关性最大的K列原子的列号索引}和更新r_ω、和I_ω，r_ω-1表示投影在第ω-1次迭代中的残差向量，表示里列号为I_ω的原子组成的矩阵，表示D_lp-best里列号为的原子组成的矩阵；

⑤-4比较r_ω与r_ω-1，若||r_ω||₂>||r_ω-1||₂，则迭代结束，否则，将ω加1后作为当前迭代次数返回步骤⑤-3中进行迭代更新；

⑤-5迭代完成后，使用最小二乘法求得x_q在字典D_lq-best的最优稀疏表示系数α_q；

⑥选择与D_lq-best对应的高分辨率目标子字典D_hq-best，利用稀疏表示系数α_q和D_hq-best求解x_q在D_hq-best对应下的高分辨率图像重构小块y_q＝D_hq-bestα_q；

⑦按照步骤④～⑥的方法，按“之”字型对低分辨率特征图像X'的所有图像小块进行处理，得到初始的高分辨率重构图像

⑧对高分辨率重构图像进行去块处理得到最终高分辨率重构图像Y。

所述的步骤③对初始子字典集合进行优化的具体步骤如下：

③-1对低分辨率子字典D_l1进行优化，具体步骤为：

a、假设优化的总迭代次数为T，在第t次迭代中，输入低分辨率样本特征图像中的任意一个特征图像块f_l，1≤t≤T；

b、固定第t-1迭代得到的目标子字典使用子空间追踪法求解λ表示正则化系数且0<λ<1，其中，argmin表示求解泛函的最小值，||||表示求解范数，得到第t次迭代中特征图像块f_l在目标子字典下的稀疏分解系数Λ_t；

c、固定稀疏分解系数Λ_t，设低分辨率子字典D_l1有p个原子，令 $A_t=[a_1,a_2,...,a_j,...,a_p]=\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{\mathrm{\&Lambda;}}_i{\mathrm{\&Lambda;}}_i^T,B_t=[b_1,b_2,...,b_j,...,b_p]=\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{f}_l{\mathrm{\&Lambda;}}_i^T,$ i＝1，２，...t，a_j表示A_t中第j列，b_j表示B_t中第j列，a_j和b_j均为p×1的矩阵，1≤j≤p；

d、设低分辨率子字典D_l1对应的目标子字典的第j个原子为d_j，对d_j进行优化，则 $d_j=\frac{1}{\max ({\left|\right|u_j\left|\right|}_2,1)}{u}_j,u_j=\frac{1}{A_{\mathrm{jj}}}(b_j-D_{{l1}_{t-j}}^{\&prime;}{a}_j)+d_j,$ 表示低分辨率子字典D_l1的正在更新的目标子字典，A_jj表示a_j中第j行的值，max表示求解函数的最大值；

e、按照步骤d更新低分辨率子字典D_l1的p个原子，完成第t次迭代，得到低分辨率子字典D_l1在第t次迭代后的目标子字典

f、将代入公式 $D_{{l1}_t}=\arg \min \frac{1}{t}\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}(\frac{1}{2}{\left|\right|f_l-D_{{l1}_t}^{\text{\&prime;}}{\mathrm{\&Lambda;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&Lambda;}}_i\left|\right|}_1),$ 0<λ<1，得到第t次循环更新的目标子字典

g、依此类推，完成输入图像为特征图像块f_l时，低分辨率子字典D_l1的T次迭代，得到特征图像块f_l对应的优化的目标子字典

h、依次输入低分辨率样本特征图像中除f_l以外的其他所有的特征图像块，按照步骤a～g相同的原理进行训练，完成对初始低分辨子字典D_l1的训练，将最后一轮更新过的目标子字典作为初始低分辨子字典D_l1的最优目标子字典D_l1-best；

③-2使用对低分辨率子字典D_l1进行优化的相同原理分别对D_l2,D_l3,...，D_lk，D_h1,D_h2,D_h3,...，D_hk进行优化，得到D_l2,D_l3,...,D_lk，D_h1,D_h2,D_h3,...,D_hk对应的最优目标子字典，最终得到最优目标子字典集合{(D_l1-best,D_h1-best),(D_l2-best,D_h2-best),(D_l3-best,D_h3-best),...,(D_lk-best,D_hk-best)}。

所述的步骤⑧中去块处理方法为对每次迭代后重叠部分的像素取均值。

与现有技术相比，本发明的优点在于很好地克服了传统图像超分辨率在高放大因子下重构质量下降以及算法时间长等问题：

1)与现有的基于插值和基于模型的图像超分辨率技术相比，本发明提出的方法克服了前者不能提供或不能提供足够先验信息的缺陷，首先选定一组高分辨率和低分辨率训练图像集，然后在高/低训练图像集上建立一种对应关系，通过高/低分辨率字典对为重构图像提供了更多的先验信息，在高放大因子下也能获得较好的重构效果；

2)与现有的基于学习图像超分辨率技术相比，本发明提出的方法具有更高的重构精度和更短的算法时间，本发明使用了SP稀疏编码算法，克服了传统贪婪算法重构精确度不高的缺点，同时保持了较低的计算复杂度；而online字典学习算法，克服了当下主流字典学习算法中(如MOD、K-SVD等)计算复杂、训练速度慢的缺点，因此在总体上进一步缩短了图像重构时间。

附图说明

图1本发明方法的流程图；

图2(a)原始高分辨率云图图像；

图2(b)采用双线性插值方法重构的云图图像；

图2(c)采用Yang方法重构的云图图像；

图2(d)采用本发明方法重构的云图图像；

图3(a)原始高分辨率Cat图像；

图3(b)采用双线性插值方法重构的Cat图像；

图3(c)采用Yang方法重构的Cat图像；

图3(d)采用本发明方法重构的Cat图像；

图4(a)原始高分辨率Building图像；

图4(b)采用双线性插值方法重构的Building图像；

图4(c)采用Yang方法重构的Building图像；

图4(d)采用本发明方法重构的Building图像。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示，一种自适应在线字典学习的图像超分辨率方法，其特征在于包括以下步骤：

①选取一组高分辨率图像及其对应的一组低分辨率图像作为训练样本；

②提取训练样本的高频特征，得到一组高分辨率样本特征图像和其对应的一组低分辨率样本特征图像，随机抽取高分辨率样本特征图像中的Q个高分辨率样本特征图像小块构成矩阵M，抽取低分辨率样本特征图像中与抽取的高分辨率样本特征图像小块对应的低分辨率特征图像小块构成矩阵M′，其中Q大于等于3万且小于等于10万，将矩阵M和矩阵M′均分成k类，其中k≥2，得到矩阵M′的k个聚类中心m₁,m₂,m₃,...,m_k以及初始子字典集合{(D_l1,D_h1),(D_l2,D_h2),(D_l3,D_h3),...,(D_lk,D_hk)}，其中D_l1,D_l2,D_l3,...,D_lk表示k个初始低分辨率子字典，D_h1,D_h2,D_h3,...,D_hk表示k个初始高分辨率子字典；

③利用在线算法对初始子字典集合进行优化，得到最优目标子字典集合{(D_l1-best,D_h1-best),(D_l2-best,D_h2-best),(D_l3-best,D_h3-best),...,(D_lk-best,D_hk-best)}，其中D_l1-best,D_l2-best,D_l3-best,...,D_lk-best表示k个最优低分辨率目标子字典，D_h1-best,D_h2-best,D_h3-best,...,D_hk-best表示k个最优高分辨率目标子字典；具体步骤如下：

③-1对低分辨率子字典D_l1进行优化，具体步骤为：

a、假设优化的总迭代次数为T，在第t次迭代中，输入低分辨率样本特征图像中的任意一个特征图像块f_l，1≤t≤T；

b、固定第t-1迭代得到的目标子字典使用子空间追踪法求解λ表示正则化系数且0<λ<1，其中，argmin表示求解泛函的最小值，｜｜｜｜表示求解范数，得到第t次迭代中特征图像块f_l在目标子字典下的稀疏分解系数Λ_t；

c、固定稀疏分解系数Λ_t，设低分辨率子字典D_l1有p个原子，令 $A_t=[a_1,a_2,...,a_j,...,a_p]=\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{\mathrm{\&Lambda;}}_i{\mathrm{\&Lambda;}}_i^T,B_t=[b_1,b_2,...,b_j,...,b_p]=\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{f}_l{\mathrm{\&Lambda;}}_i^T,$ i＝1，２，...t，a_j表示A_t中第j列，b_j表示B_t中第j列，a_j和b_j均为p×1的矩阵，1≤j≤p；

d、设低分辨率子字典D_l1对应的目标子字典的第j个原子为d_j，对d_j进行优化，则 $d_j=\frac{1}{\max ({\left|\right|u_j\left|\right|}_2,1)}{u}_j,u_j=\frac{1}{A_{\mathrm{jj}}}(b_j-D_{{l1}_{t-j}}^{\&prime;}{a}_j)+d_j,$ 表示低分辨率子字典D_l1的正在更新的目标子字典，A_jj表示a_j中第j行的值，max表示求解函数的最大值；

e、按照步骤d更新低分辨率子字典D_l1的p个原子，完成第t次迭代，得到低分辨率子字典D_l1在第t次迭代后的目标子字典

f、将代入公式 $D_{{l1}_t}=\arg \min \frac{1}{t}\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}(\frac{1}{2}{\left|\right|f_l-D_{{l1}_t}^{\text{\&prime;}}{\mathrm{\&Lambda;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&Lambda;}}_i\left|\right|}_1),$ 0<λ<1，得到第t次循环更新的目标子字典

g、依此类推，完成输入图像为特征图像块f_l时，低分辨率子字典D_l1的T次迭代，得到特征图像块f_l对应的优化的目标子字典

h、依次输入低分辨率样本特征图像中除f_l以外的其他所有的特征图像块，按照步骤a～g相同的原理进行训练，完成对初始低分辨子字典D_l1的训练，将最后一轮更新过的目标子字典作为初始低分辨子字典D_l1的最优目标子字典D_l1-best；

③-2使用对低分辨率子字典D_l1进行优化的相同原理分别对D_l2,D_l3,...,D_lk，D_h1,D_h2,D_h3,...,D_hk进行优化，得到D_l2,D_l3,...,D_lk，D_h1,D_h2,D_h3,...,D_hk对应的最优目标子字典，最终得到最优目标子字典集合{(D_l1-best,D_h1-best),(D_l2-best,D_h2-best),(D_l3-best,D_h3-best),...,(D_lk-best,D_hk-best)}；

④输入需要进行超分辨率放大的低分辨率图像X，提取低分辨率图像X的高频特征，得到低分辨率图像X对应的低分辨率特征图像X'，然后选取低分辨率特征图像X'的第q个图像小块X_q，q≥1，图像小块X_q对应的矩阵记为x_q，分别计算矩阵x_q和聚类中心m₁,m₂,m₃,...,m_k的欧氏距离，比较x_q与各个聚类中心的欧氏距离的大小，得到欧式距离最小的聚类中心m_n，1≤n≤k，选择以m_n为聚类中心的初始低分辨率子字典对应的最优低分辨率目标子字典，记作D_lq-best；

⑤利用SP算法计算矩阵x_q在D_lq-best下的稀疏表示系数α_q，α_q＝argmin||x_q-D_lq-bestα_q||₂+λ||α_q||₁，α_q＝SP(D_lq-best,x_q)，λ表示正则化系数且0<λ<1，具体步骤如下：

⑤-1将D_lq-best中与矩阵x_q相关性最大的K列原子的列号索引记为表示D_lp-best里列号为的原子组成的矩阵，表示矩阵x_q在上的投影， ${\hat{x}}_q=D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}^{\&prime;}{x}_q,$ 其中 $D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}^{\&prime;}={\left(D_{\mathrm{lq}-\mathrm{best}-{\tilde{T}}_0}^{*}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}\right)}^{-1}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}^{*},$ *表示矩阵的转置；

⑤-2初始化：定义初始状态投影的初始残差向量为r₀，初始状态下x'_q中元素最大值所对应的K个序列原子的列号索引记为I₀， $r_0=\mathrm{resid}(x_q,D_{\mathrm{lq}-\mathrm{best}-I_0})=x_q-{\hat{x}}_q,$ 表示D_lp-best里列号为I₀的原子组成的矩阵；

⑤-3设当前迭代次数为ω，ω≥1，当前迭代中投影的残差向量为r_ω，令 $x_q^{\&prime;}=D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{\&prime;}{x}_q,$ $D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{\&prime;}={\left(D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{*}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}\right)}^{-1}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{*},$ 当前迭代中x′_p中元素最大值所对应的K个序列原子的列号索引为I_ω，结合公式{D_lq-best中与r_ω-1相关性最大的K列原子的列号索引}和更新r_ω、和I_ω，r_ω-1表示投影在第ω-1次迭代中的残差向量，表示里列号为I_ω的原子组成的矩阵，表示D_lp-best里列号为的原子组成的矩阵；

⑤-4比较r_ω与r_ω-1，若||r_ω||₂>||r_ω-1||₂，则迭代结束，否则，将ω加1后作为当前迭代次数返回步骤⑤-3中进行迭代更新；

⑤-5迭代完成后，使用最小二乘法求得x_q在字典D_lq-best的最优稀疏表示系数α_q；

⑥选择与D_lq-best对应的高分辨率目标子字典D_hq-best，利用稀疏表示系数α_q和D_hq-best求解x_q在D_hq-best对应下的高分辨率图像重构小块y_q＝D_hq-bestα_q；

⑦按照步骤④～⑥的方法，按“之”字型对低分辨率特征图像X'的所有图像小块进行处理，得到初始的高分辨率重构图像；

⑧对高分辨率重构图像进行去块处理得到最终高分辨率重构图像Y，其中去块处理方法为对每次迭代后重叠部分的像素取均值。

通过实验仿真验证本发明的方法的有效性。实验仿真是在Matlab7.0平台上进行。实验中共选用了三幅512×512高分辨率灰度图像作为原始图像，分别为图2(a)所示的原始高分辨率遥感卫星云图、图3(a)所示的原始高分辨率Cat图像和图4(a)所示的原始高分辨率Building图像。首先对三幅原始图像通过四倍下采样、模糊和加噪处理得到对应的低分辨率图像，然后分别通过双线性插值方法、Yang方法和本发明方法对三幅原始图像对应的低分辨率图像作四倍超分辨率放大重构，将图像重构质量及算法时间进行比较，得出仿真结果。高分辨率样本特征图像和低分辨率样本特征图像中分别抽取5万个特征图像小块构成初始字典，即Q等于5万，图像重构选取3×3图像块，重叠部分为1个像素。其中，采用双线性插值方法重构的云图图像如图2(b)所示；采用Yang方法重构的云图图像如图2(c)所示；采用本发明方法重构的云图图像如图2(d)所示；采用双线性插值方法重构的Cat图像如图3(b)所示；采用Yang方法重构的Cat图像如图3(c)所示；采用本发明方法重构的Cat图像如图3(d)所示；采用双线性插值方法重构的Building图像如图4(b)所示；采用Yang方法重构的Building图像如图4(c)所示；采用本发明方法重构的Building图像图图4(d)所示。重构图像质量采用与原高分辨图像的峰值信噪比(PSNR)进行评判：

$\mathrm{PSNR}=-10\&times;\log 10\left(\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(f(i,j)-f^{\&prime;}(i,j))}^2}{M\&times;N\&times;f_{\max }^2}\right)---\left(1\right)$

式(1)中，f(i,j)表示原始高分辨率图像的第i行和j列像素，f'(i,j)表示降质后超分辨率重构图像的第i行和j列像素，f_max表示图像最大像素值，M×N是图像大小。所有方法的时间以秒(s)为单位。三幅图像仿真数据结果如表1和表2所示：

表1 不同方法下三幅重构图像PSNR(dB)

表2 Yang方法以及本发明方法所需时间(样本训练时间+重构时间(s))

Claims (3)

1.一种自适应在线字典学习的图像超分辨率方法，其特征在于包括以下步骤：

①选取一组高分辨率图像及其对应的一组低分辨率图像作为训练样本；

②提取训练样本的高频特征，得到一组高分辨率样本特征图像和其对应的一组低分辨率样本特征图像，随机抽取高分辨率样本特征图像中的Q个高分辨率样本特征图像小块构成矩阵M，抽取低分辨率样本特征图像中与抽取的高分辨率样本特征图像小块对应的低分辨率特征图像小块构成矩阵M′，其中Q大于等于3万且小于等于10万，将矩阵M和矩阵M′均分成k类，其中k≥2，得到矩阵M′的k个聚类中心m₁,m₂,m₃,…,m_k以及初始子字典集合{(D_l1,D_h1),(D_l2,D_h2),(D_l3,D_h3),…,(D_lk,D_hk)}，其中D_l1,D_l2,D_l3,…,D_lk表示k个初始低分辨率子字典，D_h1,D_h2,D_h3,…,D_hk表示k个初始高分辨率子字典；

③利用在线算法对初始子字典集合进行优化，得到最优目标子字典集合{(D_l1-best,D_h1-best),(D_l2-best,D_h2-best),(D_l3-best,D_h3-best),…,(D_lk-best,D_hk-best)}，其中D_l1-best,D_l2-best,D_l3-best,…,D_lk-best表示k个最优低分辨率目标子字典，D_h1-best,D_h2-best,D_h3-best,…,D_hk-best表示k个最优高分辨率目标子字典；

④输入需要进行超分辨率放大的低分辨率图像X，提取低分辨率图像X的高频特征，得到低分辨率图像X对应的低分辨率特征图像X'，然后选取低分辨率特征图像X'的第q个图像小块X_q，q≥1，图像小块X_q对应的矩阵记为x_q，分别计算矩阵x_q和聚类中心m₁,m₂,m₃,…,m_k的欧氏距离，比较x_q与各个聚类中心的欧氏距离的大小，得到欧式距离最小的聚类中心m_n，1≤n≤k，选择以m_n为聚类中心的初始低分辨率子字典对应的最优低分辨率目标子字典，记作D_lq-best；

⑤利用SP算法计算矩阵x_q在D_lq-best下的稀疏表示系数α_q，α_q＝argmin||x_q-D_lq-bestα_q||₂+λ||α_q||₁，α_q＝SP(D_lq-best,x_q)，λ表示正则化系数且0<λ<1，具体步骤如下：

⑤-1将D_lq-best中与矩阵x_q相关性最大的K列原子的列号索引记为 表示D_lp-best里列号为的原子组成的矩阵，表示矩阵x_q在上的投影， ${\hat{x}}_q=D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}^{\&prime;}{x}_q,$ 其中 $D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}^{\&prime;}={\left(D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}^{*}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}\right)}^{-1}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_0}^{*},$ *表示矩阵的转置；

⑤-2初始化：定义初始状态投影的初始残差向量为r₀，初始状态下x'_q中元素最大值所对应的K个序列原子的列号索引记为I₀， $r_0=\mathrm{resid}(x_q,D_{\mathrm{lq}-\mathrm{best}-I_0})=x_q-{\hat{x}}_q,$ 表示D_lp-best里列号为I₀的原子组成的矩阵；

⑤-3设当前迭代次数为ω，ω≥1，当前迭代中投影的残差向量为r_ω，令 $x_q^{\&prime;}=D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{\&prime;}{x}_q,$ $D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{\&prime;}={\left(D_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{*}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}\right)}^{-1}{D}_{\mathrm{lq}-\mathrm{best}-{\tilde{I}}_{\mathrm{\&omega;}}}^{*},$ 当前迭代中x′_p中元素最大值所对应的K个序列原子的列号索引为I_ω，结合公式和 $r_{\mathrm{\&omega;}}=\mathrm{resid}(x_q,D_{\mathrm{lq}-\mathrm{best}-I_{\mathrm{\&omega;}}})$ 更新r_ω、和I_ω，r_ω-1表示投影在第ω-1次迭代中的残差向量，表示D_lp-best里列号为I_ω的原子组成的矩阵，表示D_lp-best里列号为的原子组成的矩阵；

⑤-4比较r_ω与r_ω-1，若||r_ω||₂>||r_ω-1||₂，则迭代结束，否则，将ω加1后作为当前迭代次数返回步骤⑤-3中进行迭代更新；

⑤-5迭代完成后，使用最小二乘法求得x_q在字典D_lq-best的最优稀疏表示系数α_q；

⑥选择与D_lq-best对应的高分辨率目标子字典D_hq-best，利用稀疏表示系数α_q和D_hq-best求解x_q在D_hq-best对应下的高分辨率图像重构小块y_q＝D_hq-bestα_q；

⑦按照步骤④～⑥的方法，按“之”字型对低分辨率特征图像X'的所有图像小块进行处理，得到初始的高分辨率重构图像

⑧对高分辨率重构图像进行去块处理得到最终高分辨率重构图像Y。

2.根据权利要求1所述的一种自适应在线字典学习的图像超分辨率方法，其特征在于所述的步骤③对初始子字典集合进行优化的具体步骤如下：

③-1对低分辨率子字典D_l1进行优化，具体步骤为：

a、假设优化的总迭代次数为T，在第t次迭代中，输入低分辨率样本特征图像中的任意一个特征图像块f_l，1≤t≤T；

b、固定第t-1迭代得到的目标子字典使用子空间追踪法求解λ表示正则化系数且0<λ<1，其中，argmin表示求解泛函的最小值，|| ||表示求解范数，得到第t次迭代中特征图像块f_l在目标子字典下的稀疏分解系数Λ_t；

c、固定稀疏分解系数Λ_t，设低分辨率子字典D_l1有p个原子，令 $A_t=[a_1,a_2,...,a_j,...,a_p]=\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{\mathrm{\&Lambda;}}_i{\mathrm{\&Lambda;}}_i^T,$ $B_t=[b_1,b_2,...,b_j,...,b_p]=\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}{f}_l{\mathrm{\&Lambda;}}_i^T,i=\mathrm{1,2},...t,$ a_j表示A_t中第j列，b_j表示B_t中第j列，a_j和b_j均为p×1的矩阵，1≤j≤p；

d、设低分辨率子字典D_l1对应的目标子字典的第j个原子为d_j，对d_j进行优化，则 $d_j=\frac{1}{\max ({\left|\right|u_j\left|\right|}_2,1)}{u}_j,$ $u_j=\frac{1}{A_{\mathrm{ij}}}(b_j-D_{{l1}_{t-j}}^{\&prime;}{a}_j)+d_j,$ 表示低分辨率子字典D_l1的正在更新的目标子字典，A_jj表示a_j中第j行的值，max表示求解函数的最大值；

e、按照步骤d更新低分辨率子字典D_l1的p个原子，完成第t次迭代，得到低分辨率子字典D_l1在第t次迭代后的目标子字典

f、将代入公式 $D_{{l1}_t}=\arg \min \frac{1}{t}\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}(\frac{1}{2}{\left|\right|f_l-D_{{l1}_t}^{\&prime;}{\mathrm{\&Lambda;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&Lambda;}}_i\left|\right|}_1),0<\mathrm{\&lambda;}<1,$ 得到第t次循环更新的目标子字典

g、依此类推，完成输入图像为特征图像块f_l时，低分辨率子字典D_l1的T次迭代，得到特征图像块f_l对应的优化的目标子字典

h、依次输入低分辨率样本特征图像中除f_l以外的其他所有的特征图像块，按照步骤a～g相同的原理进行训练，完成对初始低分辨子字典D_l1的训练，将最后一轮更新过的目标子字典作为初始低分辨子字典D_l1的最优目标子字典D_l1-best；

③-2使用对低分辨率子字典D_l1进行优化的相同原理分别对D_l2,D_l3,…,D_lk，D_h1,D_h2,D_h3,…,D_hk进行优化，得到D_l2,D_l3,…,D_lk，D_h1,D_h2,D_h3,…,D_hk对应的最优目标子字典，最终得到最优目标子字典集合

{(D_l1-best,D_h1-best),(D_l2-best,D_h2-best),(D_l3-best,D_h3-best),…,(D_lk-best,D_hk-best)}。

3.根据权利要求1所述的一种自适应在线字典学习的图像超分辨率方法，其特征在于所述的步骤⑧中去块处理方法为对每次迭代后重叠部分的像素取均值。