CN110097499B - 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 - Google Patents
基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN110097499B CN110097499B CN201910194123.6A CN201910194123A CN110097499B CN 110097499 B CN110097499 B CN 110097499B CN 201910194123 A CN201910194123 A CN 201910194123A CN 110097499 B CN110097499 B CN 110097499B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- training
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 204
- 230000008569 process Effects 0.000 title claims abstract description 86
- 238000001228 spectrum Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 147
- 238000012360 testing method Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000003321 amplification Effects 0.000 claims abstract description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 55
- 239000013598 vector Substances 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000009825 accumulation Methods 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 32
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 108010072610 N-acetyl-gamma-glutamyl-phosphate reductase Proteins 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 244000241796 Christia obcordata Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域，公开了一种基于谱混合核高斯过程回归的单帧图像超分辨率重建方法及***，选取高分辨率图像形成高分辨率训练图像集，对高分辨率训练图像集元素进行下采样和插值放大操作得到插值训练图像集；提取特征形成训练数据集，对训练数据集进行聚类得到训练数据子集；对每一个训练数据子集训练出基于谱混合核的高斯过程回归模型的最优超参数；读取低分辨率测试图像并构建低分辨率测试数据集；在聚类中心中寻找与低分辨率测试数据集内每一个特征最近的聚类中心，形成最近邻训练数据子集；进行高斯过程回归，得到高分辨率特征集，输出高分辨率图像。本发明使得重建图像包含更多高频细节，纹理结构清晰，重建效果得到提高。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于谱混合核高斯过程回归的单帧图像超分辨率重建方法。
背景技术
在现实生产生活中，由于成像***性能有限或者成像条件的限制，所获取图像的分辨率可能较低，导致细节表现不足，不能满足需要。因此由低分辨率图像获得高分辨率图像有着很强的现实需求。图像超分辨率重建方法就是由已有的低分辨率图像经过软件方法处理，得到对应的高分辨率图像，以满足实际需要。该项技术在图像处理领域占有重要地位，受到广泛关注。
当前，图像超分辨率重建方法可以分为三类：基于插值的方法、基于学习的方法和基于重建的方法。
基于插值的方法是最常见的方法，包括最近邻插值法、线性插值法和双立方插值法。基于插值的方法是将待重建高分辨率图像网格中未知像素相邻的已知像素输入到预先设定的插值核函数中，估计出未知像素，从而达到提高图像分辨率的目的。这类方法原理简单，数据量小，实现快速。但是从数学原理上讲，这类方法预设的核函数不能准确反映出真实的图像纹理结构，往往导致重建结果缺乏细节，而且可能在图像边缘出现锯齿效应。更好的改进方法是采用更能体现图像细节的核函数来估计高分辨率图像。
基于重建的方法主要包括非均匀插值法、迭代反向投影法、最大后验概率法、凸集投影法等。这类方法将图像的降质模型作为先验知识，包括模糊、下采样、噪声叠加等过程，通过采取不同的约束条件，寻求初始的重建图像经过降质模型后与输入低分辨图像误差的最小化，从而估计出最终的高分辨率重建图像。在数学原理上，图像的重建过程属于逆问题的求解过程，是典型的不适定问题，因此不能保证解的存在性和唯一性。因此，在实现过程中，这类方法都存在迭代过程不易收敛、重建图像有一对多等问题。更好的方法是放弃过于简单的降质模型，而采用更接近真实的降质过程的数学描述。
基于学习的图像超分辨率重建方法通常先搜集大量的图像，建立训练集；然后对训练集进行学习，得到高、低图像块之间的对应关系(或映射模型)；接着，由输入低分辨率图像结合映射模型，预测出高分辨率图像所需要的信息(或者像素值)，重建出高分辨率图像。在这类方法中，由训练集学习得到映射模型是关键环节，而其中图像块及其特征之间的相似性，或称为距离，又是构建模型的核心。现有基于学习的方法大都使用欧式距离、角度距离等数学工具来衡量相似性。但是，这些数学工具过于简单和直接，不能充分地表征图像块之间的逻辑关系，反而有可能引入与图像块不相关的额外信息，导致映射模型的学习能力不足，重建权值分配不合理，致使最终的重建图像纹理结构模糊，重建效果不佳。因此在基于学习的图像超分辨率重建方法中，关键是找到合适的数学工具来表征特征之间的相似性，从而准确地估计出训练集中各个图像块在重建时的权重，寻求一个最优加权值。
现有的几种典型的基于学习的方法，其不足表现在：Yang等人在文献J.Yang,J.Wright,T.Huang,and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861-2873中利用稀疏表示理论通过联合优化框架学习出对偶字典，再利用该字典对输入的低分辨图像进行超分辨重建。该方法在重建时采用欧氏距离查找低分辨字典中的最优特征组合，以期得到基于稀疏表示的最优解。然而，实际重建效果图像质量不高，存在边缘模糊。
He等人在文献L.He,H.Qi,and R.Zaretzki,“Beta process joint dictionarylearning for coupled feature spaces with application to single image super-resolution”,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2013,pp.345-352中使用Beta过程来学习对偶空间字典，进而重建出高分辨图像块。但是该方法也将图像特征之间的距离设定为欧式距离，也存在重建图像边缘失真，纹理细节模糊等问题。
He等人在文献H.He and W.C.Siu,“Single image super-resolution usingGaussian process regression”,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2011,pp.449-456里将高斯过程回归引入到图像超分辨率重建领域，并利用自然图像的自相似性在图像局部区域内建立高斯过程回归模型。然而该方法使用简单的径向基核作为核函数，也就是欧氏距离的平方指数形式，存在图像块之间的结构相似性描述不够充分的问题，因此图像重建效果一般，细节呈现不足。
Wang等人在文献H.Wang,X.Gao,K.Zhang,and J.Li“Single-Image Super-Resolution Using Active-Sampling Gaussian Process Regression”,IEEEtransactions on image processing,vol.25,no.2,February 2016,pp.935-947中利用主动采样将外部训练集缩减，并对训练集中图像的高低分辨特征进行高斯过程回归建模，进而重建出高分辨率图像。但是该方法中涉及到的核函数为线性核函数，其本质是计算向量之间的点积，数学原理也过于单一，在表征较为复杂的图像块相似性时显得能力不足，进而使得模型适应性下降，图像重建效果不理想，纹理结构模糊。
另外，近年来深度学习方法也被引入到图像超分辨率领域。此类方法得益于海量的训练数据量，获得了较好的图像重建效果。但是巨大的数据量同时也带来了在储存、管理、处理、传输等方面的问题，如硬件设备成本过高、方法训练时间过长等缺陷；而且，在数学原理上，这类方法还存在模型不透明、参数调整困难等瓶颈。因此，深度学习类图像超分辨率重建方法在实际应用时受到诸多限制，尚没有得到广泛应用。
综上可以看出，现有方法采用的模型，或者退化过程的数学描述，过于简单，不能精确反映图像的纹理结构，使得重建效果不理想。更好的方法是引用高斯过程回归模型对图像进行描述，这样更能体现图像块中隐藏的非线性关系，尽可能多地发掘出图像块中的信息而减少虚假信息。另一方面，现有方法普遍使用的欧氏距离、角度距离等距离函数，它们数学原理单一，表征性差，不能准确地体现图像块之间的逻辑关系及纹理结构相似性，导致模型学习能力不足，重建时权值分配不合理，重建图像效果质量不佳。因此更好的方法是在高斯过程回归模型中引入一种新的核函数(距离函数)来表征图像块之间的距离、度量图像块之间的相似性，进而整体提升模型的学习能力，最终得到更高的重建图像质量。
简而言之，针对现存的技术问题，本发明将：
(1)采用高斯过程回归模型对图像进行描述，解决现有方法中退化过程数学描述过于简单、高低分辨率特征对应的映射模型不能精确反映图像纹理结构、以致重建效果不理想等问题。
(2)引入谱混合核函数作为高斯过程的核函数，解决现有方法中使用简单的距离函数而造成的表征性差、不能准确地体现图像块之间的逻辑关系及纹理结构相似性、模型学习能力不足、重建时权值分配不合理、重建图像效果质量不佳等问题。
本发明在解决现存技术问题的时，存在的技术难度包括：
(1)在学习过程中训练数据子集个数K的选取是一个难点，它直接影响训练集的学习效果。在本发明的仿真实验部分，用曲线展示了K值的变化规律(如图5所示)，并对K值的选取作了详细的描述。
(2)高斯过程回归模型的最优超参数θ的求解是一个难点。超参数θ是一个向量，每一维都需要通过迭代算法求出最优值。步骤三对求解过程做了详细描述。
解决上述技术问题的意义：
(1)从技术功能上讲，本发明引入谱混合核函数到高斯过程回归模型中，使得超分辨率重建图像结构清晰、纹理细致，更接近真实图像，评价指标更高，整体上提升了算法性能。
(2)从实际应用方面，本发明可直接应用但又不限于如下几方面：1)医学影像处理：提供高质量医学影像，帮助医生提高诊断效率；2)监控视频：提高监控视频、图像的清晰度，有利于相关人员观看及提取信息；3)电视图像：提高电视画面的分辨率和视觉效果，提升了用户体验；4)遥感图像：提高卫星遥感图像中目标或感兴趣区域的分辨率，便于目标检测、提取、分类等后续工作的展开。可见，本发明在医疗、公安、消费以及科研等领域都能直接应用，而且还可以推广到更多领域，因此本发明具有非常大的应用前景。
发明内容
针对现有技术存在的问题，本发明提供了一种基于谱混合核高斯过程回归的单帧图像超分辨率重建方法。本发明引用高斯过程回归模型对图像进行描述，这样更能体现图像块中隐藏的非线性关系，尽可能多地发掘出图像块中的信息而减少虚假信息。本发明引入一种新的核函数来体现图像块的结构，描述图像块之间的相似性，提升回归模型的学习能力，准确地估计出图像块的重建权重，最终达到更高的重建图像质量。
本发明是这样实现的，一种基于谱混合核高斯过程回归的单帧图像超分辨率重建方法，所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法在训练阶段，选取高分辨率自然图像，并利用双立方插值法对其进行下采样得到低分辨率训练图像，再对低分辨率训练图像进行插值放大得到对应的插值图像；对高分辨率图像及插值图像进行分块并提取特征，形成训练数据集；对训练数据集做聚类，得到K个训练数据子集；对这K个训练数据子集利用谱混合核函数学习得到高斯过程回归模型的最优超参数θ。在高斯过程回归模型框架下使用谱混合核函数作为距离函数，可以更准确地表征图像块之间的相似性，使重建权值分配更合理。
在测试阶段，选取低分辨率图像作为输入图像；对输入图像进行双立方插值放大得到插值测试图像，并进行分块及特征提取，得到低分辨率测试数据集。
在训练数据集的K个聚类中心中寻找与测试数据集内每一个特征最近的聚类中心，形成最近邻训练数据子集，再利用先前学习得到的最优超参数θ进行回归，得到高分辨率图像特征集；将这些高分辨率图像特征叠加到插值测试图像上，重建出高分辨率结果图像。使用基于谱混合核的高斯过程回归模型能够使超分辨率重建图像结构清晰、纹理细致，更接近真实图像，评价指标更高。
进一步，所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法具体包括以下步骤：
步骤一，选取高分辨率图像形成高分辨率训练图像集；对高分辨率训练图像集元素进行下采样和插值放大操作得到插值训练图像集；提取特征形成训练数据集C＝{H,L}，其中H和L分分别表示高、低分辨率训练数据集；
步骤二，对训练数据集C进行聚类得到训练数据子集
及对应的K个聚类中心；
步骤三，对每一个训练数据子集Ci训练出基于谱混合核的高斯过程回归模型的最优超参数θi，θi为列向量；
步骤四，读取低分辨率测试图像并构建低分辨率测试数据集X；
步骤五，在K个聚类中心中寻找与低分辨率测试数据集X内每一个特征最近的聚类中心，形成最近邻训练数据子集；
步骤六，利用步骤三中训练得到的θi进行高斯过程回归，得到高分辨率特征集F；
步骤七，输出高分辨率图像Y。
进一步，步骤一具体包括：
选取多幅彩色高分辨率自然图像并从RGB颜色空间转换到YCbCr颜色空间；选取亮度图像形成高分辨率训练图像集；
选定当前超分辨率重建放大倍数为S＝3，将高分辨率训练图像集利用双立方插值下采样S倍、再利用双立方插值放大S倍，得到插值训练图像集；
选定图像块大小为N×N，N＝7为奇数，对高分辨率图像训练集和插值训练图像集中对应的图像按照从上到下、从左到右的顺序逐像素取图像块；然后求高、低分辨率图像块中心像素的差值，得到高分辨率训练数据集
对低分辨率图像块向量化，得到低分辨率训练数据集
其中P＝100000，P小于取到的图像块的最大块数；
步骤二具体包括：
步骤1，设定类数K＝35，对低分辨率训练数据集L进行K-means聚类，得到{L1,L2,…,LK}以及对应的聚类中心集V＝(o1,o2,…,oK)；
步骤2，在高分辨率训练数据集H中找到对应的高分辨率数据形成{H1,H2,…,HK}；
步骤3，合并{L1,L2,…,LK}与{H1,H2,…,HK}形成{C1,C2,…,CK}，其中第i项Ci＝{Li,Hi}称为训练数据子集。
进一步，步骤三具体包括：
步骤A，定义超参数θi；
训练数据子集Ci＝{Li,Hi}含有Z个数据对，其对数似然函数为
其中θi为待学习的超参数，(Hi)、(Li)分别为Ci中的高、低分辨率训练数据子集Hi、Li的元素，|·|1表示1-范数，(·)T表示取转置运算，Ky(l,l'|θi)表示协方差矩阵，公式为
其中k(l,l')包含有超参数θi，表达式为：
其中
且ωq,i、∑q,i和μq,i分别表示第i个训练数据子集中第q个累加参量对应的权值、方差和频率参数，
表示噪声标准差参数，Q＝15为设定的累加参量，|·|表示取绝对值运算，||·||表示取向量模值的运算，函数COS(·)的表达式为
其中lp和l'p分别表示向量l和l'的第p个分量，其中μq,i(p)表示μq,i中的第p个分量，U表示向量l的维度；函数δ(·)为
步骤B，利用迭代法求超参数。
进一步，步骤B具体包括：
步骤a，构建偏导数
式中
tr(·)表示求矩阵的迹。
中位置(s,t)的元素为
式中
表示Li中第s个向量ls的第p个分量，s,t＝1,2,…,Z；
中位置(s,t)的元素为
∑q,i (j)表示∑q,i中的第j个分量，j＝1,2,…,U；
中位置(s,t)的元素为
式中μq,i (j)表示μq,i中的第j个分量。
中位置(s,t)的元素为
步骤b，设当前为第k步,k≥3,
更新迭代参数值，
式中
dk-1＝(gk-1)Tsk-2；
p＝6(fk-1-fk)+3(dk-1+dk)(vk-1-vk-2)；
q＝3(fk-fk-1)-(2dk-1+dk)(vk-1-vk-2)；
式中
如果fk<fopt，则令
fk→fopt，并继续迭代过程；式中fopt表示之前迭代过程中的最小似然值，θopt表示之前迭代过程中的最优参数；
步骤c，设定终止条件：如果
或者循环步数达到最大设定值500时，终止迭代过程，θi＝θopt为最优超参数，式中τ＝0.1和γ＝0.05为设定的控制系数；
步骤d，初始化迭代变量：
初始化超参数
其中
式中std(·)表示取标准差运算，max(·)表示取矩阵中最大元素，min(·)表示取矩阵中最小元素；式中Ri为低分辨率数据子集Li的尺度矩阵，表达式为
式中列向量m1,…,mZ由
Li-mean(Li)＝[m1,m2,…mZ]；
得出，mean(·)表示取均值运算；
迭代变量的初始值包括
d0＝d1＝-(s0)Ts0；
fopt＝f0；
进一步，在步骤四具体包括：
读取低分辨率彩色测试图像，利用双立方插值将其放大S倍并从RGB颜色空间转换到YCbCr颜色空间，并分别得到亮度通道图像、蓝色通道图像和红色通道图像；
对亮度通道图像以从上到下，从左到右的顺序逐像素取块并将其向量化得到低分辨率测试数据集
M表示取的最大图像块数，测试数据xn表示X中第n个向量；
步骤五具体包括：
计算X中第m个向量xm到聚类中心集V＝(o1,o2,…,oK)的欧式距离得到距离向量
E(x，x')表示计算向量x与x'之间的欧氏距离；
对Sm(m＝1,2…,M)中的元素排序并找出最小元素，标记出对应的聚类中心的类数am∈[1,K]；
对X中所有向量执行操作，得到标记向量
式中第m个元素am为对应的低分辨率最近邻训练数据子集
的类数，
为xm的最近邻训练数据子集，
是
对应的高分辨率最近邻训练数据子集；
对应的最优超参数
为xm的最近邻超参数；
步骤六具体包括：
利用公式
计算xm对应的输出特征ym，得到高分辨率特征集
是类数为am的低分辨率最近邻训练数据子集；
是
对应的高分辨率最近邻训练数据子集；其中
式中l1,l2…,lM为
中全部向量；计算谱混合核函数
所用到的
是步骤五得到的最近邻超参数；
步骤七具体包括：
由公式ym＝ym+cen(xm)计算得到高分辨率图像像素点，并取代亮度通道图像中对应的像素点得到亮度重建图像，cen(·)表示取中心像素操作；
将亮度重建图像与蓝色通道图像、红色通道图像结合得到YCbCr颜色空间下的超分辨率重建图像，转化到RGB颜色空间下得到高分辨率重建图像Y。
本发明的另一目的在于提供一种实施所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的的医学影像处理***。
本发明的另一目的在于提供一种实施所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的的监控视频处理***。
本发明的另一目的在于提供一种实施所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的电视图像处理***。
本发明的另一目的在于提供一种实施所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的遥感图像处理***。
综上所述，本发明的优点及积极效果为：
第一，本发明针对现有超分辨率重建方法的因距离函数表征性不高而导致训练集信息利用不充分、重建图像质量不佳的问题，将谱混合核函数引入到高斯回归模型中，学***坦，分配最为合理。表2显示了本发明算法和基于其它核函数的算法得到重建图像的PSNR对比：本发明的PSNR值是最高的，表明使用的谱混合核函数能够提高重建图像的性能。图4是Head图重建图像展示。由图4可以看出本发明中的谱混合核函数重建输出图像块包含更多高频信息，重建图像更加逼真；
第二，图3是Butterfly图重建效果展示。图3说明本发明与现有的其它图像超分辨率算法相比，其重建图像纹理结构清晰，高频信息丰富，视觉效果逼真。表1展示了本发明算法与其它算法的重建效果评价指标对比，本发明的PSNR值最高，说明其客观质量评价最好。
第三，实际应用方面，本发明可直接应用但又不限于如下几方面：1)如图7所示在医学影像处理方面：提供高质量医学影像，帮助医生提高诊断效率；2)如图8所示在监控视频方面：提高监控视频、图像的清晰度，有利于相关人员观看及提取信息；3)如图9所示在电视图像方面：提高电视画面的分辨率和视觉效果，提升了用户体验；4)如图10所示在遥感图像处理方面：提高卫星遥感图像中目标或感兴趣区域的分辨率，便于目标检测、提取、分类等后续工作的展开。可见，本发明在医疗、公安、消费以及科研等领域都能直接应用，而且还可以推广到更多领域，因此本发明具有非常大的应用前景。另外，本发明所需硬件平台成本低廉，代码模块简明清晰，在独立及移动图像处理平台上都能应用。
附图说明
图1是本发明实施例提供的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法总体流程图；图中包括训练阶段和测试阶段。
图2是本发明实施例提供的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法流程图。
图3是本发明实施例提供的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法与其它方法的重建效果对比示意图。
图4是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法与基于其它核函数的图像超分辨率方法的重建效果对比示意图。
图5是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法与基于其它核函数的图像超分辨率方法的重建效果与参数K的关系曲线对比图。
图6是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法与基于其它核函数的图像超分辨率方法的重建权重与旋转角度的关系曲线对比图。
图7是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的医学影像处理***图。
图8是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的监控视频处理***图。
图9是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的电视图像处理***图。
图10是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的遥感图像处理***图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术可能出现因使用性能较差的距离函数而使超分辨率重建图像细节模糊、高频信息不足，纹理结构缺失、重建质量低以及应用范围受限等问题，本发明基于谱混合核高斯过程回归的单帧图像超分辨率重建算法，以减少细节模糊，增加图像高频信息，提高重建图像的质量。同时，算法软件及硬件成本低廉，在中低水平的硬件平台上也可运行；独立及移动图像处理平台同样适用。本发明谱混合核可以比较精确地反映出具有复杂纹理结构的图像块之间的相似性，训练集中的信息能够得到合理利用，从而恢复更多的高频细节信息，提高图像的重建效果。
为解决上述问题，下面结合具体方案对本发明作详细描述。
如图1所示，本发明实施例基于谱混合核高斯过程回归的单帧图像超分辨率重建方法在训练阶段，选取高分辨率自然图像，并利用双立方插值法对其进行下采样得到低分辨率训练图像，再对低分辨率训练图像进行插值放大得到对应的插值图像；对高分辨率图像及插值图像进行分块并提取特征，形成训练数据集；对训练数据集做聚类，得到K个训练数据子集；对这K个训练数据子集利用谱混合核函数学习得到高斯过程回归模型的最优超参数θ；在测试阶段，选取一幅低分辨率图像作为输入图像；对输入图像进行双立方插值放大得到插值测试图像，并对其分块及特征提取，得到低分辨率测试数据集；在训练数据集的K个聚类中心中寻找与测试数据集内每一个特征最近的聚类中心，形成最近邻训练数据子集，然后利用先前学习得到的最优超参数θ进行回归，得到高分辨率图像特征集；然后将这些高分辨率图像特征叠加到插值测试图像上，重建出高分辨率重建图像。
如图2所示，本发明实施例基于谱混合核高斯过程回归的单帧图像超分辨率重建方法具体包括以下步骤：
S101，选取高分辨率图像形成高分辨率训练图像集；对其元素进行下采样和插值放大操作得到插值训练图像集；提取特征形成训练数据集。
S102，对训练数据集进行聚类得到训练数据子集及对应的K个聚类中心。
S103，对每一个训练数据子集训练出基于谱混合核的高斯过程回归模型的最优超参数。
S104，读取低分辨率测试图像并构建低分辨率测试数据集X。
S105，在K个聚类中心中寻找与测试数据集X内每一个特征最近的聚类中心，形成最近邻训练数据子集。
S106，利用步骤S103中训练得到的最优超参数进行高斯过程回归，得到高分辨率特征集F。
S107，输出高分辨率重建图像Y。
其中，步骤S101中，提取特征形成训练数据集为C＝{H,L}，其中H和L分别表示高、低分辨率训练数据集。步骤S102中，训练数据子集为
步骤S103中，每一个训练数据子集为Ci，最优超参数θi，其中θi为列向量。
在本发明实施例中，步骤S101具体操作包括：
步骤1.1，选取多幅彩色高分辨率自然图像并将其从RGB颜色空间转换到YCbCr颜色空间；选取亮度图像形成高分辨率训练图像集。
步骤1.2，选定当前超分辨率重建放大倍数为S＝3，将高分辨率训练图像集利用双立方插值下采样S倍、再利用双立方插值放大S倍，得到插值训练图像集。
步骤1.3，选定图像块大小为N×N(N＝7为奇数)，对高分辨率图像训练集和插值训练图像集中对应的图像按照从上到下、从左到右的顺序逐像素取图像块；然后求高、低分辨率图像块中心像素的差值，得到高分辨率训练数据集
对低分辨率图像块向量化，得到低分辨率训练数据集
其中P＝100000(P小于取到的图像块的最大块数)。
步骤S102具体包括：
步骤2.1，设定类数为K＝35，对低分辨率训练数据集L进行K-means聚类，得到{L1,L2,…,LK}以及对应的聚类中心集V＝(o1,o2,…,oK)。
步骤2.2，在高分辨率训练数据集H中找到对应的高分辨率数据形成{H1,H2,…,HK}。
步骤2.3，合并{L1,L2,…,LK}与{H1,H2,…,HK}形成{C1,C2,…,CK}，其中第i项Ci＝{Li,Hi}称为训练数据子集。
步骤S103具体包括：
步骤3.1，定义超参数θi。
设训练数据子集Ci＝{Li,Hi}含有Z个数据对，其对数似然函数为
其中θi为待学习的超参数，(Hi)、(Li)分别为Ci中的高、低分辨率训练数据子集Hi、Li的元素，|·|1表示1-范数，(·)T表示取转置运算，Ky(l,l'|θi)表示协方差矩阵，其公式为
其中k(l,l')包含有超参数θi，其表达式为：
其中
且其中的ωq,i、∑q,i和μq,i分别表示第i个训练数据子集中第q个累加参量对应的权值、方差和频率参数，
表示噪声标准差参数，Q＝15为设定的累加参量，|·|表示取绝对值运算，||·||表示取向量模值的运算，函数COS(·)的定义为
其中lp和l'p分别表示向量l和l'的第p个分量，其中μq,i(p)表示μq,i中的第p个分量，U表示向量l的维度；函数δ(·)的定义为
步骤3.2，利用迭代法求超参数。
在本发明优选实施例中，步骤3.2具体包括：
步骤3.2.1，构建偏导数
其中
tr(·)表示求矩阵的迹。
中位置(s,t)的元素为
其中
表示Li中第s个向量ls的第p个分量，s,t＝1,2,…,Z。
中位置(s,t)的元素为
其中∑q,i (j)表示∑q,i中的第j个分量，j＝1,2,…,U。
中位置(s,t)的元素为
其中μq,i (j)表示μq,i中的第j个分量。
中位置(s,t)的元素为
步骤3.2.2，设当前为第k(k≥3)步，
更新迭代参数值，其中
其中
dk-1＝(gk-1)Tsk-2
p＝6(fk-1-fk)+3(dk-1+dk)(vk-1-vk-2)
q＝3(fk-fk-1)-(2dk-1+dk)(vk-1-vk-2)
其中
如果fk<fopt，则令
fk→fopt，并继续迭代过程；其中fopt表示之前迭代过程中的最小似然值，θopt表示之前迭代过程中的最优参数。
步骤3.2.3，设定终止条件：如果
或者循环步数达到最大设定值500时，终止迭代过程，θi＝θopt即为最优超参数，其中τ＝0.1和γ＝0.05为设定的控制系数。
步骤3.2.4，初始化迭代变量：
初始化超参数
其中
其中std(·)表示取标准差运算，max(·)表示取矩阵中最大元素，min(·)表示取矩阵中最小元素。其中Ri为低分辨率数据子集Li的尺度矩阵，其表达式为
其中列向量m1,…,mZ由
Li-mean(Li)＝[m1,m2,…mZ]
得出，其中mean(·)表示取均值运算。
其它迭代变量的初始值包括
d0＝d1＝-(s0)Ts0
fopt＝f0
在本发明实施例中，步骤S104具体包括：
步骤4.1，读取低分辨率彩色测试图像，利用双立方插值将其放大S倍并从RGB颜色空间转换到YCbCr颜色空间，并分别得到亮度通道图像、蓝色通道图像和红色通道图像。
步骤4.2，对亮度通道图像以从上到下，从左到右的顺序逐像素取块并将其向量化得到低分辨率测试数据集
其中M表示可取的最大图像块数，测试数据xn表示X中第n个向量。
步骤S105具体包括：
步骤5.1，计算X中第m个向量xm到聚类中心集V＝(o1,o2,…,oK)的欧式距离得到其距离向量
其中E(x，x')表示计算向量x与x'之间的欧氏距离。
步骤5.2，对Sm(m＝1,2…,M)中的元素排序并找出最小元素，标记出其对应的聚类中心的类数am∈[1,K]。
步骤5.3，对X中所有向量执行步骤5.1和步骤5.2中的操作，得到标记向量
其中第m个元素am为对应的低分辨率最近邻训练数据子集
的类数，而
为xm的最近邻训练数据子集，
是
对应的高分辨率最近邻训练数据子集；
对应的最优超参数
为xm的最近邻超参数。
步骤S106具体包括：
步骤6.1，利用公式
计算xm对应的输出特征ym，得到高分辨率特征集
其中
是类数为am的低分辨率最近邻训练数据子集；
是
对应的高分辨率最近邻训练数据子集；其中
其中l1,l2…,lM为
中全部向量。计算谱混合核函数
所用到的
就是步骤5.3中得到的最近邻超参数。
步骤S107具体包括：
步骤7.1，由公式ym＝ym+cen(xm)计算得到高分辨率图像像素点，并将其取代亮度通道图像中对应的像素点得到亮度重建图像，其中cen(·)表示取中心像素操作。
步骤7.2，将亮度重建图像与蓝色通道图像、红色通道图像结合得到YCbCr颜色空间下的超分辨率重建图像，将其转化到RGB颜色空间下得到高分辨率重建图像Y。
下面结合仿真实验对本发明作进一步描述。
(1)仿真条件
本发明的实验是在CPU为Intel i5-52203.30GHz,内存为6G，操作***为Windows10，仿真平台为Matlab 2015a的实验环境下进行。
仿真实验中，将本发明方法与现有的SCSR,BPJDL,SRGPR,AGPR等方法进行对比分析；其中
SCSR对应参考文献为J.Yang,J.Wright,T.Huang,and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861-2873。
BPJDL对应参考文献为L.He,H.Qi,and R.Zaretzki,“Beta process jointdictionary learning for coupled feature spaces with application to singleimage super-resolution”,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2013,pp.345-352。
SRGPR对应参考文献为H.He and W.C.Siu,“Single image super-resolutionusing Gaussian process regression”,in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,2011,pp.449-456。
AGPR对应参考文献为H.Wang,X.Gao,K.Zhang,and J.Li“Single-Image Super-Resolution Using Active-Sampling Gaussian Process Regression”,IEEEtransactions on image processing,vol.25,no.2,February 2016,pp.935-947。
(2)仿真内容
实验一：验证本发明有较好的超分辨率重建效果。
用本发明和上述现有的4种方法对Butterfly图像进行仿真测试，结果如图3所示。其中，图3(a)是SCSR超分辨重建的结果；图3(b)是BPDJL超分辨重建的结果；图3(c)是SRGPR超分辨重建的结果；图3(d)是AGPR超分辨重建的结果；图3(e)是本发明超分辨重建的结果；图3(f)是真实的高分辨率图像。每幅图像有局部放大的矩形区域以便于观察重建效果的差别。
图3的仿真结果说明其它方法均不能较好的恢复出图像中蝴蝶翅膀花纹的复杂纹理结构，而图3(e)则明显有更好的重建效果。对比可知，本发明的超分辨结果可以较好的重建出复杂的纹理结构，细节呈现较好，重建图像的视觉效果优于其他四种方法。
表1.本发明算法与其它四种算法重建效果指标对比(Butterfly图，放大倍数S为3)
| SCSR | BPDJL | SRGPR | AGPR | 本发明 | |
| PSNR(dB) | 25.63 | 26.44 | 25.66 | 26.47 | 26.54 |
表1展示了本发明和其它四种对比算法得到重建图像的PSNR对比。可以看出，本发明的重建图像的PSNR是最高的，从而客观上证明了本发明的重建效果。
实验二：验证本发明中谱混合核函数对重建效果的帮助。
将本发明中的核函数分别替换为径向基数核和线性核函数，其他步骤不变，用本发明和上述两种方法对Head图像进行仿真测试，结果如图4所示。其中，图4(a)是使用了径向基数核的重建结果；图4(b)是使用了线性核的重建结果。图4(c)是本方法的重建结果；图4(d)是真实的高分辨率图像。每幅图像有局部放大的矩形区域以便于观察重建效果的差别。
图4可以看出，本发明中的谱混合核函数的重建效果明显好于其他核函数，图4(c)中小孩面部的斑点呈现好于其他方法，对比可知，本发明中的谱混合核函数有着良好的性能，可以帮助提高重建的效果。
表2.本发明算法和基于其它核函数的算法的重建效果指标评价(Head图，放大倍数S为3)
| 径向基核 | 线性核 | 谱混合核(本发明) | |
| PSNR(dB) | 33.29 | 33.32 | 33.53 |
表2展示了本发明算法和基于其它核函数的算法得到重建图像的PSNR对比。可以看出，本发明中所使用的谱混合核函数对重建图像PSNR的提升有很大帮助，这是因为谱混合核函数可以在重建时合理地分配权值，捕捉到图像块更多的高频信息。
图5是本发明与其它核函数算法基于Kodak图像集的重建图像质量与参数K的关系曲线对比图，横坐标为K值，纵坐标为PSNR值。参数K表示聚类类数，K值过小则导致单一训练数据子集内冗余信息过多，影响重建图像的质量；K值过大则训练数据子集内数据过少，导致重建图像的高频信息不足，降低了重建效果。经过实验发现，本发明中K的最佳取值为35。同时从图中可以看出，不同核函数对重建效果的影响较大，线性核以及径向基核的数学原理较为简单，不能准确表征图像块之间的相似性，而本发明中的谱混合核函数则可以较为准确地计算出图像块之间的距离，使得重建图像的PSNR更高，实验证明本发明采用的核函数重建效果优于采用径向基核或者线性核。
图6是本发明与其它核函数算法旋转角度与重建权重的关系曲线对比图，对输入图像做不同角度旋转得到训练图像，横坐标为训练集中图像块旋转的角度，纵坐标为重建权重。图像块的旋转没有改变其纹理结构，同时旋转前后图像块的中心像素没有发生变化，所以理论上旋转角度的改变对重建权重的影响越小，且此权值越接近1，则说明算法对于训练集中图像特征权重的分配越合理，核函数衡量图像特征之间距离的准确度越高。从图6中可以看出，本发明对应曲线的权值变化相对稳定，且无论旋转角度如何变化，本发明所得到的权重都比其他算法更接近1，这说明了本发明对于重建权值的分配最为合理，本发明中的谱混合核函数相较于其他核函数更能表征图像特征之间的距离，更能捕获图像块的结构相似性。
下面结合基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的应用对本发明作进一步描述。
在本发明实施例中，图7是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的医学影像处理***框图。在图7中的***中，输入的低分辨医学图像在经过本发明重建后，其输出的高分辨图像清晰，图像中的病灶位置明确，病变现象明显，有助于医务人员判断病情，提高确诊率。
图8是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的监控视频处理***框图。监控视频在道路安全，刑侦监测等领域应用广泛。然而由于成像环境差，成像硬件受限等因素，成像效果往往不能达到要求。在图8的***中，监控设备中采集到的人脸的原始图像模糊，高频信息不足，不能满足后续刑侦等工作的展开；本发明将监控设备中采集到的图像作为输入图像，而经过本发明重建后的图像清晰，细节增多，从而有利于人脸辨认等后续工作。
图9是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的电视图像处理***框图。在影视娱乐领域，用户对电视图像的质量要求越来越高。由于带宽的限制，用户接收端得到的图像信号源往往不能满足对分辨率的要求，如图9所示的电视原始图像视觉效果较差，出现失真；而经过本发明重建后的电视图像分辨率高，视觉效果改善，优化了用户的体验。
图10是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的遥感图像处理***框图。遥感图像在军事，科研，航天等领域有着广泛应用；然而遥感设备成像时受飞行状态、大气折射、地形起伏等因素影响，原始图像出现分辨率低、纹理结构模糊等问题；如图10所示，经过本发明重建后的遥感图像特定区域分辨率提高，纹理结构清晰，便于目标检测、提取、分类等后续工作的展开。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于谱混合核高斯过程回归的单帧图像超分辨率重建方法，其特征在于，所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法在训练阶段，选取高分辨率自然图像，并利用双立方插值法对其进行下采样得到低分辨率训练图像，再对低分辨率训练图像进行插值放大得到对应的插值图像；对高分辨率图像及插值图像进行分块并提取特征，形成训练数据集；对训练数据集做聚类，得到K个训练数据子集；对这K个训练数据子集利用谱混合核函数学习得到高斯过程回归模型的最优超参数θ；
在测试阶段，选取低分辨率图像作为输入图像；对输入图像进行双立方插值放大得到插值测试图像，并进行分块及特征提取，得到低分辨率测试数据集；
在训练数据集的K个聚类中心中寻找与测试数据集内每一个特征最近的聚类中心，形成最近邻训练数据子集，再利用先前学习得到的最优超参数θ进行回归，得到高分辨率图像特征集；将这些高分辨率图像特征叠加到插值测试图像上，重建出高分辨率结果图像。
2.如权利要求1所述的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法，其特征在于，所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法具体包括以下步骤：
步骤一，选取高分辨率图像形成高分辨率训练图像集；对高分辨率训练图像集元素进行下采样和插值放大操作得到插值训练图像集；提取特征形成训练数据集C＝{H，L}，其中H和L分别表示高、低分辨率训练数据集；
步骤二，对训练数据集C进行聚类得到训练数据子集
及对应的K个聚类中心；
步骤三，对每一个训练数据子集Ci训练出基于谱混合核的高斯过程回归模型的最优超参数θi，θi为列向量；
步骤四，读取低分辨率测试图像并构建低分辨率测试数据集X；
步骤五，在K个聚类中心中寻找与低分辨率测试数据集X内每一个特征最近的聚类中心，形成最近邻训练数据子集；
步骤六，利用步骤三中训练得到的θi进行高斯过程回归，得到高分辨率特征集F；
步骤七，输出高分辨率图像Y。
3.如权利要求2所述的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法，其特征在于，步骤一具体包括：
选取多幅彩色高分辨率自然图像并从RGB颜色空间转换到YCbCr颜色空间；选取亮度图像形成高分辨率训练图像集；
选定当前超分辨率重建放大倍数为S＝3，将高分辨率训练图像集利用双立方插值下采样S倍、再利用双立方插值放大S倍，得到插值训练图像集；
选定图像块大小为N×N，N＝7为奇数，对高分辨率图像训练集和插值训练图像集中对应的图像按照从上到下、从左到右的顺序逐像素取图像块；然后求高、低分辨率图像块中心像素的差值，得到高分辨率训练数据集
对低分辨率图像块向量化，得到低分辨率训练数据集
其中P＝100000，P小于取到的图像块的最大块数；
步骤二具体包括：
步骤1，设定类数为K＝35，对低分辨率训练数据集L进行K-means聚类，得到{L1，L，2，...，LK}以及对应的聚类中心集V＝(o1，o2，...，oK)；
步骤2，在高分辨率训练数据集H中找到对应的高分辨率数据形成{H1，H2，...，HK}；
步骤3，合并{L1，L2，...，LK}与{H1，H2，...，HK}形成{C1，C2，...，CK}，其中第i项Ci＝{Li，Hi}称为训练数据子集。
4.如权利要求2所述的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法，其特征在于，步骤三具体包括：
步骤A，定义超参数θi；
训练数据子集Ci＝{Li，Hi}含有Z个数据对，其对数似然函数为
其中θi为待学习的超参数，(Hi)、(Li)分别为Ci中的高、低分辨率训练数据子集Hi、Li的元素，|·|1表示1-范数，(·)T表示取转置运算，Ky(l，l′|θi)表示协方差矩阵，公式为
其中k(l，l′)包含有超参数θi，表达式为：
其中
且ωq，i，∑q，i和μq，i分别表示第i个训练数据子集中第q个累加参量对应的权值、方差和频率参数，
表示噪声标准差参数，Q＝15为设定的累加参量，|·|表示取绝对值运算，||·||表示取向量模值的运算，函数cos(·)的表达式为
其中lp和l′p分别表示向量l和l′的第p个分量，其中μq，i (p)表示μq，i中的第p个分量，U表示向量l的维度；函数δ(·)为
步骤B，利用迭代法求超参数。
5.如权利要求4所述的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法，其特征在于，步骤B具体包括：
步骤a，构建偏导数
式中
tr(·)表示求矩阵的迹；
中位置(s，t)的元素为
式中
表示Li中第s个向量ls的第p个分量，s，t＝1，2，...，Z；
中位置(s，t)的元素为
∑q，i (j)表示∑q，i中的第i个分量，i＝1，2，...，U；
中位置(s，t)的元素为
式中μq，i (j)表示μq，i中的第j个分量；
中位置(s，t)的元素为
步骤b，设当前为第k步，k≥3，
更新迭代参数值，
式中
dk-1＝(gk-1)Tsk-2；
p＝6(fk-1-fk)+3(dk-1+dk)(vk-1-vk-2)；
q＝3(fk-fk-1)-(2dk-1+dk)(vk-1-vk-2)；
式中
如果fk＜fopt，则令
fk→fopt，并继续迭代过程；式中fopt表示之前迭代过程中的最小似然值，θopt表示之前迭代过程中的最优参数；
步骤c，设定终止条件：如果
或者循环步数达到最大设定值500时，终止迭代过程，θi＝θopt为最优超参数，式中τ＝0.1和γ＝0.05为设定的控制系数；
步骤d，初始化迭代变量：
初始化超参数
其中
式中std(·)表示取标准差运算，max(·)表示取矩阵中最大元素，min(·)表示取矩阵中最小元素；式中Ri为低分辨率数据子集Li的尺度矩阵，表达式为
式中列向量m1，...，mZ由
Li-mean(Li)＝[m1，m2，…mZ]；
得出，mean(·)表示取均值运算；
迭代变量的初始值包括
d0＝d1＝-(s0)Ts0；
fopt＝f0；
6.如权利要求2所述的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法，其特征在于，在步骤四具体包括：
读取低分辨率彩色测试图像，利用双立方插值将其放大S倍并从RGB颜色空间转换到YCbCr颜色空间，并分别得到亮度通道图像、蓝色通道图像和红色通道图像；
对亮度通道图像以从上到下，从左到右的顺序逐像素取块并将其向量化得到低分辨率测试数据集
M表示取的最大图像块数，测试数据xn表示X中第n个向量；
步骤五具体包括：
计算X中第m个向量xm到聚类中心集V＝(o1，o2，...，oK)的欧式距离得到距离向量
E(x，x′)表示计算向量x与x′之间的欧氏距离；
对Sm(m＝1，2...，M)中的元素排序并找出最小元素，标记出对应的聚类中心的类数am∈[1，K]；
对X中所有向量执行操作，得到标记向量
式中第m个元素am为对应的低分辨率最近邻训练数据子集
的类数，
为xm的最近邻训练数据子集，
是
对应的高分辨率最近邻训练数据子集；
对应的最优超参数
为xm的最近邻超参数；
步骤六具体包括：
利用公式
计算xm对应的输出特征ym，得到高分辨率特征集
是类数为am的低分辨率最近邻训练数据子集；
是
对应的高分辨率最近邻训练数据子集；其中
式中l1，l2...，lM为
中全部向量；计算谱混合核函数
所用到的
是步骤五得到的最近邻超参数；
步骤七具体包括：
由公式ym＝ym+cen(xm)计算得到高分辨率图像像素点，并取代亮度通道图像中对应的像素点得到亮度重建图像，cen(·)表示取中心像素操作；
将亮度重建图像与蓝色通道图像、红色通道图像结合得到YCbCr颜色空间下的超分辨率重建图像，转化到RGB颜色空间下得到高分辨率重建图像Y。
7.一种实施权利要求1所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的医学影像处理***。
8.一种实施权利要求1所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的监控视频处理***。
9.一种实施权利要求1所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的电视图像处理***。
10.一种实施权利要求1所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法的遥感图像处理***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910194123.6A CN110097499B (zh) | 2019-03-14 | 2019-03-14 | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910194123.6A CN110097499B (zh) | 2019-03-14 | 2019-03-14 | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110097499A CN110097499A (zh) | 2019-08-06 |
| CN110097499B true CN110097499B (zh) | 2023-05-05 |
Family
ID=67443986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910194123.6A Active CN110097499B (zh) | 2019-03-14 | 2019-03-14 | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110097499B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| CN112581367B (zh) * | 2020-12-01 | 2023-06-30 | 南京理工大学 | 基于随机样本分类增扩的gpr图像超分辨率重建方法 |
| CN113435487B (zh) * | 2021-06-16 | 2022-08-12 | 中国电子科技集团公司第五十四研究所 | 一种面向深度学习的多尺度样本生成方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780342A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN107993194B (zh) * | 2017-11-30 | 2021-01-01 | 天津大学 | 一种基于平稳小波变换的超分辨率重建方法 |
| CN108257093B (zh) * | 2018-01-18 | 2021-08-06 | 洛阳理工学院 | 基于可控核与高斯过程回归的单帧图像超分辨方法 |
-
2019
- 2019-03-14 CN CN201910194123.6A patent/CN110097499B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110097499A (zh) | 2019-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Noise robust face image super-resolution through smooth sparse representation | |
| Fang et al. | Spectral–spatial classification of hyperspectral images with a superpixel-based discriminative sparse model | |
| CN110097499B (zh) | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 | |
| CN113177592B (zh) | 一种图像分割方法、装置、计算机设备及存储介质 | |
| Liu et al. | Dual learning-based graph neural network for remote sensing image super-resolution | |
| CN111695455B (zh) | 一种基于耦合判别流形对齐的低分辨人脸识别方法 | |
| Wei et al. | Joint learning sparsifying linear transformation for low-resolution image synthesis and recognition | |
| Liang et al. | Scale-invariant structure saliency selection for fast image fusion | |
| Zeng et al. | Self-attention learning network for face super-resolution | |
| Chen et al. | Registration of multimodal images with edge features and scale invariant PIIFD | |
| Wang et al. | Joint depth map super-resolution method via deep hybrid-cross guidance filter | |
| Liu et al. | Image super-resolution via hierarchical and collaborative sparse representation | |
| Tian et al. | SWDGAN: GAN-based sampling and whole image denoising network for compressed sensing image reconstruction | |
| Zhang et al. | A parallel and serial denoising network | |
| Li et al. | A systematic survey of deep learning-based single-image super-resolution | |
| Chen et al. | Face super resolution based on parent patch prior for VLQ scenarios | |
| Bai et al. | Survey of learning based single image super-resolution reconstruction technology | |
| Chen et al. | Hierarchical factorization strategy for high-order tensor and application to data completion | |
| Zhu et al. | Super-resolved image perceptual quality improvement via multifeature discriminators | |
| CN106709921B (zh) | 一种基于空间Dirichlet混合模型的彩色图像分割方法 | |
| Zhao et al. | Single image super-resolution via blind blurring estimation and anchored space mapping | |
| Sharma et al. | Facial image super-resolution with CNN,“A Review” | |
| Wang et al. | Pyramid Attention Network for Medical Image Registration | |
| Shi et al. | Unsupervised multimodal remote sensing image registration via domain adaptation | |
| Yang et al. | Super-resolution reconstruction of face images based on pre-amplification non-negative restricted neighborhood embedding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |