CN102722876A

CN102722876A - 一种基于残差的图像超分辨率重建方法

Info

Publication number: CN102722876A
Application number: CN2012101700384A
Authority: CN
Inventors: 陈华华
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2012-05-29
Filing date: 2012-05-29
Publication date: 2012-10-10
Anticipated expiration: 2032-05-29
Also published as: CN102722876B

Abstract

本发明涉及一种基于残差的图像超分辨率重建方法。本发明的具体步骤是：首先，计算原高分辨率图像与低分辨率图像经插值放大后的图像之间的残差；其次，以低分辨率图像样本特征和对应图像残差建立样本对，以低分辨率样本为基准采用K-均值对样本对进行分类，并对每一类样本对采用K-SVD方法进行训练获得低分辨率样本与图像残差的字典对；最后，根据测试样本与类中心的欧氏距离选择字典对，将与测试样本具有相近欧氏距离的各类别所重建的图像残差求加权和作为重建的最终图像残差，并结合低分辨率图像的插值结果获得高分辨率图像。本发明只需重构图像残差，结合插值图像即可重建高分辨率图像,提高了高分辨率图像边缘细节处的重建结果。

Description

一种基于残差的图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种对图像进行超分辨率重建的方法，具体是一种基于残差的图像超分辨率重建方法。

背景技术

图像超分辨率重建是指由输入的一幅或多幅低分辨率图像重构得到一幅高分辨率图像的方法，它充分利用了已获取的资源，与采用高性能硬件获取高分辨率图像的方法相比，具有更低的成本，在视频监控、医学成像、高清视频等各个领域有着广阔的应用前景。

超分辨率重建是一个典型的病态反问题，对于只有单帧低分辨率图像时，就转变成求解欠定方程的问题。为改善重建性能，可在求解过程中考虑先验知识，以消除很多人工痕迹，但是在重建细节丰富的图像时仍不能取得令人满意的结果；为了重建视觉上令人满意的高分辨率图像，许多先验知识被应用到超分辨率重建中，典型的方法是正则化超分辨率重建，比较著名的正则化先验是采用全变分，该方法对于分段平滑的边缘结构能取得较好的重建结果，但是对于细节丰富的边缘通常有阶梯状人工痕迹；最近提出的先验知识是图像具有稀疏性，图像被字典的原子展开成一个稀疏表达式，顾名思义就是展开系数的大多数系数接近于0，用学习得到的字典用于超分辨率重建，典型的方法是学习获得图像的高、低分辨率字典，对于测试的低分辨率图像子块，求解其在低分辨率字典上的表示系数，再利用低分辨率图像子块与高分辨率子块的流形一致性，使用低分辨率子块的表示系数重构出高分辨率图像子块，但是其在图像边缘细节会也出现重建噪声。

发明内容

本发明的目的是提供一种有效的图像超分辨率重建方法，以改善重建质量，特别是图像边缘细节处的重建结果。

为解决上述技术问题，本发明提供的技术方案如下：

首先，计算原高分辨率图像与低分辨率图像经插值放大后的图像之间的残差；其次，以低分辨率图像样本特征和对应图像残差建立样本对，以低分辨率样本为基准采用K均值对样本对进行分类，并将每一类样本对采用KSVD方法进行训练获得低分辨率样本与图像残差的字典对；最后，根据测试样本与类中心的欧氏距离选择字典对，将与测试样本具有相近欧氏距离的各类别所重建的图像残差求加权和作为重建的最终图像残差，并结合低分辨率图像的插值结果获得高分辨率图像。

下面详细给出该发明技术方案中的各个细节说明：

步骤(1)计算残差，具体是：

将用于训练的低分辨率样本图像y插值放大得到图像Xb，图像Xb与原高分辨率图像具有相同尺寸，将图像Xb与原高分辨率图像X之间的差值即Xr=X-Xb作为图像残差；

步骤(2)获得低分辨率训练样本图像与高分辨率图像残差的字典对，具体是：

计算低分辨率训练样本图像的一阶、二阶梯度图像，将梯度图像分块，以梯度值作为低分辨率图像子块的特征；将图像残差分块，以子块残差作为高分辨率图像子块的特征，训练字典对，它由低分辨率字典和高分辨率字典构成。

训练时，对输入的每个高、低分辨率图像特征子块向量化，得到各自向量化的特征子块样本集合，分别记为{x _ri}和{y _i}，其中x _ri表示图像残差特征子块，y _i表示低分辨率图像特征子块， i=1,…,N，N是子块数。

对低分辨率特征子块样本集合{y _i}进行分类，先计算每个y _i的方差值，按给定的方差阈值△进行分类，阈值△可通过对集合{y _i}进行方差统计获得。

对于方差小于或等于阈值△的低分辨率图像特征子块样本组成一个集合{y _i0}，由其对应的高分辨率特征子块样本获得集合{x _ri0}，将集合{x _ri0}和集合{y _i0}构成高、低分辨率子块样本对，采用K-SVD学习算法得到高分辨率字典D_h0、低分辨率字典D_l0。高分辨率字典D_h0和低分辨率字典D_l0构成字典对。

对于方差大于阈值△的集合{y _i}、{x _ri}，此时的样本数量仍相当大，采用K-均值聚类算法对方差大于阈值的集合{y _i}进行分类。通过对{y _i}聚类分成K类样本，各类对应的{x _ri}也同样分成了K类样本，则得到K类高、低分辨率子块样本对{x _rik}、{y _ik}以及{y _ik}的聚类中心{C _k}，k=1,2,…,K。分别对各类子块样本对采用K-SVD训练得到K对高、低分辨率字典D_hk和D_lk。

步骤(3)超分辨率重建高分辨率图像，具体是：

对样本对进行分类学习后，可得K+1对高、低分辨率字典。对低分辨率测试图像y _t重建时，先对y _t分块，每个子块进行超分辨率重建时必须选用合适的字典进行稀疏分解与高分辨率图像重建，采用

Figure 2012101700384100002DEST_PATH_IMAGE002

分解低分辨率测试图像子块y _ti，其中D _ls是选择的最适合的低分辨率字典，

是稀疏表示矢量，是给定的误差值。对应的高分辨率残差子块x _tri重建过程采用，其中D _hs是与D _ls相对应的高分辨率字典。由子块y _ti与各聚类中心中具有最小欧氏距离的类别所对应的字典D _ls作为最适合的低分辨率字典。重建获得的是残差图像

Figure 2012101700384100002DEST_PATH_IMAGE010

，其中M是低分辨率测试图像的子块数，R_i是子块的提取方式，T代表转置。残差图像与低分辨率插值放大后的结果相加可获得超分辨率图像；

对于输入的待重建测试图像子块y _ti，先计算图像子块的方差并根据方差选择字典，对于方差小于阈值△的子块选用D_h0、D_l0进行重建，否则根据子块与K-均值聚类中心点的距离按式(1)进行字典选择；

Figure 2012101700384100002DEST_PATH_IMAGE012

(1)

由式(1)确定与测试图像子块欧氏距离最小的聚类中心C _s，通过聚类中心C _s找到相应的高、低分辨率字典，进行超分辨率重建。为了使字典能更好的匹配图像子块，防止“临界子块”影响重建结果，对由各“临界子块”重建的残差进行加权求和。这里的“临界子块”是指一个子块与两个或多个聚类中心的距离都很相近，“临界子块”判断规则为：计算子块与每个聚类中心的欧氏距离，记距离为d _j,下标j根据欧氏距离的大小排序，欧氏距离最小的为1，下标随欧氏距离增加依次递增，根据d ₁与d _j的比值确定子块是否临近，即：

Figure 2012101700384100002DEST_PATH_IMAGE014

(2)

式(2)中

Figure 2012101700384100002DEST_PATH_IMAGE016

为临界子块判断阈值；

为了将重建子块更好的重构，采用多个字典进行重建。对测试子块y _ti与多个聚类中心相近时，分别采用多个字典进行分解重构，最后根据y _ti与多个聚类中心的相近程度分配权值，对重建的残差进行加权求和，得到最终的高分辨率图像的残差子块。权重计算如式(3)-(5)所示；

(3)

Figure 2012101700384100002DEST_PATH_IMAGE020

(4)

Figure 2012101700384100002DEST_PATH_IMAGE022

(5)

式(3)-(5)中p是与子块y _ti最接近的类别数，j是p类中按距离从小到大排序后的第j类，C_j为与d _j相对应的聚类中心，ω_j为归一化的权值，

Figure 2012101700384100002DEST_PATH_IMAGE024

为分别根据C_j所对应的字典重建得到的高分辨率残差，高分辨率残差子块x _tri为式(5)所示的各重建高分辨率残差结果的加权和。

步骤(2)中由于K-均值聚类算法对初始值敏感，可能导致部分类别的样本个数过少，此时可将样本数目小于给定阈值的类别合并到与其聚类中心最近的类别中，并重新计算聚类中心，对于样本数目大于等于给定阈值的类别可以再次采用K-均值聚类算法进行细分。

本发明只需重构图像残差，结合插值图像即可重建高分辨率图像；将样本对分类,为每类样本对训练字典达到了字典数目的增加，增强了对样本特征差异性的表达能力；将与测试样本具有相近欧氏距离的各类别所重建的图像残差求加权和作为重建的最终图像残差，提高了高分辨率图像的重建质量，特别是图像边缘细节处的重建结果。

附图说明

图1为高分辨率图像残差提取过程；

图2为字典学习过程；

图3为高分辨率图像重建过程；

图4为“临界子块”。

具体实施方式

以下结合附图和实施实例对本发明加以详细说明。

对于彩色的RGB图像，先转换成YUV图像，在Y分量上进行超分辨率重建，而UV分量采用插值放大，然后再将YUV图像转换成RGB图像；对于灰度图像，直接在灰度图上进行超分辨率重建。

对输入的低分辨率图像进行3倍放大。将低分辨率图像分成若干个大小为3×3的图像子块，则相应的高分辨率图像子块大小为9×9，为了保持图像子块间的相容性，对低分辨率图像子块采用1个重叠像素，则相应的高分辨率图像子块重叠3个像素。

步骤(1)计算残差

将用于训练的低分辨率样本图像y插值放大3倍得到图像Xb，Xb与原高分辨率图像具有相同尺寸，将图像Xb与原高分辨率图像X之间的差值即Xr=X-Xb作为图像残差。计算残差的实施过程如图1所示。

计算低分辨率训练样本图像的一阶、二阶梯度图像，将梯度图像分成3×3的子块，以梯度值作为低分辨率图像子块的特征；将图像残差分成9×9的子块，以子块残差作为高分辨率图像子块的特征，训练字典对，它由低分辨率字典和高分辨率字典构成。

训练时，对输入的每个高、低分辨率图像特征子块向量化，得到各自向量化的特征子块样本集合，分别记为{x _ri}和{y _i}，其中x _ri表示图像残差，y _i表示低分辨率图像特征子块， i=1,…,N，N是子块数。

对于方差大于阈值△的集合{y _i}、{x _ri}，此时的样本数量仍相当大，采用K-均值聚类算法对方差大于阈值的集合{y _i}进行分类。通过对{y _i}聚类分成K类样本，各类对应的{x _ri}也同样分成了K类样本，则得到K类高、低分辨率子块样本对{x _rik}、{y _ik}以及{y _ik}的聚类中心{C _k}，k=1,2,…,K，可取K＝50。分别对各类子块样本对采用K-SVD训练得到K对高、低分辨率字典D_hk和D_lk。由于K-均值聚类算法对初始值敏感，可能导致部分类别的样本个数过少，此时可将样本数目过少的类别合并到与其聚类中心最近的类别中，并重新计算聚类中心，对于样本数目过多的类别可以再次采用K-均值聚类算法进行细分。字典学习的实施过程如图2所示。

步骤(3)超分辨率重建高分辨率图像

对样本对进行分类学习后，可得50+1对高、低分辨率字典。对低分辨率测试图像y_t重建时，先对y_t分块，每个子块进行超分辨率重建时必须选用合适的字典进行稀疏分解与高分辨率图像重建，采用分解低分辨率测试图像子块y _ti，其中D _ls是选择的最适合的低分辨率字典。对应的高分辨率残差子块x _tri重建过程采用

，其中D _hs是与D _ls相对应的高分辨率字典。由子块y _ti与各聚类中心中具有最小欧氏距离的类别所对应的字典D _ls作为最适合的低分辨率字典。重建获得的是残差图像

，其中M是低分辨率测试图像的子块数，R_i是子块的提取方式，T代表转置。残差图像与低分辨率插值放大后的结果X_tb相加可获得超分辨率图像X_t。高分辨率图像重建实施过程如图3所示。

对于输入的待重建测试图像子块y _ti，先计算图像子块的方差并根据方差选择字典，对于方差小于阈值△的子块选用D_h0、D_l0进行重建，否则根据子块与K-均值聚类中心点的距离按式(1)进行字典选择。

由式(1)确定与测试图像子块欧氏距离最小的聚类中心C_s，通过聚类中心C_s找到相应的高、低分辨率字典，进行超分辨率重建。为了使字典能更好的匹配图像子块，防止“临界子块”影响重建结果，对由各“临界子块”重建的残差进行加权求和。这里的“临界子块”是指一个子块与两个或多个聚类中心的距离都很相近，如图4所示，y _ti与聚类中心C₁和C₂都很接近。“临界子块”判断规则为：计算子块与每个聚类中心的欧氏距离，记距离为d _j,下标j根据欧氏距离的大小排序，欧氏距离最小的为1，下标随欧氏距离增加依次递增，根据式(2)中d ₁与d _j的比值确定子块是否临近，可取

为0.8。

为了将重建子块更好的重构，采用多个字典进行重建。对测试子块y _ti与多个聚类中心相近时，分别采用多个字典进行分解重构，最后根据y _ti与多个聚类中心的相近程度分配权值，对重建的残差进行加权求和，得到最终的高分辨率图像的残差子块。

Claims

1. 一种基于残差的图像超分辨率重建方法，其特征在于该方法包括以下步骤：

步骤(1)计算残差，具体是：

计算低分辨率训练样本图像的一阶、二阶梯度图像，将梯度图像分块，以梯度值作为低分辨率图像子块的特征；将图像残差分块，以子块残差作为高分辨率图像子块的特征，训练字典对，它由低分辨率字典和高分辨率字典构成；

训练时，对输入的每个高、低分辨率图像特征子块向量化，得到各自向量化的特征子块样本集合，分别记为{x _ri}和{y _i}，其中x _ri表示图像残差特征子块，y _i表示低分辨率图像特征子块， i=1,…,N，N是子块数；

对低分辨率特征子块样本集合{y _i}进行分类，先计算每个y _i的方差值，按给定的方差阈值△进行分类，阈值△可通过对集合{y _i}进行方差统计获得；

对于方差小于或等于阈值△的低分辨率图像特征子块样本组成一个集合{y _i0}，由其对应的高分辨率特征子块样本获得集合{x _ri0}，将集合{x _ri0}和集合{y _i0}构成高、低分辨率子块样本对，采用K-SVD学习算法得到高分辨率字典D_h0、低分辨率字典D_l0；高分辨率字典D_h0和低分辨率字典D_l0构成字典对；

对于方差大于阈值△的集合{y _i}、{x _ri}，此时的样本数量仍相当大，采用K-均值聚类算法对方差大于阈值的集合{y _i}进行分类；通过对{y _i}聚类分成K类样本，各类对应的{x _ri}也同样分成了K类样本，则得到K类高、低分辨率子块样本对{x _rik}、{y _ik}以及{y _ik}的聚类中心{C _k}，k=1,2,…,K；分别对各类子块样本对采用K-SVD训练得到K对高、低分辨率字典D_hk和D_lk；

步骤(3)超分辨率重建高分辨率图像，具体是：

对样本对进行分类学习后，可得K+1对高、低分辨率字典；对低分辨率测试图像y _t重建时，先对y _t分块，每个子块进行超分辨率重建时必须选用合适的字典进行稀疏分解与高分辨率图像重建，采用

Figure 2012101700384100001DEST_PATH_IMAGE002

是稀疏表示矢量，

是给定的误差值；对应的高分辨率残差子块x _tri重建过程采用

Figure 2012101700384100001DEST_PATH_IMAGE008

，其中D _hs是与D _ls相对应的高分辨率字典；由子块y _ti与各聚类中心中具有最小欧氏距离的类别所对应的字典D _ls作为最适合的低分辨率字典；重建获得的是残差图像，其中M是低分辨率测试图像的子块数，R_i是子块的提取方式，T代表转置；残差图像与低分辨率插值放大后的结果相加可获得超分辨率图像；

(1)

由式(1)确定与测试图像子块欧氏距离最小的聚类中心C _s，通过聚类中心C _s找到相应的高、低分辨率字典，进行超分辨率重建；为了使字典能更好的匹配图像子块，防止“临界子块”影响重建结果，对由各“临界子块”重建的残差进行加权求和；这里的“临界子块”是指一个子块与两个或多个聚类中心的距离都很相近，“临界子块”判断规则为：计算子块与每个聚类中心的欧氏距离，记距离为d _j,下标j根据欧氏距离的大小排序，欧氏距离最小的为1，下标随欧氏距离增加依次递增，根据d ₁与d _j的比值确定子块是否临近，即：

(2)

式(2)中

为临界子块判断阈值；

为了将重建子块更好的重构，采用多个字典进行重建；对测试子块y _ti与多个聚类中心相近时，分别采用多个字典进行分解重构，最后根据y _ti与多个聚类中心的相近程度分配权值，对重建的残差进行加权求和，得到最终的高分辨率图像的残差子块；权重计算如式(3)-(5)所示；

(3)

(4)

(5)

2.根据权利要求1所述的一种基于残差的图像超分辨率重建方法，其特征在于：步骤(2)中由于K-均值聚类算法对初始值敏感，可能导致部分类别的样本个数过少，此时可将样本数目小于给定阈值的类别合并到与其聚类中心最近的类别中，并重新计算聚类中心，对于样本数目大于等于给定阈值的类别可以再次采用K-均值聚类算法进行细分。