CN106254720A - 一种基于联合正则化的视频超分辨率重建方法 - Google Patents

一种基于联合正则化的视频超分辨率重建方法 Download PDF

Info

Publication number
CN106254720A
CN106254720A CN201610567213.1A CN201610567213A CN106254720A CN 106254720 A CN106254720 A CN 106254720A CN 201610567213 A CN201610567213 A CN 201610567213A CN 106254720 A CN106254720 A CN 106254720A
Authority
CN
China
Prior art keywords
video
resolution
regularization
super
associating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610567213.1A
Other languages
English (en)
Other versions
CN106254720B (zh
Inventor
何小海
陈娣
王正勇
陈洪刚
张轶君
熊淑华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201610567213.1A priority Critical patent/CN106254720B/zh
Publication of CN106254720A publication Critical patent/CN106254720A/zh
Application granted granted Critical
Publication of CN106254720B publication Critical patent/CN106254720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于联合正则化的视频超分辨率的重建方法。包括以下步骤：建立低分辨率观察模型；通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；构建基于补偿的TV(CTV)正则化项以及赋予区域空间自适应加权系数以减小配准误差带来的不良影响；构建多幅非局部低秩(MNLR)正则化项；建立本发明基于联合正则化的视频超分辨率重建的代价函数；用Split‑Bregman迭代方法求解代价函数，重建出高分辨率视频。本发明所述的视频超分辨率重建方法重建出来的视频帧具有丰富的边缘信息，并且几乎没有锯齿效应，从视频重建帧可以看出本方法抑制噪声的能力也很好,在客观评价参数上具有很高的参考值。所以本发明是一种有效的视频超分辨率重建方法。

Description

一种基于联合正则化的视频超分辨率重建方法
技术领域
本发明设计一种基于联合正则化的视频超分辨率重建方法，尤其是本正则化项既考虑了视频帧内的相关性，又考虑到了视频帧间的相关性，能够在保持视频帧边缘细节信息的同时,很好的抑制噪声，属于数字图像处理领域。
背景技术
在获取视频的过程中，由于大气扰动、欠采样、***噪声以及光学与运动模糊等因素的影响，导致得到的视频质量退化，分辨率降低。随着人们对视频的清晰度的要求越来越高，如何提高视频的分辨率成为亟待解决的问题。超分辨率重建技术因不需要高昂的硬件成本就能具有良好的重建效果而受到国内外研究学者的广泛的关注，是近几年图像处理和计算机视觉等领域的研究热点。视频超分辨率重建时利用相似又不相同的连续低分辨率视频帧，通过视频帧之间的冗余信息、抑制噪声、减少模糊现象获得高分辨率视频帧。视频帧受到各种噪声或冗余信息的不足使超分辨率重建成为病态问题,因此通过正则化项约束高分辨率图像解空间的方法可以解决这个问题。Tikhonov正则化项实现简单，但是此正则化在约束噪声的同时模糊了图像边缘，这种方法会使重建的图像过于平滑。基于全变分(TV)和双边全变分(BTV)的正则化约束是较为普遍运用的图像先验模型，由于它们能够去除噪声的的同时重建出锐化的图像，保存图像边缘细节信息，但是当视频受到较大噪声影响时，在平坦区域处理效果不佳，容易产生伪边缘，在边缘区域也容易产生锯齿效应。
发明内容
本发明针对以上正则化的不足，提出了一种联合正则化方法，将基于补偿的的TV(CTV)与多幅非局部低秩正则化项结合起来，充分利用两种正则化的不同优点，在考虑到视频帧内相关性的同时，探索视频帧间的相关性，在正则化项中引入相邻视频帧之间的冗余信息。同时考虑到CTV中配准残差带来的不良影响，对CTV设计了区域空间信息滤波的加权系数，减小了配准残差对视频的重建的消极影响。使得重建算法在消除噪声的同时保持视频帧的边缘细节信息。
本发明提出基于联合正则化的视频超分辨率重建方法，主要包含以下操作步骤：
(1)建立低分辨率观察模型；
(2)通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；
(3)构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良影响；
(4)构建多幅非局部低秩(MNLR)正则化项；
(5)根据步骤(3)与步骤(4)中的正则化项，建立本发明基于联合正则化的视频超分辨率重建的代价函数；
(6)用Split-Bregman迭代方法求解代价函数，重建出高分辨率视频。
附图说明
图1是本发明基于联合正则化的视频超分辨率重建方法的框图
图2是本发明与四种方法对视频”Mobile”的第15帧的重建结果的对比图
图3是本发明与四种方法对视频”Grandma”的第15帧的重建结果对比图
图4是本发明与四种方法对视频”Akiyio”的第15帧的重建结果帧对比图
具体实施方式
基于联合正则化的视频重建方法主要包含以下步骤：
(1)建立低分辨率观察模型；
(2)通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；
(3)构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良影响；
(4)构建多幅非局部低秩(MNLR)正则化项；
(5)根据步骤(3)与步骤(4)中的正则化项，建立本发明基于联合正则化的视频超分辨率重建的代价函数；
(6)用Split-Bregman迭代方法求解代价函数。
具体的，所述步骤(1)中视频帧的低分辨率观察模型为：
yk＝DBfk+N 1≤k≤K, (1)
其中yk，fk分别为第k帧低分辨率视频帧与第k帧高分辨率视频帧，D为下采样因子，B为模糊因子，N为随机噪声，K为视频帧数。
所述步骤(2)中，在视频超分辨率重建时引入适当的先验信息来构造高分辨率视频的约束，来引导视频的超分辨率重建，可以通过基于正则化的最小均方方法来实现，公式如下：
其中，第一项为数据保真项，第二项为正则化项，λ为正则化的加权系数。
所述步骤(3)中构造基于补偿的TV(CTV)正则化项。该方法包含以下步骤：
第一步，假设对每一帧fk，有其中Qk-1，Bk+1分别表示以fk为参考帧对fk-1,fk+1的运动补偿操作，本发明使用光流法进行运动估计；
第二步，将参考帧与运动补偿后的相邻帧之间的残差设置在梯度域，公式如下：
其中G表示梯度操作，G＝[Gh,Gv],Gh与Gv分别表示水平和垂直方向的差分操作。
本发明中将残差设置在梯度域，而非与传统全变分(TV)一样将原始图像设置在梯度域，是因为如果运动估计足够精确，残差将会比原始图像更加的稀疏。
由于CTV依赖与视频帧的内容与相邻帧之间的差分，所以它对边缘不敏感。然而，相邻帧之间存在着复杂的局部运动，精确的运动配准很难获得，因此配准残差将会影响视频的重建结果。考虑到步骤(3)中sk的精确性，在梯度域中对每一sk添加一个区域空间自适应权重，使得CTV转换成为CATV,公式如下：
其中步骤Wk的求解步骤如下；
第一步，需要提取空间结构信息，由于对于高频成分，二阶导数可以区分图像边缘与噪声区域，所以将基于二阶导数的曲率差分边缘提取算子运用到正则化权重系数定义中。像素j点处的曲率差分为：
Cj＝||eηη|-|eεε||
其中，ex,ey分别为像素点处水平方向和垂直方向的一阶导数，exx,exy,eyy为像素处的二阶导数。
第二步，计算在像素点处的局部权重，公式如下：
其中，τ为常数，控制参数强度。
第三步，利用聚类算法，将wj划分M类，则图像被划分为不连续的区域，具有相似权重的像素则划分为相同的区域，每个区域的正则化强度由同一类的聚类中心rm(m＝1,...,M)控制。
第四步，计算最终的权重公式：
其中Γ1,Γ2分别代表图像的平滑区域与细节区域。
需要注意的是权重Wk(k＝1,...,K)是为梯度域中残差设计的，而非视频帧。
可以看出在边缘区域权重较小，因此具有较小的正则化约束，减小了配准误差对重建的影响，同时保持了重建的细节信息。在平坦区域，权重较大，有效的抑制噪声。
所述步骤(4)中，构建多幅非局部低秩(MNLR)正则化项的步骤为：
第一步，将视频帧划分成重叠的块，假设将在第k帧中，以像素j为中心，大小为n×n的图像块表示成为pk,j，以j为中心，确定搜索窗；
第二步，重复利用步骤(3)中的光流场，来引导在第(k-1)帧与第(k+1)帧中搜索窗的中心点位置。因此，确定了在第k帧中的搜索窗的中心点位置，就可以运用光流场中这一中心点的运动向量，找出相邻帧中对应搜索窗的中心点位置；
第三步，计算第(k-1)帧、k帧以及第(k+1)帧中搜索窗内中所有候选块与参考块pk,j之间的l2差分，找出pk,j块的Np个相似块；
第四步，将相似块分组，每个构建矩阵Xj,k，这个矩阵的每一列代表一个相似块。根据相似特性，这个矩阵具有低秩特性，但是由于噪声的干扰，这个特性被破坏了；
第五步，构建MNLR正则化项，公式如下：
其中，Sk,jF表示在(k-1)帧、k帧以及第(k+1)帧中寻k帧中以像素j为中心的参考块的相似块，并且Xj,k＝Sk,jF，Zk,j是一个低秩的近似Sk,jF的矩阵，λ是一个权衡参数。
步骤(5)中的代价函数为：
其中α,β,λ正则化参数，使用以下函数来代替Rank(Zk,j)：
δ是一个很小的常数，I表示单位矩阵，则代价方程转化成为了：
步骤(7)中使用联合正则化项的超分辨率重建的最优化算法的步骤如下：
第一步，增加一个变量d，使得将代价方程转换成为了以下公式：
第二步，使用Split-Bregman迭代算法求解以上问题，则代价函数可以分解为以下四个子问题：
第三步，分别求解以上四个的子问题：
1求解Z的子问题：
Zn+1＝U(Σ-λdiag(θn))+VT (16)
其中， 是的第l个特征值，Sk,jFn可以进行特征值分解为UΣVT，并且(x)+＝max(x,0)。
2求解F的子问题：
此处用共轭梯度法(CG)求解。
3求解d的子问题：
其中，
为了说明本发明的有效性，本发明将选取3个测试视频进行实验，即“Mobile”“Grandma”以及“Akiyo”。首先将视频用大小5×5，方差为1的模糊核进行模糊，然后进行下采样，最后加入方差为3的零均值高斯噪声，生成低分辨率视频。对比方法选取双三次插值Bicubic以及3种视频超分辨率重建方法。实验结果如图2、图3以及图4所示，(b)到(f)分别代表双三次插值图像、方法1、方法2、方法3以及本发明重建出的视频帧。
三种视频超分辨率重建算法分别为：
方法一：软件算法，Infognition Video Enhancer[EB/OL],vol.5,no.1,2014.
http://www.infognition.com/videoenhancer/.
方法二：Yuan等人提出的方法。参考文献“Q.Yuan，L.Zhang，H.Shen."Regionalspatially adaptive total variation super-resolution with spatial informationfiltering and clustering."IEEE Transactions on Image Processing,vol.22,no.6,pp.2327-2342,2013.”。
方法三：Turgay等人提出的方法。参考文献“E.Turgay，G.B.Akar."Texture andedge preserving multiframe super-resolution."Image Processing,IET,vol.8,no.9,pp.499-508,2014.”。
对比实验的内容如下：
实验1是用Bicubic方法对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建，实验结果如图2(b)、图3(b)以及图4(b)所示。
实验2是用方法1对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建，实验结果如图2(c)、图3(c)以及图4(c)所示。
实验3是用方法2对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建，实验结果如图2(d)、图3(d)以及图4(d)所示。
实验4是用法3对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建，实验结果如图2(e)、图3(e)以及图4(e)所示。
实验5是用本发明对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建，实验结果如图2(f)、图3(f)以及图4(f)所示。
几组对比对比实验表明，Bicubic重建的到的视频帧非常模糊，边缘有锯齿效应，视频帧中噪声仍然严重；方法1重建的方法仍然不能克服重建的视频帧整体上仍然模糊且噪声严重的缺点；从方法2重建得到的视频帧可以看出方法2去噪效果比较好，但是在边缘部分仍然有锯齿效应；方法3重建得到的视频帧在边缘锐化，但是噪声现象仍然严重；运用本发明重建得到的视频帧，无论在去除噪声方面还是保持边缘方面都得到了好的结果。
为了客观的评价本发明的有效性，以峰值信噪比(PSNR：Peak Signal to NoiseRatio)和结构相似度(SSIM：Structure Similarity Index)作为客观评价评价标准，表一展示了各种算法的平均PSNR与平均SSIM。
表一说明了对两种客观标准,本发明具有最高的值，对于视频“Mobile”、“Grandma”以及“Akiyo”本发明的平均PSNR值比方法2分别高出1.09dB、1.63dB以及2.01dB,平均SSIM值比方法2分别高出0.0303、0.0121以及0.0192。
综上所述，本发明无论在主观视觉或是在客观评价标准都有明显的优势。因此本发明是一种有效的视频超分辨率重建方法。
表一

Claims (3)

1.一种基于联合正则化的视频超分辨率重建方法，主要包含以下操作步骤：
步骤一：建立低分辨率观察模型；
步骤二：通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；
步骤三：构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良影响；
步骤四：构建多幅非局部低秩(MNLR)正则化项；
步骤五：根据步骤三与步骤四中的正则化项，建立本发明基于联合正则化的视频超分辨率重建的代价函数；
步骤六：用Split-Bregman迭代方法求解代价函数,重建出高分辨率视频。
2.根据权利要求1所述的一种基于联合正则化的视频超分辨率重建，其特征在于步骤三、步骤四中将基于运动补偿的TV正则化项与多幅非局部低秩(MNLR)正则化项相结合作为视频超分辨率重建的先验约束进行超分辨率重建。
3.根据权利要求1的要求所述的一种基于联合正则化的视频超分辨率重建，其特征在于步骤三中由于精确的运动估计很难获得，配准误差在CTV中无法避免，因此以基于空间信息滤波与分类的加权系数来减少CTV中配准误差带来的消极影响，在配准误差高的区域配置小的权重，减小CTV的正则化约束，在配准误差低的区域配置大的权重，以此重建出高分辨率的视频。
CN201610567213.1A 2016-07-19 2016-07-19 一种基于联合正则化的视频超分辨率重建方法 Active CN106254720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610567213.1A CN106254720B (zh) 2016-07-19 2016-07-19 一种基于联合正则化的视频超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610567213.1A CN106254720B (zh) 2016-07-19 2016-07-19 一种基于联合正则化的视频超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN106254720A true CN106254720A (zh) 2016-12-21
CN106254720B CN106254720B (zh) 2019-07-09

Family

ID=57613338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610567213.1A Active CN106254720B (zh) 2016-07-19 2016-07-19 一种基于联合正则化的视频超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN106254720B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194889A (zh) * 2017-05-11 2017-09-22 西安电子科技大学 分块双边全变分正则化图像噪声消除方法
CN108416371A (zh) * 2018-02-11 2018-08-17 艾视医疗科技成都有限公司 一种糖尿病性视网膜病变自动检测方法
CN108765322A (zh) * 2018-05-16 2018-11-06 上饶师范学院 图像去噪方法及装置
CN110208211A (zh) * 2019-07-03 2019-09-06 南京林业大学 一种用于农药残留检测的近红外光谱降噪方法
CN113034640A (zh) * 2021-03-26 2021-06-25 浙江工业大学 一种联合双边全变分与非局部低秩正则的压缩感知图像重构方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971354A (zh) * 2014-05-19 2014-08-06 四川大学 低分辨率红外图像重建高分辨率红外图像的方法
CN104463793A (zh) * 2014-11-12 2015-03-25 合肥工业大学 一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其***
US20170011710A1 (en) * 2014-01-21 2017-01-12 Nvidia Corporation Unified optimization method for end-to-end camera image processing for translating a sensor captured image to a display image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011710A1 (en) * 2014-01-21 2017-01-12 Nvidia Corporation Unified optimization method for end-to-end camera image processing for translating a sensor captured image to a display image
CN103971354A (zh) * 2014-05-19 2014-08-06 四川大学 低分辨率红外图像重建高分辨率红外图像的方法
CN104463793A (zh) * 2014-11-12 2015-03-25 合肥工业大学 一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194889A (zh) * 2017-05-11 2017-09-22 西安电子科技大学 分块双边全变分正则化图像噪声消除方法
CN107194889B (zh) * 2017-05-11 2021-02-02 西安电子科技大学 分块双边全变分正则化图像噪声消除方法
CN108416371A (zh) * 2018-02-11 2018-08-17 艾视医疗科技成都有限公司 一种糖尿病性视网膜病变自动检测方法
CN108765322A (zh) * 2018-05-16 2018-11-06 上饶师范学院 图像去噪方法及装置
CN108765322B (zh) * 2018-05-16 2021-04-27 上饶师范学院 图像去噪方法及装置
CN110208211A (zh) * 2019-07-03 2019-09-06 南京林业大学 一种用于农药残留检测的近红外光谱降噪方法
CN110208211B (zh) * 2019-07-03 2021-10-22 南京林业大学 一种用于农药残留检测的近红外光谱降噪方法
CN113034640A (zh) * 2021-03-26 2021-06-25 浙江工业大学 一种联合双边全变分与非局部低秩正则的压缩感知图像重构方法

Also Published As

Publication number Publication date
CN106254720B (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN107194904B (zh) 基于增补机制和pcnn的nsct域图像融合方法
Ellmauthaler et al. Multiscale image fusion using the undecimated wavelet transform with spectral factorization and nonorthogonal filter banks
CN106254720A (zh) 一种基于联合正则化的视频超分辨率重建方法
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
CN103208102A (zh) 一种基于稀疏表示的遥感图像融合方法
CN103093433B (zh) 基于区域划分和字典学习的自然图像去噪方法
CN104574336B (zh) 基于自适应亚模字典选择的超分辨率图像重建***
CN105550989B (zh) 基于非局部高斯过程回归的图像超分辨方法
CN102902961A (zh) 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法
CN105046672A (zh) 一种图像超分辨率重建方法
CN102722876A (zh) 一种基于残差的图像超分辨率重建方法
CN107085835B (zh) 基于四元数加权核范数最小的彩色图像去噪方法
CN110473142A (zh) 基于深度学习的单幅图像超分辨率重建方法
CN110211084B (zh) 一种基于权重小波变换的图像多分辨率重建方法
CN109447903B (zh) 一种半参考型超分辨率重构图像质量评价模型的建立方法
CN108280804A (zh) 一种多帧图像超分辨率重建方法
CN107292316B (zh) 一种基于稀疏表示的提升图像清晰度的方法
CN104063849A (zh) 基于图像块自适应配准的视频超分辨重建方法
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN104021523A (zh) 一种基于边缘分类的图像超分辨率放大的新方法
CN108460723A (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
CN108492252A (zh) 基于二次重建的人脸图像超分辨率重建方法
Lepcha et al. An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant