CN106254720B - 一种基于联合正则化的视频超分辨率重建方法 - Google Patents
一种基于联合正则化的视频超分辨率重建方法 Download PDFInfo
- Publication number
- CN106254720B CN106254720B CN201610567213.1A CN201610567213A CN106254720B CN 106254720 B CN106254720 B CN 106254720B CN 201610567213 A CN201610567213 A CN 201610567213A CN 106254720 B CN106254720 B CN 106254720B
- Authority
- CN
- China
- Prior art keywords
- video
- regularization
- resolution
- super
- joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000694 effects Effects 0.000 claims abstract description 12
- 230000002411 adverse Effects 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 230000000474 nursing effect Effects 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000002939 conjugate gradient method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- RAPBNVDSDCTNRC-UHFFFAOYSA-N Chlorobenzilate Chemical compound C=1C=C(Cl)C=CC=1C(O)(C(=O)OCC)C1=CC=C(Cl)C=C1 RAPBNVDSDCTNRC-UHFFFAOYSA-N 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
- H04N5/213—Circuitry for suppressing or minimising impulsive noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于联合正则化的视频超分辨率的重建方法。包括以下步骤:建立低分辨率观察模型;通过基于正则化的最小均方方法,建立一个通用的视频重建的代价函数;构建基于补偿的TV(CTV)正则化项以及赋予区域空间自适应加权系数以减小配准误差带来的不良影响;构建多幅非局部低秩(MNLR)正则化项;建立本发明基于联合正则化的视频超分辨率重建的代价函数;用Split‑Bregman迭代方法求解代价函数,重建出高分辨率视频。本发明所述的视频超分辨率重建方法重建出来的视频帧具有丰富的边缘信息,并且几乎没有锯齿效应,从视频重建帧可以看出本方法抑制噪声的能力也很好,在客观评价参数上具有很高的参考值。所以本发明是一种有效的视频超分辨率重建方法。
Description
技术领域
本发明设计一种基于联合正则化的视频超分辨率重建方法,尤其是本正则化项既考虑了视频帧内的相 关性,又考虑到了视频帧间的相关性,能够在保持视频帧边缘细节信息的同时,很好的抑制噪声,属于数 字图像处理领域。
背景技术
在获取视频的过程中,由于大气扰动、欠采样、***噪声以及光学与运动模糊等因素的影响,导致得 到的视频质量退化,分辨率降低。随着人们对视频的清晰度的要求越来越高,如何提高视频的分辨率成为 亟待解决的问题。超分辨率重建技术因不需要高昂的硬件成本就能具有良好的重建效果而受到国内外研究 学者的广泛的关注,是近几年图像处理和计算机视觉等领域的研究热点。视频超分辨率重建时利用相似又 不相同的连续低分辨率视频帧,通过视频帧之间的冗余信息、抑制噪声、减少模糊现象获得高分辨率视频 帧。视频帧受到各种噪声或冗余信息的不足使超分辨率重建成为病态问题,因此通过正则化项约束高分辨 率图像解空间的方法可以解决这个问题。Tikhonov正则化项实现简单,但是此正则化在约束噪声的同时模 糊了图像边缘,这种方法会使重建的图像过于平滑。基于全变分(TV)和双边全变分(BTV)的正则化约 束是较为普遍运用的图像先验模型,由于它们能够去除噪声的的同时重建出锐化的图像,保存图像边缘细 节信息,但是当视频受到较大噪声影响时,在平坦区域处理效果不佳,容易产生伪边缘,在边缘区域也容 易产生锯齿效应。
发明内容
本发明针对以上正则化的不足,提出了一种联合正则化方法,将基于补偿的的TV(CTV)与多幅非 局部低秩正则化项结合起来,充分利用两种正则化的不同优点,在考虑到视频帧内相关性的同时,探索视 频帧间的相关性,在正则化项中引入相邻视频帧之间的冗余信息。同时考虑到CTV中配准残差带来的不 良影响,对CTV设计了区域空间信息滤波的加权系数,减小了配准残差对视频的重建的消极影响。使得 重建算法在消除噪声的同时保持视频帧的边缘细节信息。
本发明提出基于联合正则化的视频超分辨率重建方法,主要包含以下操作步骤:
(1)建立低分辨率观察模型;
(2)通过基于正则化的最小均方方法,建立一个通用的视频重建的代价函数;
(3)构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良 影响;
(4)构建多幅非局部低秩(MNLR)正则化项;
(5)根据步骤(3)与步骤(4)中的正则化项,建立本发明基于联合正则化的视频超分辨率重建的 代价函数;
(6)用Split-Bregman迭代方法求解代价函数,重建出高分辨率视频。
附图说明
图1是本发明基于联合正则化的视频超分辨率重建方法的框图
图2是本发明与四种方法对视频“Mobile”的第15帧的重建结果对比图
图3是本发明与四种方法对视频“Grandma”的第15帧的重建结果对比图
图4是本发明与四种方法对视频“Akiyio”的第15帧的重建结果对比图
具体实施方式
基于联合正则化的视频重建方法主要包含以下步骤:
(1)建立低分辨率观察模型;
(2)通过基于正则化的最小均方方法,建立一个通用的视频重建的代价函数;
(3)构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良 影响;
(4)构建多幅非局部低秩(MNLR)正则化项;
(5)根据步骤(3)与步骤(4)中的正则化项,建立本发明基于联合正则化的视频超分辨率重建的 代价函数;
(6)用Split-Bregman迭代方法求解代价函数。
具体的,所述步骤(1)中视频帧的低分辨率观察模型为:
yk=DBfk+N 1≤k≤K, (1)
其中yk,fk分别为第k帧低分辨率视频帧与第k帧高分辨率视频帧,D为下采样因子,B为模糊因子,N 为随机噪声,K为视频帧数。
所述步骤(2)中,在视频超分辨率重建时引入适当的先验信息来构造高分辨率视频的约束,来引导 视频的超分辨率重建,可以通过基于正则化的最小均方方法来实现,公式如下:
其中,第一项为数据保真项,第二项为正则化项,λ为正则化的加权系数。
所述步骤(3)中构造基于补偿的TV(CTV)正则化项。该方法包含以下步骤:
第一步,假设对每一帧fk,有其中Qk-1,Bk+1分别表示以fk为参考帧对 fk-1,fk+1的运动补偿操作,本发明使用光流法进行运动估计;
第二步,将参考帧与运动补偿后的相邻帧之间的残差设置在梯度域,公式如下:
其中G表示梯度操作,G=[Gh,Gv],Gh与Gv分别表示水平和垂直方向的差分操作。
本发明中将残差设置在梯度域,而非与传统全变分(TV)一样将原始图像设置在梯度域,是因为如果 运动估计足够精确,残差将会比原始图像更加的稀疏。
由于CTV依赖与视频帧的内容与相邻帧之间的差分,所以它对边缘不敏感。然而,相邻帧之间存在 着复杂的局部运动,精确的运动配准很难获得,因此配准残差将会影响视频的重建结果。考虑到步骤(3) 中sk的精确性,在梯度域中对每一sk添加一个区域空间自适应权重,使得CTV转换成为CATV,公式如下:
其中步骤Wk的求解步骤如下;
第一步,需要提取空间结构信息,由于对于高频成分,二阶导数可以区分图像边缘与噪声区域,所以 将基于二阶导数的曲率差分边缘提取算子运用到正则化权重系数定义中。像素j点处的曲率差分为:
Cj=||eηη|-|eεε||
其中,ex,ey分别为像素点处水平方向和垂直方向的一阶导数,exx,exy,eyy为像素处的二阶导数。
第二步,计算在像素点处的局部权重,公式如下:
其中,τ为常数,控制参数强度。
第三步,利用聚类算法,将wj划分M类,则图像被划分为不连续的区域,具有相似权重的像素则划 分为相同的区域,每个区域的正则化强度由同一类的聚类中心rm(m=1,...,M)控制。
第四步,计算最终的权重公式:
其中Γ1,Γ2分别代表图像的平滑区域与细节区域。
需要注意的是权重Wk(k=1,...,K)是为梯度域中残差设计的,而非视频帧。
可以看出在边缘区域权重较小,因此具有较小的正则化约束,减小了配准误差对重建的影响,同时保 持了重建的细节信息。在平坦区域,权重较大,有效的抑制噪声。
所述步骤(4)中,构建多幅非局部低秩(MNLR)正则化项的步骤为:
第一步,将视频帧划分成重叠的块,假设将在第k帧中,以像素j为中心,大小为n×n的图像块表示 成为pk,j,以j为中心,确定搜索窗;
第二步,重复利用步骤(3)中的光流场,来引导在第(k-1)帧与第(k+1)帧中搜索窗的中心点位置。 因此,确定了在第k帧中的搜索窗的中心点位置,就可以运用光流场中这一中心点的运动向量,找出相邻 帧中对应搜索窗的中心点位置;
第三步,计算第(k-1)帧、k帧以及第(k+1)帧中搜索窗内中所有候选块与参考块pk,j之间的l2差分, 找出pk,j块的Np个相似块;
第四步,将相似块分组,每个构建矩阵Xj,k,这个矩阵的每一列代表一个相似块。根据相似特性,这 个矩阵具有低秩特性,但是由于噪声的干扰,这个特性被破坏了;
第五步,构建MNLR正则化项,公式如下:
其中,Sk,jF表示在(k-1)帧、k帧以及第(k+1)帧中寻k帧中以像素j为中心的参考块的相似块,并且 Xj,k=Sk,jF,Zk,j是一个低秩的近似Sk,jF的矩阵,λ是一个权衡参数。
步骤(5)中的代价函数为:
其中α,β,λ正则化参数,使用以下函数来代替Rank(Zk,j):
δ是一个很小的常数,I表示单位矩阵,则代价方程转化成为了:
步骤(7)中使用联合正则化项的超分辨率重建的最优化算法的步骤如下:
第一步,增加一个变量d,使得将代价方程转换成为了以下公式:
第二步,使用Split-Bregman迭代算法求解以上问题,则代价函数可以分解为以下四个子问题:
第三步,分别求解以上四个的子问题:
1求解Z的子问题:
Zn+1=U(Σ-λdiag(θn))+VT (16)
其中, 是的第l个特征值,Sk,jFn可以进行特征值分解为UΣVT,并且 (x)+=max(x,0)。
2求解F的子问题:
此处用共轭梯度法(CG)求解。
3求解d的子问题:
其中,
为了说明本发明的有效性,本发明将选取3个测试视频进行实验,即“Mobile”“Grandma”以及“Akiyo”。 首先将视频用大小5×5,方差为1的模糊核进行模糊,然后进行下采样,最后加入方差为3的零均值高斯 噪声,生成低分辨率视频。对比方法选取双三次插值Bicubic以及3种视频超分辨率重建方法。实验结果 如图2、图3以及图4所示,(b)到(f)分别代表双三次插值图像、方法1、方法2、方法3以及本发明 重建出的视频帧。
三种视频超分辨率重建算法分别为:
方法一:软件算法,Infognition Video Enhancer[EB/OL],vol.5,no.1,2014.
http://www.infognition.com/videoenhancer/.
方法二:Yuan等人提出的方法。参考文献“Q.Yuan,L.Zhang,H.Shen."Regionalspatially adaptive total variation super-resolution with spatial informationfiltering and clustering."IEEE Transactions on Image Processing,vol.22,no.6,pp.2327-2342,2013.”。
方法三:Turgay等人提出的方法。参考文献“E.Turgay,G.B.Akar."Texture andedge preserving multiframe super-resolution."Image Processing,IET,vol.8,no.9,pp.499-508,2014.”。
对比实验的内容如下:
实验1是用Bicubic方法对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分 辨率重建,实验结果如图2(b)、图3(b)以及图4(b)所示。
实验2是用方法1对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重 建,实验结果如图2(c)、图3(c)以及图4(c)所示。
实验3是用方法2对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重 建,实验结果如图2(d)、图3(d)以及图4(d)所示。
实验4是用法3对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建, 实验结果如图2(e)、图3(e)以及图4(e)所示。
实验5是用本发明对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重 建,实验结果如图2(f)、图3(f)以及图4(f)所示。
几组对比对比实验表明,Bicubic重建的到的视频帧非常模糊,边缘有锯齿效应,视频帧中噪声仍然严 重;方法1重建的方法仍然不能克服重建的视频帧整体上仍然模糊且噪声严重的缺点;从方法2重建得到 的视频帧可以看出方法2去噪效果比较好,但是在边缘部分仍然有锯齿效应;方法3重建得到的视频帧在 边缘锐化,但是噪声现象仍然严重;运用本发明重建得到的视频帧,无论在去除噪声方面还是保持边缘方 面都得到了好的结果。
为了客观的评价本发明的有效性,以峰值信噪比(PSNR:Peak Signal to NoiseRatio)和结构相似度 (SSIM:Structure Similarity Index)作为客观评价评价标准,表一展示了各种算法的平均PSNR与平均 SSIM。
表一说明了对两种客观标准,本发明具有最高的值,对于视频“Mobile”、“Grandma”以及“Akiyo”本发 明的平均PSNR值比方法2分别高出1.09dB、1.63dB以及2.01dB,平均SSIM值比方法2分别高出0.0303、 0.0121以及0.0192。
综上所述,本发明无论在主观视觉或是在客观评价标准都有明显的优势。因此本发明是一种有效的视 频超分辨率重建方法。
表一
Claims (3)
1.一种基于联合正则化的视频超分辨率重建方法,主要包含以下操作步骤:
步骤一:建立低分辨率观察模型;
步骤二:通过基于正则化的最小均方方法,建立一个通用的视频重建的代价函数;
步骤三:构建基于运动补偿的全变分CTV正则化项并赋予区域空间自适应加权系数以减小配准误差的不良影响;
步骤四:构建多幅非局部低秩MNLR正则化项;
步骤五:根据步骤三与步骤四中的正则化项,建立本发明基于联合正则化的视频超分辨率重建的代价函数;
步骤六:用Split-Bregman迭代方法求解代价函数,重建出高分辨率视频。
2.根据权利要求1所述的一种基于联合正则化的视频超分辨率重建方法,其特征在于步骤三、步骤四中将基于运动补偿的全变分正则化项与多幅非局部低秩MNLR正则化项相结合作为视频超分辨率重建的先验约束进行超分辨率重建。
3.根据权利要求1所述的一种基于联合正则化的视频超分辨率重建方法,其特征在于步骤三中由于精确的运动估计很难获得,配准误差在CTV中无法避免,因此以基于空间信息滤波与分类的加权系数来减少CTV中配准误差带来的消极影响,在配准误差高的区域配置小的权重,减小CTV的正则化约束,在配准误差低的区域配置大的权重,以此重建出高分辨率的视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610567213.1A CN106254720B (zh) | 2016-07-19 | 2016-07-19 | 一种基于联合正则化的视频超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610567213.1A CN106254720B (zh) | 2016-07-19 | 2016-07-19 | 一种基于联合正则化的视频超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106254720A CN106254720A (zh) | 2016-12-21 |
CN106254720B true CN106254720B (zh) | 2019-07-09 |
Family
ID=57613338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610567213.1A Active CN106254720B (zh) | 2016-07-19 | 2016-07-19 | 一种基于联合正则化的视频超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106254720B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107194889B (zh) * | 2017-05-11 | 2021-02-02 | 西安电子科技大学 | 分块双边全变分正则化图像噪声消除方法 |
CN108416371A (zh) * | 2018-02-11 | 2018-08-17 | 艾视医疗科技成都有限公司 | 一种糖尿病性视网膜病变自动检测方法 |
CN108765322B (zh) * | 2018-05-16 | 2021-04-27 | 上饶师范学院 | 图像去噪方法及装置 |
CN110208211B (zh) * | 2019-07-03 | 2021-10-22 | 南京林业大学 | 一种用于农药残留检测的近红外光谱降噪方法 |
CN113034640A (zh) * | 2021-03-26 | 2021-06-25 | 浙江工业大学 | 一种联合双边全变分与非局部低秩正则的压缩感知图像重构方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971354A (zh) * | 2014-05-19 | 2014-08-06 | 四川大学 | 低分辨率红外图像重建高分辨率红外图像的方法 |
CN104463793A (zh) * | 2014-11-12 | 2015-03-25 | 合肥工业大学 | 一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9558712B2 (en) * | 2014-01-21 | 2017-01-31 | Nvidia Corporation | Unified optimization method for end-to-end camera image processing for translating a sensor captured image to a display image |
-
2016
- 2016-07-19 CN CN201610567213.1A patent/CN106254720B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971354A (zh) * | 2014-05-19 | 2014-08-06 | 四川大学 | 低分辨率红外图像重建高分辨率红外图像的方法 |
CN104463793A (zh) * | 2014-11-12 | 2015-03-25 | 合肥工业大学 | 一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其*** |
Also Published As
Publication number | Publication date |
---|---|
CN106254720A (zh) | 2016-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106254720B (zh) | 一种基于联合正则化的视频超分辨率重建方法 | |
Zhang et al. | Image super-resolution based on structure-modulated sparse representation | |
Kang et al. | Learning-based joint super-resolution and deblocking for a highly compressed image | |
CN102800071B (zh) | 序列图像pocs超分辨率重建方法 | |
CN107610049B (zh) | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 | |
CN102902961B (zh) | 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 | |
CN103871041B (zh) | 基于认知正则化参数构建的图像超分辨率重构方法 | |
CN103136734B (zh) | 一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法 | |
JP2011512086A (ja) | 空間処理及び時間処理を用いた、ビデオシーケンス中の雑音及びちらつきの少なくとも一方の低減 | |
CN107292819A (zh) | 一种基于边缘细节保护的红外图像超分辨率重建方法 | |
Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
CN104063849A (zh) | 基于图像块自适应配准的视频超分辨重建方法 | |
López-Tapia et al. | A single video super-resolution GAN for multiple downsampling operators based on pseudo-inverse image formation models | |
CN112184549A (zh) | 基于时空变换技术的超分辨图像重建方法 | |
Li et al. | Space–time super-resolution with patch group cuts prior | |
CN107590781A (zh) | 基于原始对偶算法的自适应加权tgv图像去模糊方法 | |
CN106846286B (zh) | 基于多种互补先验的视频超分辨率重建算法 | |
Cheng et al. | Classification-based video super-resolution using artificial neural networks | |
Zhang et al. | Deep residual network based medical image reconstruction | |
Tun et al. | Joint Training of Noisy Image Patch and Impulse Response of Low-Pass Filter in CNN for Image Denoising | |
CN114119369A (zh) | 自动整体约束的超分辨率图像梯度重构方法 | |
Lee et al. | Efficient Low Light Video Enhancement Based on Improved Retinex Algorithms | |
Nawaz et al. | Image super resolution by sparse linear regression and iterative back projection | |
Shi et al. | Blind multi-image super-resolution based on combination of ANN learning and non-subsampled Contourlet directional image representation | |
Aguena et al. | Generalization of iterative restoration techniques for super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |