CN103824273A - 基于复合运动和自适应非局部先验的超分辨率重建方法 - Google Patents
基于复合运动和自适应非局部先验的超分辨率重建方法 Download PDFInfo
- Publication number
- CN103824273A CN103824273A CN201410103217.5A CN201410103217A CN103824273A CN 103824273 A CN103824273 A CN 103824273A CN 201410103217 A CN201410103217 A CN 201410103217A CN 103824273 A CN103824273 A CN 103824273A
- Authority
- CN
- China
- Prior art keywords
- image
- motion
- reference frame
- parameter
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种基于复合运动和自适应非局部先验的超分辨率重建方法,包括如下步骤:在p幅低分辨率图像中选取参考帧图像和非参考帧图像;采用全局运动参数和局部光流的方法进行图像配准,得到非参考帧图像相对于参考帧图像的运动场mk(x),利用mk(x)构建出运动变换矩阵Mk;计算参考帧图像的插值图像、非局部先验参数hi,j和欧式阈值;计算每个像素与其他像素的相似度权重wNLM[i,j;s,t],利用wNLM构建关于高分辨率图像X的非局部权重矩阵S;利用运动变换矩阵Mk和非局部权重矩阵S求解目标泛函得到重建的高分辨率估计图像。相对于现有技术,本发明通过采用复合运动模型,有效地解决了目前运动估计的计算量大,可伸缩性不强、精度不高的缺点,采用自适应的非局部先验减少了重建图像的失真。
Description
技术领域
本发明涉及图像处理、计算机视觉的技术领域,特别是涉及图像清晰化领域中的一种提高图像的空间分辨率的基于复合运动和自适应非局部先验的超分辨图像重建方法。
背景技术
在成像领域中,高空间分辨率的图像一直是追求的目标之一。高空间分辨率的图像充分地记录了物体的细节信息,能够给人和计算机的推理、判断、决策提供更加丰富的信息。因此,在许多成像应用中,高分辨率的图像通常是非常必要的,比如:视频监控、医学诊断、军事侦察、遥感等应用。提高图像的空间分辨率可以通过两种途径,“硬件途径”和“软件途径”。常规情况下,人们主要通过改进高精度的CCD和CMOS传感器等硬件设备来获取高分辨的图像。但是,单纯地通过改进硬件设施来提高分辨率会受到诸多限制,比如传感器的电荷转移率、热噪声,光学镜头的瑞利熵,以及硬件费用等限制。因此,出于硬件设备和经济上的考虑,“软件途径”成为了一种更加可行的方案。1984年Tsai和Huang首先提出超分辨重建问题便是从“软件途径”,通过发展理论、算法来提高图像的空间分辨率,已成为图像处理领域最为活跃的研究方向之一。近年来,一些学者将超分辨率重建分为基于多帧的超分辨率重建和基于学习的超分辨率重建。本发明是一种基于多帧的超分辨重建方法。
对基于多帧的超分辨率重建又可以分为基于频域和基于空域的重建方法。最新的基于频域的重建方法是1999年Rhee和Kang提出的基于离散余弦变换重建方法,以及Chan在2003年提出的基于小波变换的重建方法。基于频域的重建方法优势是理论简洁、计算简单,但劣势在于多帧之间的相对运动只能是全局相似运动,且只适用于图像的模糊是线性时不变的情况。因此针对这些劣势,基于空域的重建方法产生了许多经典的超分辨重建方法,如非均匀内插法、迭代反投影法、凸集投影法、最大似然法、最大后验法、混合最大后验/凸集投影法。本发明是一种基于最大后验估计的重建方法。
在基于最大后验的估计方法中,运动估计和先验项设计是两项非常重要的任务。在大多数情况下,图像超分辨率所需的运动矢量为未知,为了求解这些运动矢量,可以有两种思路:一种思路是先求解这些运动矢量然后再进行超分辨率重建,虽然这种分开求解的方式计算非常简单,但是都各自存在着很大的局限性;另一种思路是运动矢量和超分辨图像进行联合求解,这类方法比单独分开求解方法的运动估计精确,重建效果好,但缺点是求解速度慢,很难用于实际应用。针对运动矢量的估计,又可分为基于参数模型的和基于光流的运动估计。基于参数模型的运动估计比较简单,但伸缩性低;而基于光流的运动估计伸缩性高,但估计精度低,重建效果不理想。为此,本发明基于分开求解运动矢量和超分辨图像的思路,提出了一种具有很高伸缩性和估计精度的、低运算量的复合运动模型。
针对先验项,也即正则项设计,国内外文献中已经提出了许多先验项,包括Tikhonov先验、Huber先验、TV先验、BTV先验等。这些先验都是基于图像邻域差分进行描述的,未能准确地描述出自然图像的先验信息,导致重建图像失真。最近,基于自然图像中存在着大量冗余重复的图像结构的事实,国际上提出了一种非局部先验,并成功应用于图像反卷积。但是,由于非局部先验中存在做许多需要人为调节的参数,不能做到参数的自适应。
发明内容
针对现有技术存在的问题,本发明的主要目的在于提供一种降低计算量、提高图像精度的基于复合运动和自适应非局部先验的超分辨率重建方法。
为实现上述目的,本发明提供了一种基于复合运动和自适应非局部先验的超分辨率重建方法的实施例,高分辨率图像X经过降质过程获取p幅低分辨率观测图像Yk(k=,…,p),每幅观测图像的大小为m×n,该利用p幅低分辨率观测图像Yk(k=1,…,p)重建高分辨率估计图像的超分辨率重建方法包括如下步骤(1)至步骤(5):
(1)在p幅低分辨率观测图像中选取参考帧图像Yref(1≤ref≤p)和非参考帧图像Yk(k=1,…,ref-1,ref+1,…,p),针对参考帧图像和非参考帧图像之间的亚像素运动采用全局参数运动和局部光流的复合运动模型,参考帧图像与非参考帧图像之间的关系表示为: 其中mk表示二维运动场,表示全局参数运动,为局部光流运动,θk为全局运动参数,表示用非参考帧图像预测的参考帧图像,εk(x)表示残差图像;
(2)求解全局运动参数θk=(a0,a1,a2,a3,a4,a5)和局部光流,采用全局运动参数θk=(a0,a1,2,a3,a4,a5)和局部光流的方法进行图像配准,得到非参考帧图像相对于参考帧图像的运动场mk(x),利用mk(x)构建出运动变换矩阵Mk;
(3)计算参考帧图像Yref的r倍插值图像、非局部先验参数i,j(0≤i<rm,0≤j<rn)和相似图像的欧式阈值;
(4)利用非局部先验参数、欧式阈值,且以插值图像作为高分辨图像X的初始图像,计算出插值图像中每个像素点(i,j)(其中0≤i<rm,0≤j<rn)与其他像素点(s,t)(其中0≤s<rm,0≤t<rn)的相似度权重wNLM[i,j;s,t],利用相似度权重wNLM构建非局部权重矩阵S;
(5)利用运动变换矩阵Mk和非局部权重矩阵S求解目标泛函 其中Bk为观测图像Yk对应的降晰函数,Mk为观测图像Yk相对于参考帧图像的亚像素运动,非局部权重矩阵S是一个自适应高分辨率图像X的非局部均值滤波器,且ρ>0,采用共轭梯度迭代法最小化目标泛函,得到重建的高分辨率估计图像。
进一步地,该步骤(1)针对参考帧图像和非参考帧图像之间的亚像素运动采用全局参数运动和局部光流的复合运动模型,其中运动向量为mk(x)=[mk,u(x)mk,v(x)],x=[xuxv],二维运动场mk表示为mk(x)=mk g(x)+mk l(x)=mk g(x;θk)+mk l(x),其中表示全局参数运动,为局部光流运动,θk为全局运动参数。
更进一步地,该步骤(2)求解全局运动参数θk=(a0,a1,a2,a3,a4,a5)包括如下步骤(21A)至步骤(22A):
(21A)采用a0,a1,a2,a3,a4,a5六个参数的仿射变换作为全局参数运动模型:
(22A)建立最小二乘标准求解全局运动参数θk=(a0,a1,a2,a3,a4,a5)。该步骤(22A)建立最小二乘标准求解全局运动参数θk=(a0,a1,a2,a3,a4,a5)包括如下步骤(221A)至步骤(224A):(221A)将θk写成θk+Δθ;(222A)对最小二乘目标泛函进行泰勒展开得到关于Δθ的线性函数;(223A)对展开后的函数进行一系列运算操作得到 其中 (224A)判断是否符合||Δθ||≤∈,阈值0≤∈≤0.01,若不符合,则θk←θk+Δθ,并返回步骤(223A);若符合,则表明参数θk收敛,停止迭代,得到全局运动参数θk=(a0,a1,a2,a3,a4,a5),最后可以得到全局参数运动
更进一步地,该步骤(2)求解局部光流包括如下步骤(21B)至步骤(24B):
(22B)根据图像分段平滑性假设得到平滑惩罚函数
(23B)得到整个能量函数为E(u,v)=EData+αESmooth,其中α>0为正则化参数;
更进一步地,该步骤(2)利用mk(x)构建出运动变换矩阵Mk包含如下步骤(21C)至步骤(23C):
(21C)计算非参考帧图像相对于参考帧图像的运动场mk(x)=mk g(x)+mk l(x),并将运动场mk(x)进行r倍线性插值,得到插值后的运动场mk(x),该r为最终重建的高清图像的放大倍数;
(22C)计算相对位移Δxk=mk(x)-x=(Δxk,u-Δxk,v),以及dk=Δxk,u-floor(Δxk,u),ek=Δxk,v-floor(Δxk,v),其中操作符floor(.)表示取小于或者等于指定值的最大整数;
(23C)计算运动变换矩阵Mk中的每个元素的值:Mk(j*m+i,floor(Jxk,u)+xu+ceil(Jxk,v+xv+1)*m)=dk*(1-ek),Mk(j*m+i,ceil(Δxk,u)+xu+ceil(Δxk,v+xv+1)*m)=dk*ek,Mk(j*m+i,floor(Δxk,u)+xu+floor(Δxk,v+xv+1)*m)=(1-dk)*(1-ek),Mk(j*m+i,ceil(Jxk,u)+xu+floor(Jxk,v+xv+1)*m+x)=(1-dk)*ek,其中操作符ceil(.)表示取大于或者等于指定值的最小整数,对于矩阵Mk的第j*m+i行中的除这四列以外的其他元素值为零。
更进一步地,该步骤(3)计算非局部先验参数hi,j,其中std(Ni,j)是以像素点(i,j)为中心,搜索区域为Ni,j的标准差,β为大于零的常数(1<β<5),σ2为参考帧图像Yref的噪声方差,r为图像放大倍数,该参考帧图像Yref的噪声方差σ2估计为: 其中n为图像的像素点总数, N(xi)为像素点xi的四邻域。
更进一步地,该步骤(3)中相似图像的欧式阈值采用的最大加权欧式距离为4σ2,也即:
更进一步地,该步骤(4)利用非局部先验参数、欧式阈值,且以插值图像作为高分辨图像X的初始图像,计算出插值图像中每个像素点(i,j)与其他像素点(s,t)的相似度权重wNLM[i,j;s,t],利用相似度权重wNLM构建非局部权重矩阵S包含如下步骤(41)至步骤(43):
(41)计算每个以坐标(i,j)为中心的像素块与其邻域N(i,j)内以坐标(s,t)为中心的像素块的相似度其中Ri,j是以(i,j)为中心像素点的图像块提取算子,表示两个图像块的加权欧式距离,其中a>0是高斯核函数的标准差,hi,j为滤波器平滑参数,依赖于图像的噪声大小以及图像本身,f为依赖于两个中心像素点的几何距离的常函数;
(42)归一化像素(i,j)与邻域N(i,j)内的所有像素相似度值,
(43)构建非局部权重矩阵
相对于现有技术,首先,本发明首次将非局部先验应用于图像的多帧超分辨率重建,提出了一种非局部先验的参数自适应求解方法;其次,通过采用复合运动模型,有效地解决了目前运动估计的计算量大,可伸缩性不强、精度不高的缺点;再次,采用自适应的非局部先验更能准确地自动地描述图像的先验信息,减少了重建图像的失真。为此,该方法做到了可伸缩的高精度的运动估计和准确的自适应的先验描述,能够更有效地应用于实际的图像特征清晰化工程。
附图说明
图1为本发明的基于复合运动和自适应非局部先验的超分辨率重建方法的实施例的流程图
图2为本发明的求解全局运动参数θk=(a0,a1,a2,a3,a4,a5)的实施例的流程图
具体实施方式
下面结合附图,详细说明本发明的具体实施方式。
图像的超分辨率重建,即将观测图像恢复成理想图像。观测图像即一系列的低分辨率图像,理想图像即所求的高分辨率图像。给定一定场景的高分辨率图像X,经过一系列几何运动、光学模糊、亚采样以及附加噪声的降质过程,产生P幅低分辨率观测图像Yk,用一个常用的图像观测模型描述理想图像与观测图像之间的关系,此观测模型为:Yk=DBkMkX+nk,k=1,…,p,其中Mk为运动变化矩阵,Bk为模糊矩阵,D为下采样矩阵,nk为附加噪声。
基于上述观测模型,本发明采用最大后验方法对理想图像X进行估计。p幅低分辨率图像表示为Y=[Y1 T,Y2 T,…,Yp T]T,基于最大后验估计理论的超分辨重建问题表示为:X=argmaxP(X|Y),经过简单的运算操作,可以得到: 此处P(Yk|X)=P(nk)表示了观测模型噪声的类型,通常的假设噪声是均值为0,方差为σk 2的高斯噪声,即 其中C1为常数。图像先验概率密度一般形式为:其中C2为常数,η为控制参数,U(X)为关于图像X的先验能量函数。经过简单的化简,最终可以得到如下的代价函数: 其中在此,本发明假设图像的模糊核已知,也即模糊矩阵Bk已知。
根据 可知,要获得理想图像X,需要求解运动变换矩阵Mk和先验能量U(X),即图像配准和自适应非局部先验设计。最终采用常用的共轭梯度法对目标泛函 进行求解获得理想图像X。
因此,本发明主要包括:(1)在多帧低分辨率图像配准时采用全局运动参数加局部光流的方法进行图像配准,并构建运动变换矩阵Mk;(2)设计自适应非局部先验,构建非局部权重矩阵S;(3)建立目标泛函,并采用共轭梯度法进行求解。
如图1所示,为本发明的基于复合运动和自适应非局部先验的超分辨率重建方法的实施例的流程图。超分辨率重建方法的实施例包括如下步骤S1至步骤S8:
S1、获取p幅由高分辨率图X经过降质过程形成的低分辨率观测图像Yk,每幅观测图像的大小为m×n。得到图像观察模型Yk=DBkMkX+nk,k=1,…,p,其中Mk为运动变化矩阵,Bk为模糊矩阵,D为下采样矩阵,nk为附加噪声,X为高分辨率图像,k为获取的p幅低分辨率图像的编号。
S2、在p幅低分辨率图像中选取参考帧图像Yref(1≤ref≤p)和非参考帧图像Yk(k=1,…,ref-1,ref+1,…,p),针对参考帧图像和非参考帧图像之间的亚像素运动采用全局参数运动加局部光流的复合运动模型,参考帧图像与非参考帧图像之间的关系表示为: 其中mk表示二维运动场,表示全局参数运动,为局部光流运动,也即非参数局部补偿运动,θk为全局运动参数,表示用非参考帧图像预测的参考帧图像,εk(x)表示残差图像。在全局参数运动和局部光流的复合运动模型中,运动向量为mk(x)=[mk,u(x)mk,v(x)],估计此运动向量的目的是用来构建运动变换矩阵Mk,其中x=[xuxv],二维运动场mk表示为 其中表示全局参数运动,为局部光流运动,θk为全局运动参数。
s3、求解全局运动参数θk=(a0,a1,a2,a3,a4,a5)和局部光流采用全局运动参数θk=(a0,a1,a2,a3,a4,a5)和局部光流的方法进行图像配准,得到非参考帧图像相对于参考帧图像的运动场mk(x),利用mk(x)构建出运动变换矩阵Mk:
求解全局运动参数θk。(a0,a1,a2,a3,a4,a5)时,首先建立最小二乘标准 其中 然后将θk写成θk+Δθ,以增量的方式求解θk,也即θk←θk+Δθ。对最小二乘目标泛函进行泰勒展开得到关于Δθ的线性函数,对展开后的函数进行一系列运算操作得到 其中 当运动参数增量Δθ小于某个阈值∈的时候(0≤E≤0.01),也即||Δθ||≥∈,参数θk收敛,停止迭代,得到全局运动参数θk。(a0,a1,a2,a3,a4,a5),最后可以得到全局参数运动否则更新θk,也即θk←θk+Δθ,并重新计算Δθ。
求解局部光流时,首先利用图像灰度恒常性假设和图像梯度恒常性假设得到关于局部光流的数据置信度能量函数 其中, 函数0<τ≤0.01;然后根据图像分段平滑性假设得到平滑惩罚函数最终得到整个能量函数为E(u,v)=EData+αESmooth,其中α>0为正则化参数。采用非线性数值求解方法对整个能量函数求最优值便得到局部光流的解。
最终得到非参考帧图像相对于参考帧图像的运动场mk(x)=mk g(x)+mk l(x),并以此构建运动变换矩阵Mk。首先将运动场mk(x)进行r倍(最终重建的高清图像的放大倍数)线性插值,得到插值后的运动场mk(x)。然后计算相对位移Δxk=mk(x)-x=(Δxk,u-Δxk,v),以及dk=Δxk,u-floor(Δxk,u),ek=Δxk,v-floor(Δxk,v),其中操作符foor(.)表示取小于或者等于指定值的最大整数。最后计算运动变换矩阵Mk中的每个元素的值:Mk(j*m+i,floor(Δxk,u)+xu+ceil(Δxk,v+xv+1)*m)=dk*1-ek),MK(j*m+i,ceil(Δxk,u)+zu+ceil(Δxk,v+xv+1)*m)=dk*ek,Mk(j*m+i,floor(Δxk,u)+xu+floor(Δxk,v+xv+1)*m)=(1-dk)*(1-ek),Mk(j*m+i,ceil(Δxk,u)+xu+floor(Δxk,v+xv+1)*m+x)=(1-dk)*ek,其中操作符ceil(.)表示取大于或者等于指定值的最小整数,对于矩阵Mk的第j*m+i行中的除这四列以外的其他元素值为零。
步骤S2、S3完成了图像配准和运动矩阵Mk的构建。
S4、计算参考帧图像Yref的r倍双三次插值图像、非局部先验平滑参数hi,j和相似图像的欧式阈值。由于理想图像X事先未知,非局部权重矩阵便根据低分辨率的参考帧图像Yref的插值图像估计得到。因此,平滑参数hi,j是一个关于参考帧图像Yref的噪声、图像数据本身、下采样倍数的函数。其中std(Ni,j)是以像素点(i,j)为中心,搜索区域为Ni,j的标准差,为大于零的常数(1<β<5),σ2为参考帧图像的噪声方差,r为图像放大倍数。该参考帧图像Yref的噪声方差σ2估计为:其中n为图像的像素点总数,N(xi)为像素点xi的四邻域。最后采用欧式阈值进行不相似像素去除,欧式阈值(即相似度阈值)采用的最大加权欧式距离为4σ2,也即:
S5、计算每个像素点(i,j)(其中0≤i<rm,0≤j<rn)的与其他像素点(s,t)(其中0≤s<rm,0≤t<rn)的相似度权重wNLM[i,j;s,t],构建关于以插值图像作为初始高分辨图像X的非局部权重矩阵S包含如下步骤:计算每个像素点(i,j)与其邻域N(i,j)内的像素(s,t)的相似度其中Ri,j是以(i,j)为中心像素点的图像块提取算子,一般为q×q的方块(q=5,7,9…),表示两个图像块的加权欧式距离,其中a>0是高斯核函数的标准差,hi,j为滤波器平滑参数,依赖于图像的噪声大小以及图像本身,f为依赖于两个中心像素点的几何距离的常函数(单调不增函数);归一化像素(i,j)与邻域N(i,j)内的所有像素相似度值, 最终构建非局部权重矩阵
步骤S4、S5完成了非局部先验参数的自适应求解和非局部权重矩阵的S构建。
S6、利用运动变换矩阵Mk和非局部权重矩阵S求解目标泛函 其中ρ>0。采用共轭梯度迭代法最小化目标泛函;
S8、得到重建的高分辨率估计图像。
步骤S6至步骤S8完成了求解目标泛函。
如图2所示,为本发明的求解全局运动参数θk=(a0,a1,a2,a3,a4,a5)的实施例的流程图,包括如下步骤S31A至步骤S32A:
S31A、采用a0,a1,a2,a3,a4,a5六个参数的仿射变换作为全局参数运动模型:
S321A、由于最小二乘目标泛函关于θk是非线性的需将θk写成θk+Δθ的形式,采用增量迭代方式求解θk,也即θk←θk+Δθ。并对最小二乘目标泛函进行泰勒展开得到关于Δθ的线性函数;S322A、对展开后的函数进行运算操作得到 其中
S323A、判断是否符合||Δθ|≤∈,阈值0≤∈≤0.01,若不符合,则θk←θk+Δθ,并返回步骤S322A,若符合,则表明参数θ收敛,停止迭代,进入步骤S324A;S324A、得到全局运动参数θk=(a0,a1,a2,a3,a4,a5)。
如图3所示,为本发明的求解局部光流的实施例的流程图。在得到全局运动参数θ=(a0,a1,a2,a3,a4,a5),也即全局运动场后,如果仿射运动已经可以很好地近似物体的运动模型,此时便可以省略对运动场进行补偿的局部光流场的求解。但如果全局仿射模型未能精确地近似整个运动场,便需要求解局部光流场。然而,已经求解的全局参数运动场已经在很大程度上接近整体运动场,有助于接下来的局部光流场的求解,使得求解的局部光流场更加精确。这就体现了本发明提出的复合运动模型的良好的可伸缩性、高精度的运动估计、以及低的运算量。为了求得局部光流的解,本发明利用Thomas Brox提出的光流求解法。ThomasBrox光流求解法主要基于三个假设:图像灰度恒常性假设、图像梯度恒常性假设、图像分段平滑性假设。
S32B、根据光流的图像分段平滑性假设得到平滑惩罚函数
S33B、得到整个能量函数为E(u,v)=EData+αESmooth,其中α>0为正则化参数;
以上介绍了一种基于复合运动和自适应非局部先验的超分辨率重建方法。本发明并不限定于以上实施例,任何未脱离本发明技术方案,即仅仅对其进行本领域普通技术人员所知悉的改进或变更,均属于本发明的保护范围之内。
Claims (10)
1.一种基于复合运动和自适应非局部先验的超分辨率重建方法,高分辨率图像X经过降质过程获取p幅低分辨率观测图像Yk(k=1,…,p),每幅观测图像的大小为m×n,其特征在于,所述利用p幅低分辨率观测图像Yk(k=1,…,p)重建高分辨率估计图像的超分辨率重建方法包括如下步骤:
(1)在p幅低分辨率观测图像中选取参考帧图像Yref(1≤ref≤p)和非参考帧图像Yk(k=1,…,ref-1,ref+1,…,p),针对参考帧图像和非参考帧图像之间的亚像素运动采用全局参数运动和局部光流的复合运动模型,参考帧图像与非参考帧图像之间的关系表示为: 其中mk表示二维运动场,表示全局参数运动,为局部光流运动,θk为全局运动参数,表示用非参考帧图像预测的参考帧图像,εk(x)表示残差图像;
(2)求解全局运动参数θk=(a0,1,a2,a3,a4,a5)和局部光流采用全局运动参数θk=(a0,a1,a2,a3,a4,a5)和局部光流的方法进行图像配准,得到非参考帧图像相对于参考帧图像的运动场mk(x),利用mk(x)构建出运动变换矩阵Mk;
(3)计算参考帧图像Yref的r倍插值图像X、非局部先验参数hi,j(0≤i<rm,0≤j<rn)和相似图像的欧式阈值;
(4)利用非局部先验参数、欧式阈值,且以插值图像作为高分辨图像X的初始图像,计算出插值图像中每个像素点(i,j)与其他像素点(s,t)的相似度权重wNLM[i,j;s,t],其中0≤i<rm,0≤j<rn,0≤s<rm,0≤t<rn,利用相似度权重wNLM构建非局部权重矩阵S;
如下步骤:
(221A)将θk写成θk+Δθ;
(222A)对最小二乘目标泛函进行泰勒展开得到关于Δθ的线性函数;
(224A)判断是否符合||Δθ||≤e,阈值0≤∈≤0.01,若不符合,则θk←θk+Δθ,并返回步骤(223A);若符合,则表明参数θk收敛,停止迭代,得到全局运动参数θk=(a0,a1,a2,a3,a4,a5),最后可以得到全局参数运动。
6.根据权利要求5所述的基于复合运动和自适应非局部先验的超分辨率重建方法,其特征在于:所述步骤(2)利用mk(x)构建出运动变换矩阵Mk包含如下步骤:
(21C)计算非参考帧图像相对于参考帧图像的运动场mk(x)=mk g(x)+mk l(x),并将运动场mk(x)进行r倍线性插值,得到插值后的运动场mk(x),所述r为最终重建的高清图像的放大倍数;
(22C)计算相对位移Δxk=mk(x)-x=(Δxk,u-Δxk,v),以及dk=Δxk,u-floor(Δxk,u),ek=Δxk,v-floor(Δxk,v),其中操作符floor(.)表示取小于或者等于指定值的最大整数;
(23C)计算运动变换矩阵Mk中的每个元素的值:Mk(j*m+i,floor(Δxk,u)+xu+ceil(Δxk,v+xv+1)*m)=dk*(1-ek),Mk(j*m+i,ceil(Δxk,u)+xu+ceil(Δxk,v+xv+1)*m)=dk*ek,Mk(j*m+i,floor(Δxk,u)+xu+floor(Δxk,v+xv+1)*m)=(1-dk)*(1-ek),Mk(j*m+i,ceil(Δxk,u)+xu+floor(Δxk,v+xv+1)*m+x)=(1-dk)*ek,其中操作符ceil(.)表示取大于或者等于指定值的最小整数,对于矩阵Mk的第j*m+i行中的除这四列以外的其他元素值为零。
8.根据权利要求1所述的基于复合运动和自适应非局部先验的超分辨率重建方法,其特征在于:所述步骤(3)中相似图像的欧式阈值采用的最大加权欧式距离为4σ2,也即:
9.根据权利要求1所述的基于复合运动和自适应非局部先验的超分辨率重建方法,其特征在于:所述步骤(4)利用非局部先验参数、欧式阈值,且以插值图像作为高分辨图像X的初始图像,计算出插值图像中每个像素点(i,j)与其他像素点(i,j)的相似度权重wNLM[i,j;s,t],利用相似度权重wNlM构建非局部权重矩阵S包含如下步骤:
(41)计算每个以坐标(i,j)为中心的像素块与其邻域N(i,j)内以坐标(i,j)为中心的像素块的相似度 ,其中Ri,j是以(i,j)为中心像素点的图像块提取算子,表示两个图像块的加权欧式距离,其中a>0是高斯核函数的标准差,hi,j为滤波器平滑参数,依赖于图像的噪声大小以及图像本身,f为依赖 于两个中心像素点的几何距离的常函数;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410103217.5A CN103824273B (zh) | 2014-03-19 | 2014-03-19 | 基于复合运动和自适应非局部先验的超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410103217.5A CN103824273B (zh) | 2014-03-19 | 2014-03-19 | 基于复合运动和自适应非局部先验的超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103824273A true CN103824273A (zh) | 2014-05-28 |
CN103824273B CN103824273B (zh) | 2017-02-01 |
Family
ID=50759317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410103217.5A Active CN103824273B (zh) | 2014-03-19 | 2014-03-19 | 基于复合运动和自适应非局部先验的超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103824273B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063849A (zh) * | 2014-06-20 | 2014-09-24 | 武汉工程大学 | 基于图像块自适应配准的视频超分辨重建方法 |
CN105513014A (zh) * | 2016-01-21 | 2016-04-20 | 集美大学 | 一种多帧图像超分辨率重建方法及其重建*** |
CN105574831A (zh) * | 2016-03-17 | 2016-05-11 | 河海大学常州校区 | 一种修正的图像块期望对数似然估计的图像去噪方法 |
CN105847804A (zh) * | 2016-05-18 | 2016-08-10 | 信阳师范学院 | 一种基于稀疏冗余表示模型的视频帧率上转换方法 |
CN106251381A (zh) * | 2016-07-29 | 2016-12-21 | 上海联影医疗科技有限公司 | 图像重建方法 |
CN106846286A (zh) * | 2017-01-05 | 2017-06-13 | 四川大学 | 基于多种互补先验的视频超分辨率重建算法 |
CN107085826A (zh) * | 2017-04-11 | 2017-08-22 | 四川大学 | 基于加权重叠非局部回归先验的单幅图像超分辨率重建方法 |
CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
CN108460723A (zh) * | 2018-02-05 | 2018-08-28 | 西安电子科技大学 | 基于邻域相似性的双边全变分图像超分辨率重建方法 |
CN108780569A (zh) * | 2016-01-08 | 2018-11-09 | 菲力尔***公司 | 用于图像分辨率增强的***和方法 |
CN108846322A (zh) * | 2018-05-25 | 2018-11-20 | 重庆大学 | 快速高精度的车辆碰撞检测方法 |
CN109033971A (zh) * | 2018-06-27 | 2018-12-18 | 中国石油大学(华东) | 一种基于残差网络思想的高效行人重识别方法 |
CN109949221A (zh) * | 2019-01-30 | 2019-06-28 | 深圳大学 | 一种图像处理方法及电子设备 |
CN110263699A (zh) * | 2019-06-17 | 2019-09-20 | 睿魔智能科技(深圳)有限公司 | 视频图像处理方法、装置、设备及存储介质 |
US10535166B2 (en) | 2016-02-29 | 2020-01-14 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for reconstructing ECT image |
CN110717956A (zh) * | 2019-09-30 | 2020-01-21 | 重庆大学 | 一种有限角投影超像素引导的l0范数最优化重建方法 |
CN111402210A (zh) * | 2020-03-03 | 2020-07-10 | 山东师范大学 | 一种单分子荧光信号图像的超分辨定位方法及*** |
CN113658048A (zh) * | 2021-08-24 | 2021-11-16 | 中山仰视科技有限公司 | 一种采用超分辨率重建方式进行肺部ct图像填充的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1863272A (zh) * | 2006-02-14 | 2006-11-15 | 华为技术有限公司 | 一种视频图像超分辨率重构方法 |
CN102122387A (zh) * | 2010-12-18 | 2011-07-13 | 浙江大学 | 一种鲁棒的超分辨率图像重建方法 |
US20110211765A1 (en) * | 2010-03-01 | 2011-09-01 | Sony Corporation | Image processing apparatus, image processnig method, and program |
US20120300122A1 (en) * | 2011-05-26 | 2012-11-29 | Microsoft Corporation | Adaptive super resolution for video enhancement |
-
2014
- 2014-03-19 CN CN201410103217.5A patent/CN103824273B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1863272A (zh) * | 2006-02-14 | 2006-11-15 | 华为技术有限公司 | 一种视频图像超分辨率重构方法 |
US20110211765A1 (en) * | 2010-03-01 | 2011-09-01 | Sony Corporation | Image processing apparatus, image processnig method, and program |
CN102122387A (zh) * | 2010-12-18 | 2011-07-13 | 浙江大学 | 一种鲁棒的超分辨率图像重建方法 |
US20120300122A1 (en) * | 2011-05-26 | 2012-11-29 | Microsoft Corporation | Adaptive super resolution for video enhancement |
Non-Patent Citations (2)
Title |
---|
MICHAEL ELAD,ET AL.: ""A Fast Super-Resolution Reconstruction Algorithm for Pure Translational Motion and Common Space-Invariant Blur"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 10, no. 8, 31 August 2001 (2001-08-31), pages 1187 - 1193, XP011025820 * |
周峡: ""图像超分辨率重建中的配准算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 11, 15 November 2008 (2008-11-15) * |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063849A (zh) * | 2014-06-20 | 2014-09-24 | 武汉工程大学 | 基于图像块自适应配准的视频超分辨重建方法 |
CN108780569B (zh) * | 2016-01-08 | 2023-05-05 | 特利丹菲力尔有限责任公司 | 用于图像分辨率增强的***和方法 |
CN108780569A (zh) * | 2016-01-08 | 2018-11-09 | 菲力尔***公司 | 用于图像分辨率增强的***和方法 |
CN105513014B (zh) * | 2016-01-21 | 2019-02-01 | 集美大学 | 一种多帧图像超分辨率重建方法及其重建*** |
CN105513014A (zh) * | 2016-01-21 | 2016-04-20 | 集美大学 | 一种多帧图像超分辨率重建方法及其重建*** |
US10535166B2 (en) | 2016-02-29 | 2020-01-14 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for reconstructing ECT image |
US11557067B2 (en) | 2016-02-29 | 2023-01-17 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for reconstructing ECT image |
CN105574831A (zh) * | 2016-03-17 | 2016-05-11 | 河海大学常州校区 | 一种修正的图像块期望对数似然估计的图像去噪方法 |
CN105574831B (zh) * | 2016-03-17 | 2019-02-15 | 河海大学常州校区 | 一种修正的图像块期望对数似然估计的图像去噪方法 |
CN105847804A (zh) * | 2016-05-18 | 2016-08-10 | 信阳师范学院 | 一种基于稀疏冗余表示模型的视频帧率上转换方法 |
CN105847804B (zh) * | 2016-05-18 | 2017-12-15 | 信阳师范学院 | 一种基于稀疏冗余表示模型的视频帧率上转换方法 |
CN106251381B (zh) * | 2016-07-29 | 2020-02-04 | 上海联影医疗科技有限公司 | 图像重建方法 |
CN106251381A (zh) * | 2016-07-29 | 2016-12-21 | 上海联影医疗科技有限公司 | 图像重建方法 |
CN106846286B (zh) * | 2017-01-05 | 2019-10-29 | 四川大学 | 基于多种互补先验的视频超分辨率重建算法 |
CN106846286A (zh) * | 2017-01-05 | 2017-06-13 | 四川大学 | 基于多种互补先验的视频超分辨率重建算法 |
CN107085826B (zh) * | 2017-04-11 | 2020-04-03 | 四川大学 | 基于加权重叠非局部回归先验的图像超分辨率重建方法 |
CN107085826A (zh) * | 2017-04-11 | 2017-08-22 | 四川大学 | 基于加权重叠非局部回归先验的单幅图像超分辨率重建方法 |
CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
CN108460723A (zh) * | 2018-02-05 | 2018-08-28 | 西安电子科技大学 | 基于邻域相似性的双边全变分图像超分辨率重建方法 |
CN108460723B (zh) * | 2018-02-05 | 2021-07-27 | 西安电子科技大学 | 基于邻域相似性的双边全变分图像超分辨率重建方法 |
CN108846322A (zh) * | 2018-05-25 | 2018-11-20 | 重庆大学 | 快速高精度的车辆碰撞检测方法 |
CN109033971A (zh) * | 2018-06-27 | 2018-12-18 | 中国石油大学(华东) | 一种基于残差网络思想的高效行人重识别方法 |
CN109949221A (zh) * | 2019-01-30 | 2019-06-28 | 深圳大学 | 一种图像处理方法及电子设备 |
CN110263699A (zh) * | 2019-06-17 | 2019-09-20 | 睿魔智能科技(深圳)有限公司 | 视频图像处理方法、装置、设备及存储介质 |
CN110263699B (zh) * | 2019-06-17 | 2021-10-22 | 睿魔智能科技(深圳)有限公司 | 视频图像处理方法、装置、设备及存储介质 |
CN110717956A (zh) * | 2019-09-30 | 2020-01-21 | 重庆大学 | 一种有限角投影超像素引导的l0范数最优化重建方法 |
CN110717956B (zh) * | 2019-09-30 | 2023-06-20 | 重庆大学 | 一种有限角投影超像素引导的l0范数最优化重建方法 |
CN111402210A (zh) * | 2020-03-03 | 2020-07-10 | 山东师范大学 | 一种单分子荧光信号图像的超分辨定位方法及*** |
CN113658048A (zh) * | 2021-08-24 | 2021-11-16 | 中山仰视科技有限公司 | 一种采用超分辨率重建方式进行肺部ct图像填充的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103824273B (zh) | 2017-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103824273A (zh) | 基于复合运动和自适应非局部先验的超分辨率重建方法 | |
Caballero et al. | Real-time video super-resolution with spatio-temporal networks and motion compensation | |
Wu et al. | Pointpwc-net: A coarse-to-fine network for supervised and self-supervised scene flow estimation on 3d point clouds | |
Trinh et al. | Novel example-based method for super-resolution and denoising of medical images | |
US9600861B2 (en) | Single image super-resolution method using transform-invariant directional total variation with S½+L½-norm | |
Yang et al. | Color-guided depth recovery from RGB-D data using an adaptive autoregressive model | |
Wu et al. | Image registration using wavelet-based motion model | |
CN107025632B (zh) | 一种图像超分辨率重建方法及*** | |
Russell et al. | Energy based multiple model fitting for non-rigid structure from motion | |
Goldluecke et al. | The variational structure of disparity and regularization of 4D light fields | |
Cao et al. | Image Super-Resolution via Adaptive $\ell _ {p}(0< p< 1) $ Regularization and Sparse Representation | |
Fan et al. | Sunet: symmetric undistortion network for rolling shutter correction | |
CN105488759B (zh) | 一种基于局部回归模型的图像超分辨率重建方法 | |
Li et al. | Optical flow estimation using laplacian mesh energy | |
Yang et al. | Multi-sensor image super-resolution with fuzzy cluster by using multi-scale and multi-view sparse coding for infrared image | |
Liu et al. | Video frame interpolation via optical flow estimation with image inpainting | |
Zhang et al. | Remote-sensing image superresolution based on visual saliency analysis and unequal reconstruction networks | |
Buades et al. | Motion-compensated spatio-temporal filtering for multi-image and multimodal super-resolution | |
Al Ismaeil et al. | Real-time enhancement of dynamic depth videos with non-rigid deformations | |
CN103914807A (zh) | 一种缩放尺度补偿的非局部性图像超分辨率方法及*** | |
Zhang et al. | Unsupervised detail-preserving network for high quality monocular depth estimation | |
Amiri et al. | A fast video super resolution for facial image | |
Hu et al. | A total variation based nonrigid image registration by combining parametric and non-parametric transformation models | |
Liu et al. | Video completion via motion guided spatial-temporal global optimization | |
Zhang et al. | Spatio-temporal super-resolution for multi-videos based on belief propagation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |