CN102236889A - 一种基于多帧运动估计和融合的超分辨率重构方法 - Google Patents

一种基于多帧运动估计和融合的超分辨率重构方法 Download PDF

Info

Publication number
CN102236889A
CN102236889A CN2010101773155A CN201010177315A CN102236889A CN 102236889 A CN102236889 A CN 102236889A CN 2010101773155 A CN2010101773155 A CN 2010101773155A CN 201010177315 A CN201010177315 A CN 201010177315A CN 102236889 A CN102236889 A CN 102236889A
Authority
CN
China
Prior art keywords
image block
image
peak
motion vector
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010101773155A
Other languages
English (en)
Inventor
王洪剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN2010101773155A priority Critical patent/CN102236889A/zh
Publication of CN102236889A publication Critical patent/CN102236889A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)

Abstract

一种基于多帧运动估计和融合的超分辨率重构方法,从多帧图像中的每一相邻两帧求取相位相关平面,并在分离的两维相位相关平面上基于抛物线模型来实现多帧亚像素运动估计;进而通过将该亚像素运动估计的小数部分的运动向量和整数部分的运动向量分别应用于低分辨率图像和高分辨率图像,将当前帧图像和相邻的多个参考帧图像融合,以重构与当前帧图像对应的高清晰图像提供给用户,实现了用户通过网络传输对高清视频数据的观赏级用户体验。

Description

一种基于多帧运动估计和融合的超分辨率重构方法
技术领域
本发明涉及通信领域的视频图像处理,尤其涉及视频图像的超分辨率重构方法。
背景技术
随着网络经济的快速发展和网络视频行业的不断成熟,网络视频市场消费需求将持续快速增长。互联网上出现了很多视频网站,这些视频网站运营成本支出主要包括三大块:带宽、服务器和推广,其中高昂的带宽成本让许多中小视频网站不堪重负。最便宜的也在1G带宽400万/年,而要使视频流畅播放,实现观赏级的用户体验,一个视频网站至少需要2G以上的带宽,同时还需要在各地购买足够的服务器。在现有网络带宽条件下,支持不了高清视频源,用户端视频质量清晰度不高,严重影响了好的商业模式的推广和像IPTV产业的进行。
目前的正版高清视频数据源的分辨率为1920*1080像素,帧率为60帧/秒。由于网络带宽的限制,在网络上传输到达用户端的视频数据的空间分辨率只能达到640*480,帧率为12~24帧/秒,还不能满足用户通过网络传输对高清视频数据的观赏级用户体验。
发明内容
本发明要解决的技术问题在于利用超分辨率重构技术将从网络接收的多帧低分辨率视频图像融合成一帧高分辨率的视频图像,例如将5帧640*480的低分辨率图像,融合后得到一幅1920*1080高分辨率的图像,以满足用户在现有的带宽条件下,通过网络传输对高清视频数据的观赏级用户体验。
为了解决上述问题,本发明提供了一种基于多帧运动估计和融合的超分辨率重构方法,包括如下步骤:
(1)利用相位相关法对所有相邻的两帧图像中每一对相邻的两帧图像估算所述每一对相邻的两帧图像的亚像素运动向量,包括:
(10)求所述相邻的两帧图像的相位相关平面;
(12)在所述相位相关平面上找局部最大值点,并且根据峰值大小排序,提取峰值较大的一个或多个峰值点,其中所述一个或多个峰值点的位置为运动向量;
(14)由于实际的峰值点一般都不在整数位置上,因此,对于所述一个或多个峰值点中的每一个,在分离的两维相位相关平面上进行亚像素运动向量估计:利用峰值点和与其相邻的像素点建立抛物线模型,根据抛物线模型来求得与所述一个或多个峰值点相对应的一个或多个实际的峰值点,所述实际的峰值点的位置能够介于两个整数位置之间,从而得到相邻的两帧图像的亚像素运动向量;
(2)基于所估算的每一对相邻的两帧图像的亚像素运动向量,将当前帧图像和与其相邻的多个参考帧图像融合成为与当前帧图像对应的指定分辨率的高清晰图像,具体包括:
(20)将当前帧图像放大到所述指定分辨率的高分辨率图像,作为迭代的初始值;
(22)对参考帧图像中的每一帧以图像块为单位执行下述步骤:
(2210)把参考帧的图像块对应的亚像素运动向量分解成整数部分和小数部分,将所述参考帧的图像块移动所述整数部分的运动向量,得到移动的参考帧的图像块,将与参考帧的图像块对应的所述高分辨率图像的图像块移动所述小数部分的运动向量,得到移动的高分辨率图像的图像块;
(2220)对所述移动的高分辨率图像的图像块进行高斯滤波并下采样,以得到与所述参考帧图像的分辨率相同的下采样图像块;
(2230)将所述下采样图像块与所述移动的参考帧的图像块相减得到减图像块;
(2240)将所述减图像块进行上采样和高斯低通滤波以得到所述指定分辨率的上采样图像块;
(2250)将所述上采样图像块反向移动所述小数部分的运动矢量,以得到反向移动的上采样图像块;
(2260)将所述反向移动的上采样图像块乘以迭代步长β并输出,其中所述迭代步长β的值在0到1之间的范围;
(24)将所有参考帧图像的所述步骤(2260)的输出结果累加到所述高分辨率图像,以更新所述高分辨率图像;
(26)返回所述步骤(22)重复迭代以得到所述指定分辨率的高清晰图像,迭代次数根据经验值确定。
本发明所述的方法,在所述步骤(14)之后,还包括步骤:(16)根据所述一个或多个实际的峰值点的峰值,来计算所述一个或多个实际的峰值点的相对峰值,所述相对峰值用每一实际的峰值点的峰值除以所有的实际峰值点的峰值之和来表示;
在所述步骤(2230)之后,还包括步骤:(2235)求所述减图像块的绝对值之和,并根据所述绝对值之和从增益模型求出增益,将所述增益乘以所述参考帧的图像块的运动向量对应的相对峰值,以得到可靠性参数,其中所述增益模型是所述绝对值之和的函数,且当所述绝对值之和大于或等于预定阈值时增益为1,当所述绝对值之和小于预定阈值时增益线性下降;
在所述步骤(2250)之后,还包括步骤:(2255)将所述反向移动的上采样图像块乘以所述可靠性参数以修正所述反向移动的上采样图像块。
本发明所述的方法,其中所述步骤(10)还包括步骤:
(1010)使用窗函数对所述相邻的两帧图像分别进行加窗处理;
(1020)对加窗处理的两帧图像进行快速傅立叶变换;
(1030)将傅立叶变换结果的实部加虚部的复数形式转换成幅值和相位的复数形式;
(1040)将两帧图像的傅立叶变换结果的相位对应相减,得到相位差;
(1050)将所述相位差转换为幅值为1的幅值和相位的复数形式;
(1060)对所述步骤(1050)的转换结果进行快速的反傅立叶变换得到相位相关平面。
本发明所述的方法,其中所述步骤(1010)中,所述窗函数是汉宁窗。
本发明所述的方法,其中所述步骤(1010)之前还包括:对所述相邻的两帧图像分别进行预处理,所述预处理包括去噪或下采样。
本发明所述的方法,其中所述步骤(1030)和所述步骤(1020)中转换成复值和相位的复数形式是利用坐标旋转数字计算机CORDIC算法来实现的。
本发明通过从多帧图像中的每一相邻两帧求取相位相关平面,并在分离的两维相位相关平面上基于抛物线模型来实现多帧亚像素运动估计,准确、可靠地获取帧内和帧间对应同一物体的运动信息;进而通过将该亚像素运动估计的小数部分的运动向量和整数部分的运动向量分别应用于低分辨率图像和高分辨率图像,将当前帧图像和相邻的多个参考帧图像融合,以重构与当前帧图像对应的高清晰图像提供给用户,从而实现了用户通过网络传输对高清视频数据的观赏级用户体验。
附图说明
图1是本发明的相关平面计算窗口大小的选择示意图;
图2是本发明的相位相关平面在图像内部划分的示意图;
图3是本发明的相位相关运动估计的框图;
图4是相位相关平面的峰值分布示意图;
图5是在抛物线模型下求取实际峰值对应的亚像素位置的示意图;
图6是真实图像退化成低分辨率图像的过程的示意图;
图7是本发明中视频帧中的物体块对应于多帧图像的示意图;
图8是本发明的视频帧Fn-1的融合过程的示意图;
图9是本发明的基于图像块之差的绝对值之和的增益模型;
图10是本发明的多帧迭代融合过程的示意图;
图11是本发明的***总框图。
具体实施方式
下面结合附图对本发明所述技术方案的实施方式作进一步的详细描述:
本发明所提出的技术方案的实施基于两个假设:
①在帧内,存在一些相似的结构或细节。
②在帧间,由于采样相位不同,图像存在着同一物体的不同信息。
同时基于两个过程:
①用超亚像素运动估计得到帧内和帧间对应同一物体的信息。
②自适应融合所有的这些信息。
相位相关平面运动估计原理:
相位相关平面(PPC)能反映视频间无限精度运动位移。其基本原理是:
假定在两幅图像有一个平移的运动:
Fn(n1,n2)=Fn-1(n1+d1,n2+d2)                  (1)
二维傅立叶变换后:
Sn(f1,f2)=Sn-1(f1,f2)exp[j2π(d1f1+d2f2)]    (2)
两帧互相关的傅里叶变换为:
Cn,n-1(f1,f2)=Sn-1(f1,f2)Sn(f1,f2)         (3)为了消除亮度变化的影响,归一化谱为:
Φ [ C n , n - 1 ( f 1 , f 2 ) ] = S n - 1 ( f 1 , f 2 ) S n * ( f 1 , f 2 ) | S n - 1 ( f 1 , f 2 ) S n * ( f 1 , f 2 ) | = exp [ - j 2 π ( f 1 d 1 + f 2 d 2 ) ] - - - ( 4 )
上式二维反变换为:
cn,n-1(n1,n2)=δ(n1-d1,n2-d2)          (5)
由上式(5)可知,相位相关平面上的峰值位置对应于两幅图像之间的运动向量。
在求取相位相关平面时,充分考虑了计算成本和运动估计的准确性,以及快速傅立叶变换的实现,选取了长128、宽64像素的窗口的数据块为单位求取相位相关平面。考虑边界影响,此数据块只对中心位置的64×32窗口有效,如图1所示。
参考图2,在视频图像中,将图像平面划成不重叠的64×32的图像块,然后用重叠的128×64图像块求取相位相关平面,从而求取该128×64图像块的中心位置的64×32图像块的多个亚像素运动向量。在后续的融合过程中,把该64×32图像块进一步划分成32个8×8的图像块,融合时以8×8窗口的图像块进行操作。
下面是相位相关平面运动估计实现过程:
图3所示的框图为求取两帧对应的128×64图像块的相位相关平面,以及根据相位相关平面求出此块的亚像素运动向量和对应峰值的输出的过程。处理过程包括:
预处理:主要是针对噪声大的视频,进行去噪。另外为了降低计算成本,可以采用下采样来降低处理的分辨率。
加窗处理:傅立叶对信号处理的前提假定是信号是周期的,由于128×64图像块左边和右边大部分情况不是同一物体,人为造成了高频信息的存在,即影响了最终向量的准确获取。因此用窗函数对该图像块进行加窗处理。优选地,使用汉宁窗Hanning加在该图像块上。
将复数形式转换成幅值相位:经过二维傅立叶变换后,得到复数:x+yj;为了方便求取相位差,需要将复数形式表示成:幅值为
Figure GSA00000131073700071
相位为的形式。计算机软硬件实现时,上述幅值和相位需要通过迭代来逼近,优选地,利用坐标旋转数字计算机CORDIC算法来实现将实部虚部的复数形式转换成幅值相位的形式。
相位差:对相邻两帧的对应图像块所求得的相位对应相减。
将相位差转换成复数形式:利用坐标旋转数字计算机CORDIC算法将相位差转换为幅值为1的复数形式,然后进行傅立叶反变换。
局部峰值选择:图4所示为相关平面,从相关平面上找到局部极大值的峰值,并从中选出峰值较大的前2个或4个或更多个峰值。相关平面数据块中心为(0,0),峰值所处位置即为运动向量的值。
亚像素运动估计:由于相位相关平面的峰值的整数位置可能不是实际的峰值所在位置,如图5所示,假定相关平面上的峰值附近满足抛物线模型:
f(y)=ay2+by+c
dy = c n , n - 1 ( n 1 + 1 , n 2 ) - c n , n - 1 ( n 1 - 1 , n 2 ) 2 ( 2 c n , n - 1 ( n 1 , n 2 ) - c n , n - 1 ( n 1 + 1 , n 2 ) - c n , n - 1 ( n 1 - 1 , n 2 ) ) - - - ( 6 )
根据抛物线模型,采用相位相关平面上分离的两维数据分别求取与峰值点相对应的实际的峰值点,所求取的实际的峰值点的位置能够介于两个整数位置之间,从而得到相邻的两帧图像块的亚像素运动向量。
相对峰值计算:根据实际的峰值点的峰值来计算实际的峰值点的相对峰值,所述相对峰值用每一实际的峰值点的峰值除以所有的实际峰值点的峰值之和来表示,相对峰值的大小反应了对应运动向量的可靠性。为了鼓励单峰值,以2个峰值peak0,peak1为例计算相对峰值:
Peak0=peak0/(peak0+peak1)
Peak1=peak1/(peak0+peak1)                (7)
超分辨率多帧融合
首先考虑图像退化的模型,如图6所示:
记:X为真实的自然场景,大气模糊效果;
Tk物体运动,相机模糊;
Dk下采样,Vk噪声;
Fk观测到的低分辨率视频。
图6的退化过程的表达式为:
F k = D k H k cam T k H k atm X + V k - - - ( 8 )
运动一般不影响大气模糊算子的位置,因此有:
= D k H k cam H k atm T k X + V k , k = 1 , · · · , N
Figure GSA00000131073700084
通过下面能量函数最小,来求X:
X ^ = ArgMin X [ Σ k = 1 N | | D k H k T k X - F k | | 2 2 ]
最速梯度迭代法求解:
X ^ t + 1 = X ^ t - β { Σ k = 1 N T k T H k T D k T ( D k H k T k X ^ t - F k ) } - - - ( 10 )
超分辨率融合模型及过程:
图7所示是基于亚像素运动估计,参考帧图像块对应着多帧信息的示意图。参见图7,任意Fn上8×8图像块,对应着参考帧上多个图像块:例如M个图像块,取决于对于一个相位相关平面选取几个运动向量有关。同时每个块的贡献不一样,记为αkl,上式可写为:
X ^ t + 1 = X ^ t - β { Σ k = 1 Σ l = 1 α kl T k T ( l ) H k T D k T ( D k H k T k ( l ) X ^ t - F k ) } - - - ( 11 )
基于运动的相对性,并且运动向量是亚像素精度。因此,将高分辨率图像移动亚像素运动向量的小数部分,而将低分辨率图像移动亚像素运动向量的整部分。这样避免了双线性插值。
X ^ t + 1 = X ^ t - β { Σ k = n - 2 Σ l = 1 α kl Tfrac k T ( l ) H k T D k T ( D k H k Tfrac k ( l ) X ^ t - TInt k ( l ) F k ) } - - - ( 12 )
其中,Tfrack(l)为Tk(l)的小数部分,TIntk(l)为Tk(l)的整数部分
图8所示的框图表示了上式中融合视频图像Fn-1的过程,处理时以低分辨率8×8图像块为单位。图中:
Figure GSA00000131073700091
:为当前图像块亚像素运动向量;
Figure GSA00000131073700092
:运动向量所对应相位相关平面的相对峰值,见式(7);可靠性计算:可靠性计算模块的一个输入是
Figure GSA00000131073700093
,另一个输入是移动小数部分并下采样的图像块和移动整数部分的图像块之差。
Figure GSA00000131073700094
的值代表此运动向量的可靠性,该图像块之差在某种程度上代表8×8数据的匹配可靠性。如图9所示是建立的基于图像块之差的绝对值之和的增益模型,当绝对值之和小于或等于阈值Th时,增益G=1;当绝对值之和大于阈值Th时,增益线性下降。此时,数据不匹配。最终的可靠性计算如下:
α n - 1 , l = Flag F n ↔ F n - 1 × G ; - - - ( 13 )
图10反映了融合模型式(12);图10只示出了5帧图像的融合,可以推广到任意帧数融合。
图11是整个超分辨率算法总框图。可以实现成硬件,也可以实现成基于PC和DSP的软件。
上述对本发明的技术方案的进行了详细的说明,本发明的基于多帧亚像素运动估计和融合的超分辨率重构方法的优选实施例包括如下步骤:
第一步:利用相位相关法对所有相邻的两帧图像中每一对相邻的两帧图像估算对应的亚像素运动向量,包括:
(101)从内存中读取相邻的两帧图像;
(102)对相邻的两帧图像分别进行预处理,预处理包括去噪或下采样;
(103)使用窗函数对相邻的两帧图像分别进行加窗处理,避免由于数据截断产生的额外的高频,其中窗函数可为汉宁窗(Hamming),Kaiser窗或三角窗;
(104)二维快速傅立叶变换;
(105)利用CORDIC算法将傅立叶变换结果的实部加虚部的复数形式转换成幅值和相位的形式;
(106)将两帧图像的傅立叶变换结果的相位对应相减,得到相位差;
(107)将相位差转换为幅值为1的实部加虚部的复数形式;
(108)对步骤(17)的转换结果进行快速的反傅立叶变换得到相位相关平面。
(109)在相位相关平面上找局部最大值点,并且根据峰值大小排序,提取峰值较大的一个或多个峰值点,其中所述一个或多个峰值点的位置为运动向量;
(110)由于实际的峰值点一般都不在整数位置上,因此,对于所述一个或多个峰值点中的每一个,在分离的两维相位相关平面上进行亚像素运动向量估计:利用峰值点和与其相邻的像素点建立抛物线模型,根据抛物线模型来求得一个或多个实际的峰值点,所述实际的峰值点的位置能够介于两个整数位置之间,从而得到相邻的两帧图像的亚像素运动向量;
(111)计算一个或多个实际的峰值点的相对峰值,该相对峰值用每一实际的峰值点的峰值除以所有的实际峰值点的峰值之和来表示;
(112)将得到相邻两帧之间的亚像素运动向量和所对应的相对峰值保存到内存中。
第二步:基于所估算的每一对相邻的两帧图像的亚像素运动向量,将当前帧图像和与其相邻的多个参考帧图像融合以重建与当前帧图像对应的的高清晰图像,具体包括:
(210)读取低分辨率当前帧,用双三次插值方法放大图像到所要求的高分辨率图像,作为迭代的初始值;
(220)为了融合参考帧图像,对参考帧图像中的每一帧以图像块为单位执行下述步骤:
(2210)把参考帧的图像块对应的亚像素运动向量分解成整数部
分和小数部分,将参考帧的图像块移动整数部分的运动向量,得到移
动的参考帧的图像块,将高分辨率图像块移动小数部分的运动向量,得到移动的高分辨率图像块;
(2220)对所移动的高分辨率图像块进行高斯滤波并下采样,以得到与所述参考帧图像的分辨率相同的下采样图像块;
(2230)将下采样图像块与所移动的参考帧的图像块相减得到减图像块;
(2235)求减图像块的绝对值之和,并根据所述绝对值之和从增益模型求出增益,将增益乘以参考帧的图像块的运动向量对应的相对峰值,以得到可靠性参数,其中增益模型是绝对值之和的函数,且当绝对值之和大于或等于预定阈值时增益为1,当绝对值之和小于预定阈值时增益线性下降;
(2240)将减图像块进行上采样和高斯低通滤波以得到指定分辨率的上采样图像块;
(2250)将上采样图像块反向移动小数部分的运动矢量,以得到反向移动的上采样图像块;
(2255)将反向移动的上采样图像块乘以可靠性参数以修正反向移动的上采样图像块。
(2260)将反向移动的上采样图像块乘以迭代步长β并输出,其中迭代步长β的值在0到1之间的范围;
(240)将所有参考帧图像的步骤(2260)的输出结果累加到高分辨率图像,以更新高分辨率图像;
(260)返回所述步骤(220)重复迭代以得到所述指定分辨率的高清晰图像,迭代次数根据经验值确定。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种基于多帧图像的运动估计和融合的超分辨率重构方法,包括如下步骤:
(1)利用相位相关法对所有相邻的两帧图像中每一对相邻的两帧图像估算所述每一对相邻的两帧图像的亚像素运动向量,包括:
(10)求所述相邻的两帧图像的相位相关平面;
(12)在所述相位相关平面上找局部最大值点,并且根据峰值大小排序,提取峰值较大的一个或多个峰值点,其中所述一个或多个峰值点的位置为运动向量;
(14)由于实际的峰值点一般都不在整数位置上,因此,对于所述一个或多个峰值点中的每一个,在分离的两维相位相关平面上进行亚像素运动向量估计:利用峰值点和与其相邻的像素点建立抛物线模型,根据抛物线模型来求得与所述一个或多个峰值点相对应的一个或多个实际的峰值点,所述实际的峰值点的位置能够介于两个整数位置之间,从而得到相邻的两帧图像的亚像素运动向量;
(2)基于所估算的每一对相邻的两帧图像的亚像素运动向量,将当前帧图像和与其相邻的多个参考帧图像融合成为与当前帧图像对应的指定分辨率的高清晰图像,具体包括:
(20)将当前帧图像放大到所述指定分辨率的高分辨率图像,作为迭代的初始值;
(22)对参考帧图像中的每一帧以图像块为单位执行下述步骤:
(2210)把参考帧的图像块对应的亚像素运动向量分解成整数部分和小数部分,将所述参考帧的图像块移动所述整数部分的运动向量,得到移动的参考帧的图像块,将与参考帧的图像块对应的所述高分辨率图像的图像块移动所述小数部分的运动向量,得到移动的高分辨率图像的图像块;
(2220)对所述移动的高分辨率图像的图像块进行高斯滤波并下采样,以得到与所述参考帧图像的分辨率相同的下采样图像块;
(2230)将所述下采样图像块与所述移动的参考帧的图像块相减得到减图像块;
(2240)将所述减图像块进行上采样和高斯低通滤波以得到所述指定分辨率的上采样图像块;
(2250)将所述上采样图像块反向移动所述小数部分的运动矢量,以得到反向移动的上采样图像块;
(2260)将所述反向移动的上采样图像块乘以迭代步长β并输出,其中所述迭代步长β的值在0到1之间的范围;
(24)将所有参考帧图像的所述步骤(2260)的输出结果累加到所述高分辨率图像,以更新所述高分辨率图像;
(26)返回所述步骤(22)重复迭代以得到所述指定分辨率的高清晰图像,迭代次数根据经验值确定。
2.如权利要求1所述的方法,在所述步骤(14)之后,还包括步骤:(16)根据所述一个或多个实际的峰值点的峰值,来计算所述一个或多个实际的峰值点的相对峰值,所述相对峰值用每一实际的峰值点的峰值除以所有的实际峰值点的峰值之和来表示;
在所述步骤(2230)之后,还包括步骤:(2235)求所述减图像块的绝对值之和,并根据所述绝对值之和从增益模型求出增益,将所述增益乘以所述参考帧的图像块的运动向量对应的相对峰值,以得到可靠性参数,其中所述增益模型是所述绝对值之和的函数,且当所述绝对值之和大于或等于预定阈值时增益为1,当所述绝对值之和小于预定阈值时增益线性下降;
在所述步骤(2250)之后,还包括步骤:(2255)将所述反向移动的上采样图像块乘以所述可靠性参数以修正所述反向移动的上采样图像块。
3.如权利要求1或2所述的方法,其中所述步骤(10)还包括步骤:
(1010)使用窗函数对所述相邻的两帧图像分别进行加窗处理;
(1020)对加窗处理的两帧图像进行快速傅立叶变换;
(1030)将傅立叶变换结果的实部加虚部的复数形式转换成幅值和相位的形式;
(1040)将两帧图像的傅立叶变换结果的相位对应相减,得到相位差;
(1050)将所述相位差转换为幅值为1的幅值和相位的复数形式;
(1060)对所述步骤(1050)的转换结果进行快速的反傅立叶变换得到相位相关平面。
4.如权利要求3所述的方法,其中所述步骤(1010)中,所述窗函数是汉宁窗。
5.如权利要求4所述的方法,其中所述步骤(1010)之前还包括:对所述相邻的两帧图像分别进行预处理,所述预处理包括去噪或下采样。
6.如权利要求4所述的方法,其中所述步骤(1030)和所述步骤(1020)中转换成复值和相位的复数形式是利用坐标旋转数字计算机CORDIC算法来实现的。
7.如权利要求5所述的方法,其中所述步骤(1030)和所述步骤(1020)中转换成复值和相位的复数形式是利用坐标旋转数字计算机CORDIC算法来实现的。
CN2010101773155A 2010-05-18 2010-05-18 一种基于多帧运动估计和融合的超分辨率重构方法 Pending CN102236889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101773155A CN102236889A (zh) 2010-05-18 2010-05-18 一种基于多帧运动估计和融合的超分辨率重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101773155A CN102236889A (zh) 2010-05-18 2010-05-18 一种基于多帧运动估计和融合的超分辨率重构方法

Publications (1)

Publication Number Publication Date
CN102236889A true CN102236889A (zh) 2011-11-09

Family

ID=44887516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101773155A Pending CN102236889A (zh) 2010-05-18 2010-05-18 一种基于多帧运动估计和融合的超分辨率重构方法

Country Status (1)

Country Link
CN (1) CN102236889A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824287A (zh) * 2014-02-14 2014-05-28 同济大学 一种基于稳健平面拟合的相位相关亚像素匹配方法
CN103985106A (zh) * 2014-05-16 2014-08-13 三星电子(中国)研发中心 用于对强噪声图像进行多帧融合的设备和方法
CN104126193A (zh) * 2012-02-14 2014-10-29 皇家飞利浦有限公司 图像分辨率增强
CN104966269A (zh) * 2015-06-05 2015-10-07 华为技术有限公司 一种多帧超分辨率成像的装置及方法
CN108989731A (zh) * 2018-08-09 2018-12-11 复旦大学 一种提高视频空间分辨率的方法
CN109658361A (zh) * 2018-12-27 2019-04-19 辽宁工程技术大学 一种顾及运动估计误差的运动场景超分辨率重建方法
CN111260693A (zh) * 2020-01-20 2020-06-09 北京中科晶上科技股份有限公司 一种高空抛物的检测方法
CN111654723A (zh) * 2020-05-14 2020-09-11 北京百度网讯科技有限公司 视频质量提升方法、装置、电子设备和存储介质
CN111932453A (zh) * 2020-07-20 2020-11-13 合肥富煌君达高科信息技术有限公司 高分辨率图像生成方法及集成该方法的高速相机
CN112672073A (zh) * 2021-03-18 2021-04-16 北京小鸟科技股份有限公司 视频图像传输中亚像素文字的放大方法、***及设备
CN113269682A (zh) * 2021-04-21 2021-08-17 青岛海纳云科技控股有限公司 一种结合帧间信息的非均匀运动模糊视频复原方法
CN113592719A (zh) * 2021-08-14 2021-11-02 北京达佳互联信息技术有限公司 视频超分辨模型的训练方法、视频处理方法及相应设备
WO2022068682A1 (zh) * 2020-09-30 2022-04-07 华为技术有限公司 图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1863272A (zh) * 2006-02-14 2006-11-15 华为技术有限公司 一种视频图像超分辨率重构方法
CN101068357A (zh) * 2007-05-24 2007-11-07 北京航空航天大学 用于图像稳定的频域快速亚像素全局运动估计方法
CN101330569A (zh) * 2007-06-18 2008-12-24 索尼株式会社 图像处理装置、图像处理方法和程序
WO2009149601A1 (en) * 2008-06-13 2009-12-17 Shanghai Hewlett-Packard Co., Ltd Processing a super-resolution target image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1863272A (zh) * 2006-02-14 2006-11-15 华为技术有限公司 一种视频图像超分辨率重构方法
CN101068357A (zh) * 2007-05-24 2007-11-07 北京航空航天大学 用于图像稳定的频域快速亚像素全局运动估计方法
CN101330569A (zh) * 2007-06-18 2008-12-24 索尼株式会社 图像处理装置、图像处理方法和程序
WO2009149601A1 (en) * 2008-06-13 2009-12-17 Shanghai Hewlett-Packard Co., Ltd Processing a super-resolution target image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张地,彭宏: "联合运动估计与基于模式的超分辨率图像重构", 《电子学报》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126193A (zh) * 2012-02-14 2014-10-29 皇家飞利浦有限公司 图像分辨率增强
CN103824287A (zh) * 2014-02-14 2014-05-28 同济大学 一种基于稳健平面拟合的相位相关亚像素匹配方法
CN103985106A (zh) * 2014-05-16 2014-08-13 三星电子(中国)研发中心 用于对强噪声图像进行多帧融合的设备和方法
CN104966269A (zh) * 2015-06-05 2015-10-07 华为技术有限公司 一种多帧超分辨率成像的装置及方法
CN108989731A (zh) * 2018-08-09 2018-12-11 复旦大学 一种提高视频空间分辨率的方法
CN108989731B (zh) * 2018-08-09 2020-07-07 复旦大学 一种提高视频空间分辨率的方法
CN109658361B (zh) * 2018-12-27 2022-12-06 辽宁工程技术大学 一种顾及运动估计误差的运动场景超分辨率重建方法
CN109658361A (zh) * 2018-12-27 2019-04-19 辽宁工程技术大学 一种顾及运动估计误差的运动场景超分辨率重建方法
CN111260693A (zh) * 2020-01-20 2020-06-09 北京中科晶上科技股份有限公司 一种高空抛物的检测方法
CN111260693B (zh) * 2020-01-20 2023-07-28 北京中科晶上科技股份有限公司 一种高空抛物的检测方法
CN111654723A (zh) * 2020-05-14 2020-09-11 北京百度网讯科技有限公司 视频质量提升方法、装置、电子设备和存储介质
CN111654723B (zh) * 2020-05-14 2022-04-12 北京百度网讯科技有限公司 视频质量提升方法、装置、电子设备和存储介质
CN111932453A (zh) * 2020-07-20 2020-11-13 合肥富煌君达高科信息技术有限公司 高分辨率图像生成方法及集成该方法的高速相机
WO2022068682A1 (zh) * 2020-09-30 2022-04-07 华为技术有限公司 图像处理方法及装置
CN112672073B (zh) * 2021-03-18 2021-05-28 北京小鸟科技股份有限公司 视频图像传输中亚像素文字的放大方法、***及设备
CN112672073A (zh) * 2021-03-18 2021-04-16 北京小鸟科技股份有限公司 视频图像传输中亚像素文字的放大方法、***及设备
CN113269682A (zh) * 2021-04-21 2021-08-17 青岛海纳云科技控股有限公司 一种结合帧间信息的非均匀运动模糊视频复原方法
CN113592719A (zh) * 2021-08-14 2021-11-02 北京达佳互联信息技术有限公司 视频超分辨模型的训练方法、视频处理方法及相应设备
CN113592719B (zh) * 2021-08-14 2023-11-28 北京达佳互联信息技术有限公司 视频超分辨模型的训练方法、视频处理方法及相应设备

Similar Documents

Publication Publication Date Title
CN102236889A (zh) 一种基于多帧运动估计和融合的超分辨率重构方法
Robinson et al. Optimal registration of aliased images using variable projection with applications to super-resolution
Zhang et al. Non-local kernel regression for image and video restoration
US9830682B2 (en) Upsampling and signal enhancement
CN106251297A (zh) 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
Gal et al. Progress in the restoration of image sequences degraded by atmospheric turbulence
Kato et al. Double sparsity for multi-frame super resolution
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
KR101538313B1 (ko) 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치
Khosravi et al. Data compression in ViSAR sensor networks using non-linear adaptive weighting
Karimi et al. A survey on super-resolution methods for image reconstruction
Zhu et al. Single image super-resolution under multi-frame method
Chen et al. Integrating the missing information estimation into multi-frame super-resolution
Wang et al. Data-driven tight frame for multi-channel images and its application to joint color-depth image reconstruction
Gao et al. High performance super-resolution reconstruction of multi-frame degraded images with local weighted anisotropy and successive regularization
Nakahara et al. Single-frame super-resolution using superpixel based dictionary
Zhou et al. Single-frame remote sensing image super-resolution reconstruction algorithm based on two-dimensional wavelet
Shao et al. Partition-based interpolation for color filter array demosaicking and super-resolution reconstruction
Patanavijit et al. An iterative super-resolution reconstruction of image sequences using a Bayesian approach with BTV prior and affine block-based registration
Zhang et al. Single depth map super-resolution via joint non-local self-similarity modeling and local multi-directional gradient-guided regularization
Ai et al. SISR via trained double sparsity dictionaries
Suryanarayana et al. Edge preserving super-resolution algorithm using multi-stage cascaded joint bilateral filter
Li et al. Super resolution of single depth image based on multi-dictionary learning with edge feature regularization
Frucci et al. An automatic image scaling up algorithm
Patel et al. Dictionary learning-based image super-resolution for multimedia devices

Legal Events

Date Code Title Description
DD01 Delivery of document by public notice

Addressee: Wang Hongjian

Document name: Notification to Make Rectification

DD01 Delivery of document by public notice

Addressee: Wang Hongjian

Document name: Notification to Make Rectification

C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice

Addressee: Wang Hongjian

Document name: the First Notification of an Office Action

DD01 Delivery of document by public notice

Addressee: Wang Hongjian

Document name: Notification that Application Deemed to be Withdrawn

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111109