CN101720039B - 一种基于菱形搜索的多分辨率的快速运动估计方法 - Google Patents
一种基于菱形搜索的多分辨率的快速运动估计方法 Download PDFInfo
- Publication number
- CN101720039B CN101720039B CN 200910192138 CN200910192138A CN101720039B CN 101720039 B CN101720039 B CN 101720039B CN 200910192138 CN200910192138 CN 200910192138 CN 200910192138 A CN200910192138 A CN 200910192138A CN 101720039 B CN101720039 B CN 101720039B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- search
- motion
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及视频编码技术领域,特别是涉及一种基于菱形搜索的多分辨率的快速运动估计方法,其步骤为:(11)对当前时刻正常分辨率原始图像进行取样得到低分辨率图像;(12)对低分辨率图像的每个块执行菱形搜索;(13)用当前时刻低分辨率原始图像更新帧缓存区内的参考帧;(14)用低分辨率运动矢量去设置正常分辨率图像内对应宏块的初始运动矢量;(15)在正常的逐个16×16宏块的编码过程中对每个宏块执行菱形搜索,求得最佳运动矢量。本发明在正常分辨率菱形搜索外增加低分辨率菱形搜索,有效提高了对高清视频中的大运动的估计准确度,同时增加的搜索点数和运算量很少,满足实时要求。
Description
技术领域
本发明涉及视频编码技术领域,特别是涉及一种基于菱形搜索的多分辨率的快速运动估计方法。
背景技术
上世纪80年代3C(Computers,Communications,Consumer Electronics)的相互渗透与融合催生了多媒体技术并且推动多媒体技术飞速发展与普及。视频编码技术是多媒体技术中的关键技术。现有的视频编码标准包括MPEG-1,MPEG-2,MPEG-4,H.261,H.263,H.264/AVC,都是包括运动补偿帧间预测、分块正交变换与量化、熵编码三类数据压缩方法的混合编码方法,分别去除视频数据表达的时域冗余、空域冗余和符号统计冗余,通过换用更高效率的数据表达方式来提高数字视频数据的传输与存储效率。其中又以运动补偿帧间预测的贡献最大。现有视频编码标准均采用闭环的分块运动补偿帧间预测方法,并且依赖于运动估计所求得的最佳块匹配准则下的运动矢量实现过去帧重建图像数据对当前帧图像数据的最佳预测。运动估计仅出现于编码过程,属于标准不予定义的开放内容,决定了压缩效率、重建图像质量和编码运算量,成为多媒体数据压缩的关键、核心技术。
运动估计的直接实现方法是全搜索。即计算一定范围内所有位置的块匹配量度量。全搜索具有全局最优的意义,但是运算量太大,难以实用,尤其不适合于实时多媒体应用。所以面向实用的局部搜索或者部分搜索的快速运动估计方法应运而生。快速运动估计方法的目标和评估指标是在压缩效率与运算量两项指标之间取得最佳折衷。
最早的快速运动估计方法是三步法,属于分层的运动估计方法,在由粗至细的多个层次上搜索正方形模板的8邻点,上一层的最佳运动矢量为下一层的搜索中心,由粗至细不断精确化。随后的新三步法和四步法利用运动矢量分布偏向中心的统计特性在执行三步法之前执行小范围全搜索,以避免搜索中心过早地跳到远离最优位置的地方。后来的菱形搜索方法沿着最佳块匹配方向逐个像素移动图1的菱形模板去逼近最佳运动矢量位置,见于文献1(J.Y.Tham,etal.A Novel Unrestricted Center-Biased Diamond Search Algorithm for BlockMotion Estimation.IEEE Transactions on CSVT,1998,8(4):369-377)。统计显示在实时摄取的场景中物体运动集中于水平运动和垂直运动,菱形模板比正方形和圆形模板更能有效把握物体局部运动。如果当前菱形的最佳块匹配位置非中心点,就把该位置作为下一个菱形的中心点继续搜索,直至菱形中心点陷入菱形邻域最佳块匹配位置为止,如图2所示。菱形搜索方法能够最好地利用运动矢量分布偏向中心的特性,以最少搜索点数获得接近全搜索的压缩效率。
菱形搜索方法进一步发展为预测运动矢量场的自适应搜索方法(Predictive Motion Vector Field Adaptive Search Technique,缩写PMVFAST),见于文献2(A.M.Tourapis,et al.Highly Efficient PredictiveZonal Algorithms for Fast Block-Matching Motion Estimation.IEEETransactions on CSVT,2002,12(10):934-947)和专利US6842483。PMVFAST在菱形搜索前先执行基于时空层间相关性的搜索中心预测及搜索,依次计算绝对零位移位置、空间相关的搜索中心、时间相关的搜索中心、层间相关的搜索中心最多4个位置的块匹配量度量,以其中最佳块匹配位置为后续菱形搜索的搜索中心。PMVFAST进一步利用运动矢量分布偏向中心的特性,减少运动搜索陷入局部最优而无法达到全局最优的机会,也加快了菱形搜索的收敛。目前实用的运动估计方法均与PMVFAST大同小异,包括六角形搜索方法。
菱形搜索方法的缺陷是数据流不规则,搜索点数不确定且相差很大,只适合于个人电脑和数字信号处理器(Digital Signal Processor,缩写DSP)的软件实现,不适合于专用芯片(Application Specific Integrated Circuits,缩写ASIC)的硬件实现。分层运动估计方法进一步发展为多分辨率运动估计方法。该方法的基本思想是在低分辨率上进行粗略的估计,了解图像运动的大致情况,再由粗至细逐步精确化。文献3(B.F.Wu,et al.Efficient HierarchicalMotion Estimation Algorithm and Its VLSI Architecture.IEEE Transactionson VLSI Systems,2008,16(10):1385-1398)和专利CN1719901描述的三分辨率运动估计方法如图3所示,在1/16,1/4,1/1三个分辨率上依次执行4×4,8×8,16×16块的范围较小的全搜索。初始搜索中心可以是绝对零位移位置,也可以是相对零位置(运动矢量预测值),低分辨率运动估计所得结果为高一级分辨率运动估计的搜索中心。为了减少噪声对低分辨率运动估计的干扰,在对原始图像和本地重建图像执行缩小尺寸的下取样时需要平滑滤波。多个分辨率的运动搜索范围可以恒定,也可以可变。为了进一步减少运动搜索陷入局部最优而无法达到全局最优的概率,低分辨率运动估计可以向高一级分辨率输出不止一个运动矢量,在同一分辨率上执行多个围绕不同搜索中心的全搜索。多分辨率运动估计方法的搜索点数分布均匀,数据流规则、恒定,有利于ASIC硬件实现。同时多分辨率运动估计方法克服了三步法、新三步法和四步法等旧分层运动估计方法在大运动或者复杂运动下性能急剧下降的缺陷,获得最接近全搜索的压缩效率。
近年多媒体通信的图像分辨率随通信网络的演进和微处理器性能的摩尔定律提升而不断提高。2003年会议电视的主流分辨率还是CIF。2005年就提高至D1和4CIF的标清分辨率。2005年底出现支持720p H.264实时编解码的会议电视产品,标志着会议电视迈进高清时代。2008年多个厂家的1080i和1080p H.264实时编解码的会议电视产品陆续上市。近来还出现由多路720p/1080i/1080p视频拼成的超高清的网真(TelePresence)产品。
2005年在用Philips公司TriMedia PNX1502E芯片实现CIF视频H.264实时编码中应用基于时空层间相关性的搜索中心预测及搜索结合使用步长为1的小菱形模板的菱形搜索,效果很好,达到业界先进水平。随后2008年在用美国德克萨斯州仪器公司TMS320C6455芯片实现720p/1080i/1080p高清视频H.264实时编码中沿用相同方法,效果却很不好。与全搜索以及接近全搜索的原美国W&W通信公司的H.264高清视频编解码专用芯片ww108比较,在中小运动场景下感觉不到差异,但是在大运动尤其是快速旋转高清摄像头和近距离快速甩手的场景下差别较明显;在某些特定的快速旋转高清摄像头的场景下C6455的4Mbps的1080i/1080p图像质量比ww108芯片2Mbps的图像质量还差。原因是同一物体运动在高清下的位移量是在CIF下的位移量的5~6倍,C6455与ww108差距较大的场景都是画面中超过1/4的宏块位移量在300个整像素单位以上的场景,菱形搜索方法所包含的沿着最佳块匹配方向(块匹配量度量最陡下降方向)逐个像素移动去逼近全局最优位置的过程不足以在大范围内准确捕捉大运动。
为了在大范围内准确捕捉大运动,自然想到先进行粗略搜索,获得对图像运动的大致了解,再由粗至细逐步精确化。这便是多分辨率运动估计方法的思路和过程。无论从优化理论与算法而言,还是用实际表现来说,这种由粗至细逐步精确化的寻优过程优于沿着块匹配量度量最陡下降方向逐个像素移动的寻优过程。然而多分辨率运动估计方法在运算量和占用内存容量上比菱形搜索方法大得多,照搬到C6455平台上不能实时。即使H.264编码软件针对C6455硬件特性的优化做到极致,使用菱形搜索方法也仅能做到单片C6455720p编码实时和双片C64551080i/1080p并行编码实时。
发明内容
本发明要解决的技术问题是既克服现有菱形搜索方法的对高清视频中的大运动估计不准确的缺陷,又克服现有多分辨率运动估计方法的运算量和复杂度过高的缺陷,在用DSP实现高清视频编码中明显改进图像质量达到接近全搜索以及原美国W&W通信公司的H.264高清视频编解码专用芯片ww108的水平,同时满足实时要求。
为解决上述问题,本发明提供一种基于菱形搜索的多分辨率的快速运动估计方法,其步骤为:
(11)对当前时刻正常分辨率W×H原始图像进行取样得到低分辨率LW×LH图像,图像宽度W经过M倍缩小成为LW=W/M,图像高度H经过N倍缩小成为LH=H/N;
(12)对低分辨率LW×LH图像的每个16×16块执行菱形搜索,得到低分辨率运动估计结果;
(13)用当前时刻低分辨率LW×LH原始图像更新帧缓存区内的参考帧;
(14)用低分辨率运动矢量去设置正常分辨率W×H图像内对应的M×N个16×16宏块的初始运动矢量;
(15)在正常的逐个16×16宏块的编码过程中对正常分辨率W×H内的每个16×16宏块进行菱形搜索,求得最佳运动矢量,用于后续宏块编码过程。
作为更进一步的优选方案,步骤(12)中对低分辨率LW×LH图像的每个16×16块进行菱形搜索,其具体步骤如下:
(21)以帧缓存区内一个或者多个过去时刻低分辨率原始图像为参考帧;
(22)运动搜索范围严格限制在低分辨率LW×LH图像窗口范围内;
(23)运动搜索方法是基于时空相关性的搜索中心预测及搜索结合菱形搜索;
(24)块匹配量度量是参考帧图像块与当前帧图像块之间的绝对值和差SAD(Sum of Absolute Difference);
(25)求得16×16块的每个过去时刻的最佳运动矢量。
作为更进一步的必选方案,在步骤(14)中,低分辨率LW×LH图像内16×16块的每个过去时刻的运动矢量的垂直分量为LMVy,水平分量为LMVx,正常分辨率W×H图像内与该16×16块对应的图像内容相同的区域包含M×N个16×16宏块,这M×N个宏块的过去同一时刻的初始运动矢量的垂直分量设置为MVOy=N×LMVy,水平分量设置为MVOx=M×LMVx。
作为更进一步的优选方案,步骤(15)中对正常分辨率估计图像的每个16×16宏块进行菱形搜索,其具体步骤如下:
(41)以帧缓存区内一个或者多个过去时刻正常分辨率重建图像为参考帧,参考帧数与低分辨率参考帧数一致;
(42)运动搜索范围允许超出W×H图像窗口范围;
(43)运动搜索方法是以正常分辨率W×H图像内的每个16×16宏块的初始运动矢量指向位置为搜索中心的菱形搜索;
(44)块匹配量度量是Lagrangian代价J=D+λ×R,其中D是参考帧图像块与当前帧图像块之间的绝对值和差,R是运动矢量的码字长度,λ是H.264编码算法设定的Lagrangian因子;
(45)求得每个16×16宏块的每个过去时刻的最佳运动矢量。
作为更进一步的优选方案,步骤(11)中,对当前时刻正常分辨率W×H原始图像采用不包含平滑滤波的下取样成为低分辨率图像。
本发明的技术效果如下:
本发明在正常分辨率菱形搜索外增加低分辨率菱形搜索,使运动估计兼具由粗至细逐步精确化和沿着块匹配量度量最陡下降方向逐个像素逼近两种寻优过程,有效提高了对高清视频中的大运动的估计准确度,显著改进图像质量。同时增加的搜索点数和运算量只有1/(M×N)。在实施例只增加了1/8的搜索点数和运算量。
本发明在低分辨率以过去帧原始图像为参考帧。而现有多分辨率运动估计方法在低分辨率多以过去帧重建图像为参考帧。本发明的好处主要是省略了重建图像下取样,其次排除了重建图像中量化噪声尤其是方块效应的干扰。本发明在低分辨率以过去时刻原始图像为参考帧,执行开环的运动估计,块匹配量度量是单纯失真度的量度量SAD,功效是寻求最准确运动;在正常分辨率以过去时刻重建图像为参考帧,执行闭环的运动估计和运动补偿帧间预测,块匹配量度量是率失真的量度量Lagrangian代价,功效是寻求最佳编码结果。
本发明在低分辨率运动估计所用方块是16×16,比现有多分辨率运动估计方法在低分辨率运动估计所用方块大。方块大的好处是抑制噪声。因为方块SAD计算包含抑制噪声的效果。所以本发明在省略下取样中的平滑滤波后仍能取得很好效果。
在双片C6455并行编码1080i/1080p中加入本发明方法后,在用C6455片内外设EDMA3硬件实现下取样时,平均每帧编码时间增加不到2毫秒,达到实时。其中用C6455EDMA3硬件实现下取样比编程用C6455中央处理器CPU软件实现下取样要节省1毫秒多一点。加入本发明方法后编码重建图像质量有明显提高,尤其在快速旋转高清摄像头和近距离快速甩手的场景下无本发明的旧版本与加入本发明的新版本在图像质量上相差很大。加入本发明的新版本已经达到原美国W&W通信公司的H.264高清视频编解码专用芯片ww108的水平。
附图说明
图1是菱形搜索方法的搜索模板,(a)为大菱形模板,(b)为小菱形模板;
图2是现有菱形搜索方法的搜索过程示意图;
图3是现有多分辨率运动估计方法的结构图;
图4是本发明的基于菱形搜索的多分辨率的快速运动估计方法的流程图;
图5是本发明的基于菱形搜索的多分辨率的快速运动估计方法的结构图;
图6是本发明用于双片C6455并行编码1080i视频的实施例中,C6455片内外设EDMA3通道#3硬件实现当前场1920×544原始亮度图像内一条1920×32图像带缩小为480×16图像带并且存放到片外DDR2主内存中当前场480×272图像内的对应位置的示意图以及EDMA3通道#3对应的通道控制器参数内存区的参数字设置。
图7是本发明用于双片C6455并行编码1080i视频的实施例中,C6455片内外设EDMA3通道#4把当前场480×272图像内一条480×16图像带从片外DDR2主内存搬移到C6455片内二级存储器内的示意图以及EDMA3通道#4对应的通道控制器参数内存区的参数字设置。
具体实施例
本发明的流程图如图4所示,结构图和主要特征如图5所示,运动估计按照箭头方向在多个分辨率上逐步精确化。
下面参考附图对本发明的实施作详细说明。
(1)对于视频采集来的存放于主内存的当前时刻正常分辨率W×H原始图像,执行不包含平滑滤波的下取样处理,缩小成为低分辨率LW×LH原始图像,其中图像宽度W经过M倍缩小成为LW=W/M,图像高度H经过N倍缩小成为LH=H/N。这个下取样过程可以软件编程实现,最好利用DSP片内外设硬件实现,如后面的实施例。
(2)把当前时刻低分辨率图像划分为16×16块,以帧缓存区内一个或者多个过去时刻低分辨率原始图像为参考帧,对当前时刻低分辨率图像内每个16×16块,执行严格局限在LW×LH图像窗口范围内的运动估计,运动搜索方法是现有的基于时空相关性的搜索中心预测及搜索结合菱形搜索,块匹配量度量是参考帧图像块与当前帧图像块之间的绝对值和差SAD,求得每一个16×16块的每个过去时刻的最佳运动矢量(LMVy,LMVx)。
步骤(2)中基于时空相关性的搜索中心预测及搜索结合菱形搜索的方法包含以下步骤:
a、计算每个过去时刻的绝对零位移位置的SAD值;
b、空间相关的搜索中心为H.264定义的过去同一时刻的运动矢量预测值指向位置,实质为运动矢量场经过中值滤波的结果,计算该位置的SAD值;
c、时间相关的搜索中心为相对于前一时刻低分辨率图像相同位置16×16块的过去同一时刻的运动矢量指向位置,计算该位置的SAD值;
d、确定步骤(a),(b),(c)最多三个位置中SAD最小位置;
e、执行以步骤(d)求得的SAD最小位置为搜索中心的菱形搜索,求得每一个16×16块的每个过去时刻的最佳运动矢量(LMVy,LMVx)。
(3)用当前时刻低分辨率LW×LH原始图像更新帧缓存区内的参考帧;
(4)用当前时刻低分辨率LW×LH图像内每个16×16块的每个过去时刻的运动估计结果(LMVy,LMVx)去设置当前时刻正常分辨率W×H图像内对应的M×N个16×16宏块的过去同一时刻的初始运动矢量(MVOy,MVOx),其中垂直分量MVOy=N×LMVy,水平分量MVOx=M×LMVx;
(5)在正常的逐个16×16宏块的编码过程中,以帧缓存区内一个或者多个过去时刻正常分辨率重建图像为参考帧,,参考帧数与低分辨率参考帧数一致,执行16×16宏块的允许超出W×H图像窗口范围的无限制运动估计,运动搜索方法是以步骤(4)输出的每个过去时刻的初始运动矢量(MVOy,MVOx)指向位置为搜索中心的菱形搜索,块匹配量度量是Lagrangian代价J=D+λ×R,其中D是参考帧图像块与当前帧图像块之间的绝对值和差SAD,R是运动矢量(MVy,MVx)的码字长度,λ是H.264编码算法设定的Lagrangian因子,最后求得16×16宏块的每个过去时刻的整像素精度的最佳运动矢量(MVy,MVx),用于后续宏块编码。
进一步,后续宏块编码过程包括且不限于16x16宏块的1/4像素运动估计,16×8和8×16块的整像素运动估计和1/4像素运动估计,帧间模式选择,帧内预测编码模式尝试,帧间与帧内编码模式选择,帧间预测或帧内预测,正交变换,量化,之字扫描与游程编码,熵编码。
下面对本发明用于双片C6455并行编码1080i视频的实施例作详细描述。
C6455片内包含增强的直接内存存取控制器(Enhanced Direct MemoryAccess)EDMA3,包括一个通道控制器和四个传输控制器,共提供64个通道,每个通道由对应的通道控制器参数内存区8个32位参数字设置,实现数据在不同存储区域的搬移,主要是在片外DDR2主内存与片内二级存储器之间的搬移。EDMA3支持一行连续数组的一维搬移、由多行数组组成的帧的二维搬移以及由多帧组成的块的三维数据搬移。这种数据搬移是独立于片内CPU的后台运行过程。通过乒乓缓存技术可以令CPU的数据处理与EDMA3的数据搬移并行执行。
利用EDMA3三维数据搬移可硬件实现任意图像下取样,比CPU软件实现图像下取样达到更高执行效率。
双片C6455并行编码1080i视频时单片C6455编顶场(偶数场)或底场(奇数场),使用单个参考帧,为前一时刻同性图像。采集的一场1920×540的YUV4:2:0格式的图像经过垂直两边外延成为1920×544图像。预处理后,编码步骤如下:
(1)用C6455片内外设EDMA3通道#5把帧缓存区内前一场480×272图像从片外DDR2主内存搬移到C6455片内二级存储器内。
C6455片内二级存储器容量2M字节,足够存放一幅480×272字节图像。
(2)用C6455片内外设EDMA3通道#3硬件实现当前场1920×544原始亮度图像内一条1920×32图像带缩小为480×16图像带,并且存放到片外DDR2主内存中当前场480×272图像内的对应位置,如图6所示。
按照图6设置EDMA3通道#3所对应的通道控制器参数内存区的8个32位参数字。接着将通道控制器的行为设置寄存器ESR和ESRH对应位软件写“1”,从而人工触发硬件数据搬移,通过EDMA3通道#3独立于CPU的后台搬移,把当前场1920×544原始亮度图像内一条1920×32图像带缩小为480×16图像带并且存放到片外DDR2主内存中当前场480×272图像内的对应位置。然后查询被引导至某个可屏蔽区域寄存器组(共8个可屏蔽区域寄存器组)的中断挂起寄存器IPR和IPRH对应位是否为“1”,为“1”表明数据搬移已完成。此时中断使能寄存器IER和IERH的对应位被屏蔽,不会向CPU发出中断而使单纯软件实现的视频编码任务干扰整个芯片运行。
(3)用C6455片内外设EDMA3通道#4把步骤(2)输出的当前场480×272图像内一条480×16图像带从片外DDR2主内存搬移到C6455片内二级存储器内,如图7所示。
按照图7设置EDMA4通道#4所对应的通道控制器参数内存区的8个32位参数字。接着将通道控制器的行为设置寄存器ESR和ESRH对应位软件写“1”,从而人工触发硬件数据搬移,通过EDMA4通道#4独立于CPU的后台搬移,把当前场480×272图像内一条480×16图像带从片外DDR2主内存搬移到C6455片内二级存储器内。然后查询被引导至某个可屏蔽区域寄存器组(共8个可屏蔽区域寄存器组)的中断挂起寄存器TPR和IPRH对应位是否为“1”,为“1”表明数据搬移已完成。
(4)以片内二级存储器内前一场480×272亮度图像为参考帧,对步骤(3)输出的已经搬移到片内二级存储器内的一条480×16图像带内的30个16×16块,执行严格局限在480×272范围内的运动估计,运动搜索方法是基于时空相关性的搜索中心预测及搜索结合使用步长为1的小菱形模板的菱形搜索,块匹配量度量是SAD,求得30个16×16块最佳运动矢量。
(5)用乒乓缓存技术把由C6455片内EDMA3通道#3、EDMA3通道#4和CPU三个独立部件分别执行的步骤(2)、步骤(3)和步骤(4)并行执行,使得处理30个16×16块的总时间为步骤(2)时间、步骤(3)时间和步骤(4)时间中的最大值。由此完成480×272图像内全部17个16×16块行的处理。
乒乓缓存技术指步骤(2)把当前场1920×544原始亮度图像内第i+2条1920×32图像带缩小为480×16图像带并且存放到片外DDR2主内存中当前场480×272图像内第i+2条图像带位置,同时步骤(3)把当前场480×272图像内第i+1条480×16图像带从片外DDR2主内存搬移到C6455片内二级存储器Buf2内,同时步骤(4)对已经搬移到片内二级存储器Buf1内的当前场480×272图像内第i条480×16图像带的30个16×16块执行运动估计。步骤(2)、步骤(3)、步骤(4)结束后令片内二级存储器Buf1和Buf2轮转指针,令指向1920×544图像和480×272图像的指针递增到第i+3个图像条,便可循环执行直至完成。
(6)通过指针轮转用当前场480×272图像更新帧缓存区的参考帧。
(7)用当前场480×272图像内16×16图像块的运动估计结果(LMVy,LMVx)去设置当前场1920×544图像内对应的8个16×16宏块的初始运动矢量(MVOy,MVOx),其中垂直分量MVOy=2×LMVy,水平分量MVOx=4×LMVx。
(8)在正常的逐个16×16宏块的编码过程中,执行16×16宏块的允许超出1920×544图像范围的无限制运动估计,运动搜索方法是以当前宏块的初始运动矢量(MVOy,MVOx)指向位置为搜索中心的使用步长为1的小菱形模板的菱形搜索,块匹配量度量是Lagrangian代价J=D+λ×R,最后求得16×16宏块的整像素精度的最佳运动矢量(MVy,MVx)。
(9)用现有方法完成后续的宏块编码过程。
Claims (3)
1.一种基于菱形搜索的多分辨率的快速运动估计方法,其特征在于,采用如下步骤:
(11)对当前时刻正常分辨率W×H原始图像进行取样得到低分辨率LW×LH图像,图像宽度W经过M倍缩小成为LW=W/M,图像高度H经过N倍缩小成为LH=H/N;
(12)把当前时刻低分辨率图像划分为多个16×16的块,对低分辨率LW×LH图像的每个16×16块执行运动搜索,得到低分辨率运动矢量,具体步骤为:
以帧缓存区内一个或者多个过去时刻低分辨率图像为参考帧;
运动搜索范围严格限制在低分辨率LW×LH图像窗口范围内;
所述运动搜索方法为:
计算每个过去时刻的绝对零位移位置的SAD值;计算空间相关的搜索中心的SAD值,所述空间相关的搜索中心为H.264定义的过去同一时刻的运动矢量预测值指向位置;计算时间相关的搜索中心的SAD值,所述时间相关的搜索中心为相对于前一时刻低分辨率图像相同位置16×16块的过去同一时刻的运动矢量指向位置;确定上述SAD值中最小SAD对应的位置;执行以所确定的最小SAD对应的位置为搜索中心的菱形搜索,求得每个16×16块的每个过去时刻的最佳运动矢量;
(13)用当前时刻低分辨率LW×LH图像更新帧缓存区内的参考帧;
(14)用低分辨率运动矢量去设置正常分辨率W×H图像内对应的M×N个16×16宏块的初始运动矢量,低分辨率LW×LH图像内16×16块的每个过去时刻的运动矢量的垂直分量为LMVy,水平分量为LMVx,正常分辨率W×H图像内 与该16×16块对应的图像内容相同的区域包含M×N个16×16宏块,这M×N个宏块的过去同一时刻的初始运动矢量的垂直分量设置为MVOy=N×LMVy,水平分量设置为MVOx=M×LMVx;
(15)在逐个16×16宏块的编码过程中对正常分辨率W×H图像内的每个16×16宏块执行菱形搜索,求得最佳运动矢量,用于后续宏块编码过程。
2.根据权利要求1所述的运动估计方法,其特征在于,步骤(15)中对正常分辨率W×H图像的每个16×16宏块进行菱形搜索,其具体步骤如下:
(41)以帧缓存区内一个或者多个过去时刻正常分辨率重建图像为参考帧,参考帧数与低分辨率参考帧数一致;
(42)运动搜索范围允许超出W×H图像窗口范围;
(43)运动搜索方法是以正常分辨率W×H图像内的每个16×16宏块的初始运动矢量指向位置为搜索中心的菱形搜索;
(44)块匹配量度量是Lagrangian代价J=D+λ×R,其中D是参考帧图像块与当前帧图像块之间的绝对值和差,R是运动矢量的码字长度,λ是H.264编码算法设定的Lagrangian因子;
(45)求得每个16×16宏块的每个过去时刻的最佳运动矢量。
3.根据权利要求1所述的运动估计方法,其特征在于,所述的步骤(11)中,对当前时刻正常分辨率W×H原始图像采用不包含平滑滤波的下取样成为低分辨率LW×LH图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910192138 CN101720039B (zh) | 2009-09-08 | 2009-09-08 | 一种基于菱形搜索的多分辨率的快速运动估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910192138 CN101720039B (zh) | 2009-09-08 | 2009-09-08 | 一种基于菱形搜索的多分辨率的快速运动估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101720039A CN101720039A (zh) | 2010-06-02 |
CN101720039B true CN101720039B (zh) | 2011-08-24 |
Family
ID=42434541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200910192138 Expired - Fee Related CN101720039B (zh) | 2009-09-08 | 2009-09-08 | 一种基于菱形搜索的多分辨率的快速运动估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101720039B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101945284B (zh) * | 2010-09-29 | 2013-01-02 | 无锡中星微电子有限公司 | 一种运动估计的装置和方法 |
CN102137257B (zh) * | 2011-03-01 | 2013-05-08 | 北京声迅电子有限公司 | 基于tms320dm642芯片的嵌入式h.264编码方法 |
CN103139562B (zh) * | 2011-11-30 | 2016-05-04 | 富士通株式会社 | 运动估计方法和装置 |
CN106537918B (zh) * | 2014-08-12 | 2019-09-20 | 英特尔公司 | 用于视频编码的运动估计的***和方法 |
CN105635734B (zh) * | 2014-11-03 | 2019-04-12 | 掌赢信息科技(上海)有限公司 | 基于视频通话场景的自适应视频编码方法及装置 |
CN104601993A (zh) * | 2014-12-31 | 2015-05-06 | 乐视网信息技术(北京)股份有限公司 | 一种视频编码方法及装置 |
CN104581180A (zh) * | 2014-12-31 | 2015-04-29 | 乐视网信息技术(北京)股份有限公司 | 一种视频编码方法及装置 |
CN104506869B (zh) * | 2015-01-12 | 2017-10-13 | 深圳市江机实业有限公司 | 基于块匹配在不同分辨率下视频序列的运动估计方法 |
CN107396112B (zh) * | 2017-08-01 | 2021-03-09 | 深信服科技股份有限公司 | 一种编码方法及装置、计算机装置、可读存储介质 |
US10386851B2 (en) * | 2017-09-22 | 2019-08-20 | Locus Robotics Corp. | Multi-resolution scan matching with exclusion zones |
CN112911307B (zh) * | 2021-01-15 | 2022-09-02 | 北京锐马视讯科技有限公司 | 4k、8k、16k超高清视频编码运动估计优化方法和装置、设备及存储介质 |
CN113411585B (zh) * | 2021-06-15 | 2022-05-31 | 广东工业大学 | 一种适用于高速飞行器的h.2***视频编码方法及*** |
CN116074533B (zh) * | 2023-04-06 | 2023-08-22 | 湖南国科微电子股份有限公司 | 运动矢量预测方法、***、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1333634A (zh) * | 2001-01-12 | 2002-01-30 | 北京航空航天大学 | 快速视频运动估计方法 |
CN101374235A (zh) * | 2007-08-24 | 2009-02-25 | 大唐移动通信设备有限公司 | 视频编码中的快速块运动估计方法和装置 |
-
2009
- 2009-09-08 CN CN 200910192138 patent/CN101720039B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1333634A (zh) * | 2001-01-12 | 2002-01-30 | 北京航空航天大学 | 快速视频运动估计方法 |
CN101374235A (zh) * | 2007-08-24 | 2009-02-25 | 大唐移动通信设备有限公司 | 视频编码中的快速块运动估计方法和装置 |
Non-Patent Citations (1)
Title |
---|
王燕妮.基于视频压缩的多分辨率预测菱形搜索算法.《计算机工程与应用》.2007,第43卷(第27期),95-97. * |
Also Published As
Publication number | Publication date |
---|---|
CN101720039A (zh) | 2010-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101720039B (zh) | 一种基于菱形搜索的多分辨率的快速运动估计方法 | |
KR102121558B1 (ko) | 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더 | |
US8369408B2 (en) | Method of fast mode decision of enhancement layer using rate-distortion cost in scalable video coding (SVC) encoder and apparatus thereof | |
TW201004357A (en) | Rate-distortion quantization for context-adaptive variable length coding (CAVLC) | |
WO2006096612A2 (en) | System and method for motion estimation and mode decision for low-complexity h.264 decoder | |
CN106231320B (zh) | 一种支持多机并行编码的联合码率控制方法及*** | |
Ting et al. | Center-biased frame selection algorithms for fast multi-frame motion estimation in H. 264 | |
EP2283658A2 (en) | Apparatus and method for computationally efficient intra prediction in a video coder | |
JP2015530035A (ja) | 映像符号化方法、およびこの方法を用いる映像符号化装置 | |
CN100518324C (zh) | 实现基于感兴趣区域的压缩域mpeg-2到h.264视频转换的方法 | |
CN106412611B (zh) | 一种高效视频编码的复杂度控制方法 | |
CN103384327A (zh) | 基于自适应阈值的avs快速模式选择算法 | |
CN100525454C (zh) | 帧间预测模式的选择方法 | |
CN104702959B (zh) | 一种视频编码的帧内预测方法及*** | |
CN102946533B (zh) | 视频编码 | |
CN101179734B (zh) | 一种视频压缩的帧内预测方法和*** | |
CN101883275B (zh) | 视频编码方法 | |
CN101179729A (zh) | 一种基于帧间模式统计分类的h.264宏块模式选择方法 | |
CN102917233A (zh) | 空间遥操作环境下立体视频编码优化方法 | |
CN102714717A (zh) | 低成本的视频编码器 | |
CN101557519B (zh) | 一种多视点视频编码方法 | |
CN101822058A (zh) | 使用像素抽取的视频编码 | |
CN101094398A (zh) | 一种基于时间分辨率变换的视频转换处理方法 | |
CN101977317B (zh) | 帧内预测方法及装置 | |
CN102186079A (zh) | 一种基于运动向量的h.264基本档次帧内模式选择方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110824 Termination date: 20120908 |