CN103561263B - 基于运动矢量约束和加权运动矢量的运动补偿预测方法 - Google Patents

基于运动矢量约束和加权运动矢量的运动补偿预测方法 Download PDF

Info

Publication number
CN103561263B
CN103561263B CN201310547287.5A CN201310547287A CN103561263B CN 103561263 B CN103561263 B CN 103561263B CN 201310547287 A CN201310547287 A CN 201310547287A CN 103561263 B CN103561263 B CN 103561263B
Authority
CN
China
Prior art keywords
motion vector
motion
amvp
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310547287.5A
Other languages
English (en)
Other versions
CN103561263A (zh
Inventor
白旭
于力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIGITAL TELEVISION TECHNOLOGY CENTER BEIJING PEONY ELECTRONIC GROUP Co Ltd
Original Assignee
DIGITAL TELEVISION TECHNOLOGY CENTER BEIJING PEONY ELECTRONIC GROUP Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DIGITAL TELEVISION TECHNOLOGY CENTER BEIJING PEONY ELECTRONIC GROUP Co Ltd filed Critical DIGITAL TELEVISION TECHNOLOGY CENTER BEIJING PEONY ELECTRONIC GROUP Co Ltd
Priority to CN201310547287.5A priority Critical patent/CN103561263B/zh
Publication of CN103561263A publication Critical patent/CN103561263A/zh
Application granted granted Critical
Publication of CN103561263B publication Critical patent/CN103561263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于运动矢量约束和加权运动矢量的运动补偿预测方法,包括以下步骤:对当前编码块周围的已编码块的运动矢量进行运动矢量约束化分析;对运动矢量满足约束条件的一致性区域的编码块直接采用融合模式编码对处于运动矢量不满足约束条件的复杂区域的编码块采用加权的高级运动矢量预测方法进行帧间运动补偿预测编码。本发明通过对运动矢量约束分析,对帧间运动补偿预测流程细化,以及针对复杂场景的加权AMVP预测,在不引入额外的编码信息的条件下提高了帧间预测的精确度,从而提高了编码性能,降低了视频压缩后的码率。

Description

基于运动矢量约束和加权运动矢量的运动补偿预测方法
技术领域
本发明属于视频编解码技术领域,尤其是一种基于运动矢量约束和加权运动矢量的运动补偿预测方法。
背景技术
数字视频技术在通信和广播领域获得越来越广泛的应用,特别是在90年代后,随着互联网和移动通信技术的迅猛发展,视频信息和多媒体信息在互联网网络和移动网络中的处理和传输成为了当前信息化技术研究中的热点。
视频主宰了人类在信息时代中的信息来源,但未经压缩的原始视频数据往往非常巨大,给存储和传输带来了很大的困难。同时,巨大的视频数据中存在着很多信息上的冗余,这为视频数据的压缩提供了充分的可能性。视频压缩不但要追求高的压缩比(更低的码率),同时还希望最大程度地保持视频图像重建后的质量。但是,这些需求之间是矛盾的,优秀的编码算法就要寻求这些矛盾之间的最佳平衡。Shannon先后于1948年和1959年发表了完整的率失真理论,从数学上分析得到了如何平衡失真和码率,找到了给定码率下失真的可达上限或者给定失真下码率的可达下限,率失真理论是视频编码的基石之一。
视频编码通过挖掘视频数据中的空间相关性和时间相关性,消除数据中的时间冗余、空间冗余、统计冗余和视觉冗余,以达到压缩的目的。
1952年由Cutler发明的差分脉冲编码调制技术(DPCM,Differential PulseCode Modulation)是对图像编码技术的最早研究,帧内的DPCM编码挖掘了一帧图像空间上的相关性进行压缩。对于视频信号而言,时域上也存在相关性(时间冗余),1969年,F.W.Mounts和F.Rocca提出了时域上的DPCM。七十年代,随着对时域相关性的理解的深入,运动估计和补偿技术被提出,直到今天为止,运动补偿技术仍然是视频压缩的核心之一。运动补偿是将视频图像分割成块,在时间相邻的图像之间进行匹配,然后将匹配之后的残差部分进行编码,这样可以较好地去除视频信号中的视频帧与帧之间的时间冗余,达到压缩的目的。与此同时,变换技术在图像和视频编码领域得到了重视,Ahmed等人提出了著名的基于块的离散余弦变换(DCT,Discrete Cosine Transform),至今为止,仍然被用于视频压缩中。变换编码的核心思想是把视频数据分割成块,利用正交变换将数据的能量集中到较少几个变换系数上。预测编码和变换编码的不断发展,推动了混合编码框架的诞生。J.R.Jain和A.K.Jain在1979年的国际图像编码学会上提出了基于块运动补偿和变换编码的混合编码框架(MC/DCTHybrid Coding)。它也成为了现代几乎所有的视频编码标准的核心。混合编码框架的核心模块除了预测编码和变换编码之外,还有量化和熵编码两部分。视频编码中信息的损失和压缩比的获得,很大程度上来源于量化模块。量化基本上都采用标量量化技术,即将源信号中的单一样本映射到预定义的码表中的某一固定电平值,形成多到少的映射,从而达到压缩的目的,当然在压缩的过程中就引入了损失。量化后的信号再进行无损的熵编码,消除信号中的统计冗余。熵编码的研究最早可以追溯到20世纪50年代,Huffman编码、游程编码(Run-length coding)和算术编码(Arithmetic coding)的发明。经过几十年的发展,熵编码在视频编码中的应用更加成熟、更加精巧,充分利用视频数据中的上下文信息,将概率模型估计得更加准确,从而提高了熵编码的效率。
作为最成熟的编码标准,在2003年3月,H.264视频编码标准被推出。H.264自推出后得到了国内外学术界和产业界的广泛关注,它在编码效率、图像质量、网络适应性和抗误码等诸多方面都取得了很好的效果,但是其编码算法有很高的复杂度。随着终端和网络技术的快速发展,对视频编码的要求不断提高,为了适应新的要求,H.264需要被进一步地完善。自2010年1月起,视频编码专家组(VCEG)和运动图像专家组(MPEG)共同组建了视频编码联合专家组(JCT-VC,Joint Collaborative Team on Video Coding)来制定新的视频编解码标准,高性能视频编码标准(HEVC,High Efficiency Video Coding)。HEVC被提出作为新一代视频编码标准,并且在2013年1月,ISO/IDE和ITU-T发布HEVC的最终国际标准草案。HEVC现已成为许多科研院所及一些大公司在国际视频编码标准方面的研究热点。HEVC的目标是在保持相同视频质量条件下,与H.264标准相比,码率节省50%。但是,HEVC最新官方参考代码与H.264相比码率节省为22%到37%,尚未达到50%这个目标。因此,HEVC在压缩性能方面仍有较大的提升空间和必要。
与之前的标准类似,HEVC仍然采用混合编码框架,但在数据结构、帧内预测、帧间预测、变换、环路滤波等各个环节都进行了细致的改进和优化。HEVC的关键技术特征包括以下几个方面:
(1)取代之前标准采用16x16固定大小的宏块划分方式,采用灵活的4叉树数据结构,引入编码单元(CU,Coding Unit)、预测单元(PU,Prediction Unit)、变换单元(TU,Transform Unit)概念,对编码数据块和变换块采用四叉树进行表达。
随着视频分辨率的增加,图像中出现较大面积平坦区域的概率提高,基于更大尺寸(大于16x16)的运动补偿可以更加有效地提高编码效率,HEVC采纳了灵活的四叉树划分方式,与宏块的概念类似,将图像分割成若干个编码树单元(CTU,Coding Tree Unit),每个CTU可以自适应地以迭代方式进行四分,直至最小编码单元(SCU,Smallest Coding Unit)。
(2)支持并行编码机制的图像划分方式,包括图像片(Tiles)和行波并行处理(WPP,Wave-front Parallel Processing)。Tiles技术可以将图像平均分成若干行和列,每一个Tile可以独立解码或者独立解析,这样可以给并行计算带来便利。WPP技术是将图像按照CTU行进行并行,每个CTU行的初始两个CTU的编解码完成之后,下一个CTU行的编解码即可并行开始,既增加了并行程度,又尽可能地保持预测和熵编码的上下文,与Tile和图像条(Slice)相比,可以更好地保持编码效率。
(3)帧内预测采用了Angular技术,将预测方向增加到35个(包括直流DC和平面Planar模式)并且改进帧内预测值生成基于模式的帧内平滑(MDIS,ModeDependent Intra Smooth)。HEVC采用了与H.264相似的空间帧内预测技术,将帧内预测的方向增加到35个,使预测方向更加细致,以便有效地捕捉图像中的纹理,消除空间冗余,提高压缩效率。同时,HEVC在帧内预测值的生成中,根据帧内预测块大小的不同和帧内预测模式的不同,对预测值进行了不同的滤波处理,即MDIS技术,这样可以提高帧内预测的准确性,提高压缩效率。色度分量的帧内预测挖掘了色度与亮度之间的相关性,当色度与亮度分量的纹理类似时,色度分量可以直接采用亮度分量的预测方向,以避免传输额外的模式信息,提高编码效率。
(4)高级运动矢量预测,HEVC的运动矢量可以用空域和时域两种方式进行预测。与之前的标准相比,HEVC的运动矢量预测利用了更多的空间相邻信息,不再采用中值法计算出固定的预测运动矢量,而是生成候选预测运动矢量集,然后通过率失真优化算法选择最佳的预测运动矢量,并在码流中传输最佳预测运动矢量的索引号。
(5)新的帧间预测模式—Merge模式由于帧间预测块在空间和时间上存在较强的一致性,待编码块直接借用相邻块的运动信息,可以消除冗余,达到编码效率的提升。采用Merge模式的块,可以直接复制相邻块的运动信息进行运动补偿,从而节省运动信息的编码开销,提高了压缩效率。
(6)帧间预测非对称运动划分(AMP,Asymmetric Motion Partitions),除了与H.264/AVC中的可变块类似的2Nx2N,2NxN,Nx2N,NxN(N∈{32,16,8,4})除了这样的块划分之外,HEVC还采纳了AMP模式,可以更加灵活地捕捉图像中的运动物体,提高编码效率。
(7)基于DCT的亚像素插值滤波器,HEVC的运动矢量精度与H.264/AVC一样,仍然为1/4精度,但采用了基于DCT的可分离一维滤波器,进一步提高了亚像素插值的准确度。
(8)四叉树状变换结构与多种大小的变换。HEVC中的预测残差的变换编码采用四叉树状的多尺寸变换32x32,16x16,8x8,4x4的变换,变换核为整数DCT。此外,对某些帧内预测模式的预测残差块,可采用4x4的离散正弦变换(DST,Discrete Sine Transform,由于帧内预测中,距离左上角越远的位置,预测性能越差,离左上边界越远,残差越大,对这样的数据块进行变换,DST要优于DCT。
(9)环路滤波部分除去块滤波技术外,还增加了自适应样本偏置(SAO,Sample Adaptive Offset)。HEVC的去块滤波技术与H.264/AVC类似,但由于块划分方式的不同,需要分别处理CU、PU、TU等的边界。重建图像在去块滤波之后,根据像素值和像素位置的不同,将像素分成不同的类别,根据类别的不同,引入不同的像素偏置,以减小重建失真,即SAO技术。
在视频数据中,视频帧间时间冗余度远大于帧内空间冗余度,用于压缩帧间时间冗余度的运动补偿预测算法在整个视频数据压缩编码***中占有很大比重。因此,运动补偿预测性能的好坏很大程度上决定了编码器的压缩性能。
Skip/Merge模式作为在HEVC帧间编码中引入新的重要编码工具,可以进一步提升帧间编码效率。由于视频图像划分成块进行编码,相邻的块之间的相关性非常高,它们的纹理或者运动具有很强的相似性,基于这样的考虑,之前的视频标准中,跳过(Skip)模式在帧内预测技术中,具有非常重要的地位。SKIP模式块的运动矢量通过解码端导出,并且重建值完全通过参考帧进行生成,因此只需要很少的边信息(通常为一个标识位)即可表达整个宏块的信息量。HEVC也采用了类似的思想,设计出Skip及Merge模式。为了减少帧间预测块所需要传输的边信息的开销,Skip及Merge充分挖掘空域上和时域上的相邻块之间的相似性,通过传输索引的方式,表达运动信息,包括运动矢量,参考索引,预测方向等,解码器可以恢复出Skip或Merge的运动信息,节省码率开销。
Skip以编码单元为单位(CU),即每个编码单元传输Skip模式标识和运动信息索引,但不传输预测残差,预测以2Nx2N的块为基本单元;而Merge以预测单元(PU)为单位,PU中传输Merge模式标识和运动信息索引,每个CU中的全部或者部分PU采用Merge模式,要传输预测残差。SKIP与Merge采用相同的运动信息导出方式,其中所需要导出的运动信息包括:运动矢量,参考索引和预测方向。
Skip/Merge模式的运动信息导出,采用四种类型的相邻运动信息作为候选生成候选列表,通过传输候选列表的索引进行表达。四类相邻运动信息分别为:
空域候选、时域候选、重组双向预测候选和零运动矢量候选,并且按照所述的顺序,依次添加到候选列表中,直到满足候选列表的最大个数。Skip以编码单元为单位(CU),即每个编码单元传输Skip模式标识和运动信息索引,但不传输预测残差,预测以2Nx2N的块为基本单元;而Merge以预测单元为单位(PU),PU中传输Merge模式标识和运动信息索引,每个CU中的全部或者部分PU采用Merge模式,要传输预测残差。SKIP与Merge采用相同的运动信息导出方式,其中所需要导出的运动信息包括,运动矢量,参考索引和预测方向。
在HEVC中对于Skip/Merge模式的选择是基于率失真优化的遍历搜索比较的方法,即对于每一层深度CU的编码都要进行帧间的Skip、Merge、2Nx2N、Nx2N、2NxN、NxN、非对称AMP分割和帧内的2Nx2N、NxN和PCM模式的编码的率失真代价比较,只有在所有模式都计算完毕且Skip/Merge代价最小时才用该模式。
对于非Skip/Merge模式,需要对运动信息进行传输,为了节省传输MV的码率开销,HEVC与H.264/AVC类似,采用了运动矢量预测技术,通过空域和时域相邻信息形成运动矢量预测候选列表(运动矢量预测候选列表长度为2),通过传输候选列表索引对MV进行预测,并传输MV的预测残差MVD。
然而,在已有的帧间预测补偿过程中,在一个参考帧里只有一个参考块是作为当前编码块的预测值,而对于复杂的编码块或者与周围运动不一致的编码块则一个块很难对当前编码块进行准确预测。因此,在某些复杂运动的场景或者局部,传统的运动补偿预测的准确度并不理想,这影响了视频压缩效率的进一步提升。
发明内容
本发明的目的在于克服现有技术的不足,提供一种设计合理、精度高、速度快的基于运动矢量约束和加权运动矢量的运动补偿预测方法。
本发明解决其技术问题是采取以下技术方案实现的:
一种基于运动矢量约束和加权运动矢量的运动补偿预测方法,包括以下步骤:
步骤1、对当前编码块周围的已编码块的运动矢量进行运动矢量约束化分析;
步骤2、对运动矢量满足约束条件的一致性区域的编码块直接采用融合模式编码;
步骤3、对处于运动矢量不满足约束条件的复杂区域的编码块采用加权的高级运动矢量预测方法进行帧间运动补偿预测编码;
所述步骤1的具体步骤如下:
(1)将当前编码块的空域运动矢量参考集划分为两种模式,一种模式取当前块左侧的编码块的3个运动矢量,另一种模式取当前块上方的编码块的3个运动矢量;
(2)计算每一个模式中3个运动矢量中2个运动矢量之间的运动矢量差,其计算公式如下:
D=|vx(A)-vx(B)|+|vy(A)-vy(B)|
D为任意两个运动矢量差,A、B分别代表两个运动矢量,vx表示运动矢量的水平分量,vy表示运动矢量的垂直分量;
(3)根据任意两个运动矢量差D的结果判断当前编码块和周围块的运动矢量场是否一致。
而且,所述步骤(3)判断当前编码块和周围块的运动矢量场是否一致的方法为:对于长度为W,宽度为H的当前编码块,当两个模式中所有D的水平分量均小于W/8,而且所有D的垂直分量均小于H/8时,则当前的运动矢量场是连续的,判断当前编码块和周围的块在运动上是一致的。
而且,所述步骤2的融合模式编码方法包括以下步骤:
(1)在融合参考集中,通过绝对差之和的计算,得到最佳融合参考运动矢量,其计算公式如下:
MV m e r g e = arg min d ∈ V S M C S A D ( F n ( s ) , F ~ n - 1 ( s + d ) )
其中,MVmerge表示最佳的融合模式参考运动矢量,d表示运动矢量,VSMC表示融合模式参考集,SAD是当前块和参考块之间所有像素的绝对差之和,用来代表两个块的匹配程度,Fn(s)表示当前帧的像素值,表示前一帧即参考帧的像素值;
(2)当通过最佳的融合模式参考运动矢量补偿后的残差数据,经过变换量化后得到的系数之和为零,则采用跳过模式进行编码,并将跳过模式的标志及最佳融合模式参考运动矢量的索引值传输到解码端;
(3)当通过最佳的融合模式参考运动矢量补偿后的残差数据,经过变换量化后得到的系数之和不为零,则将融合模式参考运动矢量的索引值和变换量化后的残差系数经编码传输到解码端。
而且,所述步骤3采用加权的高级运动矢量预测方法进行帧间编码的具体步骤包括:
(1)从高级运动矢量预测参考集中选择2个最终的AMVP预测值,然后对其取平均值,其计算公式如下:
其中,表示AMVP均值预测矢量,分别表示2个最终的AMVP预测值;
(2)当2个最终的AMVP预测值未包括零运动时,将零运动矢量记权加入,得到加权的AMVP预测值,其计算公式如下:
其中,A(s)表示加权的AMVP预测值,wm表示给AMVP均值预测矢量的权重,wzero表示给零运动矢量的权重;
(3)在得到加权的AMVP预测值后,在这个预测值基础上进行运动搜索,依据最小绝对差之和准则,得到最终的运动矢量,计算公式如下:
MV w e i g h t e d = arg m i n d S A D ( F ( s ) , ( A ( s ) · w A M V P + F ~ n - 1 ( s + d ) · w s e a r c h ) )
其中,MVweighted表示在加权AMVP预测后进行搜索得到的运动矢量,d表示在运动搜索窗口即规定的搜索范围内所有可能的运动矢量,wAMVP表示给加权的AMVP预测值的权重,wsearch表示给经过运动搜索得到的运动矢量的权重;
(4)对于最终的MVweighted,将其与一个运动补偿后绝对差之和最小的AMVP预测值相减得到残差运动矢量,其计算公式如下:
MVD=MVweighted-MVcandidate
其中,MVD表示残差运动矢量,MVcandidate表示当前编码块的运动矢量预测值。
而且,所述步骤(2)中,当2个最终AMVP预测值包括零运动时,wm取1且wzero取0;当2个最终AMVP预测值不包括零运动时,wm取0.5且wzero取0.5。
而且,所述步骤(3)中,wAMVP取0.2,且wsearch取0.8。
本发明的优点和积极效果是:
本发明通过运动矢量约束方法来判断当前编码块与周围块的一致性和复杂性,将编码块的帧间运动补偿预测分为两种更为精确的流程,从而增加帧间预测精度;对于运动简单或者一致性好的编码块采用融合模式或者跳过模式,省去了运动搜索获取运动矢量的过程,加快了判定速度;对于复杂的或者与周围运动不一致的编码块采用更为精准的加权AMVP预测方法,可以提高对复杂场景的预测精度,同时不引入额外的编码信息(如:额外的参考帧、运动矢量和模式标志等)。
附图说明
图1是本发明的总体处理流程图;
图2是AMVP预测和Merge模式的候选集位置图;
图3是选取两个最终AMVP预测值的流程图;
图4是本发明与标准代码率失真曲线比较示意图(BasketballDrive序列);
图5是本发明与标准代码率失真曲线比较示意图(RaceHorses序列)。
具体实施方式
以下结合附图对本发明实施例做进一步详述:
一种基于运动矢量约束和加权运动矢量的运动补偿预测方法,如图1所示,包括以下步骤:
步骤1,对当前编码块周围的已编码块的运动矢量进行运动矢量约束化分析。
在本步骤中,首先获取与当前编码块时域和空域相邻的已编码块的运动信息,然后对可利用的运动信息进行计算分析,最终判断当前编码块和周围编码块是否属于同一个实际物体,具体步骤如下:
(1)将当前编码块的空域运动矢量参考集划分为两种模式:模式一取当前块左侧的编码块的3个运动矢量,模式二取当前块上方的编码块的3个运动矢量。当左侧的A0存在时,选取A0和B2作为模式一;当A0不存在是选取A1和B2作为模式一;当上方的B0存在时,选取B0和B2作为模式二,当B0不存在是选取B1和B2作为模式二。
(2)计算每一个模式中3个运动矢量的2个运动矢量的之间的运动矢量差,计算下公式如下:
D=|vx(A)-vx(B)|+|vy(A)-vy(B)|
其中,D为任意两个运动矢量差,A、B分别代表两个运动矢量,vx表示运动矢量的水平分量,vy表示运动矢量的垂直分量。
(3)根据任意两个运动矢量差D的结果判断当前编码块和周围块的运动矢量场是否一致,或者当前块是否复杂的。当相邻两个运动矢量之间的差异小于预定的阈值则认为这两个像素的运动是一致的,或者说这两个像素属于同一实际物体。
实验结果表明如果当相邻两个运动矢量之间的差异小于八分之一像素则认为这个像素一直的运动是一致的,或者说这两个像素属于同一实际物体。那么对于长度为W宽度为H的当前编码块,通过对在步骤(2)中得到的结果进行分析,可以得到如果两个模式中所有的D的水平分量小于W/8,而且所有的D的垂直分量小于H/8,当前的运动矢量场是连续的,则可以判断当前编码块和周围的块在运动上是一致的。反之,如果任意一个分量超过这个阈值,则认为当前编码块和周围块是不一致的。
通过以上3个步骤,可以得到当前编码块和周围编码块是否属于同一个实际物体,或者说运动是否一致,为步骤2和步骤3的选择提供判断依据:根据运动矢量约束化分析得到的结果将运动补偿预测过程分类,如果在运动矢量约束化分析中得到的结论是当前编码块和周围块的运动矢量场一致,那么直接采用融合模式预测;对处于运动矢量不满足约束条件的复杂区域的编码块采用加权的高级运动矢量预测方法进行帧间编码。
步骤2,对运动矢量满足约束条件的一致性区域的编码块直接采用融合模式编码。
经运动矢量约束化分析后,如果当前编码块和周围块的运动矢量场一致时,则直接采用融合模式进行编码(Merge模式编码),其具体步骤如下:
(1)在融合参考集中,通过SAD的计算,得到SAD最小的最佳融合运动矢量,可以如以下公式表示。
MV m e r g e = arg min d ∈ V S M C S A D ( F n ( s ) , F ~ n - 1 ( s + d ) )
其中MVmerge表示最佳的融合模式参考运动矢量,d表示运动矢量,VSMC表示融合模式参考集,SAD是当前块和参考块之间所有像素的绝对差之和,用来代表两个块的匹配程度,Fn(s)表示当前帧的像素值,表示前一帧即参考帧的像素值。
(2)如果通过最佳的融合模式参考运动矢量补偿后的残差数据,经过变换量化后得到的系数之和为零,也就是编码块标志为零,那么采用跳过模式(skip)进行编码,并将跳过模式的标志及最佳融合模式参考运动矢量的索引值传输到解码端。
(3)如果通过最佳的融合模式参考运动矢量补偿后的残差数据,经过变换量化后得到的系数之和不为零,则将融合模式参考运动矢量的索引值和变换量化后的残差系数经编码传输到解码端。
步骤3,对处于运动矢量不满足约束条件的复杂区域的编码块采用加权的高级运动矢量预测(AMVP)方法进行帧间运动补偿预测编码。
经运动矢量约束化分析后,如果当前编码块和周围块的运动矢量场不一致时,则采用加权的AMVP预测,其具体步骤如下:
(1)为了与HEVC标准中保留两个AMVP预测值相一致,本方法也从高级运动矢量预测(AMVP)参考集中选择2个最终的AMVP预测值,其处理流程如图3所示,首先从5个空域AMVP预测值中选取2个,按照A0,A1,B0,B1,B2的顺序选取,直到取满2个;然后从2个时域AMVP预测值中选取1个,如果H存在则选取H,否则选取C3。如果周围运动矢量值不足3个,可以缺省。运动矢量的排列次序为先空域在时域。然后,去掉已得到AMVP预测值中的重复值,此时如果保留的运动矢量个数小于2,则添加零运动矢量即(0,0);如果依然还有3个运动矢量则去掉第三个。这样得到最终的2个AMVP预测值。
(2)然后对最终的2个AMVP预测值取平均值,按以下公式进行。
表示AMVP均值预测矢量,分别表示2个最终的AMVP预测值。
(3)当2个最终的AMVP预测值未包括零运动时,将零运动矢量记权加入,这样可以避免当周围块的运动矢量和当前块的真实运动矢量相差较大而导致的预测误差过大,得到加权的AMVP预测值,其具体过程按以下公式进行:
A(s)表示加权的AMVP预测值,wm表示给AMVP均值预测矢量的权重,wzero表示给零运动矢量的权重。实验结果表明当2个最终AMVP预测值包括零运动时,wm取1且wzero取0;当2个最终AMVP预测值不包括零运动时,wm取0.5且wzero取0.5,可以取得较高的预测效果。
(4)在得到加权的AMVP预测值后,在这个预测值基础上进行运动搜索,依据最小SAD准则,得到最终的运动矢量,计算公式如下。
MV w e i g h t e d = arg m i n d S A D ( F ( s ) , ( A ( s ) · w A M V P + F ~ n - 1 ( s + d ) · w s e a r c h ) )
其中MVweighted表示在加权AMVP预测后进行搜索得到的运动矢量,d表示在运动搜索窗口即规定的搜索范围内所有可能的运动矢量,wAMVP表示给加权的AMVP预测值的权重,wsearch表示给经过运动搜索得到的运动矢量的权重。实验结果表明,wAMVP取0.2,且wsearch取0.8可以取得最佳的预测效果。
(5)对于最终的MVweighted,将其与一个运动补偿后SAD值最小的AMVP预测值相减得到残差运动矢量(MVD),目的是进一步去除冗余,且符合主流编码器的码流规范。该过程计算如下。
MVD=MVweighted-MVcandidate
其中,MVcandidate表示当前编码块的运动矢量预测值,该预测值是在(1)中得到的两个最终AMVP预测值中与MVweighted的MVD值最小的一个。
综上所述,本发明方法的特征是首先通过第一部分对运动矢量进行约束化分析,当前编码块和周围块的运动矢量场一致时,则采用步骤2的方法,进行融合模式编码;当前编码块和周围块的运动矢量场不一致时,则采用步骤3的方法,进行加权的AMVP预测。
为了说明本运动补偿预测方法的效果,采用如下试验进行验证:
实验采用HEVC官方标准视频测试序列作为测试对象,以本发明方法和HEVC官方代码作对比进行实验仿真。编码量化参数QP设置为:22、27、32、37。本方法和HEVC官方参考代码的峰值信噪比(BD-PSNR)和码率(BD-rate)性能比较如下表。图4是BasketballDrive序列的本发明方法与标准代码的率失真曲线比较,图5是RaceHorses序列的本发明方法与标准代码的率失真曲线比较。
表1 BD-PSNR和BD-rate性能比较
BD-PSNR表示在相同视频码率的条件下,峰值信噪比的差异,正数值表示本发明与标准代码相比峰值信噪比有所提高,单位是dB。BD-rate表示在相同峰值信噪比的条件下,本发明与标准代码相比视频码率的差异,负数值表示本发明与标准代码相比视频码率有所下降。单位是百分比。对于测试序列Vidyo1,视频中的三个人运动非常简单并且缓慢,占据视频大面积的背景部分保持静止,所以本发明所提出的加权的高级运动矢量预测出现的频率比较低,编码增益较小。对于测试序列BasketballDrill,视频中的篮球运动员的运动复杂剧烈并且快速,很大部分的运动矢量是不连续的,因此本发明方法提出的加权的高级运动矢量预测出现的频率较高,编码增益较大。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。

Claims (6)

1.一种基于运动矢量约束和加权运动矢量的运动补偿预测方法,其特征在于,包括以下步骤:
步骤1、对当前编码块周围的已编码块的运动矢量进行运动矢量约束化分析;
步骤2、对运动矢量满足约束条件的一致性区域的编码块直接采用融合模式编码;
步骤3、对处于运动矢量不满足约束条件的复杂区域的编码块采用加权的高级运动矢量预测方法进行帧间运动补偿预测编码;
所述步骤1的具体步骤如下:
(1)将当前编码块的空域运动矢量参考集划分为两种模式,一种模式取当前块左侧的编码块的3个运动矢量,另一种模式取当前块上方的编码块的3个运动矢量;
(2)计算每一个模式中3个运动矢量中2个运动矢量之间的运动矢量差,其计算公式如下:
D=|vx(A)-vx(B)|+|vy(A)-vy(B)|
D为任意两个运动矢量差,A、B分别代表两个运动矢量,vx表示运动矢量的水平分量,vy表示运动矢量的垂直分量;
(3)根据任意两个运动矢量差D的结果判断当前编码块和周围块的运动矢量场是否一致。
2.根据权利要求1所述的基于运动矢量约束和加权运动矢量的运动补偿预测方法,其特征在于:所述步骤(3)判断当前编码块和周围块的运动矢量场是否一致的方法为:对于长度为W,宽度为H的当前编码块,当两个模式中所有D的水平分量均小于W/8,而且所有D的垂直分量均小于H/8时,则当前的运动矢量场是连续的,判断当前编码块和周围的块在运动上是一致的。
3.根据权利要求1所述的基于运动矢量约束和加权运动矢量的运动补偿预测方法,其特征在于:所述步骤2融合模式编码方法包括以下步骤:
(1)在融合参考集中,通过绝对差之和的计算,得到最佳融合参考运动矢量,其计算公式如下:
MV m e r g e = arg min d ∈ V S M C S A D ( F n ( s ) , F ~ n - 1 ( s + d ) )
其中,MVmerge表示最佳的融合模式参考运动矢量,d表示运动矢量,VSMC表示融合模式参考集,SAD是当前块和参考块之间所有像素的绝对差之和,用来代表两个块的匹配程度,Fn(s)表示当前帧的像素值,表示前一帧即参考帧的像素值;
(2)当通过最佳的融合模式参考运动矢量补偿后的残差数据,经过变换量化后得到的系数之和为零,则采用跳过模式进行编码,并将跳过模式的标志及最佳融合模式参考运动矢量的索引值传输到解码端;
(3)当通过最佳的融合模式参考运动矢量补偿后的残差数据,经过变换量化后得到的系数之和不为零,则将融合模式参考运动矢量的索引值和变换量化后的残差系数经编码传输到解码端。
4.根据权利要求1所述的基于运动矢量约束和加权运动矢量的运动补偿预测方法,其特征在于:所述步骤3采用加权的高级运动矢量预测方法进行帧间编码的具体步骤包括:
(1)从高级运动矢量预测参考集中选择2个最终的AMVP预测值,然后对其取平均值,其计算公式如下:
其中,表示AMVP均值预测矢量,分别表示2个最终的AMVP预测值;
(2)当2个最终的AMVP预测值未包括零运动时,将零运动矢量记权加入,得到加权的AMVP预测值,其计算公式如下:
其中,A(s)表示加权的AMVP预测值,wm表示给AMVP均值预测矢量的权重,wzero表示给零运动矢量的权重;
(3)在得到加权的AMVP预测值后,在这个预测值基础上进行运动搜索,依据最小绝对差之和准则,得到最终的运动矢量,计算公式如下:
MV w e i g h t e d = arg m i n d S A D ( F ( s ) , ( A ( s ) · w A M V P + F ~ n - 1 ( s + d ) · w s e a r c h ) )
其中,MVweighted表示在加权AMVP预测后进行搜索得到的运动矢量,d表示在运动搜索窗口即规定的搜索范围内所有可能的运动矢量,wAMVP表示给加权的AMVP预测值的权重,wsearch表示给经过运动搜索得到的运动矢量的权重;
(4)对于最终的MVweighted,将其与一个运动补偿后绝对差之和最小的AMVP预测值相减得到残差运动矢量,其计算公式如下:
MVD=MVweighted-MVcandidate
其中,MVD表示残差运动矢量,MVcandidate表示当前编码块的运动矢量预测值。
5.根据权利要求4所述的基于运动矢量约束和加权运动矢量的运动补偿预测方法,其特征在于:所述步骤(2)中,当2个最终AMVP预测值包括零运动时,wm取1且wzero取0;当2个最终AMVP预测值不包括零运动时,wm取0.5且wzero取0.5。
6.根据权利要求4所述的基于运动矢量约束和加权运动矢量的运动补偿预测方法,其特征在于:所述步骤(3)中,wAMVP取0.2,且wsearch取0.8。
CN201310547287.5A 2013-11-06 2013-11-06 基于运动矢量约束和加权运动矢量的运动补偿预测方法 Active CN103561263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310547287.5A CN103561263B (zh) 2013-11-06 2013-11-06 基于运动矢量约束和加权运动矢量的运动补偿预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310547287.5A CN103561263B (zh) 2013-11-06 2013-11-06 基于运动矢量约束和加权运动矢量的运动补偿预测方法

Publications (2)

Publication Number Publication Date
CN103561263A CN103561263A (zh) 2014-02-05
CN103561263B true CN103561263B (zh) 2016-08-24

Family

ID=50015400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310547287.5A Active CN103561263B (zh) 2013-11-06 2013-11-06 基于运动矢量约束和加权运动矢量的运动补偿预测方法

Country Status (1)

Country Link
CN (1) CN103561263B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017188779A2 (ko) 2016-04-29 2017-11-02 인텔렉추얼디스커버리 주식회사 영상 신호 부호화/복호화 방법 및 장치
CN109905714B (zh) 2017-12-08 2022-12-27 华为技术有限公司 帧间预测方法、装置及终端设备
CN108270945B (zh) * 2018-02-06 2020-10-30 上海通途半导体科技有限公司 一种运动补偿去噪方法及装置
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
CN116347099A (zh) * 2018-06-19 2023-06-27 北京字节跳动网络技术有限公司 没有运动矢量预测截断的选择的运动矢量差精度
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
CN110662041B (zh) * 2018-06-29 2022-07-29 北京字节跳动网络技术有限公司 视频比特流处理的方法和装置,存储视频比特流的方法和非暂时性计算机可读记录介质
CN115695791A (zh) 2018-07-02 2023-02-03 华为技术有限公司 视频图像编码方法以及用于对视频数据进行编码的设备
CN115250350B (zh) 2018-09-03 2024-04-09 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
CN116546213A (zh) 2018-09-19 2023-08-04 北京字节跳动网络技术有限公司 具有自适应运动矢量分辨率的仿射模式的语法重用
CN110944193B (zh) 2018-09-24 2023-08-11 北京字节跳动网络技术有限公司 视频编码和解码中的加权双向预测
WO2020084509A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and modified inter coding tools
WO2020084507A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and modified inter prediction coding
CN109618227B (zh) * 2018-10-26 2021-04-20 深圳市野生动物园有限公司 视频数据存储方法及其***
WO2020094151A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in pairwise average candidate calculations
WO2020135368A1 (zh) * 2018-12-24 2020-07-02 华为技术有限公司 一种帧间预测的方法和装置
CN111355961B (zh) 2018-12-24 2023-11-03 华为技术有限公司 一种帧间预测的方法和装置
CN111385575A (zh) 2018-12-29 2020-07-07 华为技术有限公司 帧间预测方法、装置以及相应的编码器和解码器
WO2020143831A1 (en) * 2019-01-12 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Mv precision constraints
CN113302918A (zh) 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
CN113302919A (zh) * 2019-01-17 2021-08-24 北京字节跳动网络技术有限公司 在视频处理中使用虚拟候选预测和加权预测
EP4333435A3 (en) * 2019-02-08 2024-05-08 Beijing Dajia Internet Information Technology Co., Ltd. Method and device for selectively applying decoder-side motion vector refinement for video coding
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
EP3939287A4 (en) 2019-04-25 2022-05-11 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON DIFFERENCE BETWEEN MOVEMENT VECTORS
WO2020238837A1 (en) * 2019-05-25 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. Coding of block vectors for intra block copy-coded blocks
CN113163207B (zh) * 2019-06-24 2022-11-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
KR20220023338A (ko) 2019-06-25 2022-03-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 벡터 차이에 대한 제약
CN110636311B (zh) * 2019-09-18 2021-10-15 浙江大华技术股份有限公司 运动矢量的获取方法及相关预测方法、装置
CN111050182B (zh) * 2019-12-27 2022-02-18 浙江大华技术股份有限公司 运动矢量的预测方法、视频编码方法及相关设备、装置
CN111901590B (zh) * 2020-06-29 2023-04-18 北京大学 一种用于帧间预测的细化运动矢量存储方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976467A (zh) * 2002-01-09 2007-06-06 松下电器产业株式会社 移动向量解码方法和移动向量解码装置
CN102263947A (zh) * 2010-05-27 2011-11-30 香港科技大学 图像运动估计的方法及***
WO2013062174A1 (ko) * 2011-10-26 2013-05-02 경희대학교 산학협력단 메모리 관리 방법 및 그를 이용한 복호화 장치
CN103379322A (zh) * 2012-04-16 2013-10-30 乐金电子(中国)研究开发中心有限公司 一种先进运动矢量预测amvp的并行实现方法、装置及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976467A (zh) * 2002-01-09 2007-06-06 松下电器产业株式会社 移动向量解码方法和移动向量解码装置
CN102263947A (zh) * 2010-05-27 2011-11-30 香港科技大学 图像运动估计的方法及***
WO2013062174A1 (ko) * 2011-10-26 2013-05-02 경희대학교 산학협력단 메모리 관리 방법 및 그를 이용한 복호화 장치
CN103379322A (zh) * 2012-04-16 2013-10-30 乐金电子(中国)研究开发中心有限公司 一种先进运动矢量预测amvp的并行实现方法、装置及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A new motion compensation method using superimposed inter-frame signals;Ka-Ho,et al;《2012 IEEE International conference on Acoustics,speech and signal processing》;20120330;正文第1214页右栏第25行-第1215页右栏第26行 *
基于运动复杂度分类的快速模式选择算法;韦耿等;《计算机工程与科学》;20080215;第30卷(第2期);正文第59页左栏第6行-右栏第28行 *

Also Published As

Publication number Publication date
CN103561263A (zh) 2014-02-05

Similar Documents

Publication Publication Date Title
CN103561263B (zh) 基于运动矢量约束和加权运动矢量的运动补偿预测方法
JP6753979B2 (ja) 動き情報の復号化方法及び符号化方法
CN105874797B (zh) 视频数据的编解码方法、装置、设备和存储媒体
CN107211156B (zh) 一种译码视频数据的方法、装置及计算机可读存储媒体
CN103503460B (zh) 译码视频数据的方法和设备
CN103141100B (zh) 用于视频译码的帧内平滑滤波器
CN109644272A (zh) 用于建构候选列表的几何型优先级
CN104303502B (zh) 对多视图视频数据进行编码、解码和译码的方法、装置及计算机可读存储介质
CN104081774B (zh) 利用解码装置对视频信号进行解码的方法
CN107409225A (zh) 视频译码中运动信息推导模式确定
CN104756499B (zh) 用于视频译码的方法、设备及计算机可读存储媒体
CN110463201A (zh) 使用参考块的预测方法和装置
CN109076218A (zh) 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN109792516A (zh) 图像和视频编解码中用于帧内色度编解码的方法及装置
CN108605136A (zh) 基于图片次序计数的运动矢量精简
CN109644276A (zh) 图像编码/解码方法
CN109691106A (zh) 时间运动向量预测符的偏移向量识别
CN109076235A (zh) 用于在视频译码中的并置参考索引的一致性约束
CN107979756A (zh) 一种视频编码***所使用的视频编码方法及装置
CN108141605A (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
CN109891890A (zh) 视频译码中基于子pu的双向运动补偿
CN103188496B (zh) 基于运动矢量分布预测的快速运动估计视频编码方法
CN107211125A (zh) 预测单元的灵活分割
CN103248895B (zh) 一种用于hevc帧内编码的快速模式估计方法
CN105474646B (zh) 子pu级先进残余预测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant