CN110753227A - 基于帧间预测的视频编码方法 - Google Patents

基于帧间预测的视频编码方法 Download PDF

Info

Publication number
CN110753227A
CN110753227A CN201911009354.1A CN201911009354A CN110753227A CN 110753227 A CN110753227 A CN 110753227A CN 201911009354 A CN201911009354 A CN 201911009354A CN 110753227 A CN110753227 A CN 110753227A
Authority
CN
China
Prior art keywords
search
point
matching point
optimal
origin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911009354.1A
Other languages
English (en)
Inventor
李思恒
李忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201911009354.1A priority Critical patent/CN110753227A/zh
Publication of CN110753227A publication Critical patent/CN110753227A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于帧间预测的视频编码方法，本基于帧间预测的视频编码方法包括：接收视频帧序列，根据运动向量的趋中性和多谷分布特点，构建运动搜索的星型对称搜索模式，并根据所述星型对称搜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，以确定最佳的搜索路径，从而获得最终的运动向量。本发明实施例不仅增强了搜索精度，还有效地提高视频编码的效率。

Description

基于帧间预测的视频编码方法
技术领域
本发明涉及视频技术领域，具体涉及一种基于帧间预测的视频编码方法。
背景技术
帧间预测是利用当前编码块周边已编码重建的其他编码块确定参考帧，通过运动估计(motion Estimation)，利用参考帧对当前编码块进行预测编码，以消除视频的时间冗余信息的一种手段；帧间预测是视频编码的一个重要环节，尤其在H.264/AVC、H.265/HEVC、AVS等混合编码框架的视频编码中经常应用。
帧间预测中运动估计是最影响编码质量的模块，也是最复杂最耗时的模块。匹配准则和搜索策略又直接影响运动估计的效率和精度。
因此如何降低运动估计的处理复杂度，使得视频编码的复杂度降低，提高视频编码的效率，一直是本领域技术人员研究的问题。
发明内容
本发明的目的是提供一种基于帧间预测的视频编码方法，以降低运动估计的处理复杂度，使得视频编码的复杂度降低，提高视频编码的效率。
为实现上述目的，本发明实施例提供如下技术方案：
接收视频帧序列；
根据运动向量分布特性，即趋中性和多谷分布特点，构建运动搜索的星型对称搜索模式；
根据所述星型对称搜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到块匹配准则函数最优解的点所在的位置；并通过判断所述位置的所属类型，制定不同的搜索策略；
若最优解的点位于原点，则结束整个捜索过程，取原点为最佳匹配点的位置；
若最优解的点为实心类，若当该点处于原点的水平方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再利用最佳匹配点的2x2 区域进行扩大搜索，确定当前最佳匹配点为最佳匹配点；
若所述当前最佳匹配点处于原点竖直方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再以最佳匹配点的2x2区域进行扩大搜索，确定最终的最佳匹配点；
若所述当前最佳匹配点处于原点水平方向时，则采用竖直六边形模式，不断更新搜索中心的位置，直到最佳匹配点不变，再选用最佳匹配点的2x2区域进行扩大搜索，确定最终的最佳匹配点；
根据获得的最终的最佳匹配点，以确立最佳的搜索点位置，从而确定最终的运动向量。
进一步，所述运动向量分布特性包括：
运动向量具有趋中性，运动向量出现在水平方向和竖直方向的概率高于其他方向，还有视频序列具有时空域相关性，同一帧和相邻帧的相邻块之间的运动向量也具有相似性。
进一步，所述运动向量分布特性包括：
运动向量呈现多谷分布，匹配误差函数曲面呈现梯度下降，并出现多谷点，即误差曲面存在一个或者多个局部趋向中心位置的极小点，以呈现多谷分布特性。
本申请实施例提供的技术方案带来的有益效果是：
由于本发明实施例根据所述星型对称搜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，若最优解的点位于原点，则结束整个捜索过程，取原点为最佳匹配点的位置；若最优解的点为实心类，则当该点处于原点水平方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再以最佳匹配点的2x2 区域进行扩大搜索，确定最终的最佳匹配点；当该点处于原点竖直方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再以最佳匹配点的2x2 区域进行扩大搜索，确定最终的最佳匹配点。当该点处于原点水平方向时，则采用竖直六边形模式，不断更新搜索中心的位置，直到最佳匹配点不变，再以最佳匹配点的2x2 区域进行扩大搜索，以确立最佳的搜索点位置，从而确定最终的运动向量。本发明实施例不仅增强了搜索精度，还有效地提高视频编码的效率。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明实施例提供的基于帧间预测的视频编码方法的流程图；
图2为本发明实施例提供的帧间预测块匹配示意图；
图3为本发明实施例提供的星型对称搜索模式示意图；
图4(a)为本发明实施例提供的水平六边形模式示意图；
图4(b)为本发明实施例提供的竖直六边形模式示意图；
图5为本发明实施例提供的竖直六边形模式的搜索过程示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
图1为本发明实施例提供的基于帧间预测的视频编码方法的流程图，该方法可应用于视频编码设备，视频编码设备可以是具有视频编码能力的CPU(中央处理器)或GPU(图形处理器)；可选的，视频编码设备可选用手机、笔记本电脑等终端实现，也可选用服务器实现。
参照图1，本发明实施例提供的一种基于帧间预测的视频编码方法可以包括：
步骤S100、接收视频帧序列。
通常，在连续多个视频帧序列中，每一帧所包含的物体对象与前后帧之间存在运动关系，这种物体的运动关系即构成帧与帧之间的时间冗余。帧间预测是指当前图像中待编码块从邻近已编码图像中预测得到参考块的过程，目的是去除视频帧序列中的时间冗余。
运动估计，有时也称作运动搜索，即在相应参考帧中搜索当前像素块的对应参考像素块，使最终的编码代价最小。在一个帧间编码宏块中，每一个分割后的子块都会进行相应的运动搜索，在参考帧中查找对应的相同尺寸的像素块作为参考。当前像素块在当前帧中的位置同参考块在参考帧中的位置之间的相对位置代表了像素块中的物体在两帧之间的运动轨迹。这个相对位置以两个坐标值组成的向量标识，称为运动向量，一个宏块最多可能包括16个运动向量。
帧间预测如图2所示，其示出了本发明实施例提供的帧间预测块匹配示意图，当前帧中当前块在参考帧中根据块匹配准则搜索得到最佳匹配块。
视频编码中常用的块匹配准则函数有最小均方误差(Mean Square Error，MSE)和绝对误差和(Sum of Absolute Difference，SAD)、归一化互相关函数 (Nonnalized CrossCorrelation Function，NCCF)等匹配准则函数；
步骤S110、根据运动向量分布特性，构建运动搜索的星型对称搜索模式；
所述运动向量分布特性，其包括：
（1）运动向量具有趋中性。经过多次实验测试发现，对具有不同特征序列的运动向量采用全搜索统计进行概率分析，原点处为最佳匹配点的概率最大，大约为67%，最佳匹配点处于1x1区域的概率大约为12%，最佳匹配点处于2x2区域中的概率大约为5%；最优运动向量处于原点、1x1区域、2x2区域运动矢量分布概率比为67:12:5，由此可见，运动向量趋向中心偏移。运动向量出现在水平方向和竖直方向的概率高于其他方向。还有视频序列具有时空域相关性，同一帧和相邻帧的相邻块之间的运动向量也具有相似性。
（2）运动向量呈现多谷分布。匹配误差函数曲面呈现梯度下降，并出现多谷点。即误差曲面存在一个或者多个局部趋向中心位置的极小点，以呈现多谷分布特性。
图3为本发明实施例提供的星型对称搜索模式示意图；其中，图3中由于图像序列在原点、竖直和水平方向、其余方向的运动剧烈程度不一样，呈现依次降低的分布特点，采用由17点组成的星型对称搜索模式，其中图3正中心的空心点为原点，“芝麻”圆点位于四个实心点的中心。
步骤S120、根据所述星型对称搜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置；并通过判断所述位置所属类型，制定不同的搜索策略，以确立最佳的搜索路径，从而获得最终的运动向量。
可选地，块匹配准则函数可以是绝对误差和SAD、最小均方误差MSE或归一化互相关函数NCCF。
首先，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到所述块匹配准则函数最优解的点所在的位置。
本实施用例，以块匹配准则函数为MSE为例，阐述如下：
由星型对称搜索模式所得到的最优MSE值的位置，制定不同的搜索策略。根据MSE值最优解的点，以确定所处位置的类型。
若最优解的点位于原点，则结束整个搜索过程，取原点为最佳匹配点的位置；若最优解的点为“芝麻”圆点类，则当该点处于原点水平方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，在2x2区域上进行扩大搜索，确定最佳匹配点；
若所述当前最佳匹配点处于原点竖直方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，在最佳匹配点的2x2区域上进行扩大搜索，从而确定最终的最佳匹配点。
若所述当前最佳匹配点处于原点水平方向时，则采用竖直六边形模式，不断更新搜索中心的位置，直到最佳匹配点不变，在最佳匹配点的2x2区域上进行扩大搜索，以确立最佳的搜索点位置，从而确定最终的运动向量。基于所述的星型对称搜索模式所得到的计算结果，由7实心点组成的六边形对称搜索模式进行搜索，其中六边形模式可包含水平和竖直六边形模式。图4(a)为本发明实施例提供的水平六边形模式示意图；图4(b)为本发明实施例提供的竖直六边形模式示意图。
图5为本发明实施例提供的竖直六边形模式的搜索过程示意图，以(0，0)为起始搜索中心，按照图5中给出的坐标且采用一次竖直六边形模式搜索，最佳匹配点为（2，1)，将该点作为新的搜索中心，执行第二次竖直六边形搜索，本次只需要搜索三个点，最佳匹配点落在(2，3)处。采用同样的搜索流程，在第3次第4次搜索之后最佳匹配点落在(2，5)，这表明搜索已经趋于稳定。执行一次2x2区域的扩大搜索，找到全局最佳匹配点(2，6)，从而确定最终的运动向量。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种基于帧间预测的视频编码方法，其特征在于，包括：
接收视频帧序列；
根据运动向量分布特性，即趋中性和多谷分布特点，构建运动搜索的星型对称搜索模式；
根据所述星型对称搜索模式，将原点作为星型对称搜索的起始点，可通过计算所有点的块匹配准则函数，以得到块匹配准则函数最优解的点所在的位置；并通过判断所述位置的所属类型，制定不同的搜索策略；
若最优解的点位于原点，则结束整个捜索过程，取原点为最佳匹配点的位置；
若最优解的点为实心类，若当该点处于原点的水平方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再利用最佳匹配点的2x2 区域进行扩大搜索，确定当前最佳匹配点为最佳匹配点；
若所述当前最佳匹配点处于原点竖直方向时，则采用水平六边形模式进一步搜索，从而将搜索中心更新为当前最佳匹配点，直到最佳匹配点位于中心时，再以最佳匹配点的2x2区域进行扩大搜索，确定最终的最佳匹配点；
若所述当前最佳匹配点处于原点水平方向时，则采用竖直六边形模式，不断更新搜索中心的位置，直到最佳匹配点不变，再选用最佳匹配点的2x2区域进行扩大搜索，确定最终的最佳匹配点；
根据获得的最终的最佳匹配点，以确立最佳的搜索点位置，从而确定最终的运动向量。
2.根据权利要求1所述的视频编码方法，其特征在于，
所述运动向量分布特性包括：
运动向量具有趋中性，运动向量出现在水平方向和竖直方向的概率高于其他方向，还有视频序列具有时空域相关性，同一帧和相邻帧的相邻块之间的运动向量也具有相似性。
3.根据权利要求1所述的视频编码方法，其特征在于，
所述运动向量分布特性包括：
运动向量呈现多谷分布，匹配误差函数曲面呈现梯度下降，并出现多谷点，即误差曲面存在一个或者多个局部趋向中心位置的极小点，以呈现多谷分布特性。
CN201911009354.1A 2019-10-23 2019-10-23 基于帧间预测的视频编码方法 Pending CN110753227A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911009354.1A CN110753227A (zh) 2019-10-23 2019-10-23 基于帧间预测的视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911009354.1A CN110753227A (zh) 2019-10-23 2019-10-23 基于帧间预测的视频编码方法

Publications (1)

Publication Number Publication Date
CN110753227A true CN110753227A (zh) 2020-02-04

Family

ID=69279444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911009354.1A Pending CN110753227A (zh) 2019-10-23 2019-10-23 基于帧间预测的视频编码方法

Country Status (1)

Country Link
CN (1) CN110753227A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431675A (zh) * 2008-12-09 2009-05-13 青岛海信电子产业控股股份有限公司 一种像素运动估计方法和装置
CN101835047A (zh) * 2010-04-30 2010-09-15 中山大学 一种基于残差下降率的快速UMHexagonS运动估计算法
CN103384324A (zh) * 2013-01-19 2013-11-06 张新安 一种avs-m视频编码快速亚像素运动估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431675A (zh) * 2008-12-09 2009-05-13 青岛海信电子产业控股股份有限公司 一种像素运动估计方法和装置
CN101835047A (zh) * 2010-04-30 2010-09-15 中山大学 一种基于残差下降率的快速UMHexagonS运动估计算法
CN103384324A (zh) * 2013-01-19 2013-11-06 张新安 一种avs-m视频编码快速亚像素运动估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐浩漾等: "《HEVC的异构钻石模板快速搜索算法》", 《计算机工程与应用》 *

Similar Documents

Publication Publication Date Title
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN101573984B (zh) 用于使用多个运动矢量预测因子来估计运动矢量的方法和设备，编码器、解码器和解码方法
US20060104359A1 (en) System and method for fast variable-size motion estimation
CN102075760A (zh) 快速运动估计方法及装置
CN101888546B (zh) 一种运动估计的方法及装置
US6317460B1 (en) Motion vector generation by temporal interpolation
CN108401185B (zh) 参考帧选择方法、视频转码方法、电子设备和存储介质
CN107360433A (zh) 一种帧间预测编码方法和装置
KR100408294B1 (ko) 저전송율 동영상 부호화에 적합한 움직임 추정 방법
US6912296B2 (en) Motion estimation method
CN101822058A (zh) 使用像素抽取的视频编码
JP2008515298A (ja) 動き推定の実現方法
CN110753227A (zh) 基于帧间预测的视频编码方法
JP4035560B2 (ja) 動き推定方法
US10448047B2 (en) Encoder circuit and encoding method
Sowmyayani et al. Block based Motion Estimation using Octagon and Square Pattern
CN114040209A (zh) 运动估计方法、装置、电子设备及存储介质
CN112954365A (zh) Hevc帧间运动估算像素搜索改进方法
Pradhan et al. Survey on block matching algorithms for motion estimation
KR20080022843A (ko) 움직임 벡터를 이용한 탐색 영역 조절 방법
Nisar et al. An adaptive block motion estimation algorithm based on spatio-temporal correlation
CN100481949C (zh) 针对隔行扫描视频信号的编码方法
Arnaudov et al. Adaptive search pattern for fast motion estimation in HD video
Chee et al. Review of energy efficient block-matching motion estimation algorithms for wireless video sensor networks
KR20120066309A (ko) 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200204

RJ01 Rejection of invention patent application after publication