CN100484249C - 视频帧间编码基于边缘方向的帧内预测方法 - Google Patents

Abstract

一种视频帧间编码基于边缘方向的帧内预测方法。包括以下步骤：(1)①对16×16亮度宏块每个像素做边缘提取，得水平方向值和垂直方向值；②根据上述值得该边缘点的方向，结合门限值确定边缘是否在垂直或水平方向上，分别为模式0或1，否则选3；③模式3的总数大于门限值，退出(1)进入下述(2)，否则计算该点帧内预测后的J值，如不满足门限值进入(2)，如满足再按DC模式计算J值，取J值小的完成该宏块的帧内预测；(2)④根据(1)得到每个像素的4×4的值；⑤计算每个像素的帧内预测值，计算得J值；⑥按DC模式求J值，和步骤③J值比较小的即为最终预测方法。它能保证精度又可提高预测速度，可广泛用于视频帧问编码的帧内预测中。

Description

视频帧间编码基于边缘方向的帧内预测方法

技术领域

本发明属于视频编码技术领域，更明确地说涉及AVS，h.264视频帧间编码基于边缘方向的帧内预测方法的设计。

背景技术

近几年来的国际视频标准多采用基于块的编码框架，即将输入视频分割成宏块，对其进行预测、运动估计，交换，量化，熵编码，环路滤波等。预测又分为帧内预测和帧间预测。新一代的视频标准AVS，h.264含有多种帧内或帧间预测模式，压缩效率也较以往的标准有所提高，但却是以高复杂度的计算为代价的。此标准的帧内预测采用亮色度分离的策略。对于亮度块的帧内预测支持两种尺寸：16×16，4×4，第一种尺寸支持4种预测模式，第二种尺寸支持9种预测模式。对于色度块则支持8×8，有4种预测模式，并且帧内预测也被运用到了帧间编码中。在帧间编码中，每个宏块可以选用帧间预测模式也可选用帧内预测模式，完成对最佳帧间模式的选择后再选择帧内模式，选择最佳的作为最终的模式。对于帧内最优模式的选择，根据率失真模型来判断，其定义如下：

J＝D+λR

式中：D代表失真值，λ为拉格朗日参数，R为码率。

对于h.264的亮度块的帧内预测模式如下：

16×16尺寸：

模式0：垂直模式；

模式1：水平模式；

模式2：DC模式；

模式3：平面模式；

4×4尺寸(如图1)：

模式0：垂直模式；

模式1：水平模式；

模式2：DC模式；

模式3：左斜下模式；

模式4：右斜下模式；

模式5：垂直偏右模式；

模式6：水平偏下模式；

模式7：垂直偏左模式；

模式8：水平偏上模式。

通常当宏块中变化比较平坦时，选择16×16的概率比较大，当宏块信息比较复杂时通常选择4×4模式。4×4模式是将16×16的宏块分成16个子块，按照上面和左面已经编码且重构的子块的相邻像素来判断，如图2。如果对亮度宏块每一种模式都进行计算并比较率失真模型来判断，不仅忽略了宏块本身的内容特点，而且计算量将非常大，因而速度慢，也不能保证视频解码后的质量。

发明内容

本发明的目的，就在于克服上述缺点和不足，提供一种视频帧间编码基于边缘方向的帧内预测方法。它可以解决上面提出的针对亮度块的每种帧内预测模式都进行计算而造成的计算速度慢的问题，利用当前宏块与相邻重构像素的相关性的特点及宏块内部边缘方向，提出一种利用边缘方向快速完成帧内预测的方法，不需要对每种模式都进行计算。它利用亮度宏块的边缘方向和帧内预测模式中的方向来快速确定每个点的模式，从而完成整个宏块的帧内预测。既保证了视频解码后的质量，又提高了速度。

为了达到上述目的，本发明包括以下步骤：

(1)第一步骤，使用16×16模式：

①对16×16亮度宏块每个像素做边缘提取，得到一个水平方向的值和一个垂直方向的值；

②根据垂直平方向的值和水平方向的值得到该边缘点的方向，根据这个方向结合一个门限值确定边缘是否在垂直或水平方向上，如果在垂直方向上记此点为模式0，在水平方向上记此点为模式1，否则选择模式3，并依此类推，计算宏块内所有像素点；

③然后统计选择模式3的总数，如果大于门限值，退出第一步骤进入第二步骤，否则按照每一点的模式计算该点帧内预测后的值，然后求取预测后宏块和原始块之间的J值，如果不满足门限值要求进入第二步骤，如果满足再按DC模式计算并得到J值，取两个J值小的完成该宏块的帧内预测；

(2)第二步骤，使用4×4模式：

④根据第一步骤计算的每个像素的边缘方向结合门限值得到每个像素的mode_4×4的值；

⑤根据此值代表的模式值计算每个像素的帧内预测值，完成整个4×4块的计算求取J值；

⑥然后按照DC模式计算这个子块，同样求J值，和步骤③所得J值比较，比较小的预测方法即为最终预测方法。

上述方法中的边缘提取的方法选取可以产生水平、垂直两个方向的值，比如sobel算子，图3即是根据sobel算子模式选择的方法。算子计算出的水平值和垂直值方向代表了该像素在水平和垂直方向与相邻像素的差别，垂直和水平方向上的两个值即代表了两个向量，根据这两个向量可以得到边缘点的方向。再看这个方向符合16×16或4×4模式中的哪一个。因为帧内预测模式是带有方向性的，所以根据此方向来统计每个像素点适合的模式。

第一步中统计模式3的目的是为了得到非水平和垂直方向边缘点的个数，这个值大小一定程度上反映了宏块内边缘情况的复杂程度，如果复杂度高的宏块就选择4×4模式做更细的处理。

在h.264中的帧内预测模式是针对块而言的，是对整块的计算。对于每一个像素点有分别对应每种模式的计算方法，本发明根据每个像素点的方向来确定每个像素点的适合的模式(不包括DC模式)，应用此模式对应的方法此位置像素的计算方法，本发明是将模式应用到了像素上。

DC模式是一种候选模式，按边缘的计算方法都要和DC模式来比较取效果比较好的一种作为最终的方法。

对I帧亮度部分进行帧内预测的具体步骤是：

(1)对当前帧亮度像素划分成16×16的宏块；

(2)检测左面和上面的宏块是否可用，如果不可用则相邻像素以128填充，对宏块中逐个像素按照sobel算子做边缘提取得到水平和垂直两个值，求sobel_y/sobe_x(垂直方向和水平方向的比值)，并查表(图3中第一个表)看是否能得到相应的模式，如果不能选择模式3，记下选好的模式0或模式1或模式3，这样统计完整个宏块每个像素的模式；统计所有像素中模式3的个数，如果大于门限值t_16×16，直接进入下一步骤，否则按照每一个像素点的相应模式计算该点的帧内预测值，直至完成整个宏块，计算率失真值，如果大于门限值t_J16×16，进入下一步骤，否则按照DC模式计算整个宏块的J值，同按边缘方向计算的J值比较，取最小的那个模式作为最终模式；

(3)如果16×16模式未被选定为最终模式，再将宏块按照4×4分割，检测4×4上右4×4块是否可用，不可用则用128填充最底一层的，然后按照上一步求得的sobel_y/sobel_x值查表(图3中第二个表)，得到合适的模式值，按照每个像素的模式计算整个4×4块的J值，再按照DC模式计算4×4块的J值，取两个J值比较小的那个模式作为当前4×4块的模式，依此类推完成所有4×4块的模式选择；

(4)按照上面方法完成所有宏块的帧内预测。

本发明分为两步，第一步针对16×16模式，并给出了将这种模式作为最终模式的条件，不必再进行4×4模式的计算，降低了计算的复杂度。因为本发明是针对点的，所以不必对整块做各个模式的计算，计算量大大减小，而针对点的计算根据当前点与周围的关系选择模式，计算更加精确。

本发明的任务就是这样完成的。

本发明利用当前宏块与相邻重构像素的相关性的特点及宏块内部边缘方向，提出一种利用边缘方向快速完成帧内预测的方法。它不需要对每种模式都进行计算，利用亮度宏块的边缘方向和帧内预测模式中的方向来快速确定每个点的模式，从而完成整个宏块的帧内预测。既保证了视频解码后的质量，又提高了速度。它可广泛应用于视频帧间编码的帧内预测中。

附图说明

图1为4×4模式的方向图。

图2示出了4×4块及邻块像素。

图3为各模式方向及判决门限表。

具体实施方式

实施例1。一种AVS，h.264视频帧间编码基于边缘方向的帧内预测方法，参阅图1～图3。

本实施例包括以下步骤：

(1)第一步骤，使用16×16模式：

①对16×16亮度宏块每个像素做边缘提取，得到一个水平方向的值和一个垂直方向的值；

②根据垂直平方向的值和水平方向的值得到该边缘点的方向，根据这个方向结合一个门限值可以确定边缘是否在垂直或水平方向上，如果在垂直方向上记此点为模式0，在水平方向上记此点为模式1，否则选择模式3，并依此类推，计算宏块内所有像素点；

③然后统计选择模式3的总数，如果大于门限值，退出第一步骤进入第二步骤，否则按照每一点的模式计算该点帧内预测后的值，然后求取预测后宏块和原始块之间的J值，如果不满足门限值要求进入第二步骤，如果满足再按DC模式计算并得到J值，取两个J值小的完成该宏块的帧内预测；

(2)第二步骤，使用4×4模式：

④根据第一步骤计算的每个像素的边缘方向结合门限值得到每个像素的mode_4×4的值；

⑤根据此值代表的模式值计算每个像素的帧内预测值，完成整个4×4块的计算求取J值；

⑥然后按照DC模式计算这个子块，同样求J值，和步骤③所得J值比较，比较小的预测方法即为最终预测方法。

对于I帧亮度部分进行帧内预测的具体步骤是：

(1)对当前帧亮度像素划分成16×16的宏块；

(2)检测左面和上面的宏块是否可用，如果不可用则相邻像素以128填充，对宏块中逐个像素按照sobel算子做边缘提取得到水平和垂直两个值，求sobel_y/sobel_x，并查图3中第一个表看是否能得到相应的模式，如果不能选择模式3，记下选好的模式0或模式1或模式3，这样统计完整个宏块每个像素的模式；统计所有像素中模式3的个数，如果大于门限值t_16×16，直接进入下一步骤，否则按照每一个像素点的相应模式计算该点的帧内预测值，直至完成整个宏块，计算率失真值，如果大于门限值t_J16×16，进入下一步骤，否则按照DC模式计算整个宏块的J值，同按边缘方向计算的J值比较，取最小的那个模式作为最终模式；

(3)如果16×16模式未被选定为最终模式，再将宏块按照4×4分割，检测4×4上右4×4块是否可用，不可用则用128填充最底一层的，然后按照上一步求得的sobel_y/sobel_x值查图3中第二个表，得到合适的模式值，按照每个像素的模式计算整个4×4块的J值，再按照DC模式计算4×4块的J值，取两个J值比较小的那个模式作为当前4×4块的模式，依此类推完成所有4×4块的模式选择；

(4)按照上面方法完成所有宏块的帧内预测。

本实施例针对h.264等视频标准中帧内预测计算量大的不足，提出了既能保证精度又可以提高预测速度的方法。它利用当前宏块与相邻重构像素的相关性的特点及宏块内部边缘方向，不需要对每种模式都进行计算，利用亮度宏块的边缘方向和帧内预测模式中的方向来快速确定每个点的模式，从而完成整个宏块的帧内预测。既保证了视频解码后的质量，又提高了速度。它可广泛应用于视频帧间编码的帧内预测中。

Claims (2)

1.一种视频帧间编码基于边缘方向的帧内预测方法，其特征在于它包括以下步骤：

(1)第一步骤，使用16×16模式：

①对16×16亮度宏块每个像素做边缘提取，得到一个水平方向的值和一个垂直方向的值；

②根据垂直平方向的值和水平方向的值得到该边缘点的方向，根据这个方向结合一个门限值确定边缘是否在垂直或水平方向上，如果在垂直方向上记此点为模式0，在水平方向上记此点为模式1，否则选择模式3，并依此类推，计算宏块内所有像素点；

③然后统计选择模式3的总数，如果大于门限值，退出第一步骤进入第二步骤，否则按照每一点的模式计算该点帧内预测后的值，然后求取预测后宏块和原始块之间的J值，如果不满足门限值要求进入第二步骤，如果满足再按DC模式计算并得到J值，取两个J值小的完成该宏块的帧内预测，其中J为“率失真模型的率失真值，J＝D+λR，D代表失真值，λ为拉格朗日参数，R为码率”；

(2)第二步骤，使用4×4模式：

④根据第一步骤计算的每个像素的边缘方向结合门限值得到每个像素的mode_4×4的值；

⑤根据此值代表的模式值计算每个像素的帧内预测值，完成整个4×4块的计算求取J值；

⑥然后按照DC模式计算这个子块，同样求J值，和步骤③所得J值比较，比较小的预测方法即为最终预测方法。

2.按照权利要求1所述的视频帧间编码基于边缘方向的帧内预测方法，其特征在于对I帧亮度部分进行帧内预测的具体步骤是：

(1)对当前帧亮度像素划分成16×16的宏块；

(2)检测左面和上面的宏块是否可用，如果不可用则相邻像素以128填充，对宏块中逐个像素按照sobel算子做边缘提取得到水平和垂直两个值，求sobel_y/sobel_x，并查各模式方向及判决门限表看是否能得到相应的模式，各模式方向及判决门限表相关部分内容如下：当对每个像素求sobel算子得到的垂直方向与水平方向的比值下限为-0.199，上限为0.199时，选择16×16模式1；当对每个像素求sobel算子得到的垂直方向与水平方向的比值下限为<-5.009，上限为>5.009时，选择16×16模式0；如果不能选择模式3，记下选好的模式0或模式1或模式3，这样统计完整个宏块每个像素的模式；统计所有像素中模式3的个数，如果大于门限值t_16×16，直接进入下一步骤，否则按照每一个像素点的相应模式计算该点的帧内预测值，直至完成整个宏块，计算率失真值，如果大于门限值t_J16×16，进入下一步骤，否则按照DC模式计算整个宏块的J值，同按边缘方向计算的J值比较，取最小的那个模式作为最终模式；

(3)如果16×16模式未被选定为最终模式，再将宏块按照4×4分割，检测4×4上右4×4块是否可用，不可用则用128填充最底一层的，然后按照上一步求得的sobel_y/sobel_x值查各模式方向及判决门限表，得到合适的模式值，按照每个像素的模式计算整个4×4块的J值，再按照DC模式计算4×4块的J值，取两个J值比较小的那个模式作为当前4×4块的模式，依此类推完成所有4×4块的模式选择；

(4)按照上面方法完成所有宏块的帧内预测。

Images