CN113301347B - 一种hevc高清视频编码的优化方法 - Google Patents

Abstract

一种HEVC高清视频编码的优化方法，包括：原始视频图像划分为多个互相独立的编码单元，即原始图像块；进行预测编码，包括根据视频图像时间和空间冗余，分别采用帧内预测和帧间预测的方式去除冗余信息并获得预测图像块；基于预测块、原始图像块的图像值的差值获得预测残差，对预测残差进行离散余弦变换和量化；将量化的离散余弦变换系数进行熵编码得到视频序列的压缩码流，输出压缩码流；对压缩码流进行解码后得到高分辨率视频序列，对高分辨率视频序列进行图像插值以使高分辨视频序列的图像大小还原至原始图像大小。实现在视频质量变化不大的情况下，得到编码效率更高、性能更好、计算复杂度更低的编码方案，更有利于应用到今后的视频传输和存储。

Description

一种HEVC高清视频编码的优化方法

技术领域

本发明涉及视频编码技术领域，尤其涉及一种HEVC高清视频编码的优化方法。

背景技术

高效视频编码(HEVC)，也称为H.265，可以通过蓝光最佳视频压缩方法实现两倍的压缩；但是现有的HEVC编码技术存在不少缺陷，如以下缺陷：

第一，HEVC编码的复杂度相对于其他视频编码标准要高的多，因此在码率较低的条件下性能表现不佳，且解码后的视频存在较为严重的失真；

第二，基于图像下采样的压缩方法虽然极大程度缩减了编码的计算量，缓解了对无线网络传输的压力，此方法对图像中的平坦区域进行插值的时候可以比较光滑，但是对图像的边缘、纹理等细节部分的插值效果则较为一般，存在较为严重的模糊和锯齿效应，从而导致重建后的图像视觉效果较差；

第三，HEVC中采用的变换方法在实际编码中都是通过在水平和垂直方向上分开做两次基本的一维变换来实现的。然而，对于那些内部纹理主导方向并不是水平或者垂直的二维图像，传统的二维变换并不能把它们的能量压缩做到最好。因此，HEVC中使用的无论是DCT还是DST变换都不能很好的考虑到图像的细节内容。

发明内容

本发明的目的在于针对背景技术中的缺陷，提出一种HEVC高清视频编码的优化方法，实现了在视频质量变化不大的情况下，得到了编码效率更高、性能更好、计算复杂度更低的编码方案，更有利于应用到今后的视频传输和存储。

为达此目的，本发明采用以下技术方案：

一种HEVC高清视频编码的优化方法，包括如下步骤：

步骤A：在编码端输入原始视频序列并进行下采样得到降质的低分辨率视频序列；

步骤B：HEVC编码器对低分辨率视频序列进行编码，包括：

输入的每一帧原始视频图像并划分为多个互相独立的编码单元，即原始图像块；

进行预测编码，包括根据视频图像时间和空间冗余，分别采用帧内预测和帧间预测的方式去除冗余信息并获得预测图像块；

基于预测块、原始图像块的图像值的差值获得预测残差，对预测残差进行离散余弦变换和量化；

将量化的离散余弦变换系数进行熵编码得到视频序列的压缩码流，输出压缩码流；

步骤C：解码器对压缩码流进行解码后得到高分辨率视频序列，对高分辨率视频序列进行图像插值以使高分辨视频序列的图像大小还原至原始图像大小。

优选的，在所述步骤B中，包括根据当前帧编码单元和对应帧编码单元之间的尺寸关系，选取当前帧编码单元最大概率出现最小率-失真代价值的PU预测模式，具体包括：

当前帧编码单元的边长小于对应帧编码单元的边长时，包括：

当当前帧编码单元的边长为对应帧编码单元的边长的一半时，若对应帧编码单元的分块的PU预测模式为nL×2N,则当前帧编码单元的分块的PU预测模式选取为N×2N；若对应帧编码单元的分块的PU预测模式为2N×nU；则当前帧编码单元的分块的PU预测模式选取为2N×N；

当当前帧编码单元的边长为对应帧编码单元的边长的四分之一时，当前帧编码单元的分块的PU预测模式选取为2N×2N；

当当前帧编码单元的边长小于对应帧编码单元的边长的四分之一时，当前帧编码单元的分块不选取PU预测模式。

优选的，当当前帧编码单元的边长大于对应帧编码单元的边长时，按照对应帧编码单元的各个分块的尺寸大小和PU预测模式进行判断，包括按照对应帧编码单元的分块与其预测单元的分布情况选取PU预测模块；

当当前帧编码单元的边长等于对应帧编码单元的边长时，当前帧的编码单元选取与对应帧编码单元的分块相同的PU预测模式。

优选的，在所述步骤B中，对预测残差进行离散余弦变换和量化包括：

根据HEVC标准建立不同模式下的帧内预测模型，根据基于方向的旋转椭圆模型获取初始像素协方差矩阵，根据初始像素协方差矩阵更新残差像素表达式以获取残差像素协方差矩阵，将残差像素协方差矩阵经过KLT分解和调整，提取变换矩阵。

优选的，根据基于方向的椭圆模型获取初始像素协方差矩阵包括：

建立基于图像纹理方向的旋转椭圆模型，

获取当前帧编码单元的PU预测模式所对应的偏移角度，即所述旋转椭圆模型所对应的图像纹理方向；

获取当前帧编码单元中像素点A(a,b)和B(c,d)之间的相关性，所述相关性为：

其中：

r表示长短轴的比率；

θ表示当前帧编码单元中纹理的方向，即角度值；

ρ表示像素间相关性强度；

d₁(θ)，d₂(θ)表示像素点A和B在旋转椭圆模型中的投影坐标；

所述投影坐标与真实坐标A(a，b)和B(c，d)之间的映射关系为：

将当前帧编码单元的像素值连同相邻编码单元边界的参考像素值套入所述旋转椭圆模型，获取当前帧编码单元及其相邻编码单元两两之间的相关性，并以此获得初始像素协方差矩阵。

优选的，建立帧内预测模型包括：

对参考像素进行映射处理：将当前帧编码单元所需的所有参考像素全部映射成一行或一列；

根据下式获取预测像素值P_i，j：

P_i，j＝((32-ω)×Mon_0，pla+ω×Mon_0，pla+1+16)；

其中：

ω表示插值运算的权值；

Mon_0，pla和Mon_0，pla+1表示当前预测像素映射得到的参考像素；

pla表示对应参考像素位置；

offset[P]表示当前模式对应的偏移量；

(x，y)表示当前预测像素的坐标。

优选的，获取残差像素协方差矩阵包括：

对于帧内编码中一个N×N大小选定帧内预测模式的残差像素块，将其转置组成一维向量形式

其协方差矩阵为R(大小为N²×N²)：

其中，每个元素R_a，b为：

R_b，a＝R_a，b＝E{e_a，e_b}，a，b＝1，2，…，N²；

提取变换矩阵包括：

基于残差像素协方差矩阵求取初始KLT变换矩阵，将初始KLT变换矩阵调整变换编码中的整数矩阵的放大倍数和扫描顺序；

对于扫描顺序为水平扫描的编码单元，不调整变换编码的整数矩阵的放大倍数和扫描顺序；

对于扫描顺序为垂直扫描的编码单元，将初始KLT变换矩阵中特征向量按照和HEVC标准中能量排列一致的顺序排列；

对于扫描顺序为对角扫描的编码单元，将初始KLT变换矩阵按照HEVC标准中能量相同的顺序排列；

优选的，在所述步骤C中，包括利用帧内冗余的相似性结构对所要恢复的低分辨率视频图像进行插值，以获得高分辨率的预测图像块，具体包括：

利用相似性扩大搜索区域，增加可参考的图像块数量，具体步骤如下：

将当前帧的视频图像中待插值的原始图像块Pi选取为目标中心，在当前视频图像中设立半径为r的窗口；

在当前帧的视频图像的前后各L帧视频图像中，确定与窗口的位置和大小相同的搜索框，作为原始图像块Pi的相似邻居块的查找区域；

将查找区域内的图像块分别放入下采样网格，依次计算其与原始图像块Pi的相似度；

选取最相似的N个图像块来对原始图像块Pi进行拟合，以获得与原始图像块Pi近似的图像块，将近似的图像块分别进行标记；

将标记的图像块再次进行下采样并拼贴成高分辨率的预测图像块；

不断迭代更新预测图像块，以使得预测图像块与待插值的原始图像块的近似度达到最高。

优选的，判断查找区域的图像块与原始图像块的相似度包括：

获取待插值的原始图像块与查找区域中的每一个图像块的对位灰度值的差值；

将差值的绝对值进行累加求和；

选取前K个最小数值所对应的图像块来线性表示待插值的原始图像块，即前K个最小数值所对应图像块与待插值的原始图像块的相似度最高。

优选的，在所述步骤C中，还包括缩小搜索框的半径和减少迭代次数，以提高预测图像块与待插值的原始图像块的相似度。

本发明相对于现有技术所达到的有益效果：

第一，在帧内预测方面，利用图像间的相似性先验信息，先对视频图像进行下采样，然后进行压缩编码，解码过后对视频数据进行图像插值以恢复至初始分辨率大小。该方法将当前视频帧中待插值图像块的搜索区域拓宽到相邻多帧视频图像上，扩大了搜索区域，增加可参考的图像块数量，拟合能力更强，合成图像更清晰；同时可以大幅度减少编码的数据量，且在低码率的条件下输出更高的视频质量；

第二，在帧间预测方面，利用相邻帧之间CU分割方式及PU预测模式的时域相关性，针对性地跳过一些当前块的CU分割方式和PU预测模式，再计算并传输差值。这样的好处是相对于之前所有的都要计算再传输更简单高效，从而可以降低HEVC的编码计算复杂度。

第三，在变换方面，建立了一种考虑了图像方向性信息的旋转椭圆模型，并且基于KLT变换原理设计出了一系列的改进变换方法。然后我们针对不同的帧内预测模式分别提取出了不同的具有固定形态的变换方法，对应地把它们放入到HEVC标准中替换原有的变换然后进行应用。

附图说明

图1是本发明的一个实施例的HEVC编码流程图；

图2是本发明的一个实施例的nL×2N的PU预测模式示意图；

图3是本发明的一个实施例的2N×nU的PU预测模式示意图；

图4是现有技术中PU预测模式的示意图；

图5是本发明的一个实施例的改进的变换模块流程图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制；

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

本发明提出一种HEVC高清视频编码的优化方法，包括采用基于自相似性的视频图像插值方案、基于时域相关性的帧间模式快速选定方式以及基于旋转椭圆模型以及KLT变换的变换方法的高清视频编码方案；

本方法首先在编码端对原始视频序列进行下采样处理，从而得到降至的低分辨率小视频，然后使用HEVC编码器对其进行编码。其次建立了基于时域相关性的帧间模式快速选定方法，根据当前帧的编码单元的边长大小快速地确定预测模式。最后建立了一种考虑了图像方向性信息的旋转椭圆模型，并且基于KLT变换原理设计出了不同预测模式下的变换方法，对应地把它们放入到HEVC标准中替换原有的变换然后进行测试，编码完成后进行传输，最后解码器对解码后的小视频进行图像插值以还原至初始图像大小；

具体包括如下步骤：

步骤A：在编码端输入原始视频序列并进行下采样得到降质的低分辨率视频序列；

步骤B：HEVC编码器对低分辨率视频序列进行编码，包括：

输入的每一帧原始视频图像并划分为多个互相独立的编码单元，即原始图像块；

进行预测编码，包括根据视频图像时间和空间冗余，分别采用帧内预测和帧间预测的方式去除冗余信息并获得预测图像块；

基于预测块、原始图像块的图像值的差值获得预测残差，对预测残差进行离散余弦变换和量化；

将量化的离散余弦变换系数进行熵编码得到视频序列的压缩码流，输出压缩码流；

步骤C：解码器对压缩码流进行解码后得到高分辨率视频序列，对高分辨率视频序列进行图像插值以使高分辨视频序列的图像大小还原至原始图像大小。

帧间预测模式包括：2N×2N、N×N、2N×N、N×2N、nL×2N、nR×2N、2N×nU和2N×nD，如图4所示，每种模式按照(宽[2N]X高[2N])的格式进行划分，当每个编码单元被分为上小下大分块时，高[2N]可被表示为nU，n个U等于2N,同理，当每个编码单元被分为左小右大分块时，宽[2N]可被表示为nL，n个L等于2N；

在本实施例中，关于选取当前帧编码单元最大概率出现最小率-失真代价值的PU预测模式是基于时域相关性的帧间模式快速选定方式，首先通过统计并综合分析各帧间对应帧编码单元(CU)和预测单元(PU)的时域相关性，根据各种大小CU下不同的PU的分布情况，找出帧间预测中出现概率最高的PU模式。这种方法跳过了一些高相似性的CU分割层和PU预测模式，CU层最多只取两种PU预测模式，从而大大减少了所需要进行的率-失真代价计算的数量。在比特率和视频质量损失很小的情况下，可以节省近一半的编码时间。接着根据当前帧编码单元与对应帧编码单元之间的尺寸大小关系，分成三种情况讨论，每一类都分别根据预测单元的预测方式，利用集合的方法求出当前图像块最大概率出现最小率-失真代价值的PU预测模式，并根据统计结果列出3种情况下的帧间模式方法，具体如下：

当前帧编码单元的边长小于对应帧编码单元的边长时，包括：

当当前帧编码单元的边长为对应帧编码单元的边长的一半时，若对应帧编码单元的分块的PU预测模式为nL×2N,则当前帧编码单元的分块的PU预测模式选取为N×2N；若对应帧编码单元的分块的PU预测模式为2N×nU；则当前帧编码单元的分块的PU预测模式选取为2N×N；

如图2所示，此时当前CU的边长为对应块的一半，块P可能对应的位置为C、D、E或者F。当上一帧对应的分块的PU模式为nL×2N时，则当前帧的CU分块的PU模式选N×2N；如图3所示，若PU模式为2N×nU时，则当前CU分块的PU模式选2N×N；

当当前帧编码单元的边长为对应帧编码单元的边长的四分之一时，当前帧编码单元的分块的PU预测模式选取为2N×2N；

当当前帧编码单元的边长小于对应帧编码单元的边长的四分之一时，当前帧编码单元的分块不选取PU预测模式。

优选的，当当前帧编码单元的边长大于对应帧编码单元的边长时，按照对应帧编码单元的各个分块的尺寸大小和PU预测模式进行判断，包括按照对应帧编码单元的分块与其预测单元的分布情况选取PU预测模块；

除模式2N×2N之外，其它模式则必须通过对应块中各个CU分块的尺寸大小和PU预测模式进行判断。经过大量的实验统计，将6种模式(2N×2N、2N×N、N×2N、nL×2N、nR×2N、2N×nU和2N×nD)分为垂直和水平2种，按照对应块中具体的编码单元和预测单元的分布情况，再确定选用哪一种预测模式。

当当前帧编码单元的边长等于对应帧编码单元的边长时，当前帧的编码单元选取与对应帧编码单元的分块相同的PU预测模式。

关于本实施例中基于不同帧内及帧间预测模式的优化变换方案，具体如下：

如图5所示，首先根据HEVC标准建立不同模式下的帧内预测模型，接着采用基于方向的椭圆模型得到的像素协方差矩阵更新残差像素表达式，然后得到残差像素协方差矩阵，再经过KLT分解和调整，最终提取变换矩阵。改进的变换方法可以将整体的编码效率在亮度分量和色度分量上提高。

优选的，在所述步骤B中，对预测残差进行离散余弦变换和量化包括：

根据HEVC标准建立不同模式下的帧内预测模型，根据基于方向的旋转椭圆模型获取初始像素协方差矩阵，根据初始像素协方差矩阵更新残差像素表达式以获取残差像素协方差矩阵，将残差像素协方差矩阵经过KLT分解和调整，提取变换矩阵。

建立基于纹理方向信息的椭圆模型，求得初始像素的协方差矩阵。图像帧经过分块操作之后，编码单元都会有一个主导的方向。传统的圆形模型忽视了该主导方向上的像素点比其余的更具有相关性。为充分利用图像原有的方向性信息，提高预测的准确度。

优选的，根据基于方向的椭圆模型获取初始像素协方差矩阵包括：

建立基于图像纹理方向的旋转椭圆模型，

获取当前帧编码单元的PU预测模式所对应的偏移角度，即所述旋转椭圆模型所对应的图像纹理方向；

获取当前帧编码单元中像素点A(a,b)和B(c,d)之间的相关性，所述相关性为：

其中：

r表示长短轴的比率；

θ表示当前帧编码单元中纹理的方向，即角度值；

ρ表示像素间相关性强度；

d₁(θ)，d₂(θ)表示像素点A和B在旋转椭圆模型中的投影坐标；

所述投影坐标与真实坐标A(a，b)和B(c，d)之间的映射关系为：

将当前帧编码单元的像素值连同相邻编码单元边界的参考像素值套入所述旋转椭圆模型，获取当前帧编码单元及其相邻编码单元两两之间的相关性，并以此获得初始像素协方差矩阵。

优选的，建立帧内预测模型包括：

对参考像素进行映射处理：将当前帧编码单元所需的所有参考像素全部映射成一行或一列；

根据下式获取预测像素值P_i，j：

P_i，j＝((32-ω)×Mon_0，pla+ω×M0n_0，pla+1+16)；

其中：

ω表示插值运算的权值；

Mon_0，pla和Mon_0，pla+1表示当前预测像素映射得到的参考像素；

pla表示对应参考像素位置；

offset[P]表示当前模式对应的偏移量；

(x，y)表示当前预测像素的坐标。

建立帧内预测模型。根据HEVC标准中,不同模式下帧内预测像素的计算方式不同。首先对参考像素映射处理：HEVC的帧内预测会先根据预测模式把当前块需要用到的所有参考像素全部映射成一行(记为Mon)或者一列,后续TU内的像素值由已经重建的参考像素推导出来。接着计算预测像素值:在获得了模式对应的一维参考像素集后，每一个预测像素值均由坐标所对应的两个参考像素经过一次插值运算得到。

当对应的偏移值为0或者32，对应的ω均为0则在预测值的插值运算中，该模式下当前块的每个像素点只跟一个参考像素点有关。否则，像素点则与两个参考像素点有关；

计算残差的协方差矩阵。变换的操作对象是残差数据，为了获得改进之后的变换矩阵，就必须先计算出不同预测模式下残差块的协方差矩阵。预测残差的值等于当前像素的真实值与它的预测值的差。首先根据预测残差像素块中任意两个残差像素

得到二者的相关性大小,接着结合两个残差像素在当前变换单元中的坐标以及参考像素的位置,结合初始像素集合和参考像素集合两两之间的关系,求出两个预测残差像素之间的相关性大小。

优选的，获取残差像素协方差矩阵包括：

对于帧内编码中一个N×N大小选定帧内预测模式的残差像素块，将其转置组成一维向量形式

其协方差矩阵为R(大小为N²×N²)：

其中，每个元素R_a，b为：

R_b，a＝R_a，b＝E{e_a，e_b}，a，b＝1，2，…，N²；

提取变换矩阵包括：

基于残差像素协方差矩阵求取初始KLT变换矩阵，将初始KLT变换矩阵调整变换编码中的整数矩阵的放大倍数和扫描顺序；

求出改进的变换矩阵。KLT变换拥有着其他变换方法无法达到的变换性能，为了把该方法的变换矩阵用到实际的HEVC编码标准中去，需参照HEVC中的整数变换方法对其进行调整，一个是调整放大倍数以保持变换编码精度不变和扫描顺序以保持能量分布不变，两个操作不分先后。首先结合旋转椭圆模型和帧内预测模型求出任意帧内预测模式下残差像素块的协方差矩阵，再求出初始的KLT变换矩阵；调整初始KLT矩阵得到改进的变换矩阵。

初始分解出的变换矩阵是按照特征值所对应的特征向量自上而下依次降序排列。要获得KLT变换矩阵，需要对标准的特征值分解。对于一个N×N大小选定帧内预测模式P的残差像素块。仿照HEVC标准中对变换编码中整数矩阵的放大倍数，对于大小为N×N的变换单元，其相应的变换矩阵在进行整数化操作时需要放大

倍。为了让改进的变换后的变换系数数量级和HEVC中经过变换编码之后的保持不变，并且保持HEVC中变换的框架基本不变，加上本专利提出的变换方法是不可分的，因此只用了一次乘法即可得出。改进的变换矩阵需要在初始KLT分解矩阵的基础上放大4096N倍，然后四舍五入取整。

由于对于使用垂直扫描顺序或者对角扫描顺序的其他预测模式来说，本专利得到的初始的KLT变换矩阵并不合适。因此，我们需要基于当前系数块对应的帧内预测模式来对变换矩阵做相应的调整：

对于预测模式为22～30的图像块，在HEVC采用的扫描顺序应为水平扫描，为了保持系数能量分布和初始KLT矩阵的排列一致，改进的变换编码无需调整；

对于预测模式为6～14的图像块，在HEVC的框架上采用的是垂直扫描顺序，此时改进的变换方法需要对KLT矩阵中特征向量按照和HEVC中能量排列一致的顺序摆放。

对于剩余的预测模式的图像块。采取对角扫描的方法，变换矩阵的调整按照能量相同的顺序排列。

替换工程中的变换矩阵并应用。一旦帧内预测编码中的变换单元TU以及预测模式确定，通过获取得到它的协方差矩阵,对其进行特征值分解并参照HEVC标准中变换矩阵的性质以及变换系数熵编码的规律加以调整，即可获取所求的改进的变换矩阵。由于变换矩阵的大小的限制，只更改HEVC中帧内编码部分的4×4和8×8大小的残差变换，即用16×16和64×64大小的改进变换核矩阵替换HEVC标准中原有的DCT变换，每一块都得到一个相应的变换矩阵，再将这一系列变换矩阵编号并放入工程中，根据TU(变换单元)大小和预测模式来选择并替换掉变换矩阵。

视频是一幅幅静态图像的集合，通常相邻图像中同一位置的像素点的色度信息基本不变，因此可将NPCI算法拓宽至视频图像插值中，即利用视频帧间和帧内冗余的相似性结构来对要恢复的低分辨率视频图像进行插值。

优选的，在所述步骤C中，包括利用帧内冗余的相似性结构对所要恢复的低分辨率视频图像进行插值，以获得高分辨率的预测图像块，具体包括：

利用相似性扩大搜索区域，增加可参考的图像块数量，具体步骤如下：

将当前帧的视频图像中待插值的原始图像块Pi选取为目标中心，在当前视频图像中设立半径为r的窗口；

在当前帧的视频图像的前后各L帧视频图像中，确定与窗口的位置和大小相同的搜索框，作为原始图像块Pi的相似邻居块的查找区域；

将查找区域内的图像块分别放入下采样网格，依次计算其与原始图像块Pi的相似度；

选取最相似的N个图像块来对原始图像块Pi进行拟合，以获得与原始图像块Pi近似的图像块，将近似的图像块分别进行标记；

将标记的图像块再次进行下采样并拼贴成高分辨率的预测图像块；

不断迭代更新预测图像块，以使得预测图像块与待插值的原始图像块的近似度达到最高。

不断更新的图像块会更接近待插值图像块。但迭代的次数不宜过多，容易过拟合，同时计算量过大。

优选的，判断查找区域的图像块与原始图像块的相似度包括：

获取待插值的原始图像块与查找区域中的每一个图像块的对位灰度值的差值；

将差值的绝对值进行累加求和；

选取前K个最小数值所对应的图像块来线性表示待插值的原始图像块，即前K个最小数值所对应图像块与待插值的原始图像块的相似度最高。

优选的，在所述步骤C中，还包括缩小搜索框的半径和减少迭代次数，以提高预测图像块与待插值的原始图像块的相似度。

缩小了搜索窗口半径、迭代次数以防止插值图像质量降低，同时得到更快的运行速度。搜索窗口主要用于寻找非局部相似邻居块，因此窗口越大，搜到的相似块就越多，最后恢复的图像也会越准确。但过大的窗口会增加不必要的计算量，降低了插值的性能。K值的选择直接影响插值后的图像质量。不同特征的图像较优K值不同。

参数的取值(如相邻区域搜索窗口大小和图像块尺寸大小)尽管数值相差较小，但也会引起算法计算量的大幅度增大，因此需要根据具体场景设定合适的值；

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (9)

1.一种HEVC高清视频编码的优化方法，其特征在于：包括如下步骤：

步骤A：在编码端输入原始视频序列并进行下采样得到降质的低分辨率视频序列；

步骤B：HEVC编码器对低分辨率视频序列进行编码，包括：

将输入的每一帧低分辨率视频图像划分为多个互相独立的编码单元，即原始图像块；

进行预测编码，包括根据视频图像时间和空间冗余，分别采用帧间预测和帧内预测的方式去除冗余信息并获得预测图像块；

基于预测图像块、原始图像块的图像值的差值获得预测残差，对预测残差进行离散余弦变换和量化；

将量化的离散余弦变换系数进行熵编码得到视频序列的压缩码流，输出压缩码流；

步骤C：解码器对压缩码流进行解码后得到低分辨率视频序列，对低分辨率视频序列进行图像插值以使低分辨视频序列的图像大小还原至原始图像大小；

在所述步骤C中，包括利用帧内冗余的相似性结构对所要恢复的低分辨率视频图像进行插值，以获得高分辨率的预测图像块，具体包括：

利用相似性扩大搜索区域，增加可参考的图像块数量，具体步骤如下：

将当前帧的视频图像中待插值的原始图像块Pi选取为目标中心，在当前视频图像中设立半径为r的窗口；

在当前帧的视频图像的前后各L帧视频图像中，确定与窗口的位置和大小相同的搜索框，作为原始图像块Pi的相似邻居块的查找区域；

将查找区域内的图像块分别放入下采样网格，依次计算其与原始图像块Pi的相似度；

选取最相似的N个图像块来对原始图像块Pi进行拟合，以获得与原始图像块Pi近似的图像块，将近似的图像块分别进行标记；

将标记的图像块再次进行下采样并拼贴成高分辨率的预测图像块；

不断迭代更新预测图像块，以使得预测图像块与待插值的原始图像块的近似度达到最高。

2.根据权利要求1所述一种HEVC高清视频编码的优化方法，其特征在于：

在所述步骤B中，包括根据当前帧编码单元和对应帧编码单元之间的尺寸关系，选取当前帧编码单元最大概率出现最小率失真代价值的PU预测模式，具体包括：

当前帧编码单元的边长小于对应帧编码单元的边长时，包括：

当当前帧编码单元的边长为对应帧编码单元的边长的一半时，若对应帧编码单元的分块的PU预测模式为,则当前帧编码单元的分块的PU预测模式选取为；若对应帧编码单元的分块的PU预测模式为，则当前帧编码单元的分块的PU预测模式选取为；

当当前帧编码单元的边长为对应帧编码单元的边长的四分之一时，当前帧编码单元的分块的PU预测模式选取为；

当当前帧编码单元的边长小于对应帧编码单元的边长的四分之一时，当前帧编码单元的分块不选取PU预测模式。

3.根据权利要求2所述一种HEVC高清视频编码的优化方法，其特征在于：

当当前帧编码单元的边长大于对应帧编码单元的边长时，按照对应帧编码单元的各个分块的尺寸大小和PU预测模式进行判断，包括按照对应帧编码单元的分块与其预测单元的分布情况选取PU预测模式；

当当前帧编码单元的边长等于对应帧编码单元的边长时，当前帧的编码单元选取与对应帧编码单元的分块相同的PU预测模式。

4.根据权利要求1所述一种HEVC高清视频编码的优化方法，其特征在于：

在所述步骤B中，对预测残差进行离散余弦变换和量化包括：

根据HEVC标准建立不同模式下的帧内预测模型，根据基于方向的旋转椭圆模型获取初始像素协方差矩阵，根据初始像素协方差矩阵更新残差像素表达式以获取残差像素协方差矩阵，将残差像素协方差矩阵经过KLT分解和调整，提取变换矩阵。

5.根据权利要求4所述一种HEVC高清视频编码的优化方法，其特征在于：

根据基于方向的旋转椭圆模型获取初始像素协方差矩阵包括：

建立基于图像纹理方向的旋转椭圆模型，

获取当前帧编码单元的PU预测模式所对应的偏移角度，即所述旋转椭圆模型所对应的图像纹理方向；

获取当前帧编码单元中像素点A(a,b)和B(c,d)之间的相关性，所述相关性为：

；

其中：

r表示长短轴的比率；

θ表示当前帧编码单元中纹理的方向，即角度值；

ρ表示像素间相关性强度；

表示像素点A和B在旋转椭圆模型中的投影坐标；

所述投影坐标与真实坐标A(a,b)和B(c,d)之间的映射关系为：

；

将当前帧编码单元的像素值连同相邻编码单元边界的参考像素值套入所述旋转椭圆模型，获取当前帧编码单元及其相邻编码单元两两之间的相关性，并以此获得初始像素协方差矩阵。

6.根据权利要求4所述一种HEVC高清视频编码的优化方法，其特征在于：

建立帧内预测模型包括：

对参考像素进行映射处理：将当前帧编码单元所需的所有参考像素全部映射成一行或一列；

根据下式获取预测像素值：

；

；

其中：

ω表示插值运算的权值；

和表示当前预测像素映射得到的参考像素；

pla表示对应参考像素位置；

offset[P]表示当前模式对应的偏移量；

（x，y）表示当前预测像素的坐标。

7.根据权利要求4所述一种HEVC高清视频编码的优化方法，其特征在于：

获取残差像素协方差矩阵包括：

对于帧内编码中一个大小选定帧内预测模式的残差像素块，将其转置组成一维向量形式，其协方差矩阵为R，大小为：

；

其中，每个元素为：

；

E表示数学期望，此处描述任意两个残差像素的相关性大小；

表示像素点a的残差；

表示像素点b的残差；

提取变换矩阵包括：

基于残差像素协方差矩阵求取初始KLT变换矩阵，利用初始KLT变换矩阵调整变换编码中的整数矩阵的放大倍数和扫描顺序；

对于扫描顺序为水平扫描的编码单元，不调整变换编码的整数矩阵的放大倍数和扫描顺序；

对于扫描顺序为垂直扫描的编码单元，将初始KLT变换矩阵中特征向量按照和HEVC标准中能量排列一致的顺序排列；

对于扫描顺序为对角扫描的编码单元，将初始KLT变换矩阵的特征向量按照HEVC标准中能量相同的顺序排列。

8.根据权利要求1所述一种HEVC高清视频编码的优化方法，其特征在于：

判断查找区域的图像块与原始图像块的相似度包括：

获取待插值的原始图像块与查找区域中的每一个图像块的对位灰度值的差值；

将差值的绝对值进行累加求和；

选取前K个最小数值所对应的图像块来线性表示待插值的原始图像块，即前K个最小数值所对应图像块与待插值的原始图像块的相似度最高。

9.根据权利要求1所述一种HEVC高清视频编码的优化方法，其特征在于：

在所述步骤C中，还包括缩小搜索框的半径和减少迭代次数，以提高预测图像块与待插值的原始图像块的相似度。

Images