CN116016937A - 视频编码中的样点自适应补偿方法及装置 - Google Patents
视频编码中的样点自适应补偿方法及装置 Download PDFInfo
- Publication number
- CN116016937A CN116016937A CN202211537637.5A CN202211537637A CN116016937A CN 116016937 A CN116016937 A CN 116016937A CN 202211537637 A CN202211537637 A CN 202211537637A CN 116016937 A CN116016937 A CN 116016937A
- Authority
- CN
- China
- Prior art keywords
- compensation
- boundary
- video coding
- value
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000003044 adaptive effect Effects 0.000 claims abstract description 64
- 238000012216 screening Methods 0.000 claims abstract description 36
- 238000005070 sampling Methods 0.000 claims abstract description 35
- 238000013139 quantization Methods 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种视频编码中的样点自适应补偿方法及装置，该方法包括：获取视频编码单元的编码深度信息与量化信息，根据所述编码深度信息与所述量化信息计算得到边界信息值；在所述边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算；在所述边界信息值不小于所述预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，基于所述边缘强度值进行边界补偿模式的筛选；对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿。本方案优化了样点自适应补偿机制，提高了整体的编码效率和编码速度。
Description
技术领域
本申请实施例涉及视频编码技术领域，尤其涉及一种视频编码中的样点自适应补偿方法及装置。
背景技术
随着互联网发展，通过视频进行信息传播的方式越来越广泛。视频在传输过程中，为了提高传输效率需要对视频进行编码，因此使用高效、快速的视频编码方式，是当前研究的重要课题。
相关技术中，在对视频进行编码时，使用样点自适应补偿技术来解决视频编码量化时造成的振铃效应，同时也带来了明显的压缩率增益。在样点自适应补偿的过程中，对视频图像帧中每一个像素点进行遍历、分类、补偿，实现对某一边缘方向上凸角、凹角等失真问题的修正，为一种像素级的决策及补偿过程，由此造成了严重的编码开销。与此同时，样点自适应补偿所属的后处理模块计算复杂度的增加会导致整体的编码速度下降，尤其是在多线程的情况下，后处理线程的迟滞造成过多的编码线程的等待，使得编码速度显著降低，需要改进。
发明内容
本申请实施例提供了一种视频编码中的样点自适应补偿方法及装置，解决了相关技术中，在进行样点自适应补偿时造成的编码开销过大，编码速度显著降低的问题，优化了样点自适应补偿机制，提高了整体的编码效率和编码速度。
第一方面，本申请实施例提供了一种视频编码中的样点自适应补偿方法，该方法包括：
获取视频编码单元的编码深度信息与量化信息，根据所述编码深度信息与所述量化信息计算得到边界信息值；
在所述边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算；
在所述边界信息值不小于所述预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，基于所述边缘强度值进行边界补偿模式的筛选；
对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿。
第二方面，本申请实施例还提供了一种视频编码中的样点自适应补偿装置，包括：
边界信息确定模块，配置为获取视频编码单元的编码深度信息与量化信息，根据所述编码深度信息与所述量化信息计算得到边界信息值；
样点补偿跳过模块，配置为在所述边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算；
模式筛选模块，配置为在所述边界信息值不小于所述预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，基于所述边缘强度值进行边界补偿模式的筛选；
样点补偿模块，配置为对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿。
第三方面，本申请实施例还提供了一种视频编码中的样点自适应补偿设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例所述的视频编码中的样点自适应补偿方法。
第四方面，本申请实施例还提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请实施例所述的视频编码中的样点自适应补偿方法。
第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本申请实施例所述的视频编码中的样点自适应补偿方法。
本申请实施例中，通过获取视频编码单元的编码深度信息与量化信息，基于该编码深度信息与量化信息计算得到边界信息值，在边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算，在边界信息值不小于预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，再基于边缘强度值进行边界补偿模式的筛选，对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿，该种样点自适应补偿的处理机制，针对边界信息值小的情况，意味着视频编码单元为平坦块，进而进行样点自适应补偿的跳过，针对非跳过的情况，进一步的计算视频编码单元各个预设方向上的边缘强度值，并基于该边缘强度值进一步的进行边界补偿模式的筛选，对筛选得到的边界补偿模式中，每种预设类别进行遍历，对原有的边界补偿模式进行部分剔除，减少了部分边界补偿模式下预设类别的遍历过程，提高了整体的编码效率和编码速度。
附图说明
图1为本申请实施例提供的一种视频编码中的样点自适应补偿方法的流程图；
图2为本申请实施例提供的一种样点自适应补偿中计算边界信息值的方法的流程图；
图3为本申请实施例提供的一种样点自适应补偿中边界信息值的计算方法的流程图；
图4为本申请实施例提供的一种进行边缘强度值计算时使用的卷积矩阵示意图；
图5为本申请实施例提供的一种基于边缘强度值进行补偿模式进行筛选的方法的流程图；
图6为本申请实施例提供的另一种视频编码中的样点自适应补偿方法的流程图；
图7为本申请实施例提供的一种视频编码中的样点自适应补偿装置的结构框图；
图8为本申请实施例提供的一种视频编码中的样点自适应补偿设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请实施例，而非对本申请实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请实施例相关的部分而非全部结构。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
本申请实施例中提供的视频编码中的样点自适应补偿方法，可应用于需要对视频进行编码的场景，如对直播场景中生成的视频进行编码时进行的样点自适应补偿，或者对视频拍摄过程中生成的视频进行编码时的样点自适应补偿。该方法可由计算设备，如智能手机、服务器、笔记本电脑、平板电脑等执行。当计算设备有发送视频的需求时，进行视频编码的过程中可采用本申请的样点自适应补偿方法。可选的，该样点自适应补偿方法可集成于现有的基于高效率视频编码国际标准的视频编码模块中，或者设置单独的样点自适应处理模块，在视频编码模块对视频帧进行编码处理后，进行样点自适应处理，以最终编码成二进制码流，上传至网络中。
图1为本申请实施例提供的一种视频编码中的样点自适应补偿方法的流程图，具体包括如下步骤：
步骤S101、获取视频编码单元的编码深度信息与量化信息，根据所述编码深度信息与所述量化信息计算得到边界信息值。
在一个实施例中，针对样点补偿的处理对象为视频编码单元。示例性的，以H.265视频编码标准为例，可以是定义的CTU(Coding Tree Unit，编码树单元)，其尺寸大小可以是64*64；针对其它视频编码标准，其尺寸大小还可以是128*128、32*32或者16*16。针对固定大小的视频编码单元，其可以被递归分割。如一个尺寸大小为64*64的视频编码单元，可被分割为4个32*32尺寸大小的子单元，或者分割为3个32*32尺寸大小的子单元，以及4个16*16尺寸大小的子单元。在另一个实施例中，该视频编码单元可以是其它视频压缩标准中定义的基本单元。
在一个实施例中，编码深度信息为对视频帧经过编码分析环节的递归遍历后，为当前视频编码单元选择出的最佳划分方式；量化信息为当前视频编码单元实际编码时的量化参数，其反映了视频帧在编码过程中的空间细节压缩情况，示例性的以H.264、H.265视频编码标准为例，可以是具体的QP(Quantization Parameter，量化参数)值。可选的，该视频编码单元的编码深度信息与量化信息可以由当前主流使用的编码器在对视频进行编码过程中的分析环节得到。
在一个实施例中，在获取视频编码单元的编码深度信息与量化信息后，基于该编码深度信息与量化信息计算得到该视频编码单元对应的边界信息值。其中，该边界信息值反映了视频编码单元的平坦程度。可选的，一种根据编码深度信息与量化信息计算得到边界信息值的过程如图2所示，图2为本申请实施例提供的一种样点自适应补偿中计算边界信息值的方法的流程图，具体包括：
步骤S1011、根据视频编码单元中的子单元的编码深度值计算得到平均编码深度值。
在一个实施例中，使用视频编码单元的子单元计算得到的平均编码深度值作为视频编码单元的编码深度值，示例性的计算公式如下：
其中，avgDepth表示该视频编码单元的平均编码深度值，sum()为求和函数，以视频编码单元的尺寸大小为64*64为例，该cu_depth(x)为以4x4为单位记录，其对应第x个小块处的划分深度，可选值为0、1、2和3。其中，上述的子单元的编码深度值可从编码器中的编码结果获取得到。
步骤S1012、基于平均编码深度值、量化信息以及设置的权重计算得到边界信息值。
在一个实施例中，计算得到视频编码单元的平均编码深度值后，进一步结合量化信息以及设置的权重计算得到边界信息值。示例性的，以量化信息为量化参数QP为例，权重值假设记为a，边界信息值记为ES，则边界信息值ES的计算公式可以是：
其中，权重系数a可根据实际情况赋予不同的常数值，例如20、25均可。
需要说明的是，上述的计算边界信息值的方式为一种较优的计算方法，任何其它的常规和可替换方法均可使用，本方案不做限定。
步骤S102、在所述边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算。
在一个实施例中，在计算得到边界信息值后，基于该边界信息值确定是否跳过样点自适应补偿的计算。可选的，在边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算。其中，在边界信息值越小的情况，意味着视频编码单元越平坦，若视频编码单元越平坦，则进行样点自适应补偿的收益越低，故此处将计算得到的边界信息值与预设阈值进行比对，在小于该预设阈值时，进行样点自适应补偿的跳过。可选的，该预设阈值的取值范围可以是2-5，即根据不同的使用场景，在该取值范围内选择合适的值。
步骤S103、在所述边界信息值不小于所述预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，基于所述边缘强度值进行边界补偿模式的筛选。
在一个实施例中，在边界信息值不小于预设阈值的情况下，进行相应的样点自适应补偿的计算。可选的，样点自适应补偿的计算包括边界补偿和边带补偿两种计算处理过程，其中，边界补偿时根据像素遍历时的方向，分为4种模式，示例性的分别记为：水平模式(EO_0)、竖直模式(EO_1)、135°方向模式(EO_2)以及45°方向模式(EO_3)。针对每一种边界补偿模式，其包括多个预设类别，如根据当前像素与上述模式方向上相邻两像素的关系分为5个预设类别，示例性的记为明显凹角、普通凹角、普通凸角、明显凸角以及其它类别。其中，前两个预设类别为凹角情况，其当前像素值低于相邻两像素，采用一个正的补偿值；针对预设类别中的两类凸角情况则采用一个负的补偿值，降低当前像素的凸出程度；针对其它类别的场景不做补偿处理。即上述的边界补偿共分为了20(4种边界补偿模式下，每种边界补偿模式包含5个预设类别)种具体的遍历类别，不同类别采用不同的补偿值。其中，边带补偿为根据像素值的大小对像素进行分类，例如，H.265在处理8bit视频时，将0至255的像素值等分为了32条边带，每条边带包含8个连续的像素值。编码端将会对规定边带内的像素值进行统计并计算均值，然后将原始像素均值与重建像素均值之差传送到解码端，解码端则将解析出的差值补偿到规定的边带内，以此来拉近重建均值与原始均值的差距。边带补偿共分为了32种类别，不同类别采用不同的补偿值。
由上述可知，在进行样点自适应补偿是包括52种不同类别的补偿方式，由此在样点自适应补偿的遍历计算过程中，在编码器中造成的瓶颈效应非常明显。在一个实施例中，针对边界信息值不小于预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，再依次进行边界补偿模式，以剔除掉不合理的边界补偿模式来降低编码器的数据运算量。
可选的，边界信息值的计算过程示例性的如果3所示，图3为本申请实施例提供的一种样点自适应补偿中边界信息值的计算方法的流程图，具体包括：
步骤S1031、将视频编码单元划分为多个子单元，分别计算每个子单元的划分深度值。
示例性的，以视频编码单元尺寸为64*64为例，其划分为4个32x32的子单元，分别计算每个子单元的划分深度值。可选的，每个子单元的划分深度值的一种计算方式可以是：获取每个子单元中的最小编码单元的划分深度值，将最小编码单元的划分深度值之和确定为该子单元的划分深度值。示例性的，计算公式如下：
其中，subCUDepth(i)代表第i个子单元的划分深度值，i的取值分别代表了不同的子单元，j表示每个子单元内最小编码单元的索引，示例性的，该最小编码单元的尺寸大小示例性的可以是4*4。
可选的，该subCUDepth(i)可以以矩阵的形式存储。示例性的，以一个尺寸大小为64*64的视频编码单元为例，其等分为4个尺寸大小为32*32的子单元，假设i＝0,1,2,3分别对应左上子单元、右上子单元、左下子单元右下子单元。相应的，采用2*2大小的矩阵分别存储左上子单元、右上子单元、左下子单元右下子单元的划分深度值。
步骤S1032、将划分深度值与预设矩阵进行卷积运算得到不同预设方向的边缘强度值，其中，预设矩阵包括多个，每个预设矩阵对应一个预设方向。
在一个实施例中，计算得到视频编码单元的每个子单元的划分深度值后，计算得到该视频编码单元在不同预设方向的边缘强度值，其中，该预设方向示例性的可以是包括4个，即水平方向、竖直方向、135°方向以及45°方向，其分别对应边界补偿中的4中边界补偿模式。需要说明的是，上述的预设方向可基于不同的编码器和样点自适应补偿算法进行适应性调整，可增加或删除预设方向的数量，也可以对预设方向的具体方向角度进行调整。可选的，以前述划分深度值为计算并存储为的2*2矩阵为例，一种计算边缘强度值的方式可以是：将划分深度值与预设矩阵进行卷积运算得到不同预设方向的边缘强度值，其中，以水平方向、竖直方向、135°方向以及45°方向为例，分别对应设置的预设矩阵如图4所示，图4为本申请实施例提供的一种进行边缘强度值计算时使用的卷积矩阵示意图。通过每个预设矩阵的卷积运算后，由于该预设矩阵的数值的设置，可分别得到视频编码单元在水平方向、竖直方向、135°方向以及45°方向上的像素变化差异，通过边缘强度值的方式表征，以用于后续边界补偿模式筛选的依据。
在另一个实施例中，针对算力较强的处理设备，边缘强度值的计算还可以采用边缘提取算子如Marr-Hildreth算子等进行计算得到。
在一个实施例中，在计算得到不同方向的边缘强度值后，进一步的包括对边界补偿模式进行筛选的过程。示例性的，如图5所示，图5为本申请实施例提供的一种基于边缘强度值进行补偿模式进行筛选的方法的流程图，具体包括：
步骤S1033、对计算得到不同预设方向的边缘强度值进行排序。
步骤S1034、在边缘强度值满足剔除条件的情况下，将最小的边缘强度值对应的边界补偿模式进行剔除。
在一个实施例中，不同的边缘强度值分别对应一个预设方向，也即对应一种边界补偿模式，其反应了该方向上的像素变化情况，在计算得到不同预设方向的边缘强度值后，对其进行排序，将最小的边缘强度值对应的边界补偿模式进行剔除。示例性的，以边界补偿模式包括水平模式、竖直模式、135°方向模式以及45°方向模式为例，假定45°方向模式对应的边缘强度值最小，则对其进行剔除，保留剩余的三种边界补偿模式。可选的，剔除数量可根据实际需要进行设定。
在一个实施例中，在对边界补偿模式进行剔除时，进一步的包括判断边缘强度值满足剔除条件的情况下。可选的，该剔除条件可以是最大的边缘强度值不为0的情况，由此避免了对边界补偿模式进行剔除导致的较大的误差引入。
步骤S104、对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿。
在一个实施例中，在进行视频编码单元的样点自适应补偿时，对筛选后得到的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿。示例性的，如筛选得到的边界补偿模式包括水平模式、竖直模式、135°方向模式，则分别对该水平模式、竖直模式、135°方向模式中设置的明显凹角、普通凹角、普通凸角、明显凸角以及其它类别中的5个类别进行遍历，以完成视频编码单元的边界补偿。
由上述可知，通过获取视频编码单元的编码深度信息与量化信息，基于该编码深度信息与量化信息计算得到边界信息值，在边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算，在边界信息值不小于预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，再基于边缘强度值进行边界补偿模式的筛选，对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿，该种样点自适应补偿的处理机制，针对边界信息值小的情况，意味着视频编码单元为平坦块，进而进行样点自适应补偿的跳过，针对非跳过的情况，进一步的计算视频编码单元各个预设方向上的边缘强度值，并基于该边缘强度值进一步的进行边界补偿模式的筛选，对筛选得到的边界补偿模式中，每种预设类别进行遍历，对原有的边界补偿模式进行部分剔除，减少了部分边界补偿模式下预设类别的遍历过程，提高了整体的编码效率和编码速度。
图6为本申请实施例提供的另一种视频编码中的样点自适应补偿方法的流程图，给出了一种对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿的方法，具体包括：
步骤S201、获取视频编码单元的编码深度信息与量化信息，根据所述编码深度信息与所述量化信息计算得到边界信息值。
步骤S202、在所述边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算。
步骤S203、在所述边界信息值不小于所述预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，基于所述边缘强度值进行边界补偿模式的筛选。
步骤S204、在对筛选的边界补偿模式中的预设类别进行遍历时，依次进行所述视频编码单元的亮度样点补偿，并确定最佳亮度样点补偿模式。
在一个实施例中，以边界补偿模式总计包括水平模式、竖直模式、135°方向模式以及45°方向模式四种，以及预设类别包括明显凹角、普通凹角、普通凸角、明显凸角以及其它类别五个类别为例，分别进行筛选后得到的边界补偿模式中的五个类别的遍历，遍历过程中依次进行视频编码单元的亮度样点补偿，其中，该亮度样点补偿可基于编码器设置，或现有的亮度样点补偿方法进行补偿，此处不做限定。
在一个实施例中，进行亮度样点补偿的过程中，进一步的包括确定最佳亮度样点补偿模式的步骤。可选的，可以是依次计算出视频编码单元内归属于每个边界补偿模式的像素个数以及待补偿的均值，进行补偿并计算率失真代价，通过代价对比筛选出最佳的亮度样点补偿模式。
步骤S205、基于所述最佳亮度样点补偿模式对色度样点补偿模式进行筛选，对筛选得到的色度样点补偿模式中的预设类别进行遍历，依次进行所述视频编码单元的色度样点补偿。
以视频编码格式为YUV为例，亮度与色度分量在边缘上具有相似性，在一个实施例中，对该相似性进行利用，即通过在亮度样点补偿中确定的最佳的亮度样点补偿模式对色度样点补偿中，待遍历的候选模式进行约束。示例性的，假定确定的最佳的亮度样点补偿模式为135°方向模式，则在进行色度样点补偿过程中，可仅执行135°方向模式对应的色度样点补偿以及在色度样点补偿中设置的固有模式对应的色度样点补偿。
由上述可知，在进行色度样点补偿的过程中，利用亮度样点补偿过程中决策出的最佳亮度样点补偿模式对色度样点补偿模式进行筛选，进一步降低了样点补偿过程中模式遍历的次数，提高了编码速度。
在上述技术方案的基础上，色度样点补偿模式的确定过程还包括：根据所述视频编码单元对应的视频场景，对色度样点补偿模式进行筛选。在一个实施例中，通过实验测试比对以及方案设计经验，发现不同的视频场景下色度样点补偿模式的占比不同。举例而言，针对直播场景，色度样点补偿模式中水平模式和竖直模式的占比较低，故在进行色度样点补偿模式的筛选时，可剔除该两种模式；针对建筑物场景，色度样点补偿模式中135°方向模式以及45°方向模式占比较低，故在进行色度样点补偿模式的筛选时，可剔除该两种模式。由此可知，在进行色度样点补偿模式的筛选时通过视频场景进行模式筛选，在保证了样点补偿误差精度的同时，可有效的减少遍历次数，提高视频编码的整体效率。
图7为本申请实施例提供的一种视频编码中的样点自适应补偿装置的结构框图，该装置用于执行上述实施例提供的视频编码中的样点自适应补偿方法，具备执行方法相应的功能模块和有益效果。如图7所示，该装置具体包括：边界信息确定模块101、样点补偿跳过模块102、模式筛选模块103和样点补偿模块104，其中，
边界信息确定模块101，配置为获取视频编码单元的编码深度信息与量化信息，根据所述编码深度信息与所述量化信息计算得到边界信息值；
样点补偿跳过模块102，配置为在所述边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算；
模式筛选模块103，配置为在所述边界信息值不小于所述预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，基于所述边缘强度值进行边界补偿模式的筛选；
样点补偿模块104，配置为对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿。
由上述方案可知，通过获取视频编码单元的编码深度信息与量化信息，基于该编码深度信息与量化信息计算得到边界信息值，在边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算，在边界信息值不小于预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，再基于边缘强度值进行边界补偿模式的筛选，对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿，该种样点自适应补偿的处理机制，针对边界信息值小的情况，意味着视频编码单元为平坦块，进而进行样点自适应补偿的跳过，针对非跳过的情况，进一步的计算视频编码单元各个预设方向上的边缘强度值，并基于该边缘强度值进一步的进行边界补偿模式的筛选，对筛选得到的边界补偿模式中，每种预设类别进行遍历，对原有的边界补偿模式进行部分剔除，减少了部分边界补偿模式下预设类别的遍历过程，提高了整体的编码效率和编码速度。
在一个可能的实施例中，所述边界信息确定模块101，配置为：
根据所述视频编码单元中的子单元的编码深度值计算得到平均编码深度值；
基于所述平均编码深度值、所述量化信息以及设置的权重计算得到边界信息值。
在一个可能的实施例中，所述边界信息确定模块101，配置为：
将所述视频编码单元划分为多个子单元，分别计算每个所述子单元的划分深度值；
将所述划分深度值与预设矩阵进行卷积运算得到不同预设方向的边缘强度值，所述预设矩阵包括多个，每个所述预设矩阵对应一个预设方向。
在一个可能的实施例中，所述边界信息确定模块101，配置为：
获取每个所述子单元中的最小编码单元的划分深度值，将所述最小编码单元的划分深度值之和确定为所述子单元的划分深度值。
在一个可能的实施例中，所述模式筛选模块103，配置为：
对计算得到不同预设方向的边缘强度值进行排序；
在所述边缘强度值满足剔除条件的情况下，将最小的边缘强度值对应的边界补偿模式进行剔除。
在一个可能的实施例中，所述样点补偿模块104，配置为：
在对筛选的边界补偿模式中的预设类别进行遍历时，依次进行所述视频编码单元的亮度样点补偿，并确定最佳亮度样点补偿模式；
基于所述最佳亮度样点补偿模式对色度样点补偿模式进行筛选；
对筛选得到的色度样点补偿模式中的预设类别进行遍历，依次进行所述视频编码单元的色度样点补偿。
在一个可能的实施例中，所述样点补偿模块104，还配置为：根据所述视频编码单元对应的视频场景，对色度样点补偿模式进行筛选。
图8为本申请实施例提供的一种视频编码中的样点自适应补偿设备的结构示意图，如图8所示，该设备包括处理器201、存储器202、输入装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图8中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接，图8中以通过总线连接为例。存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的视频编码中的样点自适应补偿方法对应的程序指令/模块。处理器201通过运行存储在存储器302中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的视频编码中的样点自适应补偿方法。输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
本申请实施例还提供一种包含计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种上述实施例描述的视频编码中的样点自适应补偿方法，其中，包括：
获取视频编码单元的编码深度信息与量化信息，根据所述编码深度信息与所述量化信息计算得到边界信息值；
在所述边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算；
在所述边界信息值不小于所述预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，基于所述边缘强度值进行边界补偿模式的筛选；
对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿。
值得注意的是，上述视频编码中的样点自适应补偿装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请实施例的保护范围。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本申请实施例所记载的视频编码中的样点自适应补偿方法。所述程序产品可以采用一个或多个可读介质的任意组合实现。
Claims (11)
1.视频编码中的样点自适应补偿方法，其特征在于，包括：
获取视频编码单元的编码深度信息与量化信息，根据所述编码深度信息与所述量化信息计算得到边界信息值；
在所述边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算；
在所述边界信息值不小于所述预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，基于所述边缘强度值进行边界补偿模式的筛选；
对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿。
2.根据权利要求1所述的视频编码中的样点自适应补偿方法，其特征在于，所述根据所述编码深度信息与所述量化信息计算得到边界信息值，包括：
根据所述视频编码单元中的子单元的编码深度值计算得到平均编码深度值；
基于所述平均编码深度值、所述量化信息以及设置的权重计算得到边界信息值。
3.根据权利要求1所述的视频编码中的样点自适应补偿方法，其特征在于，所述通过边缘方向估计算法计算得到不同预设方向的边缘强度值，包括：
将所述视频编码单元划分为多个子单元，分别计算每个所述子单元的划分深度值；
将所述划分深度值与预设矩阵进行卷积运算得到不同预设方向的边缘强度值，所述预设矩阵包括多个，每个所述预设矩阵对应一个预设方向。
4.根据权利要求3所述的视频编码中的样点自适应补偿方法，其特征在于，所述分别计算每个所述子单元的划分深度值，包括：
获取每个所述子单元中的最小编码单元的划分深度值，将所述最小编码单元的划分深度值之和确定为所述子单元的划分深度值。
5.根据权利要求1所述的视频编码中的样点自适应补偿方法，其特征在于，所述基于所述边缘强度值进行边界补偿模式的筛选，包括：
对计算得到不同预设方向的边缘强度值进行排序；
在所述边缘强度值满足剔除条件的情况下，将最小的边缘强度值对应的边界补偿模式进行剔除。
6.根据权利要求1-5中任一项所述的视频编码中的样点自适应补偿方法，其特征在于，所述对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿，包括：
在对筛选的边界补偿模式中的预设类别进行遍历时，依次进行所述视频编码单元的亮度样点补偿，并确定最佳亮度样点补偿模式；
基于所述最佳亮度样点补偿模式对色度样点补偿模式进行筛选；
对筛选得到的色度样点补偿模式中的预设类别进行遍历，依次进行所述视频编码单元的色度样点补偿。
7.根据权利要求6所述的视频编码中的样点自适应补偿方法，其特征在于，所述色度样点补偿模式的确定过程还包括：
根据所述视频编码单元对应的视频场景，对色度样点补偿模式进行筛选。
8.视频编码中的样点自适应补偿装置，其特征在于，包括：
边界信息确定模块，配置为获取视频编码单元的编码深度信息与量化信息，根据所述编码深度信息与所述量化信息计算得到边界信息值；
样点补偿跳过模块，配置为在所述边界信息值小于预设阈值的情况下，跳过样点自适应补偿的计算；
模式筛选模块，配置为在所述边界信息值不小于所述预设阈值的情况下，通过边缘方向估计算法计算得到不同预设方向的边缘强度值，基于所述边缘强度值进行边界补偿模式的筛选；
样点补偿模块，配置为对筛选的边界补偿模式中的预设类别进行遍历，以进行样点自适应补偿。
9.一种视频编码中的样点自适应补偿设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-7中任一项所述的视频编码中的样点自适应补偿方法。
10.一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行权利要求1-7中任一项所述的视频编码中的样点自适应补偿方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的视频编码中的样点自适应补偿方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211537637.5A CN116016937A (zh) | 2022-12-01 | 2022-12-01 | 视频编码中的样点自适应补偿方法及装置 |
| PCT/CN2023/132735 WO2024114432A1 (zh) | 2022-12-01 | 2023-11-20 | 视频编码中的样点自适应补偿方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211537637.5A CN116016937A (zh) | 2022-12-01 | 2022-12-01 | 视频编码中的样点自适应补偿方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116016937A true CN116016937A (zh) | 2023-04-25 |
Family
ID=86028771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211537637.5A Pending CN116016937A (zh) | 2022-12-01 | 2022-12-01 | 视频编码中的样点自适应补偿方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116016937A (zh) |
| WO (1) | WO2024114432A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024114432A1 (zh) * | 2022-12-01 | 2024-06-06 | 百果园技术(新加坡)有限公司 | 视频编码中的样点自适应补偿方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9300967B2 (en) * | 2013-06-19 | 2016-03-29 | Apple Inc. | Sample adaptive offset control |
| US20180091812A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Video compression system providing selection of deblocking filters parameters based on bit-depth of video data |
| CN107343199B (zh) * | 2017-06-29 | 2020-04-24 | 武汉大学 | 用于hevc中样点的快速自适应补偿方法 |
| CN108259903B (zh) * | 2018-04-10 | 2021-05-14 | 重庆邮电大学 | 基于人眼感兴趣区域的h.265样点自适应补偿方法 |
| CN114501035B (zh) * | 2022-01-26 | 2024-02-13 | 百果园技术(新加坡)有限公司 | 视频编解码滤波处理方法、***、设备及存储介质 |
| CN116016937A (zh) * | 2022-12-01 | 2023-04-25 | 百果园技术(新加坡)有限公司 | 视频编码中的样点自适应补偿方法及装置 |
-
2022
- 2022-12-01 CN CN202211537637.5A patent/CN116016937A/zh active Pending
-
2023
- 2023-11-20 WO PCT/CN2023/132735 patent/WO2024114432A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024114432A1 (zh) * | 2022-12-01 | 2024-06-06 | 百果园技术(新加坡)有限公司 | 视频编码中的样点自适应补偿方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024114432A1 (zh) | 2024-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020169102A1 (en) | Parameter derivation for intra prediction | |
| CN110418177B (zh) | 视频编码方法、装置、设备和存储介质 | |
| US10728546B2 (en) | Sample adaptive offset systems and methods | |
| CN110650349B (zh) | 一种图像编码方法、解码方法、编码器、解码器及存储介质 | |
| CN105706449A (zh) | 样本自适应偏移控制 | |
| CN104754361A (zh) | 图像编码、解码方法及装置 | |
| CN113068028B (zh) | 视频图像分量的预测方法、装置及计算机存储介质 | |
| CN109756736B (zh) | Sao模式决策方法、装置、电子设备及可读存储介质 | |
| CN110650343A (zh) | 图像的编码、解码方法及装置、电子设备及*** | |
| WO2020009758A9 (en) | Context-based binary arithmetic encoding and decoding | |
| EP3706046A1 (en) | Method and device for picture encoding and decoding | |
| WO2021004152A1 (zh) | 图像分量的预测方法、编码器、解码器以及存储介质 | |
| CN116962710A (zh) | 图像重建方法和装置 | |
| CN113099221B (zh) | 跨分量样点自适应补偿方法、编码方法及相关装置 | |
| KR20220006113A (ko) | 루프 필터링 방법 및 장치 | |
| WO2024114432A1 (zh) | 视频编码中的样点自适应补偿方法及装置 | |
| WO2020192717A1 (en) | Parameter derivation for inter prediction | |
| CN108156461B (zh) | 一种Bayer图像压缩方法及装置 | |
| CN111770334B (zh) | 数据编码方法及装置、数据解码方法及装置 | |
| CN113079375A (zh) | 基于相关度比较确定视频编解码优先顺序的方法及装置 | |
| CN116193146A (zh) | 图像划分方法及装置 | |
| CN116982262A (zh) | 视频编码中依赖性量化的状态转换 | |
| CN109587502B (zh) | 一种帧内压缩的方法、装置、设备及计算机可读存储介质 | |
| WO2024016775A1 (zh) | 数据处理方法、装置、设备 | |
| JP2014236348A (ja) | 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |