CN117941352A - 帧间预测方法、编码器、解码器以及存储介质 - Google Patents
帧间预测方法、编码器、解码器以及存储介质 Download PDFInfo
- Publication number
- CN117941352A CN117941352A CN202180101521.4A CN202180101521A CN117941352A CN 117941352 A CN117941352 A CN 117941352A CN 202180101521 A CN202180101521 A CN 202180101521A CN 117941352 A CN117941352 A CN 117941352A
- Authority
- CN
- China
- Prior art keywords
- block
- determining
- pixel
- reference block
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 189
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 74
- 230000033001 locomotion Effects 0.000 claims description 371
- 230000003044 adaptive effect Effects 0.000 claims description 40
- 238000000638 solvent extraction Methods 0.000 claims description 37
- 238000005192 partition Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009795 derivation Methods 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims 4
- 239000011159 matrix material Substances 0.000 description 97
- 238000010586 diagram Methods 0.000 description 45
- 230000001788 irregular Effects 0.000 description 16
- 238000013139 quantization Methods 0.000 description 14
- 238000001914 filtration Methods 0.000 description 13
- 238000012935 Averaging Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 230000002457 bidirectional effect Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例提供了一种帧间预测方法、编码器、解码器以及存储介质，解码码流，确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值。
Description
本申请实施例涉及图像处理技术领域，尤其涉及一种帧间预测方法、编码器、解码器以及存储介质。
在视频编解码领域，针对当前块进行编解码的过程，除了采用帧内预测方式外，还可以采用帧间预测方式。其中，帧间预测可以包括帧间几何划分预测模式(Geometric Partitioning Mode，GPM)和平移(translational)预测等。
在自然的视频中，不规则的纹理及运动是大量出现的，纹理的变化或运动物体的边缘或相同运动区域的边缘在很多情况下是不规则的。对于纹理或运动复杂的区域倾向于使用较小的块，此时块划分的层次越深，越能划分出复杂的、更贴近于实际纹理或运动的块，但相应地复杂度会大大增加，降低了编解码性能。
发明内容
本申请实施例提供一种帧间预测方法、编码器、解码器以及存储介质，能够在提高帧间预测的准确性的基础上降低复杂度，实现简单高效的编解码方法，从而提升压缩性能。
本申请实施例的技术方案可以如下实现：
第一方面，本申请实施例提供了一种帧间预测方法，应用于解码器，所述方法包括：
解码码流，确定当前块的帧间预测模式参数；
当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；
根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值。
第二方面，本申请实施例提供了一种帧间预测方法，应用于解码器，所述方法包括：
解码码流，确定当前块的帧间预测模式参数；
当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；
根据所述至少一个第一参考块确定权重值；
基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
第三方面，本申请实施例提供了一种帧间预测方法，应用于编码器，所述方法包括：
确定当前块的帧间预测模式参数；
当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；
根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值。
第四方面，本申请实施例提供了一种帧间预测方法，应用于编码器，所述方法包括：
确定当前块的帧间预测模式参数；
当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；
根据所述至少一个第一参考块确定权重值；
基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
第五方面，本申请实施例提供了一种解码器，所述解码器包括：解码部分，第一确定部分，
所述解码部分，配置为解码码流；
所述第一确定部分，配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值；
所述第一确定部分，还配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
第六方面，本申请实施例提供了一种解码器，所述解码器包括第一处理器、存储有所述第一处理器可执行指令的第一存储器，当所述指令被执行时，所述第一处理器执行时实现如上所述的帧间预测方法。
第七方面，本申请实施例提供了一种编码器，所述编码器包括：第二确定部分，
所述第二确定部分，配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值；
所述第二确定部分，还配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
第八方面，本申请实施例提供了一种编码器，所述编码器包括第二处理器、存储有所述第二处理器可执行指令的第二存储器，当所述指令被执行时，所述第二处理器执行时实现如上所述的帧间预测方法。
第九方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被第一处理器执行时实现如第一方面所述的帧间预测方法，或者，被第二处理器执行时实现如第二方面所述的帧间预测方法。
本申请实施例提供了一种帧间预测方法、编码器、解码器以及存储介质，解码器解码码流，确定当前块的帧间预测模式参数；当帧间预测模式参数指示当前块使用APM确定当前块的帧间预测值时，确定当前块的至少一个第一参考块和至少一个第二参考块；其中，APM模式用于基于图像内容进行任意形状的划分处理；根据至少一个第一参考块和至少一个第二参考块，确定当前块的预测值。编码器确定当前块的帧间预测模式参数；当帧间预测模式参数指示当前块使用APM确定当前块的帧间预测值时，确定当前块的至少一个第一参考块和至少一个第二参考块；根据至少一个第一参考块和至少一个第二参考块，确定当前块的预测值。也就是说，在本申请的实施例中，基于APM模式，编解码器可以进行至少一个第一参考块和至少一个第二参考块的获取，然后通过至少一个第一参考块实现任意形状的划分处理，最终便可以结合至少一个第一参考块和至少一个第二参考块对当前块进行预测处理，从而实现对视频内容自适应的划分的帧间预测，能够在提高帧间预测的准确性的基础上降低复杂度，实现简单高效的编解码方法，从而提升压缩性能。
图1为权重分配示意图；
图2为一种视频编码***的组成框图；
图3一种视频解码***的组成框图；
图4为帧间预测方法的实现流程示意图一；
图5为获取参考块的示意图一；
图6为获取参考块的示意图二；
图7为获取参考块的示意图三；
图8为帧间预测方法的实现流程示意图二；
图9为划分示意图一；
图10为划分示意图二；
图11为划分示意图三；
图12为帧间预测的实现示意图一；
图13为帧间预测的实现示意图二；
图14为帧间预测方法的实现流程示意图三；
图15为获取参考块的示意图四；
图16为帧间预测方法的实现流程示意图四；
图17为本申请实施例提出的解码器的组成结构示意图一；
图18为本申请实施例提出的解码器的组成结构示意图二；
图19为本申请实施例提出的编码器的组成结构示意图一；
图20为本申请实施例提出的编码器的组成结构示意图二。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
目前，通用的视频编解码标准基于都采用基于块的混合编码框架。视频图像中的每一帧被分割成相同大小(比如128×128，64×64等)的正方形的最大编码单元(Largest Coding Unit，LCU)或编码树单元(Coding Tree Unit,CTU)，每个最大编码单元或编码树单元还可以根据规则划分成矩形的编码单元(Coding Unit，CU)；而且编码单元可能还会划分成更小的预测单元(Prediction Unit，PU)。具体地，混合编码框架可以包括有预测、变换(Transform)、量化(Quantization)、熵编码(EntropyCoding)、环路滤波(In Loop Filter)等模块；其中，预测模块可以包括帧内预测(intraPrediction)和帧间预测(interPrediction)，帧间预测可以包括运动估计(motion estimation)和运动补偿(motion compensation)。由于视频图像的一个帧内相邻像素之间存在很强的相关性，在视频编解码技术中使用帧内预测方式能够消除相邻像素之间的空间冗余；但是由于视频图像中的相邻帧之间也存在着很强的相似性，在视频编解码技术中使用帧间预测方式消除相邻帧之间的时间冗余，从而能够提高编解码效率。
视频编解码器的基本流程如下：在编码端，将一帧图像划分成块，对当前块使用帧内预测或帧间预测产生当前块的预测块，当前块的原始块减去预测块得到残差块，对残差块进行变换、量化得到量化系数矩阵，对量化系数矩阵进行熵编码输出到码流中。在解码端，对当前块使用帧内预测或帧间预测产生当前块的预测块，另一方面解码码流得到量化系数矩阵，对量化系数矩阵进行反量化、反变换得到残差块，将预测块和残差块相加得到重建块。重建块组成重建图像，基于图像或基于块对重建图像进行环路滤波得到解码图像。编码端同样需要和解码端类似的操作获得解码图像。解码图像可以为后续的帧作为帧间预测的参考帧。编码端确定的块划分信息，预测、变换、量化、熵编码、环路滤波等模式信息或者参数信息如果有必要需要在输出到码流中。解码端通过解析及根据已有信息进行分析确定与编码端相同的块划分信息，预测、变换、量化、熵编码、环路滤波等模式信息或者参数信息，从而保证编码端获得的解码图像和解码端获得的解码图像相同。编码端获得的解码图像通常也叫做重建图像。在预测时可以将当前块划分成预测单元，在变换时可以将当前块划分成变换单元，预测单元和变换单元的划分可以不同。上述是基于块的混合编码框架下的视频编解码器的基本流程，随着技术的发展，该框架或流程的一些模块或步骤可能会被优化，本申请实施例适用于该基于块的混合编码框架下的视频编解码器的基本流程，但不限于该框架及流程。
当前块(current block)可以是当前编码单元(CU)或当前预测单元(PU)等。
帧间预测利用时间上的相关性来消除冗余。为了使人眼看不出卡顿，一般的视频的帧率会有30帧每秒，50帧每秒，60帧每秒，甚至120帧每秒。在这样的视频中，同一个场景下的相邻帧之间的相关性很高，帧间预测技术利用这种相关性参考已经编解码的帧的内容对当前要编码的内容进行预测。帧间预测可以极大的提升编码性能。
最基本的帧间预测方法是平移(translational)预测，平移预测假定当前要预测的内容在当前帧与参考帧之间是平移运动的，比如说当前块(编码单元或预测单元)的内容在当前帧与参考帧之间是平移运动的，那么就可以通过一个运动矢量(MotionVector，MV)从参考帧中找到这个内容，并把它作为当前块的预测块。平移运动在视频中是占很大比例，静止不动的背景，整体平移的物体，以及镜头的平移等都可以用平移预测来处理。
由于视频都是以像素来表示的，像素之间是有距离的，一个物体的运动在相邻帧之间不一定总是能对应到整像素距离。举个例子，一个远景的视频，2个像素之间的距离在远景的物体上有1米，而这个物体在2帧之间的时间内运动的距离是0.5米，这种场景用整像素的运动矢量就无法很好地表示。因而运动矢量可以做到分像素级别，如1/2像素精度，1/4像素精度，1/8像素精度，来把运动表示得更精细。并通过插值的方法来得到参考帧中的分像素位置的像素值。
然而自然视频中的一些内容往往不是简单的平移，比如说在平移的过程中有一些细微地变化，包括形状，颜色等的变化。双向预测从参考帧中找到两个参考块，并将这两个参考块进行加权平均，以得到与当前块尽可能像的预测块。比如说对某些场景，从当前帧的前面和后面各找一个参考块进行加权平均，可能比单独一个参考块更像当前块。基于此双向预测在单向预测的基础上对压缩性能又有提升。
上述的平移预测中的单向预测和双向预测都是基于块的，如编码单元或预测单元。即把一个像素矩阵作为单位进行预测。最基本的块就是矩形块，如正方形和长方形。视频编解码标准如视频压缩标准(High Efficiency Video Coding，HEVC)允许编码器根据视频的内容来确定编码单元、预测单元的大小及划分方式。纹理或运动简单的区域倾向于使用较大的块，纹理或运动复杂的区域倾向于使用较小的块。块划分的层次越深，越能划分出复杂的、更贴近于实际纹理或运动的块，但相应地用于表征这些划分的开销也就更大。
在自然的视频中，不规则的纹理及运动是大量出现的，纹理的变化或运动物体的边缘或相同运动区域的边缘在很多情况下是不规则的。矩形的块划分在应对这种情况时就不能达到很好压缩性能的折中。视频编解码的失真很多发生在这种边缘区域。几何划分在一定程度上解决了这种问题。几何划分可以划分出三角形、梯形等形状的块以更好地逼近纹理的变化或运动物体的边缘或相同运动区域的边缘。通常的几何划分是在一个矩形块的基础上利用一条位置和角度可以根据一定规则设定的直线来将矩形块划分成三角形或梯形，如多功能视频编码(Versatile Video Coding，VVC中的几何划分预测模式(GeometricpartitioningMode，GPM)。这里所说的划分可以是真的划分出三角形、梯形等形状编码单元、预测单元。也可以是不实质上划分出三角形、梯形等形状编码单元、预测单元，而是根据权重矩阵进行加权组合来模拟划分，比如VVC的GPM使用的方式。
示例性地，图1为权重分配示意图，如图1所示，本申请实施例提供的一种GPM在64×64的当前块上的多种划分模式的权重分配示意图，其中，GPM存在有64种划分模式。其中，每一种划分模式下，黑色区域表示第一个参考块对应位置的权重值为0％，白色区域表示第一个参考块对应位置的权重值为100％，灰色区域则按颜色深浅的不同表示第一个参考块对应位置的权重值为大于0％且小于100％的某一个权重值，第二个参考块对应位置的权重值则为100％减去第一个参考块对应位置的权重值。
之所以说几何划分在一定程度上解决了块划分在不规则的纹理及运动的情况下的压缩性能问题，是因为表征所述几何划分的划分方式也需要一定的开销。比如上述64种模式的几何划分，就需要6比特的二元符号串(bin)的开销。而且这样仍不能保证完全贴合不规则的纹理及运动区域的边缘，因为GPM所支持的划分方式越多，所需要的开销就越大。上述64种模式是VVC中所达到的一个比较好的折中。而且上述划分只支持直线，对不规则的边缘仍然需要划分更小的矩形块并在矩形块的基础上使用GPM模式去逼近。或者通过编码更多的残差或造成失真。
矩形划分和几何划分归根结底是人为预定义的划分方式。认为预定义的划分方式处理起来简单，因为只需要解码划分的标志等就可以确定划分的方式。而预定义的划分方式的局限性就是只能实现有限个数的划分方式。而且考虑到开销，这个个数不会特别多。
针对上述问题，目前提出一种帧间预测方法，基于APM模式，编解码器可以进行至少一个第一参考块和至少一个第二参考块的获取，然后通过至少一个第一参考块实现任意形状的划分处理，最终便可以结合至少一个第一参考块和至少一个第二参考块对当前块进行预测处理，从而实现对视频内容自适应的划分的帧间预测，能够在提高帧间预测的准确性的基础上降低复杂度，实现简单高效的编解码方法，从而提升压缩性能。
参见图2，其示出了本申请实施例提供的一种视频编码***的组成框图示例；如图2所示，该视频编码***10包括变换与量化单元101、帧内估计单元102、帧内预测单元103、运动补偿单元104、运动估计单元105、反变换与反量化单元106、滤波器控制分析单元107、滤波单元108、编码单元109和解码图像缓存单元110等，其中，滤波单元108可以实现去方块滤波及样本自适应缩进(Sample Adaptive 0ffset，SAO)滤波，编码单元109可以实现头信息编码及基于上下文的自适应二进制算术编码(Context-based Adaptive Binary Arithmatic Coding，CABAC)。针对输入的原始视频信号，通过编码树块(Coding Tree Unit，CTU)的划分可以得到一个视频编码块，然后对经过帧内或帧间预测后得到的残差像素信息通过变换与量化单元101对该视频编码块进行变换，包括将残差信息从像素域变换到变换域，并对所得的变换系数进行量化，用以进一步减少比特率；帧内估计单元102和帧内预测单元103是用于对该视频编码块进行帧内预测；明确地说，帧内估计单元102和帧内预测单元103用于确定待用以编码该视频编码块的帧内预测模式；运动补偿单元104和运动估计单元105用于执行所接收的视频编码块相对于一或多个参考帧中的一或多个块的帧间预测编码以提供时间预测信息；由运动估计单元105执行的运动估计为产生运动向量的过程，所述运动向量可以估计该视频编码块的运动，然后由运动补偿单元104基于由运动估计单元105所确定的运动向量 执行运动补偿；在确定帧内预测模式之后，帧内预测单元103还用于将所选择的帧内预测数据提供到编码单元109，而且运动估计单元105将所计算确定的运动向量数据也发送到编码单元109；此外，反变换与反量化单元106是用于该视频编码块的重构建，在像素域中重构建残差块，该重构建残差块通过滤波器控制分析单元107和滤波单元108去除方块效应伪影，然后将该重构残差块添加到解码图像缓存单元110的帧中的一个预测性块，用以产生经重构建的视频编码块；编码单元109是用于编码各种编码参数及量化后的变换系数，在基于CABAC的编码算法中，上下文内容可基于相邻编码块，可用于编码指示所确定的帧内预测模式的信息，输出该视频信号的码流；而解码图像缓存单元110是用于存放重构建的视频编码块，用于预测参考。随着视频图像编码的进行，会不断生成新的重构建的视频编码块，这些重构建的视频编码块都会被存放在解码图像缓存单元110中。
参见图3，其示出了本申请实施例提供的一种视频解码***的组成框图示例；如图3所示，该视频解码***20包括解码单元201、反变换与反量化单元202、帧内预测单元203、运动补偿单元204、滤波单元205和解码图像缓存单元206等，其中，解码单元201可以实现头信息解码以及CABAC解码，滤波单元205可以实现去方块滤波以及SAO滤波。输入的视频信号经过图4的编码处理之后，输出该视频信号的码流；该码流输入视频解码***20中，首先经过解码单元201，用于得到解码后的变换系数；针对该变换系数通过反变换与反量化单元202进行处理，以便在像素域中产生残差块；帧内预测单元203可用于基于所确定的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前视频解码块的预测数据；运动补偿单元204是通过剖析运动向量和其他关联语法元素来确定用于视频解码块的预测信息，并使用该预测信息以产生正被解码的视频解码块的预测性块；通过对来自反变换与反量化单元202的残差块与由帧内预测单元203或运动补偿单元204产生的对应预测性块进行求和，而形成解码的视频块；该解码的视频信号通过滤波单元205以便去除方块效应伪影，可以改善视频质量；然后将经解码的视频块存储于解码图像缓存单元206中，解码图像缓存单元206存储用于后续帧内预测或运动补偿的参考图像，同时也用于视频信号的输出，即得到了所恢复的原始视频信号。
本申请实施例中的帧间预测方法，既可以应用于视频编码***，也可以应用于视频解码***，甚至还可以同时应用于视频编码***和视频解码***，但是本申请实施例不作具体限定。还需要说明的是，当该帧间预测方法应用于视频编码***时，“当前块”具体是指帧间预测中的当前编码块；当该帧间预测方法应用于视频解码***时，“当前块”具体是指帧间预测中的当前解码块。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请的一实施例提出了一种帧间预测方法，应用于解码器，图4为帧间预测方法的实现流程示意图一，如图4所示，解码器进行帧间预测的方法可以包括以下步骤：
步骤101、解码码流，确定当前块的帧间预测模式参数。
在本申请的实施例中，解码器可以通过解码码流，确定当前块的帧间预测模式参数。
需要说明的是，在本申请的实施中，帧间预测模式参数可以指示当前块是否可以使用自适应划分模式(Adaptive partitioning Mode，APM)，即指示当前块是否可以使用两个不同的参考块对当前块进行不规则划分。
可以理解的是，在本申请的实施例中，可以将帧间预测模式参数理解为一个表明是否使用了APM模式标志位。具体地，解码器解码码流，可以确定作为帧间预测模式参数的一个变量，从而可以通过该变量的取值来实现帧间预测模式参数的确定。
需要说明的是，在本申请的实施例中，APM模式为一种帧间预测方法，具体地，APM模式为对当前块确定至少一个第一参考块和至少一个第二参考块，接着可以确定一个权重值，将至少一个第一参考块、至少一个第二参考块依据权重值进行组合，最终便可以得到新的预测块，即获得当前块的预测块。其中，第一参考块可以作为前景参考块，第二参考块可以作为背景参考块。
进一步地，在本申请的实施例中，APM模式可以用于基于图像内容进行任意形状的划分处理，即本申请提出的帧间预测方法可以为一种根据视频内容自适应的划分方式。其中，在本申请中，划分是广义上的划分，既可以指实质上的划分编码单元或预测单元，也可以指在同一个编码单元或预测单元中使用权重值进行加权组合或其他方式模拟划分。
也就是说，在本申请的实施例中，基于APM模式实现的任意形状的划分处理，可以为实际划分处理，也可以为模拟划分处理。
需要说明的是，在本申请的实施例中，视频图像可以划分为多个图像块，当前块即为每个当前待编码的图像块，可以称为编码块(Coding Block，CB)。这里，每个编码块可以包括第一图像分量、第二图像分量和第三图像分量。具体地，在本申请中，假定进行第一图像分量预测，而且第一图像分量为亮度分量，即待预测图像分量为亮度分量，那么可以将待预测的编码块称为亮度块；或者，假定进行第二图像分量预测，而且第二图像分量为色度分量，即待预测图像分量为色度分量，那么可以将待预测的编码块称为色度块。
示例性的，在本申请中，可以有一个帧级的标志来确定当前待解码帧是否使用APM模式。如可以配置帧内帧(如I帧)使用APM模式，帧间帧(如B帧、P帧)不使用APM模式。或者可以配置帧内帧不使用APM模式，帧间帧使用APM模式。或者可以配置某些帧间帧使用APM模式，某些帧间帧不使用APM模式。
示例性的，在本申请中，可以有一个块级的标志来确定这一块是否使用APM模式。如CU级或PU级的标志来确定这一块是否使用APM模式。进一步地，可以有一个或多个序列级、图像级或图像级以下CU级以上(如tile、slice、patch、LCU、CTU等)的标志来确定这一区域是否可能或允许使用AMP模式，如果这个或这些标志表示当前区域可能或允许使用AMP模式，再根据CU级或PU级的标志来确定这一块是否使用APM模式。
步骤102、当帧间预测模式参数指示当前块使用APM模式确定当前块的帧间预测值时，确定当前块的至少一个第一参考块和至少一个第二参考块；其中，APM模式用于基于图像内容进行任意形状的划分处理。
在本申请的实施例中，解码器在确定当前块的帧间预测模式参数之后，如果帧间预测模式参数指示当前块使用 APM模式确定当前块的帧间预测值，那么解码器可以进一步确定当前块的至少一个第一参考块和至少一个第二参考块。
可以理解的是，在本申请的实施例中，如果确定使用APM模式，那么需要先进行参考块的确定。具体地，可以确定当前块的一个或多个前景参考块，即至少一个第一参考块，同时需要确定当前块的一个或多个背景参考块，即至少一个第二参考块。
需要说明的是，在本申请的实施例中，至少一个第一参考块可以用于对当前块的前景内容进行预测，至少一个第二参考块可以用于对当前块的背景内容进行预测。因此在本申请中，可以将第一参考块表述为前景参考块，将第二参考块表述为背景参考块。
进一步地，在本申请的实施例中，可以基于至少一个不同的参考图像进行不同的第一参考块的确定，即至少一个第一参考块分别来自于不同的参考图像。相应地，在本申请中，可以基于至少一个不同的参考图像进行至少一个第二参考块的确定，即至少一个第二参考块分别来自于不同的参考图像。其中，确定至少一个第二参考块所使用的至少一个参考图像中的任意一个参考图像可以与确定至少一个第一参考块所使用的至少一个参考图像均不同，也可以与确定至少一个第一参考块所使用的至少一个参考图像中的任意一个参考图像相同。
也就是说，在本申请中，可以根据至少一个第一参考图像确定至少一个第一参考块，根据至少一个第二参考图像确定至少一个第二参考块。其中，至少一个第一参考图像和至少一个第二参考图像可以均不相同；或者，至少一个第一参考图像互不不同，至少一个第二参考图像也互不相同，至少一个第一参考图像中的至少一个图像与至少一个第二参考图像中的至少一个图像相同。
示例性的，在本申请的实施例中，图5为获取参考块的示意图一，如图5所示，基于参考图像0(一个第一参考图像)，可以获得对应的参考块0(一个第一参考块，即一个前景参考块)，基于参考图像1(另一个第一参考图像)，可以获得对应的参考块1(另一个第一参考块，即另一个前景参考块)，基于参考图像2(第二参考图像)，可以获得对应的参考块2(第二参考块，即背景参考块)。其中，根据参考0和参考块1可以确定自适应划分，例如，可以使用参考0和参考块1生成权重值，然后通过权重值来模拟自适应划分。
示例性的，在本申请的实施例中，图6为获取参考块的示意图二，如图6所示，基于参考图像0(一个第一参考图像)，可以获得对应的参考块0(一个第一参考块，即一个前景参考块)，基于参考图像1(第一参考图像和第二参考图像是相同的)，可以获得对应的参考块1(另一个第一参考块，即另一个前景参考块)和参考块2(第二参考块，即背景参考块)。其中，根据参考0和参考块1可以确定自适应划分，例如，可以使用参考0和参考块1生成权重值，然后通过权重值来模拟自适应划分。
示例性的，在本申请的实施例中，图7为获取参考块的示意图三，如图7所示，基于参考图像0(一个第一参考图像)，可以获得对应的参考块0(一个第一参考块，即一个前景参考块)，基于参考图像1(另一个第一参考图像)，可以获得对应的参考块1(另一个第一参考块，即另一个前景参考块)，基于参考图像2(一个第二参考图像)，可以获得对应的参考块2(一个第二参考块，即一个背景参考块)，基于参考图像3(另一个第一参考图像)，可以获得对应的参考块3(另一个第二参考块，即另一个背景参考块)。其中，根据参考0和参考块1可以确定自适应划分，例如，可以使用参考0和参考块1生成权重值，然后通过权重值来模拟自适应划分。
进一步地，在本申请的实施例中，当前块、至少一个第一参考块、至少一个第二参考块可以为大小相同的图像块。
需要说明的是，在本申请中，为了降低编解码器处理的复杂度，可以认为各个参考块与当前块的大小都是相同的。但是并不要求必须得到完整的参考块。例如，其中一个包含前景内容的参考块只需要包含足够确定自适应划分的权重值的内容即可，包含背景内容的参考块只需要包含足够的背景内容即可。特别是对于包含背景内容的参考块，只需要根据权重值确定需要的部分即可。
可以理解的是，在本申请的实施例中，当前块与至少一个第一参考块分别具有全部相同或部分相同的前景内容，从而可以利用至少一个第一参考块对前景部分进行预测；当前块与至少一个第二参考块具有全部相同或部分相同的背景内容，从而可以利用至少一个第二参考块对背景部分进行预测。
需要说明的是，在本申请中，前景内容可以理解为当前块中所包含的前景物体，背景内容可以理解为当前块中所包含的背景物体。具体地，至少一个第一参考块中可以包含当前块中所包含的前景物体或前景物体的部分的内容，当前块可能只包含前景物体的一部分，那么至少一个第一参考块可以也只包含前景物体的这一部分即可。至少一个第二参考块中可以包含当前块中所包含的背景物体或背景物体的部分的内容，当前块可能只包含背景物体的一部分，那么至少一个第二参考块可以也只包含前景物体的这一部分即可。
可以理解的是，在本申请的实施例中，至少一个第一参考块可以为包含当前块中前景内容的参考块，可以理解为包含当前块中前景内容的最佳匹配的参考块，或者是包含当前块中前景内容的匹配的参考块；至少一个第二参考块可以为包含当前块中背景内容的参考块，可以理解为包含当前块中背景内容的最佳匹配的参考块，或者是包含当前块中背景内容的匹配的参考块。
进一步地，在本申请的实施例中，可以采用多种不同的方式进行当前块的至少一个第一参考块以及至少一个第二参考块的确定。本申请实施例不进行具体限定。
可选地，在本申请中，在确定当前块的至少一个第一参考块和至少一个第二参考块时，可以先确定至少一个第一参考图像和至少一个第二参考图像；然后直接根据至少一个第一参考图像确定至少一个第一参考块；根据至少一个第二参考图像确定至少一个第二参考块。
也就是说，在本申请中，可以选择直接从参考图像中进行参考块的获取。
可选地，在本申请中，在确定当前块的至少一个第一参考块和至少一个第二参考块时，可以先确定至少一个第一运动信息和至少一个第二运动信息；然后基于至少一个第一运动信息和至少一个第二运动信息确定至少一个第一 参考块和至少一个第二参考块。
也就是说，在本申请中，可以选择先进行运动信息的获取，然后利用确定的运动信息从参考图像中进行参考块的获取。具体地，为了获得多个参考块，需要先获取多个运动信息，其中，一个运动信息用于获取一个参考块，多个运动信息可以采用不同的方法进行获取，本申请不进行具体限定。
需要说明的是，在本申请的实施例中，运动信息可以为运动矢量，即第一运动信息和第二运动信息可以分别包括第一运动矢量和第二运动矢量。
进一步地，在本申请的实施例中，在确定至少一个第一运动信息和至少一个第二运动信息时，可以先确定至少一个第一初始运动信息和至少一个第二初始运动信息；然后可以分别对至少一个第一初始运动信息和至少一个第二初始运动信息进行细化处理，从而可以获得至少一个第一运动信息和至少一个第二运动信息。
可以理解的是，在本申请中，至少一个第一初始运动信息和至少一个第二初始运动信息可以分别包括第一初始运动矢量和第二初始运动矢量。
具体地，在本申请的实施例中，可以采用多种方法进行运动信息的细化处理，例如，可以采用解码端运动矢量细化(Decoder side motion vector refinement，DMVR)或解码端运动矢量推导(Decoder side motion vector derivation，DMVD)等技术进行运动信息的细化处理。其中，DMVR是在进行双向预测时，以运动向量MV0和运动向量MV1作为初始MV，分别在MV0和MV1附近搜索更精确的MV0’和MV1’，然后将MV0和MV1所指向的预测块进行加权得到最终的预测块。
可选地，在本申请中，可以利用DMVR对至少一个第一初始运动信息和至少一个第二初始运动信息进行细化处理；或者，可以利用DMVD对至少一个第一初始运动信息和至少一个第二初始运动信息进行细化处理。也可以采用其他技术进行运动信息的细化处理，本申请不进行具体限定。
也就是说，在本申请中，APM模式还可以与解码端搜索的方法配合使用。例如，在获得初始运动信息之后，可以先使用DMVR、DMVD等技术对运动信息进行细化。比如说对2个包含前景内容的参考块，使用DMVR进行小范围的搜索从而更优的匹配，在运动信息不够准确的情况下能得到更准确的预测块。
可以理解的是，在现阶段的硬件实现时，帧间预测的参考图像区域的带宽对硬件性能有重要影响。传统的单向预测需要使用1个运动信息从参考图像中获得1个参考块，传统的双向预测需要使用2个运动信息从参考图像中获得2个参考块，双向预测对带宽的要求的最差情况(worst case)是单向预测的大约2倍。基于子块的预测相比于基于整块的预测对带宽的要求的最差情况也要增加，因为基于子块的预测的不同参考块会使用到不同的运动信息。
需要说明的是，在本申请中，基于APM模式，需要使用多个运动信息确定多个参考块(至少一个第一参考块以及至少一个第二参考块)，相比传统的双向预测对带宽的要求更大。为了在一定程度上进行带宽的降低，可以限制包含背景内容的任意数量的第二参考块reference_back和包含前景内容的任意数量的第一参考块reference_fore在同一个参考图像上，且两者之间的距离较近，这是因为当前块的前景内容和背景内容与参考图像上的前景内容和背景内容是经过了极短时间(零点零几秒或更短)的运动得到的。相应地，在本申请中，如果不进行上述限制，多个运动信息是可以对应多个不同的参考图像的，即多个参考块分别来自于多个不同的参考图像。
具体地，在本申请的实施例中，可以限制至少一个第二运动信息对应的参考图像与至少一个第一运动信息对应的参考图像相同；且至少一个第二运动信息与至少一个第一运动信息之间的矢量差的绝对值小于或者等于第一阈值。
可选地，在本申请的实施例中，假设已经确定当前块的2个第一参考块(前景参考块)分别为reference_fore_0和reference_fore_1，以及1个第二参考块(背景参考块)reference_back，可以限制确定reference_back的运动信息motion_infor_back需要和确定reference_fore_0或reference_fore_1的运动信息motion_infor_fore_0或motion_infor_fore_1其中一个对应同一个参考图像，而且这两个运动信息的运动矢量差的绝对值要小于或者等于一个阈值(第一阈值)，从而可以实现对带宽的限制，以降低带宽。
示例性的，在本申请中，限制确定reference_back的运动信息motion_infor_back和确定reference_fore_0的运动信息motion_infor_fore_0对应同一个参考图像，而且motion_infor_back和motion_infor_fore_0的运动矢量差的绝对值小于或者等于第一阈值。
进一步地，在本申请的实施例中，如果限制至少一个第二运动信息对应的参考图像与至少一个第一运动信息对应的参考图像相同；且至少一个第二运动信息与至少一个第一运动信息之间的矢量差的绝对值小于或者等于第一阈值，那么在确定至少一个第一运动信息和至少一个第二运动信息时，可以先确定至少一个第二运动信息；然后根据第一阈值和至少一个第二运动信息确定至少一个第一运动信息。
进一步地，在本申请的实施例中，如果限制第二运动信息对应的参考图像与第一运动信息或第二运动信息对应的参考图像相同；且第二运动信息与第一运动信息或第二运动信息之间的矢量差的绝对值小于或者等于第一阈值，那么在确定至少一个第一运动信息和至少一个第二运动信息时，可以先确定至少一个第一运动信息；然后根据第一阈值，至少一个第一运动信息确定至少一个第二运动信息。
可选地，在本申请的实施例中，假设已经确定当前块的2个第一参考块(前景参考块)分别为reference_fore_0和reference_fore_1，以及1个第二参考块(背景参考块)reference_back，如果确定reference_back的运动信息motion_infor_back一定要和确定reference_fore_0或reference_fore_1的运动信息motion_infor_fore_0或motion_infor_fore_1其中一个对应同一个参考图像，那么motion_infor_back可以根据motion_infor_fore_0或motion_infor_fore_1其中一个来确定，或者，motion_infor_fore_0或motion_infor_fore_1其中一个可以根据motion_infor_back来确定。例如，根据motion_infor_fore_0和一个运动矢量差(如第一阈值)来确定motion_infor_back。或者，根据motion_infor_back和一个运动矢量差(如第一阈值)来确定motion_infor_fore_0。
示例性的，在本申请中，如果限制确定reference_back的运动信息motion_infor_back和确定reference_fore_0的运动信息motion_infor_fore_0对应同一个参考图像，且motion_infor_back和motion_infor_fore_0的运动矢量差的绝 对值小于或者等于第一阈值，那么可以先确定motion_infor_back，然后根据motion_infor_back和第一阈值确定motion_infor_fore_0；或者可以先确定motion_infor_fore_0，然后根据motion_infor_fore_0和第一阈值确定motion_infor_back。
进一步地，在本申请的实施例中，如果APM模式下的参考块也有可能使用基于子块的预测方法，如affine等预测方法来确定，那么可以对用于APM模式下的确定一个参考块reference_fore_0或reference_fore_1或reference_back的运动信息的运动矢量组内的运动矢量差进行限制，比如限制该运动矢量组内的运动矢量差的绝对值小于或小于等于一个阈值，从而可以实现对带宽的限制，以降低带宽。
可选地，在本申请中，可以限制至少一个第一运动信息和至少一个第二运动信息中的任意两个运动信息之间的差值的绝对值小于或者等于第二阈值。
进一步地，在本申请中，可以根据解析码流得到的信息来获取对应的至少一个第一运动信息和至少一个第二运动信息，也可以根据当前块的周边块的信息来获取对应的至少一个第一运动信息和至少一个第二运动信息，还可以根据运动信息列表来获取对应的至少一个第一运动信息和至少一个第二运动信息，从而可以进一步基于至少一个第一运动信息和至少一个第二运动信息确定对应的至少一个第一参考块和至少一个第二参考块。
进一步地，在本申请的实施例中，在基于至少一个第一运动信息和至少一个第二运动信息确定至少一个第一参考块和至少一个第二参考块时，可以先确定至少一个第一参考图像和至少一个第二参考图像；然后再根据至少一个第一运动信息对至少一个第一参考图像进行插值处理，获得至少一个第一参考块；根据至少一个第二运动信息对至少一个第二参考图像进行插值处理，获得至少一个第二参考块。
也就是说，在本申请中，在基于运动信息进行参考块的确定时，可以选择使用运动信息对整像素参考图像进行分像素插值处理，从而获得对应的参考块。
进一步地，在本申请的实施例中，在基于至少一个第一运动信息和至少一个第二运动信息确定至少一个第一参考块和至少一个第二参考块时，可以先确定至少一个第一参考图像和至少一个第二参考图像；然后再根据至少一个第一运动信息对至少一个第一参考图像进行预测处理，获得至少一个第一参考块；根据至少一个第二运动信息对至少一个第二参考图像进行预测处理，获得至少一个第二参考块。
也就是说，在本申请中，在基于运动信息进行参考块的确定时，可以选择使用运动信息对参考图像进行预测(如仿射预测)处理，从而获得对应的参考块。
由此可见，在本申请的实施例中，至少一个第一参考块和至少一个第二参考块可以是从参考图像中直接截取的整像素的参考块，也可以是基于运动信息对整像素参考图像进行分像素插值后得到的参考块，还可以是基于运动信息对原始参考图像进行仿射预测得到的参考块，或者是使用其他处理方式得到的参考块，本申请不进行具体限定。
步骤103、根据至少一个第一参考块和至少一个第二参考块，确定当前块的预测值。
在本申请的实施例中，如果帧间预测模式参数指示当前块使用APM确定当前块的帧间预测值，在确定当前块的至少一个第一参考块和至少一个第二参考块之后，便可以可以进一步根据至少一个第一参考块和至少一个第二参考块确定当前块的预测值。
进一步地，在本申请的实施例中，在根据至少一个第一参考块和至少一个第二参考块，确定当前块的预测值时，可以先根据至少一个第一参考块确定权重值；然后便可以基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值。
也就是说，在本申请的实施例中，如果帧间预测模式参数指示当前块使用APM确定当前块的帧间预测值，在确定至少一个第一参考块和至少一个第二参考块之后，可以进一步根据至少一个第一参考块确定权重值。
需要说明的是，在本申请的实施例中，当前块的权重值可以为当前块的权重矩阵，其中，权重矩阵中包括有当前块的子块的权重矩阵或者当前块的每一个像素位置的权重值。
可选地，在本申请的实施例中，可以选择根据至少一个第一参考块确定当前块的权重矩阵，然后根据当前块的权重矩阵、至少一个第一参考块、至少一个第二参考块得到当前块的预测值。
可选地，在本申请的实施例中，在进行当前块的预测值的确定时，一种方式是选择对当前块的每一个子块得到子块的权重矩阵，然后根据子块的参考块(第一参考块和第二参考块)和权重矩阵得到子块的预测值。另一种方法是对当前块的每一个位置(像素位置)，得到一个权重值，根据每一个位置的参考值(像素参考值)和权重值得到该位置的预测值。
相比之下，上述两种实现当前块的预测值的确定方式在本质上只是处理粒度的不同，因为当前块的子块的权重矩阵组合后可以获得当前块的权重矩阵，当前块的每个点(像素位置)的权重值组合后也可以获得当前块的权重矩阵。其中，更小的处理粒度可能节省存储空间。
需要说明的是，在本申请的实施例中，当前块的权重值(权重矩阵)既可以包括当前块中的每一个像素位置对应的权重值，也可以包括当前块中的每一个子块对应的权重矩阵，即当前块的权重值实质上为子块的权重或者为像素的权重。也就是说，在本申请中，虽然以整块为单位来描述，但是实质上也包含以子块或像素的单位。
需要说明的是，在本申请的实施例中，对于当前块的一个像素位置，可以利用至少一个第一参考块中的该像素位置的像素值进行该像素位置对应的权重值的确定，从而可以在遍历每一个像素位置并获得全部像素位置对应的全部权重值之后构建获得当前块的权重值。
可选地，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块和第二块，在根据至少一个第一参考块确定权重值时，对于一像素位置，可以先确定第一块中像素位置的第一像素值，同时确定第二块中像素位置的第二像素值；然后可以根据第一像素值和第二像素值，确定像素位置对应的权重值；最终便可以在遍历全部像素位置，确定全部像素位置对应的全部权重值之后，根据全部权重值确定当前块的权重值。
示例性的，在本申请中，将第一块表示为reference_fore_0，第二块表示为reference_fore_1，对于像素位置(i， j)，第一块reference_fore_0中的第一像素值为reference_fore_0[i][j]，第二块reference_fore_1中的第二像素值为reference_fore_1[i][j]，那么，可以根据第一像素值reference_fore_0[i][j]和第二像素值reference_fore_1[i][j]确定当前块中像素位置(i，j)对应的权重值weight_matrix[i][j]，并在确定每一个像素位置对应的权重值之后，根据全部像素位置对应的权重值生成当前块的权重矩阵weight_matrix。
示例性地，在本申请的实施例中，可以通过以下公式进行当前块中像素位置(i，j)对应的权重值weight_matrix[i][j]的确定：
weight_matrix[i][j]＝clip3(0，n，(reference_fore_0[i][j]+reference_fore_1[i][j])/(abs(reference_fore_0[i][j]-reference_fore_1[i][j])×8+1)) (1)
其中，n的取值大于0，可以理解任意一个像素位置对应的权重值的取值大于等于0且小于等于n，即权重矩阵中的权重值的最大值为n，最小值为0。
通过上述公式(1)可知，权重值weight_matrix[i][j]的大小由第一块中的第一像素值reference_fore_0[i][j]与第二块中的第二像素值reference_fore_1[i][j]联合确定。其中，reference_fore_0[i][j]和reference_fore_1[i][j]的值越接近，权重值weight_matrix[i][j]的取值越大，reference_fore_0[i][j]和reference_fore_1[i][j]的值差异越大，权重值weight_matrix[i][j]的取值越小。
进一步地，在本申请的实施例中，为了进一步减少噪音的影响，对于当前块的一个像素位置，可以利用至少一个第一参考块(例如第一块和第二块)中的该像素位置的像素值以及该像素位置周围的相邻像素位置的像素值进行该像素位置对应的权重值的确定，从而可以在遍历每一个像素位置并获得全部像素位置对应的全部权重值之后构建获得当前块的权重矩阵。
也就是说，在本申请中，当前块的一个像素位置对应的权重值，可以是由第一块和第二块中的多个像素位置的像素值导出的。其中，多个像素位置可以包括该像素位置和与该像素位置相邻的相邻像素位置。
可选地，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块和第二块，在根据至少一个第一参考块确定权重值时，对于一像素位置，可以先确定第一块中像素位置的第一像素值和像素位置的相邻像素位置的第一相邻像素值，同时确定第二块中像素位置的第二像素值和像素位置的相邻像素位置的第二相邻像素值；然后可以根据第一像素值、第一相邻像素值、第二像素值以及第二相邻像素值，确定像素位置对应的权重值；最终便可以在遍历全部像素位置，确定全部像素位置对应的全部权重值之后，根据全部权重值确定当前块的权重值。
示例性的，在本申请中，将第一块表示为reference_fore_0，第二块表示为reference_fore_1，对于像素位置(i，j)，第一块reference_fore_0中的第一像素值为reference_fore_0[i][j]，第一块reference_fore_0中的、与像素位置位置(i，j)相邻的相邻像素位置的第一相邻像素值，第二块reference_fore_1中的第二像素值为reference_fore_1[i][j]，第二块reference_fore_1中的、与像素位置位置(i，j)相邻的相邻像素位置的第二相邻像素值，那么，可以根据第一像素值reference_fore_0[i][j]、第一相邻像素值、第二像素值reference_fore_1[i][j]以及第二相邻像素值确定当前块中像素位置(i，j)对应的权重值weight_matrix[i][j]，并在确定每一个像素位置对应的权重值之后，根据全部像素位置对应的权重值生成当前块的权重矩阵weight_matrix。
需要说明的是，在本申请的实施例中，与像素位置位置(i，j)相邻的相邻像素位置可以包括像素位置位置(i，j)的上面的像素位置(i-1，j)，下面的像素位置(i+1，j)、左面的像素位置(i，j-1)、右面的像素位置(i，j+1)。
示例性地，在本申请的实施例中，可以通过以下公式进行当前块中像素位置(i，j)对应的权重值weight_matrix[i][j]的确定：
weight_matrix[i][j]＝clip3(0，n，(∑reference_fore_0[m][n]+∑reference_fore_1[m][n])/(abs(∑reference_fore_0[m][n]-∑reference_fore_1[m][n])×8+1)) (2)
其中，(m，n)可以包括像素位置(i，j)以及像素位置周围的相邻像素位置(i-1，j)，(i+1，j)，(i，j-1)，(i，j+1)。
通过上述公式(2)可知，权重值weight_matrix[i][j]的大小由第一块中的像素值reference_fore_0[m][n]与第二块中的像素值reference_fore_1[m][n]联合确定。其中，reference_fore_0[m][n]累加之和与reference_fore_1[m][n]累加之和越接近，权重值weight_matrix[i][j]的取值越大，reference_fore_0[m][n]累加之和与reference_fore_1[m][n]累加之和差异越大，权重值weight_matrix[i][j]的取值越小。
需要说明的是，在本申请的实施例中，对于每一个像素位置，对应的权重值可以由多个像素位置的像素值导出。其中，多个像素位置不仅仅局限于该像素位置以及该像素位置周围的相邻像素位置，还可以包括该像素位置以及其他任意多个像素位置，从而可以减少噪声的影响。
进一步地，在本申请的实施例中，在根据至少一个第一参考块确定权重值时，对于一像素位置，还可以选择使用至少一个其他像素位置对应的权重值对像素位置对应的权重值进行修正处理。
也就是说，在本申请的实施例中，在完成当前块的权重矩阵(权重值)的生成之后，还可以对当前块的权重矩阵weight_matrix进行修正处理，例如，对于每一个像素位置(i，j)，该像素位置对应的权重值weight_matrix[i][j]可以基于多个位置对应的多个权重值进行修正，从而可以进一步去除噪声，使过渡区域更平滑。
进一步地，在本申请的实施例中，在根据至少一个第一参考块确定权重值之后，可以进一步基于权重值、至少一个第一参考块以及至少一个第二参考块对当前块进行帧间预测处理，从而可以确定当前块的预测值。
可以理解的是，在本申请的实施例中，在进行当前块的预测值的确定时，可以基于权重值中每一个像素位置对应的权重值，以及至少一个第一参考块和至少一个第二参考块中的每一个像素位置的像素值，对每一个像素位置的像素值进行预测，最终便可以完成对当前块的帧间预测，获得对应的预测值。
可选地，在本申请的实施例中，在基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的 预测值时，对于一像素位置，可以基于当前块的权重值确定像素位置对应的权重值，基于至少一个第一参考块确定像素位置对应的至少一个第一像素值，基于至少一个第二参考块确定像素位置对应的至少一个第二像素值；然后根据像素位置对应的权重值对至少一个第一像素值和至少一个第二像素值进行加权求和运算，确定像素位置对应的预测像素值；最终在遍历全部像素位置，确定全部像素位置对应的全部预测像素值之后，便可以根据全部预测像素值确定当前块的预测值。
可选地，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块和第二块，那么对于一像素位置，确定像素位置对应的权重值，基于第一块确定像素位置对应的第三像素值，基于第二块确定像素位置对应的第四像素值，基于至少一个第二参考块确定像素位置对应的至少一个像素值；然后可以根据像素位置对应的权重值对第三像素值和/或第四像素值，以及至少一个像素值进行加权求和运算，确定像素位置对应的预测像素值。
可选地，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块和第二块，同时确定有一个第二参考块，那么对于一像素位置，确定像素位置对应的权重值，基于第一块确定像素位置对应的第三像素值，基于第二块确定像素位置对应的第四像素值，基于一个第二参考块确定像素位置对应的第五像素值；然后可以根据像素位置对应的权重值对第三像素值和/或第四像素值，以及第五像素值进行加权求和运算，确定像素位置对应的预测像素值。
需要说明的是，在本申请的实施例中，当前块的权重值(权重矩阵)中的任意一个权重值的最大值为n，最小值为0。其中，如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值等于n，那么可以认为该像素位置的预测像素值是基于至少一个第一参考块中该像素位置的像素值reference_fore[i][j]确定的；如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值等于0，那么可以认为该像素位置的预测像素值是基于至少一个第二参考块中该像素位置的像素值reference_back[i][j]确定的；如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值大于0且小于n，那么可以认为该像素位置的预测像素值是基于至少一个第二参考块中该像素位置的像素值reference_back[i][j]，以及至少一个第一参考块中该像素位置的像素值reference_fore[i][j]共同确定的。
示例性的，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块reference_fore_0和第二块reference_fore_1，且确定有一个第二参考块reference_back，可以通过以下公式对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定：
Prediction[i][j]＝((reference_fore_0[i][j]+reference_fore_1[i][j])×weight_matrix[i][j]+2×reference_back[i][j]×(n-weight_matrix[i][j]+n))/(2×n) (3)
其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，对reference_fore_0[i][j]和reference_fore_1[i][j]进行1比1加权运算。
示例性的，在本申请的实施例中，可以通过以下公式对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定：
Prediction[i][j]＝(reference_fore_0[i][j]×weight_matrix[i][j]+2×reference_back[i][j]×(n-weight_matrix[i][j]+n))/(2×n) (4)
其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，仅参考reference_fore_0[i][j]而不参考reference_fore_1[i][j]。
示例性的，在本申请的实施例中，可以通过以下公式对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定：
Prediction[i][j]＝(reference_fore_1[i][j]×weight_matrix[i][j]+2×reference_back[i][j]×(n-weight_matrix[i][j]+n))/(2×n) (5)
其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，仅参考reference_fore_1[i][j]而不参考reference_fore_0[i][j]。
进一步地，在本申请的实施例中，在基于上述像素位置的预测像素值的预测方法确定出全部像素位置对应的全部预测像素值之后，便可以根据全部预测像素值生成当前块的预测块。
可以理解的是，在本申请的实施例中，可以使用两个第一参考块来确定自适应划分，同时使用两个第一参考块来确定前景部分的预测值。相应地，也可以使用两个或更多个第一参考块来确定自适应划分，同时使用两个或更多个第一参考块来确定前景部分的预测值。
也就是说，在本申请的实施例中，至少一个第一参考块也可以包括至少两个第一参考块。
相应地，在本申请的实施例中，在基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值时，可以选择根据至少两个第一参考块确定权重值；然后再基于权重值、至少一个第二参考块，以及至少两个第一参考块中的至少一个第一参考块，确定当前块的预测值。
也就是说，在本申请中，为了能够更好地减少噪声、降低细微形变等因素的影响，在APM中，也可以使用更多个第一参考块确定自适应划分，以及前景部分的预测值。其中，可以通过对更多个第一参考块进行平均或者加权平均来实现，本申请不进行具体限定。
进一步地，在本申请的实施例中，由于使用两个或更多个参考块进行平均或者加权平均可以更好地减少噪声，降低细微形变等因素的影响，因此对于背景部分，同样可以选择使用两个或更多个第二参考块进行平均或者加权平均得到背景部分的预测值。
也就是说，在本申请的实施例中，至少一个第二参考块也可以包括至少两个第二参考块。
相应地，在本申请的实施例中，在基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值时，可以选择基于权重值、至少两个第一参考块中的至少一个第一参考块，以及至少两个第二参考块中的至少一个第二参考块，确定当前块的预测值。
示例性的，在本申请中，以使用两个第一参考块和两个第二参考块为例进行说明，其中，至少一个第一参考块包括第一块和第二块，至少一个第二参考块包括第三块和第四块，即在APM中，两个包含当前块中前景内容的第一参考块为第一块reference_fore_0和第二块reference_fore_1，两个包含当前块中背景内容的第二参考块为第三块reference_back_0和第四块reference_back_1。其中，可以根据reference_fore_0和reference_fore_1生成的权重矩阵weight_matrix。
可选地，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块和第二块，同时至少一个第二参考块包括两个不同的参考块，分别为第三块和第四块，那么在基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值时，对于一像素位置，可以确定像素位置对应的权重值，基于第一块确定像素位置对应的第三像素值，基于第二块确定像素位置对应的第四像素值，基于第三块确定像素位置对应的第六像素值；基于第四块确定像素位置对应的第七像素值；然后可以根据像素位置对应的权重值对第三像素值和/或第四像素值，以及第六像素值和第七像素值进行加权求和运算，确定像素位置对应的预测像素值。
需要说明的是，在本申请的实施例中，权重矩阵中的任意一个权重值的最大值为n，最小值为0。其中，如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值等于n，那么可以认为该像素位置的预测像素值是基于第一块中该像素位置的像素值reference_fore_0[i][j]和/或第二块中该像素位置的像素值reference_fore_1[i][j]确定的；如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值等于0，那么可以认为该像素位置的预测像素值是基于第三块中该像素位置的像素值reference_back_0[i][j]和第四块中该像素位置的像素值reference_back_1[i][j]确定的；如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值大于0且小于n，那么可以认为该像素位置的预测像素值是基于第一块中该像素位置的像素值reference_fore_0[i][j]和/或第二块中该像素位置的像素值reference_fore_1[i][j]，以及第三块中该像素位置的像素值reference_back_0[i][j]和第四块中该像素位置的像素值reference_back_1[i][j]共同确定的。
示例性的，在本申请的实施例中，可以通过以下公式对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定：
Prediction[i][j]＝((reference_fore_0[i][j]+reference_fore_1[i][j])×weight_matrix[i][j]+(reference_back_0[i][j]+reference_back_1[i][j])×(n-weight_matrix[i][j]+n))/(2×n) (7)
其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，对reference_fore_0[i][j]和reference_fore_1[i][j]进行1比1加权运算，同时，对reference_back_0[i][j]和reference_back_1[i][j]进行1比1加权运算。
示例性的，在本申请的实施例中，可以通过以下公式对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定：
Prediction[i][j]＝(reference_fore_0[i][j]×weight_matrix[i][j]+reference_back_1[i][j]×(n-weight_matrix[i][j]+n))/(2×n) (8)
其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，仅参考reference_fore_0[i][j]而不参考reference_fore_1[i][j]，同时仅参考reference_back_1[i][j]而不参考reference_back_0[i][j]。
示例性的，在本申请的实施例中，可以通过以下公式对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定：
Prediction[i][j]＝(reference_fore_1[i][j]×weight_matrix[i][j]+reference_back_0[i][j]×(n-weight_matrix[i][j]+n))/(2×n) (9)
其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，仅参考reference_fore_1[i][j]而不参考reference_fore_0[i][j]，同时仅参考reference_back_0[i][j]而不参考reference_back_1[i][j]。
进一步地，在本申请的实施例中，在基于上述像素位置的预测像素值的预测方法确定出全部像素位置对应的全部预测像素值之后，便可以根据全部预测像素值生成当前块的预测块。
具体地，在本申请中，如果当前块使用APM模式，且进行帧间预测时需要4个参考块，分别为两个第一参考块，即第一块reference_fore_0和第二块reference_fore_1，以及两个第二参考块，即第三块reference_back_0和第四块reference_back_1。其中，可以先确定4个运动信息，这4个运动信息可以根据解析码流得到的信息来获取，也可以根据当前块的周边块的信息来获取，还可以根据运动信息列表来获取，从而可以进一步根据上述4个运动信息确定4个参考块。而这4个参考块可以是从参考图像中直接截取的整像素的参考块，也可以是基于运动信息对整像素参考图像进行分像素插值后得到的参考块，还可以是基于运动信息对原始参考图像进行仿射预测得到的参考块，或者是使用其他处理方式得到的参考块，本申请不进行具体限定。
进一步地，在本申请的实施例中，通过上述步骤101至步骤103所提出的应用于解码器的帧间预测方法，图8为帧间预测方法的实现流程示意图二，如图8所示，解码器进行帧间预测的方法还可以包括以下步骤：
步骤101、解码码流，确定当前块的帧间预测模式参数。
步骤104、当帧间预测模式参数指示当前块使用APM模式确定当前块的帧间预测值时，确定当前块的至少一个第一参考块和至少一个第二参考块。
步骤105、根据至少一个第一参考块确定权重值。
步骤106、基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值。
综上所述，通过上述步骤101至步骤106所提出的帧间预测方法，在确定当前块使用APM模式之后，可以确定至少一个包含当前块中前景内容的参考块，即至少一个第一参考块reference_fore，同时确定至少一个包含当前块中背景内容的参考块，即至少一个第二参考块reference_back，然后可以根据至少一个第一参考块reference_fore进行权重值的生成，最终便可以基于权重值，结合至少一个第一参考块，以及至少一个第二参考块实现对当前块的帧间预测，确定当前块的预测值。
需要说明的是，本申请提出的帧间预测方法，是基于APM模式的预测方法，其中，由于APM模式能够实现当前块的不规则划分，因此可以认为APM模式(APM模式所模拟的划分)比GPM更细致，从而能得到更好的预测 效果。
本申请实施例提供一种帧间预测方法，解码器解码码流，确定当前块的帧间预测模式参数；当帧间预测模式参数指示当前块使用APM确定当前块的帧间预测值时，确定当前块的至少一个第一参考块和至少一个第二参考块；其中，APM模式用于基于图像内容进行任意形状的划分处理；根据至少一个第一参考块和至少一个第二参考块，确定当前块的预测值。也就是说，在本申请的实施例中，基于APM模式，编解码器可以进行至少一个第一参考块和至少一个第二参考块的获取，然后通过至少一个第一参考块实现任意形状的划分处理，最终便可以结合至少一个第一参考块和至少一个第二参考块对当前块进行预测处理，从而实现对视频内容自适应的划分的帧间预测，能够在提高帧间预测的准确性的基础上降低复杂度，实现简单高效的编解码方法，从而提升压缩性能。
基于上述实施例，本申请提出的帧间预测方法可以为一种根据视频内容自适应的划分方式。其中，在本申请中，划分是广义上的划分，既可以指实质上的划分编码单元或预测单元，也可以指在同一个编码单元或预测单元中使用权重值进行加权组合或其他方式模拟划分。
需要说明的是，在本申请的实施例中，在根据视频内容进行自适应划分时，可以根据当前块周围的已重建区域或参考图像或参考块进行自适应划分。其中，通过根据视频内容自适应的划分方式可以划分出基于视频内容确定的任意形状。即自适应划分后获得的形状可以是不受几何计算可得的直线、曲线限制的任意形状。
具体的，本申请实施例提出一种根据参考图像中的内容进行自适应划分的方法。由于视频中图像之间的相关性，假定当前图像中的物体在参考图像中也存在，而且由于参考图像和当前图像之间的时间间隔短，该物体在两个图像之间没有发生明显的变形及亮度、色度的变化。可以根据参考图像中该物体的边缘对当前图像进行划分。
需要说明的是，一个简单的模型是一个物体在一个背景上做平移运动。图9为划分示意图一，如图9所示，如果背景是特别简单的，如纯色等，那么传统的矩形块的划分就可以很好地处理，这是由于即使参考块中的背景和当前图像的背景不在同一个位置，但是值相同。图10为划分示意图二，如图10所示，如果背景并非简单的纯色，那么传统的矩形块的划分由于不能贴近物体的边缘，就会把一定的背景的信息带进去，或者把一定的物体的信息遗漏。如果使用GPM想要贴近如图10所示的云的边缘，需要进行非常多的划分才能做到。
进一步地，在本申请的实施例中，图11为划分示意图三，如图11所示，本申请实施例可以选择使用不规则划分，将两个参考块组合成当前块的预测块。具体地，根据匹配算法，通过参考图像0确定参考块0，通过参考图像1中确定参考块1，根据参考块0和/或参考块1生成自适应划分，使用自适应划分组合两个参考块得到当前块的预测块。其中，自适应划分的前景部分使用参考块0的内容，自适应划分的背景部分使用参考块1的内容，即可以组合出当前图像中对应位置的效果。
需要说明的是，在本申请的实施例中，APM模式的关键在于如何能生成不规则的划分。为了实现不规则的划分，一种方法是对包含前景物体的参考块(如图11中参考块0)使用一种检测或分割算法，检测出前景物体的轮廓，并将该轮廓作为自适应划分的划分线。对于一些简单的场景，直接检测出前景物体的轮廓并不困难。但是自然视频中很多情况下前景物体和背景物体并不是直观可划分的，也就是说，说想要得到合适的划分需要使用复杂的检测算法，比如现有常用的一些基于深度学习的或者基于神经网络的检测或分割算法，但是这些方法的复杂度较高，只适用于对复杂度没有严格要求的场景下。
进一步地，在本申请的实施例中，可以采用一种更简单的生成不规则的划分的方法。具体地，可以根据两个包含前景物体的参考块确定不规则划分。所谓包含前景物体的参考块指的是包含当前块中所包含的前景物体或前景物体的部分的内容。当前块可能只包含前景物体的一部分，那么参考块也只需包含前景物体的这一部分即可。所谓包含前景物体，在视频编解码领域应该理解为包含前景物体近似匹配的内容。
假设前景物体在运动过程中没有发生亮度、颜色或形状上的变化，参考图像没有发生失真。那么在两个包含前景物体的参考块中，如果位置对齐了，可以认为前景物体是可以完全匹配的。假设前景物体跟背景物体确实发生了相对位置的变化，否则直接用矩形划分就可以做出质量较好的预测。假设背景物体的不同位置的亮度、颜色、纹理等是存在不同的，那么在前景物体对齐的情况下，两个参考块的背景物体是发生了错位的，因而是无法匹配的。这样就可以区分出前景物体和背景物体的边界了。
根据上述假设建立的模型是一种理想的情况。在自然视频或相机拍摄的视频中可能多数情况不会如此理想。但是这种情况并不是不会出现，比如说在屏幕内容编码中，屏幕内容是由计算机生成的，很多场景下是可以做到前景物体在运动过程中没有发生亮度、颜色或形状上的变化的。那么对于自然视频或相机拍摄的视频，由于噪声等的影响，物体在不同帧之间的同一个位置上的像素值是有可能发生细微变化的；物体在不同帧之间可能发生细微的形变。所以对自然视频或相机拍摄的视频中的前景物体很难做到完全匹配。所以，对自然视频在进行前景物体的匹配时，要设置一定的容限。即相似度足够高就可以认为是同一个物体了。
另一方面，屏幕内容视频的物体的边界可以做到非常锐利，比如说字母的边界，黑色和白色的边界可以做到非常清晰。在自然视频或相机拍摄的视频中物体之间的边缘并不是非常锐利的。由于相机采集的原因，物体的边缘通常是会有一些像素去过渡的。因而对自然视频的不规则划分的边缘区域不应该做得非此即彼，而是可以做一个过渡区域，例如可以参考VVC中GPM的权重矩阵，不同的是GPM的权重矩阵是根据一些参数生成的直线的带过渡区域的模拟划分的权重矩阵，相应地，在本申请中需要生成的是不规则形状的带过渡区域的模拟划分的权重矩阵，从而可以实现自适应划分模式Adaptive partitioning Mode的应用。
具体地，在本申请的实施例中，图12为帧间预测的实现示意图一，如图12所示，可以分别通过参考图像0确定参考块0，通过参考图像1中确定参考块1，通过参考图像2中确定参考块2，根据参考块0和/或参考块1生成自适应划分，在确定了不规则的划分后，可以根据参考块0和/或参考块1确定前景部分的预测值，根据参考块2确定背景部分的预测值，从而得到当前块的预测值。
具体地，在本申请的实施例中，图13为帧间预测的实现示意图二，如图13所示，可以分别通过参考图像0确 定参考块0，通过参考图像1确定参考块1，通过参考图像2确定参考块2，通过参考图像3确定参考块3，根据参考块0和/或参考块1生成自适应划分，在确定了不规则的划分后，可以根据参考块0和/或参考块1确定前景部分的预测值，根据参考块2和/或参考块3确定背景部分的预测值，从而得到当前块的预测值。
也就是说，在本申请中，基于APM模式，可以根据至少一个包含当前块中前景内容的参考块生成权重值。根据至少一个包含当前块中前景内容的参考块中的至少一个以及至少一个包含当前块中背景内容的参考块中的至少一个，结合权重值生成当前块的预测块。包含当前块中前景内容的参考块，包含当前块中背景内容的参考块应理解为包含当前块中前景内容的最佳匹配的参考块，包含当前块中背景内容的最佳匹配的参考块。或者说是包含当前块中前景内容的匹配的参考块，包含当前块中背景内容的匹配的参考块。
需要说明的是，在本申请的实施例中，为了编解码器处理简单，可以认为参考块和当前块的大小都是相同的。但是并不一定需要得到完整的参考块，比如其中一个包含前景内容的参考块只需要包含足够确定自适应划分的权重值的内容即可。其中一个包含背景内容的参考块只需要包含足够的背景内容即可。特别是对于包含背景内容的参考块，只需要根据权重值确定需要的部分即可。
本申请实施例提供一种帧间预测方法，基于APM模式，编解码器可以进行至少一个第一参考块和至少一个第二参考块的获取，然后通过至少一个第一参考块实现任意形状的划分处理，最终便可以结合至少一个第一参考块和至少一个第二参考块对当前块进行预测处理，从而实现对视频内容自适应的划分的帧间预测，能够在提高帧间预测的准确性的基础上降低复杂度，实现简单高效的编解码方法，从而提升压缩性能。
本申请的再一实施例提出了一种帧间预测方法，应用于编码器，图14为帧间预测方法的实现流程示意图三，如图14所示，编码器进行帧间预测的方法可以包括以下步骤：
步骤201、确定当前块的帧间预测模式参数。
在本申请的实施例中，编码器可以确定当前块的帧间预测模式参数。
需要说明的是，在本申请的实施中，帧间预测模式参数可以指示当前块是否可以使用自适应划分APM模式，即指示当前块是否可以使用两个不同的参考块对当前块进行不规则划分。
可以理解的是，在本申请的实施例中，可以将帧间预测模式参数理解为一个表明是否使用了APM模式标志位。具体地，编码器可以确定作为帧间预测模式参数的一个变量，从而可以通过该变量的取值来实现帧间预测模式参数的确定。
需要说明的是，在本申请的实施例中，APM模式为一种帧间预测方法，具体地，APM模式为对当前块确定至少一个第一参考块和至少一个第二参考块，接着可以确定一个权重值，将至少一个第一参考块、至少一个第二参考块依据权重值进行组合，最终便可以得到新的预测块，即获得当前块的预测块。其中，第一参考块可以作为前景参考块，第二参考块可以作为背景参考块。
进一步地，在本申请的实施例中，APM模式可以用于基于图像内容进行任意形状的划分处理，即本申请提出的帧间预测方法可以为一种根据视频内容自适应的划分方式。其中，在本申请中，划分是广义上的划分，既可以指实质上的划分编码单元或预测单元，也可以指在同一个编码单元或预测单元中使用权重值进行加权组合或其他方式模拟划分。
也就是说，在本申请的实施例中，基于APM模式实现的任意形状的划分处理，可以为实际划分处理，也可以为模拟划分处理。
需要说明的是，在本申请的实施例中，视频图像可以划分为多个图像块，当前块即为每个当前待编码的图像块，可以称为编码块CB。这里，每个编码块可以包括第一图像分量、第二图像分量和第三图像分量。具体地，在本申请中，假定进行第一图像分量预测，而且第一图像分量为亮度分量，即待预测图像分量为亮度分量，那么可以将待预测的编码块称为亮度块；或者，假定进行第二图像分量预测，而且第二图像分量为色度分量，即待预测图像分量为色度分量，那么可以将待预测的编码块称为色度块。
示例性的，在本申请中，可以有一个帧级的标志来确定当前待编码帧是否使用APM模式。如可以配置帧内帧(如I帧)使用APM模式，帧间帧(如B帧、P帧)不使用APM模式。或者可以配置帧内帧不使用APM模式，帧间帧使用APM模式。或者可以配置某些帧间帧使用APM模式，某些帧间帧不使用APM模式。
示例性的，在本申请中，可以有一个块级的标志来确定这一块是否使用APM模式。如CU级或PU级的标志来确定这一块是否使用APM模式。进一步地，可以有一个或多个序列级、图像级或图像级以下CU级以上(如tile、slice、patch、LCU、CTU等)的标志来确定这一区域是否可能或允许使用AMP模式，如果这个或这些标志表示当前区域可能或允许使用AMP模式，再根据CU级或PU级的标志来确定这一块是否使用APM模式。
需要说明的是，在本申请的实施例中，帧间预测模式参数指示了当前块采用的帧间预测模式以及与该帧间预测模式相关的参数。这里，针对帧间预测模式参数的确定，可以采用简单的决策策略，比如根据失真值的大小进行确定；也可以采用复杂的决策策略，比如根据率失真优化(Rate Distortion Optimization，RDO)的结果进行确定，本申请实施例不作任何限定。通常而言，可以采用RDO方式来确定当前块的帧间预测模式参数。
具体地，在一些实施例中，编码器在确定当前块的帧间预测模式参数时，可以先利用多种预测模式对当前块进行预编码处理，获得每一种预测模式对应的率失真代价值；然后从所获得的多个率失真代价值中选择最小率失真代价值，并根据最小率失真代价值对应的预测模式确定当前块的帧间预测模式参数。
也就是说，在编码器侧，针对当前块可以采用多种预测模式分别对当前块进行预编码处理。这里，多种预测模式通常包括有普通帧间预测模式、GPM模式和平移预测等。
这样，在利用多种预测模式分别对当前块进行预编码之后，可以得到每一种预测模式对应的率失真代价值；然后从所得到的多个率失真代价值中选取最小率失真代价值，并将该最小率失真代价值对应的预测模式确定为当前块的帧间预测模式。除此之外，还可以在利用多种预测模式分别对当前块进行预编码之后，得到每一种预测模式对应 的失真值；然后从所得到的多个失真值中选取最小失真值，然后将该最小失真值对应的预测模式确定为当前块使用的帧间预测模式，并根据该帧间预测模式设置对应的帧间预测模式参数。如此，最终使用所确定的帧间预测模式对当前块进行编码，而且在这种预测模式下，可以使得预测残差较小，能够提高编码效率。
也就是说，在编码侧，编码器可以选取最优的预测模式对当前块进行预编码，在这过程中就可以确定出当前块的帧间预测模式，然后确定用于指示帧间预测模式的帧间预测模式参数，从而将相应的帧间预测模式参数写入码流，由编码器传输到解码器。
相应地，在解码器侧，解码器通过解析码流便可以直接获取到当前块的帧间预测模式参数，并根据解析获得的帧间预测模式参数确定当前块所使用的帧间预测模式，以及该帧间预测模式对应的相关参数。
步骤202、当帧间预测模式参数指示当前块使用APM模式确定当前块的帧间预测值时，确定当前块的至少一个第一参考块和至少一个第二参考块；其中，APM模式用于基于图像内容进行任意形状的划分处理。
在本申请的实施例中，在确定当前块的帧间预测模式参数之后，如果帧间预测模式参数指示当前块使用APM模式确定当前块的帧间预测值，那么可以进一步确定当前块的至少一个第一参考块和至少一个第二参考块。
可以理解的是，在本申请的实施例中，如果确定使用APM模式，那么需要先进行参考块的确定。具体地，可以确定当前块的一个或多个前景参考块，即至少一个第一参考块，同时需要确定当前块的一个或多个背景参考块，即至少一个第二参考块。
需要说明的是，在本申请的实施例中，至少一个第一参考块可以用于对当前块的前景内容进行预测，至少一个第二参考块可以用于对当前块的背景内容进行预测。因此在本申请中，可以将第一参考块表述为前景参考块，将第二参考块表述为背景参考块。
进一步地，在本申请的实施例中，可以基于至少一个不同的参考图像进行不同的第一参考块的确定，即至少一个第一参考块分别来自于不同的参考图像。相应地，在本申请中，可以基于至少一个不同的参考图像进行至少一个第二参考块的确定，即至少一个第二参考块分别来自于不同的参考图像。其中，确定至少一个第二参考块所使用的至少一个参考图像中的任意一个参考图像可以与确定至少一个第一参考块所使用的至少一个参考图像均不同，也可以与确定至少一个第一参考块所使用的至少一个参考图像中的任意一个参考图像相同。
也就是说，在本申请中，可以根据至少一个第一参考图像确定至少一个第一参考块，根据至少一个第二参考图像确定至少一个第二参考块。其中，至少一个第一参考图像和至少一个第二参考图像可以均不相同；或者，至少一个第一参考图像互不不同，至少一个第二参考图像也互不相同，至少一个第一参考图像中的至少一个图像与至少一个第二参考图像中的至少一个图像相同。
示例性的，在本申请的实施例中，图15为获取参考块的示意图四，如图15所示，基于参考图像0(第一参考图像和第二参考图像是相同的)，可以获得对应的参考块0(一个第一参考块，即一个前景参考块)和参考块2(第二参考块，即背景参考块)，基于参考图像1(第二参考图像)，可以获得对应的参考块1(另一个第一参考块，即另一个前景参考块)。
进一步地，在本申请的实施例中，当前块、至少一个第一参考块、至少一个第二参考块可以为大小相同的图像块。
需要说明的是，在本申请中，为了降低编解码器处理的复杂度，可以认为各个参考块与当前块的大小都是相同的。但是并不要求必须得到完整的参考块。例如，其中一个包含前景内容的参考块只需要包含足够确定自适应划分的权重值的内容即可，包含背景内容的参考块只需要包含足够的背景内容即可。特别是对于包含背景内容的参考块，只需要根据权重值确定需要的部分即可。
可以理解的是，在本申请的实施例中，当前块与至少一个第一参考块分别具有全部相同或部分相同的前景内容，从而可以利用至少一个第一参考块对前景部分进行预测；当前块与至少一个第二参考块具有全部相同或部分相同的背景内容，从而可以利用至少一个第二参考块对背景部分进行预测。
需要说明的是，在本申请中，前景内容可以理解为当前块中所包含的前景物体，背景内容可以理解为当前块中所包含的背景物体。具体地，至少一个第一参考块中可以包含当前块中所包含的前景物体或前景物体的部分的内容，当前块可能只包含前景物体的一部分，那么至少一个第一参考块可以也只包含前景物体的这一部分即可。至少一个第二参考块中可以包含当前块中所包含的背景物体或背景物体的部分的内容，当前块可能只包含背景物体的一部分，那么至少一个第二参考块可以也只包含前景物体的这一部分即可。
可以理解的是，在本申请的实施例中，至少一个第一参考块可以为包含当前块中前景内容的参考块，可以理解为包含当前块中前景内容的最佳匹配的参考块，或者是包含当前块中前景内容的匹配的参考块；至少一个第二参考块可以为包含当前块中背景内容的参考块，可以理解为包含当前块中背景内容的最佳匹配的参考块，或者是包含当前块中背景内容的匹配的参考块。
进一步地，在本申请的实施例中，可以采用多种不同的方式进行当前块的至少一个第一参考块以及至少一个第二参考块的确定。本申请实施例不进行具体限定。
可选地，在本申请中，在确定当前块的至少一个第一参考块和至少一个第二参考块时，可以先确定至少一个第一参考图像和至少一个第二参考图像；然后直接根据至少一个第一参考图像确定至少一个第一参考块；根据至少一个第二参考图像确定至少一个第二参考块。
也就是说，在本申请中，可以选择直接从参考图像中进行参考块的获取。
可选地，在本申请中，在确定当前块的至少一个第一参考块和至少一个第二参考块时，可以先确定至少一个第一运动信息和至少一个第二运动信息；然后基于至少一个第一运动信息和至少一个第二运动信息确定至少一个第一参考块和至少一个第二参考块。
也就是说，在本申请中，可以选择先进行运动信息的获取，然后利用确定的运动信息从参考图像中进行参考块 的获取。具体地，为了获得多个参考块，需要先获取多个运动信息，其中，一个运动信息用于获取一个参考块，多个运动信息可以采用不同的方法进行获取，本申请不进行具体限定。
需要说明的是，在本申请的实施例中，运动信息可以为运动矢量，即第一运动信息和第二运动信息可以分别包括第一运动矢量和第二运动矢量。
进一步地，在本申请的实施例中，在确定至少一个第一运动信息和至少一个第二运动信息时，可以先确定至少一个第一初始运动信息和至少一个第二初始运动信息；然后可以分别对至少一个第一初始运动信息和至少一个第二初始运动信息进行细化处理，从而可以获得至少一个第一运动信息和至少一个第二运动信息。
可以理解的是，在本申请中，至少一个第一初始运动信息和至少一个第二初始运动信息可以分别包括第一初始运动矢量和第二初始运动矢量。
具体地，在本申请的实施例中，可以采用多种方法进行运动信息的细化处理，例如，可以采用DMVR或DMVD等技术进行运动信息的细化处理。其中，DMVR是在进行双向预测时，以运动向量MV0和运动向量MV1作为初始MV，分别在MV0和MV1附近搜索更精确的MV0’和MV1’，然后将MV0和MV1所指向的预测块进行加权得到最终的预测块。
可选地，在本申请中，可以利用DMVR对至少一个第一初始运动信息和至少一个第二初始运动信息进行细化处理；或者，可以利用DMVD对至少一个第一初始运动信息和至少一个第二初始运动信息进行细化处理。也可以采用其他技术进行运动信息的细化处理，本申请不进行具体限定。
也就是说，在本申请中，APM模式还可以与解码端搜索的方法配合使用。例如，在获得初始运动信息之后，可以先使用DMVR、DMVD等技术对运动信息进行细化。比如说对2个包含前景内容的参考块，使用DMVR进行小范围的搜索从而更优的匹配，在运动信息不够准确的情况下能得到更准确的预测块。
可以理解的是，在现阶段的硬件实现时，帧间预测的参考图像区域的带宽对硬件性能有重要影响。传统的单向预测需要使用1个运动信息从参考图像中获得1个参考块，传统的双向预测需要使用2个运动信息从参考图像中获得2个参考块，双向预测对带宽的要求的最差情况(worst case)是单向预测的大约2倍。基于子块的预测相比于基于整块的预测对带宽的要求的最差情况也要增加，因为基于子块的预测的不同参考块会使用到不同的运动信息。
需要说明的是，在本申请中，基于APM模式，需要使用多个运动信息确定多个参考块(至少一个第一参考块以及至少一个第二参考块)，相比传统的双向预测对带宽的要求更大。为了在一定程度上进行带宽的降低，可以限制包含背景内容的任意数量的第二参考块reference_back和包含前景内容的任意数量的第一参考块reference_fore在同一个参考图像上，且两者之间的距离较近，这是因为当前块的前景内容和背景内容与参考图像上的前景内容和背景内容是经过了极短时间(零点零几秒或更短)的运动得到的。相应地，在本申请中，如果不进行上述限制，多个运动信息是可以对应多个不同的参考图像的，即多个参考块分别来自于多个不同的参考图像。
具体地，在本申请的实施例中，可以限制至少一个第二运动信息对应的参考图像与至少一个第一运动信息对应的参考图像相同；且至少一个第二运动信息与至少一个第一运动信息之间的矢量差的绝对值小于或者等于第一阈值。
可选地，在本申请的实施例中，假设已经确定当前块的2个第一参考块(前景参考块)分别为reference_fore_0和reference_fore_1，以及1个第二参考块(背景参考块)reference_back，可以限制确定reference_back的运动信息motion_infor_back需要和确定reference_fore_0或reference_fore_1的运动信息motion_infor_fore_0或motion_infor_fore_1其中一个对应同一个参考图像，而且这两个运动信息的运动矢量差的绝对值要小于或者等于一个阈值(第一阈值)，从而可以实现对带宽的限制，以降低带宽。
示例性的，在本申请中，限制确定reference_back的运动信息motion_infor_back和确定reference_fore_0的运动信息motion_infor_fore_0对应同一个参考图像，而且motion_infor_back和motion_infor_fore_0的运动矢量差的绝对值小于或者等于第一阈值。
进一步地，在本申请的实施例中，如果限制至少一个第二运动信息对应的参考图像与至少一个第一运动信息对应的参考图像相同；且至少一个第二运动信息与至少一个第一运动信息之间的矢量差的绝对值小于或者等于第一阈值，那么在确定至少一个第一运动信息和至少一个第二运动信息时，可以先确定至少一个第二运动信息；然后根据第一阈值和至少一个第二运动信息确定至少一个第一运动信息。
进一步地，在本申请的实施例中，如果限制第二运动信息对应的参考图像与第一运动信息或第二运动信息对应的参考图像相同；且第二运动信息与第一运动信息或第二运动信息之间的矢量差的绝对值小于或者等于第一阈值，那么在确定至少一个第一运动信息和至少一个第二运动信息时，可以先确定至少一个第一运动信息；然后根据第一阈值，至少一个第一运动信息确定至少一个第二运动信息。
可选地，在本申请的实施例中，假设已经确定当前块的2个第一参考块(前景参考块)分别为reference_fore_0和reference_fore_1，以及1个第二参考块(背景参考块)reference_back，如果确定reference_back的运动信息motion_infor_back一定要和确定reference_fore_0或reference_fore_1的运动信息motion_infor_fore_0或motion_infor_fore_1其中一个对应同一个参考图像，那么motion_infor_back可以根据motion_infor_fore_0或motion_infor_fore_1其中一个来确定，或者，motion_infor_fore_0或motion_infor_fore_1其中一个可以根据motion_infor_back来确定。例如，根据motion_infor_fore_0和一个运动矢量差(如第一阈值)来确定motion_infor_back。或者，根据motion_infor_back和一个运动矢量差(如第一阈值)来确定motion_infor_fore_0。
示例性的，在本申请中，如果限制确定reference_back的运动信息motion_infor_back和确定reference_fore_0的运动信息motion_infor_fore_0对应同一个参考图像，且motion_infor_back和motion_infor_fore_0的运动矢量差的绝对值小于或者等于第一阈值，那么可以先确定motion_infor_back，然后根据motion_infor_back和第一阈值确定motion_infor_fore_0；或者可以先确定motion_infor_fore_0，然后根据motion_infor_fore_0和第一阈值确定motion_infor_back。
进一步地，在本申请的实施例中，如果APM模式下的参考块也有可能使用基于子块的预测方法，如affine等预测方法来确定，那么可以对用于APM模式下的确定一个参考块reference_fore_0或reference_fore_1或reference_back的运动信息的运动矢量组内的运动矢量差进行限制，比如限制该运动矢量组内的运动矢量差的绝对值小于或小于等于一个阈值，从而可以实现对带宽的限制，以降低带宽。
可选地，在本申请中，可以限制至少一个第一运动信息和至少一个第二运动信息中的任意两个运动信息之间的差值的绝对值小于或者等于第二阈值。
进一步地，在本申请中，可以根据当前块的周边块的信息来获取对应的至少一个第一运动信息和至少一个第二运动信息，还可以根据运动信息列表来获取对应的至少一个第一运动信息和至少一个第二运动信息，从而可以进一步基于至少一个第一运动信息和至少一个第二运动信息确定对应的至少一个第一参考块和至少一个第二参考块。
进一步地，在本申请的实施例中，在基于至少一个第一运动信息和至少一个第二运动信息确定至少一个第一参考块和至少一个第二参考块时，可以先确定至少一个第一参考图像和至少一个第二参考图像；然后再根据至少一个第一运动信息对至少一个第一参考图像进行插值处理，获得至少一个第一参考块；根据至少一个第二运动信息对至少一个第二参考图像进行插值处理，获得至少一个第二参考块。
也就是说，在本申请中，在基于运动信息进行参考块的确定时，可以选择使用运动信息对整像素参考图像进行分像素插值处理，从而获得对应的参考块。
进一步地，在本申请的实施例中，在基于至少一个第一运动信息和至少一个第二运动信息确定至少一个第一参考块和至少一个第二参考块时，可以先确定至少一个第一参考图像和至少一个第二参考图像；然后再根据至少一个第一运动信息对至少一个第一参考图像进行预测处理，获得至少一个第一参考块；根据至少一个第二运动信息对至少一个第二参考图像进行预测处理，获得至少一个第二参考块。
也就是说，在本申请中，在基于运动信息进行参考块的确定时，可以选择使用运动信息对参考图像进行预测(如仿射预测)处理，从而获得对应的参考块。
由此可见，在本申请的实施例中，至少一个第一参考块和至少一个第二参考块可以是从参考图像中直接截取的整像素的参考块，也可以是基于运动信息对整像素参考图像进行分像素插值后得到的参考块，还可以是基于运动信息对原始参考图像进行仿射预测得到的参考块，或者是使用其他处理方式得到的参考块，本申请不进行具体限定。
步骤203、根据至少一个第一参考块和至少一个第二参考块，确定当前块的预测值。
在本申请的实施例中，如果帧间预测模式参数指示当前块使用APM确定当前块的帧间预测值，在确定当前块的至少一个第一参考块和至少一个第二参考块之后，便可以可以进一步根据至少一个第一参考块和至少一个第二参考块确定当前块的预测值。
进一步地，在本申请的实施例中，在根据至少一个第一参考块和至少一个第二参考块，确定当前块的预测值时，可以先根据至少一个第一参考块确定权重值；然后便可以基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值。
也就是说，在本申请的实施例中，如果帧间预测模式参数指示当前块使用APM确定当前块的帧间预测值，在确定至少一个第一参考块和至少一个第二参考块之后，可以进一步根据至少一个第一参考块确定权重值。
需要说明的是，在本申请的实施例中，当前块的权重值可以为当前块的权重矩阵，其中，权重矩阵中包括有当前块的子块的权重矩阵或者当前块的每一个像素位置的权重值。
可选地，在本申请的实施例中，可以选择根据至少一个第一参考块确定当前块的权重矩阵，然后根据当前块的权重矩阵、至少一个第一参考块、至少一个第二参考块得到当前块的预测值。
可选地，在本申请的实施例中，在进行当前块的预测值的确定时，一种方式是选择对当前块的每一个子块得到子块的权重矩阵，然后根据子块的参考块(第一参考块和第二参考块)和权重矩阵得到子块的预测值。另一种方法是对当前块的每一个位置(像素位置)，得到一个权重值，根据每一个位置的参考值(像素参考值)和权重值得到该位置的预测值。
相比之下，上述两种实现当前块的预测值的确定方式在本质上只是处理粒度的不同，因为当前块的子块的权重矩阵组合后可以获得当前块的权重矩阵，当前块的每个点(像素位置)的权重值组合后也可以获得当前块的权重矩阵。其中，更小的处理粒度可能节省存储空间。
需要说明的是，在本申请的实施例中，当前块的权重值(权重矩阵)既可以包括当前块中的每一个像素位置对应的权重值，也可以包括当前块中的每一个子块对应的权重矩阵，即当前块的权重值实质上为子块的权重或者为像素的权重。也就是说，在本申请中，虽然以整块为单位来描述，但是实质上也包含以子块或像素的单位。
需要说明的是，在本申请的实施例中，对于当前块的一个像素位置，可以利用至少一个第一参考块中的该像素位置的像素值进行该像素位置对应的权重值的确定，从而可以在遍历每一个像素位置并获得全部像素位置对应的全部权重值之后构建获得当前块的权重值。
可选地，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块和第二块，在根据至少一个第一参考块确定权重值时，对于一像素位置，可以先确定第一块中像素位置的第一像素值，同时确定第二块中像素位置的第二像素值；然后可以根据第一像素值和第二像素值，确定像素位置对应的权重值；最终便可以在遍历全部像素位置，确定全部像素位置对应的全部权重值之后，根据全部权重值确定当前块的权重值。
示例性的，在本申请中，将第一块表示为reference_fore_0，第二块表示为reference_fore_1，对于像素位置(i，j)，第一块reference_fore_0中的第一像素值为reference_fore_0[i][j]，第二块reference_fore_1中的第二像素值为reference_fore_1[i][j]，那么，可以根据第一像素值reference_fore_0[i][j]和第二像素值reference_fore_1[i][j]确定当前块中像素位置(i，j)对应的权重值weight_matrix[i][j]，并在确定每一个像素位置对应的权重值之后，根据全部像素位置对应的权重值生成当前块的权重矩阵weight_matrix。
示例性地，在本申请的实施例中，可以通过上述公式(1)进行当前块中像素位置(i，j)对应的权重值weight_matrix[i][j]的确定。其中，n的取值大于0，可以理解任意一个像素位置对应的权重值的取值大于等于0且小于等于n，即权重值中的权重值的最大值为n，最小值为0。
通过上述公式(1)可知，权重值weight_matrix[i][j]的大小由第一块中的第一像素值reference_fore_0[i][j]与第二块中的第二像素值reference_fore_1[i][j]联合确定。其中，reference_fore_0[i][j]和reference_fore_1[i][j]的值越接近，权重值weight_matrix[i][j]的取值越大，reference_fore_0[i][j]和reference_fore_1[i][j]的值差异越大，权重值weight_matrix[i][j]的取值越小。
进一步地，在本申请的实施例中，为了进一步减少噪音的影响，对于当前块的一个像素位置，可以利用至少一个第一参考块(例如第一块和第二块)中的该像素位置的像素值以及该像素位置周围的相邻像素位置的像素值进行该像素位置对应的权重值的确定，从而可以在遍历每一个像素位置并获得全部像素位置对应的全部权重值之后构建获得当前块的权重矩阵。
也就是说，在本申请中，当前块的一个像素位置对应的权重值，可以是由第一块和第二块中的多个像素位置的像素值导出的。其中，多个像素位置可以包括该像素位置和与该像素位置相邻的相邻像素位置。
可选地，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块和第二块，在根据至少一个第一参考块确定权重值时，对于一像素位置，可以先确定第一块中像素位置的第一像素值和像素位置的相邻像素位置的第一相邻像素值，同时确定第二块中像素位置的第二像素值和像素位置的相邻像素位置的第二相邻像素值；然后可以根据第一像素值、第一相邻像素值、第二像素值以及第二相邻像素值，确定像素位置对应的权重值；最终便可以在遍历全部像素位置，确定全部像素位置对应的全部权重值之后，根据全部权重值确定当前块的权重值。
示例性的，在本申请中，将第一块表示为reference_fore_0，第二块表示为reference_fore_1，对于像素位置(i，j)，第一块reference_fore_0中的第一像素值为reference_fore_0[i][j]，第一块reference_fore_0中的、与像素位置位置(i，j)相邻的相邻像素位置的第一相邻像素值，第二块reference_fore_1中的第二像素值为reference_fore_1[i][j]，第二块reference_fore_1中的、与像素位置位置(i，j)相邻的相邻像素位置的第二相邻像素值，那么，可以根据第一像素值reference_fore_0[i][j]、第一相邻像素值、第二像素值reference_fore_1[i][j]以及第二相邻像素值确定当前块中像素位置(i，j)对应的权重值weight_matrix[i][j]，并在确定每一个像素位置对应的权重值之后，根据全部像素位置对应的权重值生成当前块的权重矩阵weight_matrix。
需要说明的是，在本申请的实施例中，与像素位置位置(i，j)相邻的相邻像素位置可以包括像素位置位置(i，j)的上面的像素位置(i-1，j)，下面的像素位置(i+1，j)、左面的像素位置(i，j-1)、右面的像素位置(i，j+1)。
示例性地，在本申请的实施例中，可以通过上述公式(2)进行当前块中像素位置(i，j)对应的权重值weight_matrix[i][j]的确定。其中，(m，n)可以包括像素位置(i，j)以及像素位置周围的相邻像素位置(i-1，j)，(i+1，j)，(i，j-1)，(i，j+1)。
通过上述公式(2)可知，权重值weight_matrix[i][j]的大小由第一块中的像素值reference_fore_0[m][n]与第二块中的像素值reference_fore_1[m][n]联合确定。其中，reference_fore_0[m][n]累加之和与reference_fore_1[m][n]累加之和越接近，权重值weight_matrix[i][j]的取值越大，reference_fore_0[m][n]累加之和与reference_fore_1[m][n]累加之和差异越大，权重值weight_matrix[i][j]的取值越小。
需要说明的是，在本申请的实施例中，对于每一个像素位置，对应的权重值可以由多个像素位置的像素值导出。其中，多个像素位置不仅仅局限于该像素位置以及该像素位置周围的相邻像素位置，还可以包括该像素位置以及其他任意多个像素位置，从而可以减少噪声的影响。
进一步地，在本申请的实施例中，在根据至少一个第一参考块确定权重值时，对于一像素位置，还可以选择使用至少一个其他像素位置对应的权重值对像素位置对应的权重值进行修正处理。
也就是说，在本申请的实施例中，在完成当前块的权重矩阵(权重值)的生成之后，还可以对当前块的权重矩阵weight_matrix进行修正处理，例如，对于每一个像素位置(i，j)，该像素位置对应的权重值weight_matrix[i][j]可以基于多个位置对应的多个权重值进行修正，从而可以进一步去除噪声，使过渡区域更平滑。
进一步地，在本申请的实施例中，在根据至少一个第一参考块确定权重值之后，可以进一步基于权重值、至少一个第一参考块以及至少一个第二参考块对当前块进行帧间预测处理，从而可以确定当前块的预测值。
可以理解的是，在本申请的实施例中，在进行当前块的预测值的确定时，可以基于权重值中每一个像素位置对应的权重值，以及至少一个第一参考块和至少一个第二参考块中的每一个像素位置的像素值，对每一个像素位置的像素值进行预测，最终便可以完成对当前块的帧间预测，获得对应的预测值。
可选地，在本申请的实施例中，在基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值时，对于一像素位置，可以基于当前块的权重值确定像素位置对应的权重值，基于至少一个第一参考块确定像素位置对应的至少一个第一像素值，基于至少一个第二参考块确定像素位置对应的至少一个第二像素值；然后根据像素位置对应的权重值对至少一个第一像素值和至少一个第二像素值进行加权求和运算，确定像素位置对应的预测像素值；最终在遍历全部像素位置，确定全部像素位置对应的全部预测像素值之后，便可以根据全部预测像素值确定当前块的预测值。
可选地，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块和第二块，那么对于一像素位置，确定像素位置对应的权重值，基于第一块确定像素位置对应的第三像素值，基于第二块确定像素位置对应的第四像素值，基于至少一个第二参考块确定像素位置对应的至少一个像素值；然后可以根据像素位置对应的权重值对第三像素值和/或第四像素值，以及至少一个像素值进行加权求和运算，确定像素位置对应的预测像素值。
可选地，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块和第二块，同时确定有一个第二参考块，那么对于一像素位置，确定像素位置对应的权重值，基于第一块确定像素位置对应的第三像素值，基于第二块确定像素位置对应的第四像素值，基于一个第二参考块确定像素位置对应的第五像素值；然后可以根据像素位置对应的权重值对第三像素值和/或第四像素值，以及第五像素值进行加权求和运算，确定像素位置对应的预测像素值。
需要说明的是，在本申请的实施例中，当前块的权重值(权重矩阵)中的任意一个权重值的最大值为n，最小值为0。其中，如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值等于n，那么可以认为该像素位置的预测像素值是基于至少一个第一参考块中该像素位置的像素值reference_fore[i][j]确定的；如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值等于0，那么可以认为该像素位置的预测像素值是基于至少一个第二参考块中该像素位置的像素值reference_back[i][j]确定的；如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值大于0且小于n，那么可以认为该像素位置的预测像素值是基于至少一个第二参考块中该像素位置的像素值reference_back[i][j]，以及至少一个第一参考块中该像素位置的像素值reference_fore[i][j]共同确定的。
示例性的，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块reference_fore_0和第二块reference_fore_1，且确定有一个第二参考块reference_back，可以通过上述公式(3)对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定。其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，对reference_fore_0[i][j]和reference_fore_1[i][j]进行1比1加权运算。
示例性的，在本申请的实施例中，可以通过上述公式(4)对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定。其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，仅参考reference_fore_0[i][j]而不参考reference_fore_1[i][j]。
示例性的，在本申请的实施例中，可以通过上述公式(5)对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定。其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，仅参考reference_fore_1[i][j]而不参考reference_fore_0[i][j]。
进一步地，在本申请的实施例中，在基于上述像素位置的预测像素值的预测方法确定出全部像素位置对应的全部预测像素值之后，便可以根据全部预测像素值生成当前块的预测块。
可以理解的是，在本申请的实施例中，可以使用两个第一参考块来确定自适应划分，同时使用两个第一参考块来确定前景部分的预测值。相应地，也可以使用两个或更多个第一参考块来确定自适应划分，同时使用两个或更多个第一参考块来确定前景部分的预测值。
也就是说，在本申请的实施例中，至少一个第一参考块也可以包括至少两个第一参考块。
相应地，在本申请的实施例中，在基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值时，可以选择根据至少两个第一参考块确定权重值；然后再基于权重值、至少一个第二参考块，以及至少两个第一参考块中的至少一个第一参考块，确定当前块的预测值。
也就是说，在本申请中，为了能够更好地减少噪声、降低细微形变等因素的影响，在APM中，也可以使用更多个第一参考块确定自适应划分，以及前景部分的预测值。其中，可以通过对更多个第一参考块进行平均或者加权平均来实现，本申请不进行具体限定。
进一步地，在本申请的实施例中，由于使用两个或更多个参考块进行平均或者加权平均可以更好地减少噪声，降低细微形变等因素的影响，因此对于背景部分，同样可以选择使用两个或更多个第二参考块进行平均或者加权平均得到背景部分的预测值。
也就是说，在本申请的实施例中，至少一个第二参考块也可以包括至少两个第二参考块。
相应地，在本申请的实施例中，在基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值时，可以选择基于权重值、至少两个第一参考块中的至少一个第一参考块，以及至少两个第二参考块中的至少一个第二参考块，确定当前块的预测值。
示例性的，在本申请中，以使用两个第一参考块和两个第二参考块为例进行说明，其中，至少一个第一参考块包括第一块和第二块，至少一个第二参考块包括第三块和第四块，即在APM中，两个包含当前块中前景内容的第一参考块为第一块reference_fore_0和第二块reference_fore_1，两个包含当前块中背景内容的第二参考块为第三块reference_back_0和第四块reference_back_1。其中，可以根据reference_fore_0和reference_fore_1生成的权重矩阵weight_matrix。
可选地，在本申请的实施例中，假设至少一个第一参考块包括两个不同的参考块，分别为第一块和第二块，同时至少一个第二参考块包括两个不同的参考块，分别为第三块和第四块，那么在基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值时，对于一像素位置，可以确定像素位置对应的权重值，基于第一块确定像素位置对应的第三像素值，基于第二块确定像素位置对应的第四像素值，基于第三块确定像素位置对应的第六像素值；基于第四块确定像素位置对应的第七像素值；然后可以根据像素位置对应的权重值对第三像素值和/或第四像素值，以及第六像素值和第七像素值进行加权求和运算，确定像素位置对应的预测像素值。
需要说明的是，在本申请的实施例中，权重矩阵中的任意一个权重值的最大值为n，最小值为0。其中，如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值等于n，那么可以认为该像素位置的预测像素值是基于第一块中该像素位置的像素值reference_fore_0[i][j]和/或第二块中该像素位置的像素值reference_fore_1[i][j]确定的；如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值等于0，那么可以认为该像素位置的预测像素值是基于第三块中该像素位置的像素值reference_back_0[i][j]和第四块中该像素位置的像素值reference_back_1[i][j]确定的；如果像素位置(i，j)对应的权重值weight_matrix[i][j]的取值大于0且小于n，那么可以认为该像素位置的预测像素值是基于第一块中该像素位置的像素值reference_fore_0[i][j]和/或第二块中该像素位置的像素值reference_fore_1[i][j]，以及第 三块中该像素位置的像素值reference_back_0[i][j]和第四块中该像素位置的像素值reference_back_1[i][j]共同确定的。
示例性的，在本申请的实施例中，可以通过上述公式(7)对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定，其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，对reference_fore_0[i][j]和reference_fore_1[i][j]进行1比1加权运算，同时，对reference_back_0[i][j]和reference_back_1[i][j]进行1比1加权运算。
示例性的，在本申请的实施例中，可以通过上述公式(8)对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定，其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，仅参考reference_fore_0[i][j]而不参考reference_fore_1[i][j]，同时仅参考reference_back_1[i][j]而不参考reference_back_0[i][j]。
示例性的，在本申请的实施例中，可以通过上述公式(9)对当前块中像素位置(i，j)对应的预测像素值Prediction[i][j]进行确定，其中，在确定像素位置(i，j)对应的预测像素值Prediction[i][j]时，仅参考reference_fore_1[i][j]而不参考reference_fore_0[i][j]，同时仅参考reference_back_0[i][j]而不参考reference_back_1[i][j]。
进一步地，在本申请的实施例中，在基于上述像素位置的预测像素值的预测方法确定出全部像素位置对应的全部预测像素值之后，便可以根据全部预测像素值生成当前块的预测块。
具体地，在本申请中，如果当前块使用APM模式，且进行帧间预测时需要4个参考块，分别为两个第一参考块，即第一块reference_fore_0和第二块reference_fore_1，以及两个第二参考块，即第三块reference_back_0和第四块reference_back_1。其中，可以先确定4个运动信息，这4个运动信息可以根据当前块的周边块的信息来获取，还可以根据运动信息列表来获取，从而可以进一步根据上述4个运动信息确定4个参考块。而这4个参考块可以是从参考图像中直接截取的整像素的参考块，也可以是基于运动信息对整像素参考图像进行分像素插值后得到的参考块，还可以是基于运动信息对原始参考图像进行仿射预测得到的参考块，或者是使用其他处理方式得到的参考块，本申请不进行具体限定。
进一步地，在本申请的实施例中，通过上述步骤201至步骤203所提出的应用于编码器的帧间预测方法，图16为帧间预测方法的实现流程示意图四，如图16所示，编码器进行帧间预测的方法还可以包括以下步骤：
步骤201、确定当前块的帧间预测模式参数。
步骤204、当帧间预测模式参数指示当前块使用APM模式确定当前块的帧间预测值时，确定当前块的至少一个第一参考块和至少一个第二参考块。
步骤205、根据至少一个第一参考块确定权重值。
步骤206、基于权重值、至少一个第一参考块以及至少一个第二参考块，确定当前块的预测值。
综上所述，通过上述步骤201至步骤206所提出的帧间预测方法，在确定当前块使用APM模式之后，可以确定至少一个包含当前块中前景内容的参考块，即至少一个第一参考块reference_fore，同时确定至少一个包含当前块中背景内容的参考块，即至少一个第二参考块reference_back，然后可以根据至少一个第一参考块reference_fore进行权重值的生成，最终便可以基于权重值，结合至少一个第一参考块，以及至少一个第二参考块实现对当前块的帧间预测，确定当前块的预测值。
需要说明的是，本申请提出的帧间预测方法，是基于APM模式的预测方法，其中，由于APM模式能够实现当前块的不规则划分，因此可以认为APM模式(APM模式所模拟的划分)比GPM更细致，从而能得到更好的预测效果。
本申请实施例提供一种帧间预测方法，编码器确定当前块的帧间预测模式参数；当帧间预测模式参数指示当前块使用APM确定当前块的帧间预测值时，确定当前块的至少一个第一参考块和至少一个第二参考块；根据至少一个第一参考块和至少一个第二参考块，确定当前块的预测值。也就是说，在本申请的实施例中，基于APM模式，编解码器可以进行至少一个第一参考块和至少一个第二参考块的获取，然后通过至少一个第一参考块实现任意形状的划分处理，最终便可以结合至少一个第一参考块和至少一个第二参考块对当前块进行预测处理，从而实现对视频内容自适应的划分的帧间预测，能够在提高帧间预测的准确性的基础上降低复杂度，实现简单高效的编解码方法，从而提升压缩性能。
基于上述实施例，在本申请的再一实施例中，图17为本申请实施例提出的解码器的组成结构示意图一，如图17所示，本申请实施例提出的解码器300可以包括解码部分301，第一确定部分302，
所述解码部分301，配置为解码码流；
所述第一确定部分302，配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值；
所述第一确定部分302，还配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
图18为本申请实施例提出的编码器的组成结构示意图二，如图18所示，本申请实施例提出的解码器300还可以包括第一处理器303、存储有第一处理器303可执行指令的第一存储器304、第一通信接口305，和用于连接第一处理器303、第一存储器304以及第一通信接口305的第一总线306。
进一步地，在本申请的实施例中，上述第一处理器303，用于解码码流，确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个 第一参考块和所述至少一个第二参考块，确定所述当前块的预测值；还用于确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
图19为本申请实施例提出的解码器的组成结构示意图一，如图19所示，本申请实施例提出的编码器400可以包括第二确定部分401，
所述第二确定部分401，配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值；
所述第二确定部分401，还配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
图20为本申请实施例提出的解码器的组成结构示意图二，如图20所示，本申请实施例提出的编码器400还可以包括第二处理器402、存储有第二处理器402可执行指令的第二存储器403、第二通信接口404，和用于连接第二处理器402、第二存储器403以及第二通信接口404的第二总线405。
进一步地，在本申请的实施例中，上述第二处理器402，用于确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值；还用于确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种编码器和解码器，基于APM模式，编解码器可以进行至少一个第一参考块和至少一个第二参考块的获取，然后通过至少一个第一参考块实现任意形状的划分处理，最终便可以结合至少一个第一参考块和至少一个第二参考块对当前块进行预测处理，从而实现对视频内容自适应的划分的帧间预测，能够在提高帧间预测的准确性的基础上降低复杂度，实现简单高效的编解码方法，从而提升压缩性能。
本申请实施例提供计算机可读存储介质和计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述实施例所述的方法。
具体来讲，本实施例中的一种帧间预测方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种帧间预测方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
解码码流，确定当前块的帧间预测模式参数；
当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；
根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值。
当存储介质中的与一种帧间预测方法对应的程序指令被一电子设备读取或被执行时，还包括如下步骤：
解码码流，确定当前块的帧间预测模式参数；
当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；
根据所述至少一个第一参考块确定权重值；
基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
当存储介质中的与一种帧间预测方法对应的程序指令被一电子设备读取或被执行时，还包括如下步骤：
确定当前块的帧间预测模式参数；
当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；
根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值。
当存储介质中的与一种帧间预测方法对应的程序指令被一电子设备读取或被执行时，还包括如下步骤：
确定当前块的帧间预测模式参数；
当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至 少一个第一参考块和至少一个第二参考块；
根据所述至少一个第一参考块确定权重值；
基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
本申请实施例提供了一种帧间预测方法、编码器、解码器以及存储介质，解码器解码码流，确定当前块的帧间预测模式参数；当帧间预测模式参数指示当前块使用APM确定当前块的帧间预测值时，确定当前块的至少一个第一参考块和至少一个第二参考块；其中，APM模式用于基于图像内容进行任意形状的划分处理；根据至少一个第一参考块和至少一个第二参考块，确定当前块的预测值。编码器确定当前块的帧间预测模式参数；当帧间预测模式参数指示当前块使用APM确定当前块的帧间预测值时，确定当前块的至少一个第一参考块和至少一个第二参考块；根据至少一个第一参考块和至少一个第二参考块，确定当前块的预测值。也就是说，在本申请的实施例中，基于APM模式，编解码器可以进行至少一个第一参考块和至少一个第二参考块的获取，然后通过至少一个第一参考块实现任意形状的划分处理，最终便可以结合至少一个第一参考块和至少一个第二参考块对当前块进行预测处理，从而实现对视频内容自适应的划分的帧间预测，能够在提高帧间预测的准确性的基础上降低复杂度，实现简单高效的编解码方法，从而提升压缩性能。
Claims (58)
- 一种帧间预测方法，应用于解码器，所述方法包括：解码码流，确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用自适应划分模式APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值。
- 一种帧间预测方法，应用于解码器，所述方法包括：解码码流，确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用自适应划分模式APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
- 根据权利要求1所述的方法，其中，所述划分处理为实际划分处理或模拟划分处理。
- 根据权利要求3所述的方法，其中，所述根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值，包括：根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
- 根据权利要求2或4所述的方法，其中，所述至少一个第一参考块包括第一块和第二块。
- 根据权利要求5所述的方法，其中，所述根据所述至少一个第一参考块确定权重值，包括：对于一像素位置，确定所述第一块中所述像素位置的第一像素值，确定所述第二块中所述像素位置的第二像素值；根据所述第一像素值和所述第二像素值，确定所述像素位置对应的权重值。
- 根据权利要求5所述的方法，其中，所述根据所述至少一个第一参考块确定权重值，包括：对于一像素位置，确定所述第一块中所述像素位置的第一像素值和所述像素位置的相邻像素位置的第一相邻像素值，确定所述第二块中所述像素位置的第二像素值和所述像素位置的相邻像素位置的第二相邻像素值；根据所述第一像素值、所述第一相邻像素值、所述第二像素值以及所述第二相邻像素值，确定所述像素位置对应的权重值。
- 根据权利要求5所述的方法，其中，所述根据所述至少一个第一参考块确定权重值，包括：对于一像素位置，使用其他像素位置对应的权重值对所述像素位置对应的权重值进行修正处理。
- 根据权利要求5所述的方法，其中，所述基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值，包括：对于一像素位置，确定所述像素位置对应的权重值，基于所述第一块确定所述像素位置对应的第三像素值，基于所述第二块确定所述像素位置对应的第四像素值，基于所述至少一个第二参考块确定所述像素位置对应的至少一个像素值；根据所述像素位置对应的权重值对所述第三像素值和/或所述第四像素值，以及所述至少一个像素值进行加权求和运算，确定所述像素位置对应的预测像素值。
- 根据权利要求5所述的方法，其中，所述基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值，包括：对于一像素位置，确定所述像素位置对应的权重值，基于所述第一块确定所述像素位置对应的第三像素值，基于所述第二块确定所述像素位置对应的第四像素值，基于一个第二参考块确定所述像素位置对应的第五像素值；根据所述像素位置对应的权重值对所述第三像素值和/或所述第四像素值，以及所述第五像素值进行加权求和运算，确定所述像素位置对应的预测像素值。
- 根据权利要求5所述的方法，其中，所述至少一个第二参考块包括第三块和第四块。
- 根据权利要求11所述的方法，其中，所述基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值，包括：对于一像素位置，确定所述像素位置对应的权重值，基于所述第一块确定所述像素位置对应的第三像素值，基于所述第二块确定所述像素位置对应的第四像素值，基于所述第三块确定所述像素位置对应的第六像素值；基于所述第四块确定所述像素位置对应的第七像素值；根据所述像素位置对应的权重值对所述第三像素值和/或所述第四像素值，以及所述第六像素值和所述第七像素值进行加权求和运算，确定所述像素位置对应的预测像素值。
- 根据权利要求2或4所述的方法，其中，所述至少一个第一参考块包括至少两个第一参考块。
- 根据权利要求1或2所述的方法，其中，所述当前块、所述第一参考块以及所述第二参考块为大小相同的图像块。
- 根据权利要求1或2所述的方法，其中，所述当前块与所述第一参考块具有全部相同或部分相同的前景内容；所述当前块与所述第二参考块具有全部相同或部分相同的背景内容。
- 根据权利要求1或2所述的方法，其中，所述确定所述当前块的至少一个第一参考块和至少一个第二参考块，包括：确定至少一个第一参考图像和至少一个第二参考图像；根据所述至少一个第一参考图像确定所述至少一个第一参考块；根据所述至少一个第二参考图像确定所述至少一个第二参考块。
- 根据权利要求1或2所述的方法，其中，所述确定所述当前块的至少一个第一参考块和至少一个第二参考块，包括：确定至少一个第一运动信息和至少一个第二运动信息；基于所述至少一个第一运动信息和所述至少一个第二运动信息确定所述至少一个第一参考块和所述至少一个第二参考块。
- 根据权利要求17所述的方法，其中，所述基于所述至少一个第一运动信息和所述至少一个第二运动信息确定所述至少一个第一参考块和所述至少一个第二参考块，包括：确定至少一个第一参考图像和至少一个第二参考图像；根据所述至少一个第一运动信息对所述至少一个第一参考图像进行插值处理，获得所述至少一个第一参考块；根据所述至少一个第二运动信息对所述至少一个第二参考图像进行插值处理，获得所述至少一个第二参考块。
- 根据权利要求17所述的方法，其中，所述基于所述至少一个第一运动信息和所述至少一个第二运动信息确定所述至少一个第一参考块和所述至少一个第二参考块，包括：确定至少一个第一参考图像和至少一个第二参考图像；根据所述至少一个第一运动信息对所述至少一个第一参考图像进行预测处理，获得所述至少一个第一参考块；根据所述至少一个第二运动信息对所述至少一个第二参考图像进行预测处理，获得所述至少一个第二参考块。
- 根据权利要求17所述的方法，其中，所述确定至少一个第一运动信息和至少一个第二运动信息，包括：确定至少一个第一初始运动信息和至少一个第二初始运动信息；分别对所述至少一个第一初始运动信息和所述至少一个第二初始运动信息进行细化处理，获得所述至少一个第一运动信息和所述至少一个第二运动信息。
- 根据权利要求20所述的方法，其中，所述方法还包括：利用解码端运动矢量细化DMVR对所述至少一个第一初始运动信息和所述至少一个第二初始运动信息进行细化处理；或者，利用解码端运动矢量推导DMVD对所述至少一个第一初始运动信息和所述至少一个第二初始运动信息进行细化处理。
- 根据权利要求17所述的方法，其中，所述方法还包括：所述至少一个第二运动信息对应的参考图像与所述至少一个第一运动信息对应的参考图像相同；且所述至少一个第二运动信息与所述至少一个第一运动信息的矢量差的绝对值小于或者等于第一阈值。
- 根据权利要求22所述的方法，其中，所述确定至少一个第一运动信息和至少一个第二运动信息，包括：确定所述至少一个第二运动信息；根据所述第一阈值和所述至少一个第二运动信息确定所述至少一个第一运动信息。
- 根据权利要求22所述的方法，其中，所述确定至少一个第一运动信息和至少一个第二运动信息，包括：确定所述至少一个第一运动信息；根据所述第一阈值和所述至少一个第一运动信息确定所述至少一个第二运动信息。
- 根据权利要求17所述的方法，其中，所述方法还包括：所述至少一个第一运动信息和所述至少一个第二运动信息中的任意两个运动信息之间的差值的绝对值小于或者等于第二阈值。
- 根据权利要求16、18、19任一项所述的方法，其中，所述至少一个第一参考图像与所述至少一个第二参考图像均不相同；或者，所述至少一个第一参考图像互不相同，所述至少一个第二参考图像互不相同，所述至少一个第一参考图像中的至少一个图像与所述至少一个第二参考图像中的至少一个图像相同。
- 一种帧间预测方法，应用于编码器，所述方法包括：确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用自适应划分模式APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值。
- 一种帧间预测方法，应用于编码器，所述方法包括：确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用自适应划分模式APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
- 根据权利要求27所述的方法，其中，所述划分处理为实际划分处理或模拟划分处理。
- 根据权利要求29所述的方法，其中，所述根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值，包括：根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
- 根据权利要求28或30所述的方法，其中，所述至少一个第一参考块包括第一块和第二块。
- 根据权利要求31所述的方法，其中，所述根据所述至少一个第一参考块确定权重值，包括：对于一像素位置，确定所述第一块中所述像素位置的第一像素值，确定所述第二块中所述像素位置的第二像素值；根据所述第一像素值和所述第二像素值，确定所述像素位置对应的权重值。
- 根据权利要求31所述的方法，其中，所述根据所述至少一个第一参考块确定权重值，包括：对于一像素位置，确定所述第一块中所述像素位置的第一像素值和所述像素位置的相邻像素位置的第一相邻像素值，确定所述第二块中所述像素位置的第二像素值和所述像素位置的相邻像素位置的第二相邻像素值；根据所述第一像素值、所述第一相邻像素值、所述第二像素值以及所述第二相邻像素值，确定所述像素位置对应的权重值。
- 根据权利要求31所述的方法，其中，所述根据所述至少一个第一参考块确定权重值，包括：对于一像素位置，使用其他像素位置对应的权重值对所述像素位置对应的权重值进行修正处理。
- 根据权利要求31所述的方法，其中，所述基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值，包括：对于一像素位置，确定所述像素位置对应的权重值，基于所述第一块确定所述像素位置对应的第三像素值，基于所述第二块确定所述像素位置对应的第四像素值，基于所述至少一个第二参考块确定所述像素位置对应的至少一个像素值；根据所述像素位置对应的权重值对所述第三像素值和/或所述第四像素值，以及所述至少一个像素值进行加权求和运算，确定所述像素位置对应的预测像素值。
- 根据权利要求31所述的方法，其中，所述基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值，包括：对于一像素位置，确定所述像素位置对应的权重值，基于所述第一块确定所述像素位置对应的第三像素值，基于所述第二块确定所述像素位置对应的第四像素值，基于一个第二参考块确定所述像素位置对应的第五像素值；根据所述像素位置对应的权重值对所述第三像素值和/或所述第四像素值，以及所述第五像素值进行加权求和运算，确定所述像素位置对应的预测像素值。
- 根据权利要求31所述的方法，其中，所述至少一个第二参考块包括第三块和第四块。
- 根据权利要求37所述的方法，其中，所述基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值，包括：对于一像素位置，确定所述像素位置对应的权重值，基于所述第一块确定所述像素位置对应的第三像素值，基于所述第二块确定所述像素位置对应的第四像素值，基于所述第三块确定所述像素位置对应的第六像素值；基于所述第四块确定所述像素位置对应的第七像素值；根据所述像素位置对应的权重值对所述第三像素值和/或所述第四像素值，以及所述第六像素值和所述第七像素值进行加权求和运算，确定所述像素位置对应的预测像素值。
- 根据权利要求28或30所述的方法，其中，所述至少一个第一参考块包括至少两个第一参考块。
- 根据权利要求27或28所述的方法，其中，所述当前块、所述第一参考块以及所述第二参考块为大小相同的图像块。
- 根据权利要求27或28所述的方法，其中，所述当前块与所述第一参考块具有全部相同或部分相同的前景内容；所述当前块与所述第二参考块具有全部相同或部分相同的背景内容。
- 根据权利要求27或28所述的方法，其中，所述确定所述当前块的至少一个第一参考块和至少一个第二参考块，包括：确定至少一个第一参考图像和至少一个第二参考图像；根据所述至少一个第一参考图像确定所述至少一个第一参考块；根据所述至少一个第二参考图像确定所述至少一个第二参考块。
- 根据权利要求27或28所述的方法，其中，所述确定所述当前块的至少一个第一参考块和至少一个第二参考块，包括：确定至少一个第一运动信息和至少一个第二运动信息；基于所述至少一个第一运动信息和所述至少一个第二运动信息确定所述至少一个第一参考块和所述至少一个第二参考块。
- 根据权利要求43所述的方法，其中，所述基于所述至少一个第一运动信息和所述至少一个第二运动信息确定所述至少一个第一参考块和所述至少一个第二参考块，包括：确定至少一个第一参考图像和至少一个第二参考图像；根据所述至少一个第一运动信息对所述至少一个第一参考图像进行插值处理，获得所述至少一个第一参考块；根据所述至少一个第二运动信息对所述至少一个第二参考图像进行插值处理，获得所述至少一个第二参考块。
- 根据权利要求43所述的方法，其中，所述基于所述至少一个第一运动信息和所述至少一个第二运动信息确定所述至少一个第一参考块和所述至少一个第二参考块，包括：确定至少一个第一参考图像和至少一个第二参考图像；根据所述至少一个第一运动信息对所述至少一个第一参考图像进行预测处理，获得所述至少一个第一参考块；根据所述至少一个第二运动信息对所述至少一个第二参考图像进行预测处理，获得所述至少一个第二参考块。
- 根据权利要求43所述的方法，其中，所述确定至少一个第一运动信息和至少一个第二运动信息，包括：确定至少一个第一初始运动信息和至少一个第二初始运动信息；分别对所述至少一个第一初始运动信息和所述至少一个第二初始运动信息进行细化处理，获得所述至少一个第一运动信息和所述至少一个第二运动信息。
- 根据权利要求46所述的方法，其中，所述方法还包括：利用解码端运动矢量细化DMVR对所述至少一个第一初始运动信息和所述至少一个第二初始运动信息进行细化处理；或者，利用解码端运动矢量推导DMVD对所述至少一个第一初始运动信息和所述至少一个第二初始运动信息进行细化处理。
- 根据权利要求43所述的方法，其中，所述方法还包括：所述至少一个第二运动信息对应的参考图像与所述至少一个第一运动信息对应的参考图像相同；且所述至少一个第二运动信息与所述至少一个第一运动信息的矢量差的绝对值小于或者等于第一阈值。
- 根据权利要求48所述的方法，其中，所述确定至少一个第一运动信息和至少一个第二运动信息，包括：确定所述至少一个第二运动信息；根据所述第一阈值和所述至少一个第二运动信息确定所述至少一个第一运动信息。
- 根据权利要求48所述的方法，其中，所述确定至少一个第一运动信息和至少一个第二运动信息，包括：确定所述至少一个第一运动信息；根据所述第一阈值和所述至少一个第一运动信息确定所述至少一个第二运动信息。
- 根据权利要求43所述的方法，其中，所述方法还包括：所述至少一个第一运动信息和所述至少一个第二运动信息中的任意两个运动信息之间的差值的绝对值小于或者等于第二阈值。
- 根据权利要求42、44、45任一项所述的方法，其中，所述至少一个第一参考图像与所述至少一个第二参考图像均不相同；或者，所述至少一个第一参考图像互不相同，所述至少一个第二参考图像互不相同，所述至少一个第一参考图像中的至少一个图像与所述至少一个第二参考图像中的至少一个图像相同。
- 根据权利要求27或28所述的方法，其中，所述方法还包括：将所述帧间预测模式参数写入码流。
- 一种解码器，所述解码器包括：解码部分，第一确定部分，所述解码部分，配置为解码码流；所述第一确定部分，配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值；所述第一确定部分，还配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
- 一种解码器，所述编码器包括第一处理器、存储有所述第一处理器可执行指令的第一存储器，当所述指令被执行时，所述第一处理器执行时实现如权利要求1-26任一项所述的方法。
- 一种编码器，所述编码器包括：第二确定部分，所述第二确定部分，配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；其中，所述APM模式用于基于图像内容进行任意形状的划分处理；根据所述至少一个第一参考块和所述至少一个第二参考块，确定所述当前块的预测值；所述第二确定部分，还配置为确定当前块的帧间预测模式参数；当所述帧间预测模式参数指示所述当前块使用APM模式确定所述当前块的帧间预测值时，确定所述当前块的至少一个第一参考块和至少一个第二参考块；根据所述至少一个第一参考块确定权重值；基于所述权重值、所述至少一个第一参考块以及所述至少一个第二参考块，确定所述当前块的预测值。
- 一种编码器，所述解码器包括第二处理器、存储有所述第二处理器可执行指令的第二存储器，当所述指令被执行时，所述第二处理器执行时实现如权利要求27-53任一项所述的方法。
- 一种计算机存储介质，其中，所述计算机存储介质存储有计算机程序，所述计算机程序被第一处理器执行时实现如权利要求1-26任一项所述的方法，或者，被第二处理器执行时实现如权利要求27-53任一项所述的方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/112852 WO2023019407A1 (zh) | 2021-08-16 | 2021-08-16 | 帧间预测方法、编码器、解码器以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117941352A true CN117941352A (zh) | 2024-04-26 |
Family
ID=85239932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180101521.4A Pending CN117941352A (zh) | 2021-08-16 | 2021-08-16 | 帧间预测方法、编码器、解码器以及存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4391534A1 (zh) |
| CN (1) | CN117941352A (zh) |
| WO (1) | WO2023019407A1 (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101712156B1 (ko) * | 2010-12-06 | 2017-03-06 | 에스케이 텔레콤주식회사 | 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치 |
| KR102582887B1 (ko) * | 2018-07-06 | 2023-09-25 | 미쓰비시덴키 가부시키가이샤 | 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법 |
| US11956460B2 (en) * | 2018-08-31 | 2024-04-09 | Hulu, LLC | Selective template matching in video coding |
| CN112135145B (zh) * | 2019-11-14 | 2022-01-25 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
-
2021
- 2021-08-16 EP EP21953661.2A patent/EP4391534A1/en active Pending
- 2021-08-16 CN CN202180101521.4A patent/CN117941352A/zh active Pending
- 2021-08-16 WO PCT/CN2021/112852 patent/WO2023019407A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| EP4391534A1 (en) | 2024-06-26 |
| WO2023019407A1 (zh) | 2023-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200296426A1 (en) | In loop chroma deblocking filter | |
| KR102287414B1 (ko) | 손실 비디오 코딩을 위한 저복잡도 혼합 도메인 협력 인-루프 필터 | |
| US9906790B2 (en) | Deblock filtering using pixel distance | |
| CA2997462C (en) | Image encoding and decoding using pixel adaptive offset process | |
| CN111819854B (zh) | 用于协调多符号位隐藏和残差符号预测的方法和装置 | |
| KR101981905B1 (ko) | 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 저장 매체 | |
| KR102244315B1 (ko) | 영상 부호화 방법 및 장치 | |
| EP2502420A1 (en) | Method for coding and method for reconstruction of a block of an image | |
| CN107646194B (zh) | 用于视频运动补偿的装置和方法 | |
| CN111837389A (zh) | 适用于多符号位隐藏的块检测方法及装置 | |
| CN113196783B (zh) | 去块效应滤波自适应的编码器、解码器及对应方法 | |
| AU2011316747A1 (en) | Internal bit depth increase in deblocking filters and ordered dither | |
| CN116601951A (zh) | 预测方法、编码器、解码器以及存储介质 | |
| KR20140124448A (ko) | 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치 | |
| CN109565592B (zh) | 一种使用基于分割的视频编码块划分的视频编码设备和方法 | |
| CN113950837A (zh) | 图像解码装置、图像解码方法及程序 | |
| WO2012123321A1 (en) | Method for reconstructing and coding an image block | |
| WO2022140905A1 (zh) | 预测方法、编码器、解码器以及存储介质 | |
| WO2014084674A2 (ko) | 잔차 변환을 이용한 인트라 예측 방법 및 장치 | |
| WO2014051980A1 (en) | Scan pattern determination from base layer pixel information for scalable extension | |
| EP4391534A1 (en) | Inter-frame prediction method, coder, decoder, and storage medium | |
| CN114598873B (zh) | 量化参数的解码方法和装置 | |
| CN116647683A (zh) | 量化处理方法和装置 | |
| CN118042136A (zh) | 编解码方法和装置 | |
| KR20140124447A (ko) | 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |