CN112970252A - 视频编解码的方法和装置 - Google Patents

视频编解码的方法和装置 Download PDF

Info

Publication number
CN112970252A
CN112970252A CN202080005888.1A CN202080005888A CN112970252A CN 112970252 A CN112970252 A CN 112970252A CN 202080005888 A CN202080005888 A CN 202080005888A CN 112970252 A CN112970252 A CN 112970252A
Authority
CN
China
Prior art keywords
prediction block
boundary value
boundary
region
vertical direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080005888.1A
Other languages
English (en)
Inventor
缪泽翔
郑萧桢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112970252A publication Critical patent/CN112970252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编解码的方法和装置,包括:若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部,从而使得当在编码端不进行瓦片边界滤波而在解码端进行瓦片边界滤波时,所述编码端进行编码时所参考的预测块的像素值和所述解码端进行解码时所参考的预测块的像素值能够保持一致,所述当前图像块位于当前帧;基于调整后的所述预测块,对所述当前图像块进行编码。本申请的方案,由于通过将当前图像块的运动矢量所指向的预测块调整至瓦片内部,可以进一步降低编码器的复杂度的同时,避免图像在瓦片边界产生块边界效应而导致画质变差。

Description

视频编解码的方法和装置
技术领域
本申请涉及图像处理领域,并且更为具体地,涉及一种视频编解码的方法和装置。
背景技术
目前,在实际应用中,由于对于视频分辨率和帧率的需求不断上升,单核的硬件编码器已经不能满足需求,多核的硬件编码器可以提供更高的编码性能,从而可以满足更高的分辨率和帧率的需求。多核的硬件编码器通常会将图像或视频分为多个瓦片(Tile),每个核负责其中一个或多个瓦片的编解码。
由于图像被划分到多个核中进行编码,在图像被划分的边界处更可能会出现较为明显的边界块效应,从而导致图像显示质量较差,用户观看视频的体验降低。在高效率视频编码标准(High Efficiency Video Coding,HEVC)中,与图像分瓦片相关的信息和功能开关存储在图片参数集(Picture Parameter Set,PPS)中,在图片参数集中有是否在瓦片边界处进行滤波的开关loop_filter_across_tiles_enabled_flag。针对上述问题,在一种实现方式下,可以将loop_filter_across_tiles_enabled_flag置为1,即针对瓦片边界的编码树单元(Coding Tree Unit,CTU)进行滤波,但是这种方式会因为需要在瓦片边界处进行更多的数据交换,导致额外提高了编码器的实现复杂度;在另一种实现方式下,可以选择将loop_filter_across_tiles_enabled_flag置为0,即不对瓦片边界进行滤波,但是解码后的图像在瓦片边界处可能出现明显的块边界效应导致主观质量变差。因为码流是编码端与解码端完全一致的,当loop_filter_across_tiles_enabled_flag为1时,编码端与解码端都会进行瓦片边界滤波操作;当loop_filter_across_tiles_enabled_flag为0时,编码端与解码端都不会进行瓦片边界滤波操作。
因此,如何消除由于不同核编码同一视频中的不同图像而导致的边界块效应,且使得编码器复杂度降低,成为亟需解决的问题。
发明内容
本申请实施例提供一种视频编解码的方法和装置,可以实现既将loop_filter_across_tiles_enabled_flag置为1,但在编码端不进行瓦片边界滤波降低编码器复杂度,又在解码端进行瓦片边界滤波使得主观质量相对不降低,解决现有技术在编码端和解码端同时进行滤波存在的缺陷和不足,同时可以保证编码端重建图像与解码端解码图像用作参考帧时的作用与效果完全一致,进一步地,因为在解码端进行了滤波操作可以减少潜在的解码图像瓦片边界块效应提高用户的观看体验。
第一方面,提供一种视频编码的方法,包括:若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部,从而使得当在编码端不进行瓦片边界滤波而在解码端进行瓦片边界滤波时,所述编码端进行编码时所参考的预测块的像素值和所述解码端进行解码时所参考的预测块的像素值能够保持一致,所述当前图像块位于当前帧;基于调整后的所述预测块,对所述当前图像块进行编码。
本申请实施例提供的视频编码的方法,若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界时,可以将预测块的位置调整至瓦片内部,从而基于调整后的预测块对当前图像块进行编码。由于通过将当前图像块的运动矢量所指向的预测块调整至瓦片内部,使得前述预测块的所有像素均不在需要滤波的瓦片边界滤波区域内,可以实现编码端不进行瓦片边界滤波而解码端进行瓦片边界滤波,且不引入由于“编码端不进行瓦片边界滤波而解码端进行瓦片边界滤波”使得编码端的预测块和解码端的预测块不一致进而导致的解码误差,从而可以进一步降低编码器的复杂度。
第二方面,提供了一种视频编码的装置,包括处理器和存储器。该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,执行上述第一方面或其各实现方式中的方法。
有益效果可以参见上述第一方面的描述,为了简洁,这里不再赘述。
第三方面,提供一种芯片,包括处理电路,用于实现上述第一方面的方法。
附图说明
图1是应用本申请实施例的技术方案的架构图;
图2是本申请一实施例提供的一种视频编码框架2示意图;
图3是本申请实施例提供的去块滤波示意图;
图4是本申请实施例提供的一种编码方法的示意性流程图;
图5a是本申请一实施例提供的对待编码视频划分的示意性图;
图5b是本申请另一实施例提供的对待编码视频划分的示意性图;
图5c是本申请又一实施例提供的对待编码视频划分的示意性图;
图6是本申请实施例提供的一种解码方法的示意性流程图;
图7是本申请另一实施例的提供的一种视频编码框架2示意图;
图8是本申请实施例提供的对待编码视频划分后所包括的信息的示意性图;
图9a是本申请一实施例提供的一种帧间预测的示意图;
图9b是本申请另一实施例提供的一种帧间预测的示意图;
图9c是本申请又一实施例提供的一种帧间预测的示意图;
图10a是本申请一实施例提供的一种划分的瓦片边界受滤波影响的区域的示意图;
图10b是本申请另一实施例提供的一种划分的瓦片边界受滤波影响的区域的示意图;
图10c是本申请又一实施例提供的一种划分的瓦片边界受滤波影响的区域的示意图;
图11a是本申请一实施例提供的一种预测块的位置的示意图;
图11b是本申请另一实施例提供的一种预测块的位置的示意图;
图11c是本申请又一实施例提供的一种预测块的位置的示意图;
图12a是本申请一实施例提供的一种对原预测块的位置进行调整的示意图;
图12b是本申请另一实施例提供的一种对原预测块的位置进行调整的示意图;
图12c是本申请又一实施例提供的一种对原预测块的位置进行调整的示意图;
图12d是本申请再一实施例提供的一种对原预测块的位置进行调整的示意图;
图12e是本申请再一实施例提供的一种对原预测块的位置进行调整的示意图;
图13是本申请实施例提供的视频编码装置的示意性图;
图14是本申请实施例提供的视频解码装置的示意性图;
图15是本申请实施例提供的视频编解码装置的示意性结构图;
图16是本申请实施例提供的芯片的示意性结构图。
具体实施方式
下面对本申请实施例中的技术方案进行描述。
除非另有说明,本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请的范围。
图1是应用本申请实施例的技术方案的架构图。
如图1所示,***100可以接收待处理数据102,对待处理数据102进行处理,产生处理后的数据108。例如,***100可以接收待编码数据,对待编码数据进行编码以产生编码后的数据,或者,***100可以接收待解码数据,对待解码数据进行解码以产生解码后的数据。在一些实施例中,***100中的部件可以由一个或多个处理器实现,该处理器可以是计算设备中的处理器,也可以是移动设备(例如无人机)中的处理器。该处理器可以为任意种类的处理器,本发明实施例对此不做限定。在一些可能的设计中,该处理器可以包括编码器、解码器或编解码器等。***100中还可以包括一个或多个存储器。该存储器可用于存储指令和数据,例如,实现本发明实施例的技术方案的计算机可执行指令、待处理数据102、处理后的数据108等。该存储器可以为任意种类的存储器,本发明实施例对此也不做限定。
待编码数据可以包括文本、图像、图形对象、动画序列、音频、视频、或者任何需要编码的其他数据。在一些情况下,待编码数据可以包括来自传感器的传感数据,该传感器可以为视觉传感器(例如,相机、红外传感器),麦克风、近场传感器(例如,超声波传感器、雷达)、位置传感器、温度传感器、触摸传感器等。在一些情况下,待编码数据可以包括来自用户的信息,例如,生物信息,该生物信息可以包括面部特征、指纹扫描、视网膜扫描、嗓音记录、DNA采样等。
图2是根据本申请实施例的视频编码框架2示意图。如图2所示,在接收待编码视频后,从待编码视频的第一帧开始,依次对待编码视频中的每一帧进行编码。其中,当前编码帧主要经过:预测(Prediction)、变换(Transform)、量化(Quantization)和熵编码(Entropy Coding)等处理,最终输出当前编码帧的码流。对应的,解码过程通常是按照上述过程的逆过程对接收到的码流进行解码,以恢复出解码前的视频帧信息。
具体地,如图2所示,所述视频编码框架2中包括一个编码控制模块201,用于进行编码过程中的决策控制动作,以及参数的选择。例如,如图2所示,编码控制模块201控制变换、量化、反量化、反变换的中用到的参数,控制进行帧内模式或者帧间模式的选择,以及运动估计和滤波的参数控制,且编码控制模块201的控制参数也将输入至熵编码模块中,进行编码形成编码码流中的一部分。
对当前编码帧开始编码时,对编码帧进行划分202处理,具体地,首先对其进行条带(slice)划分,再进行块划分。可选地,在一个示例中,编码帧划分为多个互不重叠的最大的CTU,各CTU还可以分别按四叉树、或二叉树、或三叉树的方式迭代划分为一系列更小的编码单元(Coding Unit,CU),一些示例中,CU还可以包含与之相关联的预测单元(PredictionUnit,PU)和变换单元(Transform Unit,TU),其中PU为预测的基本单元,TU为变换和量化的基本单元。一些示例中,PU和TU分别是在CU的基础上划分成一个或多个块得到的,其中一个PU包含多个预测块(Prediction Block,PB)以及相关语法元素。一些示例中,PU和TU可以是相同的,或者,是由CU通过不同的划分方法得到的。一些示例中,CU、PU和TU中的至少两种是相同的,例如,不区分CU、PU和TU,全部是以CU为单位进行预测、量化和变换。为方便描述,下文中将CTU、CU或者其它形成的数据单元均称为编码块。
应理解,在本申请实施例中,视频编码针对的数据单元可以为帧,条带,编码树单元,编码单元,编码块或以上任一种的组。在不同的实施例中,数据单元的大小可以变化。
具体地,如图2所示,编码帧划分为多个编码块后,进行预测过程,用于去除当前编码帧的空域和时域冗余信息。当前比较常用的预测编码方法包括帧内预测和帧间预测两种方法。帧内预测仅利用本帧图像中己重建的信息对当前编码块进行预测,而帧间预测会利用到之前已经重建过的其它帧图像(也被称作参考帧)中的信息对当前编码块进行预测。具体地,在本申请实施例中,编码控制模块201用于决策选择帧内预测或者帧间预测。
当选择帧内预测模式时,帧内预测203的过程包括获取当前编码块周围已编码相邻块的重建块作为参考块,基于该参考块的像素值,采用预测模式方法计算预测值生成预测块,将当前编码块与预测块的相应像素值相减得到当前编码块的残差,当前编码块的残差经过变换204、量化205以及熵编码210后形成当前编码块的码流。进一步的,当前编码帧的全部编码块经过上述编码过程后,形成编码帧的编码码流中的一部分。此外,帧内预测203中产生的控制和参考数据也经过熵编码210编码,形成编码码流中的一部分。
具体地,变换204用于去除图像块的残差的相关性,以便提高编码效率。对于当前编码块残差数据的变换通常采用二维离散余弦变换(Discrete Cosine Transform,DCT)变换和二维离散正弦变换(Discrete Sine Transform,DST)变换,例如在编码端将编码块的残差信息分别与一个N×M的变换矩阵及其转置矩阵相乘,相乘之后得到当前编码块的变换系数。
在产生变换系数之后用量化205进一步提高压缩效率,变换系数经量化可以得到量化后的系数,然后将量化后的系数进行熵编码210得到当前编码块的残差码流,其中,熵编码方法包括但不限于内容自适应二进制算术编码(Context Adaptive BinaryArithmetic Coding,CABAC)熵编码。最后将熵编码得到的比特流及进行编码后的编码模式信息进行存储或发送到解码端。在编码端,还会对量化的结果进行反量化206,对反量化结果进行反变换207。在反变换207之后,利用反变换结果以及运动补偿结果,得到重建像素。之后,对重建像素进行滤波(即环路滤波)211。在211之后,输出滤波后的重建图像(属于重建视频帧)。后续,重建图像可以作为其他帧图像的参考帧图像进行帧间预测。本申请实施例中,重建图像又可称为重建后的图像或重构图像。
具体地,帧内预测203过程中的已编码相邻块为:当前编码块编码之前,已进行编码的相邻块,该相邻块的编码过程中产生的残差经过变换204、量化205、反量化206、和反变换207后,与该相邻块的预测块相加得到的重建块。对应的,反量化206和反变换207为量化206和变换204的逆过程,用于恢复量化和变换前的残差数据。
如图2所示,当选择帧间预测模式时,帧间预测过程包括运动估计(MotionEstimation,ME)208和运动补偿(Motion Compensation,MC)209。具体地,编码端可以根据重建视频帧中的参考帧图像进行运动估计208,在一张或多张参考帧图像中根据一定的匹配准则搜索到与当前编码块最相似的图像块作为预测块,该预测块与当前编码块的相对位移即为当前编码块的运动矢量(Motion Vector,MV)。并将该编码块像素的原始值与对应的预测块像素值相减得到编码块的残差。当前编码块的残差经过变换204、量化205以及熵编码210后形成编码帧的编码码流中的一部分。对于解码端来说,可以基于上述确定的运动矢量和预测块进行运动补偿209,获得当前编码块。
其中,如图2所示,重建视频帧为经过滤波211之后得到视频帧。重建视频帧包括一个或多个重建后的图像。滤波211用于减少编码过程中产生的块效应和振铃效应等压缩失真,重建视频帧在编码过程中用于为帧间预测提供参考帧,在解码过程中,重建视频帧经过后处理后输出为最终的解码视频。
具体地,帧间预测模式可以包括高级运动矢量预测(Advanced Motion VectorPrediction,AMVP)模式、合并(Merge)模式或跳过(skip)模式。
对于AMVP模式而言,可以先确定运动矢量预测(Motion Vector Prediction,MVP),在得到MVP之后,可以根据MVP确定运动估计的起始点,在起始点附近,进行运动搜索,搜索完毕之后得到最优的MV,由MV确定参考块在参考图像中的位置,参考块减去当前块得到残差块,MV减去MVP得到运动矢量差值(Motion Vector Difference,MVD),并将该MVD和MVP的索引通过码流传输给解码端。
对于Merge模式而言,可以先确定MVP,并直接将MVP确定为当前块的MV。其中,为了得到MVP,可以先构建一个MVP候选列表(merge candidate list),在MVP候选列表中,可以包括至少一个候选MVP,每个候选MVP可以对应有一个索引,编码端在从MVP候选列表中选择MVP之后,可以将该MVP索引写入到码流中,则解码端可以按照该索引从MVP候选列表中找到该索引对应的MVP,以实现对图像块的解码。
应理解,以上过程只是Merge模式的一种具体实现方式。Merge模式还可以具有其他的实现方式。
例如,Skip模式是Merge模式的一种特例。按照Merge模式得到MV之后,如果编码端确定当前块和参考块基本一样,那么不需要传输残差数据,只需要传递MVP的索引,以及进一步地可以传递一个标志,该标志可以表明当前块可以直接从参考块得到。
也就是说,Merge模式特点为:MV=MVP(MVD=0);而Skip模式还多一个特点,即:重构值rec=预测值pred(残差值resi=0)。
Merge模式可以应用于几何预测技术中。在几何预测技术中,可以将待编码的图像块划分为多个形状为多边形的子图像块,可以从运动信息候选列表中,分别为每个子图像块确定运动矢量,并基于每个子图像块的运动矢量,确定每个子图像块对应的预测子块,基于每个子图像块对应的预测子块,构造当前图像块的预测块,从而实现对当前图像块的编码。
由于分块进行预测和变换量化,相邻块之间由于编码参数的不同可能导致编码重建图像出现方块效应(Blocking Artifacts),为了去除编码重建图像的方块效应,高效率视频编码(High Efficiency Video Coding,HEVC)标准在编码环路中使用了去方块滤波(Deblocking Filter,DBF)技术用于提高视频的主观质量和重建帧的参考效率。DBF技术的作用是通过修正重建编码块的像素值,尤其是编码块边界附近的像素值,从而达到消除编解码算法带来的方块效应的目的。DBF主要有两个步骤,即对块边界滤波强度的判定和对块边界像素的滤波。
HEVC中的DBF的滤波顺序是以CTU为基本单位,按照光栅顺序进行滤波,先进行垂直边界滤波再进行水平边界滤波。如图3所示,图中实心圆点表示像素点,图中黑线实线表示待滤波的图像块边界,较粗黑色虚线框部分表示进行滤波操作的8x8大小的处理块,每个处理块都跨越4个8x8待滤波块,包含一个“+”字形的边缘。这样一来,每个处理块的目标就是对“+”字形的边界进行滤波,并且包含了自身所需要的所有滤波数据,这就使得滤波操作可以对每个8x8处理块进行单独操作,有利于HEVC实现并行滤波操作。其中,通过DBF技术处理可以修改图像块边界左右两侧至多3个像素点的像素值来实现平滑图像块的边界。
对于解码端,则进行与编码端相对应的操作。首先利用熵解码以及反量化和反变换得到残差信息,并根据解码码流确定当前图像块使用帧内预测还是帧间预测。如果是帧内预测,则利用当前帧中已重建图像块按照帧内预测方法构建预测信息;如果是帧间预测,则需要解析出运动信息,并使用所解析出的运动信息在已重建的图像中确定参考块,得到预测信息;接下来,再将预测信息与残差信息进行叠加,并经过滤波操作便可以得到重建信息。
在实际应用中,由于对于视频分辨率和帧率的需求不断上升,单核的硬件编码器已经不能满足需求,多核的硬件编码器可以提供更高的编码性能,从而可以满足更高的分辨率和帧率的需求。多核的硬件编码器通常会将图像或视频分为多个瓦片,每个核负责其中一个或多个瓦片的编码。
应理解,本申请实施例中,通过对图像或视频划分得到的多个瓦片也可以称为图像块,本申请对此不作具体限定。
由于图像被划分到多个核中进行编码,因此在图像被划分的边界处会出现较为明显的边界,从而导致用户的观看体验降低。
针对上述问题,第一种实现方式下,可以选择在编码端和解码端均不对瓦片边界进行滤波,但是解码后的图像在瓦片边界处可能出现明显的块边界效应导致主观质量变差;第二种实现方式为,可以选择在编码端和解码端均进行瓦片边界滤波,可解决瓦片边界处的块边界效应,但是在编码端无需显示,也进行瓦片边界滤波会带来额外的数据交换和计算量,提高了编码过程的实现复杂度。
本申请提供一种视频编码和视频解码的方法,可以实现既在编码端不进行瓦片边界滤波降低编码器复杂度,又在解码端进行瓦片边界滤波使得主观质量相对不降低,解决现有技术在编码端和解码端同时进行滤波存在的缺陷和不足,同时可以保证编码端重建图像与解码端解码图像用作参考帧时的作用与效果完全一致,进一步地,因为在解码端进行了滤波操作可以减少潜在的解码图像瓦片边界块效应提高用户的观看体验。
下面将结合图4详细描述本申请实施例提供的视频编码的方法400。
如图4所示为本申请一实施例提供的视频编码的方法400,该方法可由编码端执行,该方法400可以包括步骤410-420。
410,若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部,从而使得当在编码端不进行瓦片边界滤波而在解码端进行瓦片边界滤波时,所述编码端进行编码时所参考的预测块的像素值和所述解码端进行解码时所参考的预测块的像素值能够保持一致,所述当前图像块位于当前帧。
若不执行步骤410,当在编码端不进行瓦片边界滤波,而在解码端进行瓦片边界滤波,在所述预测块位于瓦片边界上时,编码端进行编码时所参考的预测块和解码端进行解码时所参考的预测块会不一致,从而会导致解码误差。
而在本发明实施例中,由于经过位置调整后的预测块位于所述参考帧的瓦片内部,则在编码端不进行瓦片边界滤波而在解码端进行瓦片边界滤波时,编码端进行编码时所参考的(经过位置调整后的)预测块位于参考帧各瓦片的内部,再者因为解码时的预测块位置信息与编码端预测块位置信息完全相同,所以解码端进行解码时所参考的预测块也位于参考帧各瓦片的内部,与边界无关,从而保证两者的一致性,避免编码端不进行瓦片边界滤波而在解码端进行瓦片边界滤波导致的解码误差。另外,在本发明实施例中,无需在编码端进行瓦片边界滤波,减少在编码端的数据交换以及滤波的计算量,同时在解码端进行瓦片边界滤波,也避免图像在瓦片边界产生块边界效应而导致画质变差。
需要说明的是,所述预测块位于所述参考帧的瓦片内部包括所述预测块与所述参考帧的瓦片边界需要滤波的区域不重合。另外,对预测块位置的调整可通过调整运动矢量来实现。
本申请实施例中的预测块可以是多个参考块中的其中一个或多个参考块,该参考块位于参考帧,其中,该参考帧可以是当前帧的前一帧和/或后一帧,也可以是当前帧的前几帧和/或后几帧,还可以是固定帧,本申请对此不作具体限制。
本申请实施例中,划分后的参考帧包括的多个瓦片的大小可以相同,即在对参考帧进行划分的时候,可以从参考帧的中心进行垂直或水平划分;划分后的参考帧包括的多个瓦片的大小也可以不同,即在对参考帧进行划分的时候,可以不从参考帧的中心进行垂直或水平划分。
例如,如图5a所示,为本申请一实施例提供的一种对待编码视频中的某一帧(可以为本申请中的参考帧)图像的划分的示意性图。可以通过对参考帧进行水平划分得到两个瓦片,分别为瓦片1和瓦片2,每一个瓦片呈矩形。
其中,每一个瓦片可以包括整数个CTU,在编码时,可以利用不同的处理器分别对瓦片1和瓦片2进行编码。
如图5b所示,为本申请另一实施例提供的一种对待编码视频中的某一帧(可以为本申请中的参考帧)图像的划分的示意性图。可以通过对参考帧进行垂直划分得到两个瓦片,分别为瓦片3和瓦片4,每一个瓦片呈矩形。
类似地,每一个瓦片可以包括整数个CTU,在编码时,可以利用不同的处理器分别对瓦片3和瓦片4进行编码。
如图5c所示,为为本申请又一实施例提供的一种对待编码视频中的某一帧(可以为本申请中的参考帧)图像的划分的示意性图。可以通过对参考帧进行垂直和水平划分得到四个瓦片,分别为瓦片5、瓦片6、瓦片7和瓦片8,每一个瓦片呈矩形。
类似地,每一个瓦片可以包括整数个CTU,在编码时,可以利用不同的处理器分别对瓦片5、瓦片6、瓦片7和瓦片8进行编码。
应理解,本申请实施例中的水平划分可以是指从水平方向对图像进行的划分,垂直划分可以是指从垂直方向对图像进行的划分。
本申请实施例中,若确定的当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,则可以对预测块的位置进行调整,即可以将所述预测块向某一个方向偏移,以使得移动后的预测块位于参考帧的瓦片内部。
420,基于调整后的所述预测块,对所述当前图像块进行编码。
本申请实施例提供的视频编码的方法,若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界时,可以将预测块的位置调整至瓦片内部,从而基于调整后的预测块对当前图像块进行编码。由于通过将当前图像块的运动矢量所指向的预测块调整至瓦片内部,使得前述预测块的所有像素均不在需要滤波的瓦片边界滤波区域内,可以实现编码端不进行瓦片边界滤波而解码端进行瓦片边界滤波,且不引入由于“编码端不进行瓦片边界滤波而解码端进行瓦片边界滤波”使得编码端的预测块和解码端的预测块不一致进而导致的解码误差,从而可以进一步降低编码器的复杂度。
可选地,在一些实施例中,所述方法还包括:在对所述当前图像块进行编码的过程中,使能所述瓦片边界滤波。
可选地,在一些实施例中,所述使能所述瓦片边界滤波,包括:将码流数据中的瓦片边界滤波使能标志位置为1;其中,所述瓦片边界滤波使能标志位位于所述码流数据的图片数据集、序列参数集、条带头、图像头或序列头中。
在本实施例中,使能瓦片边界滤波,即将码流数据中的瓦片边界滤波使能标志位loop_filter_across_tiles_enabled_flag置为1。其中,所述瓦片边界滤波使能标志位loop_filter_across_tiles_enabled_flag位于码流数据中的图片参数集(PictureParameter Set,PPS)、序列参数集(Sequence Paramater Set,SPS)、条带头、图像头或序列头中或其他头部数据中。本发明实施例可以实现既将loop_filter_across_tiles_enabled_flag置为1,但在编码端不进行瓦片边界滤波降低编码器复杂度,又在解码端进行瓦片边界滤波使得主观质量相对不降低,解决现有技术在编码端和解码端同时进行滤波存在的缺陷和不足,同时可以保证编码端重建图像与解码端解码图像用作参考帧时的作用与效果完全一致,进一步地,因为在解码端进行了滤波操作可以减少潜在的解码图像瓦片边界块效应提高用户的观看体验。
相应的,对于解码端来说,解码端可以基于上述编码过程进行解码。
如图6所示为本申请一实施例提供的视频编码的方法600,该方法600可以包括步骤610-620。
610,确定当前图像块的运动矢量所指向的预测块位于参考帧的瓦片内部,所述当前图像块位于当前帧。
可以理解的是,由于编码端在进行编码的过程中,将当前图像块的运动矢量所指向的预测块的位置调整至瓦片内部,基于调整后的预测块进行编码。相应的,解码端在进行解码的过程中,当前图像块的运动矢量所指向的预测块是调整后的预测块,即该预测块位于瓦片内部。
需要说明的是,预测块位于参考帧的瓦片内部可以是指预测块不位于瓦片的边界上,即不位于下文中提到的第一区域。换句话说,预测块不位于下文中提到的第一区域即可理解为预测块位于参考帧的瓦片内部。
620,基于所述预测块,对所述当前图像块进行解码。
应理解,上述步骤610是可选步骤,换句话说,解码端可以不用确定当前图像块的运动矢量所指向的预测块位于参考帧的瓦片内部,可以基于预测块,对当前图像块直接进行解码。
本申请实施例提供的视频解码的方法,解码端可以确定当前图像块的运动矢量所指向的预测块位于参考帧的瓦片内部,从而基于该预测块对当前图像块进行解码。从而使得编码端在编码时不进行边界滤波,解码端在进行解码的过程中,可以进行瓦片边界滤波,使得主观质量相对不降低,同时可以保证解码端解码图像和编码端重建图像保持完全一致,进一步地,可以提高用户的观看体验。
为了便于理解本申请的方案,下文将结合图7介绍本申请实施例提供的视频编码的方法。
如图7所示,为本申请另一实施例提供的一种视频编码框架2示意图。其中,该视频编码框架示意图中增加了一个瓦片边界信息划分212。具体地,编码端可以根据重建视频帧中的参考帧图像进行运动估计208,在一张或多张参考帧图像中根据一定的匹配准则搜索到与当前编码块最相似的图像块作为预测块,该预测块与当前编码块的相对位移即为当前编码块的运动矢量。若根据瓦片边界信息划分判断获得的预测块位于瓦片边界上,可以将该预测块的位置调整至瓦片内部,并将该编码块像素的原始值与对应的预测块像素值相减得到编码块的残差。当前编码块的残差经过变换204、量化205以及熵编码210后形成编码帧的编码码流中的一部分。对于解码端来说,可以基于上述确定的运动矢量和预测块进行运动补偿209,从而获得当前块。
其中,对编码帧进行划分202处理,可以是指对编码帧进行瓦片划分处理,并将划分后的瓦片边界信息发送至帧间预测模块,以便于帧间预测模块在进行运动估计208和运动补偿209的时候进行判断并执行相应操作。
划分后的瓦片边界信息可以包括:瓦片i_x_起始、瓦片i_x_结束、瓦片i_y_起始、瓦片i_y_结束。其中,瓦片i_x_起始表示第i个瓦片在水平方向的起始坐标,瓦片i_x_结束表示第i个瓦片在水平方向的结束坐标,瓦片i_y_起始表示第i个瓦片在垂直方向的起始坐标,瓦片i_y_结束表示第i个瓦片在垂直方向的结束坐标。
如图8所示,为本申请实施例提供的对待编码视频划分后所包括的信息的示意性图。图8中所示的是对参考帧进行垂直划分得到两个瓦片,分别为瓦片0和瓦片1。以瓦片1为例,瓦片1_x_起始表示瓦片1在水平方向的起始坐标,瓦片1_x_结束表示瓦片1在水平方向的结束坐标,瓦片1_y_起始表示瓦片1在垂直方向的起始坐标,瓦片1_y_结束表示瓦片1在垂直方向的结束坐标。
上文指出,在确定当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上时,可以对预测块的位置进行调整。其中,调整的方式可以包括多种方式,具体详见下文。
可选地,在一些实施例中,所述对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部,包括:基于预设规则对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部。
可选地,在一些实施例中,所述预设规则包括:将所述预测块按照以下方式中的至少一种方式进行调整:
将所述预测块向左上方移动;
将所述预测块向左侧移动;
将所述预测块向下方移动;
将所述预测块向右下方移动;
将所述预测块向右侧移动;
将所述预测块向右上方移动;以及
将所述预测块向计算得到的最接近的区域移动。
本申请实施例中,如图9a所示,为本申请实施例提供的一种帧间预测的示意图。可以通过对参考帧进行水平划分得到两个瓦片,分别为瓦片1和瓦片2。从图9a中可以看出,当前图像块的预测块位于参考帧的瓦片边界上,可以将该预测块的位置向上方移动,以将该预测块调整至瓦片1的内部,如图9a中虚线所示。
如图9b所示,为本申请另一实施例提供的一种帧间预测的示意图。可以通过对参考帧进行垂直划分得到两个瓦片,分别为瓦片3和瓦片4。从图9b中可以看出,当前图像块的预测块位于参考帧的瓦片边界上,可以将该预测块的位置向左侧移动,以将该预测块调整至瓦片3的内部,如图9b中虚线所示。
如图9c所示,为本申请另一实施例提供的一种帧间预测的示意图。可以通过对参考帧进行垂直和水平划分得到四个瓦片,分别为瓦片5、瓦片6、瓦片7和瓦片8。从图9c中可以看出,当前图像块的预测块位于参考帧的瓦片边界上,可以将该预测块的位置向左上方移动,以将该预测块调整至瓦片5的内部,如图9c中虚线所示。
类似地,对于其它可能的方式与上述类似,为了简洁,这里不再赘述。
需要特别说明的是,本申请实施中的将所述预测块向计算得到的最接近的区域移动可以理解为:将所述预测块向其中所述预测块的大部分块所位于的区域移动。参考图9c,当前图像块的预测块位于参考帧的瓦片边界上,该预测块的大部分块位于瓦片5中,因此,可以将该预测块向瓦片5的区域移动,以使得该预测块调整至瓦片5中。
上文说明了若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上时,对预测块的位置进行调整的多种方式。下文将说明确定当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上的实现方式,具体请参见下文。
本申请实施例中,可以对确定的运动矢量所指向的预测块的位置进行调整。更为优选地,若运动矢量为候选列表中的运动矢量,则可以对该运动矢量进行标记,该标记旨在标识该运动矢量在后续编码过程中不可用。
其中,候选列表可以为Skip候选列表或Merge候选列表,该候选列表可以根据每个图像块的左侧图像块、上方图像块等相邻信息生成。其中,该候选列表可以表示为:list={(mv_x1,mv_y1),(mv_x2,mv_y2)…(mv_x5,mv_y5)}。
应理解,候选列表也可以是以表格的形式或其它形式示出,不予限制。
可选地,在一些实施例中,所述方法还包括:基于所述预测块的边界值与第一区域的边界值,判断所述预测块是否位于所述参考帧的瓦片边界上,所述第一区域为所述瓦片边界受滤波影响的区域。
如图10a所示,为本申请实施例提供的一种划分的瓦片边界受滤波影响的区域的示意图。参考图10a,通过对参考帧进行水平划分可以得到两个瓦片,分别为瓦片1和瓦片2,其中,参考帧的中间较粗的黑色实线为瓦片划分边界线,上下两条虚线与参考帧的左边界和右边界所形成的区域可以为本申请实施例中的第一区域。
本申请实施例提供的方案,通过预测块的边界值与第一区域的边界值,判断运动矢量所指向的预测块是否位于参考帧的瓦片边界上,有利于编码端确定是否对运动矢量所指向的预测块的位置进行调整。
可选地,在一些实施例中,所述若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,对所述预测块的位置进行调整,包括:若所述预测块的任意边界位于所述第一区域内,对所述预测块的位置进行调整。
如上所述,本申请实施例中的第一区域可以为瓦片边界受滤波影响的区域。参考图10a,通过对参考帧进行水平划分可以得到两个瓦片,分别为瓦片1和瓦片2,由上下两条虚线与参考帧的左边界和右边界所形成的区域即为本申请中的的第一区域。假设当前图像块的预测块的任意边界位于第一区域内,则可以确定运动矢量所指向的预测块位于参考帧的瓦片边界上,从而可以对预测块的位置进行调整。
如图10a所示的,从图中可以看出,预测块1-1的下边界位于第一区域内,预测块1-2的上边界位于第一区域内,预测块2的所有边界位于第一区域内。若运动矢量所指向的预测块位于上述3个预测块中的其中一个预测块的位置,则可以确定运动矢量所指向的预测块位于参考帧的瓦片边界上,从而可以对预测块的位置进行调整。
参考图10b,通过对参考帧进行垂直划分可以得到两个瓦片,分别为瓦片3和瓦片4,由左右两条虚线与参考帧的上边界和下边界所形成的区域即为本申请中的的第一区域。假设当前图像块的预测块的任意边界位于第一区域内,则可以确定运动矢量所指向的预测块位于参考帧的瓦片边界上,从而可以对预测块的位置进行调整。
如图10b所示的,从图中可以看出,预测块3-1的右边界位于第一区域内,预测块3-2的左边界位于第一区域内,预测块4的所有边界位于第一区域内。若运动矢量所指向的预测块位于上述3个预测块中的其中一个预测块的位置,则可以确定运动矢量所指向的预测块位于参考帧的瓦片边界上,从而可以对预测块的位置进行调整。
参考图10c,通过对参考帧进行水平和垂直划分得到四个瓦片,分别为瓦片5、瓦片6、瓦片7和瓦片8,由图中所有的虚线与参考帧的边界形成的区域即为本申请中的第一区域。假设当前图像块的预测块的任意边界位于第一区域内,则可以确定运动矢量所指向的预测块位于参考帧的瓦片边界上,从而可以对预测块的位置进行调整。
如图10c所示的,从图中可以看出,预测块5-1的右边界和下边界位于第一区域内,预测块5-2的左边界和下边界位于第一区域内,预测块5-3的左边界位于第一区域内,预测块6的所有边界位于第一区域内。若运动矢量所指向的预测块位于上述4个预测块中的其中一个预测块的位置,则可以确定运动矢量所指向的预测块位于参考帧的瓦片边界上,从而可以对预测块的位置进行调整。
需要说明的是,上述预测块的位置仅为举例说明,只要预测块的任意边界位于第一区域内均可以应用本申请,不应对本申请造成特别限定。
此外,本申请实施例中的预测块的边界值可以是指该预测块在坐标系中的数值,例如,预测块的左边界值和右边界值可以是指该预测块在坐标系中的x值,预测块的上边界值和下边界值可以是指该预测块在坐标系中的y值。
本申请实施例提供的方案,若运动矢量所指向的预测块的任意边界位于第一区域内,则可以将运动矢量所指向的预测块的位置调整至瓦片内部,可以实现编码端不进行瓦片边界滤波,从而可以进一步降低编码器的复杂度。
可选地,在一些实施例中,所述若所述预测块的任意边界位于所述第一区域内,对所述预测块的位置进行调整,包括:若所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的左边界值,且所述预测块在水平方向的右边界值小于或等于所述第一区域在水平方向的右边界值,对所述预测块的位置进行调整;和/或,若所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的右边界值,且所述预测块在水平方向的左边界值大于或等于所述第一区域在水平方向的左边界值,对所述预测块的位置进行调整。
本申请实施例中的右边界和左边界所参考的坐标系可以是二维坐标系,例如,如上述图8所示出的,预测块的左上角可以位于坐标系的原点o处,以原点o为起点水平向右的方向可以为本申请中的X方向,以原点o为起点垂直向下的方向可以为本申请中的Y方向。
本申请实施例中,若预测块在水平方向的右边界值大于或等于第一区域在水平方向的左边界值,且预测块在水平方向的右边界值小于或等于第一区域在水平方向的右边界值,则该预测块的位置有多种可能。一种可能是,预测块的右边界位于第一区域且预测块的左边界不位于第一区域,如图10b中的预测块3-1;另一种可能是,预测块的右边界和左边界均位于第一区域,如图10b中的预测块4。
基于上文中所描述的内容,可以理解为,若预测块在水平方向的右边界位于第一区域内,则可以对所述预测块的位置进行调整。
类似地,若预测块在水平方向的左边界值小于或等于第一区域在水平方向的右边界值,且预测块在水平方向的左边界值大于或等于第一区域在水平方向的左边界值,则该预测块的位置有多种可能。一种可能是,预测块的左边界位于第一区域且预测块的右边界不位于第一区域,如图10b中的预测块3-2;另一种可能是,预测块的左边界和右边界均位于第一区域,如图10b中的预测块4。
基于上文中所描述的内容,可以理解为,若预测块在水平方向的左边界位于第一区域内,则可以对所述预测块的位置进行调整。
本申请实施例提供的方案,通过判断预测块的边界值与第一区域的边界值,可以确定对预测块的位置进行调整,以实现编码端不进行瓦片边界滤波,从而可以进一步降低编码器的复杂度。
可选地,在一些实施例中,所述若所述预测块的任意边界位于所述第一区域内,对所述预测块的位置进行调整,包括:若所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的上边界值,且所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向上的下边界值,对所述预测块的位置进行调整;和/或,若所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的下边界值,且所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的上边界值,对所述预测块的位置进行调整。
本申请实施例中,若预测块在垂直方向的下边界值大于或等于第一区域在垂直方向的上边界值,且预测块在垂直方向的下边界值小于或等于第一区域在垂直方向上的下边界值,则该预测块的位置有多种可能。一种可能是,预测块的下边界位于第一区域且预测块的上边界不位于第一区域,如图10a中的预测块1-1;另一种可能是,预测块的下边界和上边界均位于第一区域,如图10a中的预测块2。
基于上文中所描述的内容,可以理解为,若预测块在垂直方向的下边界位于第一区域内,则可以对所述预测块的位置进行调整。
类似地,若预测块在垂直方向的上边界值小于或等于第一区域在垂直方向的下边界值,且预测块在垂直方向的上边界值大于或等于第一区域在垂直方向的上边界值,则该预测块的位置有多种可能。一种可能是,预测块的上边界位于第一区域且预测块的下边界不位于第一区域,如图10a中的预测块1-2;另一种可能是,预测块的上边界和下边界均位于第一区域,如图10a中的预测块2。
基于上文中所描述的内容,可以理解为,若预测块在垂直方向的上边界位于第一区域内,则可以对所述预测块的位置进行调整。
此外,如图10c所示,若对参考帧进行了水平和垂直划分得到四个瓦片,分别为瓦片5、瓦片6、瓦片7和瓦片8,由图中所有的虚线与参考帧的边界形成的区域即为本申请中的第一区域,则预测块的位置有多种可能。一种可能是,预测块的所有边界均位于第一区域内,如图10c中的预测块6;另一种可能是,预测块的部分边界位于第一区域内,如图10c中的预测块5-1、预测块5-2和预测块5-3。
可以理解的是,若预测块的部分边界位于第一区域内,预测块的位置不局限于图10c中示出的,还可以位于其它位置,不予限制。
本申请实施例提供的方案,通过判断预测块的边界值与第一区域的边界值,可以确定对预测块的位置进行调整,以实现编码端不进行瓦片边界滤波,从而可以进一步降低编码器的复杂度。
可选地,在一些实施例中,所述若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,对所述预测块的位置进行调整,包括:若所述预测块的边界值与所述第一区域的边界值不满足预设条件,对所述预测块的位置进行调整。
所述预设条件为以下条件中的至少一种:所述预测块在水平方向的右边界值小于或等于所述第一区域在水平方向的左边界值;所述预测块在水平方向的左边界值大于或等于所述第一区域在水平方向的右边界值;所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向的上边界值;以及,所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的下边界值。
本申请实施例中,若对参考帧进行水平划分得到两个瓦片,分别为瓦片1和瓦片2,由上下两条虚线与参考帧的左边界和右边界所形成的区域即为本申请中的的第一区域。如图11a中的预测块1的位置可以表述为:预测块在垂直方向的下边界值小于或等于第一区域在垂直方向的上边界值;如图11a中的预测块2的位置可以表述为:预测块在垂直方向的上边界值大于或等于第一区域在垂直方向的下边界值。
本申请实施例中,若当前图像块的运动矢量所指向的预测块不是预测块1或预测块2的位置,即当前图像块的运动矢量所指向的预测块与第一区域有重叠,则可以对预测块的位置进行调整。
本申请实施例中,若对参考帧进行垂直划分得到两个瓦片,分别为瓦片3和瓦片4,由左右两条虚线与参考帧的上边界和下边界所形成的区域即为本申请中的的第一区域。如图11b中的预测块3的位置可以表述为:预测块在水平方向的右边界值小于或等于第一区域在水平方向的左边界值;如图11b中的预测块4的位置可以表述为:预测块在水平方向的左边界值大于或等于第一区域在水平方向的右边界值。
本申请实施例中,若当前图像块的运动矢量所指向的预测块不是预测块3或预测块4的位置,即当前图像块的运动矢量所指向的预测块与第一区域有重叠,则可以对预测块的位置进行调整。
此外,如图11c所示,若对参考帧进行了水平和垂直划分得到四个瓦片,分别为瓦片5、瓦片6、瓦片7和瓦片8,由图中所有的虚线与参考帧的边界形成的区域即为本申请中的第一区域。如图11c中的预测块5、预测块6、预测块7和预测块8的位置可以表述为预测块的所有边界均位于第一区域外。
本申请实施例中,若当前图像块的运动矢量所指向的预测块不是预测块5、预测块6、预测块7和预测块8的位置,即当前图像块的运动矢量所指向的预测块与第一区域有重叠,则可以对预测块的位置进行调整。
本申请实施例提供的方案,通过判断预测块与第一区域有重叠,可以确定对预测块的位置进行调整,以实现编码端不进行瓦片边界滤波,从而可以进一步降低编码器的复杂度。
上文指出,编码端可以基于预测块的边界值与第一区域的边界值,判断预测块是否位于参考帧的瓦片边界上,其中,第一区域为瓦片边界受滤波影响的区域。关于第一区域的确定,可以通过以下方式确定,具体详见下文。
若对参考帧进行垂直划分得到两个瓦片,则第一区域的左边界和右边界可以分别通过公式(1)和公式(2)确定。
fbd_zone_left=(Tile_i_x_start-offset_left1-offset_left2)*4 (1)
fbd_zone_right=(Tile_i_x_start+offset_right1+offset_right2)*4 (2)
其中,fbd_zone_left表示第一区域的左边界,fbd_zone_right表示第一区域的右边界,Tile_i_x_start表示第i个瓦片在水平方向的起始坐标,offset_left1、offset_left2、offset_right1、offset_right2表示偏移值,offset_left1可取大于或等于3的整数,offset_left2可取大于或等于4的整数;offset_right1可取大于或等于4的整数,offset_right2可取大于或等于4的整数。
当前图像块的运动矢量所指向的预测块的左边界和右边界可以分别通过公式(3)和公式(4)确定。
pred_block_left=block_x*4+mv_x (3)
pred_block_right=(block_x+block_width-1)*4+mv_x (4)
其中,pred_block_left表示预测块的左边界,pred_block_right表示预测块的右边界,block_x表示当前图像块左上角点的水平轴坐标,mv_x表示mv的水平分量(以1/4像素精度标识),block_width表示当前图像块的宽度。
若公式(5)成立,则可以确定当前图像块的运动矢量所指向的预测块与第一区域有重叠。
Figure BDA0003041872510000211
需要特别说明的是,上述公式(5)所表达的含义可以是若预测块的右边界和第一区域的左边界不满足pred_block_right<fbd_zone_left,或预测块的左边界和第一区域的右边界不满足pred_block_left>fbd_zone_right,则可以确定当前图像块的运动矢量所指向的预测块与第一区域有重叠。
示例性地,如图12a所示,若对参考帧进行垂直划分得到两个瓦片,分别为瓦片3和瓦片4,若瓦片4的在水平方向的起始点的坐标值为20,则根据上述公式(1)和公式(2)可以得到第一区域的左边界和右边界在水平方向的坐标值分别为52和112,即图12a中虚线所示的区域为本申请中的第一区域;假设当前图像块的宽度为8,当前图像块左上角点的水平轴坐标值为150,运动矢量在水平方向的分量为-560,则通过上述公式(3)和公式(4)可以得到当前图像块的运动矢量所指向的预测块的左边界和右边界在水平方向的坐标值分别为40和64,即图12a中所示出的原预测块的位置。
由于预测块在水平方向的右边界的值为64,第一区域在水平方向的左边界的值为52,满足上述公式(5),从而可以确定当前图像块的运动矢量所指向的预测块位于瓦片边界上。
若对参考帧进行水平划分得到两个瓦片,则第一区域的上边界和下边界可以分别通过公式(6)和公式(7)确定。
fbd_zone_top=(Tile_i_y_start-offset_top1-offset_top2)*4 (6)
fbd_zone_bottom=(Tile_i_y_start+offset_bottom1+offset_bottom2)*4(7)
其中,offset_top1可取大于或等于3的整数,offset_top2可取大于或等于4的整数;offset_bottom1可取大于或等于4的整数,offset_bottom2可取大于或等于4的整数。
当前图像块的运动矢量所指向的预测块的上边界和下边界可以分别通过公式(8)和公式(9)确定。
pred_block_top=block_y*4+mv_y (8)
pred_block_bottom=(block_y+block_height-1)*4+mv_y (9)
其中,block_y表示当前图像块左上角点的垂直轴坐标,mv_y表示mv的垂直分量,block_height表示当前图像块的高度。
若公式(10)成立,则可以确定当前图像块的运动矢量所指向的预测块与第一区域有重叠。
Figure BDA0003041872510000221
类似地,需要说明的是,上述公式(10)所表达的含义可以是若预测块的下边界和第一区域的上边界不满足pred_block_bottom<fbd_zone_top,或预测块的上边界和第一区域的下边界不满足pred_block_top>fbd_zone_bottom,则可以确定当前图像块的运动矢量所指向的预测块与第一区域有重叠。
示例性地,如图12b所示,若对参考帧进行水平划分得到两个瓦片,分别为瓦片1和瓦片2,若瓦片2的在垂直方向的起始点坐标值为20,则根据上述公式(5)和公式(6)可以得到第一区域的上边界和下边界在垂直方向的坐标值分别为52和112,即图12b中虚线所示的区域为本申请中的第一区域;假设当前图像块的高度为8,当前图像块左上角点的垂直轴坐标值为150,运动矢量在垂直方向的分量为-560,则通过上述公式(7)和公式(8)可以得到当前图像块的运动矢量所指向的预测块的上边界和下边界在垂直方向的坐标值分别为为40和64,即图12b中所示出的预测块的位置。
由于预测块在垂直方向的下边界值为64,第一区域在垂直方向的左边界值为52,满足上述公式(10),从而可以确定当前图像块的运动矢量所指向的预测块位于瓦片边界上。
可选地,在一些实施例中,所述对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部,包括:基于所述预测块的边界值与所述第一区域的边界值,对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部。
本申请实施例中,可以通过预测块的边界值和第一区域的边界值对预测块的位置进行调整,以使得预测块位于参考帧的瓦片内部。
本申请实施例提供的方案,基于预测块的边界值与第一区域的边界值,对预测块的位置进行调整,以使得该预测块位于参考帧的瓦片内部,可以保证预测块位于参考帧的瓦片内部的准确性。
上文指出,编码端可以基于预测块的边界值与第一区域的边界值,对预测块的位置进行调整,具体的调整方式可以参见下文。
可选地,在一些实施例中,所述基于所述预测块的边界值与所述第一区域的边界值,对所述预测块的位置进行调整,包括:对所述预测块在水平方向的边界值增加第一阈值,所述第一阈值是基于所述预测块在水平方向的边界值和所述第一区域在水平方向的边界值以及第一预设值得到的;和/或,对所述预测块在垂直方向的边界值增加第二阈值,所述第二阈值是基于所述预测块在垂直方向的边界值和所述第一区域在垂直方向的边界值以及第二预设值得到的。
本申请实施例中,第一阈值(下文以Δmv_x表示)和第二阈值(下文以Δmv_y表示)可以分别通过公式(11)和公式(12),或公式(13)和公式(14)获得。
Δmv_x=-(pred_block_right-fbd_zone_left+offsetX) (11)
Δmv_y=-(pred_block_bottom-fbd_zone_top+offsetY) (12)
Δmv_x=(fbd_zone_right-pred_block_left+offsetX) (13)
Δmv_y=(fbd_zone_bottom-pred_block_top+offsetY) (14)
其中,offsetX和offsetY的取值可以为1。
则移动后的运动矢量的水平分量和垂直分量可以通过公式(15)和公式(16)确定。
mv_x_new=mv_x+Δmv_x (15)
mv_y_new=mv_y+Δmv_y (16)
本申请实施例中的第一预设值和/或第二预设值可以为固定的,也可以是不断调整的,本申请对此不作具体限定。
可选地,在一些实施例中,若所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的左边界值,且所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的左边界值,所述第一阈值为负值;或,若所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的右边界值,且所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的右边界值,所述第一阈值为正值。
本申请实施例中,若预测块在水平方向的右边界值大于或等于第一区域在水平方向的左边界值,且预测块在水平方向的左边界值小于或等于第一区域在水平方向的左边界值,即图12a中所示出的原预测块的位置。在原预测块的基础上增加第一阈值,且该第一阈值为负值,即将原预测块向左移动第一阈值,即图12a中所示出的移动后的预测块的位置。
示例性地,如上所述,原预测块的左边界和右边界在水平方向的坐标值分别为40和64,第一区域的左边界和右边界在水平方向的坐标值分别为52和112,通过上述公式(11)可以得到第一阈值Δmv_x为-13,即移动后的预测块的左边界和右边界在水平方向的坐标值分别为27和51,此时,移动后的预测块的位置不位于第一区域内,编码端可以基于移动后的预测块对当前图像块进行编码。
类似地,如图12c所示,第一区域的左边界和右边界在水平方向的坐标值分别为52和112,原预测块的左边界和右边界在水平方向的坐标值分别为90和114,通过上述公式(13)可以得到第一阈值Δmv_x为23,即移动后的预测块的左边界和右边界在水平方向的坐标值分别为113和137,此时,移动后的预测块的位置不位于第一区域内,编码端可以基于移动后的预测块对当前图像块进行编码。
本申请实施例提供的方案,通过根据预测块在第一区域的位置的不同,得到不同的第一阈值,从而可以对预测块的位置有目的性地进行调整,进一步地,可以减少预测块的偏移量,便于实现。
可选地,在一些实施例中,若所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的上边界值,且所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的上边界值,所述第二阈值为负值;或,若所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的下边界值,且所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的下边界值,所述第二阈值为正值。
本申请实施例中,若预测块在垂直方向的下边界值大于或等于第一区域在垂直方向的上边界值,且预测块在垂直方向的左边界值小于或等于第一区域在垂直方向的左边界值,即图12b中所示出的原预测块的位置。在原预测块的基础上增加第二阈值,且该第二阈值为负值,即将原预测块向上移动第二阈值,即图12b中所示出的移动后的预测块的位置。
示例性地,如上所述,原预测块的上边界和下边界在垂直方向的坐标值分别为40和64,第一区域的上边界和下边界在垂直方向的坐标值分别为52和112,通过上述公式(12)可以得到第二阈值Δmy_x为-13,即移动后的预测块的上边界和下边界在垂直方向的坐标值分别为27和51,此时,移动后的预测块的位置不位于第一区域内,编码端可以基于移动后的预测块对当前图像块进行编码。
类似地,如图12d所示,第一区域的上边界和下边界在垂直方向的坐标值分别为52和112,原预测块的上边界和下边界在垂直方向的坐标值分别为90和114,通过上述公式(14)可以得到第二阈值Δmv_y为23,即移动后的预测块的上边界和下边界在垂直方向的坐标值分别为113和137,此时,移动后的预测块的位置不位于第一区域内,编码端可以基于移动后的预测块对当前图像块进行编码。
应理解,上述数值仅为举例说明,还可以为其他数值,不应对本申请造成特别限定。
本申请实施例提供的方案,通过根据预测块在第一区域的位置的不同,得到不同的第二阈值,从而可以对预测块的位置有目的性地进行调整,进一步地,可以减少预测块的偏移量,便于实现。
可选地,在一些实施例中,若所述预测块在水平方向的左边界大于或等于所述第一区域在水平方向的左边界值,所述预测块在水平方向的右边界小于或等于所述第一区域在水平方向的右边界值,所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的上边界值,所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向的下边界值,所述第一阈值和/或所述第二阈值为正值或负值。
本申请实施例中,若预测块在水平方向的左边界大于或等于第一区域在水平方向的左边界值,预测块在水平方向的右边界小于或等于第一区域在水平方向的右边界值,预测块在垂直方向的上边界值大于或等于第一区域在垂直方向的上边界值,预测块在垂直方向的下边界值小于或等于第一区域在垂直方向的下边界值,即预测块位于第一区域内,即图12e中所示出的原预测块的位置。在原预测块的基础上增加第一阈值和/或第二阈值,且该第一阈值和/或第二阈值为正值或负值,即将原预测块任意可能的方向移动第一阈值和/或第二阈值,即图12e中所示出的移动后的预测块的位置。
示例性地,如上所述,原预测块的左边界和右边界在水平方向的坐标值分别为60和84,上边界和下边界在垂直方向的坐标值分别为60和84;第一区域的左边界和右边界在水平方向的坐标值分别为52和112,上边界和下边界在垂直方向的坐标值分别为52和112。
可以通过以下多种方式对该原预测块的位置进行调整,不予限制,具体请参考下文。
1)、通过上述公式(11)和公式(12)可以得到第一阈值Δmv_x和第二阈值Δmv_y的数值均为-33,即在原预测块的基础上分别在水平方向和垂直方向增加-33,则即移动后的预测块的左边界和右边界在水平方向的坐标值分别为27和51,移动后的预测块的上边界和下边界在垂直方向的坐标值分别为27和51,此时,移动后的预测块的位置如图12e中的移动后的预测块1的位置所示,编码端可以基于移动后的预测块1对当前图像块进行编码。
2)、通过上述公式(13)和公式(12)可以得到第一阈值Δmv_x和第二阈值Δmv_y的数值分别为53和-33,即在原预测块的基础上在水平方向增加53,在垂直方向增加-33,则即移动后的预测块的左边界和右边界在水平方向的坐标值分别为113和137,移动后的预测块的上边界和下边界在垂直方向的坐标值分别为27和51,此时,移动后的预测块的位置如图12e中的移动后的预测块2的位置所示,编码端可以基于移动后的预测块2对当前图像块进行编码。
3)、通过上述公式(11)和公式(14)可以得到第一阈值Δmv_x和第二阈值Δmv_y的数值分别为-33和53,即在原预测块的基础上在水平方向增加-33,在垂直方向增加53,则即移动后的预测块的左边界和右边界在水平方向的坐标值分别为27和51,移动后的预测块的上边界和下边界在垂直方向的坐标值分别为113和137,此时,移动后的预测块的位置如图12e中的移动后的预测块3的位置所示,编码端可以基于移动后的预测块3对当前图像块进行编码。
4)、通过上述公式(13)和公式(14)可以得到第一阈值Δmv_x和第二阈值Δmv_y的数值均为53,即在原预测块的基础上分别在水平方向和垂直方向增加53,则即移动后的预测块的左边界和右边界在水平方向的坐标值分别为113和137,移动后的预测块的上边界和下边界在垂直方向的坐标值分别为113和137,此时,移动后的预测块的位置如图12e中的移动后的预测块4的位置所示,编码端可以基于移动后的预测块4对当前图像块进行编码。
本申请实施例提供的方案,基于预测块的边界值与第一区域的边界值,对预测块的位置进行调整,以使得该预测块位于参考帧的瓦片内部,可以保证预测块位于参考帧的瓦片内部的准确性。
上文结合图1-图12,详细描述了本申请的方法实施例,下面结合图13-图16,描述本申请的装置实施例,装置实施例与方法实施例相互对应,因此未详细描述的部分可参见前面各部分方法实施例。
图13为本申请一实施例提供的一种编码装置1300,该编码装置1300可以包括处理器1310。
处理器1310,所述处理器1310用于:若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部,从而使得当在编码端不进行瓦片边界滤波而在解码端进行瓦片边界滤波时,所述编码端进行编码时所参考的预测块的像素值和所述解码端进行解码时所参考的预测块的像素值能够保持一致,所述当前图像块位于当前帧;基于调整后的所述预测块,对所述当前图像块进行编码。
可选地,在一些实施例中,所述处理器1310进一步用于:在对所述当前图像块进行编码的过程中,使能所述瓦片边界滤波。
可选地,在一些实施例中,所述处理器1310进一步用于:将码流数据中的瓦片边界滤波使能标志位置为1;其中,所述瓦片边界滤波使能标志位位于所述码流数据的图片数据集、序列参数集、条带头、图像头或序列头中。
可选地,在一些实施例中,所述处理器1310进一步用于:基于预设规则对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部。
可选地,在一些实施例中,所述预设规则包括:将所述预测块按照以下方式中的至少一种方式进行调整:
将所述预测块向左上方移动;
将所述预测块向左侧移动;
将所述预测块向下方移动;
将所述预测块向右下方移动;
将所述预测块向右侧移动;
将所述预测块向右上方移动;以及
将所述预测块向计算得到的最接近的区域移动。
可选地,在一些实施例中,所述处理器1310还用于:基于所述预测块的边界值与第一区域的边界值,判断所述预测块是否位于所述参考帧的瓦片边界上,所述第一区域为所述瓦片边界受滤波影响的区域。
可选地,在一些实施例中,所述处理器1310进一步用于:若所述预测块的任意边界位于所述第一区域内,对所述预测块的位置进行调整。
可选地,在一些实施例中,所述处理器1310进一步用于:若所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的左边界值,且所述预测块在水平方向的右边界值小于或等于所述第一区域在水平方向的右边界值,对所述预测块的位置进行调整;和/或,若所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的右边界值,且所述预测块在水平方向的左边界值大于或等于所述第一区域在水平方向的左边界值,对所述预测块的位置进行调整。
可选地,在一些实施例中,所述处理器1310进一步用于:若所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的上边界值,且所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向上的下边界值,对所述预测块的位置进行调整;和/或,若所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的下边界值,且所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的上边界值,对所述预测块的位置进行调整。
可选地,在一些实施例中,所述处理器1310进一步用于:若所述预测块的边界值与所述第一区域的边界值不满足预设条件,对所述预测块的位置进行调整;
所述预设条件为以下条件中的至少一种:
所述预测块在水平方向的右边界值小于或等于所述第一区域在水平方向的左边界值;
所述预测块在水平方向的左边界值大于或等于所述第一区域在水平方向的右边界值;
所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向的上边界值;和
所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的下边界值。
可选地,在一些实施例中,所述处理器1310进一步用于:基于所述预测块的边界值与所述第一区域的边界值,对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部。
可选地,在一些实施例中,所述处理器1310进一步用于:对所述预测块在水平方向的边界值增加第一阈值,所述第一阈值是基于所述预测块在水平方向的边界值和所述第一区域在水平方向的边界值以及第一预设值得到的;和/或,对所述预测块在垂直方向的边界值增加第二阈值,所述第二阈值是基于所述预测块在垂直方向的边界值和所述第一区域在垂直方向的边界值以及第二预设值得到的。
可选地,在一些实施例中,若所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的左边界值,且所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的左边界值,所述第一阈值为负值;或,若所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的右边界值,且所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的右边界值,所述第一阈值为正值。
可选地,在一些实施例中,若所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的上边界值,且所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的上边界值,所述第二阈值为负值;或,若所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的下边界值,且所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的下边界值,所述第二阈值为正值。
可选地,在一些实施例中,若所述预测块在水平方向的左边界大于或等于所述第一区域在水平方向的左边界值,所述预测块在水平方向的右边界小于或等于所述第一区域在水平方向的右边界值,所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的上边界值,所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向的下边界值,所述第一阈值和/或所述第二阈值为正值或负值。
图14为本申请一实施例提供的一种解码装置1400,该解码装置1400可以包括处理器1410。
处理器1410,所述处理器1410用于:确定当前图像块的运动矢量所指向的预测块位于参考帧的瓦片内部,所述当前图像块位于当前帧;基于所述预测块,对所述当前图像块进行解码。
本发明实施例还提供一种编解码***,包括:
编码器,用于若当前图像块的运动矢量所指向的预测块位于第一参考帧的瓦片边界上,对所述预测块的位置进行调整,以使得所述预测块位于所述第一参考帧的瓦片内部;基于调整后的所述预测块,对所述当前待编码图像块进行编码;在编码过程中,对所述第一参考帧不进行瓦片边界滤波;其中,所述当前图像块位于当前帧;
解码器,用于基于解码得到的第二参考帧的预测块,对所述当前图像块进行解码;在解码过程中,对所述第二参考帧进行瓦片边界滤波。
在本发明实施例中,关闭编码端的瓦片边界滤波功能,而开启解码端的瓦片边界滤波功能,既能实现在编码端显示时的画质,又能减少在解码端的数据交换和计算量。
需要说明的是,本发明实施例的编码器具体实施方式可参考上述任一实施例对视频编码方法的描述,在此不再赘述。
图15是本申请再一实施例提供的视频编解码装置的示意性结构图。图15所示的视频编解码装置1500包括处理器1510,处理器1510可以从存储器中调用并运行计算机程序,以实现上述图4-图12所述的方法。
可选地,如图15所示,视频编解码装置1500还可以包括存储器1520。其中,处理器1510可以从存储器1520中调用并运行计算机程序,以实现本申请实施例中的方法。
其中,存储器1520可以是独立于处理器1510的一个单独的器件,也可以集成在处理器1510中。
可选地,如图15所示,视频编解码装置1500还可以包括收发器1530,处理器1510可以控制该收发器1530与其他装置进行通信,具体地,可以向其他装置发送信息或数据,或接收其他装置发送的信息或数据。
可选地,该视频编解码装置例如可以是编码器、解码器、终端(包括但不限于手机、相机、无人机等),并且该编解码装置可以实现本申请实施例的各个方法中的相应流程,为了简洁,在此不再赘述。
图16是本申请实施例的芯片的示意性结构图。图16所示的芯片1600包括处理器1610,处理器1610可以从存储器中调用并运行计算机程序,以实现本申请实施例中的方法。
可选地,如图16所示,芯片1600还可以包括存储器1620。其中,处理器1610可以从存储器1620中调用并运行计算机程序,以实现本申请实施例中的方法。
其中,存储器1620可以是独立于处理器1610的一个单独的器件,也可以集成在处理器1610中。
可选地,该芯片1600还可以包括输入接口1630。其中,处理器1610可以控制该输入接口1630与其他装置或芯片进行通信,具体地,可以获取其他装置或芯片发送的信息或数据。
可选地,该芯片1600还可以包括输出接口1640。其中,处理器1610可以控制该输出接口1640与其他装置或芯片进行通信,具体地,可以向其他装置或芯片输出信息或数据。
应理解,本申请实施例提到的芯片还可以称为***级芯片,***芯片,芯片***或片上***芯片等。
本发明实施例还提供了一种芯片,包括处理电路,用于实现上述的编码方法获解码方法。
应理解,本申请实施例的处理器可能是一种集成电路图像处理***,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的***和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例中的存储器可以向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如,存储器还可以存储设备类型的信息。该处理器可以用于执行存储器中存储的指令,并且该处理器执行该指令时,该处理器可以执行上述方法实施例中与终端设备对应的各个步骤。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器执行存储器中的指令,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
还应理解,在本申请实施例中,图像中的像素点可以位于不同的行和/或列,其中,A的长度可以对应于A包括的位于同一行的像素点个数,A的高度可以对应于A包括的位于同一列的像素点个数。此外,A的长度和高度也可以分别称为A的宽度和深度,本申请实施例对此不做限定。
还应理解,在本申请实施例中,“与A的边界间隔分布”可以指与A的边界间隔至少一个像素点,也可以称为“不与A的边界相邻”或者“不位于A的边界”,本申请实施例对此不做限定,其中,A可以是图像、矩形区域或子图像,等等。
还应理解,上文对本申请实施例的描述着重于强调各个实施例之间的不同之处,未提到的相同或相似之处可以互相参考,为了简洁,这里不再赘述。
本申请实施例还提供了一种计算机可读存储介质,用于存储计算机程序。
可选的,该计算机可读存储介质可应用于本申请实施例中的编码装置,并且该计算机程序使得计算机执行本申请实施例的各个方法中由编码装置实现的相应流程,为了简洁,在此不再赘述。
可选的,该计算机可读存储介质可应用于本申请实施例中的解码装置,并且该计算机程序使得计算机执行本申请实施例的各个方法中由解码装置实现的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种计算机程序产品,包括计算机程序指令。
可选的,该计算机程序产品可应用于本申请实施例中的编码装置,并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由编码装置实现的相应流程,为了简洁,在此不再赘述。
可选的,该计算机程序产品可应用于本申请实施例中的解码装置,并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由解码装置实现的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种计算机程序。
可选的,该计算机程序可应用于本申请实施例中的编码装置,当该计算机程序在计算机上运行时,使得计算机执行本申请实施例的各个方法中由编码装置实现的相应流程,为了简洁,在此不再赘述。
可选的,该计算机程序可应用于本申请实施例中的解码装置,当该计算机程序在计算机上运行时,使得计算机执行本申请实施例的各个方法中由解码装置实现的相应流程,为了简洁,在此不再赘述。
应理解,在本申请实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (32)

1.一种视频编码的方法,其特征在于,包括:
若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部,从而使得当在编码端不进行瓦片边界滤波而在解码端进行瓦片边界滤波时,所述编码端进行编码时所参考的预测块的像素值和所述解码端进行解码时所参考的预测块的像素值能够保持一致,所述当前图像块位于当前帧;
基于调整后的所述预测块,对所述当前图像块进行编码。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在对所述当前图像块进行编码的过程中,使能所述瓦片边界滤波。
3.根据权利要求2所述的方法,其特征在于,所述使能所述瓦片边界滤波,包括:
将码流数据中的瓦片边界滤波使能标志位置为1;其中,所述瓦片边界滤波使能标志位位于所述码流数据的图片数据集、序列参数集、条带头、图像头或序列头中。
4.根据权利要求1所述的方法,其特征在于,所述对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部,包括:
基于预设规则对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部。
5.根据权利要求4所述的方法,其特征在于,所述预设规则包括:
将所述预测块按照以下方式中的至少一种方式进行调整:
将所述预测块向左上方移动;
将所述预测块向左侧移动;
将所述预测块向下方移动;
将所述预测块向右下方移动;
将所述预测块向右侧移动;
将所述预测块向右上方移动;以及
将所述预测块向计算得到的最接近的区域移动。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述预测块的边界值与第一区域的边界值,判断所述预测块是否位于所述参考帧的瓦片边界上,所述第一区域为所述瓦片边界受滤波影响的区域。
7.根据权利要求6所述的方法,其特征在于,所述若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,对所述预测块的位置进行调整,包括:
若所述预测块的任意边界位于所述第一区域内,对所述预测块的位置进行调整。
8.根据权利要求7所述的方法,其特征在于,所述若所述预测块的任意边界位于所述第一区域内,对所述预测块的位置进行调整,包括:
若所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的左边界值,且所述预测块在水平方向的右边界值小于或等于所述第一区域在水平方向的右边界值,对所述预测块的位置进行调整;和/或,
若所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的右边界值,且所述预测块在水平方向的左边界值大于或等于所述第一区域在水平方向的左边界值,对所述预测块的位置进行调整。
9.根据权利要求7所述的方法,其特征在于,所述若所述预测块的任意边界位于所述第一区域内,对所述预测块的位置进行调整,包括:
若所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的上边界值,且所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向上的下边界值,对所述预测块的位置进行调整;和/或,
若所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的下边界值,且所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的上边界值,对所述预测块的位置进行调整。
10.根据权利要求6所述的方法,其特征在于,所述若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,对所述预测块的位置进行调整,包括:
若所述预测块的边界值与所述第一区域的边界值不满足预设条件,对所述预测块的位置进行调整;
所述预设条件为以下条件中的至少一种:
所述预测块在水平方向的右边界值小于或等于所述第一区域在水平方向的左边界值;
所述预测块在水平方向的左边界值大于或等于所述第一区域在水平方向的右边界值;
所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向的上边界值;和
所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的下边界值。
11.根据权利要求6至10中任一项所述的方法,其特征在于,所述对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部,包括:
基于所述预测块的边界值与所述第一区域的边界值,对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部。
12.根据权利要求11所述的方法,其特征在于,所述基于所述预测块的边界值与所述第一区域的边界值,对所述预测块的位置进行调整,包括:
对所述预测块在水平方向的边界值增加第一阈值,所述第一阈值是基于所述预测块在水平方向的边界值和所述第一区域在水平方向的边界值以及第一预设值得到的;和/或,
对所述预测块在垂直方向的边界值增加第二阈值,所述第二阈值是基于所述预测块在垂直方向的边界值和所述第一区域在垂直方向的边界值以及第二预设值得到的。
13.根据权利要求12所述的方法,其特征在于,若所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的左边界值,且所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的左边界值,所述第一阈值为负值;或,
若所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的右边界值,且所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的右边界值,所述第一阈值为正值。
14.根据权利要求11或12所述的方法,其特征在于,若所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的上边界值,且所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的上边界值,所述第二阈值为负值;或,
若所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的下边界值,且所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的下边界值,所述第二阈值为正值。
15.根据权利要求12所述的方法,其特征在于,若所述预测块在水平方向的左边界大于或等于所述第一区域在水平方向的左边界值,所述预测块在水平方向的右边界小于或等于所述第一区域在水平方向的右边界值,所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的上边界值,所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向的下边界值,所述第一阈值和/或所述第二阈值为正值或负值。
16.一种视频编码的装置,其特征在于,包括:
处理器,所述处理器用于:若当前图像块的运动矢量所指向的预测块位于参考帧的瓦片边界上,对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部,从而使得当在编码端不进行瓦片边界滤波而在解码端进行瓦片边界滤波时,所述编码端进行编码时所参考的预测块的像素值和所述解码端进行解码时所参考的预测块的像素值能够保持一致,所述当前图像块位于当前帧;
基于调整后的所述预测块,对所述当前图像块进行编码。
17.根据权利要求16所述的装置,其特征在于,所述处理器进一步用于:
在对所述当前图像块进行编码的过程中,使能所述瓦片边界滤波。
18.根据权利要求17所述的装置,其特征在于,所述处理器进一步用于:
将码流数据中的瓦片边界滤波使能标志位置为1;其中,所述瓦片边界滤波使能标志位位于所述码流数据的图片数据集、序列参数集、条带头、图像头或序列头中。
19.根据权利要求16所述的装置,其特征在于,所述处理器进一步用于:
基于预设规则对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部。
20.根据权利要求19所述的装置,其特征在于,所述预设规则包括:
将所述预测块按照以下方式中的至少一种方式进行调整:
将所述预测块向左上方移动;
将所述预测块向左侧移动;
将所述预测块向下方移动;
将所述预测块向右下方移动;
将所述预测块向右侧移动;
将所述预测块向右上方移动;以及
将所述预测块向计算得到的最接近的区域移动。
21.根据权利要求16所述的装置,其特征在于,所述处理器还用于:
基于所述预测块的边界值与第一区域的边界值,判断所述预测块是否位于所述参考帧的瓦片边界上,所述第一区域为所述瓦片边界受滤波影响的区域。
22.根据权利要求21所述的装置,其特征在于,所述处理器进一步用于:
若所述预测块的任意边界位于所述第一区域内,对所述预测块的位置进行调整。
23.根据权利要求21所述的装置,其特征在于,所述处理器进一步用于:
若所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的左边界值,且所述预测块在水平方向的右边界值小于或等于所述第一区域在水平方向的右边界值,对所述预测块的位置进行调整;和/或,
若所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的右边界值,且所述预测块在水平方向的左边界值大于或等于所述第一区域在水平方向的左边界值,对所述预测块的位置进行调整。
24.根据权利要求21所述的装置,其特征在于,所述处理器进一步用于:
若所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的上边界值,且所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向上的下边界值,对所述预测块的位置进行调整;和/或,
若所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的下边界值,且所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的上边界值,对所述预测块的位置进行调整。
25.根据权利要求20所述的装置,其特征在于,所述处理器进一步用于:
若所述预测块的边界值与所述第一区域的边界值不满足预设条件,对所述预测块的位置进行调整;
所述预设条件为以下条件中的至少一种:
所述预测块在水平方向的右边界值小于或等于所述第一区域在水平方向的左边界值;
所述预测块在水平方向的左边界值大于或等于所述第一区域在水平方向的右边界值;
所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向的上边界值;和
所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的下边界值。
26.根据权利要求21至25中任一项所述的装置,其特征在于,所述处理器进一步用于:
基于所述预测块的边界值与所述第一区域的边界值,对所述预测块的位置进行调整,以使得所述预测块位于所述参考帧的瓦片内部。
27.根据权利要求26所述的装置,其特征在于,所述处理器进一步用于:
对所述预测块在水平方向的边界值增加第一阈值,所述第一阈值是基于所述预测块在水平方向的边界值和所述第一区域在水平方向的边界值以及第一预设值得到的;和/或,
对所述预测块在垂直方向的边界值增加第二阈值,所述第二阈值是基于所述预测块在垂直方向的边界值和所述第一区域在垂直方向的边界值以及第二预设值得到的。
28.根据权利要求27所述的装置,其特征在于,若所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的左边界值,且所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的左边界值,所述第一阈值为负值;或,
若所述预测块在水平方向的左边界值小于或等于所述第一区域在水平方向的右边界值,且所述预测块在水平方向的右边界值大于或等于所述第一区域在水平方向的右边界值,所述第一阈值为正值。
29.根据权利要求27或28所述的装置,其特征在于,若所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的上边界值,且所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的上边界值,所述第二阈值为负值;或,
若所述预测块在垂直方向的上边界值小于或等于所述第一区域在垂直方向的下边界值,且所述预测块在垂直方向的下边界值大于或等于所述第一区域在垂直方向的下边界值,所述第二阈值为正值。
30.根据权利要求28所述的装置,其特征在于,若所述预测块在水平方向的左边界大于或等于所述第一区域在水平方向的左边界值,所述预测块在水平方向的右边界小于或等于所述第一区域在水平方向的右边界值,所述预测块在垂直方向的上边界值大于或等于所述第一区域在垂直方向的上边界值,所述预测块在垂直方向的下边界值小于或等于所述第一区域在垂直方向的下边界值,所述第一阈值和/或所述第二阈值为正值或负值。
31.一种计算机可读存储介质,其特征在于,包括用于执行权利要求1至15中任一项所述的方法的指令。
32.一种芯片,包括处理电路,用于执行权利要求1至15中任一项所述的方法的指令。
CN202080005888.1A 2020-07-24 2020-07-24 视频编解码的方法和装置 Pending CN112970252A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/104529 WO2022016535A1 (zh) 2020-07-24 2020-07-24 视频编解码的方法和装置

Publications (1)

Publication Number Publication Date
CN112970252A true CN112970252A (zh) 2021-06-15

Family

ID=76271523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080005888.1A Pending CN112970252A (zh) 2020-07-24 2020-07-24 视频编解码的方法和装置

Country Status (2)

Country Link
CN (1) CN112970252A (zh)
WO (1) WO2022016535A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136373A1 (en) * 2011-03-07 2013-05-30 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, and image coding apparatus
US20170280155A1 (en) * 2013-07-08 2017-09-28 Renesas Electronics Corporation Video encoder and operation method thereof
WO2020032049A1 (ja) * 2018-08-06 2020-02-13 シャープ株式会社 動画像復号装置、および動画像符号化装置
US20200177911A1 (en) * 2017-06-28 2020-06-04 Sharp Kabushiki Kaisha Video encoding device and video decoding device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5353532B2 (ja) * 2009-07-29 2013-11-27 ソニー株式会社 画像処理装置及び画像処理方法
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
AU2012327672B2 (en) * 2011-10-24 2015-09-03 Hfi Innovation Inc. Method and apparatus for non-cross-tile loop filtering
JP2018107500A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
JP2020061701A (ja) * 2018-10-12 2020-04-16 シャープ株式会社 動画像符号化装置および動画像復号装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136373A1 (en) * 2011-03-07 2013-05-30 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, and image coding apparatus
US20170280155A1 (en) * 2013-07-08 2017-09-28 Renesas Electronics Corporation Video encoder and operation method thereof
US20200177911A1 (en) * 2017-06-28 2020-06-04 Sharp Kabushiki Kaisha Video encoding device and video decoding device
WO2020032049A1 (ja) * 2018-08-06 2020-02-13 シャープ株式会社 動画像復号装置、および動画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROBERT SKUPIN等: "CE12-related: Normative temporally independent tile group coding", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Also Published As

Publication number Publication date
WO2022016535A1 (zh) 2022-01-27

Similar Documents

Publication Publication Date Title
TWI717779B (zh) 視訊編解碼中受約束的重疊塊運動補償的方法及裝置
CN114363612B (zh) 用于双向光流的比特宽度控制的方法和设备
KR20240068078A (ko) 모드-인식 딥 러닝을 갖는 필터링을 위한 방법 및 장치
US20230283784A1 (en) Affine model-based image encoding/decoding method and device
US20200267407A1 (en) Interpolation filter for an inter prediction apparatus and method for video coding
US12041231B2 (en) In-loop filtering method and device
JP7375224B2 (ja) 符号化・復号方法、装置及びそのデバイス
CN114009033A (zh) 用于用信号通知对称运动矢量差模式的方法和装置
CN112514390B (zh) 视频编码的方法和装置
CN114342378A (zh) 关于利用光流的预测细化的方法和装置
US20220217397A1 (en) Video Processing Methods and Apparatuses of Determining Motion Vectors for Storage in Video Coding Systems
CN114128263A (zh) 用于视频编解码中的自适应运动矢量分辨率的方法和设备
CN113709498B (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
JP2024016288A (ja) ビデオコーディングにおけるデコーダ側動きベクトル補正のための方法および装置
WO2021056212A1 (zh) 视频编解码方法和装置
CN112204973A (zh) 视频编解码的方法与装置
CN112534824B (zh) 视频编码的方法和装置
CN112970252A (zh) 视频编解码的方法和装置
CN114363635B (zh) 信息处理方法及装置、设备、存储介质
WO2023198057A1 (en) Method, apparatus, and medium for video processing
WO2023051654A1 (en) Method, apparatus, and medium for video processing
WO2024078598A1 (en) Method, apparatus, and medium for video processing
WO2021134700A1 (zh) 视频编解码的方法和装置
WO2024077562A1 (zh) 编解码方法及装置、编解码器、码流、存储介质
WO2023051653A1 (en) Method, apparatus, and medium for video processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210615