CN117793346A - 视频编解码中的细化量化步骤 - Google Patents

视频编解码中的细化量化步骤 Download PDF

Info

Publication number
CN117793346A
CN117793346A CN202311798114.0A CN202311798114A CN117793346A CN 117793346 A CN117793346 A CN 117793346A CN 202311798114 A CN202311798114 A CN 202311798114A CN 117793346 A CN117793346 A CN 117793346A
Authority
CN
China
Prior art keywords
quantization
level
current video
video block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311798114.0A
Other languages
English (en)
Inventor
张莉
张凯
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN117793346A publication Critical patent/CN117793346A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

该申请涉及视频编解码中的细化量化步骤。一种视频处理方法,包括:在当前视频块和包括当前视频块的视频的比特流之间的转换期间,为当前视频块确定包括第一级量化参数QP1和第二级量化参数QP2的两级量化参数;以及在转换期间至少基于两级量化参数执行第一级量化和/或第二级量化,其中两级量化参数分别对应于不同的量化精度。

Description

视频编解码中的细化量化步骤
本申请是申请日为2020年01月31日、申请号为202080010803.9、发明名称为“视频编解码中的细化量化步骤”的发明专利申请的分案申请。
相关申请的交叉引用
本申请是2020年1月31日提交的国际专利申请NO.PCT/CN2020/074121的中国国家阶段申请的分案申请,本申请及时要求2019年1月31日提交的国际专利申请No.PCT/CN2019/074113的优先权和权益。将上述申请的全部公开以参考方式并入本文,作为本申请公开的一部分。
技术领域
本文件涉及视频编解码和图像编解码技术。
背景技术
在互联网和其他数字通信网络中,数字视频占用的带宽最大。随着能够接收和显示视频的连接用户设备数量的增加,预计数字视频使用的带宽需求将继续增长。
发明内容
所公开的技术可由用于在编码或解码期间对表示视觉内容的系数进行量化或去量化的视频或图像解码器或编码器实施例使用。
在一个示例方面,公开了一种处理视频的方法。该方法包括:使用多级量化器执行视频和视频的比特流之间的转换。多级量化器包括至少使用第一量化精度的第一级量化,和/或使用与第一量化精度不同的第二量化精度的第二级量化。取决于多级量化规则(MLQ),为当前视频块选择性地启用第一级量化和第二级量化。
在一个示例方面,公开了处理视频的方法。该方法包括:在当前视频块和包括当前视频块的视频的比特流之间的转换期间,为当前视频块确定包括第一级量化参数QP1和第二级量化参数QP2的两级量化参数;以及在转换期间至少基于两级量化参数执行第一级量化和/或第二级量化,其中两级量化参数分别对应于不同的量化精度。
在一个示例方面,公开了处理视频的方法。该方法包括:在当前视频块和当前视频块的比特流之间的转换期间,至少基于量化步长、取整偏移和量化参数执行量化,其中量化步长小于21/6,并且在比特流中信令通知当前视频块的量化步长和/或取整偏移。
在另一示例方面,公开了另一种视频处理方法。该方法包括:使用利用视频块中系数的位置和对应的量化步长或取整偏移之间的关系的量化方案,执行视频和视频的比特流之间的转换。
在另一示例方面,上述方法可以由包括处理器的视频解码器装置来实现。
在又一示例方面,这些方法可以以处理器可执行指令的形式实现并存储在计算机可读程序介质上。
本文进一步描述了这些方面和其他方面。
附图说明
图1示出了Merge候选列表构造的示例推导处理。
图2示出了空域Merge候选的示例位置。
图3示出了考虑用于空域Merge候选的冗余检查的示例候选对。
图4A至4B示出N×2N和2N×N分割的第二个PU的示例位置。
图5是时域Merge候选的运动矢量缩放的图示。
图6示出了时域Merge候选的候选位置C0和C1的示例。
图7示出了组合双向预测Merge候选的示例。
图8是运动矢量预测候选的推导处理的示例。
图9是空域运动矢量候选的运动矢量缩放的示例说明。
图10示出了编解码单元(CU)的可选时域运动矢量预测(ATMVP)运动预测的示例。
图11示出了具有四个子块(A-D)及其临近块(a-d)的一个CU的示例。
图12A至12B分别示出了4参数和6参数仿射模型的简化仿射运动模型。
图13示出了每个子块的仿射运动矢量场的示例。
图14A至14B分别示出了4参数和6参数仿射模型的另一示例。
图15示出了继承的仿射候选的AF_INTER的运动矢量预测器的示例。
图16示出了构造的仿射候选的AF_INTER的运动矢量预测器的示例。
图17A示出了AF_MERGE的五个临近块候选的示例,并且图17B示出了控制点运动矢量(CPMV)预测器推导的示例。
图18示出仿射Merge模式的候选位置的示例。
图19示出了最终运动矢量表达(UMVE)搜索处理的示例。
图20示出了UMVE搜索点的示例。
图21示出了基于双边模板匹配的解码器侧运动矢量细化(DMVR)的示例。
图22示出了亮度样点重塑的示例处理。
图23是视频处理装置的示例的框图。
图24示出了视频编码器的示例性实现的框图。
图25是视频处理方法的示例的流程图。
图26是视频处理方法的示例的流程图。
图27是视频处理方法的示例的流程图。
图28是视频处理方法的示例的流程图。
具体实施方式
本文提供了可由图像或视频比特流的解码器用于提高解压缩或解码数字视频或图像的质量的各种技术。为简洁起见,本文使用术语“视频”来包括图片序列(常规上称为视频)和单独的图像。此外,视频编码器也可以在编码处理期间实现这些技术,以便重构用于进一步编码的解码帧。
为了便于理解,在本文中使用章节标题,并且不将实施例和技术限制在相应的章节中。因此,来自一个章节的实施例可以与来自其他章节的实施例组合。
1.综述
本发明涉及视频编解码技术。具体地,它涉及与视频编解码中的量化步骤信令和基于块的环内重塑与其他工具的交互。它可以应用于如HEVC的现有的视频编解码标准,或待定的标准(多功能视频编解码)。它也可适用于未来的视频编解码标准或视频编解码器。
2.初始讨论
视频编解码标准主要是通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4视频,并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262开始,视频编解码标准基于混合视频编解码结构,其中利用了时域预测加变换编码。为探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起,JVET采用了许多新的方法,并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月,VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立,以致力于目标是与HEVC相比其降低50%比特率的VVC标准。
2.1帧间预测
每个帧间预测的PU都有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。两个参考图片列表之一的使用也可以使用inter_pred_idc信令通知。运动矢量可显式地编解码为相对于预测器的增量。
当CU采用跳过模式编解码时,一个PU与CU相关联,并且没有显著的残差系数,没有编解码的运动矢量增量或参考图片索引。指定了一种Merge模式,通过该模式,可以从临近的PU(包括空域和时域候选)中获取当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU,而不仅仅是跳过模式。Merge模式的另一种选择是运动参数的显式传输,其中运动矢量(更精确地,与运动矢量预测器相比的运动矢量差(MVD))、每个参考图片列表的对应的参考图片索引、以及参考图片列表的使用都会根据每个PU显式地信令通知。在本公开中,这样的模式被命名为高级运动矢量预测(AMVP)。
当信令指示要使用两个参考图片列表中的一个时,从样点的一个块中生成PU。这被称为“单向预测”。单向预测对P条带(slice)和B条带都可用。
当信令指示要使用两个参考图片列表时,从样点的两个块中生成PU。这被称为“双向预测”。双向预测仅对B条带可用。
下文提供了在HEVC中规定的关于帧间预测模式的细节。描述将从Merge模式开始。
2.1.1参考图片列表
在HEVC中,术语帧间预测用于表示从除了当前解码图片之外的参考图片的数据元素(例如,样点值或运动矢量)导出的预测。如在H.264/AVC中一样,可以从多个参考图片预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识列表中的哪些参考图片应用于创建预测信号。
单个参考图片列表(列表0)被用于P条带,并且两个参考图片列表(列表0和列表1)被用于B条带。需要注意的是,列表0/1中包含的参考图片就捕获/显示顺序而言可以来自过去和将来的图片。
2.1.2Merge模式
2.1.2.1Merge模式的候选的推导
当使用Merge模式预测PU时,从比特流中解析指向Merge候选列表中条目的索引,并且使用该索引检索运动信息。在HEVC标准中规定了此列表的构建,并且可按以下步骤顺序进行概括:
步骤1:初始候选推导
步骤1.1:空域候选推导
步骤1.2:空域候选冗余检查
步骤1.3:时域候选推导
步骤2:附加候选***
步骤2.1:创建双向预测候选
步骤2.2:***零运动候选
在图1中也示意性地示出了这些步骤。对于空域Merge候选推导,在位于五个不同位置的候选中最多选择四个Merge候选。对于时域Merge候选推导,在两个候选中最多选择一个Merge候选。由于在解码器处假定每个PU的候选数为常量,因此当从步骤1获得的候选数未达到条带标头中信令通知的最大Merge候选数(maxNumMergeCand)时,生成附加的候选。由于候选数是恒定的,所以最佳Merge候选的索引使用截断的一元二值化(TU)进行编码。如果CU的尺寸等于8,则当前CU的所有PU都共享单个Merge候选列表,这与2N×2N预测单元的Merge候选列表相同。
在下文中,详细描述与前述步骤相关联的操作。
2.1.2.2空域候选推导
在空域Merge候选的推导中,在位于图2所示位置的候选中最多选择四个Merge候选。推导顺序为A1,B1,B0,A0和B2。只有当位置A1,B1,B0,A0的任何PU不可用(例如,因为它属于另一个条带或片)或是帧内编解码时,才考虑位置B2。在增加位置A1的候选后,对剩余候选的增加进行冗余检查,其确保具有相同运动信息的候选被排除在列表之外,从而提高编解码效率。为了降低计算的复杂度,在所提到的冗余检查中并不考虑所有可能的候选对。相反,只有与图3中的箭头链接的对才会被考虑,并且只有当用于冗余检查的对应候选没有相同的运动信息时,才将候选添加到列表中。复制运动信息的另一个来源是与2Nx2N不同的分割相关的“第二PU”。例如,图4分别描述了N×2N和2N×N情况下的第二PU。当当前的PU被分割为N×2N时,对于列表构建不考虑位置A1的候选。实际上,通过添加此候选可能导致两个具有相同运动信息的预测单元,这对于在编解码单元中仅具有一个PU是冗余的。同样地,当当前PU被分割为2N×N时,不考虑位置B1
2.1.2.3时域候选推导
在此步骤中,只有一个候选添加到列表中。特别地,在这个时域Merge候选的推导中,基于属于与给定参考图片列表中当前图片具有最小POC差的图片的并置PU导出了缩放运动矢量。用于推导并置PU的参考图片列表在条带标头中显式地信令通知。获取时域Merge候选的缩放运动矢量(如图5中虚线所示),其使用POC距离tb和td从并置PU的运动矢量进行缩放,其中tb定义为当前图片的参考图片和当前图片之间的POC差,并且td定义为并置图片的参考图片与并置图片之间的POC差。时域Merge候选的参考图片索引设置为零。HEVC规范中描述了缩放处理的实际实现。对于B条带,得到两个运动矢量(一个是对于参考图片列表0,另一个是对于参考图片列表1)并将其组合使其成为双向预测Merge候选。
在属于参考帧的并置PU(Y)中,在候选C0和C1之间选择时域候选的位置,如图6所示。如果位置C0处的PU不可用、是帧内编解码的或在当前编解码树单元(CTU也称为LCU,最大编解码单元)行之外,则使用位置C1。否则,位置C0被用于时域Merge候选的推导。
2.1.2.4附加候选***
除了空域和时域Merge候选,还有两种附加类型的Merge候选:组合双向预测Merge候选和零Merge候选。组合双向预测Merge候选是利用空域和时域Merge候选生成的。组合双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一候选的第二参考图片列表运动参数相结合,生成组合双向预测候选。如果这两个元组提供不同的运动假设,它们将形成新的双向预测候选。作为示例,图7示出了该情形,其中原始列表(在左侧)中具有MVL0和refIdxL0或MVL1和refIdxL1的两个候选被用于创建添加到最终列表(在右侧)中的组合双向预测Merge候选。定义了许多关于被认为生成这些附加Merge候选的组合的规则。
***零运动候选以填充Merge候选列表中的其余条目,从而达到MaxNumMergeCand的容量。这些候选具有零空域位移和从零开始并且每次将新的零运动候选添加到列表中时都会增加的参考图片索引。最后,对这些候选不执行冗余检查。
2.1.3AMVP
AMVP利用运动矢量与临近的PU的空时相关性,其用于运动参数的显式传输。对于每个参考图片列表,首先通过检查左上方的时域临近的PU位置的可用性、去掉冗余的候选并且加上零矢量以使候选列表长度恒定来构建运动矢量候选列表。然后,编码器可以从候选列表中选择最佳的预测器,并发送指示所选候选的对应索引。与Merge索引信令类似,最佳运动矢量候选的索引使用截断的一元进行编码。在这种情况下,要编码的最大值是2(参见图8)。在以下各章节中,提供了关于运动矢量预测候选的推导处理的细节。
2.1.3.1AMVP候选的推导
图8概括了运动矢量预测候选的推导处理。
在运动矢量预测中,考虑了两种类型的运动矢量候选:空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选的推导,基于位于图2所示的五个不同位置的每个PU的运动矢量最终推导出两个运动矢量候选。
对于时域运动矢量候选的推导,从两个候选中选择一个运动矢量候选,这两个候选是基于两个不同的并置位置推导出的。在做出第一个空时候选列表后,移除列表中重复的运动矢量候选。如果潜在候选的数量大于二,则从列表中移除相关联的参考图片列表中参考图片索引大于1的运动矢量候选。如果空时运动矢量候选数小于二,则会在列表中添加附加的零运动矢量候选。
2.1.3.2空域运动矢量候选
在推导空域运动矢量候选时,在五个潜在候选中最多考虑两个候选,这五个候选来自图2所示位置上的PU,这些位置与运动Merge的位置相同。当前PU左侧的推导顺序定义为A0、A1、以及缩放的A0、缩放的A1。当前PU上侧的推导顺序定义为B0、B1,B2、缩放的B0、缩放的B1、缩放的B2。因此,每侧有四种情况可以用作运动矢量候选,其中两种情况不需要使用空域缩放,并且两种情况使用空域缩放。四种不同的情况概括如下:
--无空域缩放
(1)相同的参考图片列表,并且相同的参考图片索引(相同的POC)
(2)不同的参考图片列表,但是相同的参考图片(相同的POC)
--空域缩放
(3)相同的参考图片列表,但是不同的参考图片(不同的POC)
(4)不同的参考图片列表,并且不同的参考图片(不同的POC)
首先检查无空域缩放的情况,然后检查允许空域缩放的情况。当POC在临近PU的参考图片与当前PU的参考图片之间不同时,都会考虑空域缩放,而不管参考图片列表如何。如果左侧候选的所有PU都不可用或是帧内编解码,则允许对上述运动矢量进行缩放,以帮助左侧和上方MV候选的并行推导。否则,不允许对上述运动矢量进行空域缩放。
在空域缩放处理中,以与时域缩放类似的方式缩放临近PU的运动矢量,如图9所示。主要区别是,给出当前PU的参考图片列表和索引作为输入;实际的缩放处理与时域缩放处理相同。
2.1.3.3时域运动矢量候选
除了参考图片索引的推导外,时域Merge候选的所有推导处理与空域运动矢量候选的推导处理相同(参见图6)。将参考图片索引信令通知给解码器。
2.2基于子CU的运动矢量预测方法
在具有QTBT的JEM中,每个CU对于每个预测方向最多可以具有一组运动参数。通过将大的CU划分成子CU并推导该大CU的所有子CU的运动信息,编码器中考虑了两种子CU级的运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从并置参考图片中的多个小于当前CU的块中提取多组运动信息。在空时运动矢量预测(STMVP)方法中,通过使用时域运动矢量预测器和空域临近运动矢量递归地推导子CU的运动矢量。
为了为子CU运动预测保持更精确的运动场,当前禁用参考帧的运动压缩。
2.2.1可选时域运动矢量预测
图10示出了CU的ATMVP运动预测的示例。
在可选时域运动矢量预测(ATMVP)方法中,运动矢量时域运动矢量预测(TMVP)是通过从小于当前CU的块中提取多组运动信息(包括运动矢量和参考索引)来修改的。子CU为方形N×N块(默认N设置为4)。
ATMVP分两步预测CU内的子CU的运动矢量。第一步是用所谓的时域矢量标识参考图片中的对应块。参考图片称为运动源图片。第二步是将当前CU划分成子CU,并从每个子CU对应的块中获取每个子CU的参考索引以及运动矢量。
在第一步中,参考图片和对应的块由当前CU的空域临近块的运动信息确定。为了避免临近块的重复扫描处理,使用当前CU的Merge候选列表中的第一个Merge候选。第一个可用的运动矢量及其相关联的参考索引被设置为时域矢量和对运动源图片的索引。这样,在ATMVP中,与TMVP相比,可以更准确地标识对应的块,其中对应的块(有时称为并置块)始终位于相对于当前CU的右下或中心位置。
在第二步中,通过将时域矢量添加到当前CU的坐标中,通过运动源图片中的时域矢量标识子CU的对应块。对于每个子CU,使用其对应块的运动信息(覆盖中心样点的最小运动网格)来推导子CU的运动信息。在标识出对应N×N块的运动信息后,将其转换为当前子CU的运动矢量和参考索引,与HEVC的TMVP方法相同,其中应用运动缩放和其它处理。例如,解码器检查是否满足低延迟条件(例如,当前图片的所有参考图片的POC都小于当前图片的POC),并可能使用运动矢量MVx(与参考图片列表X对应的运动矢量)来为每个子CU预测运动矢量MVy(X等于0或1且Y等于1-X)。
2.2.2空时运动矢量预测(STMVP)
在这种方法中,子CU的运动矢量是按照光栅扫描顺序递归推导的。图11说明了该概念。考虑一个8×8的CU,它包含四个4×4的子CU A、B、C和D。当前帧中临近的4×4的块标记为a、b、c和d。
子CU A的运动推导由标识其两个空域邻居开始。第一个邻居是子CU A上方的N×N块(块c)。如果该块c不可用或帧内编解码,则检查子CU A上方的其它N×N块(从左到右,从块c处开始)。第二个邻居是子CU A左侧的块(块b)。如果块b不可用或是帧内编解码,则检查子CU A左侧的其它块(从上到下,从块b处开始)。每个列表从临近块获得的运动信息被缩放到给定列表的第一个参考帧。接下来,按照HEVC中规定的与TMVP推导相同的程序,推导子块A的时域运动矢量预测(TMVP)。提取位置D处的并置块的运动信息并进行对应的缩放。最后,在检索和缩放运动信息后,对每个参考列表分别平均所有可用的运动矢量(最多3个)。将平均运动矢量指定为当前子CU的运动矢量。
2.2.3子CU运动预测模式信令通知
子CU模式作为附加的Merge候选启用,并且不需要附加的语法元素信令通知该模式。将两个附加Merge候选添加到每个CU的Merge候选列表中,以表示ATMVP模式和STMVP模式。如果序列参数集指示启用了ATMVP和STMVP,则最多使用七个Merge候选。附加Merge候选的编码逻辑与HM中的Merge候选的编码逻辑相同,这意味着对于P条带或B条带中的每个CU,需要对两个附加Merge候选进行两次更多RD检查。
在JEM中,Merge索引的所有块(bin)都由CABAC进行上下文编解码。然而在HEVC中,只有第一个块是上下文编解码的,并且其余的块是上下文旁路编解码的。
2.3VVC中的帧间预测方法
存在几种新的用于帧间预测改进的编解码工具,诸如用于信令通知MVD的自适应运动矢量差分辨率(AMVR)、仿射预测模式、三角预测模式(TPM)、ATMVP、广义双向预测(GBI)、双向光流(BIO)。
2.3.1编解码块结构
在VVC中,采用四叉树/二叉树/三叉树(QT/BT/TT)结构,以将图像划分成正方形或矩形块。
除QT/BT/TT外,对于I帧,VVC还采用了分离树(又称为双编解码树)。使用分离树,为亮度和色度分量分别信令通知编解码块结构。
2.3.2自适应运动矢量差分辨率
在HEVC中,当在条带标头中use_integer_mv_flag等于0时,以四分之一亮度样点为单位信令通知运动矢量差(MVD)(在PU的运动矢量和预测运动矢量之间)。在VVC中,引入了局部自适应运动矢量分辨率(AMVR)。在VVC中,MVD可以用四分之一亮度样点、整数亮度样点或四亮度样点的单位(即1/4像素、1像素、4像素)进行编解码。在编解码单元(CU)级别控制MVD分辨率,并且对于具有至少一个非零MVD分量的每个CU有条件地信令通知MVD分辨率标志。
对于具有至少一个非零MVD分量的CU,信令通知第一个标志以指示CU中是否使用四分之一亮度样点MV精度。当第一个标志(等于1)指示不使用四分之一亮度样点MV精度时,信令通知另一个标志以指示是使用整数亮度样点MV精度还是使用四亮度样点MV精度。
当CU的第一个MVD分辨率标志为零或没有为CU编解码(意味着CU中的所有MVD都为零)时,CU使用四分之一亮度样点MV分辨率。当CU使用整数亮度样点MV精度或四亮度样点MV精度时,该CU的AMVP候选列表中的MVP将取整到对应的精度。
2.3.3仿射运动补偿预测的示例
在HEVC中,仅将平移运动模型应用于运动补偿预测(MCP)。然而,在真实世界中存在多种运动,例如放大/缩小、旋转、透视运动和其他不规则运动。在VVC中,简化仿射变换运动补偿预测适用于4参数仿射模型和6参数仿射模型。如图12A至12B所示,对于4参数仿射模型,块的仿射运动场由两个控制点运动矢量(CPMV)描述,对于6参数仿射模型,块的仿射运动场由三个CPMV描述。
分别用以下等式来描述块的运动矢量场(MVF),等式(1)中是4参数仿射模型(其中4参数被定义为变量a、b、e和f)且等式(2)中是6参数仿射模型(其中6参数被定义为变量a、b、c、d、e和f):
其中(mvh 0,mvh 0)为左上角控制点(CP)的运动矢量,并且(mvh 1,mvh 1)为右上角控制点的运动矢量,并且(mvh 2,mvh 2)为左下角控制点的运动矢量,所有这三个运动矢量被称为控制点运动矢量(CPMV),(x,y)表示相对于当前块内的左上样点的代表点的代表点的坐标,并且(mvh(x,y),mvv(x,y))是为位于(x,y)处的样点导出的运动矢量。CP运动矢量可以被信令通知(如在仿射AMVP模式中)或者被即时推导(如在仿射Merge模式中)。w和h是当前块的宽度和高度。实际上,除法是通过带取整的右移操作来实现的。在VTM中,代表点被定义为子块的中心位置,例如,当子块的左上角相对于当前块内的左上样点的坐标为(xs,ys)时,代表点的坐标被定义为(xs+2,ys+2)。对于每个子块(即VTM中的4×4),代表点被用于导出整个子块的运动矢量。
为了进一步简化运动补偿预测,应用基于子块的仿射变换预测。为了导出每个M×N(在当前VVC中M和N二者都被设置为4)子块的运动矢量,如图13所示,可以根据等式(1)和(2)计算每个子块的中心样点的运动矢量,并取整到1/16分数精度。然后应用1/16像素的运动补偿插值滤波器,利用导出的运动矢量生成每个子块的预测。通过仿射模式介绍了1/16像素的插值滤波器。
在MCP之后,将每个子块的高精度运动矢量取整,并保存为与常规运动矢量相同的精度。
2.3.3.1仿射预测的信令
与平移运动模型类似,仿射预测也有两种模式用于信令通知边信息。它们是AFFINE_INTER模式和AFFINE_MERGE模式。
2.3.3.2AF_INTER模式的示例
对于宽度和高度都大于8的CU,可以应用AF_INTER模式。在比特流中,CU级别的仿射标志被信令通知,以指示是否使用AF_INTER模式。
在此模式中,对于每个参考图片列表(列表0或列表1),按照以下顺序用三种类型的仿射运动预测器构造仿射AMVP候选列表,其中每个候选包括当前块的估计的CPMV。信令通知在编码器侧发现的最佳CPMV(例如图14或16中的mv0mv1mv2)、以及估计的CPMV的差异。此外,进一步信令通知从中导出估计的CPMV的仿射AMVP候选的索引。
1)继承的仿射运动预测器
检查顺序与在HEVC AMVP列表构造中空域MVP的检查顺序相似。首先,从{A1,A0}中的第一个块导出左继承的仿射运动预测器,该块是仿射编解码的,并且具有与当前块相同的参考图片。其次,从{B1,B0,B2}中的第一块导出上述继承的仿射运动预测器,该块是仿射编解码的,并且具有与当前块相同的参考图片。图15描绘了五个块A1、A0、B1、B0、B2。
一旦发现临近块是仿射编解码的,则利用覆盖临近块的编解码单元的CPMV来推导当前块的CPMV的预测器。例如,如果A1用非仿射模式编解码,并且A0用4参数仿射模式编解码,则将从A0导出左继承的仿射MV预测器。在这种情况下,覆盖A0的CU的CPMV(如图17B中表示为的左上CPMV和表示为/>的右上CPMV)被用于导出当前块的估计的CPMV(由用于当前块的左上(坐标(x0,y0))、右上(坐标(x1,y1))和右下(坐标(x2,y2))位置的表示)。
2)构造的仿射运动预测器
如图16所示,构造的仿射运动预测器由从具有相同参考图片的临近帧间编解码块导出的控制点运动矢量(CPMV)组成。如果当前仿射运动模型为4参数仿射,则CPMV的数量为2;否则,如果当前仿射运动模型为6参数仿射,则CPMV的数量为3。左上CPMV由组{A,B,C}中的第一个块处的MV导出,该块帧间编解码的,并且具有与当前块相同的参考图片。右上CPMV/>由组{D,E}中的第一个块处的MV导出,该块是帧间编解码的,并且具有与当前块相同的参考图片。左下CPMV/>由组{F,G}中第一个块处的MV导出,该块是帧间编解码的,并且具有与当前块相同的参考图片。
–如果当前仿射运动模型是4参数仿射,则只有当和/>两者都被找到(也就是说,/>和/>被用作当前块的左上(坐标为(x0,y0))和右上(坐标为(x1,y1))位置的估计的CPMV)时,才将构造的仿射运动预测器***候选列表。
–如果当前仿射运动模型是6参数仿射,则只有当和/>
都被找到(也就是说,和/>被用作当前块的左上(坐标为(x0,y0))、右上(坐标为(x1,y1))和右下(坐标为(x2,y2))位置的估计的CPMV)时,将构造的仿射运动预测器***候选列表。
在将构造的仿射运动预测器***候选列表中时,不应用修剪处理。
3)常规AMVP运动预测器
以下适用,直到仿射运动预测器的数量达到最大值。
1)如果可用,通过将所有CPMV设置为等于来导出仿射运动预测器。
2)如果可用,通过将所有CPMV设置为等于来导出仿射运动预测器。
3)如果可用,通过将所有CPMV设置为等于来导出仿射运动预测器。
4)如果可用,通过将所有CPMV设置为等于HEVC TMVP来导出仿射运动预测器。
5)通过将所有CPMV设置为等于零MV来导出仿射运动预测器。
注意,已在构造的仿射运动预测器中导出
在AF_INTER模式中,当使用4/6参数仿射模式时,需要2/3个控制点,并且因而需要对这些控制点编解码2/3个MVD,如图14A至14B所示。在一些实施例中,提出如下推导MV,即从mvd0预测mvd1和mvd2
其中,mvdi和mv1分别是左上像素(i=0)、右上像素(i=1)或左下像素(i=2)的预测运动矢量、运动矢量差和运动矢量,如图14B所示。应当注意的是,两个运动矢量(例如,mvA(xA,yA)和mvB(xB,yB))的相加分别等于两个分量的总和。也就是说,newMV=mvA+mvB,并且newMV的两个分量分别被设置为(xA+xB)和(yA+yB)。
2.3.3.3AF_MERGE模式
当在AF_MERGE模式中应用CU时,它从有效的邻居重构块中获得以仿射模式编解码的第一个块。并且候选块的选择顺序是从左、上、右上、左下到左上,如图17A所示(依次表示为A、B、C、D、E)。例如,如果邻居左下块用仿射模式编解码(如图17B中A0表示的),则提取包含块A的临近CU/PU的左上角、右上角和左下角的控制点(CP)运动矢量mv0 N,mv1 N和mv2 N。并且基于mv0 N,mv1 N和mv2 N计算当前CU/PU左上角/右上角/左下角的运动矢量mv0 C,mv1 C和mv2 C(仅用于6参数仿射模型),需要注意的是,在VTM-2.0中,如果当前块是仿射编解码的,则位于左上角的子块(例如,VTM中的4×4块)存储mv0,位于右上角的子块存储mv1。如果当前块用6参数仿射模型编解码,则位于左下角的子块存储mv2;否则(用4参数仿射模型)对当前块进行编码,LB存储mv2’。其他子块存储用于MC的MV。
在推导出当前CU的CPMV mv0 C,mv1 C和mv2 C之后,根据简化的仿射运动模型等式(1)和(2),生成当前CU的MVF。为了标识当前CU是否以AF_MERGE模式编码,当至少一个邻居块以仿射模式编解码时,在比特流中信令通知仿射标志。
在一些实施例中,用以下步骤来构造仿射Merge候选:
1)***继承的仿射候选
继承的仿射候选是指该候选是从其有效邻居仿射编解码块的仿射运动模型导出的。从临近块的仿射运动模型中导出最多两个继承的仿射候选,并将其***候选列表中。对于左侧预测器,扫描顺序是{A0,A1};对于上方预测,扫描顺序是{B0,B1,B2}。
2)***构造的仿射候选
如果仿射Merge候选列表中的候选数量小于MaxNumAffineCand(例如,5),则将构造仿射候选***候选列表中。构造仿射候选是指该候选是通过组合每个控制点的邻居运动信息构造的。
a)首先从图18所示的指定的空域邻居和时域邻居导出控制点的运动信息。CPk(k=1,2,3,4)表示第k个控制点。A0,A1,A2,B0,B1,B2和B3是用于预测CPk(k=1,2,3)的空域位置;T是用于预测CP4的时域位置。
CP1、CP2、CP3和CP4的坐标分别为(0,0),(W,0),(H,0)和(W,H),其中W和H是当前块的宽度和高度。
根据以下优先级顺序获得每个控制点的运动信息:
–对于CP1,检查优先级为B2->B3->A2。如果B2可用,则使用B2。否则,如果B2不可用,则使用B3。如果B2和B3都不可用,则使用A2。如果三个候选都不可用,则无法获得CP1的运动信息。
–对于CP2,检查优先级为B1->B0;
–对于CP3,检查优先级为A1->A0;
–对于CP4,使用T。
b)其次,使用控制点的组合来构造仿射Merge候选。
I.需要三个控制点的运动信息来构造6参数仿射候选。可以从以下四个组合中的一个来选择这三个控制点({CP1,CP2,CP4},{CP1,CP2,CP3},{CP2,CP3,CP4},{CP1,CP3,CP4})。组合{CP1,CP2,CP3},{CP2,CP3,CP4},{CP1,CP3,CP4}将被转换到由左上、右上和左下控制点表示的6参数运动模型。
II.需要两个控制点的运动信息来构造4参数仿射候选。可以从以下两个组合({CP1,CP2},{CP1,CP3})中的一个来选择这两个控制点。这两个组合将被转换到由左上和右上控制点表示的4参数运动模型。
III.按以下顺序将构造的仿射候选的组合***到候选列表中:
{CP1,CP2,CP3},{CP1,CP2,CP4},{CP1,CP3,CP4},{CP2,CP3,CP4},{CP1,CP2},{CP1,CP3}。
i.对于每个组合,检查每个CP的列表X的参考索引,如果它们都相同,则该组合具有列表X有效的CPMV。如果该组合不具有列表0和列表1有效的CPMV,则该组合被标记为无效。否则,它是有效的,并且CPMV被放入子块Merge列表中。
3)填充零运动矢量
如果仿射Merge候选列表中的候选数量小于5,则在候选列表中***具有零参考索引的零运动矢量,直到列表满为止。
更具体地,对于子块Merge候选列表,4参数Merge候选的MV设置为(0,0)且预测方向设置为来自列表0的单向预测(对于P条带)和双向预测(对于B条带)。
2.3.3.4色度仿射编解码块的子块尺寸
在一些实施例中,将色度子块的尺寸从2x2修改为4x4。
4×4色度子块的MV计算为四个对应的4×4亮度子块的MV的平均值。随着扩展的子块尺寸,最坏情况下的带宽减少,
MV_Chroma=Average(clipped(MV_luma0)+clipped(MV_luma1)+clipped(MV_luma2)+clipped(MV_luma3))
2.3.4具有运动矢量差的Merge(MMVD)
在一些实施例中,提出了最终运动矢量表达(UMVE,也称为MMVD)。UMVE与提出的运动矢量表达方法被用于跳过或Merge模式。
UMVE重用与VVC中常规Merge候选列表中包含的Merge候选相同的Merge候选。在Merge候选中,可以选择基础候选,并通过所提出的运动矢量表达方法进一步扩展基础候选。
UMVE提供了新的运动矢量差(MVD)表示方法,其中使用起点、运动幅度和运动方向来表示MVD。
图19和图20示出了UMVE搜索处理和搜索点的示例。
这个提出的技术按原样使用Merge候选列表。但是只有默认Merge类型(MRG_TYPE_DEFAULT_N)的候选才被考虑用于UMVE的扩展。
基础候选索引定义了起点。基础候选索引指示列表中候选的最佳候选,如下所示。
表1基础候选索引(IDX)
如果基础候选的数量等于1,则不信令通知基础候选IDX。
距离索引是运动幅度信息。距离索引指示距离起点信息的预定义的距离。预定义的距离如下所示:
表2距离IDX
方向索引表示MVD相对于起点的方向。方向索引可以表示如下所示的四个方向。
表3方向索引(IDX)
方向IDX 00 01 10 11
x-轴 + N/A N/A
y-轴 N/A N/A +
在发送跳过标志或Merge标志之后立即信令通知UMVE标志。如果跳过或Merge标志为真,则解析UMVE标志。如果UMVE标志等于1,则解析UMVE语法。但是,如果不是1,则解析仿射标志。如果仿射标志等于1,则是仿射模式,但是,如果不是1,则解析VTM的跳过/Merge模式的跳过/Merge索引。
由于UMVE候选而导致的附加线缓冲区是不需要的。因为软件的跳过/Merge候选被直接用作基础候选。通过使用输入UMVE索引,在运动补偿前直接判定MV的补充。不需要为此保留长线缓冲区。
在当前普通测试条件下,可以选择Merge候选列表中的第一个或第二个Merge候选作为基础候选。
2.3.5解码器侧运动矢量细化(DMVR)
在双向预测操作中,对于一个块区域的预测,将分别使用列表0的运动矢量(MV)和列表1的MV形成的两个预测块组合以形成单个预测信号。在解码器侧运动矢量细化(DMVR)方法中,进一步细化双向预测的两个运动矢量。
在JEM设计中,通过双边模板匹配处理对运动矢量进行细化。将双边模板匹配应用在解码器中,以在双边模板和参考图片中的重构样本点之间执行基于失真的搜索,以便在不传输附加运动信息的情况下获得细化的MV。图21示出了一个示例。如图21所示,从分别来自列表0的初始MV0和列表1的MV1,将双边模板生成为两个预测块的加权组合(即平均值)。模板匹配操作包括计算生成的模板与参考图片中的样点区域(围绕初始预测块)之间的成本度量。对于两个参考图片中的每一个,产生最小模板成本的MV被视为该列表的更新的MV以替换初始MV。在JEM中,为每个列表搜索九个MV候选。九个MV候选包括原始MV和8个周围MV,其中一个亮度样点在水平或垂直方向上、或者在水平和垂直方向二者上偏移到原始MV。最后,将图21所示的两个新MV(即MV0’和MV1’)用于生成最终的双向预测结果。使用绝对差之和(sum of absolute difference,SAD)作为成本度量。应当注意的是,当计算由一个周围MV生成的预测块的成本时,实际使用取整的MV(到整数像素)而不是真实的MV来获得预测块。
为了进一步简化DMVR的处理,提出了对设计的几种修改。更具体地,VTM-4.0采用的DMVR设计具有以下主要特点:
·列表0和列表1之间具有(0,0)位置SAD的早期终止
·DMVR的块尺寸W*H>=64&&H>=8
·对于CU尺寸>16*16的DMVR,将CU划分为多个16x16子块,
·参考块尺寸(W+7)*(H+7)(对于亮度)
·基于25点SAD的整数像素搜索(即(+-)2细化搜索范围,单级)
·基于双线性插值的DMVR
·列表0和列表1之间的MVD镜像,以允许双边匹配
·基于“参数误差曲面方程”的子像素细化
·具有参考块填充(如果需要)的亮度/色度MC
·细化的MV仅用于MC和TMVP
2.4环内重塑器(In-loop reshaper,ILR)
环内重塑器(ILR)的基本思想是将原始(在第一域)信号(预测/重构信号)转换到第二域(重塑域)。
环内亮度重塑器被实现为一对查找表(LUT),但是两个LUT中只有一个需要被信令通知,因为另一个LUT可以从信令通知的LUT中计算出来。每个LUT是一维的、10比特的、1024个条目的映射表(1D-LUT)。一个LUT是前向LUT(FwdLUT),它将输入的亮度代码值Yi映射到更改的值Yr:Yr=FwdLUT[Yi]。另一个LUT是逆向LUT(InvLUT),它将更改的代码值Yr映射到(/>表示Yi的重构值)。
2.4.1 PWL模型
在概念上,分段线性(PWL)模型的实现方式如下:
设x1,x2为两个输入轴点,并且y1,y2为一段的对应输出轴点。在x1和x2之间的任何输入值x的输出值y可以通过以下等式进行插值:
y=((y2-y1)/(x2-x1))*(x-x1)+y1
在定点实现中,该等式可以重写为:
y=((m*x+2FP_PREC-1)>>FP_PREC)+c
其中m是标量,c是偏移,并且FP_PREC是用于指定精度的常量值。
注意,在CE-12软件中,PWL模型用于预计算1024个条目的FwdLUT和InvLUT映射表;但是PWL模型还允许实现在不预先计算LUT的情况下实时计算等同的映射值。
2.4.2测试CE12-2
2.4.2.1亮度重塑
环内亮度重塑(即,提议中的CE12-2)的测试2提供了较低复杂度的流水线,该流水线还消除了帧间条带重构中逐块的帧内预测的解码延迟。对于帧间和帧内条带,帧内预测都在重塑域中执行。
不管条带类型如何,帧内预测总是在重塑域中执行。通过这样的布置,帧内预测可以在先前的TU重构完成后立即开始。这种布置还可以为帧内模式提供统一的而不是条带相关的处理。图22示出了基于模式的CE12-2解码处理的框图。
CE12-2也测试亮度和色度残差缩放的16段分段线性(PWL)模型,而不是CE12-1的32段分段PWL模型。
用CE12-2中的环内亮度重塑器进行帧间条带重构(浅绿色阴影块指示重塑域中的信号:亮度残差;帧内亮度预测的;以及帧内亮度重构的)。
2.4.2.2亮度相关的色度残差缩放
亮度相关的色度残差缩放是用定点整数运算实现的乘法处理。色度残差缩放补偿了亮度信号与色度信号的相互作用。色度残差缩放在TU级应用。
更具体地,以下适用:
–对于帧内,平均重构亮度。
–对于帧间,平均预测亮度。
平均被用于标识PWL模型中的索引。该索引标识缩放因子cScaleInv。色度残差乘以该数字。
应当注意的是,色度缩放因子是从前向映射的预测亮度值而不是重构亮度值计算出的。
2.4.2.3 ILR侧信息的信令
在片组标头(类似于ALF)中发送参数(当前)。这些据说需要40-100比特。
2.5量化
量化包括除以量化步长(Qstep)和随后的取整,而逆量化包括乘以量化步长。这里,Qstep是指正交变换的等效步长。与H.264/AVC类似,在HEVC中使用量化参数(QP)来确定量化步长。对于8比特视频序列,QP可以取从0到51的52个值。QP增加1意味着量化步长增加大约12%(即,21/6)。增加6导致量化步长增加因子2。除了指定两个连续QP值的步长之间的相对差外,还需要定义与QP值的范围相关联的绝对步长。这是通过为QP=4选择Qstep=1来完成的。
在H.264/HEVC/VVC中,采用了死区(dead-zone)量化方法。死区量化器利用取整偏移进行量化,并且围绕这种量化器的零输出值的分类区域被称为死区。死区有时可以起到与噪声门或静噪功能相同的作用。特别是对于压缩应用,可以为死区给定与其他步骤不同的宽度。对于其它均匀量化器,可以通过使用前向量化规则将死区宽度设置为任意值w。
其中,函数sgn()是符号函数(也称为正负号函数)。这种死区量化器的一般重构规则由如下给出:
其中rk是0到1范围内的重构偏移值,作为步长的一部分。通常,当使用对称于零且在零处达到峰值的典型概率分布函数(诸如高斯、拉普拉斯或广义高斯概率分布函数)量化输入数据时,0<=rk<=1/2。尽管rk通常取决于k,并且可以选择以满足下面描述的最优性条件,但它通常被简单地设置为常数,诸如1/2。(注意,在本定义中,由于sgn()函数的定义而使y0=0,因此r0是无效的)。
在标准中,上述处理是通过乘法(基于控制Δ的不同量化参数(QP)的缩放因子)和移位来实现的。
3.实施例解决的问题的示例
根据ILR的设计,观察到不同的图片可包含不同的特性,并且可用亮度样点的范围可以不同。因此,使用相同的量化方法(如果QP相同,则使用相同的量化步骤和偏移)不是很有效。
4.示例实施例
下面列出的示例技术和实施例应被视为解释一般概念的示例。不应狭义地解释这些实施例。此外,这些实施例可以以任何合适的方式组合。
1.提出了定义两级量化参数(QP),其中两级具有不同的步长。
a.在一个示例中,可以以常规方式设置第一级量化参数(诸如使用取决于2qp/6的量化步骤)。
b.在一个示例中,可以用常规方式设置第二级量化参数。
i.第一级量化器可以是精细量化器,并且第一级的量化步长可以小于第二级的量化步长。
ii.第一级量化器可以是分段线性函数。
iii.第一级量化器可取决于第二量化器的量化参数。
iv.第一级量化器可取决于第二量化器的输出值,即去量化值。
v.是否启用第一级量化器可以取决于第二量化器的量化参数。
1.例如,如果第二量化器的量化参数大于或等于阈值X,则禁用第一级量化器。
2.例如,如果第二量化器的量化参数小于或等于阈值X,则禁用第一级量化器。
vi.是否启用第一级量化器可取决于非零系数的数量(或比率)。
1.在一个示例中,如果非零系数的数量小于或等于Th*W*H(W和H是块/CU/PU/TU的宽度和高度),则禁用第一级量化器。
2.在一个示例中,如果非零系数的数量大于或等于Th*W*H,则禁用第一级量化器。
vii.第一级量化器可仅应用于一些系数。
1.在一个示例中,第一级量化器可应用于高频率系数。
2.在一个示例中,第一级量化器可应用于低频率系数。
3.在一个示例中,第一级量化器可应用于一些预定义频率的系数。
c.在一个示例中,第二级量化参数可以定义给定第一级量化参数的细化步长。
i.在一个示例中,如何应用第二级量化可以取决于第一量化参数。例如,第二层级量化的步长或重构层级可取决于第一层级量化。
d.当应用该方法时,最终量化步骤和/或取整偏移可取决于第一和第二级量化参数。
e.当应用该方法时,最终重构系数可取决于第一和第二级量化参数。
f.在一个示例中,可以为整个图片/片组/片/CTU行/区域/颜色分量信令通知/导出第一级或/和第二级QP一次。
i.在一个示例中,是否和/或如何信令通知第一级或/和第二级QP可以取决于第一级量化。
g.可替换地,此外,增量QP的信令可以用两步来完成,一步用于第一级的增量QP,并且另一步用于第二级的增量QP。
2.提出了信令通知更精细的步长和/或取整偏移,使得相同量化参数(QP)下的相同块可导致不同的量化,和/或相同量化参数(QP)下的相同残差块可导致不同的去量化结果。
a.在一个示例中,可以在块级以外的高层级中信令通知这种信息。
i.在一个示例中,可以在图片标头中信令通知。在这种情况下,相同QP值的语义可以从图片到图片变化。
ii.在一个示例中,可以在片标头中信令通知。在这种情况下,相同QP值的语义可以从片组到片组变化。
iii.在一个示例中,可以在片标头中信令通知。在这种情况下,相同QP值的语义可以从片到片变化。
b.在一个示例中,这种方法可应用于特定颜色分量(诸如色度分量)。
3.对于一个块内的不同系数位置,可以使用不同的步长和/或取整偏移。
a.在一个示例中,步长和/或取整偏移可取决于块维度和/或块形状(例如;正方形或矩形)。
b.在一个示例中,步长和/或取整偏移可取决于系数扫描顺序。
c.在一个示例中,步长和/或取整偏移可取决于是否使用变换/逆变换。
d.在一个示例中,步长和/或取整偏移可取决于使用哪个变换/逆变换。
e.在一个示例中,步长和/或取整偏移可以取决于编码信息,诸如帧间编解码或帧内编解码。
f.在一个示例中,步长和/或偏移可取决于以常规方式(诸如在块级/CTU级)信令通知的量化参数(QP)和在更高层级(诸如在图片/片组标头)信令通知的量化参数(QP)。
4.上述方法可在某些条件下应用,诸如块尺寸、条带/图片/片类型或运动信息的条件。
a.在一个示例中,当块尺寸包含小于M*H个样点时,例如16、32或64个亮度样点,提出的方法不被允许。
b.可替换地,当块的宽度或/和高度的最小尺寸小于或不大于X时,提出的方法不被允许。在一个示例中,X被设置为8。
c.可替换地,当块的宽度或/和高度的最小尺寸不小于X时,提出的方法不被允许。在一个示例中,X被设置为8。
d.可替换地,当块的宽度>th1或>=th1和/或块的高度>th2或>=th2时,提出的方法不被允许。在一个示例中,th1和/或th2被设置为8。
e.可替换地,当块的宽度<th1或<=th1和/或块的高度<th2或<=th2时,提出的方法不被允许。在一个示例中,th1和/或th2被设置为8。
5.可以在SPS/PPS/APS(自适应参数集)/VPS/序列标头/图片标头/条带标头/片组标头/片/CTU组等中信令通知是启用还是禁用上述方法。
a.可替换地,可以在SPS/PPS/VPS/序列标头/图片标头/条带标头/片组标头/片/CTU组等中通知要使用哪种方法。
b.可替换地,是启用还是禁用上述方法和/或要应用哪种方法可以取决于块维度、虚拟流水线数据单元(VPDU)、图片类型、低延迟检查标志、当前块的编解码信息(诸如参考图片、单向或双向预测)或先前的编解码块。
图23是视频处理装置1700的框图。装置1700可用于实现本文所述的一种或多种方法。装置1700可以被实现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1700可以包括一个或多个处理器1702、一个或多个存储器1704和视频处理硬件1706。处理器1702可以被配置为实现本文中描述的一个或多个方法。存储器1704可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件1706可用于在硬件电路中实现本文中描述的一些技术。
图24是视频编解码器的示例实现的框图,其中视频解码反馈回路用于编码视频帧或图片。
图25是视频处理的示例方法2500的流程图。方法2500包括:使用多级量化器执行(2502)视频和视频的比特流之间的转换。多级量化器包括至少使用第一量化精度的第一级量化,和/或使用与第一量化精度不同的第二量化精度的第二级量化。取决于多级量化规则,为当前视频块选择性地启用第一级量化和第二级量化。
图26是视频处理的示例方法2600的流程图。方法2600包括:使用利用视频块中系数的位置和对应的量化步长或取整偏移之间的关系的量化方案,执行(2602)视频和视频的比特流之间的转换。
图27是视频处理的示例方法2700的流程图。方法2700包括:在当前视频块和包括当前视频块的视频的比特流之间的转换期间,为当前视频块确定(2702)包括第一级量化参数QP1和第二级量化参数QP2的两级量化参数;以及在转换期间至少基于两级量化参数执行(2704)第一级量化和/或第二级量化,其中两级量化参数分别对应于不同的量化精度。
图28是视频处理的示例方法2800的流程图。方法2800包括:在当前视频块和当前视频块的比特流之间的转换期间,至少基于量化步长、取整偏移和量化参数执行(2802)量化,其中量化步长小于21/6,并且在比特流中信令通知当前视频块的量化步长和/或取整偏移。
在方法2500到2800中,转换可以包括视频编解码(其中从视频生成比特流是)或视频解码(其中从比特流生成视频)。
可以使用以下基于条款的叙述来描述这些方法的各种实施例和附加特征。
1.一种视频处理方法,包括:使用多级量化器执行视频和所述视频的比特流之间的转换;其中,所述多级量化器包括至少使用第一量化精度的第一级量化,和/或使用与所述第一量化精度不同的第二量化精度的第二级量化;并且其中,取决于多级量化(MLQ)规则,为当前视频块选择性地启用所述第一级量化和所述第二级量化。
例如,所述多级量化器可以使用本文中公开的细化方法。本文第4节的清单中还描述了MLQ规则的各种示例。
2.根据条款1所述的方法,其中,所述第一量化精度基于确定第一步长的第一量化参数。
3.根据条款1至2所述的方法,其中,所述第二量化精度基于确定第二步长的第二量化参数。
4.根据条款2所述的方法,其中,所述第一级量化参数(QP1)使用二次幂关系与所述第一步长相关。
5.根据条款2至4中任一项所述的方法,其中,所述第一步长等于2QP1-K0/6,其中K0=4。
6.根据条款2至4中任一项所述的方法,其中,所述第二级量化参数(QP2)使用N次幂关系(N是整数,例如N=2)与所述第二步长相关。
7.根据条款2至6中任一项所述的方法,其中,所述第二步长不等于2L-K0/6,其中L是所述第一级量化参数中的任何量化参数。
8.根据条款2至7中任一项所述的方法,其中,所述第一量化步长小于所述第二量化步长。
9.根据条款1至8中任一项所述的方法,其中,所述MLQ规则指定基于所述第二量化参数的值为所述当前视频块启用所述第一级量化。
10.根据条款1至8中任一项所述的方法,其中,所述MLQ规则指定基于所述当前视频块中的非零系数的数量或比率来为所述当前视频块启用所述第一级量化。
11.根据条款1至10中任一项所述的方法,其中,所述MLQ规则指定仅对所述当前视频块的所有系数的子集启用所述第一级量化。
12.根据条款11所述的方法,其中,所述子集包括频率高于阈值的所述当前视频块的高频率系数。
13.根据条款11所述的方法,其中,所述子集包括频率低于阈值的所述当前视频块的低频率系数。
14.根据条款1所述的方法,其中,所述第一级量化使用第一分段线性函数。
15.根据条款1或14所述的方法,其中,所述第二级量化使用第二分段线性函数。
16.根据条款1至15中任一项所述的方法,其中,在所述比特流的字段中信令通知所述第一量化精度或所述第二量化精度。
17.根据条款16所述的方法,其中,所述字段包含在图片标头或片标头级的所述比特流中。
18.根据条款1至17中任一项所述的方法,其中,所述当前视频块包括所述视频的颜色分量。
19.一种视频处理方法,包括:
使用利用视频块中系数的位置和对应的量化步长或取整偏移之间的关系的量化方案,执行视频和所述视频的比特流之间的转换。
20.根据条款19所述的方法,其中,所述关系是所述视频块的维度或形状的函数。
21.根据条款19至20中任一项所述的方法,其中,所述关系是所述视频块中所述系数的扫描顺序的函数。
22.根据条款19至21中任一项所述的方法,其中,所述关系是所述视频块的帧内或帧间编解码模式的函数。
23.根据条款19至22中任一项所述的方法,其中,所述步长或取整偏移取决于所述当前视频块的量化参数。
24.根据条款19至23中任一项所述的方法,其中,在所述当前视频块的编解码条件下启用所述关系。
25.根据条款24所述的方法,其中,所述编解码条件包括所述当前视频块的尺寸。
26.根据条款19至25条中任一项所述的方法,其中,在条带、图片、自适应参数集级别、视频参数集级别、自适应参数集级别、序列标头、图片标头、条带标头、片组标头、片或编解码树单元组处指示所述关系。
27.根据条款1至26中任一项所述的方法,其中,所述转换包括:从所述比特流生成所述当前视频块、或从所述当前视频块生成所述比特流。
28.一种视频解码装置,包括处理器,所述处理器被配置为实现条款1至27中一项或多项所述的方法。
29.一种视频编码装置,包括处理器,所述处理器被配置为实现条款1至27中一项或多项所述的方法。
30.一种计算机可读程序介质,其中存储有代码,所述代码包括指令,当所述指令由处理器执行时,使所述处理器实现条款1至27中一项或多项所述的方法。
可以使用以下基于条款的叙述来描述这些方法的各种其它实施例和附加特征。
1.一种视频处理方法,包括:
在当前视频块和包括所述当前视频块的视频的比特流之间的转换期间,为所述当前视频块确定包括第一级量化参数QP1和第二级量化参数QP2的两级量化参数;以及在所述转换期间至少基于所述两级量化参数执行第一级量化和/或第二级量化,其中所述两级量化参数分别对应于不同的量化精度。
2.根据条款1所述的方法,其中,所述第一级量化参数QP1以QS1=2QP1/N的关系对应于第一量化步长QS1,其中N是大于1的整数。
3.根据条款1或2所述的方法,其中,所述第二级量化参数QP2以QS2=2QP2/M的关系对应于第二量化步长QS2,其中M是大于1的整数,并且N与M不同。
4.根据条款3所述的方法,其中,所述第一量化步长QS1小于所述第二量化步长QS2。
5.根据条款1至4中任一项所述的方法,其中,所述第一级量化使用以所述第一级量化参数QP1为变量的分段线性函数。
6.根据条款1至5中任一项所述的方法,其中,所述第一级量化取决于所述第二级量化参数QP2。
7.根据条款1至6中任一项所述的方法,其中,所述第一级量化取决于所述第二级量化的结果。
8.根据条款1至7中任一项所述的方法,其中,根据所述第二级量化参数QP2启用所述第一级量化。
9.根据条款8所述的方法,其中,响应于所述第二级量化参数QP2大于或等于第一预定阈值而禁用所述第一级量化。
10.根据条款8所述的方法,其中,响应于所述第二级量化参数QP2小于或等于第一预定阈值而禁用所述第一级量化。
11.根据条款1至10中任一项所述的方法,其中,根据所述当前视频块中的非零系数的数量或比率来启用所述第一级量化。
12.根据条款11所述的方法,其中,响应于所述非零系数的所述数量小于或等于第二预定阈值而禁用所述第一级量化。
13.根据条款11所述的方法,其中,响应于所述非零系数的所述数量大于或等于第二预定阈值而禁用所述第一级量化。
14.根据条款12或13所述的方法,其中,所述第二预定阈值为Th×W×H,W和H分别为所述当前视频块的宽度和高度,并且Th是不小于0的变量。
15.根据条款1至14中任一项所述的方法,其中,执行所述第一级量化包括:对所述当前视频块的系数的子集执行所述第一级量化。
16.根据条款15所述的方法,其中,所述当前视频块的所述系数的子集包括以下中的一个:所述当前块的频率高于第一阈值频率的系数的子集、频率低于第二阈值频率的系数的子集、以及具有预定义频率的系数的子集。
17.根据条款1至16中任一项所述的方法,其中,由所述第二级量化参数QP2定义对应于给定的第一级量化参数QP1的所述第一量化步长QS1。
18.根据条款1至17中任一项所述的方法,其中,执行所述第二级量化包括:根据所述第一级量化参数QP1执行所述第二级量化。
19.根据条款18所述的方法,其中,所述第二量化步长QS2或所述第二级量化的重构级别取决于所述第一级量化参数QP1。
20.根据条款1至19中任一项所述的方法,其中,在所述转换期间至少基于所述两级量化参数执行所述第一级量化和/或所述第二级量化包括:确定取整偏移并基于所述第一级量化参数QP1和所述第二级量化参数QP2二者执行量化。
21.根据条款1至20中任一项所述的方法,其中,在所述转换期间至少基于所述两级量化参数执行所述第一级量化和/或所述第二级量化包括:
基于所述第一级量化参数QP1和所述第二级量化参数QP2二者获得重构的系数。
22.根据条款1至21中任一项所述的方法,其中,为整个图片、片组、片、编解码树单元行、区域和/或颜色分量信令通知所述第一级量化参数QP1和/或所述第二级量化参数QP2一次。
23.根据条款22所述的方法,其中,根据所述第一级量化信令通知所述第一级量化参数QP1和/或所述第二级量化参数QP2。
24.根据条款1至21中任一项所述的方法,其中,信令通知所述第一级量化的第一增量量化参数,然后信令通知所述第二级量化的第二增量量化参数。
25.一种视频处理方法,包括:
在当前视频块和所述当前视频块的比特流之间的转换期间,至少基于量化步长、取整偏移和量化参数执行量化,
其中所述量化步长小于21/6,并且在所述比特流中信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
26.根据条款25所述的方法,其中,在视频区域级信令通知所述量化步长和/或取整偏移,其中所述视频区域大于编解码块。
27.根据条款26所述的方法,其中,所述视频区域是图片或片,并且在图片标头或者在片标头中信令通知所述量化步长和/或取整偏移。
28.根据条款25至27中任一项所述的方法,其中,在所述转换期间至少基于所述量化步长、所述取整偏移和量化参数执行量化包括:
对所述当前视频块的特定颜色分量执行所述量化。
29.根据条款25至28中任一项所述的方法,其中,
根据所述当前视频块中的系数位置来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
30.根据条款25至29中任一项所述的方法,其中,
根据所述当前视频块的块维度和/或块形状来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
31.根据条款25至30中任一项所述的方法,其中,
根据所述当前视频块的系数扫描顺序来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
32.根据条款25至31中任一项所述的方法,其中,
根据是否使用和/或使用哪个变换或逆变换来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
33.根据条款25至32中任一项所述的方法,其中,
根据所述当前视频块的编解码模式来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
34.根据条款25至33中任一项所述的方法,其中,根据在块级、编解码树单元级、片组标头级或图片级中信令通知的所述当前视频块的所述量化参数来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
35.根据条款25至34中任一项的方法,其中,
响应于满足预定义的条件来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
36.根据条款35所述的方法,其中,当所述当前视频块包含一个数量的亮度样点并且所述数量不小于预定义的数量阈值时,满足所述预定义的条件。
37.根据条款35所述的方法,其中,当所述当前视频块的宽度和/或高度的最小尺寸大于预定义的尺寸阈值时,满足所述预定义的条件。
38.根据条款35所述的方法,其中,当所述当前视频块的宽度和/或高度的最小尺寸小于预定义的尺寸阈值时,满足所述预定义的条件。
39.根据条款35所述的方法,其中,当所述当前视频块的宽度小于预定义的宽度阈值和/或所述当前视频块的高度小于预定义的高度阈值时,满足所述预定义的条件。
40.根据条款35所述的方法,其中,当所述当前视频块的宽度大于预定义的宽度阈值和/或所述当前视频块的高度大于预定义的高度阈值时,满足所述预定义的条件。
41.根据条款25至40中任一项所述的方法,其中,
根据在SPS、PPS、APS、VPS、序列标头、图片标头、条带标头、片组标头、片、编解码树单元组中信令通知的使能信息来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
42.根据条款41所述的方法,其中,所述使能信息取决于所述当前视频块或先前编解码的视频块的块维度、虚拟流水线数据单元(VPDU)、图片类型、低延迟检查标志、编解码信息。
43.一种视频处理装置,包括处理器,所述处理器被配置为实现条款1至42中任一项所述的方法。
44.根据条款43所述的装置,其中所述装置是视频编解码器。
45.根据条款43所述的装置,其中所述装置是视频解码器。
46.一种计算机可读记录介质,其上记录有包括代码的程序,所述程序用于使处理器实现条款1至42中任一项所述的方法。
本文中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现,包括本文中公开的结构及其结构等效物,或者一个或多个的组合。所公开的实施例和其他实施例可以实现为一个或多个计算机程序产品,即在计算机可读介质上编码以供数据处理设备执行或控制其操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质的组合,或者一个或多个它们的组合。术语“数据处理设备”包括用于处理数据的所有设备、装置和机器,包括例如可编程处理器、计算机或多个处理器或计算机。除硬件外,设备还可以包括为所述计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理***、操作***或其中一个或多个的组合的代码。传播的信号是人为生成的信号,例如,机器生成的电、光或电磁信号,其被生成以编码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件***中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行,这些计算机位于一个站点上或分布在多个站点上,并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行,该处理器执行一个或多个计算机程序,通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行,并且装置也可以实现为特殊用途的逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型数字计算机的任何一个或多个。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备,或两者兼有。然而,计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动硬盘;磁光盘;以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充,或合并到专用逻辑电路中。
虽然本专利文件包含许多细节,但不应将其解释为对任何主题或权利要求范围的限制,而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施,或在任何合适的子组合中实施。此外,尽管上述特征可以描述为在某些组合中起作用,甚至最初要求是这样,但在某些情况下,可以从组合中移除权利要求组合中的一个或多个特征,并且权利要求的组合可以指向子组合或子组合的变体。
同样,尽管附图中以特定顺序描述了操作,但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作,或执行所有说明的操作。此外,本专利文件所述实施例中各种***组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例,其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (46)

1.一种处理视频数据的方法,包括:
在当前视频块和包括所述当前视频块的视频的比特流之间的转换期间,为所述当前视频块确定包括第一级量化参数QP1和第二级量化参数QP2的两级量化参数;以及
在所述转换期间至少基于所述两级量化参数执行第一级量化和/或第二级量化,
其中所述两级量化参数分别对应于不同的量化精度;并且在所述比特流中信令通知所述当前视频块的量化步长和/或取整偏移。
2.根据权利要求1所述的方法,其中,所述第一级量化参数QP1以QS1=2QP1/N的关系对应于第一量化步长QS1,其中N是大于1的整数,其中,所述第二级量化参数QP2以QS2=2QP2/M的关系对应于第二量化步长QS2,其中M是大于1的整数,并且N与M不同,其中,所述第一量化步长QS1小于所述第二量化步长QS2。
3.根据权利要求1所述的方法,其中,所述第一级量化使用以所述第一级量化参数QP1为变量的分段线性函数。
4.根据权利要求1至3中任一项所述的方法,其中,所述第一级量化取决于所述第二级量化参数QP2。
5.根据权利要求1所述的方法,其中,所述第一级量化取决于所述第二级量化的结果。
6.根据权利要求1所述的方法,其中,根据所述第二级量化参数QP2启用所述第一级量化。
7.根据权利要求6所述的方法,其中,响应于所述第二级量化参数QP2大于或等于第一预定阈值而禁用所述第一级量化。
8.根据权利要求6所述的方法,其中,响应于所述第二级量化参数QP2小于或等于第一预定阈值而禁用所述第一级量化。
9.根据权利要求1所述的方法,其中,根据所述当前视频块中的非零系数的数量或比率来启用所述第一级量化。
10.根据权利要求9所述的方法,其中,响应于所述非零系数的所述数量小于或等于第二预定阈值而禁用所述第一级量化。
11.根据权利要求9所述的方法,其中,响应于所述非零系数的所述数量大于或等于第二预定阈值而禁用所述第一级量化。
12.根据权利要求10或11所述的方法,其中,所述第二预定阈值为Th×W×H,W和H分别为所述当前视频块的宽度和高度,并且Th是不小于0的变量。
13.根据权利要求1所述的方法,其中,执行所述第一级量化包括:
对所述当前视频块的系数的子集执行所述第一级量化。
14.根据权利要求13所述的方法,其中,所述当前视频块的所述系数的子集包括以下中的一个:所述当前视频块的频率高于第一阈值频率的系数的子集、频率低于第二阈值频率的系数的子集、以及具有预定义频率的系数的子集。
15.根据权利要求1所述的方法,其中,由所述第二级量化参数QP2定义对应于给定的第一级量化参数QP1的所述第一量化步长QS1。
16.根据权利要求1所述的方法,其中,执行所述第二级量化包括:
根据所述第一级量化参数QP1执行所述第二级量化。
17.根据权利要求16所述的方法,其中,所述第二量化步长QS2或所述第二级量化的重构级别取决于所述第一级量化参数QP1。
18.根据权利要求1所述的方法,其中,在所述转换期间至少基于所述两级量化参数执行所述第一级量化和/或所述第二级量化包括:
确定取整偏移并基于所述第一级量化参数QP1和所述第二级量化参数QP2二者执行量化。
19.根据权利要求1所述的方法,其中,在所述转换期间至少基于所述两级量化参数执行所述第一级量化和/或所述第二级量化包括:
基于所述第一级量化参数QP1和所述第二级量化参数QP2二者获得重构的系数。
20.根据权利要求1所述的方法,其中,为整个图片、片组、片、编解码树单元行、区域和/或颜色分量信令通知所述第一级量化参数QP1和/或所述第二级量化参数QP2一次。
21.根据权利要求20所述的方法,其中,根据所述第一级量化信令通知所述第一级量化参数QP1和/或所述第二级量化参数QP2。
22.根据权利要求1所述的方法,其中,信令通知所述第一级量化的第一增量量化参数,然后信令通知所述第二级量化的第二增量量化参数。
23.根据权利要求1所述的方法,其中,所述转换包括将所述当前视频块编码为所述比特流。
24.根据权利要求1所述的方法,其中,所述转换包括将所述当前视频块解码为所述比特流。
25.根据权利要求1所述的方法,还包括:
在当前视频块和所述当前视频块的比特流之间的转换期间,至少基于所述量化步长、所述取整偏移和量化参数执行量化,其中所述量化步长小于21/6
26.根据权利要求25所述的方法,其中,在视频区域级信令通知所述量化步长和/或取整偏移,其中所述视频区域大于编解码块。
27.根据权利要求26所述的方法,其中,所述视频区域是图片或片,并且在图片标头或者在片标头中信令通知所述量化步长和/或取整偏移。
28.根据权利要求25所述的方法,其中,在所述转换期间至少基于所述量化步长、所述取整偏移和量化参数执行量化包括:
对所述当前视频块的特定颜色分量执行所述量化。
29.根据权利要求25所述的方法,其中,
根据所述当前视频块中的系数位置来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
30.根据权利要求25所述的方法,其中,
根据所述当前视频块的块维度和/或块形状来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
31.根据权利要求25所述的方法,其中,
根据所述当前视频块的系数扫描顺序来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
32.根据权利要求25所述的方法,其中,
根据是否使用和/或使用哪个变换或逆变换来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
33.根据权利要求25所述的方法,其中,
根据所述当前视频块的编解码模式来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
34.根据权利要求25所述的方法,其中,根据在块级、编解码树单元级、片组标头级或图片级中信令通知的所述当前视频块的所述量化参数,来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
35.根据权利要求25至34中任一项所述的方法,其中,
响应于满足预定义的条件来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
36.根据权利要求35所述的方法,其中,当所述当前视频块包含一个数量的亮度样点并且所述数量不小于预定义的数量阈值时,满足所述预定义的条件。
37.根据权利要求35所述的方法,其中,当所述当前视频块的宽度和/或高度的最小尺寸大于预定义的尺寸阈值时,满足所述预定义的条件。
38.根据权利要求35所述的方法,其中,当所述当前视频块的宽度和/或高度的最小尺寸小于预定义的尺寸阈值时,满足所述预定义的条件。
39.根据权利要求35所述的方法,其中,当所述当前视频块的宽度小于预定义的宽度阈值和/或所述当前视频块的高度小于预定义的高度阈值时,满足所述预定义的条件。
40.根据权利要求35所述的方法,其中,当所述当前视频块的宽度大于预定义的宽度阈值和/或所述当前视频块的高度大于预定义的高度阈值时,满足所述预定义的条件。
41.根据权利要求25所述的方法,其中,
根据在SPS、PPS、APS、VPS、序列标头、图片标头、条带标头、片组标头、片、编解码树单元组中信令通知的使能信息,来信令通知所述当前视频块的所述量化步长和/或所述取整偏移。
42.根据权利要求41所述的方法,其中,所述使能信息取决于所述当前视频块或先前编解码的视频块的块维度、虚拟流水线数据单元(VPDU)、图片类型、低延迟检查标志、编解码信息。
43.一种用于处理视频数据的装置,包括处理器和其上带有指令的非暂时性存储器,其中所述指令在由所述处理器执行时,使所述处理器:
在当前视频块和包括所述当前视频块的视频的比特流之间的转换期间,为所述当前视频块确定包括第一级量化参数QP1和第二级量化参数QP2的两级量化参数;以及
在所述转换期间至少基于所述两级量化参数执行第一级量化和/或第二级量化,
其中所述两级量化参数分别对应于不同的量化精度;并且在所述比特流中信令通知所述当前视频块的量化步长和/或取整偏移。
44.根据权利要求43所述的装置,其中所述装置是视频编码器。
45.根据权利要求43所述的装置,其中所述装置是视频解码器。
46.一种用于存储视频的比特流的方法,包括:
为当前视频块确定包括第一级量化参数QP1和第二级量化参数QP2的两级量化参数;
至少基于所述两级量化参数执行第一级量化和/或第二级量化;
基于所述执行生成所述比特流;以及
将所述比特流存储在非暂时性计算机可读记录介质中,
其中所述两级量化参数分别对应于不同的量化精度;并且在所述比特流中信令通知所述当前视频块的量化步长和/或取整偏移。
CN202311798114.0A 2019-01-31 2020-01-31 视频编解码中的细化量化步骤 Pending CN117793346A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/074113 2019-01-31
CN2019074113 2019-01-31
CN202080010803.9A CN113366839B (zh) 2019-01-31 2020-01-31 视频编解码中的细化量化步骤
PCT/CN2020/074121 WO2020156515A1 (en) 2019-01-31 2020-01-31 Refined quantization steps in video coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080010803.9A Division CN113366839B (zh) 2019-01-31 2020-01-31 视频编解码中的细化量化步骤

Publications (1)

Publication Number Publication Date
CN117793346A true CN117793346A (zh) 2024-03-29

Family

ID=71841653

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311798114.0A Pending CN117793346A (zh) 2019-01-31 2020-01-31 视频编解码中的细化量化步骤
CN202080010803.9A Active CN113366839B (zh) 2019-01-31 2020-01-31 视频编解码中的细化量化步骤

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080010803.9A Active CN113366839B (zh) 2019-01-31 2020-01-31 视频编解码中的细化量化步骤

Country Status (3)

Country Link
US (1) US11997277B2 (zh)
CN (2) CN117793346A (zh)
WO (1) WO2020156515A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499661A (zh) 2019-09-09 2024-02-02 北京字节跳动网络技术有限公司 高精度图像和视频编解码的系数缩放
CN114731392A (zh) 2019-09-21 2022-07-08 北京字节跳动网络技术有限公司 用于图像和视频编解码的高精度变换和量化

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1206864C (zh) 2002-07-22 2005-06-15 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
US8787445B2 (en) * 2007-03-15 2014-07-22 Nvidia Corporation Allocation of available bits to represent different portions of video frames captured in a sequence
JP5770476B2 (ja) * 2008-01-17 2015-08-26 トムソン ライセンシングThomson Licensing ビデオ符号化に於いてレート制御を正確にする方法及び装置
EP2286595A1 (en) * 2008-06-16 2011-02-23 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
JP5749710B2 (ja) * 2009-05-16 2015-07-15 トムソン ライセンシングThomson Licensing 映像符号化及び復号化のための、改善された量子化の丸めのオフセットを調節する方法及び装置
CN103004194B (zh) * 2010-05-19 2016-08-17 Sk电信有限公司 图像编码/解码设备和方法
KR101362441B1 (ko) * 2010-07-16 2014-02-18 인텔렉추얼디스커버리 주식회사 쿼드트리 기반의 매크로블록을 위한 멀티 레벨의 양자화 파라미터 기록 방법 및 장치
US20120114034A1 (en) * 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
RU2579967C2 (ru) * 2011-03-11 2016-04-10 Сони Корпорейшн Устройство и способ обработки изображений
US20120307890A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Techniques for adaptive rounding offset in video encoding
US20130022108A1 (en) * 2011-06-30 2013-01-24 General Instrument Corporation Quantization parameter derivation from qp predictor
CN107277547B (zh) * 2011-08-29 2020-05-29 苗太平洋控股有限公司 以amvp模式对图像编码的方法
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
KR20130050405A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
US9020294B2 (en) * 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
US20150215621A1 (en) 2014-01-30 2015-07-30 Qualcomm Incorporated Rate control using complexity in video coding
US10271052B2 (en) 2014-03-14 2019-04-23 Qualcomm Incorporated Universal color-space inverse transform coding
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US20150373327A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
EP3192261A1 (en) 2014-09-12 2017-07-19 VID SCALE, Inc. Inter-component de-correlation for video coding
US9883184B2 (en) 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
CN107211134B (zh) 2015-01-29 2020-05-29 Vid拓展公司 用于调色编码模式的逃逸色彩编码
EP3286919A1 (en) 2015-04-21 2018-02-28 VID SCALE, Inc. High dynamic range video coding
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
US10218975B2 (en) 2015-09-29 2019-02-26 Qualcomm Incorporated Transform precision manipulation in video coding
KR102390162B1 (ko) * 2015-10-16 2022-04-22 삼성전자주식회사 데이터 인코딩 장치 및 데이터 인코딩 방법
US20170150156A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Illumination compensation with non-square predictive blocks in video coding
CN107040787B (zh) 2017-03-30 2019-08-02 宁波大学 一种基于视觉感知的3d-hevc帧间信息隐藏方法
CN109151470B (zh) * 2017-06-28 2021-03-16 腾讯科技(深圳)有限公司 编码分辨率控制方法及终端
US11039143B2 (en) 2017-11-20 2021-06-15 Qualcomm Incorporated Memory reduction for context initialization with temporal prediction
US20200359024A1 (en) 2018-01-30 2020-11-12 Sharp Kabushiki Kaisha Systems and methods for deriving quantization parameters for video blocks in video coding
TWI813126B (zh) * 2018-03-29 2023-08-21 弗勞恩霍夫爾協會 相依量化技術
CN112335242A (zh) * 2018-06-25 2021-02-05 韩国电子通信研究院 用于使用量化参数对图像进行编码/解码的方法和设备以及存储比特流的记录介质
WO2020007785A1 (en) * 2018-07-02 2020-01-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entropy coding of transform coefficients suitable for dependent scalar quantization
CN110881129B (zh) * 2018-09-05 2024-01-05 华为技术有限公司 视频解码方法及视频解码器
US20200288159A1 (en) * 2019-03-08 2020-09-10 Qualcomm Incorporated Combined residual coding in video coding

Also Published As

Publication number Publication date
US11997277B2 (en) 2024-05-28
CN113366839B (zh) 2024-01-12
WO2020156515A1 (en) 2020-08-06
US20210344922A1 (en) 2021-11-04
CN113366839A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
US11070820B2 (en) Condition dependent inter prediction with geometric partitioning
CN113170099B (zh) 块内拷贝模式和帧间预测工具之间的交互
CN113170182B (zh) 不同预测模式下的修剪方法
CN113424525B (zh) 解码器侧细化工具的尺寸选择性应用
TWI706670B (zh) 廣義運動向量差解析度
CN112970253B (zh) 用于预测的运动候选列表构建
CN113519157B (zh) 视频处理中滤波信息的两级信令
CN113924771B (zh) 子块Merge模式中的语法信令
CN113545044A (zh) 视频处理中的整形模型
CN113170166A (zh) 具有几何分割的帧间预测在视频处理中有条件的应用
US11997277B2 (en) Refined quantization steps in video coding
CN113170139A (zh) 上下文自适应二进制算数编码的简化上下文建模
CN112997496B (zh) 仿射预测模式的改进

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination