CN113545068A - 用于视频编解码中的帧内块复制的基于顺序的更新 - Google Patents
用于视频编解码中的帧内块复制的基于顺序的更新 Download PDFInfo
- Publication number
- CN113545068A CN113545068A CN202080018114.2A CN202080018114A CN113545068A CN 113545068 A CN113545068 A CN 113545068A CN 202080018114 A CN202080018114 A CN 202080018114A CN 113545068 A CN113545068 A CN 113545068A
- Authority
- CN
- China
- Prior art keywords
- block
- buffer
- current video
- samples
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
- H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种可视媒体处理的方法,包括:对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区;对于在空域上位于当前视频块相对于包括当前视频块的编解码树单元的左上角位置的位置处并具有块矢量的样点,计算缓冲区中在参考位置处的对应参考,其中,参考位置是使用块矢量和位置而确定的;以及当确定参考位置位于缓冲区之外时,至少部分基于当前视频块相对于包括当前视频块的编解码树单元的位置来重新计算参考位置。
Description
相关申请的交叉引用
根据适用的专利法和/或依据巴黎公约的规则,本申请旨在及时要求2019年3月1日提交的第PCT/CN2019/076695号国际专利申请、2019年3月4日提交的第PCT/CN2019/076848号国际专利申请、2019年3月11日提交的第PCT/CN2019/077725号国际专利申请、2019年3月21日提交的第PCT/CN2019/079151号国际专利申请、2019年5月7日提交的第PCT/CN2019/085862号国际专利申请、2019年5月23日提交的第PCT/CN2019/088129号国际专利申请、2019年6月18日提交的第PCT/CN2019/091691号国际专利申请、2019年6月28日提交的第PCT/CN2019/093552号国际专利申请、2019年7月6日提交的第PCT/CN2019/094957号国际专利申请、2019年7月9日提交的第PCT/CN2019/095297号国际专利申请、2019年7月10日提交的第PCT/CN2019/095504号国际专利申请、2019年7月11日提交的第PCT/CN2019/095656号国际专利申请、2019年7月13日提交的第PCT/CN2019/095913号国际专利申请、2019年7月15日提交的第PCT/CN2019/096048号国际专利申请的优先权和利益,出于根据法律的所有目的,前述申请的全部公开通过引用而并入作为本申请的公开的一部分。
技术领域
本专利文档涉及视频编解码和解码技术、设备以及***。
背景技术
尽管视频压缩有所进步,但数字视频仍占互联网和其它数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加,预计对数字视频使用的带宽需求将继续增长。
发明内容
本文档描述了用于对视频或图像进行解码或编码的帧内块复制模式的缓冲区管理和块矢量编解码的各种实施例和技术。
在一个示例方面,公开了一种视频或图像(可视数据)处理的方法。该方法包括:对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;对于在空域上位于当前视频块相对于包括当前视频块的编解码树单元的左上角位置的位置(x0,y0)处并具有块矢量(BVx,BVy)的样点,计算缓冲区中在参考位置(P,Q)处的对应参考,其中,参考位置(P,Q)是使用块矢量(BVx,BVy)和位置(x0,y0)而确定的;以及当确定参考位置(P,Q)位于缓冲区之外时,至少部分基于当前视频块相对于包括当前视频块的编解码树单元的位置来重新计算参考位置。
在另一示例方面,公开了另一种可视数据处理的方法。该方法包括:对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;对于在空域上位于当前视频块相对于包括当前视频块的图片的左上角位置的位置(x,y)处并具有块矢量(BVx,BVy)的样点,至少部分基于满足与以下中的至少一个相关联的一个或多个条件来将块矢量(BVx,BVy)指定为有效:当前视频块的位置(x,y)、当前视频块的大小、图片的大小、包括当前视频块的编解码树单元的大小、或缓冲区的大小;执行检查以确定块矢量(BVx,BVy)有效;以及当识别出块矢量(BVx,BVy)有效时,计算缓冲区中在参考位置(P,Q)处的对应参考,其中,参考位置(P,Q)是使用块矢量(BVx,BVy)、位置(x,y)以及缓冲区的大小而确定的。
在又一示例方面,公开了另一种可视数据处理的方法。该方法包括:对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定当前视频块的块矢量(BVx,BVy)或块矢量差(BVDx,BVDy),其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;以及将块矢量(BVx,BVy)的至少一个分量或块矢量差(BVDx,BVDy)的至少一个分量归一化为位于一范围内。
在又一示例方面,公开了另一种视频处理的方法。该方法包括:对于当前视频块和当前视频块的比特流表示之间的转换,确定用于存储用于帧内块复制模式下的预测的重构样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;以及根据顺序来更新存储在缓冲区中的重构样点。
在另一示例方面,公开了另一种视频处理的方法。该方法包括:执行当前视频块和当前视频块的比特流表示之间的转换,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,用于预测计算的第一精确度低于用于重构计算的第二精确度。
在又一示例方面,公开了另一种视频处理的方法。该方法包括:使用帧内块复制模式来执行当前视频块和当前视频块的比特流表示之间的转换,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,尺寸为nM×nM的参考区域被使用,其中n和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域包括来自对应于当前视频块的编解码树单元行中的n×n个最近的可用编解码树单元的样点。
在又一示例方面,公开了另一种视频处理的方法。该方法包括:使用帧内块复制模式来执行当前视频块和当前视频块的比特流表示之间的转换,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,尺寸为nM×pM的参考区域被使用,其中n、p和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域包括来自对应于当前视频块的编解码树单元行中的n×p-1个最近的可用编解码树单元的样点。
在又一示例方面,公开了另一种视频处理的方法。该方法包括:使用帧内块复制模式来执行视频区域的虚拟管道数据单元(VPDU)的当前视频块和当前视频块的比特流表示之间的转换,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,尺寸为nM×nM的参考区域被使用,VPDU的尺寸为kM×kM,其中k、n和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域包括来自对应于当前视频块的编解码树单元行中的n×n-k个最近的可用编解码树单元的样点。
在又一示例方面,公开了另一种视频处理的方法。该方法包括:对于可视媒体数据的尺寸为w×h的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;对于在空域上位于当前视频块相对于包括当前视频块的尺寸为M×M的编解码树单元(CTU)的左上角位置的位置(x0,y0)处并具有块矢量(BVx,BVy)的样点,计算在缓冲区中的参考位置(P,Q)处开始的对应参考区域,其中,参考位置(P,Q)是使用块矢量(BVx,BVy)和/或位置(x0,y0)而确定的;以及将一个或多个基于规则的约束应用于参考区域和/或参考位置(P,Q),以限制参考区域与视频区域的重叠。
在又一示例方面,公开了另一种视频处理的方法。该方法包括:对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;对于在空域上位于当前视频块相对于包括当前视频块的编解码单元(CU)的位置(x0,y0)处的样点,计算在缓冲区中的参考位置处开始的对应参考区域;以及调整参考区域和参考位置以确定先前处理的块中的哪些被用于预测。
在又一示例方面,公开了另一种视频处理的方法。该方法包括:对于视频的当前视频块和当前视频块的比特流表示之间的转换,使用视频的分量X来确定与视频的分量c的当前视频块相对应的块矢量的有效性,其中,分量X不同于视频的亮度分量;以及当确定块矢量对于当前视频块有效时,使用块矢量来执行该转换,其中,该转换在帧内块复制(IBC)模式下被执行,其中该帧内块复制(IBC)模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息。
在又一示例方面,公开了一种视频编码器或解码器装置,包括被配置为实施上述方法的处理器。
在另一示例方面,公开了一种计算机可读程序介质。该介质存储体现用于实施所公开的方法中的一种的处理器可执行指令的代码。
在本文档中更详细地描述了这些和其它方面。
附图说明
图1示出了当前图片参考或帧内块复制视频或图像编解码技术的示例。
图2示出了动态参考区域的示例。
图3示出了对从(x,y)开始的块的编解码的示例。
图4示出了选择先前编解码的64×64块的可能的替代方式的示例。
图5示出了改变64×64块的编解码/解码顺序的可能的替代方式的示例。
图6是视频或图像处理的示例方法的流程图。
图7是用于视频或图像编解码或解码的硬件平台的框图。
图8示出了在64×64块的解码顺序是从顶部到底部、从左到右时选择先前编解码的64×64块的另一种可能的替代方式。
图9示出了选择先前编解码的64×64块的另一种可能的替代方式。
图10示出了具有整形的解码过程的示例流程图。
图11示出了在64×64块的解码顺序是从左到右、从顶部到底部时选择先前编解码的64×64块的另一种可能的替代方式。
图12是IBC参考缓冲区状态的图示,其中块表示64×64CTU。
图13示出了用于IBC的参考区域的一种布置。
图14示出了用于IBC的参考区域的另一种布置。
图15示出了当当前虚拟管道数据单元(Virtual Pipeline Data Unit,VPDU)在图片边界的右侧时的用于IBC的参考区域的另一种布置。
图16示出了当CTU行中的VPDU被顺序地解码时的虚拟缓冲区的状态的示例。
图17是可以在其中实施所公开的技术的示例视频处理***的框图。
图18是可视数据处理的示例方法的流程图。
图19是可视数据处理的示例方法的流程图。
图20是可视数据处理的示例方法的流程图。
图21是可视数据处理的示例方法的流程图。
图22是可视数据处理的示例方法的流程图。
图23是可视数据处理的示例方法的流程图。
图24是可视数据处理的示例方法的流程图。
图25是可视数据处理的示例方法的流程图。
图26是可视数据处理的示例方法的流程图。
图27是可视数据处理的示例方法的流程图。
图28是可视数据处理的示例方法的流程图。
具体实施方式
为了便于理解,在本文档中使用了章节标题,并且不将每个章节中所公开的实施例的范围仅限制于该章节。本文档描述了用于对视频或图像进行解码或编码的帧内块复制模式的缓冲区管理和块矢量编解码的各种实施例和技术。
1.概要
本专利文档涉及视频编解码技术。具体地,它涉及视频编解码中的帧内块复制。它可以被应用于正在开发的标准,例如,多功能视频编解码。它也可以适用于未来的视频编解码标准或视频编解码器。
2.简短讨论
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而演变的。ITU-T产生了H.261和H.263,ISO/IEC产生了MPEG-1和MPEG-4 Visual,并且这两个组织联合产生了H.262/MPEG-2视频和264/MPEG-4高级视频编解码(Advanced Video Coding,AVC)标准和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中利用了时域预测加变换编解码。为了探索HEVC以外的未来的视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索小组(Joint Video Exploration Team,JVET)。此后,JVET采用了许多新方法,并将其放入到命名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。2018年4月,建立了VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家小组(Joint Video Expert Team,JVET)以致力于VVC标准,目标是与HEVC相比的50%比特率降低。
2.1 HEVC/H.265中的帧间预测
每个帧间预测PU具有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。也可以使用inter_pred_idc来信令通知对两个参考图片列表之一的使用。运动矢量可以被显式地编解码为相对于预测值的增量(delta)。
当以跳过模式对CU进行编解码时,一个PU与CU相关联,并且没有显著的残差系数,没有编解码的运动矢量增量或参考图片索引。指定了Merge模式,由此从包括空域和时域候选的邻近PU获得当前PU的运动参数。Merge模式可以被应用于任何帧间预测PU,而不仅是针对跳过模式。Merge模式的替代方案是运动参数的显式传输,其中,运动矢量(更确切地说,与运动矢量预测值相比的运动矢量差(Motion Vector Difference,MVD))、每个参考图片列表的对应参考图片索引和参考图片列表使用按每PU被显式地信令通知。这样的模式在本公开中被称为高级运动矢量预测(Advanced Motion Vector Prediction,AMVP)。
当信令指示将使用两个参考图片列表之一时,从一个样点块产生PU。这被称为“单向预测”。单向预测适用于P条带和B条带两者。
当信令指示要使用两个参考图片列表时,从两个样点块产生PU。这被称为“双向预测”。双向预测仅适用于B条带。
下文提供了关于在HEVC中指定的帧间预测模式的细节。描述将以Merge模式开始。
2.2当前图片参考
已经在HEVC屏幕内容编解码扩展(HEVC Screen Content Coding extension,HEVC-SCC)和当前的VVC测试模型中采用了当前图片参考(Current Picture Referencing,CPR),或一度命名为帧内块复制(Intra Block Copy,IBC)。IBC将运动补偿的概念从帧间编解码扩展到帧内编解码。如图1所示,当应用CPR时,当前块通过相同图片中的参考块进行预测。在对当前块进行编解码或解码之前,参考块中的样点必须已经被重构。尽管CPR对大多数相机捕捉的序列来说效率不高,但它示出了对屏幕内容的显著编解码增益。原因是屏幕内容图片中有许多重复图案,诸如图标和文本字符。CPR可以有效地移除这些重复图案之间的冗余。在HEVC-SCC中,如果帧间编解码的编解码单元(Coding Unit,CU)选择当前图片作为其参考图片,则它可以应用CPR。在这种情况下,MV被重命名为块矢量(Block Vector,BV),并且BV总是具有整数像素精确度。为了与主要简表(profile)HEVC兼容,当前图片在解码图片缓冲区(Decoded Picture Buffer,DPB)中被标记为“长期”参考图片。应当注意,类似地,在多视图/3D视频编解码标准中,视图间参考图片也被标记为“长期”参考图片。
在BV找到其参考块之后,可以通过复制参考块来生成预测。残差可以通过从原始信令中减去参考像素而得到。那么变换和量化可以如在其它编解码模式中被应用。
图1是当前图片参考的示例图示。
然而,当参考块在图片之外、或与当前块重叠、或在重构区域之外、或在受某些约束限制的有效区域之外时,部分或全部像素值未被定义。基本上,有两种解决方案解决这样的问题。一种是不允许这种情况,例如,在比特流一致性中。另一种是对那些未定义的像素值应用填充。以下子段详细描述了解决方案。
2.3 HEVC屏幕内容编解码扩展中的CPR
在HEVC的屏幕内容编解码扩展中,当块使用当前图片作为参考时,它应该保证整个参考块在可用的重构区域内,如在下规格文本所指示的:
变量offsetX和offsetY被推导如下:
offsetX=(ChromaArrayType==0)?0:(mvCLX[0]&0x7?2:0) (8-104)
offsetY=(ChromaArrayType==0)?0:(mvCLX[1]&0x7?2:0) (8-105)
比特流一致性的一个要求是,当参考图片是当前图片时,亮度运动矢量mvLX应当遵守以下约束:
-当以设置为等于(xCb,yCb)的(xCurr,yCurr)和设置为等于(xPb+(mvLX[0]>>2)-offsetX,yPb+(mvLX[1]>>2)-offsetY)的邻近亮度位置(xNbY,yNbY)作为输入来调用如在条款6.4.1中指定的z扫描顺序块可用性的推导过程时,输出应当等于TRUE(真)。
-当以设置为等于(xCb,yCb)的(xCurr,yCurr)和设置为等于(xPb+(mvLX[0]>>2)+nPbW-1+offsetX,yPb+(mvLX[1]>>2)+nPbH-1+offsetY)的邻近亮度位置(xNbY,yNbY)作为输入来调用如在条款6.4.1中指定的z扫描顺序块可用性的推导过程时,输出应当等于TRUE。
-以下条件中的一个或两个应当为真:
-(mvLX[0]>>2)+nPbW+xB1+offsetX的值小于或等于0。
–(mvLX[1]>>2)+nPbH+yB1+offsetY的值小于或等于0。
–以下条件应当为真:
(xPb+(mvLX[0]>>2)+nPbSw–1+offsetX)/CtbSizeY–xCb/CtbSizeY<=yCb/CtbSizeY–(yPb+(mvLX[1]>>2)+nPbSh–1+offsetY)/CtbSizeY (8-106)
因此,不会发生参考块与当前块重叠或者参考块在图片之外的情况。不需要填充参考或预测块。
2.4 CPR/IBC的示例
在VVC测试模型中,整个参考块应该具有当前编解码树单元(Coding Tree Unit,CTU),并且不与当前块重叠。因此,不需要填充参考或预测块。
当启用双树(dual tree)时,从亮度CTU到色度CTU,分割结构可以不同。因此,对于4:2:0颜色格式,一个色度块(例如,CU)可以对应于已经被划分为多个亮度CU的一个并置亮度区域。
当以下条件应当为真时,色度块只能以CPR模式进行编解码:
1)并置亮度块内的每个亮度CU都应当以CPR模式进行编解码
2)亮度4×4块的BV中的每一个首先被转换为色度块的BV,并且色度块的BV是有效BV。
如果两个条件中的任何一个为假(false),色度块不应以CPR模式进行编解码。
注意,“有效BV”的定义具有以下约束:
1)由BV标识的参考块内的所有样点应当在受限的搜索范围内(例如,在当前VVC设计中,应当在相同CTU内)。
2)由BV标识的参考块内的所有样点都已经被重构。
2.5 CPR/IBC的示例
在一些示例中,用于CPR/IBC的参考区域被限制到当前CTU,其多达128×128。参考区域被动态地改变以重用内存来存储用于CPR/IBC的参考样点,使得CPR/IBC块可以具有更多的参考候选,而用于CPR/IBC的参考缓冲区可以保持或从一个CTU减少。
图2示出了一种方法,其中块为64×64,并且CTU包含4个64×64块。当对64×64块进行编解码时,先前的3个64×64块可以被用作参考。通过这样做,解码器只需要存储4个64×64块来支持CPR/IBC。
假设当前亮度CU相对于图片的左上角的位置为(x,y),并且块矢量为(BVx,BVy)。在当前设计中,BV是否有效可以通过亮度位置((x+BVx)>>6<<6+(1<<7),(y+BVy)>>6<<6)还未被重构并且((x+BVx)>>6<<6+(1<<7),(y+BVy)>>6<<6)不等于(x>>6<<6,y>>6<<6)进行判断。
2.6环路整形(In-loop Reshaping,ILR)
环路整形(ILR)的基本思想是将原始(在第一域)信号(预测/重构信号)转换到第二域(整形域)。
环路亮度整形器被实施为一对查找表(Look-Up Table,LUT),但是两个LUT中只有一个需要被信令通知,因为另一个LUT可以从信令通知的LUT计算。每个LUT都是一维的、10比特的、1024条目的映射表(1D-LUT)。一个LUT是正向LUT,FwdLUT,其将输入亮度码值Yi映射到变更值Yr:Yr=FwdLUT[Yi]。另一个LUT是逆向LUT,InvLUT,其将变更码值Yr映射到 (表示Yi的重构值)。
2.6.1 PWL模型
概念性地,分段线性(Piece-Wise Linear,PWL)以以下方式被实施:
假定x1、x2为两个输入枢轴点,并且y1、y2为它们对于一个段(piece)的对应的输出枢轴点。x1和x2之间的任何输入值x的输出值y可以通过以下等式进行插值:
y=((y2-y1)/(x2-x1))*(x-x1)+y1
在定点实施方式中,等式可以改写为:
y=((m*x+2FP_PREC-1)>>FP_PREC)+c
其中m是标量,c是偏移量,FP_PREC是指定精确度的恒定值。
在一些示例中,PWL模型用于预先计算1024条目的FwdLUT和InvLUT映射表;但是PWL模型也允许在不预先计算LUT的情况下即时计算相同的映射值的实施方式。
2.6.2.1亮度整形
一种环路亮度整形的方法提供了更低复杂度的管道,该管道还消除了帧间条带重构中逐块帧内预测的解码时延。帧内预测在帧间和帧内条带两者的整形域中执行。
无论条带类型如何,帧内预测总是在整形域中执行。在这种布置下,帧内预测可以在先前的TU重构完成之后立即开始。这样的布置还可以为帧内模式提供统一的过程,而不是依赖于条带。图10示出了基于模式的CE12-2解码过程的框图。
针对亮度和色度残差缩放测试了16段分段线性(PWL)模型,而不是32段PWL模型。
利用环路亮度整形器的帧间条带重构(浅绿色阴影块指示整形域中的信令:亮度残差;帧内亮度预测的;和帧内亮度重构的)。
2.6.2.2依赖于亮度的色度残差缩放
依赖于亮度的色度残差缩放是一个用定点整数运算实施的乘法过程。色度残差缩放补偿亮度信号与色度信号的相互作用。色度残差缩放被应用于TU级别。更具体地,以下适用:
–对于帧内,对重构亮度进行平均。
–对于帧间,对预测亮度进行平均。
平均用于标识PWL模型中的索引。该索引标识缩放因子cScaleInv。色度残差乘以该数。
注意,色度缩放因子是根据正向映射的预测亮度值而不是重构亮度值来计算的。
2.6.2.3 ILR边信息的信令通知
参数(当前)在片组头中传送(类似于ALF)。这些据称需要40-100比特。
在一些示例中,添加的语法以斜体进行突出显示。
7.3.2.1中序列参数集RBSP语法
7.3.3.1中通用片组头语法
添加新的语法表片组整形器模型:
在通用序列参数集RBSP语义中,添加以下语义:
sps_reshaper_enabled_flag等于1指定在编解码视频序列(Coded VideoSequence,CVS)中使用整形器。sps_reshaper_enabled_flag等于0指定在CVS中不使用整形器。
在片组头语法中,添加以下语义
tile_group_reshaper_model_present_flag等于1指定tile_group_reshaper_model()存在于片组头中。tile_group_reshaper_model_present_flag等于0指定tile_group_reshaper_model()不存在于片组头中。当tile_group_reshaper_model_present_flag不存在时,它被推断为等于0。
tile_group_reshaper_enabled_flag等于1指定对当前片组启用整形器。tile_group_reshaper_enabled_flag等于0指定不对当前片组启用整形器。当tile_group_reshaper_enable_flag不存在时,它被推断为等于0。
tile_group_reshaper_chroma_residual_scale_flag等于指定对当前片组启用色度残差缩放。tile_group_reshaper_chroma_residual_scale_flag等于0指定不对当前片组启用色度残差缩放。当tile_group_reshaper_chroma_residual_scale_flag不存在时,它被推断为等于0。添加tile_group_reshaper_model()语法
reshape_model_min_bin_idx指定要在整形器构建过程中使用的最小二进制位(或段)索引。reshape_model_min_bin_idx的值应在0至MaxBinIdx的范围内,包括0和MaxBinIdx。MaxBinIdx的值应当等于15。
reshape_model_delta_max_bin_idx指定最大允许的二进制位(或段)索引MaxBinIdx减去要在整形器构建过程中使用的最大二进制位索引。reshape_model_max_bin_idx的值被设置为等于MaxBinIdx–reshape_model_delta_max_bin_idx。
reshaper_model_bin_delta_abs_cw_prec_minus1加1指定用于表示语法reshape_model_bin_delta_abs_CW[i]的比特数。
reshape_model_bin_delta_abs_CW[i]指定第i个二进制位的绝对增量码字值。
reshaper_model_bin_delta_sign_CW_flag[i]指定reshape_model_bin_delta_abs_CW[i]的符号,如下所示:
–如果reshape_model_bin_delta_sign_CW_flag[i]等于0,则对应的变量RspDeltaCW[i]为正值。
–否则(reshape_model_bin_delta_sign_CW_flag[i]不等于0),对应的变量RspDeltaCW[i]为负值。
当reshape_model_bin_delta_sign_CW_flag[i]不存在时,它被推断为等于0。变量RspDeltaCW[i]=(1 2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i];
变量RspCW[i]如以下步骤而推导:
变量OrgCW被设置为等于(1<<BitDepthY)/(MaxBinIdx+1)。
–如果reshaper_model_min_bin_idx<=i<=reshaper_model_max_bin_idxRspCW[i]=OrgCW+RspDeltaCW[i]。
–否则,RspCW[i]=0。
如果BitDepthY的值等于10,则RspCW[i]的值应当在32至2*OrgCW-1的范围内。
变量InputPivot[i](i在0至MaxBinIdx+1的范围内,包括0和MaxBinIdx+1)被推导如下
InputPivot[i]=i*OrgCW
变量ReshapePivot[i](i在0至MaxBinIdx+1的范围内,包括0和MaxBinIdx+1)、变量ScaleCoef[i]和InvScaleCoeff[i](i在0至MaxBinIdx的范围内,包括0和MaxBinIdx)被推导如下:
变量ChromaScaleCoef[i](i在0至MaxBinIdx的范围内,包括0和MaxBinIdx)被推导如下:
ChromaResidualScaleLut[64]={16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,1024};
shiftC=11
–如果(RspCW[i]==0)
ChromaScaleCoef[i]=(1<<shiftC)
–否则(RspCW[i]!=0),ChromaScaleCoef[i]=ChromaResidualScaleLut[RspCW[i]>>1]
2.6.2.4 ILR的使用
在编码器侧,每个图片(或片组)首先被转换到整形域。并且所有的编解码过程都是在整形域中执行的。对于帧内预测,邻近块在整形域中;对于帧间预测,(从来自解码图片缓冲区的原始域生成的)参考块首先被转换到整形域。然后残差被生成并被编解码成比特流。
在整个图片(或片组)完成编码/解码之后,整形域中的样点被转换到原始域,然后应用去方块滤波器和其它滤波器。
对于以下情况,禁用对预测信号进行正向整形:
当前块是帧内编解码的
当前块被编解码为CPR(当前图片参考,也被称为帧内块复制,IBC)
当前块被编解码为组合的帧间帧内模式(Combined Inter-Intra Mode,CIIP),并且对帧内预测块禁用正向整形。
3.由各种实施例解决的问题的示例
在CPR/IBC的当前设计中,存在一些问题。
1)参考区域动态改变,这使得编码器/解码器处理复杂。
2)容易生成无效块矢量并且难以检查,这使得编码器和解码器都复杂。
3)不规则的参考区域导致块矢量的低效编解码。
4)如何处理小于128×128的CTU尺寸不清楚。
5)在BV是有效还是无效的确定过程中,对于色度块,判决基于亮度样点的可用性,这可能导致由于双树分割结构的错误判决。
4.示例实施例
在一些实施例中,常规缓冲区可以用于CPR/IBC块以得到参考。
函数isRec(x,y)被定义为指示像素(x,y)是否已经被重构并由IBC模式参考。当(x,y)在图片外、在不同的条带/片/区块(brick)外时,isRec(x,y)返回假(false);当(x,y)未被重构时,isRec(x,y)返回假。在另一示例中,当样点(x,y)已经被重构但满足一些其它条件时,它也可以被标记为不可用,诸如在参考区域外/在不同的VPDU中,并且isRec(x,y)返回假。
函数isRec(c,x,y)被定义为指示分量c的样点(x,y)是否可用。例如,如果样点(x,y)还未被重构,则它被标记为不可用。在另一示例中,当样点(x,y)已经被重构但满足一些其它条件时,它也可以被标记为不可用,诸如在图片外/在不同的条带/片/区块中/在不同的VPDU中、在允许的参考区域外。当样点(x,y)不可用时,isRec(c,x,y)返回假,否则返回真(true)。
在下面的讨论中,参考样点可以是重构样点。注意,“像素缓冲区”可以响应于“一个颜色分量的缓冲区”或“多个颜色分量的缓冲区”。
用于CPR/IBC的参考缓冲区
1.提出使用M×N像素缓冲区来存储用于CPR/IBC的亮度参考样点。
a.在一个示例中,缓冲区尺寸为64×64。
b.在一个示例中,缓冲区尺寸为128×128。
c.在一个示例中,缓冲区尺寸为64×128。
d.在一个示例中,缓冲区尺寸为128×64。
e.在一个示例中,N等于CTU的高度。
f.在一个示例中,N=nH,其中H是CTU的高度,n是正整数。
g.在一个示例中,M等于CTU的宽度。
h.在一个示例中,M=mW,其中W是CTU的宽度,m是正整数。
i.在一个示例中,缓冲区尺寸不等于CTU尺寸,诸如96×128或128×96。
j.在一个示例中,缓冲区尺寸等于CTU尺寸。
k.在一个示例中,M=mW并且N=H,其中W和H是CTU的宽度和高度,m是正整数。
l.在一个示例中,M=W并且N=nH,其中W和H是CTU的宽度和高度,n是正整数。
m.在一个示例中,M=mW并且N=nH,其中W和H是CTU的宽度和高度,m和n是正整数。
n.在以上示例中,m和n可以取决于CTU尺寸。
i.在一个示例中,当CTU尺寸为128×128时,m=1并且n=1。
ii.在一个示例中,当CTU尺寸为64×64时,m=4并且n=1。
iii.在一个示例中,当CTU尺寸为32×32时,m=16并且n=1。
iv.在一个示例中,当CTU尺寸为16×16时,m=64并且n=1。
o.可替代地,缓冲区尺寸对应于CTU尺寸。
p.可替代地,缓冲区尺寸对应于虚拟管道数据单元(VPDU)尺寸。
q.可以从编码器向解码器信令通知M和/或N,诸如在VPS/SPS/PPS/
图片头/条带头/片组头中。
2.在标准中定义的不同简表/级别/层级中,M和/或N可以不同。提出使用另一个Mc×Nc像素缓冲区来存储用于CPR/IBC的色度参考样点。
a.在一个示例中,对于4:2:0视频,Mc=M/2并且Nc=N/2
b.在一个示例中,对于4:4:4视频,Mc=M并且Nc=N
c.在一个示例中,对于4:2:2视频,Mc=M并且Nc=N/2
d.可替代地,Mc和Nc可以独立于M和N。
e.在一个示例中,色度缓冲区包括两个通道,对应于Cb和Cr。
f.在一个示例中,Mc=M并且Nc=N。
3.提出使用M×N样点缓冲区来存储用于CPR/IBC的RGB参考样点。
a.在一个示例中,缓冲区尺寸为64×64。
b.在一个示例中,缓冲区尺寸为128×128。
c.在一个示例中,缓冲区尺寸为64×128。
d.在一个示例中,缓冲区尺寸为128×64。
e.可替代地,缓冲区尺寸对应于CTU尺寸。
f.可替代地,缓冲区尺寸对应于虚拟管道数据单元(VPDU)尺寸。
4.提出缓冲区可以存储环路滤波之前的重构像素。环路滤波可以指去方块滤波器、自适应环路滤波器(Adaptive Loop Filter,ALF)、样点自适应偏移(Sample AdaptiveOffset,SAO)、跨分量ALF或任何其它滤波器。
a.在一个示例中,缓冲区可以存储当前CTU中的样点。
b.在一个示例中,缓冲区可以存储当前CTU之外的样点。
c.在一个示例中,缓冲区可以存储来自当前图片的任何部分的样点。
d.在一个示例中,缓冲区可以存储来自其它图片的样点。
5.提出缓冲区可以存储环路滤波之后的重构像素。环路滤波可以指去方块滤波器、自适应环路滤波器(ALF)、样点自适应偏移(SAO)、跨分量ALF或任何其它滤波器。
a.在一个示例中,缓冲区可以存储当前CTU中的样点。
b.在一个示例中,缓冲区可以存储当前CTU之外的样点。
c.在一个示例中,缓冲区可以存储来自当前图片的任何部分的样点。
d.在一个示例中,缓冲区可以存储来自其它图片的样点。
6.提出缓冲区可以存储环路滤波之前的重构样点和环路滤波之后的重构样点两者。环路滤波可以指去方块滤波器、自适应环路滤波器(ALF)、样点自适应偏移(SAO)、跨分量ALF或任何其它滤波器。
a.在一个示例中,缓冲区可以存储来自当前图片的样点和来自其它图片的样点两者,取决于这些样点的可用性。
b.在一个示例中,来自其它图片的参考样点来自环路滤波之后的重构样点。
c.在一个示例中,来自其它图片的参考样点来自环路滤波之前的重构样点。
7.提出缓冲区存储具有给定的比特深度(bit-depth)的样点,其中该给定的比特深度可以不同于编解码视频数据的比特深度。
a.在一个示例中,重构缓冲区/编解码视频数据的比特深度大于存储在缓冲区中的IBC参考样点的比特深度。
b.在一个示例中,即使当内部比特深度不同于视频序列的输入比特深度时,诸如(10比特vs 8比特),IBC参考样点也被存储为与输入比特深度对齐。
c.在一个示例中,比特深度与重构缓冲区的比特深度相同。
d.在一个示例中,比特深度与输入图像/视频的比特深度相同。
e.在一个示例中,比特深度与预定义数字相同。
f.在一个示例中,比特深度取决于标准的简表。
g.在一个示例中,比特深度或与输出比特深度/输入比特深度/内部比特深度相比的比特深度差可以在SPS/PPS/序列头/图片头/条带头/片组头/片头或其它种类的视频数据单元中被信令通知。
h.提出的方法可以与在其它项目符合中提到的提出的缓冲区定义一起被应用,可替代地,它们也可以适用于IBC的现有设计。
i.缓冲区的每个颜色分量的比特深度可以不同。
缓冲区初始化
8.提出用给定值初始化缓冲区
a.在一个示例中,缓冲区用给定值进行初始化。
i.在一个示例中,给定值可以取决于输入比特深度和/或内部比特深度。
ii.在一个示例中,缓冲区用中间灰度(mid-grey)值(例如,8比特信号为128,或者10比特信号为512)进行初始化。
iii.在一个示例中,当ILR被使用时,缓冲区用forwardLUT(m)进行初始化。例如m=1<<(Bitdepth-1)。
b.可替代地,缓冲区用在SPS/VPS/APS/PPS/序列头/片组头/图片头/片/CTU/编解码单元/VPDU/区域中信令通知的值进行初始化。
c.在一个示例中,可以从先前解码的图片或条带或CTU行或CTU或CU的样点推导给定值。
d.对于不同的颜色分量,给定值可以不同。
9.可替代地,提出用来自先前编解码的块的解码像素初始化缓冲区。
a.在一个示例中,解码像素是环路滤波之前的那些解码像素。
b.在一个示例中,当缓冲区尺寸为CTU时,如果可用,则缓冲区用先前解码的CTU的解码像素进行初始化。
c.在一个示例中,当缓冲区尺寸为64×64时,如果可用,则其缓冲区尺寸用先前解码的64×64块的解码像素进行初始化。
d.此外,可替代地,如果没有先前编解码的块可用,则可以应用项目符号8中的方法。
对缓冲区的参考
10.对于使用缓冲区中的像素作为参考的块,它可以使用缓冲区内的位置(x,y)来指示在哪里得到参考,其中,x=0,1,2,…,M-1;y=0,1,2,…,N-1。
11.可替代地,参考位置可以被表示为l=y*M+x,l=0,1,…,M*N-1。
12.将与当前CTU相关的块的左上角位置表示为(x0,y0),可以将块矢量(BVx,BVy)=(x-x0,y-y0)传送到解码器,以指示在缓冲区中在哪里得到参考。
13.可替代地,块矢量(BVx,BVy)可以被定义为(x-x0+Tx,y-y0+Ty),其中Tx和Ty是预定义的偏移。
14.对于任何像素(x0,y0)和(BVx,BVy),其在缓冲区中的参考可以在(x0+BVx,y0+BVy)处被找到。
a.在一个示例中,当(x0+BVx,y0+BVy)在缓冲区之外时,它将被裁剪(clip)到边界。
b.可替代地,当(x0+BVx,y0+BVy)在缓冲区之外时,其参考值被预定义为给定值,例如中间灰度。
c.可替代地,参考位置被定义为((x0+BVx)mod M,(y0+BVy)modN),使得它总是在缓冲区内。
15.对于任何像素(x0,y0)和(BVx,BVy),当(x0+BVx,y0+BVy)在缓冲区之外时,可以从缓冲区中的值推导其参考值。
a.在一个示例中,该值是从缓冲区中的样点((x0+BVx)mod M,(y0+BVy)mod N)推导的。
b.在一个示例中,该值是从缓冲区中的样点((x0+BVx)mod M,clip(y0+BVy,0,N-1))推导的。
c.在一个示例中,该值是从缓冲区中的样点(clip(x0+BVx,0,M-1),(y0+BVy)modN)推导的。
d.在一个示例中,该值是从缓冲区中的样点(clip(x0+BVx,0,M-1),clip(y0+BVy,0,N-1))推导的。
16.它可能不允许缓冲区范围之外的特定坐标。
a.在一个示例中,对于相对于CTU的左上角的任何像素(x0,y0)和块矢量(BVx,BVy),比特流约束是y0+BVy应该在范围[0,…,N-1]中。
b.在一个示例中,对于相对于CTU的左上角的任何像素(x0,y0)和块矢量(BVx,BVy),比特流约束是x0+BVx应该在范围[0,…,M-1]中。
c.在一个示例中,对于相对于CTU的左上角的任何像素(x0,y0)和块矢量(BVx,BVy),比特流约束是y0+BVy应该在范围[0,…,N-1]中,并且x0+BVx应该在范围[0,…,M-1]中。
17.当一个块的信令通知的或推导的块矢量指向缓冲区之外的某处时,可以根据缓冲区来应用填充。
a.在一个示例中,缓冲区之外的任何样点的值用预定义值进行定义。
i.在一个示例中,该值可以是1<<(Bitdepth-1),例如,8比特信号为128,并且10比特信号为512。
ii.在一个示例中,当ILR被使用时,该值可以是forwardLUT(m)。例如m=1<<(Bitdepth-1)。
iii.可替代地,预定义值的指示可以在SPS/PPS/序列头/图片头/条带头/片组/片/CTU/CU级别被信令通知或指示。
b.在一个示例中,缓冲区之外的任何样点被定义为缓冲区中的最近样点的值。
18.处理缓冲区外参考的方法可以在水平和垂直方向上不同,或者可以根据当前块的位置(例如,是否更靠近图片边界)而不同。
a.在一个示例中,当y0+BVy在[0,N-1]之外时,(x0+BVx,y0+BVy)的样点值被指定为预定义值。
b.在一个示例中,当x0+BVx在[0,M-1]之外时,(x0+BVx,y0+BVy)的样点值被指定为预定义值。
c.可替代地,(x0+BVx,y0+BVy)的样点值被指定为((x0+BVx)mod M,y0+BVy)的样点值,如果((x0+BVx)mod M,y0+BVy)仍然在缓冲区之外,则其可以调用其它方法来进一步推导该值。
d.可替代地,(x0+BVx,y0+BVy)的样点值被指定为(x0+BVx,(y0+BVy)mod N)的样点值,如果(x0+BVx,(y0+BVy)mod N)仍然在缓冲区之外,则其可以调用其它方法来进一步推导该值。
块矢量表示
19.块矢量(BVx,BVy)的每个分量或分量中的一个可以被归一化到特定范围。
a.在一个示例中,BVx可以由(BVx mod M)替换。
b.可替代地,BVx可以由((BVx+X)mod M)-X替换,其中X是预定义值。
i.在一个示例中,X是64。
ii.在一个示例中,X是M/2;
iii.在一个示例中,X是块相对于当前CTU的水平坐标。
c.在一个示例中,BVy可以由(BVy mod N)替换。
d.可替代地,BVy可以由((BVy+Y)mod N)-Y替换,其中Y是预定义值。
i.在一个示例中,Y是64。
ii.在一个示例中,Y是N/2;
iii.在一个示例中,Y是块相对于当前CTU的垂直坐标。
20.BVx和BVy可以具有不同的归一化范围。
21.块矢量差(BVDx,BVDy)可以被归一化到特定范围。
a.在一个示例中,BVDx可以由(BVDx mod M)替换,其中函数mod返回余数。
b.可替代地,BVDx可以由((BVDx+X)mod M)-X替换,其中X是预定义值。
i.在一个示例中,X是64。
ii.在一个示例中,X是M/2;
c.在一个示例中,BVy可以由(BVDy mod N)替换。
d.可替代地,BVy可以由((BVDy+Y)mod N)-Y替换,其中Y是预定义值。
i.在一个示例中,Y是64。
ii.在一个示例中,Y是N/2;
22.BVDx和BVDy可以具有不同的归一化范围。
块矢量的有效性检查
将IBC缓冲区的宽度和高度表示为Wbuf和Hbuf。对于从相对于图片的左上角的(X,Y)开始的W×H块(可以是亮度块、色度块、CU、TU、4×4、2×2或其它子块),以下可以适用于判断块矢量(BVx,BVy)是否有效。假定Wpic和Hpic为图片的宽度和高度;并且Wctu和Hctu是CTU的宽度和高度。函数floor(x)返回不大于x的最大整数。函数isRec(x,y)返回样点(x,y)是否已经被重构。
23.即使任何参考位置在图片边界之外,块矢量(BVx,BVy)也可以被设置为有效。
a.在一个示例中,即使X+BVx<0,块矢量也可以被设置为有效。
b.在一个示例中,即使X+W+BVx>Wpic,块矢量也可以被设置为有效。
c.在一个示例中,即使Y+BVy<0,块矢量也可以被设置为有效。
d.在一个示例中,即使Y+H+BVy>Hpic,块矢量也可以被设置为有效。
24.即使任何参考位置在当前CTU行之外,块矢量(BVx,BVy)也可以被设置为有效。
a.在一个示例中,即使Y+BVy<floor(Y/Hctu)*Hctu,块矢量也可以被设置为有效。
b.在一个示例中,即使Y+H+BVy>=floor(Y/Hctu)*Hctu+Hctu,块矢量也可以被设置为有效。
25.即使任何参考位置在当前CTU和左侧(n-1)个CTU之外,块矢量(BVx,BVy)也可以被设置为有效,其中n是可以被用作用于IBC的参考区域的CTU(包括或不包括当前CTU)的数量。
a.在一个示例中,即使X+BVx<floor(X/Wctu)*Wctu-(n-1)*Wctu,块矢量也可以被设置为有效。
b.在一个示例中,即使X+W+BVx>floor(X/Wctu)*Wctu+Wctu,块矢量也可以被设置为有效。
26.即使特定样点还未被重构,块矢量(BVx,BVy)也可以被设置为有效。
a.在一个示例中,即使isRec(X+BVx,Y+BVy)为假,块矢量也可以被设置为有效。
b.在一个示例中,即使isRec(X+BVx+W-1,Y+BVy)为假,块矢量也可以被设置为有效。
c.在一个示例中,即使isRec(X+BVx,Y+BVy+H-1)为假,块矢量也可以被设置为有效。
d.在一个示例中,即使isRec(X+BVx+W-1,Y+BVy+H-1)为假,块矢量也可以被设置为有效。
27.当块不是CTU行中的第一个CTU时,块矢量(BVx,BVy)可以总是被设置为有效。
a.可替代地,块矢量可以总是被设置为有效。
28.当满足所有以下3个条件时,块矢量(BVx,BVy)可以总是被设置为有效
·X+BVx>=0
·Y+BVy>=floor(Y/Hctu)
·isRec(X+BVx+W-1,Y+BVy+H-1)==真
a.可替代地,当针对CTU行中的第一个CTU的块满足所有三个条件时,块矢量可以总是被设置为有效。
29.当块矢量(BVx,BVy)有效时,块的样点复制可以基于块矢量。
a.在一个示例中,样点(X,Y)的预测可以根据((X+BVx)%Wbuf,(Y+BVy)%Hbuf)。
缓冲区更新
30.当编解码新图片或片时,缓冲区可以被重置。
a.术语“重置”可以指缓冲区被初始化。
b.术语“重置”可以指缓冲区中的所有样点/像素被设置为给定值(例如,0或-1)。
31.当完成VPDU的编解码时,可以用VPDU的重构值更新缓冲区。
32.当完成CTU的编解码时,可以用CTU的重构值更新缓冲区。
a.在一个示例中,当缓冲区未满时,可以顺序地CTU接CTU地更新缓冲区。
b.在一个示例中,当缓冲区已满时,对应于最老(oldest)的CTU的缓冲区域将被更新。
c.在一个示例中,当M=mW且N=H(W和H是CTU尺寸;M和N是缓冲区尺寸)并且先前更新的区域从(kW,0)开始时,要更新的下一个起始位置将是((k+1)W mod M,0)。
33.缓冲区可以在每个CTU行的开始处被重置。
a.可替代地,缓冲区可以在开始解码每个CTU时被重置。
b.可替代地,缓冲区可以在开始解码一个片时被重置。
c.可替代地,缓冲区可以在开始解码一个片组/图片时被重置。
34.当完成对从(x,y)开始的块进行编解码时,将用根据块的重构更新从(x,y)开始的缓冲区的对应区域。
a.在一个示例中,(x,y)是相对于CTU的左上角的位置。
35.当完成对相对于图片的块进行编解码时,将用根据块的重构更新缓冲区的对应区域。
a.在一个示例中,可以用相对于图片的左上角的位置(x,y)的重构像素值更新缓冲区中的位置(x mod M,y mod N)处的值。
b.在一个示例中,可以用相对于当前片的左上角的位置(x,y)的重构像素值更新缓冲区中的位置(x mod M,y mod N)处的值。
c.在一个示例中,可以用相对于当前CTU行的左上角的位置(x,y)的重构像素值更新缓冲区中的位置(x mod M,y mod N)处的值。
d.在一个示例中,可以用比特深度对齐之后的重构像素值更新缓冲区中的值。
36.当完成对从(x,y)开始的块进行编解码时,将用根据块的重构更新从(xb,yb)开始的缓冲区的对应区域,其中(xb,yb)和(x,y)是两个不同坐标。
a.在一个示例中,(x,y)是与CTU的左上角相关的位置,并且(xb,yb)是(x+update_x,y+update_y),其中update_x和update_y指向缓冲区中的可更新位置。
37.对于以上示例,块的重构值可以指示应用滤波器(例如,去方块滤波器)之前的重构值。
a.可替代地,块的重构值可以指示应用滤波器(例如,去方块滤波器)之后的重构值。
38.当缓冲区根据重构样点而更新时,重构样点可以在被存储之前首先被修改,诸如样点比特深度可以被改变。
a.在一个示例中,缓冲区用与缓冲区的比特深度进行比特深度对齐之后的重构样点值进行更新。
b.在一个示例中,缓冲区值根据值{p+[1<<(b-1)]}>>b而更新,其中p是重构样点值,b是预定义的比特移位值。
c.在一个示例中,缓冲区值根据值clip({p+[1<<(b-1)]}>>b,0,(1<<bitdepth)-1)而更新,其中p是重构样点值,b是预定义的比特移位值,bitdepth是缓冲区比特深度。
d.在一个示例中,缓冲区值根据值{p+[1<<(b-1)-1]}>>b而更新,其中p是重构样点值,b是预定义的比特移位值。
e.在一个示例中,缓冲区值根据值clip({p+[1<<(b-1)-1]}>>b,0,(1<<bitdepth)-1)而更新,其中p是重构样点值,b是预定义的比特移位值,bitdepth是缓冲区比特深度。
f.在一个示例中,缓冲区值根据值p>>b而更新。
g.在一个示例中,缓冲区值根据值clip(p>>b,0,(1<<bitdepth)-1)而更新,其中bitdepth是缓冲区比特深度。
h.在以上示例中,b可以是重构比特深度减去输入样点比特深度。39.当使用缓冲区样点来形成预测时,可以应用预处理。
a.在一个示例中,预测值是p<<b,其中p是缓冲区中的样点值,b是预定义值。
b.在一个示例中,预测值是clip(p<<b,0,1<<bitdepth),其中bitdepth是重构样点的比特深度。
c.在一个示例中,预测值是(p<<b)+(1<<(bitdepth-1)),其中p是缓冲区中的样点值,并且b是预定义值,bitdepth是重构样点的比特深度。
d.在以上示例中,b可以是重构比特深度减去输入样点比特深度。
40.缓冲区可以以给定的顺序被更新。
a.在一个示例中,可以顺序地更新缓冲区。
b.在一个示例中,可以根据重构的块的顺序来更新缓冲区。
41.当缓冲区已满时,可以用最新的重构样点替换缓冲区中的样点。
a.在一个示例中,样点可以以先进先出的方式被更新。
b.在一个示例中,最老的样点将被替换。
c.在一个示例中,样点可以被指定优先级并根据优先级而替换。
d.在一个示例中,样点可以被标记为“长期”,使得其它样点将首先被替换。
e.在一个示例中,可以与块一起传送标志,以指示高优先级。
f.在一个示例中,可以与块一起传送数字,以指示优先级。
g.在一个示例中,来自具有特定特性的重构块的样点将被指定更高的优先级,使得其它样点将首先被替换。
i.在一个示例中,当在IBC模式下编解码的样点的百分比大于阈值时,块的所有样点可以被指定高优先级。
ii.在一个示例中,当在调色板(Palette)模式下编解码的样点的百分比大于阈值时,块的所有样点可以被指定高优先级。
iii.在一个示例中,当在IBC或调色板模式下编解码的样点的百分比大于阈值时,块的所有样点可以被指定高优先级。
iv.在一个示例中,当在变换跳过模式下编解码的样点的百分比大于阈值时,块的所有样点可以被指定高优先级。
v.阈值可以根据块尺寸、颜色分量、CTU尺寸而不同。
vi.阈值可以在SPS/PPS/序列头/条带头/片组/片级别/区域中被信令通知。
h.在一个示例中,缓冲区已满可能意味着缓冲区中的可用样点的数量等于或大于给定阈值。
i.在一个示例中,当缓冲区中的可用样点的数量等于或大于64×64×3个亮度样点时,缓冲区可以被确定为已满。
可选缓冲区组合
42.代替总是使用先前编解码的三个64×64块作为参考区域,提出基于当前块(或VPDU)的位置来自适应地改变它。
a.在一个示例中,当对64×64块进行编解码/解码时,先前3个64×64块可以被用作参考。与图2相比,可以应用先前64×64块的更多种类的组合。图2示出了先前64×64块的不同组合的示例。
43.代替使用z扫描顺序,反而可以利用垂直扫描顺序。
a.在一个示例中,当一个块以z扫描顺序被划分为具有索引0…3的4个VPDU时,编码/解码顺序是0、2、1、3。
b.在一个示例中,当对64×64块进行编解码/解码时,先前3个64×64块可以被用作参考。与图2相比,可以应用64×64块的更多种类的编解码/解码顺序。图4示出了64×64块的不同编解码/解码顺序的示例。
c.可替代地,以上方法可以仅被应用于屏幕内容编解码。
d.可替代地,仅当对一个片/片组/图片启用CPR时,才可以应用以上方法。
e.可替代地,仅当对一个CTU或一个CTU行启用CPR时,才可以应用以上方法。
虚拟IBC缓冲区
下面,VPDU的宽度和高度在亮度样点中分别被表示为WVPDU(例如,64)和HVPDU(例如,64)。可替代地,WVPDU和/或HVPDU可以表示其它视频单元(例如,CTU)的宽度和/或高度。
44.可以维护虚拟缓冲区以保持跟踪IBC参考区域状态。
a.在一个示例中,虚拟缓冲区的尺寸为mWVPDU×nHVPDU。
i.在一个示例中,m等于3并且n等于2。
ii.在一个示例中,m和/或n可以取决于图片分辨率、CTU尺寸。
iii.在一个示例中,m和/或n可以被信令通知或预定义。
b.在一个示例中,在以上项目符号和子项目符号中描述的方法可以被应用于虚拟缓冲区。
c.在一个示例中,相对于图片/条带/片/区块的左上角的样点(x,y)可以被映射到(x%(mWVPDU),y%(nHVPDU))。
45.阵列可以用于跟踪与虚拟缓冲区相关联的每个样点的可用性。
a.在一个示例中,标志可以与虚拟缓冲区中的样点相关联,以指定缓冲区中的样点是否可以被用作IBC参考。
b.在一个示例中,包含亮度样点和色度样点的每个4×4块可以共享标志,以指示与该块相关联的任何样点是否可以被用作IBC参考。
c.在一个示例中,与3×2VPDU相对应的阵列(例如,每个4×4块可以共享相同的可用性标志)被维护,以跟踪IBC参考样点的可用性。
d.在一个示例中,与4×2VPDU相对应的阵列(例如,每个4×4块可以共享相同的可用性标志)被维护,以跟踪IBC参考样点的可用性。
46.在完成对VPDU或视频单元进行解码之后,与虚拟缓冲区相关联的特定样点可以被标记为不可用于IBC参考。
a.在一个示例中,哪些样点可以被标记为不可用取决于最近解码的VPDU的位置。
b.当一个样点被标记为不可用时,根据该样点的预测不被允许。
i.可替代地,可以进一步应用其它方式(例如,使用默认值)来推导预测值以替换不可用的样点。
47.可以记录最近解码的VPDU的位置,以帮助标识与虚拟缓冲区相关联的哪些样点可以被标记为不可用。
a.在一个示例中,在开始解码VPDU时,与虚拟缓冲区相关联的特定样点可以根据最近解码的VPDU的位置而标记为不可用。
i.在一个示例中,将(xPrevVPDU,yPrevVPDU)表示为相对于最近解码的VPDU的图片/条带/片/区块/其它视频处理单元的左上角的左上角位置,如果yPrevVPDU%(nHVPDU)等于0,则特定位置(x,y)可以被标记为不可用。
1.在一个示例中,x可以在一范围内,诸如[xPrevVPDU-2WVPDU+2mWVPDU)%mWVPDU,((xPrevVPDU-2WVPDU+2mWVPDU)%mWVPDU)-1+WVPDU];
2.在一个示例中,y可以在一范围内,诸如[yPrevVPDU%(nHVPDU),(yPrevVPDU%(nHVPDU))-1+HVPDU];
3.在一个示例中,x可以在一范围内,诸如[xPrevVPDU-2WVPDU+2mWVPDU)%mWVPDU,((xPrevVPDU-2WVPDU+2mWVPDU)%mWVPDU)-1+WVPDU],并且y可以在一范围内,诸如[yPrevVPDU%(nHVPDU),(yPrevVPDU%(nHVPDU))-1+HVPDU]。
ii.在一个示例中,将(xPrevVPDU,yPrevVPDU)表示为相对于最近解码的VPDU的图片/条带/片/区块/其它视频处理单元的左上角的左上角位置,如果yPrevVPDU%(nHVPDU)不等于0,则特定位置(x,y)可以被标记为不可用。
1.在一个示例中,x可以在一范围内,诸如[xPrevVPDU-WVPDU+2mWVPDU)%mWVPDU,((xPrevVPDU-WVPDU+2mWVPDU)%mWVPDU)-1+WVPDU];
2.在一个示例中,y可以在一范围内,诸如[yPrevVPDU%(nHVPDU),(yPrevVPDU%(nHVPDU))-1+HVPDU];
3.在一个示例中,x可以在一范围内,诸如[xPrevVPDU-WVPDU+2mWVPDU)%mWVPDU,((xPrevVPDU-WVPDU+2mWVPDU)%mWVPDU)-1+WVPDU],并且y可以在一范围内,诸如[yPrevVPDU%(nHVPDU),(yPrevVPDU%(nHVPDU))-1+HVPDU]。
48.当CU包含多个VPDU时,代替根据VPDU来应用IBC参考可用性标记过程,IBC参考可用性标记过程可以根据CU。
a.在一个示例中,在开始解码包含多个VPDU的CU时,在CU内的VPDU被解码之前,IBC参考可用性标记过程可以被应用于每个VPDU。
b.在这种情况下,128×64和64×128IBC块可能不被允许。
i.在一个示例中,128×64和64×128CU的pred_mode_ibc_flag可能不被传送,并且可以被推断为等于0。
49.对于参考块或子块,可能不需要检查右上角的参考可用性状态来判断与参考块相关联的块矢量是否有效。
a.在一个示例中,将仅检查块/子块的左上角、左下角和右下角,以判断块矢量是否有效。
50.IBC缓冲区尺寸可以取决于VPDU尺寸(其中,宽度/高度由vSize表示)和/或CTB/CTU尺寸(其中,宽度/高度由ctbSize表示)。
a.在一个示例中,缓冲区的高度可以等于ctbSize。
b.在一个示例中,缓冲区的宽度可以取决于min(ctbSize,64)。
i.在一个示例中,缓冲区的宽度可以为(128*128/vSize,min(ctbSize,64))。
51.IBC缓冲区可以包含像素范围之外的值,这指示该位置可能不可用于IBC参考,例如,不用于预测其它样点。
a.样点值可以被设置为指示样点不可用的值。
b.在一个示例中,该值可以是-1。
c.在一个示例中,该值可以是[0,1<<(internal_bit_depth)-1]之外的任何值,其中internal_bit_depth是正整数值。例如,internal_bit_depth是用于对颜色分量的样点进行编码/解码的内部比特深度。
d.在一个示例中,该值可以是[0,1<<(input_bit_depth)-1]之外的任何值,其中input_bit_depth是正整数值。例如,input_bit_depth是用于对颜色分量的样点进行编码/解码的输入比特深度。
52.用于IBC缓冲区中的样点的可用性标记可以取决于当前块的位置、当前块的尺寸、CTU/CTB尺寸和VPDU尺寸。在一个示例中,假定(xCb,yCb)表示块相对于图片的左上角的位置;ctbSize是CTU/CTB的尺寸(即,宽度和/或高度);vSize=min(ctbSize,64);wIbcBuf和hIbcBuf是IBC缓冲区宽度和高度。
a.在一个示例中,如果(xCb%vSize)等于0并且(yCb%vSize)等于0,则IBC缓冲区中的特定的位置集合可以被标记为不可用。
b.在一个示例中,当当前块尺寸小于VPDU尺寸,即min(ctbSize,64)时,标记为不可用的区域可以根据VPDU尺寸。
c.在一个示例中,当当前块尺寸大于VPDU尺寸,即min(ctbSize,64)时,标记为不可用的区域可以根据CU尺寸。
53.在开始解码相对于图片的左上角位置的视频单元(例如,VPDU(xV,yV))时,IBC缓冲区中的对应位置可以被设置为像素范围之外的值。
a.在一个示例中,缓冲区中位置为(x%wIbcBuf,y%hIbcBuf)的缓冲区样点将被设置为值-1,其中x=xV,…,xV+ctbSize-1并且y=yV,…,yV+ctbSize-1。其中,wIbcBuf和hIbcBuf是IBC缓冲区宽度和高度,ctbSize是CTU/CTB的宽度。
i.在一个示例中,hIbcBuf可以等于ctbSize。
54.比特流一致性约束可以根据IBC缓冲区中的样点的值。
a.在一个示例中,如果与IBC缓冲区中的块矢量相关联的参考块包含像素范围之外的值,则比特流可能是不合法的。
55.可以根据IBC缓冲区中的可用性指示来设置比特流一致性约束。
a.在一个示例中,如果映射在IBC缓冲区中的任何参考样点被标记为不可用于对块进行编码/解码,则比特流可能是不合法的。
b.在一个示例中,当使用单树(singletree)时,如果映射在IBC缓冲区中用于对块进行编码/解码的任何亮度参考样点被标记为不可用,则比特流可能是不合法的。
c.一致性比特流可以满足对于IBC编解码块,相关联的块矢量可以指向映射在IBC缓冲区中的参考块,并且位于IBC缓冲区中用于对块进行编码/解码的每个亮度参考样点应当被标记为可用(例如,样点的值在范围[K0,K1]内,其中例如,K0被设置为0,并且K1被设置为(1<<BitDepth-1),其中BitDepth是内部比特深度或输入比特深度)。
56.比特流一致性约束可以取决于分割树类型和当前CU的编解码treeType(树类型)。
a.在一个示例中,如果在高级别(例如,条带/图片/区块/片)中允许双树(dualtree)并且当前视频块(例如,CU/PU/CB/PB)用单树进行编解码,则比特流约束可能需要检查映射在IBC缓冲区中的所有分量的位置是否被标记为不可用。
b.在一个示例中,如果在高级别(例如,条带/图片/区块/片)中允许双树并且当前亮度视频块(例如,CU/PU/CB/PB)用双树进行编解码,则比特流约束可以忽略映射在IBC缓冲区中的色度分量的位置是否被标记为不可用。
i.可替代地,在这种情况下,比特流约束仍然可以检查映射在IBC缓冲区中的所有分量的位置是否被标记为不可用。
c.在一个示例中,如果使用单树,则比特流约束可以忽略映射在IBC缓冲区中的色度分量的位置是否被标记为不可用。
对当前VTM设计的改进
57.用于IBC的预测可能具有比重构更低的精确度。
a.在一个示例中,预测值根据值clip{{p+[1<<(b-1)]}>>b,0,(1<<bitdepth)-1}<<b,其中p是重构样点值,b是预定义的比特移位值,bitdepth是预测样点比特比特深度。
b.在一个示例中,预测值根据值clip{{p+[1<<(b-1)-1]}>>b,0,(1<<bitdepth)-1}<<b,其中p是重构样点值,b是预定义的比特移位值。
c.在一个示例中,预测值根据值((p>>b)+(1<<(bitdepth-1)))<<b,其中bitdepth是预测样点比特比特深度。
d.在一个示例中,预测值根据值(clip((p>>b),0,(1<<(bitdepth-b)))+(1<<(bitdepth-1)))<<b,其中bitdepth是预测样点比特比特深度。
e.在一个示例中,取决于ILR是否被应用,预测值以不同的方式被裁剪。
f.在以上示例中,b可以是重构比特深度减去输入样点比特深度。
g.在一个示例中,比特深度或与输出比特深度/输入比特深度/内部比特深度相比的比特深度差可以在SPS/PPS/序列头/图片头/条带头/片组头/片头或其它种类的视频数据单元中被信令通知。
58.IBC的预测的一部分可能具有更低的精确度,并且另一部分具有与重构相同的精确度。
a.在一个示例中,允许的参考区域可以包含具有不同精确度(例如,比特深度)的样点。
b.在一个示例中,来自除正在被解码的当前64×64块之外的其它64×64块的参考具有低精确度,并且来自当前64×64块的参考具有与重构相同的精确度。
c.在一个示例中,来自除正在被解码的当前CTU之外的其它CTU的参考具有低精确度,并且来自当前CTU的参考具有与重构相同的精确度。
d.在一个示例中,来自特定的颜色分量集合的参考具有低精确度,并且来自其它颜色分量的参考具有与重构相同的精确度。
59.当CTU尺寸为M×M并且参考区域尺寸为nM×nM时,参考区域是CTU行中最近的可用的n×n CTU。
a.在一个示例中,当参考区域尺寸为128×128并且CTU尺寸为64×64时,CTU行中最近的可用的4个CTU可以用于IBC参考。
b.在一个示例中,当参考区域尺寸为128×128并且CTU尺寸为32×32时,CTU行中最近的可用的16个CTU可以用于IBC参考。
60.当CTU尺寸为M并且参考区域尺寸为nM时,参考区域是CTU行/
片中最近的可用的n-1个CTU。
a.在一个示例中,当参考区域尺寸为128×128或256×64并且CTU尺寸为64×64时,CTU行中最近的可用的3个CTU可以用于IBC参考。
b.在一个示例中,当参考区域尺寸为128×128或512×32并且CTU尺寸为32×32时,CTU行中最近的可用的15个CTU可以用于IBC参考。
61.当CTU尺寸为M,VPDU尺寸为kM,并且参考区域尺寸为nM时,参考区域是CTU行/片中最近的可用的n-k个CTU。
a.在一个示例中,CTU尺寸为64×64,VPDU尺寸也为64×64,参考区域尺寸为128×128,CTU行中最近的3个CTU可以用于IBC参考值。
b.在一个示例中,CTU尺寸为32×32,VPDU尺寸也为64×64,参考区域尺寸为128×128,CTU行中最近的(16-4)=12个CTU可以用于IBC参考。
62.对于使用IBC的左上角为(x,y)的w×h块,存在使参考块远离特定区域以用于内存重用的约束,其中w和h是当前块的宽度和高度。
a.在一个示例中,当CTU尺寸为128×128并且(x,y)=(m×64,n×64)时,参考块不能与从((m-2)×64,n×64)开始的64×64区域重叠。
b.在一个示例中,当CTU尺寸为128×128时,参考块不能与左上角为(x-128,y)的w×h块重叠。
c.在一个示例中,当CTU尺寸为128×128时,(x+BVx,y+BVy)不能在左上角为(x-128,y)的w*h块内,其中BVx和BVy表示当前块的块矢量。
d.在一个示例中,当CTU尺寸为M×M并且IBC缓冲区尺寸为k×M×M时,参考块不能与左上角为(x-k×M,y)的w×h块重叠,其中BVx和BVy表示当前块的块矢量。
e.在一个示例中,当CTU尺寸为M×M并且IBC缓冲区尺寸为k×M×M时,(x+BVx,y+BVy)不能在左上角为(x-k×M,y)的w×h块内,其中BVx和BVy表示当前块的块矢量。
63.当CTU尺寸不为M×M并且参考区域尺寸为nM×nM时,参考区域是CTU行中最近的可用的n×n-1CTU。
a.在一个示例中,当参考区域尺寸为128×128并且CTU尺寸为64×64时,CTU行中最近的可用的3个CTU可以用于IBC参考。
b.在一个示例中,当参考区域尺寸为128×128并且CTU尺寸为32×32时,CTU行中最近的可用的15个CTU可以用于IBC参考。
64.对于从(2m*64,2n*64)开始的64×64块(即,128×128CTU中的左上角64×64块)内的CU,其IBC预测可以根据从((2m-2)*64,2n*64)开始的64×64块、从((2m-1)*64,2n*64)开始的64×64块、从((2m-1)*64,(2n+1)*64)开始的64×64块和当前64×64块中的重构样点。
65.对于从((2m+1)*64,(2n+1)*64)开始的64×64块(即,128×128CTU中的右下角64×64块)内的CU,其IBC预测可以根据当前128×128CTU。
66.对于从((2m+1)*64,2n*64)开始的64×64块(即,128×128CTU中的右上角64×64块)内的CU,其IBC预测可以根据从((2m-1)*64,2n*64)开始的64×64块、从((2m-1)*64,(2n+1)*64)开始的64×64块、从(2m*64,2n*64)开始的64×64块和当前64×64块中的重构样点。
a.可替代地,如果从(2m*64,(2n+1)*64)开始的64×64块已经被重构,则IBC预测可以根据从((2m-1)*64,2n*64)开始的64×64块、从(2m*64,2n*64)开始的64×64块、从(2m*64,(2n+1)*64)开始的64×64块和当前64×64块中的重构样点。
67.对于从(2m*64,(2n+1)*64)开始的64×64块(即,128×128CTU中的左下角64×64块)内的CU,其IBC预测可以根据从((2m-1)*64,(2n+1)*64)开始的64×64块、从(2m*64,2n*64)开始的64×64块、从((2m+1)*64,2n*64)开始的64×64块和当前64×64块中的重构样点。
a.可替代地,如果从((2m+1)*64,2n*64)开始的64×64块还未被重构,则IBC预测可以根据从((2m-1)*64,2n*64)开始的64×64块、从((2m-1)*64,(2n+1)*64)开始的64×64块、从(2m*64,2n*64)开始的64×64块和当前64×64块中的重构样点。
68.提出基于当前CU属于哪些64×64块来调整参考区域。
a.在一个示例中,对于从(x,y)开始的CU,当(y>>6)&1==0时,从((x>>6<<6)-128,y>>6<<6)和((x>>6<<6)-64,y>>6<<6)开始的两个或多达两个先前的64×64块可以由IBC模式参考。
b.在一个示例中,对于从(x,y)开始的CU,当(y>>6)&1==1时,从((x>>6<<6)-64,y>>6<<6)开始的一个先前的64×64块可以由IBC模式参考。
69.对于从(x,y)开始并具有块矢量(BVx,BVy)的块,如果isRec(((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))为真,则块矢量无效。
a.在一个示例中,该块是亮度块。
b.在一个示例中,该块是4:4:4格式的色度块。
c.在一个示例中,该块包含亮度分量和色度分量两者。
70.对于从(x,y)开始并具有块矢量(BVx,BVy)的4:2:0格式的色度块,如果isRec(((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))为真,则块矢量无效。
71.BV对于分量c的块是否无效的确定可以依赖于分量X的样点的可用性,而不是仅检查亮度样点。
a.对于分量c从(x,y)开始并具有块矢量(BVx,BVy)的块,如果isRec(c,((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))为真,则块矢量可以被视为无效。
i.在一个示例中,该块是亮度块(例如,c是亮度分量,或对于RGB编解码是G分量)。
ii.在一个示例中,该块是4:4:4格式的色度块(例如,c是cb或cr分量,或对于RGB编解码是B/R分量)。
iii.在一个示例中,可以检查亮度分量和色度分量两者的样点的可用性,例如,该块包含亮度分量和色度分量两者。
b.对于从分量c的(x,y)开始并具有块矢量(BVx,BVy)的4:2:0格式的色度块,如果isRec(c,((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))为真,则块矢量可以被视为无效。
c.对于从分量c的(x,y)开始并具有块矢量(BVx,BVy)的色度块或子块,如果色度分量的isRec(c,x+BVx+Chroma_CTU_size,y)为真,则块矢量可以被视为无效,其中Chroma_CTU_size是色度分量的CTU尺寸。
i.在一个示例中,对于4:2:0格式,Chroma_CTU_size可以为64。
ii.在一个示例中,色度子块可以是4:2:0格式的2×2块。
iii.在一个示例中,色度子块可以是4:4:4格式的4×4块。
iv.在一个示例中,色度子块可以对应于亮度分量中的最小CU尺寸。
1.可替代地,色度子块可以对应于色度分量的最小CU尺寸。
72.对于以上提到的所有项目符号,假设参考缓冲区包含多个M×M块(M=64)。然而,它可以扩展到其它情况,诸如参考缓冲区包含多个N×M块(例如,N=128,M=64)。
73.对于以上提到的所有项目符号,可以应用进一步的限制,即参考缓冲区应该在与当前块相同的区块/片/片组/条带内。
a.在一个示例中,如果参考缓冲区的一部分在当前区块/片/片组/条带之外,则可以禁用对IBC的使用。可以跳过对IBC相关的语法元素的信令通知。
b.可替代地,如果参考缓冲区的一部分在当前区块/片/片组/条带之外,则可以仍然对一个块启用IBC,然而,与一个块相关联的块矢量可以仅指向剩余的参考缓冲区。
74.提出将CTU/CTB行的第一个VPDU行中的K1个最近编解码的VPDU(如果可用)和CTU/CTB行的第二个VPDU行中的K2个最近编解码的VPDU(如果可用)作为用于IBC的参考区域,不包括当前VPDU。
a.在一个示例中,K1等于2并且K2等于1。
b.在一个示例中,当CTU/CTB尺寸为128×128并且VPDU尺寸为64×64时,可以应用以上方法。
c.在一个示例中,当CTU/CTB尺寸为64×64并且VPDU尺寸为64×64和/或32×32时,可以应用以上方法。
d.在一个示例中,当CTU/CTB尺寸为32×32并且VPDU尺寸为32×32或更小时,可以应用以上方法。
75.以上方法可以被应用于不同阶段。
a.在一个示例中,块矢量(BV)的模运算(例如,a mod b)可以在BV的可用性检查过程中被调用,以决定BV是否有效。
b.在一个示例中,块矢量(BV)的模运算(例如,a mod b)可以被调用,以(例如,根据当前样点的位置和BV的求模结果)标识IBC虚拟缓冲区或重构图片缓冲区中参考样点的位置(例如,在环路滤波过程之前)。
5.实施例
5.1实施例#1
用于IBC的缓冲区的实施方式描述如下:
缓冲区尺寸为128×128。CTU尺寸也为128×128。对于CTU行中的第一个CTU的编解码,缓冲区用128(对于8比特视频信令)进行初始化。对于CTU行中的第k个CTU的编解码,缓冲区用对第(k-1)个CTU的环路滤波之前的重构进行初始化。
图3示出了对从(x,y)开始的块的编解码的示例。
当对从与当前CTU相关的(x,y)开始的块进行编解码时,块矢量(BVx,BVy)=(x-x0,y-y0)被传送到解码器,以指示参考块来自IBC缓冲区中的(x0,y0)。假设块的宽度和高度分别是w和h。当完成对块的编解码时,从IBC缓冲区中的(x,y)开始的w×h区域将用块在环路滤波之前的重构进行更新。
5.2实施例#2
图4示出了选择先前编解码的64×64块的可能的替代方式的示例。
5.3实施例#3
图5示出了改变64×64块的编解码/解码顺序的可能的替代方式的示例。
5.4实施例#4
图8示出了在64×64块的解码顺序是从顶部到底部、从左到右时选择先前编解码的64×64块的另一种可能的替代方式。
5.5实施例#5
图9示出了选择先前编解码的64×64块的另一种可能的替代方式。
5.6实施例#6
图11示出了在64×64块的解码顺序是从左到右、从顶部到底部时选择先前编解码的64×64块的另一种可能的替代方式。
5.7实施例#7
假设CTU尺寸为W×W,解码器处的尺寸为mM×W并且比特深度为B的IBC缓冲区的实施方式如下。
在开始解码CTU行时,用值(1<<(B-1))初始化缓冲区,并且将要更新的起始点(xb,yb)设置为(0,0)。
当从与CTU左上角相关的(x,y)开始并且尺寸为w×h的CU被解码时,从(xb+x,yb+y)开始并且尺寸为w×h的区域将用CU在比特深度与B比特对齐之后的重构像素值进行更新。
在CTU被解码之后,要更新的起点(xb,yb)将被设置为((xb+W)mod mW,0)。
当解码具有块矢量(BVx,BVy)的IBC CU时,对于与CTU左上角相关的任何像素(x,y),在与预测信号的比特深度进行比特深度对齐之后,在位置((x+BVx)mod mW,(y+BVy)modW)处从缓冲区提取其预测。
在一个示例中,B被设置为7或8,而块的输出/输入比特深度可以等于10。
5.8实施例#8
对于从与图片的左上角相关的(x,y)开始的亮度CU或联合亮度/色度CU以及块矢量(BVx,BVy),当isRec(((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))为真时,块矢量无效。
对于从与图片的左上角相关的(x,y)开始的色度CU以及块矢量(BVx,BVy),当isRec(((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))为真时,块矢量无效。
5.9实施例9
对于从与图片的左上角相关的4:2:0格式的(x,y)开始的色度块或子块以及块矢量(BVx,BVy),当isRec(c,(x+BVx+64,y+BVy)为真时,块矢量无效,其中c是色度分量。
对于从与图片的左上角相关的4:4:4格式的(x,y)开始的色度块或子块以及块矢量(BVx,BVy),当isRec(c,(x+BVx+128,y+BVy)为真时,块矢量无效,其中c是色度分量。
5.10实施例#10
对于从与图片的左上角相关的(x,y)开始的亮度CU或联合亮度/色度CU以及块矢量(BVx,BVy),当isRec(((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))为真时,块矢量无效。
对于从与图片的左上角相关的4:2:0格式的(x,y)开始的色度块或子块以及块矢量(BVx,BVy),当isRec(c,((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))为真时,块矢量无效,其中c是色度分量。
5.11实施例#11
该实施例突出了保持CTU/CTB行的第一个VPDU行中的两个最近编解码的VPDU和第二个VPDU行中的一个最近编解码的VPDU的实施方式,不包括当前VPDU。
当VPDU编解码顺序是从顶部到底部和从左到右时,参考区域如图13所示。
当VPDU编解码顺序是从左到右和从顶部到底部,并且当前VPDU不在图片边界的右侧时,参考区域如图14所示。
当VPDU编解码顺序是从左到右和从顶部到底部,并且当前VPDU在图片边界的右侧时,参考区域可以如图15所示。
给定尺寸为w×h的亮度块(x,y),块矢量(BVx,BVy)是否有效可以通过检查以下条件进行判断:
isRec(((x+BVx+128)>>6<<6)–(refy&0x40)+(x%64),((y+BVy)>>6<<6)+(refy>>6==y>>6)?(y%64):0),其中refy=(y&0x40)?(y+BVy):(y+BVy+w-1)。
如果以上函数返回真,则块矢量(BVx,BVy)无效,否则块矢量可能有效。
5.12实施例#12
如果CTU尺寸为192×128,则维护尺寸为192×128的虚拟缓冲区以跟踪用于IBC的参考样点。
相对于图片的左上角的样点(x,y)与相对于缓冲区的左上角的位置(x%192,y%128)相关联。以下步骤示出了如何标记与用于IBC参考的虚拟缓冲区相关联的样点的可用性。
相对于图片的左上角的位置(xPrevVPDU,yPrevVPDU)被记录,以代表最近解码的VPDU的左上角样点。
1)在开始解码VPDU行时,缓冲区的所有位置都被标记为不可用。(xPrevVPDU,yPrevVPDU)被设置为(0,0)。
2)在开始解码VPDU的第一个CU时,位置(x,y)(其中,x=(xPrevVPDU-2WVPDU+2mWVPDU)%(mWVPDU),..,((xPrevVPDU-2WVPDU+2mWVPDU)%(mWVPDU))-1+WVPDU;并且y=yPrevVPDU%(nHVPDU),..,(yPrevVPDU%(nHVPDU))-1+HVPDU)可以被标记为不可用。然后(xPrevVPDU,yPrevVPDU)被设置为(xCU,yCU),即CU相对于图片的左上角位置。
3)在对CU进行解码之后,位置(x,y)(其中,x=xCU%(mWVPDU),...,(xCU+CU_width-1)%(mWVPDU)并且y=yCU%(nHVPDU),…,(yCU+CU_height-1)%(nHVPDU))被标记为可用。
4)对于具有块矢量(xBV,yBV)的IBC CU,如果任何位置(x,y)(其中,x=(xCU+xBV)%(mWVPDU),...,(xCU+xBV+CU_width-1)%(mWVPDU)并且y=(yCU+yBV)%(nHVPDU),…,(yCU+yBV+CU_height-1)%(nHVPDU))被标记为不可用,则块矢量被认为是无效的。
图16示出了缓冲区状态以及图片中的VPDU解码状态。
5.13实施例#13
如果CTU尺寸为128×128或者CTU尺寸大于VPDU尺寸(例如,在当前设计中为64×64)或者CTU尺寸大于VPDU尺寸(例如,在当前设计中为64×64),则维护尺寸为192×128的虚拟缓冲区以跟踪用于IBC的参考样点。下面,当a<0时,(a%b)被定义为floor(a/b)*b,其中返回不大于c的最大整数。
相对于图片的左上角的样点(x,y)与相对于缓冲区的左上角的位置(x%192,y%128)相关联。以下步骤示出了如何标记与用于IBC参考的虚拟缓冲区相关联的样点的可用性。
相对于图片的左上角的位置(xPrevVPDU,yPrevVPDU)被记录,以代表最近解码的VPDU的左上角样点。
1)在开始解码VPDU行时,缓冲区的所有位置都被标记为不可用。(xPrevVPDU,yPrevVPDU)被设置为(0,0)。
2)在开始解码VPDU的第一个CU时,
a.如果yPrevVPDU%64等于0,位置(x,y)(其中,x=(xPrevVPDU–128)%192,..,((xPrevVPDU–128)%192)+63;并且y=yPrevVPDU%128,..,(yPrevVPDU%128)+63)被标记为不可用。然后(xPrevVPDU,yPrevVPDU)被设置为(xCU,yCU),即CU相对于图片的左上角位置。
b.否则,位置(x,y)(其中,x=(xPrevVPDU–64)%192,..,((xPrevVPDU–64)%192)+63;并且y=yPrevVPDU%128,..,(yPrevVPDU%128)+63)被标记为不可用。然后(xPrevVPDU,yPrevVPDU)被设置为(xCU,yCU),即CU相对于图片的左上角位置。
3)在对CU进行解码之后,位置(x,y)(其中,x=xCU%192,...,(xCU+CU_width-1)%192并且y=yCU%128,…,(yCU+CU_height-1)%128)被标记为可用。
4)对于具有块矢量(xBV,yBV)的IBC CU,如果任何位置(x,y)(其中,x=(xCU+xBV)%192,...,(xCU+xBV+CU_width-1)%192并且y=(yCU+yBV)%128,…,(yCU+yBV+CU_height-1)%128)被标记为不可用,块矢量被认为是无效的。
如果CTU尺寸为S×S,S不等于128,则假定Wbuf等于128*128/S。维护尺寸为Wbuf×S的虚拟缓冲区以跟踪用于IBC的参考样点。在这种情况下,VPDU尺寸等于CTU尺寸。
相对于图片的左上角的位置(xPrevVPDU,yPrevVPDU)被记录,以代表最近解码的VPDU的左上角样点。
1)在开始解码VPDU行时,缓冲区的所有位置都被标记为不可用。(xPrevVPDU,yPrevVPDU)被设置为(0,0)。
2)在开始解码VPDU的第一个CU时,位置(x,y)(其中,x=(xPrevVPDU–Wbuf*S)%S,..,((xPrevVPDU–Wbuf*S)%S)+S-1;并且y=yPrevVPDU%S,..,(yPrevVPDU%S)+S-1)被标记为不可用。然后(xPrevVPDU,yPrevVPDU)被设置为(xCU,yCU),即CU相对于图片的左上角位置。
3)在对CU进行解码之后,位置(x,y)(其中,x=xCU%(Wbuf),...,(xCU+CU_width-1)%(Wbuf)并且y=yCU%S,…,(yCU+CU_height-1)%S)被标记为可用。
4)对于具有块矢量(xBV,yBV)的IBC CU,如果任何位置(x,y)(其中,x=(xCU+xBV)%(Wbuf),...,(xCU+xBV+CU_width-1)%(Wbuf)并且y=(yCU+yBV)%S,…,(yCU+yBV+CU_height-1)%S)被标记为不可用,则块矢量被认为是无效的。
5.14实施例#14
如果CTU尺寸为128×128或者CTU尺寸大于VPDU尺寸(例如,在当前设计中为64×64)或者CTU尺寸大于VPDU尺寸(例如,在当前设计中为64×64),则维护尺寸为256×128的虚拟缓冲区以跟踪用于IBC的参考样点。下面,当a<0时,(a%b)被定义为floor(a/b)*b,其中返回不大于c的最大整数。
相对于图片的左上角的样点(x,y)与相对于缓冲区的左上角的位置(x%256,y%128)相关联。以下步骤示出了如何标记与用于IBC参考的虚拟缓冲区相关联的样点的可用性。
相对于图片的左上角的位置(xPrevVPDU,yPrevVPDU)被记录,以代表最近解码的VPDU的左上角样点。
1)在开始解码VPDU行时,缓冲区的所有位置都被标记为不可用。(xPrevVPDU,yPrevVPDU)被设置为(0,0)。
2)在开始解码VPDU的第一个CU时,
a.如果yPrevVPDU%64等于0,则位置(x,y)(其中,x=(xPrevVPDU–128)%256,..,((xPrevVPDU–128)%256)+63;并且y=yPrevVPDU%128,..,(yPrevVPDU%128)+63)被标记为不可用。然后(xPrevVPDU,yPrevVPDU)被设置为(xCU,yCU),即CU相对于图片的左上角位置。
b.否则,位置(x,y)(其中,x=(xPrevVPDU–64)%256,..,((xPrevVPDU–64)%256)+63;并且y=yPrevVPDU%128,..,(yPrevVPDU%128)+63)被标记为不可用。然后(xPrevVPDU,yPrevVPDU)被设置为(xCU,yCU),即CU相对于图片的左上角位置。
3)在对CU进行解码之后,位置(x,y)(其中,x=xCU%256,...,(xCU+CU_width-1)%256并且y=yCU%128,…,(yCU+CU_height-1)%128)被标记为可用。
4)对于具有块矢量(xBV,yBV)的IBC CU,如果任何位置(x,y)(其中,x=(xCU+xBV)%256,...,(xCU+xBV+CU_width-1)%256并且y=(yCU+yBV)%128,…,(yCU+yBV+CU_height-1)%128)被标记为不可用,则块矢量被认为是无效的。
当CTU尺寸不为128×128或小于64×64或小于64×64时,与先前实施例(即,实施例#14)中相同的过程适用。
5.15实施例#15
IBC参考可用性标记过程描述如下。在本文档中,改变以粗体、下划线和斜体本文进行指示。
7.3.7.1通用条带数据语法
BufWidth等于(CtbSizeY==128)?256:(128*128/CtbSizeY)并且BufHeight等于
CtbSizeY。
7.3.7.5编解码单元语法
8.6.2 IBC块的运动矢量分量的推导过程
8.6.2.1总体
…
比特流一致性的要求是,当用块矢量mvL调用条款8.6.3.2中的块矢量有效性检查
过程时,isBVvalid应当为真。
…
8.6.3 ibc块的解码过程
8.6.3.1总体
当对在ibc预测模式下编解码的编解码单元进行解码时,该过程被调用。
该过程的输入是:
–亮度位置(xCb,yCb),指定当前编解码块相对于当前图片的左上角亮度样点的左上角样点,
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–变量numSbX和numSbY,指定水平和垂直方向上亮度编解码子块的数量,
–运动矢量mv[xSbIdx][ySbIdx],其中,xSbIdx=0..numSbX–1,并且ySbIdx=0..numSbY–1,
–变量cIdx,指定当前块的颜色分量索引。
–(nIbcBufW)×(ctbSize)阵列ibcBuf
…
对于子块索引(xSbIdx,ySbIdx)(其中,xSbIdx=0..numSbX–1,并且ySbIdx=0..numSbY–1)处的每个编解码子块,以下适用:
–指定当前编解码子块相对于当前图片的左上角亮度样点的左上角样点的亮度位置(xSb,ySb)被推导如下:
(xSb,ySb)=(xCb+xSbIdx*sbWidth,yCb+ySbIdx*sbHeight)(8-913)
如果cIdx等于0,则nIbcBufW被设置为ibcBufferWidth,否则nIbcBufW被设置为
(ibcBufferWidth/SubWidthC)。以下适用:
predSamples[xSb+x][ySb+y]=ibcBuf[(xSb+x+(mv[xSb][ySb][0]>>4))%
nIbcRefW][ySb+y+(mv[xSb][ySb][1]>>4)]
其中x=0..sbWidth–1并且y=0..sbHeight–1。
…
8.6.3.2块矢量有效性检查过程
该过程的输入是:
–亮度位置(xCb,yCb),指定当前编解码块相对于当前图片的左上角亮度样点的左 上角样点,
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–变量numSbX和numSbY,指定水平和垂直方向上亮度编解码子块的数量,
–块矢量mv[xSbIdx][ySbIdx],其中,xSbIdx=0..numSbX-1,并且ySbIdx= 0..numSbY-1,
–变量cIdx,指定当前块的颜色分量索引。
–(nIbcBufW)×(ctbSize)阵列ibcBuf
该过程的输出是用以指示块矢量是否有效的标志isBVvalid。
以下适用
1.isBVvalid被设置为等于真。
2.如果((yCb&(ctbSize–1))+mv[0][0][1]+cbHeight)>ctbSize,则isBVvalid被 设置为等于假。
3.否则,对于每个子块索引xSbIdx、ySbIdx(其中,xSbIdx=0..numSbX–1,并且 ySbIdx=0..numSbY–1),其相对于ibcBuf的左上角亮度样点的位置被推导为:
xTL=(xCb+xSbIdx*sbWidth+mv[xSbIdx][ySbIdx][0])&(nIbcBufW–1)
yTL=(yCb&(ctbSize–1))+ySbIdx*sbHeight+mv[xSbIdx][ySbIdx][1]
xBR=(xCb+xSbIdx*sbWidth+sbWidth–1+mv[xSbIdx][ySbIdx][0])&(nIbcBufW–
1)
yBR=(yCb&(ctbSize–1))+ySbIdx*sbHeight+sbHeight–1+mv[xSbIdx][ySbIdx]
[1]
如果(isDecoded[xTL>>2][yTL>>2]==0)或(isDecoded[xBR>>2][yTL>>2]==
0)或(isDecoded[xBR>>2][yBR>>2]==0),则isBVvalid被设置为等于假。
8.7.5图片重构过程
8.7.5.1总体
该过程的输入是:
–位置(xCurr,yCurr),指定当前块相对于当前图片分量的左上角样点的左上角样点,
–变量nCurrSw和nCurrSh,分别指定当前块的宽度和高度,
–变量cIdx,指定当前块的颜色分量,
–(nCurrSw)x(nCurrSh)阵列predSamples,指定当前块的预测样点,
–(nCurrSw)x(nCurrSh)阵列resSamples,指定当前块的残差样点。
该过程的输出是
–重构图片样点阵列recSamples。
–IBC参考阵列ibcBuf。
…
用nIbcBufW表示ibcBuf的宽度,以下适用:
ibcBuf[(xCurr+i)&(nIbcBufW–1)][(yCurr+j)&(ctbSize–1)]=recSamples
[xCurr+i][yCurr+j]
其中i=0..nCurrSw–1,j=0..nCurrSh–1。
5.16实施例#16
除了以下改变以外,与先前的实施例相同。
BufWidth等于(CtbSizeY==128)?192:(128*128/CtbSizeY)并且BufHeight等于
CtbSizeY。
5.17实施例#17
在本文档中,一些示例中的改变以粗体、下划线文本进行指示。
7.3.7条带数据语法
7.3.7.1通用条带数据语法
7.4.8.5编解码单元语义
当所有以下条件都为真时,通过将NumHmvpSmrIbcCand设置为等于NumHmvpIbcCand,并且将HmvpSmrIbcCandList[i]设置为等于HmvpIbcCandList[i](对于i=0..NumHmvpIbcCand–1)来更新共享Merge候选列表区域的基于历史的运动矢量预测值列表:
–IsInSmr[x0][y0]等于TRUE(真)。
–SmrX[x0][y0]等于x0。
–SmrY[x0][y0]等于y0。
对于x=x0..x0+cbWidth–1和y=y0..y0+cbHeight-1,进行以下指定:
CbPosX[x][y]=x0 (7-135)
CbPosY[x][y]=y0 (7-136)
CbWidth[x][y]=cbWidth (7-137)
CbHeight[x][y]=cbHeight (7-138)
将vSize设置为min(ctbSize,64),并且将wIbcBuf设置为(128*128/ctbSize)。
ibcBuf的宽度和高度相应地为wIbcBuf和ctbSize。
如果refreshIbcBuf等于1,则以下适用:
–对于x=x0..x0+wIbcBuf–1和y=y0..y0+ctbSize–1,ibcBuf[x%wIbcBuf][y% ctbSize]=-1
–resetIbcBuf=0
当对于x=x0..x0+vSize–1和y=y0..y0+vSize–1,(x0%vSize)等于0并且(y0%
vSize)等于0时,以下适用:
ibcBuf[x%wIbcBuf][y%ctbSize]=-1
8.6.2 IBC块的运动矢量分量的推导过程
8.6.2.1总体
该过程的输入是:
–当前亮度编解码块相对于当前图片的左上角亮度样点的左上角样点的亮度位置(xCb,yCb),
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度。
该过程的输出是:
–1/16分数样点精度的亮度运动矢量mvL。
亮度运动矢量mvL被推导如下:
–以亮度位置(xCb,yCb)、变量cbWidth和cbHeight作为输入来调用如在条款8.6.2.2中指定的IBC亮度运动矢量预测的推导过程,并且输出是亮度运动矢量mvL。
–当general_merge_flag[xCb][yCb]等于0时,以下适用:
1.变量mvd被推导如下:
mvd[0]=MvdL0[xCb][yCb][0] (8-883)
mvd[1]=MvdL0[xCb][yCb][1] (8-884)
2.以设置为等于mvL的mvX、设置为等于MvShift+2的rightShift和设置为等于MvShift+2的leftShift作为输入并且以取整后的mvL作为输出来调用如在条款8.5.2.14中指定的运动矢量的取整过程。
3.亮度运动矢量mvL被修改如下:
u[0]=(mvL[0]+mvd[0]+218)%218 (8-885)
mvL[0]=(u[0]>=217)?(u[0]-218):u[0] (8-886)
u[1]=(mvL[1]+mvd[1]+218)%218 (8-887)
mvL[1]=(u[1]>=217)?(u[1]-218):u[1] (8-888)
注1-如上指定的mvL[0]和mvL[1]的结果值总是在范围-217至217–1(包括-217和217-1)中。
用亮度运动矢量mvL调用如在条款8.6.2.6中指定的基于历史的运动矢量预测值列表的更新过程。
比特流一致性的要求是,亮度块矢量mvL应当遵守以下约束:
–((yCb+(mvL[1]>>4))%wIbcBuf)+cbHeight小于或等于ctbSize
–对于x=xCb..xCb+cbWidth–1和y=yCb..yCb+cbHeight–1,ibcBuf[(x+(mvL[0]> >4))%wIbcBuf][(y+(mvL[1]>>4))%ctbSize]不应等于-1。
8.7.5图片重构过程
8.7.5.1总体
该过程的输入是:
–位置(xCurr,yCurr),指定当前块相对于当前图片分量的左上角样点的左上角样点,
–变量nCurrSw和nCurrSh,分别指定当前块的宽度和高度,
–变量cIdx,指定当前块的颜色分量,
–(nCurrSw)x(nCurrSh)阵列predSamples,指定当前块的预测样点,
–(nCurrSw)x(nCurrSh)阵列resSamples,指定当前块的残差样点。
该过程的输出是重构图片样点阵列resSamples和IBC缓冲区阵列ibcBuf。
取决于颜色分量cIdx的值,进行以下指定:
–如果cIdx等于0,则recSamples对应于重构图片样点阵列SL,并且函数clipCidx1对应于Clip1Y。
–否则,如果cIdx等于1,则tuCbfChroma被设置为等于tu_cbf_cb[xCurr][yCurr],recSamples对应于重构色度样点阵列SCb,并且函数clipCidx1对应于Clip1C。
–否则(cIdx等于2),tuCbfChroma被设置为等于tu_cbf_cr[xCurr][yCurr],recSamples对应于重构色度样点阵列SCr,并且函数clipCidx1对应于Clip1C。
取决于slice_lmcs_enabled_flag的值,以下适用:
–如果slice_lmcs_enabled_flag等于0,则对于i=0..nCurrSw–1,j=0..nCurrSh-1,位置(xCurr,yCurr)处的重构样点recSamples的(nCurrSw)x(nCurrSh)块被推导如下:
recSamples[xCurr+i][yCurr+j]=clipCidx1(predSamples[i][j]+resSamples[i][j]) (8-992)
–否则(slice_lmcs_enabled_flag等于1),以下适用:
–如果cIdx等于0,则以下适用:
–以亮度位置(xCurr,yCurr)、块宽度nCurrSw和高度nCurrSh、预测亮度样点阵列predSamples以及残差亮度样点阵列resSamples作为输入来调用如在条款8.7.5.2中指定的亮度样点的图片重构与映射过程,并且输出是重构亮度样点阵列recSamples。
–否则(cIdx大于0),以色度位置(xCurr,yCurr)、变换块宽度nCurrSw和高度nCurrSh、当前色度变换块的编解码块标志tuCbfChroma、预测色度样点阵列predSamples以及残差色度样点阵列resSamples作为输入来调用如在条款8.7.5.3中指定的色度样点的图片重构与依赖于亮度的色度残差缩放过程,并且输出是重构色度样点阵列recSamples。
在对当前编解码单元进行解码之后,以下适用:
对于i=0..nCurrSw–1,j=0..nCurrSh–1
ibcBuf[(xCurr+i)%wIbcBuf][(yCurr+j)%ctbSize]=recSamples[xCurr+i]
[yCurr+j]。
5.18实施例#18
在本文档中,一些示例中的改变以粗体、下划线和斜体文本进行指示。
7.3.7条带数据语法
7.3.7.1通用条带数据语法
7.4.8.5编解码单元语义
当所有以下条件都为真时,通过将NumHmvpSmrIbcCand设置为等于NumHmvpIbcCand,并且将HmvpSmrIbcCandList[i]设置为等于HmvpIbcCandList[i](对于i=0..NumHmvpIbcCand–1)来更新共享Merge候选列表区域的基于历史的运动矢量预测值列表:
–IsInSmr[x0][y0]等于TRUE(真)。
–SmrX[x0][y0]等于x0。
–SmrY[x0][y0]等于y0。
对于x=x0..x0+cbWidth–1和y=y0..y0+cbHeight-1,进行以下指定:
CbPosX[x][y]=x0 (7-135)
CbPosY[x][y]=y0 (7-136)
CbWidth[x][y]=cbWidth (7-137)
CbHeight[x][y]=cbHeight (7-138)
将vSize设置为min(ctbSize,64),并且将wIbcBufY设置为(128*128/CtbSizeY)。
ibcBufL是宽度为wIbcBufY并且高度为CtbSizeY的阵列。
ibcBufCb和ibcBufCr是宽度为wIbcBufC=(wIbcBufY/SubWidthC)并且高度为
(CtbSizeY/SubHeightC)(即,CtbSizeC)的阵列。
如果resetIbcBuf等于1,则以下适用
–对于x=x0..x0+wIbcBufY–1和y=y0..y0+CtbSizeY–1,ibcBufL[x%wIbcBufY] [y%CtbSizeY]=-1
–对于x=x0..x0+wIbcBufC–1和y=y0..y0+CtbSizeC–1,ibcBufCb[x%wIbcBufC] [y%CtbSizeC]=-1
–对于x=x0..x0+wIbcBufC–1和y=y0..y0+CtbSizeC–1,ibcBufCr[x%wIbcBufC] [y%CtbSizeC]=-1
–resetIbcBuf=0
当(x0%vSizeY)等于0并且(y0%vSizeY)等于0时,以下适用
–对于x=x0..x0+vSize–1和y=y0..y0+vSize–1,ibcBufL[x%wIbcBufY][y% CtbSizeY]=-1
–对于x=x0/SubWidthC..x0/SubWidthC+vSize/SubWidthC–1和y=y0/ SubHeightC..y0/SubHeightC+vSize/SubHeightC–1,ibcBufCb[x%wIbcBufC][y% CtbSizeC]=-1
–对于x=x0/SubWidthC..x0/SubWidthC+vSize/SubWidthC–1和y=y0/ SubHeightC..y0/SubHeightC+vSize/SubHeightC–1,ibcBufCr[x%wIbcBufC][y% CtbSizeC]=-1
8.6.2 IBC块的运动矢量分量的推导过程
8.6.2.1总体
该过程的输入是:
–当前亮度编解码块相对于当前图片的左上角亮度样点的左上角样点的亮度位置(xCb,yCb),
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度。
该过程的输出是:
–1/16分数样点精度的亮度运动矢量mvL。
亮度运动矢量mvL被推导如下:
–以亮度位置(xCb,yCb)、变量cbWidth和cbHeight作为输入来调用如在条款8.6.2.2中指定的IBC亮度运动矢量预测的推导过程,并且输出是亮度运动矢量mvL。
–当general_merge_flag[xCb][yCb]等于0时,以下适用:
4.变量mvd被推导如下:
mvd[0]=MvdL0[xCb][yCb][0] (8-883)
mvd[1]=MvdL0[xCb][yCb][1] (8-884)
5.以设置为等于mvL的mvX、设置为等于MvShift+2的rightShift和设置为等于MvShift+2的leftShift作为输入并且以取整后的mvL作为输出来调用如在条款8.5.2.14中指定的运动矢量的取整过程。
6.亮度运动矢量mvL被修改如下:
u[0]=(mvL[0]+mvd[0]+218)%218 (8-885)
mvL[0]=(u[0]>=217)?(u[0]-218):u[0] (8-886)
u[1]=(mvL[1]+mvd[1]+218)%218 (8-887)
mvL[1]=(u[1]>=217)?(u[1]-218):u[1] (8-888)
注1-如上指定的mvL[0]和mvL[1]的结果值总是在范围-217至217–1(包括-217和217-1)中。
用亮度运动矢量mvL调用如在条款8.6.2.6中指定的基于历史的运动矢量预测值列表的更新过程。
以mvL作为输入并且以mvC作为输出来调用条款8.6.2.5。
比特流一致性的要求是,亮度块矢量mvL应当遵守以下约束:
–((yCb+(mvL[1]>>4))%CtbSizeY)+cbHeight小于或等于CtbSizeY
–对于x=xCb..xCb+cbWidth–1和y=yCb..yCb+cbHeight–1,ibcBufL[(x+(mvL[0] >>4))%wIbcBufY][(y+(mvL[1]>>4))%CtbSizeY]不应等于-1。
–如果treeType等于SINGLE_TREE,则对于x=xCb..xCb+cbWidth–1和y=yCb..yCb +cbHeight–1,ibcBufCb[(x+(mvC[0]>>5))%wIbcBufC][(y+(mvC[1]>>5))%CtbSizeC]]不 应等于-1。
8.6.3 ibc块的解码过程
8.6.3.1总体
当对在ibc预测模式下编解码的编解码单元进行解码时,该过程被调用。
该过程的输入是:
–亮度位置(xCb,yCb),指定当前编解码块相对于当前图片的左上角亮度样点的左上角样点,
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–当前块的颜色分量索引。
–运动矢量mv,
–(wIbcBufY)×(CtbSizeY)阵列ibcBufL,(wIbcBufC)×(CtbSizeC)阵列ibcBufCb, (wIbcBufC)×(CtbSizeC)阵列ibcBufCr。
该过程的输出是:
–预测样点的阵列predSamples。
对于x=xCb..xCb+Width–1和y=yCb..yCb+Height-1,以下适用如果cIdx等于0
predSamples[x][y]=ibcBufL[(x+mv[0]>>4))%wIbcBufY][(y+(mv[1]>>4))%
CtbSizeY]
如果cIdx等于1
predSamples[x][y]=ibcBufCb[(x+mv[0]>>5))%wIbcBufC][(y+(mv[1]>>5))%
CtbSizeC]
如果cIdx等于2
predSamples[x][y]=ibcBufCr[(x+mv[0]>>5))%wIbcBufC][(y+(mv[1]>>5))%
CtbSizeC]
8.7.5图片重构过程
8.7.5.1总体
该过程的输入是:
–位置(xCurr,yCurr),指定当前块相对于当前图片分量的左上角样点的左上角样点,
–变量nCurrSw和nCurrSh,分别指定当前块的宽度和高度,
–变量cIdx,指定当前块的颜色分量,
–(nCurrSw)x(nCurrSh)阵列predSamples,指定当前块的预测样点,
–(nCurrSw)x(nCurrSh)阵列resSamples,指定当前块的残差样点。
该过程的输出是重构图片样点阵列recSamples和IBC缓冲区阵列ibcBufL、 ibcBufCb、ibcBufCr。
取决于颜色分量cIdx的值,进行以下指定:
–如果cIdx等于0,则recSamples对应于重构图片样点阵列SL,并且函数clipCidx1对应于Clip1Y。
–否则,如果cIdx等于1,则tuCbfChroma被设置为等于tu_cbf_cb[xCurr][yCurr],recSamples对应于重构色度样点阵列SCb,并且函数clipCidx1对应于Clip1C。
–否则(cIdx等于2),tuCbfChroma被设置为等于tu_cbf_cr[xCurr][yCurr],recSamples对应于重构色度样点阵列SCr,并且函数clipCidx1对应于Clip1C。
取决于slice_lmcs_enabled_flag的值,以下适用:
–如果slice_lmcs_enabled_flag等于0,则对于i=0..nCurrSw–1,j=0..nCurrSh-1,位置(xCurr,yCurr)处的重构样点recSamples的(nCurrSw)x(nCurrSh)块被推导如下:
recSamples[xCurr+i][yCurr+j]=clipCidx1(predSamples[i][j]+resSamples[i][j]) (8-992)
–否则(slice_lmcs_enabled_flag等于1),以下适用:
–如果cIdx等于0,则以下适用:
–以亮度位置(xCurr,yCurr)、块宽度nCurrSw和高度nCurrSh、预测亮度样点阵列predSamples以及残差亮度样点阵列resSamples作为输入来调用如在条款8.7.5.2中指定的亮度样点的图片重构与映射过程,并且输出是重构亮度样点阵列recSamples。
–否则(cIdx大于0),以色度位置(xCurr,yCurr)、变换块宽度nCurrSw和高度nCurrSh、当前色度变换块的编解码块标志tuCbfChroma、预测色度样点阵列predSamples以及残差色度样点阵列resSamples作为输入来调用如在条款8.7.5.3中指定的色度样点的图片重构与依赖于亮度的色度残差缩放过程,并且输出是重构色度样点阵列recSamples。
在对当前编解码单元进行解码之后,以下可以适用:
如果cIdx等于0,并且如果treeType等于SINGLE_TREE或DUAL_TREE_LUMA,则以下
适用
对于i=0..nCurrSw–1,j=0..nCurrSh–1
ibcBufL[(xCurr+i)%wIbcBufY][(yCurr+j)%CtbSizeY]=recSamples[xCurr+
i][yCurr+j]。
如果cIdx等于1,并且如果treeType等于SINGLE_TREE或DUAL_TREE_CHROMA,则以
下适用
对于i=0..nCurrSw–1,j=0..nCurrSh–1
ibcBufCb[(xCurr+i)%wIbcBufC][(yCurr+j)%CtbSizeC]=recSamples[xCurr+
i][yCurr+j]。
如果cIdx等于2,并且如果treeType等于SINGLE_TREE或DUAL_TREE_CHROMA,则以
下适用
对于i=0..nCurrSw–1,j=0..nCurrSh–1
ibcBufCr[(xCurr+i)%wIbcBufC][(yCurr+j)%CtbSizeC]=recSamples[xCurr+
i][yCurr+j]。
5.19实施例#19
在本文档中,一些示例中的改变以粗体、下划线文本进行指示。
7.3.7条带数据语法
7.3.7.1通用条带数据语法
7.4.8.5编解码单元语义
当所有以下条件都为真时,通过将NumHmvpSmrIbcCand设置为等于NumHmvpIbcCand,并且将HmvpSmrIbcCandList[i]设置为等于HmvpIbcCandList[i](对于i=0..NumHmvpIbcCand–1)来更新共享Merge候选列表区域的基于历史的运动矢量预测值列表:
–IsInSmr[x0][y0]等于TRUE(真)。
–SmrX[x0][y0]等于x0。
–SmrY[x0][y0]等于y0。
对于x=x0..x0+cbWidth–1和y=y0..y0+cbHeight-1,进行以下指定:
CbPosX[x][y]=x0 (7-135)
CbPosY[x][y]=y0 (7-136)
CbWidth[x][y]=cbWidth (7-137)
CbHeight[x][y]=cbHeight (7-138)
将vSize设置为min(ctbSize,64),并且将wIbcBufY设置为(128*128/CtbSizeY)。
ibcBufL是宽度为wIbcBufY并且高度为CtbSizeY的阵列。
ibcBufCb和ibcBufCr是宽度为wIbcBufC=(wIbcBufY/SubWidthC)并且高度为
(CtbSizeY/SubHeightC)(即,CtbSizeC)的阵列。
如果resetIbcBuf等于1,则以下适用
–对于x=x0..x0+wIbcBufY–1和y=y0..y0+CtbSizeY–1,ibcBufL[x%wIbcBufY] [y%CtbSizeY]=-1
–对于x=x0..x0+wIbcBufC–1和y=y0..y0+CtbSizeC–1,ibcBufCb[x%wIbcBufC] [y%CtbSizeC]=-1
–对于x=x0..x0+wIbcBufC–1和y=y0..y0+CtbSizeC–1,ibcBufCr[x%wIbcBufC] [y%CtbSizeC]=-1
–resetIbcBuf=0
当(x0%vSizeY)等于0并且(y0%vSizeY)等于0时,以下适用
–对于x=x0..x0+min(vSize,cbWidth)–1和y=y0..y0+min(vSize,cbHeight)–1, ibcBufL[x%wIbcBufY][y%CtbSizeY]=-1
–对于x=x0/SubWidthC..x0/SubWidthC+min(vSize/SubWidthC,cbWidth)-1和y =y0/SubHeightC..y0/SubHeightC+min(vSize/SubHeightC,cbHeight)–1,ibcBufCb[x% wIbcBufC][y%CtbSizeC]=-1
–对于x=x0/SubWidthC..x0/SubWidthC+min(vSize/SubWidthC,cbWidth)–1和y =y0/SubHeightC..y0/SubHeightC+min(vSize/SubHeightC,cbHeight)–1,ibcBufCr[x% wIbcBufC][y%CtbSizeC]=-1
8.6.2 IBC块的运动矢量分量的推导过程
8.6.2.1总体
该过程的输入是:
–当前亮度编解码块相对于当前图片的左上角亮度样点的左上角样点的亮度位置(xCb,yCb),
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度。
该过程的输出是:
–1/16分数样点精度的亮度运动矢量mvL。
亮度运动矢量mvL被推导如下:
–以亮度位置(xCb,yCb)、变量cbWidth和cbHeight作为输入来调用如在条款8.6.2.2中指定的IBC亮度运动矢量预测的推导过程,并且输出是亮度运动矢量mvL。
–当general_merge_flag[xCb][yCb]等于0时,以下适用:
7.变量mvd被推导如下:
mvd[0]=MvdL0[xCb][yCb][0] (8-883)
mvd[1]=MvdL0[xCb][yCb][1] (8-884)
8.以设置为等于mvL的mvX、设置为等于MvShift+2的rightShift和设置为等于MvShift+2的leftShift作为输入并且以取整后的mvL作为输出来调用如在条款8.5.2.14中指定的运动矢量的取整过程。
9.亮度运动矢量mvL被修改如下:
u[0]=(mvL[0]+mvd[0]+218)%218 (8-885)
mvL[0]=(u[0]>=217)?(u[0]-218):u[0] (8-886)
u[1]=(mvL[1]+mvd[1]+218)%218 (8-887)
mvL[1]=(u[1]>=217)?(u[1]-218):u[1] (8-888)
注1-如上指定的mvL[0]和mvL[1]的结果值总是在范围-217至217–1(包括-217和217-1)中。
用亮度运动矢量mvL调用如在条款8.6.2.6中指定的基于历史的运动矢量预测值列表的更新过程。
以mvL作为输入并且以mvC作为输出来调用条款8.6.2.5。
比特流一致性的要求是,亮度块矢量mvL应当遵守以下约束:
–((yCb+(mvL[1]>>4))%CtbSizeY)+cbHeight小于或等于CtbSizeY
–对于x=xCb..xCb+cbWidth–1和y=yCb..yCb+cbHeight–1,ibcBufL[(x+(mvL[0] >>4))%wIbcBufY][(y+(mvL[1]>>4))%CtbSizeY]不应等于-1。
–如果treeType等于SINGLE_TREE,则对于x=xCb..xCb+cbWidth–1和y=yCb..yCb +cbHeight–1,ibcBufCb[(x+(mvC[0]>>5))%wIbcBufC][(y+(mvC[1]>>5))%CtbSizeC]]不 应等于-1。
8.6.3 ibc块的解码过程
8.6.3.1总体
当对在ibc预测模式下编解码的编解码单元进行解码时,该过程被调用。
该过程的输入是:
–亮度位置(xCb,yCb),指定当前编解码块相对于当前图片的左上角亮度样点的左上角样点,
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–变量cIdx,指定当前块的颜色分量索引。
–运动矢量mv,
–(wIbcBufY)×(CtbSizeY)阵列ibcBufL,(wIbcBufC)×(CtbSizeC)阵列ibcBufCb, (wIbcBufC)×(CtbSizeC)阵列ibcBufCr。
该过程的输出是:
–预测样点的阵列predSamples。
对于x=xCb..xCb+Width–1和y=yCb..yCb+Height-1,以下适用如果cIdx等于0
predSamples[x][y]=ibcBufL[(x+mv[0]>>4))%wIbcBufY][(y+(mv[1]>>4))%
CtbSizeY]
如果cIdx等于1
predSamples[x][y]=ibcBufCb[(x+mv[0]>>5))%wIbcBufC][(y+(mv[1]>>5))%
CtbSizeC]
如果cIdx等于2
predSamples[x][y]=ibcBufCr[(x+mv[0]>>5))%wIbcBufC][(y+(mv[1]>>5))%
CtbSizeC]
8.7.5图片重构过程
8.7.5.1总体
该过程的输入是:
–位置(xCurr,yCurr),指定当前块相对于当前图片分量的左上角样点的左上角样点,
–变量nCurrSw和nCurrSh,分别指定当前块的宽度和高度,
–变量cIdx,指定当前块的颜色分量,
–(nCurrSw)x(nCurrSh)阵列predSamples,指定当前块的预测样点,
–(nCurrSw)x(nCurrSh)阵列resSamples,指定当前块的残差样点。
该过程的输出是重构图片样点阵列recSamples和IBC缓冲区阵列ibcBufL、ibcBufCb、ibcBufCr。
取决于颜色分量cIdx的值,进行以下指定:
–如果cIdx等于0,则recSamples对应于重构图片样点阵列SL,并且函数clipCidx1对应于Clip1Y。
–否则,如果cIdx等于1,则tuCbfChroma被设置为等于tu_cbf_cb[xCurr][yCurr],recSamples对应于重构色度样点阵列SCb,并且函数clipCidx1对应于Clip1C。
–否则(cIdx等于2),tuCbfChroma被设置为等于tu_cbf_cr[xCurr][yCurr],recSamples对应于重构色度样点阵列SCr,并且函数clipCidx1对应于Clip1C。
取决于slice_lmcs_enabled_flag的值,以下适用:
–如果slice_lmcs_enabled_flag等于0,则对于i=0..nCurrSw–1,j=0..nCurrSh-1,位置(xCurr,yCurr)处的重构样点recSamples的(nCurrSw)x(nCurrSh)块被推导如下:
recSamples[xCurr+i][yCurr+j]=clipCidx1(predSamples[i][j]+resSamples[i][j]) (8-992)
–否则(slice_lmcs_enabled_flag等于1),以下适用:
–如果cIdx等于0,则以下适用:
–以亮度位置(xCurr,yCurr)、块宽度nCurrSw和高度nCurrSh、预测亮度样点阵列predSamples以及残差亮度样点阵列resSamples作为输入来调用如在条款8.7.5.2中指定的亮度样点的图片重构与映射过程,并且输出是重构亮度样点阵列recSamples。
–否则(cIdx大于0),以色度位置(xCurr,yCurr)、变换块宽度nCurrSw和高度nCurrSh、当前色度变换块的编解码块标志tuCbfChroma、预测色度样点阵列predSamples以及残差色度样点阵列resSamples作为输入来调用如在条款8.7.5.3中指定的色度样点的图片重构与依赖于亮度的色度残差缩放过程,并且输出是重构色度样点阵列recSamples。
在对当前编解码单元进行解码之后,以下可以适用:
如果cIdx等于0,并且如果treeType等于SINGLE_TREE或DUAL_TREE_LUMA,则以下
适用
对于i=0..nCurrSw–1,j=0..nCurrSh–1
ibcBufL[(xCurr+i)%wIbcBufY][(yCurr+j)%CtbSizeY]=recSamples[xCurr+
i][yCurr+j]。
如果cIdx等于1,并且如果treeType等于SINGLE_TREE或DUAL_TREE_CHROMA,则以
下适用
对于i=0..nCurrSw–1,j=0..nCurrSh–1
ibcBufCb[(xCurr+i)%wIbcBufC][(yCurr+j)%CtbSizeC]=recSamples[xCurr+
i][yCurr+j]。
如果cIdx等于2,并且如果treeType等于SINGLE_TREE或DUAL_TREE_CHROMA,则以
下适用
对于i=0..nCurrSw–1,j=0..nCurrSh–1
ibcBufCr[(xCurr+i)%wIbcBufC][(yCurr+j)%CtbSizeC]=recSamples[xCurr+
i][yCurr+j]。
5.20实施例#20
在本文档中,一些示例中的改变以粗体、下划线和斜体文本进行指示。
7.3.7条带数据语法
7.3.7.1通用条带数据语法
7.4.8.5编解码单元语义
当所有以下条件都为真时,通过将NumHmvpSmrIbcCand设置为等于NumHmvpIbcCand,并且将HmvpSmrIbcCandList[i]设置为等于HmvpIbcCandList[i](对于i=0..NumHmvpIbcCand–1)来更新共享Merge候选列表区域的基于历史的运动矢量预测值列表:
–IsInSmr[x0][y0]等于TRUE(真)。
–SmrX[x0][y0]等于x0。
–SmrY[x0][y0]等于y0。
对于x=x0..x0+cbWidth–1和y=y0..y0+cbHeight-1,进行以下指定:
CbPosX[x][y]=x0 (7-135)
CbPosY[x][y]=y0 (7-136)
CbWidth[x][y]=cbWidth (7-137)
CbHeight[x][y]=cbHeight (7-138)
将vSize设置为min(ctbSize,64),并且将wIbcBufY设置为(128*128/CtbSizeY)。
ibcBufL是宽度为wIbcBufY并且高度为CtbSizeY的阵列。
ibcBufCb和ibcBufCr是宽度为wIbcBufC=(wIbcBufY/SubWidthC)并且高度为
(CtbSizeY/SubHeightC)(即,CtbSizeC)的阵列。
如果resetIbcBuf等于1,则以下适用
–对于x=x0..x0+wIbcBufY–1和y=y0..y0+CtbSizeY–1,ibcBufL[x%wIbcBufY] [y%CtbSizeY]=-1
–对于x=x0..x0+wIbcBufC–1和y=y0..y0+CtbSizeC–1,ibcBufCb[x%wIbcBufC] [y%CtbSizeC]=-1
–对于x=x0..x0+wIbcBufC–1和y=y0..y0+CtbSizeC–1,ibcBufCr[x%wIbcBufC] [y%CtbSizeC]=-1
–resetIbcBuf=0
当(x0%vSizeY)等于0并且(y0%vSizeY)等于0时,以下适用
–对于x=x0..x0+max(vSize,cbWidth)–1和y=y0..y0+max(vSize,cbHeight)–1, ibcBufL[x%wIbcBufY][y%CtbSizeY]=-1
–对于x=x0/SubWidthC..x0/SubWidthC+max(vSize/SubWidthC,cbWidth)-1和y =y0/SubHeightC..y0/SubHeightC+max(vSize/SubHeightC,cbHeight)–1,ibcBufCb[x% wIbcBufC][y%CtbSizeC]=-1
–对于x=x0/SubWidthC..x0/SubWidthC+max(vSize/SubWidthC,cbWidth)–1和y =y0/SubHeightC..y0/SubHeightC+max(vSize/SubHeightC,cbHeight)–1,ibcBufCr[x% wIbcBufC][y%CtbSizeC]=-1
8.6.2 IBC块的运动矢量分量的推导过程
8.6.2.1总体
该过程的输入是:
–当前亮度编解码块相对于当前图片的左上角亮度样点的左上角样点的亮度位置(xCb,yCb),
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度。
该过程的输出是:
–1/16分数样点精度的亮度运动矢量mvL。
亮度运动矢量mvL被推导如下:
–以亮度位置(xCb,yCb)、变量cbWidth和cbHeight作为输入来调用如在条款8.6.2.2中指定的IBC亮度运动矢量预测的推导过程,并且输出是亮度运动矢量mvL。
–当general_merge_flag[xCb][yCb]等于0时,以下适用:
10.变量mvd被推导如下:
mvd[0]=MvdL0[xCb][yCb][0] (8-883)
mvd[1]=MvdL0[xCb][yCb][1] (8-884)
11.以设置为等于mvL的mvX、设置为等于MvShift+2的rightShift和设置为等于MvShift+2的leftShift作为输入并且以取整后的mvL作为输出来调用如在条款8.5.2.14中指定的运动矢量的取整过程。
12.亮度运动矢量mvL被修改如下:
u[0]=(mvL[0]+mvd[0]+218)%218 (8-885)
mvL[0]=(u[0]>=217)?(u[0]-218):u[0] (8-886)
u[1]=(mvL[1]+mvd[1]+218)%218 (8-887)
mvL[1]=(u[1]>=217)?(u[1]-218):u[1] (8-888)
注1-如上指定的mvL[0]和mvL[1]的结果值总是在范围-217至217–1(包括-217和217-1)中。
用亮度运动矢量mvL调用如在条款8.6.2.6中指定的基于历史的运动矢量预测值列表的更新过程。
以mvL作为输入并且以mvC作为输出来调用条款8.6.2.5。
比特流一致性的要求是,亮度块矢量mvL应当遵守以下约束:
–((yCb+(mvL[1]>>4))%CtbSizeY)+cbHeight小于或等于CtbSizeY
–对于x=xCb..xCb+cbWidth–1和y=yCb..yCb+cbHeight–1,ibcBufL[(x+(mvL[0] >>4))%wIbcBufY][(y+(mvL[1]>>4))%CtbSizeY]不应等于-1。
8.6.3 ibc块的解码过程
8.6.3.1总体
当对在ibc预测模式下编解码的编解码单元进行解码时,该过程被调用。
该过程的输入是:
–亮度位置(xCb,yCb),指定当前编解码块相对于当前图片的左上角亮度样点的左上角样点,
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–变量cIdx,指定当前块的颜色分量索引。
–运动矢量mv,
–(wIbcBufY)×(CtbSizeY)阵列ibcBufL,(wIbcBufC)×(CtbSizeC)阵列ibcBufCb, (wIbcBufC)×(CtbSizeC)阵列ibcBufCr。
该过程的输出是:
–预测样点的阵列predSamples。
对于x=xCb..xCb+Width–1和y=yCb..yCb+Height-1,以下适用
如果cIdx等于0
predSamples[x][y]=ibcBufL[(x+mv[0]>>4))%wIbcBufY][(y+(mv[1]>>4))%
CtbSizeY]
如果cIdx等于1
predSamples[x][y]=ibcBufCb[(x+mv[0]>>5))%wIbcBufC][(y+(mv[1]>>5))%
CtbSizeC]
如果cIdx等于2
predSamples[x][y]=ibcBufCr[(x+mv[0]>>5))%wIbcBufC][(y+(mv[1]>>5))%
CtbSizeC]
8.7.5图片重构过程
8.7.5.1总体
该过程的输入是:
–位置(xCurr,yCurr),指定当前块相对于当前图片分量的左上角样点的左上角样点,
–变量nCurrSw和nCurrSh,分别指定当前块的宽度和高度,
–变量cIdx,指定当前块的颜色分量,
–(nCurrSw)x(nCurrSh)阵列predSamples,指定当前块的预测样点,
–(nCurrSw)x(nCurrSh)阵列resSamples,指定当前块的残差样点。
该过程的输出是重构图片样点阵列recSamples和IBC缓冲区阵列ibcBufL、 ibcBufCb、ibcBufCr 。
取决于颜色分量cIdx的值,进行以下指定:
–如果cIdx等于0,则recSamples对应于重构图片样点阵列SL,并且函数clipCidx1对应于Clip1Y。
–否则,如果cIdx等于1,则tuCbfChroma被设置为等于tu_cbf_cb[xCurr][yCurr],recSamples对应于重构色度样点阵列SCb,并且函数clipCidx1对应于Clip1C。
–否则(cIdx等于2),tuCbfChroma被设置为等于tu_cbf_cr[xCurr][yCurr],recSamples对应于重构色度样点阵列SCr,并且函数clipCidx1对应于Clip1C。
取决于slice_lmcs_enabled_flag的值,以下适用:
–如果slice_lmcs_enabled_flag等于0,则对于i=0..nCurrSw–1,j=0..nCurrSh-1,位置(xCurr,yCurr)处的重构样点recSamples的(nCurrSw)x(nCurrSh)块被推导如下:
recSamples[xCurr+i][yCurr+j]=clipCidx1(predSamples[i][j]+resSamples[i][j]) (8-992)
–否则(slice_lmcs_enabled_flag等于1),以下适用:
–如果cIdx等于0,则以下适用:
–以亮度位置(xCurr,yCurr)、块宽度nCurrSw和高度nCurrSh、预测亮度样点阵列predSamples以及残差亮度样点阵列resSamples作为输入来调用如在条款8.7.5.2中指定的亮度样点的图片重构与映射过程,并且输出是重构亮度样点阵列recSamples。
–否则(cIdx大于0),以色度位置(xCurr,yCurr)、变换块宽度nCurrSw和高度nCurrSh、当前色度变换块的编解码块标志tuCbfChroma、预测色度样点阵列predSamples以及残差色度样点阵列resSamples作为输入来调用如在条款8.7.5.3中指定的色度样点的图片重构与依赖于亮度的色度残差缩放过程,并且输出是重构色度样点阵列recSamples。
在对当前编解码单元进行解码之后,以下可以适用:
如果cIdx等于0,并且如果treeType等于SINGLE_TREE或DUAL_TREE_LUMA,则以下
适用
对于i=0..nCurrSw–1,j=0..nCurrSh–1
ibcBufL[(xCurr+i)%wIbcBufY][(yCurr+j)%CtbSizeY]=recSamples[xCurr+
i][yCurr+j]。
如果cIdx等于1,并且如果treeType等于SINGLE_TREE或DUAL_TREE_CHROMA,则以
下适用
对于i=0..nCurrSw–1,j=0..nCurrSh–1
ibcBufCb[(xCurr+i)%wIbcBufC][(yCurr+j)%CtbSizeC]=recSamples[xCurr+
i][yCurr+j]。
如果cIdx等于2,并且如果treeType等于SINGLE_TREE或DUAL_TREE_CHROMA,则以
下适用
对于i=0..nCurrSw–1,j=0..nCurrSh–1
ibcBufCr[(xCurr+i)%wIbcBufC][(yCurr+j)%CtbSizeC]=recSamples[xCurr+
i][yCurr+j]。
图6是可视媒体(视频或图像)处理的示例方法600的流程图。方法600包括:对于当前视频块和当前视频块的比特流表示之间的转换,确定(602)缓冲区的尺寸以存储使用帧内块复制编解码模式的当前视频块的参考样点;以及使用存储在缓冲区中的参考样点来执行(604)该转换。
以下条款描述了由方法600和其它方法的实施例实施的一些示例优选特征。在本文档的第4章节中提供了附加示例。
1.一种视频处理的方法,包括:对于当前视频块和当前视频块的比特流表示之间的转换,确定缓冲区的尺寸以存储使用帧内块复制编解码模式的当前视频块的参考样点;以及使用存储在缓冲区中的参考样点来执行该转换。
2.根据条款1所述的方法,其中,缓冲区的尺寸为预定常数。
3.根据条款1-2中任一项所述的方法,其中,尺寸为M×N,其中M和N为整数。
4.根据条款3所述的方法,其中,M×N等于64×64或128×128或64×128。
5.根据条款1所述的方法,其中,缓冲区的尺寸等于当前视频块的编解码树单元的尺寸。
6.根据条款1所述的方法,其中,缓冲区的尺寸等于在该转换期间使用的虚拟管道数据单元的尺寸。
7.根据条款1所述的方法,其中,缓冲区的尺寸对应于比特流表示中的字段。
8.根据条款7所述的方法,其中,该字段被包括在视频参数集或序列参数集或图片参数集或图片头或条带头或片组头级别的比特流表示中。
9.根据条款1-8中任一项所述的方法,其中,对于亮度分量的参考样点和色度分量的参考样点,缓冲区的尺寸不同。
10.根据条款1-8中任一项所述的方法,其中,缓冲区的尺寸取决于当前视频块的色度子采样格式。
11.根据条款1-8中任一项所述的方法,其中,参考样点以RGB格式被存储。
12.根据条款1-11中任一项所述的方法,其中,缓冲区用于存储环路滤波之前的重构样点和环路滤波之后的重构样点。
13.根据条款12所述的方法,其中,环路滤波包括去方块滤波或自适应环路滤波(ALF)或样点自适应偏移(SAO)滤波。
14.一种视频处理的方法,包括:对于当前视频块和当前视频块的比特流表示之间的转换,使用参考样点的初始值来初始化缓冲区,以存储使用帧内块复制编解码模式的当前视频块的参考样点;以及使用存储在缓冲区中的参考样点来执行该转换。
15.根据条款14所述的方法,其中,初始值对应于常数。
16.根据条款14-15中任一项所述的方法,其中,初始值是当前视频块的比特深度的函数。
17.根据条款15所述的方法,其中,常数对应于中间灰度值。
18.根据条款14所述的方法,其中,初始值对应于先前解码的视频块的像素值。
19.根据条款18所述的方法,其中,先前解码的视频块对应于环路滤波之前的解码块。
20.根据条款14-19中任一项所述的方法,其中,缓冲区的尺寸如条款1-13中的一项所述。
21.根据条款1-20中任一项所述的方法,其中,缓冲区内的像素位置使用x数字和y数字进行寻址。
22.根据条款1-20中任一项所述的方法,其中,缓冲区内的像素位置使用从0扩展到M*N-1的单个数字进行寻址,其中M和N是缓冲区的像素宽度和像素高度。
23.根据条款1-20中任一项所述的方法,其中,当前比特流表示包括用于该转换的块矢量,其中,表示为(BVx,BVy)的块矢量等于(x-x0,y-y0),其中(x0,y0)对应于当前视频块的编解码树单元的左上角位置。
24.根据条款1-20中任一项所述的方法,其中,当前比特流表示包括用于该转换的块矢量,其中,表示为(BVx,BVy)的块矢量等于(x-x0+Tx,y-y0+Ty),其中(x0,y0)对应于当前视频块的编解码树单元的左上角位置,并且其中,Tx和Ty是偏移值。
25.根据条款24所述的方法,其中,Tx和Ty是预定义的偏移值。
26.根据条款1-20中任一项所述的方法,其中,在该转换期间,对于在位置(x0,y0)处并具有块矢量(BVx,BVy)的像素,缓冲区中的对应参考在参考位置(x0+BVx,y0+BVy)处被找到。
27.根据条款26所述的方法,其中,在参考位置在缓冲区之外的情况下,缓冲区中的参考通过在缓冲区的边界处进行裁剪而确定。
28.根据条款26所述的方法,其中,在参考位置在缓冲区之外的情况下,缓冲区中的参考被确定为具有预定值。
29.根据条款1-20中任一项所述的方法,其中,在该转换期间,对于在位置(x0,y0)处并具有块矢量(BVx,BVy)的像素,缓冲区中的对应参考在参考位置((x0+BVx)mod M,(y0+BVy)mod N)处被找到,其中“mod”是模运算,并且M和N是表示缓冲区的x维度和y维度的整数。
30.一种视频处理的方法,包括:在视频和当前视频块的比特流表示之间的转换期间,重置存储用于视频边界处的帧内块复制编解码的参考样点的缓冲区;以及使用存储在缓冲区中的参考样点来执行该转换。
31.根据条款30所述的方法,其中,视频边界对应于新图片或新片。
32.根据条款30所述的方法,其中,该转换通过在重置之后用虚拟管道数据单元(VPDU)的重构值更新缓冲区而执行。
33.根据条款30所述的方法,其中,该转换通过在重置之后用编解码树单元的重构值更新缓冲区而执行。
34.根据条款30所述的方法,其中,重置在每个编解码树单元行的开始处被执行。
35.根据条款1所述的方法,其中,缓冲区的尺寸对应于L个64×64的先前解码的块,其中L为整数。
36.根据条款1-35中任一项所述的方法,其中,垂直扫描顺序用于在该转换期间读取缓冲区中的样点或将样点存储在缓冲区中。
37.一种视频处理的方法,包括:对于当前视频块和当前视频块的比特流表示之间的转换,使用缓冲区来存储使用帧内块复制编解码模式的当前视频块的参考样点,其中,缓冲区的第一比特深度不同于编解码数据的第二比特深度;以及使用存储在缓冲区中的参考样点来执行该转换。
38.根据条款37所述的方法,其中,第一比特深度大于第二比特深度。
39.根据条款37-38中任一项所述的方法,其中,第一比特深度与在该转换期间使用的重构缓冲区的比特深度相同。
40.根据条款37-39中任一项所述的方法,其中,第一比特深度作为值或差值在比特流表示中被信令通知。
41.根据条款37-40中任一项所述的方法,其中,对于色度分量和亮度分量,该转换使用不同的比特深度。
在第4章节的第7项中描述了条款37至41的附加实施例和示例。
42.一种视频处理的方法,包括:执行使用帧内块复制模式的当前视频块和当前视频块的比特流表示之间的转换,其中在该帧内块复制模式下,在该转换期间用于预测计算的第一精确度低于在该转换期间用于重构计算的第二精确度。
43.根据条款43所述的方法,其中,预测计算包括使用clip{{p+[1<<(b-1)]}>>b,0,(1<<bitdepth)-1}<<b从重构样点值确定预测样点值,其中p是重构样点值,b是预定义的比特移位值,并且bitdepth是预测样点精确度。
在第4章节的第28至31项和第34项中描述了条款42至43的附加实施例和示例。
44.一种视频处理的方法,包括:执行使用帧内块复制模式的当前视频块和当前视频块的比特流表示之间的转换,其中在该帧内块复制模式下,尺寸为nM×nM的参考区域用于尺寸为M×M的编解码树单元,其中n和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域是对应于当前视频块的编解码树单元行中的最近的可用的n×n编解码树单元。
在第4章节的第35项中描述了条款4的附加实施例和示例。
45.一种视频处理的方法,包括:执行使用帧内块复制模式的当前视频块和当前视频块的比特流表示之间的转换,其中在该帧内块复制模式下,尺寸为nM×nM的参考区域用于尺寸为除M×M之外的编解码树单元,其中n和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域是对应于当前视频块的编解码树单元行中的最近的可用的n×n-1编解码树单元。
在第4章节的第36项中描述了条款4的附加实施例和示例。图8和图9示出了附加的示例实施例。
46.根据权利要求3所述的方法,其中,M=mW并且N=H,其中W和H是当前视频块的编解码树单元(CTU)的宽度和高度,并且m是正整数。
47.根据权利要求3所述的方法,其中,M=W并且N=nH,其中W和H是编解码树单元(CTU)的宽度和高度,并且n是正整数。
48.根据权利要求3所述的方法,其中,M=mW并且N=nH,其中W和H是编解码树单元(CTU)的宽度和高度,m和n是正整数。
49.根据权利要求46-48中任一项所述的方法,其中,n和m取决于CTU的尺寸。
50.一种视频处理的方法,包括:对于视频的当前视频块和当前视频块的比特流表示之间的转换,使用视频的分量X来确定与视频的分量c的当前视频块相对应的块矢量的有效性,其中,分量X不同于视频的亮度分量;以及当确定块矢量对于当前视频块有效时,使用块矢量来执行该转换。这里,表示为(BVx,BVy)的块矢量等于(x-x0,y-y0),其中(x0,y0)对应于当前视频块的编解码树单元的左上角位置。
51.根据条款50所述的方法,其中,分量c对应于视频的亮度分量。
52.根据条款50所述的方法,其中,当前视频块是色度块,并且视频为4:4:4格式。
53.根据条款50所述的方法,其中,视频为4:2:0格式,并且其中,当前视频块是在位置(x,y)处开始的色度块,并且其中,该确定包括将块矢量确定为对于其中isRec(c,((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))为真的情况无效。
54.根据条款50所述的方法,其中,视频为4:2:0格式,并且其中,当前视频块是在位置(x,y)处开始的色度块,并且其中,该确定包括将块矢量确定为对于如果isRec(c,x+BVx+Chroma_CTU_size,y)为真的情况无效。
55.一种视频处理的方法,包括:对于视频区域的当前虚拟管道数据单元(VPDU)的当前视频块和当前视频块的比特流表示之间的转换,选择性地确定使用来自视频区域的第一行的K1个先前处理的VPDU和来自视频区域的第二行的K2个先前处理的VPDU;以及执行该转换,其中,该转换不包括使用当前VPDU的剩余部分。
56.根据条款55所述的方法,其中,K1=1并且K2=2。
57.根据条款55-56中任一项所述的方法,其中,当前视频块基于视频区域的大小或当前VPDU的大小而选择性地处理。
58.一种视频处理的方法,包括:为当前视频块和当前视频块的比特流表示之间的转换执行块矢量的有效性检查,其中,块矢量用于帧内块复制模式;以及在该转换期间使用有效性检查的结果来选择性地使用块矢量。
59.根据条款58所述的方法,其中,帧内块复制(IBC)缓冲区在该转换期间被使用,其中,IBC缓冲区的宽度和高度为Wbuf和Hbuf,当前视频块的大小为W×H,并且其中,块矢量被表示为(BVx,BVy),并且其中,当前视频块在具有大小Wpic和Hpic的当前图片以及具有Wctu和Hctu作为宽度和高度的编解码树单元中,并且其中,有效性检查使用预定规则。
60.根据条款58-59中任一项所述的方法,其中,当前视频块是从像素坐标(X,Y)开始的亮度块、色度块、编解码单元CU、变换单元TU、4×4块、2×2块或父块的子块。
61.根据条款58-60中任一项所述的方法,其中,有效性检查将落在当前图片的边界之外的块矢量视为有效。
62.根据条款58-60中任一项所述的方法,其中,有效性检查将落在编解码树单元的边界之外的块矢量视为有效。
先前章节中的第23-30项提供了以上条款58-62的附加示例和变型。
63.根据条款1-62中任一项所述的方法,其中,该转换包括从当前视频块生成比特流表示。
64.根据条款1-62中任一项所述的方法,其中,该转换包括从比特流表示生成当前视频块的像素值。
65.一种视频编码器装置,包括被配置为实施根据条款1-62中任一项或多项所述的方法的处理器。
66.一种视频解码器装置,包括被配置为实施根据条款1-62中任一项或多项所述的方法的处理器。
67.一种其上存储有代码的计算机可读介质,该代码体现用于实施根据条款1-62中任一项或多项所述的方法的处理器可执行指令。
图7是视频/图像处理装置700的硬件平台的框图。装置700可以用于实施本文描述的方法中的一种或多种。装置700可以体现在智能电话、平板电脑、计算机、物联网(Internet of Things,IoT)接收器等中。装置700可以包括一个或多个处理器702、一个或多个存储器704、以及视频处理硬件706。(多个)处理器702可以被配置为实施本文档中描述的一种或多种方法(包括但不限于方法600)。存储器(多个存储器)704可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件706可以用于以硬件电路实施本文档中描述的一些技术。
对应于当前视频块的比特流表示不需要是连续的比特集合,并且可以跨头、参数集和网络抽象层(Network Abstraction Layer,NAL)分组而分布。
章节A:另一附加示例实施例
在章节A中,我们呈现了另一示例实施例,其中可以修改VVC标准的当前版本,以实施在本文档中描述的技术中的一些。
本章节分析当前IBC参考缓冲区设计中的几个问题,并呈现不同的设计来解决问题。代替与解码内存混合,提出了一种独立的IBC参考缓冲区来。与当前锚(anchor)相比,所提出的方案示出了类F的-0.99%/-0.71%/-0.79%的AI/RA/LD-B亮度BD率和4:2:0TGM的-2.57%/-1.81%/-1.36%的AI/RA/LD-B亮度BD率,其中6.7%的内存减少;或类F的-1.31%/-1.01%/-0.81%的AI/RA/LD-B亮度BD率和4:2:0TGM的-3.23%/-2.33%/-1.71%的AI/RA/LD-B亮度BD率,其中6.7%的内存增加。
A1.介绍
采用帧内块复制,即IBC(或当前图片参考,即先前的CPR)编解码模式。已经意识到,IBC参考样点应该被存储在片上内存中,因此定义了一个CTU的有限参考区域。为了限制用于缓冲区的额外片上内存,当前设计重用64×64内存以用于对当前VPDU进行解码,使得仅需要3个附加的64×64块的内存来支持IBC。当CTU尺寸为128×128时,参考区域当前在图2中被示出。
在当前草案(VVC草案4)中,区域被定义为:
因此,总的参考尺寸为CTU。
A2.当前设计的潜在问题
当前设计假设重用64×64内存以用于对当前VPDU进行解码,并且相应地将IBC参考与VPDU内存重用对齐。这样的设计将VPDU解码内存与IBC缓冲区捆绑在一起。可能存在几个问题:
1.处理更小的CTU可能是个问题。假设CTU尺寸为32×32,不清楚用于对当前VPDU进行解码的当前64×64内存是否可以在不同的架构中有效地支持32×32级别内存重用。
2.参考区域显著变化。因此,引入了过多的比特流一致性约束。它给编码器有效地利用参考区域并避免生成合法的比特流增加了额外的负担。这也增加了在不同模块(例如,Merge列表)中具有无效BV的可能性。为了处理那些无效BV,可能会引入额外的逻辑或额外的一致性约束。它不仅会给编码器或解码器引入负担,还可能会造成BV编解码和MV编解码之间的差异。
3.该设计不能很好地扩展。由于VPDU解码与IBC缓冲区混合,相对于当前的一个128×128CTU的设计增加或减少参考区域并不容易。这可能会限制在以后的开发(例如,更低或更高的简表)中利用更好的编解码效率对片上内存的折衷的灵活性。
4.IBC参考缓冲区的比特深度与解码缓冲区相关联。即使屏幕内容通常具有比内部解码比特深度更低的比特深度,缓冲区仍然需要花费内存来存储主要表示取整或量化噪声的比特。当考虑更高的解码比特深度配置时,这个问题变得更加严重。
A3.清晰的IBC缓冲区设计
为了解决以上小节中列出的问题,我们提出利用专用IBC缓冲区,它不与解码内存混合。
对于128×128CTU,缓冲区被定义为具有8比特样点的128×128,当尺寸为w×h的CU(x,y)已经被解码时,其在环路滤波之前的重构被转换为8比特,并被写入从位置(x%128,y%128)开始的w×h块区域。这里,模运算符%总是返回正数,即对于x<0,例如-3%128=125。
假设用BV=(BVx,BVy)在IBC模式下对像素(x,y)进行编解码,它在IBC参考缓冲区中的预测样点位于((x+BVx)%128,(y+BVy)%128)处,并且像素值将在预测之前被转换为10比特。
当缓冲区被认为是(W,H)时,在对从(x,y)开始的CTU或CU进行解码之后,环路滤波之前的重构像素将被存储在从(x%W,y%H)开始的缓冲区中。因此,在对CTU进行解码之后,对应的IBC参考缓冲区将被相应地更新。当CTU尺寸不为128×128时,这样的设置可能会发生。例如,对于64×64CTU,在当前缓冲区尺寸的情况下,它可以被认为是256×64缓冲区。对于64×64CTU,图2示出了缓冲区状态。
图12是IBC参考缓冲区状态的图示,其中块表示64×64CTU。
在这样的设计中,因为IBC缓冲区不同于VPDU解码内存,所以所有的IBC参考缓冲区都可以被用作参考。
当IBC缓冲区的比特深度为8比特时,与需要3个附加的10比特64×64缓冲区的当前设计相比,片上内存增加为(8*4)/(10*3)-100%=6.7%。
如果我们进一步降低比特深度。可以进一步降低内存需求。例如,对于7比特缓冲区,片上内存节省为100%-(7*4)/(10*3)=6.7%。
在该设计的情况下,唯一的比特流一致性约束是参考块应当在当前片的当前CTU行中的重构区域内。
当在每个CTU行的开始处允许初始化到512时,可以移除所有比特流一致性约束。
A4.实验结果
在一些实施例中,所公开的方法可以使用VTM-4.0软件而实施。
对于10比特缓冲区实施方式和CTC,解码器与当前的VTM4.0编码器完全兼容,这意味着所提出的解码器可以正确地解码VTM-4.0 CTC比特流。
对于7比特缓冲区实施方式,结果如表I所示
对于8比特缓冲区实施方式,结果如表II所示。
表I.7比特缓冲区的性能。锚是VTM-4.0,其中IBC对所有序列开启。
表II.8比特缓冲区的性能。锚是VTM-4.0,其中IBC对所有序列开启。
图17是示出可以在其中实施本文公开的各种技术的示例视频处理***1700的框图。各种实施方式可以包括***1700的一些或所有组件。***1700可以包括用于接收视频内容的输入1702。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收,或者可以是压缩或编码格式。输入1702可以表示网络接口、***总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(Passive Optical Network,PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
***1700可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1704。编解码组件1704可以将来自输入1702的视频的平均比特率减小到编解码组件1704的输出,以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件1704的输出可以被存储,或者经由如由组件1706表示的通信连接而发送。在输入1702处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件1708用于生成像素值或传送到显示接口1710的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外,虽然某些视频处理操作被称为“编解码”操作或工具,但是将理解,编解码工具或操作在编码器处被使用,并且反转编解码结果的对应的解码工具或操作将由解码器执行。
***总线接口或显示接口的示例可以包括通用串行总线(Universal SerialBus,USB)、或高清晰度多媒体接口(High Definition Multimedia Interface,HDMI)、或显示端口(Displayport)等。存储接口的示例包括SATA(Serial Advanced TechnologyAttachment,串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中,诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。
图18是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例18进行讨论。在步骤1802处,该过程对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息。在步骤1804处,对于在空域上位于当前视频块相对于包括当前视频块的编解码树单元的左上角位置的位置(x0,y0)处并具有块矢量(BVx,BVy)的样点,该过程计算缓冲区中在参考位置(P,Q)处的对应参考,其中,参考位置(P,Q)是使用块矢量(BVx,BVy)和位置(x0,y0)而确定的。当确定参考位置(P,Q)位于缓冲区之外时,在步骤1805处,该过程至少部分基于当前视频块相对于包括当前视频块的编解码树单元的位置来重新计算参考位置。
图19是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例29进行讨论。在步骤1902处,该过程对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息。在步骤1904处,对于在空域上位于当前视频块相对于包括当前视频块的图片的左上角位置的位置(x,y)处并具有块矢量(BVx,BVy)的样点,该过程至少部分基于满足与以下中的至少一个相关联的一个或多个条件来将块矢量(BVx,BVy)指定为有效:当前视频块的位置(x,y)、当前视频块的大小、图片的大小、包括当前视频块的编解码树单元的大小、或缓冲区的大小。在步骤1906处,该过程执行检查以确定块矢量(BVx,BVy)有效。在步骤1908处,当识别出块矢量(BVx,BVy)有效时,该过程计算缓冲区中在参考位置(P,Q)处的对应参考,其中,参考位置(P,Q)是使用块矢量(BVx,BVy)、位置(x,y)以及缓冲区的大小而确定的。
图20是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例19进行讨论。在步骤2002处,该过程对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定当前视频块的块矢量(BVx,BVy)或块矢量差(BVDx,BVDy),其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息。在步骤2004处,该过程将块矢量(BVx,BVy)的至少一个分量或块矢量差(BVDx,BVDy)的至少一个分量归一化为位于一范围内。
图21是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例40进行讨论。在步骤2102处,该过程对于当前视频块和当前视频块的比特流表示之间的转换,确定用于存储用于帧内块复制模式下的预测的重构样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息。在步骤2104处,该过程根据顺序来更新存储在缓冲区中的重构样点。
图22是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例57进行讨论。在步骤2202处,该过程执行当前视频块和当前视频块的比特流表示之间的转换,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,用于预测计算的第一精确度低于用于重构计算的第二精确度。
图23是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例59进行讨论。在步骤2302处,该过程使用帧内块复制模式来执行当前视频块和当前视频块的比特流表示之间的转换,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,尺寸为nM×nM的参考区域被使用,其中n和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域包括来自对应于当前视频块的编解码树单元行中的n×n个最近的可用编解码树单元的样点。
图24是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例60进行讨论。在步骤2402处,该过程使用帧内块复制模式来执行当前视频块和当前视频块的比特流表示之间的转换,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,尺寸为nM×pM的参考区域被使用,其中n、p和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域包括来自对应于当前视频块的编解码树单元行中的n×p-1个最近的可用编解码树单元的样点。
图25是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例61进行讨论。在步骤2502处,该过程使用帧内块复制模式来执行视频区域的虚拟管道数据单元(VPDU)的当前视频块和当前视频块的比特流表示之间的转换,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,尺寸为nM×nM的参考区域被使用,VPDU的尺寸为kM×kM,其中k、n和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域包括来自对应于当前视频块的编解码树单元行中的n×n-k个最近的可用编解码树单元的样点。
图26是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例62-66进行讨论。在步骤2602处,该过程对于可视媒体数据的尺寸为w×h的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息。在步骤2604处,对于在空域上位于当前视频块相对于包括当前视频块的尺寸为M×M的编解码树单元(CTU)的左上角位置的位置(x0,y0)处并具有块矢量(BVx,BVy)的样点,该过程计算在缓冲区中的参考位置(P,Q)处开始的对应参考区域,其中,参考位置(P,Q)是使用块矢量(BVx,BVy)和/或位置(x0,y0)而确定的。在步骤2606处,该过程将一个或多个基于规则的约束应用于参考区域和/或参考位置(P,Q),以限制参考区域与视频区域的重叠。
图27是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例68进行讨论。在步骤2702处,该过程对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息。在步骤2704处,对于在空域上位于当前视频块相对于包括当前视频块的编解码单元(CU)的位置(x0,y0)处的样点,该过程计算在缓冲区中的参考位置处开始的对应参考区域。在步骤2706处,该过程调整参考区域和参考位置以确定先前处理的块中的哪些被用于预测。
图28是可视数据处理的示例方法的流程图。该流程图的步骤结合在本文档的第4章节中讨论的示例69-75进行讨论。在步骤2802处,该过程对于视频的当前视频块和当前视频块的比特流表示之间的转换,使用视频的分量X来确定与视频的分量c的当前视频块相对应的块矢量的有效性,其中,分量X不同于视频的亮度分量。在步骤2804处,该过程当确定块矢量对于当前视频块有效时,使用块矢量来执行该转换,其中,该转换在帧内块复制(IBC)模式下被执行,其中该帧内块复制(IBC)模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息。
本文档的一些实施例现在以基于条款的格式呈现。
A1.一种可视媒体处理的方法,包括:
对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;
对于在空域上位于当前视频块相对于包括当前视频块的编解码树单元的左上角位置的位置(x0,y0)处并具有块矢量(BVx,BVy)的样点,计算缓冲区中在参考位置(P,Q)处的对应参考,其中,参考位置(P,Q)是使用块矢量(BVx,BVy)和位置(x0,y0)而确定的;以及
当确定参考位置(P,Q)位于缓冲区之外时,至少部分基于当前视频块相对于包括当前视频块的编解码树单元的位置来重新计算参考位置。
A2.根据条款A1所述的方法,其中,参考位置(P,Q)被确定为P=x0+BVx并且Q=y0+BVy。
A3.根据条款1所述的方法,其中,重新计算包括:
至少部分基于当前视频块是位于相对于编解码树单元的水平方向还是位于相对于编解码树单元的垂直方向来重新计算参考位置(P,Q)。
A4.根据条款A1-A3中任一项或多项所述的方法,其中,当前视频块位于相对于编解码树单元的水平方向。
A5.根据条款A1-A3中任一项或多项所述的方法,其中,当前视频块位于相对于编解码树单元的垂直方向。
A6.根据条款1所述的方法,其中,重新计算包括:
至少部分基于当前视频块是否位于距可视媒体数据的边界的预定义距离内来重新计算参考位置(P,Q)。
A7.根据条款A1-A2和A6中任一项或多项所述的方法,其中,当前视频块位于距可视媒体数据的边界的预定义距离内。
A8.根据条款A1-A2中任一项或多项所述的方法,其中,响应于确定(y0+BVy)位于范围[0,…,N-1]之外,参考位置(P,Q)被指定预定义值,其中N是表示缓冲区的y维度的整数。
A9.根据条款A1-A2中任一项或多项所述的方法,其中,响应于确定(x0+BVx)位于范围[0,…,M-1]之外,参考位置(P,Q)被指定预定义值,其中M是表示缓冲区的x维度的整数。
A10.根据条款A1-A2中任一项或多项所述的方法,其中,参考位置(P,Q)被指定为((x0+BVx)mod M,y0+BVy),其中“mod”是定义为x mod y=x–y*floor(x/y)的模运算,其中floor(a)是不大于a的最大整数,并且M是表示缓冲区的x维度的整数。
A11.根据条款A1-A2中任一项或多项所述的方法,其中,参考位置(P,Q)被指定为(x0+BVx,(y0+BVy)mod N)),其中“mod”是定义为x mod y=x–y*floor(x/y)的模运算,其中floor(a)是不大于a的最大整数,并且N是表示缓冲区的y维度的整数。
A12.根据条款A10所述的方法,其中,响应于确定((x0+BVx)mod M,y0+BVy)位于缓冲区之外,附加处理被执行。
A13.根据条款A12所述的方法,其中,响应于确定(x0+BVx,(y0+BVy)mod N))位于缓冲区之外,附加处理被执行。
B1.一种可视媒体处理的方法,包括:
对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;
对于在空域上位于当前视频块相对于包括当前视频块的图片的左上角位置的位置(x,y)处并具有块矢量(BVx,BVy)的样点,至少部分基于满足与以下中的至少一个相关联的一个或多个条件来将块矢量(BVx,BVy)指定为有效:当前视频块的位置(x,y)、当前视频块的大小、图片的大小、包括当前视频块的编解码树单元的大小、或缓冲区的大小;
执行检查以确定块矢量(BVx,BVy)有效;以及
当识别出块矢量(BVx,BVy)有效时,计算缓冲区中在参考位置(P,Q)处的对应参考,其中,参考位置(P,Q)是使用块矢量(BVx,BVy)、位置(x,y)以及缓冲区的大小而确定的。
B2.根据条款B1所述的方法,其中,参考位置(P,Q)被确定为((x+BVx)%Wbuf,(x+BVy)%Hbuf),其中,Wbuf×Hbuf表示缓冲区的大小,其中,“%”表示模运算,并且“x%y”在x<0时被定义为x–y*floor(x/y),其中floor(a)是不大于a的最大整数。
C1.一种可视媒体处理的方法,包括:
对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定当前视频块的块矢量(BVx,BVy)或块矢量差(BVDx,BVDy),其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;以及
将块矢量(BVx,BVy)的至少一个分量或块矢量差(BVDx,BVDy)的至少一个分量归一化为位于一范围内。
C2.根据条款C1所述的方法,其中,归一化包括:
基于缓冲区的大小来将块矢量(BVx,BVy)的至少一个分量或块矢量差(BVDx,BVDy)的至少一个分量归一化为位于该范围内,其中,缓冲区存储用于帧内块复制模式下的预测的参考样点。
C3.根据条款C2所述的方法,其中,分量BVx被归一化为(BVx mod M),其中M是表示缓冲区的x维度的整数,并且“mod”是定义为x mod y=x–y*floor(x/y)的模运算,其中floor(a)是不大于a的最大整数。
C4.根据条款C2所述的方法,其中,分量BVx被归一化为((BVx+x0)mod M)-V,其中M是表示缓冲区的x维度的整数,“mod”是定义为x mod y=x–y*floor(x/y)的模运算,其中floor(a)是不大于a的最大整数,并且V是预定义值。
C5.根据条款C4所述的方法,其中,V是64。
C6.根据条款C4所述的方法,其中,V是M/2。
C7.根据条款C4所述的方法,其中,V是x0。
C8.根据条款C2所述的方法,其中,分量BVy被归一化为(BVy mod N),其中N是表示缓冲区的y维度的整数,并且“mod”是定义为x mod y=x–y*floor(x/y)的模运算,其中floor(a)是不大于a的最大整数。
C9.根据条款C2所述的方法,其中,分量BVy被归一化为((BVy+y0)mod N)-V,其中N是表示缓冲区的y维度的整数,“mod”是定义为x mod y=x–y*floor(x/y)的模运算,其中floor(a)是不大于a的最大整数,并且V是预定义值。
C10.根据条款C9所述的方法,其中,V是64。
C11.根据条款C9所述的方法,其中,V是N/2。
C12.根据条款C9所述的方法,其中,V是y0。
C13.根据条款C1所述的方法,其中,分量BVx和BVy被归一化为位于不同的范围内。
C14.根据条款C2所述的方法,其中,分量BVDx被归一化为(BVDx mod M),其中M是表示缓冲区的x维度的整数,并且“mod”是定义为x mod y=x–y*floor(x/y)的模运算,其中floor(a)是不大于a的最大整数。
C15.根据条款C2所述的方法,其中,分量BVDx被归一化为((BVDx+x0)mod M)-V,其中M是表示缓冲区的x维度的整数,“mod”是定义为x mod y=x–y*floor(x/y)的模运算,其中floor(a)是不大于a的最大整数,并且V是预定义值。
C16.根据条款C15所述的方法,其中,V是64。
C17.根据条款C15所述的方法,其中,V是M/2。
C18.根据条款C15所述的方法,其中,V是x0。
C19.根据条款C2所述的方法,其中,分量BVDy被归一化为(BVDy mod N),其中N是表示缓冲区的y维度的整数,并且“mod”是模运算。
C20.根据条款C2所述的方法,其中,分量BVDy被归一化为((BVDy+y0)mod N)-V,其中N是表示缓冲区的y维度的整数,“mod”是模运算,并且V是预定义值。
C21.根据条款C20所述的方法,其中,V是64。
C22.根据条款C20所述的方法,其中,V是N/2。
C23.根据条款C20所述的方法,其中,V是y0。
C24.根据条款C1所述的方法,其中,分量BVDx和BVDy被归一化为位于不同的范围内。
D1.一种可视媒体处理的方法,包括:
对于当前视频块和当前视频块的比特流表示之间的转换,确定用于存储用于帧内块复制模式下的预测的重构样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;以及
根据顺序来更新存储在缓冲区中的重构样点。
D2.根据条款D1所述的方法,其中,缓冲区根据先后顺序而更新。
D3.根据条款D1所述的方法,其中,缓冲区根据重构块的顺序而更新。
D4.根据条款D1所述的方法,还包括:
当确定缓冲区已满时,用最近重构的样点替换存储在缓冲区中的重构样点。
D5.根据条款D1所述的方法,其中,存储在缓冲区中的重构样点以先进先出的顺序被替换。
D6.根据条款D1所述的方法,其中,存储在缓冲区中的重构样点的最老集合被替换。
D7.根据条款D1所述的方法,其中,存储在缓冲区中的重构样点被指定优先级值,并且其中,存储在缓冲区中的重构样点根据优先级值被替换。
D8.根据条款D1所述的方法,其中,存储在缓冲区中的重构样点的子集被标记以用于未来的替换,并且其中,不包括在该子集中的样点最初被替换。
D9.根据条款D7所述的方法,其中,被包括在比特流表示中的标志指示满足一个或多个条件的优先级值。
D10.根据条款D7所述的方法,其中,优先级值是基于当前视频块的特性而指定的。
D11.根据条款D9所述的方法,其中,一个或多个条件与使用调色板模式和/或帧内块编解码(IBC)模式和/或变换跳过模式编解码的重构样点的百分比相关。
D12.根据条款D11所述的方法,其中,响应于确定使用调色板模式和/或帧内块编解码(IBC)模式和/或变换跳过模式编解码的重构样点的百分比超过阈值,将当前视频块中的所有样点指定为高优先级。
D13.根据条款D12所述的方法,其中,阈值基于当前视频块的尺寸和/或当前视频块的颜色分量和/或包括当前视频块的编解码树单元(CTU)的尺寸。
D14.根据条款D13所述的方法,其中,阈值作为字段被包括在比特流表示中。
D15.根据条款D14所述的方法,其中,字段被包括在序列参数集(SPS)、图片参数集(PPS)、序列头、条带头、片组、片级别或视频区域中。
D16.根据条款D4所述的方法,其中,确定缓冲区中的可用样点的数量等于或大于阈值指示缓冲区已满。
D17.根据条款D16所述的方法,其中,阈值是64×64×3个亮度样点。
E1.一种可视媒体处理的方法,包括:
执行当前视频块和当前视频块的比特流表示之间的转换,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,用于预测计算的第一精确度低于用于重构计算的第二精确度。
E2.根据条款E1所述的方法,其中,预测计算包括使用clip{{p+[1<<(b-1)]}>>b,0,(1<<bitdepth)-1}<<b从重构样点值确定预测样点值,其中p是重构样点值,b是预定义的比特移位值,bitdepth是预测样点精确度,并且“clip”是定义为clip(x,y,z)=(x<y)?y:(x>z?z:x)的裁剪操作。
E3.根据条款E1所述的方法,其中,预测计算包括使用clip{{p+[1<<(b-1)-1]}>>b,0,(1<<bitdepth)-1}<<b从重构样点值确定预测样点值,其中p是重构样点值,b是预定义的比特移位值,bitdepth是预测样点精确度,并且“clip”是定义为clip(x,y,z)=(x<y)?y:(x>z?z:x)的裁剪操作。
E4.根据条款E1所述的方法,其中,预测计算包括使用((p>>b)+(1<<(bitdepth-1)))<<b从重构样点值确定预测样点值,其中p是重构样点值,b是预定义的比特移位值,并且bitdepth是预测样点精确度。
E5.根据条款E1所述的方法,其中,预测计算包括使用(clip((p>>b),0,(1<<(bitdepth-b)))+(1<<(bitdepth-1)))<<b从重构样点值确定预测样点值,其中p是重构样点值,b是预定义的比特移位值,bitdepth是预测样点精确度,并且“clip”是定义为clip(x,y,z)=(x<y)?y:(x>z?z:x)的裁剪操作。
E6.根据条款E1所述的方法,其中,预测计算包括基于是否应用了环路整形(ILR)步骤,使用裁剪操作从重构样点值确定预测样点值。
E7.根据条款E1-E5中任一项或多项所述的方法,其中,b是重构样点和当前视频块的比特深度的差。
E8.根据条款E1所述的方法,其中,第一精确度和/或第二精确度和/或第一精确度和第二精确度之间的差作为字段在比特流表示中被信令通知。
E9.根据条款E1所述的方法,其中,预测计算包括从重构样点值确定预测样点值,其中,预测样点值的第一部分具有第一精确度,并且预测样点值的第二部分具有第二精确度。
E10.根据条款E9所述的方法,其中,当前视频块位于包括具有不同精确度的样点的编解码树单元之内。
E11.根据条款E10所述的方法,其中,具有不同精确度的样点被包括在针对当前视频块允许的参考区域中。
E12.根据条款E9所述的方法,其中,与包括另一视频块的编解码树单元相关联的第一参考区域使用第一精确度,并且与包括当前视频块的编解码树单元相关联的第二参考区域使用第二精确度。
E13.根据条款E12所述的方法,其中,第一参考区域对应于第一颜色分量,并且第二参考区域对应于第二颜色分量。
F1.一种可视媒体处理的方法,包括:
使用帧内块复制模式来执行当前视频块和当前视频块的比特流表示之间的转换,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,尺寸为nM×nM的参考区域被使用,其中n和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域包括来自对应于当前视频块的编解码树单元行中的n×n个最近的可用编解码树单元的样点。
F2.根据条款F1所述的方法,其中,参考区域的尺寸为128×128个样点,编解码树单元尺寸为64×64,并且缓冲区包括在包括当前视频块的相同编解码树单元行中的四个最近的可用编解码树单元。
F3.根据条款F1所述的方法,其中,参考区域的尺寸为128×128个样点,编解码树单元尺寸为32×32,并且缓冲区包括在包括当前视频块的相同编解码树单元行中的十六个最近的可用编解码树单元。
G1.一种可视媒体处理的方法,包括:
使用帧内块复制模式来执行当前视频块和当前视频块的比特流表示之间的转换,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,尺寸为nM×pM的参考区域被使用,其中n、p和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域包括来自对应于当前视频块的编解码树单元行中的n×p-1个最近的可用编解码树单元的样点。
G2.根据条款G1所述的方法,其中,参考区域的尺寸为128×128个样点或256×64个样点,编解码树单元尺寸为64×64,并且缓冲区包括在包括当前视频块的相同编解码树单元行中的三个最近的可用编解码树单元。
G3.根据条款G1所述的方法,其中,参考区域的尺寸为128×128个样点或512×32个样点,编解码树单元尺寸为32×32,并且缓冲区包括在包括当前视频块的相同编解码树单元行中的十五个最近的可用编解码树单元。
G4.根据条款G1所述的方法,其中,编解码树单元的尺寸为M×M。
G5.根据条款G1至G4中任一项所述的方法,其中,缓冲区之外的样点在该转换期间不被允许使用。
H1.一种可视媒体处理的方法,包括:
使用帧内块复制模式来执行视频区域的虚拟管道数据单元(VPDU)的当前视频块和当前视频块的比特流表示之间的转换,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息,其中,在该转换期间,尺寸为nM×nM的参考区域被使用,VPDU的尺寸为kM×kM,其中k、n和M为整数,并且其中,当前视频块位于编解码树单元中,并且其中,参考区域包括来自对应于当前视频块的编解码树单元行中的n×n-k个最近的可用编解码树单元的样点。
H2.根据条款H1所述的方法,其中,参考区域的尺寸为128×128个样点,编解码树单元尺寸为64×64,VPDU的尺寸为64×64,并且缓冲区包括在包括当前视频块的相同编解码树单元行中的三个最近的可用编解码树单元。
H3.根据条款H1所述的方法,其中,参考区域的尺寸为128×128个样点,编解码树单元尺寸为32×32,VPDU的尺寸为64×64,并且缓冲区包括在包括当前视频块的相同编解码树单元行中的十二个最近的可用编解码树单元。
I1.一种可视媒体处理的方法,包括:
对于可视媒体数据的尺寸为w×h的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;
对于在空域上位于当前视频块相对于包括当前视频块的尺寸为M×M的编解码树单元(CTU)的左上角位置的位置(x0,y0)处并具有块矢量(BVx,BVy)的样点,计算在缓冲区中的参考位置(P,Q)处开始的对应参考区域,其中,参考位置(P,Q)是使用块矢量(BVx,BVy)和/或位置(x0,y0)而确定的;以及
将一个或多个基于规则的约束应用于参考区域和/或参考位置(P,Q),以限制参考区域与视频区域的重叠。
I2.根据条款I1所述的方法,其中,当CTU的尺寸为128×128、(x0,y0)被表示为(m×64,n×64)时,参考区域被限制与左上角被表示为((m-2)×64,n×64)的尺寸为64×64的视频区域重叠,其中m和n为整数。
I3.根据条款I1所述的方法,其中,当CTU的尺寸为128×128、(x0,y0)被表示为(m×64,n×64)时,参考区域被限制与左上角被表示为(x0-128,y0)的尺寸为w×h的视频区域重叠,其中m和n为整数。
I4.根据条款I1所述的方法,其中,当缓冲区的尺寸为kM×M时,参考区域被限制与左上角被表示为(x0-kM y0)的尺寸为w×h的视频区域重叠。
I5.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为(2m*64,2n*64)时,重构块的左上角位置被表示为((2m-2)*64,2n*64),其中m和n为整数,并且当前视频块的尺寸为64×64。
I6.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为(2m*64,2n*64)时,重构块的左上角位置被表示为((2m-1)*64,2n*64),其中m和n为整数,并且当前视频块的尺寸为64×64。
I7.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为(2m*64,2n*64)时,重构块的左上角位置被表示为((2m-1)*64,(2n+1)*64),其中m和n为整数,并且当前视频块的尺寸为64×64。
I8.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为(2m*64,2n*64)时,重构块的左上角位置位于当前视频块的左上角位置处,其中m和n为整数,并且当前视频块的尺寸为64×64。
I9.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为((2m+1)*64,(2n+1)*64)时,重构块的左上角位置位于当前视频块的左上角位置处,其中m和n为整数,并且当前视频块的尺寸为64×64。
I10.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为((2m+1)*64,2n*64)时,重构块的左上角位置被表示为((2m-1)*64,2n*64),其中m和n为整数,并且当前视频块的尺寸为64×64。
I11.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为((2m+1)*64,2n*64)时,重构块的左上角位置被表示为((2m-1)*64,(2n+1)*64),其中m和n为整数,并且当前视频块的尺寸为64×64。
I12.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为((2m+1)*64,2n*64)时,重构块的左上角位置被表示为(2m*64,2n*64),其中m和n为整数,并且当前视频块的尺寸为64×64。
I13.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为((2m+1)*64,2n*64)时,重构块的左上角位置位于当前视频块的左上角位置处,其中m和n为整数,并且当前视频块的尺寸为64×64。
I14.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为(2m*64,(2n+1)*64)时,重构块的左上角位置被表示为((2m-1)*64,(2n+1)*64),其中m和n为整数,并且当前视频块的尺寸为64×64。
I15.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为(2m*64,(2n+1)*64)时,重构块的左上角位置被表示为(2m*64,2n*64),其中m和n为整数,并且当前视频块的尺寸为64×64。
I16.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为(2m*64,(2n+1)*64)时,重构块的左上角位置被表示为((2m+1)*64,2n*64),其中m和n为整数,并且当前视频块的尺寸为64×64。
I17.根据条款I1所述的方法,其中,当当前视频块的左上角位置被表示为(2m*64,(2n+1)*64)时,重构块的左上角位置位于当前视频块的左上角位置处,其中m和n为整数,并且当前视频块的尺寸为64×64。
J1.一种可视媒体处理的方法,包括:
对于可视媒体数据的当前视频块和当前视频块的比特流表示之间的转换,确定存储用于帧内块复制模式下的预测的参考样点的缓冲区,其中,该转换在帧内块复制模式下被执行,其中该帧内块复制模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息;
对于在空域上位于当前视频块相对于包括当前视频块的编解码单元(CU)的位置(x0,y0)处的样点,计算在缓冲区中的参考位置处开始的对应参考区域;以及
调整参考区域和参考位置以确定先前处理的块中的哪些被用于预测。
J2.根据条款J1所述的方法,其中,当(y0>>6)&1==0时,多达两个先前处理的块用于预测,其中,两个先前处理的块的左上角位置被表示为((x>>6<<6)-128,y>>6<<6)和((x>>6<<6)-64,y>>6<<6)。
J3.根据条款J1所述的方法,其中,当(y0>>6)&1==1时,左上角位置被表示为((x>>6<<6)-64,y>>6<<6)的一个先前处理的块用于预测。
K1.一种视频处理的方法,包括:
对于视频的当前视频块和当前视频块的比特流表示之间的转换,使用视频的分量X来确定与视频的分量c的当前视频块相对应的块矢量的有效性,其中,分量X不同于视频的亮度分量;以及
当确定块矢量对于当前视频块有效时,使用块矢量来执行该转换,其中,该转换在帧内块复制(IBC)模式下被执行,其中该帧内块复制(IBC)模式基于与和当前视频块位于相同视频区域中的重构块相关的运动信息。
K2.根据条款K1所述的方法,其中,当前视频块在位置(x,y)处开始,并且其中,该确定包括确定块矢量对于其中isRec(((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))为真的情况无效,其中如果样点(x,y)通过IBC模式进行重构,则isRec(x,y)为真,并且块矢量被表示为(BVx,BVy))。
K3.根据条款K1所述的方法,其中,分量c对应于视频的亮度分量。
K4.根据条款K1所述的方法,其中,当前视频块是色度块,并且视频为4:4:4格式。
K5.根据条款K1所述的方法,其中,当前视频块包括亮度分量和色度分量。
K6.根据条款K1所述的方法,其中,视频为4:2:0格式,并且其中,当前视频块是在位置(x,y)处开始的色度块,并且其中,该确定包括确定块矢量对于其中isRec(c,((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))为真的情况无效,其中如果样点(x,y)通过IBC模式进行重构,则isRec(x,y)为真。
K7.根据条款K1所述的方法,其中,该确定至少部分基于视频的分量X的样点的可用性。
K8.根据条款K7所述的方法,其中,当前视频块在位置(x,y)处开始,并且其中,该确定包括确定块矢量对于其中isRec(c,((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))为真的情况无效,其中如果分量c的样点(x,y)可用并通过IBC模式进行重构,则isRec(c,x,y)为真,并且块矢量被表示为(BVx,BVy)。
K9.根据条款K8所述的方法,其中,当前视频块是亮度块。
K10.根据条款K8所述的方法,其中,当前视频块是色度块,并且视频为4:4:4格式。
K11.根据条款K7所述的方法,其中,该确定包括确定视频的分量X的样点的可用性。
K12.根据条款K7所述的方法,其中,当前视频块在位置(x,y)处开始,并且其中,该确定包括确定块矢量对于其中isRec(c,x+BVx+Chroma_CTU_size,y)的情况无效,其中如果分量c的样点(x,y)可用并通过IBC模式进行重构,则isRec(c,x,y)为真,并且块矢量被表示为(BVx,BVy))并且Chroma_CTU_size表示色度分量的编解码树单元的尺寸。
K13.根据条款K12所述的方法,其中,色度分量的编解码树单元的尺寸为64。
K14.根据条款K1所述的方法,还包括:
确定存储用于帧内块复制模式下的预测的参考样点的缓冲区;以及
对于在空域上位于当前视频块相对于包括当前视频块的编解码树单元(CTU)的左上角位置的位置(x0,y0)处的样点,计算在缓冲区中的参考位置(P,Q)处开始的对应参考区域。
K15.根据条款K14所述的方法,其中,缓冲区存储尺寸为M×M的块。
K16.根据条款K14所述的方法,其中,缓冲区存储尺寸为N×M的块,其中M和N不相等。
K17.根据条款K14所述的方法,其中,当满足一个或多个条件时,缓冲区被限制使用。
K18.根据条款K14所述的方法,其中,当缓冲区与当前视频块在相同的区块/片/片组/条带内时,缓冲区被限制使用。
L1.根据条款A1-K18中任一项所述的方法,其中,该转换包括从当前视频块生成比特流表示。
L2.根据条款A1-K18中任一项所述的方法,其中,该转换包括从比特流表示生成当前视频块的像素值。
L3.一种视频编码器装置,包括被配置为实施根据条款A1-K18中任一项或多项所述的方法的处理器。
L4.一种视频解码器装置,包括被配置为实施根据条款A1-K18中任一项或多项所述的方法的处理器。
L5.一种其上存储有代码的计算机可读介质,该代码体现用于实施根据条款A1-K18中任一项或多项所述的方法的处理器可执行指令。
在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,视频压缩算法可以在从视频的像素表示到对应的比特流表示的转换期间被应用,反之亦然。当前视频块的比特流表示可以例如对应于比特流内并置的或分散在不同地方的比特,如通过语法定义的。例如,宏块可以根据变换和编解码误差残差值而编码,并且也可以使用比特流中的头和其它字段中的比特进行编码。
从前面可以理解,为了说明的目的,本文已经描述了当前公开的技术的特定实施例,但是在不脱离本发明的范围的情况下,可以进行各种修改。因此,当前公开的技术不受除了所附权利要求之外的限制。
本专利文档中描述的主题和功能操作的实施方式可以在各种***、数字电子电路中被实施,或者在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)中被实施,或者在它们中的一个或多个的组合中被实施。本说明书中描述的主题的实施方式可以被实施为一个或多个计算机程序产品,即编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块,该计算机程序指令用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包含用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外,装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理***、操作***、或它们中的一个或多个的组合的代码。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且其可以以任何形式部署,包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件***中的文件。程序可以存储在保存其他程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或存储在多个协调文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行,并且装置也可以被实施为专用逻辑电路,例如,FPGA(Field Programmable Gate Array,现场可编程门阵列)或ASIC(Application SpecificIntegrated Circuit,专用集成电路)。
适合于执行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备(例如,磁盘、磁光盘或光盘),或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而,计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
本说明书以及附图旨在被认为仅是示例性的,其中示例性意味着示例。如本文所使用的,“或”的使用旨在包括“和/或”,除非上下文另外清楚地指示。
虽然本专利文档包含许多细节,但这些细节不应被解释为对任何发明或可能要求保护的范围的限制,而是作为特定于特定发明的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合实施。此外,尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护,但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征,并且所要求保护的组合可以针对子组合或子组合的变化。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外,在本专利文档中描述的实施例中的各种***组件的分离不应被理解为在所有实施例中都需要这样的分离。
仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。
Claims (22)
1.一种可视媒体处理的方法,包括:
对于当前视频块和所述当前视频块的比特流表示之间的转换,确定用于存储用于帧内块复制模式下的预测的重构样点的缓冲区,其中,所述转换在所述帧内块复制模式下被执行,其中所述帧内块复制模式基于与和所述当前视频块位于相同视频区域中的重构块相关的运动信息;以及
根据顺序来更新存储在所述缓冲区中的所述重构样点。
2.根据权利要求1所述的方法,其中,所述缓冲区根据先后顺序而更新。
3.根据权利要求1所述的方法,其中,所述缓冲区根据重构块的顺序而更新。
4.根据权利要求1所述的方法,还包括:
当确定所述缓冲区已满时,用最近重构的样点替换存储在所述缓冲区中的所述重构样点。
5.根据权利要求1所述的方法,其中,存储在所述缓冲区中的所述重构样点以先进先出的顺序被替换。
6.根据权利要求1所述的方法,其中,存储在所述缓冲区中的所述重构样点的最老集合被替换。
7.根据权利要求1所述的方法,其中,存储在所述缓冲区中的所述重构样点被指定优先级值,并且其中,存储在所述缓冲区中的所述重构样点根据所述优先级值被替换。
8.根据权利要求1所述的方法,其中,存储在所述缓冲区中的所述重构样点的子集被标记以用于未来的替换,并且其中,不包括在所述子集中的样点最初被替换。
9.根据权利要求7所述的方法,其中,被包括在所述比特流表示中的标志指示满足一个或多个条件的所述优先级值。
10.根据权利要求7所述的方法,其中,所述优先级值是基于所述当前视频块的特性而指定的。
11.根据权利要求9所述的方法,其中,所述一个或多个条件与使用调色板模式和/或帧内块编解码(IBC)模式和/或变换跳过模式编解码的所述重构样点的百分比相关。
12.根据权利要求11所述的方法,其中,响应于确定使用所述调色板模式和/或所述帧内块编解码(IBC)模式和/或所述变换跳过模式编解码的所述重构样点的百分比超过阈值,将所述当前视频块中的所有样点指定为高优先级。
13.根据权利要求12所述的方法,其中,所述阈值基于所述当前视频块的尺寸和/或所述当前视频块的颜色分量和/或包括所述当前视频块的编解码树单元(CTU)的尺寸。
14.根据权利要求13所述的方法,其中,所述阈值作为字段被包括在所述比特流表示中。
15.根据权利要求14所述的方法,其中,所述字段被包括在序列参数集(SPS)、图片参数集(PPS)、序列头、条带头、片组、片级别或视频区域中。
16.根据权利要求4所述的方法,其中,确定所述缓冲区中的可用样点的数量等于或大于阈值指示所述缓冲区已满。
17.根据权利要求16所述的方法,其中,所述阈值是64×64×3个亮度样点。
18.根据权利要求1-17中任一项所述的方法,其中,所述转换包括从所述当前视频块生成所述比特流表示。
19.根据权利要求1-17中任一项所述的方法,其中,所述转换包括从所述比特流表示生成所述当前视频块的像素值。
20.一种视频编码器装置,包括被配置为实施根据权利要求1-17中任一项或多项所述的方法的处理器。
21.一种视频解码器装置,包括被配置为实施根据权利要求1-17中任一项或多项所述的方法的处理器。
22.一种其上存储有代码的计算机可读介质,所述代码体现用于实施根据权利要求1-17中任一项或多项所述的方法的处理器可执行指令。
Applications Claiming Priority (29)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2019/076695 | 2019-03-01 | ||
CN2019076695 | 2019-03-01 | ||
CNPCT/CN2019/076848 | 2019-03-04 | ||
CN2019076848 | 2019-03-04 | ||
CN2019077725 | 2019-03-11 | ||
CNPCT/CN2019/077725 | 2019-03-11 | ||
CN2019079151 | 2019-03-21 | ||
CNPCT/CN2019/079151 | 2019-03-21 | ||
CNPCT/CN2019/085862 | 2019-05-07 | ||
CN2019085862 | 2019-05-07 | ||
CNPCT/CN2019/088129 | 2019-05-23 | ||
CN2019088129 | 2019-05-23 | ||
CN2019091691 | 2019-06-18 | ||
CNPCT/CN2019/091691 | 2019-06-18 | ||
CNPCT/CN2019/093552 | 2019-06-28 | ||
CN2019093552 | 2019-06-28 | ||
CN2019094957 | 2019-07-06 | ||
CNPCT/CN2019/094957 | 2019-07-06 | ||
CNPCT/CN2019/095297 | 2019-07-09 | ||
CN2019095297 | 2019-07-09 | ||
CNPCT/CN2019/095504 | 2019-07-10 | ||
CN2019095504 | 2019-07-10 | ||
CN2019095656 | 2019-07-11 | ||
CNPCT/CN2019/095656 | 2019-07-11 | ||
CNPCT/CN2019/095913 | 2019-07-13 | ||
CN2019095913 | 2019-07-13 | ||
CNPCT/CN2019/096048 | 2019-07-15 | ||
CN2019096048 | 2019-07-15 | ||
PCT/CN2020/077417 WO2020177661A1 (en) | 2019-03-01 | 2020-03-02 | Order-based updating for intra block copy in video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113545068A true CN113545068A (zh) | 2021-10-22 |
CN113545068B CN113545068B (zh) | 2023-09-15 |
Family
ID=72337626
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080018114.2A Active CN113545068B (zh) | 2019-03-01 | 2020-03-02 | 用于视频编解码中的帧内块复制的基于顺序的更新 |
CN202080018160.2A Active CN113519158B (zh) | 2019-03-01 | 2020-03-02 | 用于视频编解码中的帧内块复制的块矢量表示 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080018160.2A Active CN113519158B (zh) | 2019-03-01 | 2020-03-02 | 用于视频编解码中的帧内块复制的块矢量表示 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230019459A1 (zh) |
CN (2) | CN113545068B (zh) |
WO (4) | WO2020177660A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MX2021001302A (es) * | 2018-08-06 | 2021-04-13 | Electronics & Telecommunications Res Inst | Metodo y dispositivo de codificacion/decodificacion de imagen, y flujo de bits de almacenamiento de medio de grabacion. |
CN113383549A (zh) | 2019-02-02 | 2021-09-10 | 北京字节跳动网络技术有限公司 | 使用用于视频编解码中的帧内块复制的帧内缓冲区样点的预测 |
CN117640927A (zh) | 2019-03-04 | 2024-03-01 | 北京字节跳动网络技术有限公司 | 视频编解码中的帧内块复制中的实施方式方面 |
KR20230019845A (ko) | 2020-06-08 | 2023-02-09 | 바이트댄스 아이엔씨 | 코딩된 비디오 픽처에서 슬라이스 카운트의 제약들 |
US11979560B2 (en) * | 2021-08-25 | 2024-05-07 | Tencent America LLC | Intra block copy with an adaptive local reference range |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050212970A1 (en) * | 2004-03-26 | 2005-09-29 | Joskin Yves R | Video frame grabber apparatus and method |
US20110217714A1 (en) * | 2010-03-08 | 2011-09-08 | Dana-Farber Cancer Institute, Inc. | Full Cold-PCR Enrichment with Reference Blocking Sequence |
CN105532000A (zh) * | 2013-09-13 | 2016-04-27 | 佳能株式会社 | 用于对视频数据进行编码和解码的方法、设备和*** |
CN105684409A (zh) * | 2013-10-25 | 2016-06-15 | 微软技术许可有限责任公司 | 在视频和图像编码和解码中使用散列值来表示各块 |
WO2016138854A1 (en) * | 2015-03-02 | 2016-09-09 | Mediatek Inc. | Method and apparatus for intrabc mode with fractional-pel block vector resolution in video coding |
WO2016150343A1 (en) * | 2015-03-20 | 2016-09-29 | Mediatek Singapore Pte. Ltd. | Methods of palette coding with inter-prediction in video coding |
US20160337661A1 (en) * | 2015-05-11 | 2016-11-17 | Qualcomm Incorporated | Search region determination for inter coding within a particular picture of video data |
CN107615765A (zh) * | 2015-06-03 | 2018-01-19 | 联发科技股份有限公司 | 视频编解码***中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8171269B2 (en) * | 2009-03-06 | 2012-05-01 | Agere Systems Inc. | Branch target buffer with entry source field for use in determining replacement priority |
EP2559239A2 (en) * | 2010-04-13 | 2013-02-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction |
EP3114842A4 (en) * | 2014-03-04 | 2017-02-22 | Microsoft Technology Licensing, LLC | Block flipping and skip mode in intra block copy prediction |
US9756354B2 (en) * | 2014-03-17 | 2017-09-05 | Qualcomm Incorporated | Block vector predictor for intra block copying |
US9877034B2 (en) * | 2014-04-14 | 2018-01-23 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Pipelined video decoder system |
WO2015169200A1 (en) * | 2014-05-06 | 2015-11-12 | Mediatek Singapore Pte. Ltd. | Method of block vector prediction for intra block copy mode coding |
US10327002B2 (en) | 2014-06-19 | 2019-06-18 | Qualcomm Incorporated | Systems and methods for intra-block copy |
WO2016034058A1 (en) * | 2014-09-01 | 2016-03-10 | Mediatek Inc. | Method of intra picture block copy for screen content and video coding |
US9918105B2 (en) * | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
US9832467B2 (en) * | 2014-10-07 | 2017-11-28 | Qualcomm Incorporated | Deblock filtering for intra block copying |
CN106797475B (zh) * | 2014-10-08 | 2019-12-10 | 联发科技股份有限公司 | 视频编码方法 |
US10045038B2 (en) * | 2015-05-28 | 2018-08-07 | Hfi Innovation Inc. | Method and apparatus for using a current picture as a reference picture |
CA2985872C (en) * | 2015-05-29 | 2020-04-14 | Hfi Innovation Inc. | Method of decoded picture buffer management for intra block copy mode |
US20160360234A1 (en) * | 2015-06-03 | 2016-12-08 | Apple Inc. | Techniques For Resource Conservation During Performance Of Intra Block Copy Prediction Searches |
WO2016200984A1 (en) * | 2015-06-08 | 2016-12-15 | Vid Scale, Inc. | Intra block copy mode for screen content coding |
US20170188033A1 (en) * | 2015-12-23 | 2017-06-29 | Mediatek Inc. | Method and Apparatus of Bandwidth Estimation and Reduction for Video Coding |
US10049247B2 (en) * | 2016-10-12 | 2018-08-14 | Datalogic Usa, Inc. | Optimization of image frame management in a sweep-style optical code data reader |
JP6324590B2 (ja) * | 2017-05-25 | 2018-05-16 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
US10841794B2 (en) * | 2017-09-18 | 2020-11-17 | Futurewei Technologies, Inc. | Adaptive motion vector resolution |
US10848782B2 (en) * | 2018-09-21 | 2020-11-24 | Tencent America LLC | Method and apparatus for video coding |
-
2020
- 2020-03-02 WO PCT/CN2020/077416 patent/WO2020177660A1/en active Application Filing
- 2020-03-02 WO PCT/CN2020/077415 patent/WO2020177659A1/en unknown
- 2020-03-02 CN CN202080018114.2A patent/CN113545068B/zh active Active
- 2020-03-02 CN CN202080018160.2A patent/CN113519158B/zh active Active
- 2020-03-02 WO PCT/CN2020/077418 patent/WO2020177662A1/en unknown
- 2020-03-02 WO PCT/CN2020/077417 patent/WO2020177661A1/en active Application Filing
-
2021
- 2021-08-30 US US17/461,150 patent/US20230019459A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050212970A1 (en) * | 2004-03-26 | 2005-09-29 | Joskin Yves R | Video frame grabber apparatus and method |
US20110217714A1 (en) * | 2010-03-08 | 2011-09-08 | Dana-Farber Cancer Institute, Inc. | Full Cold-PCR Enrichment with Reference Blocking Sequence |
CN105532000A (zh) * | 2013-09-13 | 2016-04-27 | 佳能株式会社 | 用于对视频数据进行编码和解码的方法、设备和*** |
CN105684409A (zh) * | 2013-10-25 | 2016-06-15 | 微软技术许可有限责任公司 | 在视频和图像编码和解码中使用散列值来表示各块 |
WO2016138854A1 (en) * | 2015-03-02 | 2016-09-09 | Mediatek Inc. | Method and apparatus for intrabc mode with fractional-pel block vector resolution in video coding |
WO2016150343A1 (en) * | 2015-03-20 | 2016-09-29 | Mediatek Singapore Pte. Ltd. | Methods of palette coding with inter-prediction in video coding |
US20160337661A1 (en) * | 2015-05-11 | 2016-11-17 | Qualcomm Incorporated | Search region determination for inter coding within a particular picture of video data |
CN107615765A (zh) * | 2015-06-03 | 2018-01-19 | 联发科技股份有限公司 | 视频编解码***中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置 |
Non-Patent Citations (1)
Title |
---|
JUNGHAK NAM: "Non-CE8: Block vector predictor for IBC", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAU, CN, 08–12 OCT. 2018》, pages 1 - 3 * |
Also Published As
Publication number | Publication date |
---|---|
CN113519158B (zh) | 2024-06-18 |
WO2020177662A1 (en) | 2020-09-10 |
US20230019459A1 (en) | 2023-01-19 |
WO2020177660A1 (en) | 2020-09-10 |
WO2020177659A1 (en) | 2020-09-10 |
CN113545068B (zh) | 2023-09-15 |
WO2020177661A1 (en) | 2020-09-10 |
CN113519158A (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113383541B (zh) | 用于视频编解码中的帧内块复制的缓冲区访问方法 | |
CN113366844B (zh) | 用于视频编解码中的帧内块复制的缓冲区中的数据存储 | |
CN113508597B (zh) | 用于视频编解码中的帧内块复制的基于方向的预测 | |
CN113508581B (zh) | 视频编解码中的帧内块复制中的实施方式方面 | |
CN114097221B (zh) | 用于视频编解码中的帧内块复制的比特流一致性约束 | |
CN114175645B (zh) | 用于视频编解码中的帧内块复制的虚拟预测缓冲 | |
CN113519158B (zh) | 用于视频编解码中的帧内块复制的块矢量表示 | |
CN114175633B (zh) | 用于视频编解码中的帧内块复制的样点标识 | |
CN114026850A (zh) | 用于视频编解码中的帧内块复制的块矢量的有效性检查 | |
US11575889B2 (en) | Range constrains for block vector in intra-block copy mode | |
JP2022517691A (ja) | 映像符号化におけるイントラブロックコピーのためのバッファ管理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |