CN114223208B - 为视频中的缩减二次变换的边信息的上下文建模 - Google Patents
为视频中的缩减二次变换的边信息的上下文建模 Download PDFInfo
- Publication number
- CN114223208B CN114223208B CN202080057870.6A CN202080057870A CN114223208B CN 114223208 B CN114223208 B CN 114223208B CN 202080057870 A CN202080057870 A CN 202080057870A CN 114223208 B CN114223208 B CN 114223208B
- Authority
- CN
- China
- Prior art keywords
- transform
- block
- current video
- equal
- tool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 328
- 238000013139 quantization Methods 0.000 claims abstract description 49
- 230000002441 reversible effect Effects 0.000 claims abstract description 40
- 238000005192 partition Methods 0.000 claims abstract description 37
- 238000006243 chemical reaction Methods 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims description 121
- 238000012545 processing Methods 0.000 claims description 70
- 230000007704 transition Effects 0.000 claims description 36
- 230000009977 dual effect Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 abstract description 5
- 239000011159 matrix material Substances 0.000 description 155
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 88
- 241000023320 Luma <angiosperm> Species 0.000 description 86
- 230000008569 process Effects 0.000 description 73
- 239000000523 sample Substances 0.000 description 52
- 230000011664 signaling Effects 0.000 description 33
- 239000013598 vector Substances 0.000 description 22
- 238000009795 derivation Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 13
- 238000013507 mapping Methods 0.000 description 11
- 238000012217 deletion Methods 0.000 description 9
- 230000037430 deletion Effects 0.000 description 9
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 241000209094 Oryza Species 0.000 description 6
- 235000007164 Oryza sativa Nutrition 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 235000009566 rice Nutrition 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了一种视频处理方法。该方法包括：执行视频的视频区域与该视频的编解码表示之间的转换，其中，执行转换包括基于该视频区域的分割类型配置用于对第一二进制位编码的上下文模型，第一二进制位和第二二进制位包含在对应于二次变换工具的索引的二进制串中，其中，该索引指示该二次变换工具的适用性和/或该二次变换工具的内核信息，并且其中，该二次变换工具包括在编码期间在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，该二次变换工具包括在解码期间在应用逆向主变换之前对针对该视频块的反量化的输出应用逆向二次变换。
Description
相关申请的交叉引用
本申请是于2020年8月18日提交的国际专利申请PCT/CN2020/109476进入中国国家阶段的申请，其要求于2019年8月17日提交的国际专利申请PCT/CN2019/101230、2019年9月25日提交的国际专利申请PCT/CN2019/107904以及2019年12月24日提交的国际专利申请PCT/CN2019/127829的优先权。以上申请的全部公开内容通过引用而并入，作为本申请的公开的一部分。
技术领域
本专利文档涉及视频处理技术、设备和***。
背景技术
尽管视频压缩取得了进步，但是数字视频仍在互联网和其他数字通信网络上占据最大带宽使用量。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将持续增长。
发明内容
公开了与数字视频处理有关的，尤其与为视频编解码中的残差编解码的上下文建模有关的设备、***和方法。可以将所描述的方法既应用于现有的视频编解码标准(例如，高效率视频编解码(High Efficiency Video Coding HEVC))，又可以应用于将来的视频编解码标准或视频编解码器。
在一个代表性方面中，可以使用所公开的技术提供一种视频处理的方法。这种方法包括：执行视频的视频区域与视频的编解码表示之间的转换，其中，转换的执行包括基于视频区域的分割类型，配置上下文模型，该上下文模型用于对第一二进制位进行编解码，第一二进制位和第二二进制位被包括在与应用于视频区域的二次变换工具的索引相对应的二进制串中，其中，索引指示二次变换工具的适用性和/或二次变换工具的内核信息，以及其中，二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，二次变换工具包括在解码期间，在应用逆向主变换之前对视频块的反量化的输出应用逆向二次变换。
在另一代表性方面中，可以使用所公开的技术提供一种视频处理的方法。这种方法包括：基于当前视频块的编解码条件，为视频的包括子块的当前视频块，确定系数归零的归零区域；以及基于确定执行当前视频块与该视频的编解码表示之间的转换，其中，转换包括应用二次变换工具，以及其中，二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，二次变换工具包括在解码期间，在应用逆向主变换之前对视频块的反量化的输出应用逆向二次变换。
在又一代表性方面中，可以使用所公开的技术提供一种视频处理的方法。这种方法包括：为视频的具有维度N×N的当前视频块与视频的编解码表示之间的转换，确定在对视频的当前视频块应用二次变换时使用尺寸小于N×N的缩减尺寸的变换矩阵和/或逆变换矩阵；以及基于确定执行视频与所述视频的编解码表示之间的转换，其中，二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，二次变换工具包括在解码期间，在应用逆向主变换之前对视频块的反量化的输出应用逆向二次变换。
在又一代表性方面中，可以使用所公开的技术提供一种视频处理的方法。这种方法包括：基于规则，为视频的当前视频块与视频的编解码表示之间的转换，确定使用一个或多个残差图案中的残差图案，其中，一个或多个残差图案中的每一个残差图案对应于提供有关归零样点的位置的信息的掩码；以及基于确定执行视频与视频的编解码表示之间的转换。。
在又一代表性方面中，可以使用所公开的技术提供一种用于视频处理的方法。这种方法包括：基于主变换的类型，确定与视频的当前视频块相关联的二次变换工具；以及基于确定执行视频与视频的编解码表示之间的转换，其中，二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，二次变换工具包括在解码期间，在应用逆向主变换之前对视频块的反量化的输出应用逆向二次变换。
在又一代表性方面中，可以使用所公开的技术提供一种用于视频处理的方法。这种方法包括：确定使用将用于处理视频的视频区域的多个变换矩阵集合；以及基于确定，执行视频与视频的编解码表示之间的转换，以及其中，编解码表示包括为视频区域使用多个集合中的哪一集合的指示。
在又一个示例性方面中，公开了一种视频处理的方法。这种方法包括：基于规则，确定将在对视频的当前视频块应用二次变换工具时使用的变换矩阵或逆变换矩阵；以及基于确定，执行视频与视频的编解码表示之间的转换，其中，二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，二次变换工具包括在解码期间，在应用逆向主变换之前对视频块的反量化的输出应用逆向二次变换，其中，规则规定基于规定变换输出长度的变量确定变换矩阵或逆变换矩阵的系数。
在又一个示例性方面中，公开了一种视频处理的方法。这种方法包括：基于规则，确定将在对视频的当前视频块应用二次变换工具时使用的变换矩阵或逆变换矩阵；以及执行视频与视频的编解码表示之间的转换，其中，二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，二次变换工具包括在解码期间，在应用逆向主变换之前对视频块的反量化的输出应用逆向二次变换，其中，规则规定通过使用重新训练处理来确定变换矩阵或逆变换矩阵。
在又一代表性方面中，上述方法被体现为处理器可执行代码的形式并存储于计算机可读程序介质中。
在又一代表性方面当中，公开了一种被配置为或可操作来执行上述方法的设备。该设备可以包括被编程为实施这种方法的处理器。
在又一代表性的方面，一种视频解码器装置可以实施本文描述的方法。
在附图、说明书和权利要求中更详细地描述了所公开技术的以上和其他方面和特征。
附图说明
图1示出了示例性编码器的框图。
图2示出了67种帧内预测模式的示例。
图3示出了对4×4块的ALWIP(affine linear weighted intra prediction,仿射线性加权帧内预测)的示例。
图4示出了对8×8块的ALWIP的示例。
图5示出了对8×4块的ALWIP的示例。
图6示出了对16×16块的ALWIP的示例。
图7示出了与预测块相邻的四条参考线的示例。
图8示出了4×8块的划分和8×4块的划分的示例。
图9示出了除4×8、8×4和4×4之外所有块的划分的示例。
图10示出了JEM中的二次变换的示例。
图11示出了所提出的缩减二次变换(reduced secondary transform，RST)的示例。
图12示出了正向缩减变换和反向缩减变换的示例。
图13示出了采用16×48矩阵内的正RST 8×8处理的示例。
图14示出了8×8矩阵的归零区域的示例。
图15示出了子块变换模式SBT-V和SBT-H的示例。
图16示出了4×4编解码组的朝右上的对角线扫描顺序的示例。
图17示出了针对具有尺寸4×4的编解码组的8×8块的朝右上的对角线扫描顺序的示例。
图18示出了用于选择概率模型的模板的示例。
图19示出了用于依赖性量化的两个标量量化器的示例。
图20示出了所提出的依赖性量化过程的状态转变和量化器选择的示例。
图21示出了具有4个编解码组的8×8块的示例。
图22A到图22F示出了用于视频处理的示例性方法的流程图。
图23A和图23B是用于实施本文档中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。
图24A示出了一个色度块的示例，并且图24B示出了在双树分割情况下的其对应亮度块。
图25示出了来自对应的亮度块的用于DM推导的“CR”位置的示例。
图26示出了被允许具有系数的部分区域的示例。
图27A到图27H示出了用于视频处理的示例性方法的流程图。
具体实施方式
可以将所公开的技术的实施例应用于现有视频编解码标准(例如，HEVC、H.265)和将来的标准，以改善压缩性能。在本文档中，使用章节标题来提高描述的可读性，并且不以任何方式使论述或实施例(和/或实施方式)仅局限于相应章节。
2视频编解码介绍
由于对更高分辨率视频的需求越来越大，视频编解码方法和技术在现代技术中无所不在。视频编解码器通常包括对数字视频进行压缩和解压缩的电子电路或软件，并且正在不断得到改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换成压缩格式，或者反之。在视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂度、对数据损失和误差的敏感度、编辑的容易性、随机存取和端到端延迟(迟延)之间存在复杂的关系。压缩格式通常遵守标准视频压缩规范，例如，高效率视频编解码(HighEfficiency Video Coding，HEVC)标准(也称为H.265或MPEG-H部分2)、即将完成的多功能视频编解码标准或者其他当前和/或将来的视频编解码标准。
视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而演变的。ITU-T开发了H.261和H.263，ISO/IEC开发了MPEG-1和MPEG-4视觉，并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(Advanced Video Coding，AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(Joint Video Exploration Team，JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(Joint Exploration Model，JEM)[3][4]的参考软件中。2018年4月，在VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间创建了联合视频专家团队(Joint Video Expert Team，JVET)，其致力于研究以相较于HEVC有50％的比特率下降为目标的VVC标准。
2.1典型视频编解码器的编解码流程
图1示出了VVC的编码器框图的示例，其含有三个环路滤波框：去块滤波器(deblocking filter，DF)、样点自适应偏移(sample adaptive offset，SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF在编解码后的边信息信令通知偏移和滤波器系数的情况下，分别通过添加偏移以及通过应用有限脉冲响应(finite impulse response，FIR)滤波器而利用当前图片的原始样点来减少原始样点和重建样点之间的均方误差。ALF位于每一图片的最后处理阶段上，并且可以被视为尝试捕捉并且修复(fix)先前阶段创建的伪像的工具。
2.2VVC中的帧内编解码
2.2.1具有67种帧内预测模式的帧内模式编解码
为了捕捉自然视频中存在的任意边缘方向，方向性帧内模式的数量被从33(如HEVC中使用的)扩展到65。附加的方向模式在图2中被绘示为虚线箭头，并且平面和DC模式保持相同。这些更密集的方向性帧内预测模式适用于所有块尺寸以及亮度帧内预测和色度帧内预测两者。
常规的角度帧内预测方向是沿顺时针方向从45度到-135度定义的，如图2所示。在VTM2中，对于非方形块，几个常规的角度帧内预测模式被宽角度帧内预测模式自适应地替代。采用原始方法信令通知被替代的模式，并且在解析之后将被替代的模式重新映射至宽角度模式的索引。帧内预测模式的总数是不变的，即67个，并且帧内模式编解码是不变的。
在HEVC中，每一帧内编解码块具有方形形状，并且其每条边的长度均为2的幂。因而，在使用DC模式的情况下，不需要划分操作来生成帧内预测子。在VVV2中，块可以具有矩形形状，其在一般情况下需要使用对每一块的划分操作。为了避免对于DC预测的划分操作，仅采用较长边来计算非方形块的均值。
除了这67个帧内预测模式之外，对某些块进一步启用对于非方形块的宽角度帧内预测(wide-angle intra prediction，WAIP)方法以及位置相关帧内预测组合(positiondependent intra prediction combination，PDPC)方法。PDPC被应用于下述帧内模式而无需信令通知：平面、DC、水平、垂直、左下角度模式及其八个毗邻角度模式以及右上角度模式及其八个毗邻角度模式。
2.2.2仿射线性加权帧内预测(ALWIP或者基于矩阵的帧内预测)
在JVET-N0217中提出了仿射线性加权帧内预测(ALWIP，又名基于矩阵的帧内预测(matrix based intra prediction，MIP))。
2.2.2.1通过矩阵矢量乘法生成缩减预测信号
首先通过求均值对相邻参考样点进行降采样，以生成缩减参考信号bdryred。之后，通过计算矩阵矢量乘积并添加偏移而计算出缩减预测信号predred：
predred＝A·bdryred+b
这里，A为矩阵，其具有Wred·Hred行，并且在W＝H＝4的情况下具有4列，而在所有其他情况下则具有8列。b为具有尺寸Wred·Hred的矢量。
2.2.2.2对整个ALWIP过程的说明
在图3-图6中对不同形状示出了求均值、矩阵矢量乘法和线性插值的整个过程。注意，像在所描绘的情况之一当中那样对待其余形状。
1.在给定4×4块的情况下，ALWIP沿边界的每一轴取两个平均值。所得到的四个输入样点参加矩阵矢量乘法。矩阵是从集合S0取得的。在添加偏移之后，其得到了16个最终预测样点。线性插值对于生成预测信号是不必要的。因而，每样点执行总共(4·16)/(4·4)＝4次乘法。
2.在给定8×8块的情况下，ALWIP沿边界的每一轴取四个平均值。所得到的八个输入样点参加矩阵矢量乘法。矩阵是从集合S1取得的。其获得了处于预测块的奇数位置上的16个样点。因而，每样点执行总共(8·16)/(8·8)＝2次乘法。在添加偏移之后，通过使用缩减的顶部边界对这些样点进行垂直插值。紧接着，通过使用原始左边界进行水平插值。
3.在给定8×4块的情况下，ALWIP沿边界的水平轴取得四个平均值并且取得左边界上的四个原始边界值。所得到的八个输入样点参加矩阵矢量乘法。矩阵是从集合S1取得的。其获得了处于预测块的奇数水平位置上和每一垂直位置上的16个样点。因而，每样点执行总共(8·16)/(8·4)＝4次乘法。在添加偏移之后，通过使用原始左侧边界水平地对这些样点插值。
4.在给定16×16块的情况下，ALWIP沿边界的每一轴取四个平均值。所得到的八个输入样点参加矩阵矢量乘法。矩阵是从集合S2取得的。其获得了处于预测块的奇数位置上的64个样点。因而，每样点执行总共(8·64)/(16·16)＝2次乘法。在添加偏移之后，通过使用顶部边界的八个平均值对这些样点垂直地插值。紧接着，通过使用原始左边界进行水平插值。在这种情况下，插值过程不增加任何乘法。因此，需要每样点的两次乘法来计算ALWIP预测。
对于更大形状，流程基本相同，并且易于检查每样点的乘法数量小于四。
对于W×8块(其中，W＞8)而言，只有水平插值是必需的，因为样点是给定在奇数水平位置上和每一垂直位置上的。
最后，对于W×4块(其中，W＞8)而言，使A_k是通过遗漏(leave out)沿降采样块的水平轴对应于奇数条目的每一行而出现的矩阵。因而，输出尺寸为32，并且仍然只需执行水平插值。
相应地对待转置后的情况。
在构建用于帧内预测块的MPM列表时，如果相邻块是按照MIP模式编解码的，那么将通过使用下述表格将MIP模式映射至帧内预测模式。这里，假设相邻亮度块的宽度和高度分别为widthNeig和heightNeig，那么如下推导MipSizeId：
·如果widthNeig和heightNeig两者都等于4，那么将MipSizeId设为等于0。
·否则，如果widthNeig和heightNeig两者都小于或等于8，那么将MipSizeId设为等于1。
·否则，将MipSizeId设置为等于2。
表格8-4-MIP与帧内预测模式之间的映射的规范
2.2.2.3语法和语义
7.3.6.5编解码单元语法
2.2.3多参考线(Multiple reference line，MRL)
多参考线(MRL)帧内预测使用更多参考线进行帧内预测。在图7中，绘示了4条参考线的示例，其中，分段A和分段F的样点并非是从重建的相邻样点取出的，而是分别用来自分段B和分段E的最接近样点填充的。HEVC帧内预测使用最近的参考线(即，参考线0)。在MRL中，使用2条附加的线(参考线1和参考线3)。
信令通知所选择的参考线的索引(mrl_idx)并使用其生成帧内预测值(predictor)。对于大于0的参考线索引，在MPM列表中仅包括附加的参考线模式，并且仅信令通知MPM索引而没有其余模式。在帧内预测模式之前信令通知参考线索引，并且在信令通知非零参考线索引的情况下，从帧内预测模式排除平面模式和DC模式。
对于CTU内部的块的第一条线，禁用MRL，以防止使用当前CTU线外部的扩展参考样点。此外，在使用附加线时，禁用PDPC。
2.2.4帧内子块分割(intra sub-block partitioning，ISP)
在JVET-M0102中，提出了ISP，其将亮度帧内预测块垂直或者水平划分成2个或4个子分割，这取决于块尺寸维度，如表1中所示。图8和图9示出了两种可能性的示例。所有子分割满足具有至少16个样点的条件。如果允许的话，对于块尺寸4×N或N×4(其中，N＞8)而言，可以存在1×N或N×1子分割。
表格1：取决于块尺寸(由maxTBSize表示的最大变换尺寸)的子分割数量
对于这些子分割中的每一个，通过对编码器发送的系数进行熵解码，继而对其进行逆量化和逆变换而生成残差信号。之后，对子分割进行帧内预测，最后通过将残差信号加到预测信号上而获得对应的重建样点。因此，每一子分割的重建值将可用于生成下一子分割的预测，下一子分割又重复该过程，以此类推。所有子分割共享相同的帧内模式。
表格2：取决于predModeIntra的trTypeHor和trTypeVer的规范
2.2.4.1语法和语义
7.3.7.5编解码单元语法
intra_subpartitions_mode_flag[x0][y0]等于1规定将当前帧内编解码单元分割成NumIntraSubPartitions[x0][y0]个矩形变换块子分割。intra_subpartitions_mode_flag[x0][y0]等于0规定不将当前帧内编解码单元分割成矩形变换块子分割。
当intra_subpartitions_mode_flag[x0][y0]不存在时，推断其等于0。
intra_subpartitions_split_flag[x0][y0]规定帧内子分割划分类型是水平的还是垂直的。当intra_subpartitions_split_flag[x0][y0]不存在时，对其作如下推断：
-如果cbHeight大于MaxTbSizeY，那么将intra_subpartitions_split_flag[x0][y0]推断为等于0。
-否则(cbWidth大于MaxTbSizeY)，将intra_subpartitions_split_flag[x0][y0]推断为等于1。
变量IntraSubPartitionsSplitType规定用于当前亮度编解码块的划分类型，如表7-9中所示。对IntraSubPartitionsSplitType作如下推导：
-如果intra_subpartitions_mode_flag[x0][y0]等于0，那么将IntraSubPartitionsSplitType设置为等于0。
-否则，将IntraSubPartitionsSplitType设置为等于1+intra_subpartitions_split_flag[x0][y0]。
表格7-9-关联到IntraSubPartitionsSplitType的名称
| IntraSubPartitionsSplitType | IntraSubPartitionsSplitType的名称 |
| 0 | ISP_NO_SPLIT |
| 1 | ISP_HOR_SPLIT |
| 2 | ISP_VER_SPLIT |
变量NumIntraSubPartitions规定将帧内亮度编解码块划分成的变换块子分割的数量。对NumIntraSubPartitions作如下推导：
-如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT，那么将NumIntraSubPartitions设置为等于1。
-否则，如果下述条件之一为真，那么将NumIntraSubPartitions设置为等于2：
-cbWidth等于4并且cbHeight等于8，
-cbWidth等于8并且cbHeight等于4。
-否则，将NumIntraSubPartitions设置为等于4。
2.3色度帧内模式编解码
对于色度帧内模式编解码，取决于是否启用跨分量线性模型(cross-componentlinear model，CCLM)，对色度帧内模式编解码允许总共8种或5种帧内模式。这些模式包括五个传统帧内模式和三个跨分量线性模型模式。色度DM模式使用对应的亮度帧内预测模式。由于在I条带中启用对亮度分量和色度分量的分离的块分割结构，因而一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块的中心位置的对应亮度块的帧内预测模式。
表格8-2-在sps_cclm_enabled_flag等于0时取决于intra_chroma_pred_mode[xCb][yCb]和IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]的IntraPredModeC[xCb][yCb]的规范
表格8-3-在sps_cclm_enabled_flag等于1时取决于intra_chroma_pred_mode[xCb][yCb]和IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]的IntraPredModeC[xCb][yCb]的规范
2.4 VVC中的变换编解码
2.4.1 VVC中的多变换集(Multiple Transform Set，MTS)
2.4.1.1显式多变换集(MTS)
在VTM4中，启用了大块尺寸变换(在尺寸上高达64×64)，其主要可用于较高分辨率视频，例如，1080p序列和4K序列。对于具有等于64的尺寸(宽度或高度，或者宽度和高度两者)的变换块，使高频变换系数归零，从而只保留低频系数。例如，对于M×N变换块(其中，M作为块宽度，N作为块高度)，当M等于64时，仅保留左侧的32列变换系数。类似地，当N等于64时，仅保留顶部的32行变换系数。在变换跳过模式用于大块时，使用整个块而不使任何值归零。
除了已经在HEVC中采用的DCT-II之外，还将多变换选择(Multiple TransformSelection，MTS)方案用于对帧间编解码块和帧内编解码块两者进行残差编码。其采用来自DCT8/DST7的多种选定变换。新引入的变换矩阵是DST-VII和DCT-VIII。下面的表格4示出了选定DST/DCT的基函数。
表格4：VVC中使用的变换矩阵的基函数
为了保持变换矩阵的正交性，要对这些变换矩阵做出比HEVC中的变换矩阵更准确的量化。为了使变换后的系数的中间值保持在16比特范围内，在水平变换之后以及在垂直变换之后，所有的系数都将具有10比特。
为了控制MTS方案，分别对帧内和帧间在SPS级上规定单独的启用标志。当在SPS上启用MTS时，信令通知CU级标志，以指示是否应用MTS。这里，仅对亮度应用MTS。在满足下述条件时信令通知MTS CU级标志。
ο宽度和高度两者都小于或者等于32。
οCBF标志等于1
如果MTS CU标志等于0，那么在两个方向上都应用DCT2。然而，如果MTS CU标志等于1，那么附加地信令通知其他两个标志，从而分别指示水平方向和垂直方向的变换类型。变换和信令通知映射表格如表格5中所示。在涉及到变换矩阵精度时，采用8比特主变换核心。因此，使HEVC中使用的所有变换核心保持相同，其包括4点DCT-2和DST-7以及8点、16点和32点DCT-2。此外，其他变换核心包括64点DCT-2、4点DCT-8以及8点、16点、32点DST-7和DCT-8，使用8比特主变换核心。
表格5：tu_mts_idx的解码值的映射与水平和垂直方向的对应变换矩阵
为了降低大尺寸DST-7和DCT-8的复杂性，对于具有等于32的尺寸(宽度或高度，或者宽度和高度两者)的DST-7块和DCT-8块使高频变换系数归零。仅保留处于16×16较低频率区域内的系数。
除了应用不同变换的情况之外，VVC还支持被称为变换跳过(transform skip，TS)的模式，其与HEVC中的TS的概念类似。TS被作为MTS的特例对待。
2.4.2在JVET-N0193中提出的缩减二次变换(RST)
2.4.2.1 JEM中的不可分二次变换(NSST)
在JEM中，在正向主变换和量化(编码器处)之间以及在去量化和逆向主变换(解码器处)之间应用二次变换。如图10所示，依据块尺寸来执行4×4(或8×8)二次变换。例如，对于小块(即，min(宽度,高度)＜8)应用4×4二次变换，并且对较大块(即，min(宽度,高度)＞4)按照每一8×8块应用8×8二次变换。
下文将使用作为示例的输入描述不可分变换的应用。为了应用不可分变换，4×4输入块X
首先，被表示为矢量
按照计算不可分变换，其中，/>指示变换系数矢量，并且T是16×16变换矩阵。接下来，使用对于该块的扫描顺序(水平、垂直或对角)将16×1系数矢量/>重新组织成4×4块。在4×4系数块中，具有较小索引的系数将被该较小扫描索引替代。总共有35个变换集，并且每变换集采用3个不可分变换矩阵(内核)。从帧内预测模式到变换集的映射是预定义的。对于每一变换集，通过显式信令通知的二次变换索引进一步指定所选的不可分二次变换(NSST)候选。在变换系数之后在比特流中对索引进行每帧内CU一次的信令通知。
2.4.2.2 JVET-N0193中的缩减二次变换(RST)
在JVET-K0099中引入了RST(又名低频不可分变换(Low Frequency Non-Separable Transform，LFNST))并且在JVET-L0133中还引入了4个变换集(而非35个变换集)映射。在这一JVET-N0193中，采用16×64(进一步缩减至16×48)矩阵和16×16矩阵。为了标记方便，将16×64(缩减至16×48)变换表示为RST 8×8，将16×16变换表示为RST 4×4。图11示出了RST的示例。
2.4.2.2.1 RST计算
缩减变换(RT)的主要思路是将N维矢量映射至不同空间内的R维矢量，其中，R/N(R＜N)是缩减因子。
该RT矩阵是如下的R×N矩阵：
其中，该变换的R行是该N维空间的R个基。RT的逆变换矩阵是其正向变换的转置。在图12中描绘了正RT和逆RT。
在本文献中，应用具有缩减因子4(1/4尺寸)的RST 8×8。因而，使用16×64直接矩阵，而非作为常规8×8不可分变换矩阵尺寸的64×64。换言之，在解码器侧使用64×16逆RST矩阵来生成8×8左上区域内的核心(主)变换系数。正RST 8×8使用16×64(或者对于8×8块的8×64)矩阵，使得其仅在给定8×8区域内的左上4×4区域内产生非零系数。换言之，如果应用RST，那么该8×8区域除了左上4×4区域之外将仅具有零系数。对于RST 4×4，应用16×16(或者对于4×4块的8×16)直接矩阵乘法。
在满足下述两个条件时有条件地应用逆RST：
ο块尺寸大于或等于给定阈值(W＞＝4&&H＞＝4)
ο变换跳过模式标志等于0
如果变换系数块的宽度(W)和高度(H)两者均大于4，那么对该变换系数块的左上8×8区域应用RST 8×8。否则，在变换系数块的左上min(8,W)×min(8,H)区域上应用RST 4×4。
如果RST索引等于0，则不应用RST。否则，应用RST，借助于RST索引选择其内核。稍后将解释RST选择方法和RST索引的编解码。
此外，对于帧内条带和帧间条带两者内的帧内CU，并且对于亮度和色度两者，应用RST。如果启用双树，那么单独信令通知亮度和色度的RST索引。对于帧间条带(禁用双树)，信令通知单个RST索引，并且将其用于亮度和色度两者。
2.4.2.2.2 RST的限制
在选择ISP模式时，禁用RST，并且不信令通知RST索引，因为即使对每一可行的分割块应用RST，所带来的性能提高也是微不足道的。此外，对ISP预测残差禁用RST可能降低编码复杂性。
2.4.2.2.3 RST选择
从四个变换集(其中每个变换集由两项变换构成)中选择RST矩阵。如下文所述从帧内预测模式确定应用哪一变换集：
(1)如果指示三个CCLM模式之一，那么选择变换集0。
(2)否则，根据下述表格执行变换集选择：
变换集选择表格
被表示为IntraPredMode的用以访问上述表格的索引具有范围[-14,83]，其为用于宽角度帧内预测的变换后的模式索引。
之后，将对于在CCLM模式下编解码的色度块的低频不可分变换(LFNST，又名RST)集选择修改为基于变量IntraPredMode_CCLM，其中，IntraPredMode_CCLM具有范围[-14,80]。IntraPredMode_CCLM是通过并置亮度帧内预测模式和当前色度块的维度确定的。
在启用双树时，将覆盖当前色度块24中的左上色度样点的对应亮度样点的块(例如，PU)定义为并置亮度块。在图24A和图24B中示出了示例，其中，通过TL表示并置位置。
2.4.2.2.4具有缩减维度的RST矩阵
作为进一步的简化，应用16×48矩阵而非具有相同变换集配置的16×64矩阵，这些16×48矩阵的每者采取来自左上8×8块中的排除右下4×4块之外的三个4×4块的48个输入数据(如图13中所示)。
2.4.2.2.5 RST信令
正RST 8×8使用16×48矩阵，使得其仅在前3个4×4区域内的左上4×4区域内产生非零系数。换言之，如果应用RST 8×8，那么只有左上4×4(由于RST 8×8的原因)和右下4×4(由于主变换的原因)区域可以具有非零系数。因此，当在右上4×4和左下4×4块区域(如图14中所示，并且被称为“归零”区域)内检测到任何非零元素时，不对RST索引编解码，因为其暗示未曾应用RST。在这样的情况下，将RST索引推断为零。
2.4.2.2.6一个CG内的归零区域
通常，在对4×4子块应用逆RST之前，该4×4子块内的任何系数都可以是非零的。然而，存在这样的约束条件：在一些情况下，在对4×4子块应用逆RST之前，该4×4子块内的一些系数必须为零。
令nonZeroSize为变量。对于具有不小于nonZeroSize的索引的任何系数而言，当其在逆RST之前被重新布置成1-D数组时，要求其必须为零。
当nonZeroSize等于16时，对左上4×4子块中的系数不存在任何归零约束条件。
在JVET-N0193中，在当前块尺寸为4×4或者8×8时，将nonZeroSize设置为等于8(也就是说，如图14所示的具有处于范围[8,15]内的扫描索引的系数必须为0)。对于其他块维度而言，将nonZeroSize设置为等于16。
2.4.2.2.7工作草案中的RST的描述
7.3.2.3序列参数集RBSP语法
7.3.7.11残差编解码语法
7.3.7.5编解码单元语法
/>
sps_st_enabled_flag等于1规定st_idx可以存在于对帧内编解码单元的残差编解码语法当中。sps_st_enabled_flag等于0规定st_idx不存在于对帧内编解码单元的残差编解码语法当中。
st_idx[x0][y0]规定在选定变换集中的两个候选内核之间应用哪一二次变换内核。st_idx[x0][y0]等于0规定不应用二次变换。数组索引x0，y0规定所考虑变换块的左上样点相对于该图片的左上样点的位置(x0,y0)。
当st_idx[x0][y0]不存在时，推断st_idx[x0][y0]等于0。
要注意的是，是否发送st_idx取决于CU内的所有TU当中的非零系数的数量(例如，对于单树而言，3个块(即，Y、Cb、Cr)中的非零系数的数量；对于双树并且对亮度编解码而言，亮度块中的非零系数的数量；对于双树并且对色度编解码而言，两个色度块中的非零系数的数量)。此外，阈值取决于分割结构，即(treeType＝＝SINGLE_TREE)？2:1)。
st_idx的二进制位被上下文编解码。更具体而言，以下适用：
表格9-9-语法元素和相关联的二值化
表格9-15-对具有上下文编解码二进制位的语法元素的ctxInc分配
9.5.4.2.8对语法元素st_idx的ctxInc的推导过程
这一过程的输入为颜色分量索引、规定当前亮度或色度编解码块的左上样点相对于取决于cIdx的当前图片的左上样点的亮度或色度位置(x0,y0)、数类型treeType、如条款8.4.2中规定的亮度帧内预测模式IntraPredModeY[x0][y0]、如条款7.4.7.5中规定的规定色度样点的帧内预测模式的语法元素intra_chroma_pred_mode[x0][y0]以及多变换选择索引tu_mts_idx[x0][y0]。
这一过程的输出为变量ctxInc。
如下推导变量intraModeCtx：
如果cIdx等于0，那么如下推导intraModeCtx：
intraModeCtx＝(IntraPredModeY[x0][y0]＜＝1)？1:0
否则(cIdx大于0)，如下推导intraModeCtx：
intraModeCtx＝(intra_chroma_pred_mode[x0][y0]＞＝4)？1:0
如下推导变量mtsCtx：
mtsCtx＝(tu_mts_idx[x0][y0]＝＝0&&treeType！＝SINGLE_TREE)？1：0
如下推导变量ctxInc：
ctxInc＝(binIdx＜＜1)+intraModeCtx+(mtsCtx＜＜2)
2.4.2.2.8 RST使用的总结
对于单树和分离树而言，仅当一个块内的非零系数的数量分别大于2和大于1时，可以启用RST。此外，在启用RST时，还需要如下对应用了RST的编解码组(Coding Group，CG)的非零系数的位置的限制。
表格1：RST的使用
/>
2.4.3子块变换
对于具有等于1的cu_cbf的帧间预测CU而言，可以信令通知cu_sbt_flag，以指示是对整个残差块进行解码，还是对残差块的子部分进行解码。在前一种情况下，对帧间MTS信息做进一步解析，以确定CU的变换类型。在后一种情况下，采用推断出的自适应变换对残差块的部分编解码，并且使残差块的其他部分归零。不对组合帧间-帧内模式应用SBT。
在子块变换中，对SBT-V和SBT-H中的亮度变换块应用位置相关变换(色度TB总是使用DCT-2)。SBT-H和SBT-V的两个位置与不同的核心变换相关联。更具体地，在图3中指定了对于每一SBT位置的水平变换和垂直变换。例如，对于SBT-V位置0的水平变换和垂直变换分别为DCT-8和DST-7。当残差TU的一侧大于32时，对应的变换被设置为DCT-2。因此，子块变换联合指定残差块的TU拼接(tiling)、cbf以及水平变换和垂直变换，这可以被视为对于块的主要残差处于块的一侧的情况的语法快捷方式。
2.4.3.1语法元素
7.3.7.5编解码单元语法
/>
cu_sbt_flag等于1规定对于当前编解码单元，使用子块变换。
cu_sbt_flag等于0规定对于当前编解码单元不使用子块变换。
当cu_sbt_flag不存在时，那么推断其值等于0。
注：在采用子块变换时，编解码单元被划分成两个变换单元；一个变换单元具有残差数据，另一个不具有残差数据。
cu_sbt_quad_flag等于1规定：对于当前编解码单元，子块变换包括具有当前编解码单元的1/4尺寸的变换单元。cu_sbt_quad_flag等于0规定：对于当前编解码单元，子块变换包括具有当前编解码单元的1/2尺寸的变换单元。
当cu_sbt_quad_flag不存在时，那么推断其值等于0。
cu_sbt_horizontal_flag等于1规定当前编解码单元被水平划分成2个变换单元。cu_sbt_horizontal_flag[x0][y0]等于0规定当前编解码单元被垂直划分成2个变换单元。
当cu_sbt_horizontal_flag不存在时，对其值的推导如下：
-如果cu_sbt_quad_flag等于1，那么将cu_sbt_horizontal_flag设置为等于allowSbtHorQ。
-否则(cu_sbt_quad_flag等于0)，将cu_sbt_horizontal_flag设置为等于allowSbtHorH。
cu_sbt_pos_flag等于1规定当前编解码单元中的第一变换单元的tu_cbf_luma、tu_cbf_cb和tu_cbf_cr不存在于比特流当中。cu_sbt_pos_flag等于0规定当前编解码单元中的第二变换单元的tu_cbf_luma、tu_cbf_cb和tu_cbf_cr不存在于比特流当中。
变量SbtNumFourthsTb0的推导如下：
sbtMinNumFourths＝cu_sbt_quad_flag？1：2 (7-117)
SbtNumFourthsTb0＝cu_sbt_pos_flag？(4-sbtMinNumFourths)：sbtMinNumFourths (7-118)
sps_sbt_max_size_64_flag等于0规定允许子块变换的最大CU宽度和高度为32个亮度样点。sps_sbt_max_size_64_flag等于1规定允许子块变换的最大CU宽度和高度为64个亮度样点。
MaxSbtSize＝sps_sbt_max_size_64_flag？64：32 (7-33)
2.4.4量化残差域块差分脉码调制编解码(Quantized residual domain Blockdifferential pulse-code modulation coding，QR-BDPCM)
在JVET-N0413中，提出了量化残差域BDPCM(下文表示为RBDPCM)。通过在类似于帧内预测的预测方向(水平或垂直预测)内进行样点复制来对整个块进行帧内预测。对残差进行量化，并对量化残差与其预测值(水平或垂直)量化值之间的增量(delta)进行编解码。
对于尺寸为M(行)×N(列)的块，令ri，j，0≤i≤M-1，0≤j≤N-1.为使用来自上方或左侧块边界样点的未滤波样点水平地(跨越预测块逐条线地复制左侧邻居像素值)或垂直地(将顶部邻居线复制到预测块中的每条线)执行帧内预测之后的预测残差。令Q(ri，j)，0≤i≤M-1，0≤j≤N-1表示残差ri，j的量化版本，其中，残差是初始块和预测块值之间的差值。然后，将块DPCM应用于量化残差样点，获得修改后的M×N数组其元素为/>在信令通知垂直BDPCM时：
对于水平预测而言，适用类似规则，并且通过如下方程获得残差量化样点
将残差量化样点发送到解码器。
在解码器侧，逆转以上计算，从而产生Q(ri,j),0≤i≤M-1,0≤j≤N-1。对于垂直预测情况，
对于水平情况，
将逆量化残差Q-1(Q(ri,j))添加到帧内块预测值以产生重建的样点值。
在选择QR-BDPCM时，不应用变换。
2.5系数的熵编解码
2.5.1应用了变换的块的系数编解码
在HEVC中，采用不重叠系数组(或子块)对编解码块的变换系数编解码，并且每一CG含有编码块的4×4块的系数。根据预定义扫描顺序对编解码块内的CG以及CG内的变换系数编解码。
根据预定义扫描顺序对编解码块内的CG以及CG内的变换系数编解码。CG和CG内的系数两者均遵循朝右上的对角线扫描顺序。在图16和图17中分别描绘了4×4块和8×8扫描顺序的示例。
注意，编解码顺序是颠倒的扫描顺序(即，从图17中的CG3到CG0解码)，在对一个块解码时，首先对最后的非零系数的坐标解码。
对具有至少一个非零变换系数的CG的变换系数等级的编解码可以被分成多个扫描回合(pass)。在第一回合中，对第一二进制位(通过bin0表示，又称为significant_coeff_flag，其表明该系数的幅度大于0)编解码。接下来，可以应用对第二/第三二进制位(分别通过bin1和bin2表示，又称为coeff_abs_greater1_flag和coeff_abs_greater2_flag)进行上下文编解码的两个扫描回合。最后，如果需要，则调用用于对系数等级的符号信息和剩余值(又称为coeff_abs_level_remaining)进行编解码的另外两个扫描回合。注意，只有前三个扫描回合中的二进制位是按照常规模式编解码的，并且这些二进制位在下文的描述中被称为常规二进制位。
在VVC3中，对于每一CG，按照编解码顺序分离常规编解码二进制位和旁路编解码二进制位；首先传输子块的所有常规编解码二进制位，而后传输旁路编解码二进制位。对于扫描位置，在五个回合内对子块的变换系数等级进行编解码，具体如下：
ο回合1：按照编解码顺序处理对有效性(sig_flag)、大于1标志(gt1_flag)、奇偶性(par_level_flag)和大于2标志(gt2_flag)的编解码。如果sig_flag等于1，那么首先对gt1_flag编解码(其规定绝对等级是否大于1)。如果gt1_flag等于1，那么附加地对par_flag编解码(其规定绝对等级减2的奇偶性)。
ο回合2：在gt2_flag等于1或者gt1_flag等于1的情况下，对于所有扫描位置处理对剩余绝对等级(余数)的编解码。采用Golomb-Rice编解码使非二进制语法元素二值化，并且在算术编解码引擎的旁路模式中对所得到的二进制位编解码。
ο回合3：使用Golomb-Rice编码在算术编解码引擎的旁路模式中对在第一回合中未对其sig_flag进行编解码(由于达到了常规编解码二进制位的极限)的系数的绝对等级(absLevel)进行完全编解码。
ο回合4：在sig_coeff_flag等于1的情况下对所有扫描位置的符号(sign_flag)编解码
保证了对于4×4子块而言，对不超过32个常规编解码二进制位(sig_flag、par_flag、gt1_flag和gt2_flag)进行编码或解码。对于2×2色度子块而言，常规编解码二进制位的数量局限于8。
按照与HEVC类似的方式推导用于非二进制语法元素余数的编解码(回合3中)的Rice参数(ricePar)。在每一子块开始时，将ricePar设置为等于0。在对语法元素余数编解码之后，根据预定义公式修改Rice参数。对于非二进制语法元素absLevel的编解码(回合4中)而言，确定局部模板中的绝对值的和sumAbs。通过表格查找基于依赖性量化和sumAbs确定变量ricePar和posZero。对中间变量codeValue的推导如下：
ο如果absLevel[k]等于0，那么codeValue被设置为等于posZero；
ο否则，如果absLevel[k]小于或者等于posZero，那么codeValue被设置为等于absLevel[k]-1；
ο否则(absLevel[k]大于posZero)，那么codeValue被设置为等于absLevel[k]。
借助于Rice参数ricePar，使用Golomb-Rice编解码对codeValue的值进行编解码。
2.5.1.1为系数编解码的上下文建模
对用于与变换系数等级的绝对值相关的语法元素的概率模型的选择取决于局部邻居中的绝对等级或者部分重建绝对等级的值。在图18中示出了所使用的模板。
所选择的概率模型取决于局部邻居中的绝对等级(或者部分重建绝对等级)之和以及局部邻居中的大于0的绝对等级的数量(通过等于1的sig_coeff_flag的数量给出)。上下文建模和二值化取决于下述对于局部邻居的度量：
οnumSig：局部邻居中的非零等级的数量；
οsumAbs1：局部邻居中第一回合之后部分重建绝对等级(absLevel1)之和；
οsumAbs：局部邻居中重建绝对等级之和；
ο对角位置(d)：变换块内的当前扫描位置的水平坐标和垂直坐标之和。
基于numSig、sumAbs1和d的值，选择用于对sig_flag、par_flag、gt1_flag和gt2_flag编解码的概率模式。基于sumAbs和numSig的值选择用于使abs_remainder二值化的Rice参数。
2.5.1.2依赖性量化(DQ)
此外，还将同样的HEVC标量量化与一种被称为依赖性标量量化的新的理念一起使用。依赖性标量量化是指一种方案，其中，变换系数的一组可容许的重建值取决于在重建次序中处于当前变换系数等级之前的变换系数等级的值。这一方案的主要作用在于，与HEVC中使用的常规独立标量量化相比，在N维矢量空间(N表示变换块中的变换系数的数量)内更致密地填充可容许重建矢量。这意味着，对于给定的每一个N维单元体积的可容许重建矢量的平均数量而言，降低了输入矢量与最接近的重建矢量之间的平均失真。该依赖性标量量化方案是通过下述操作实现的：(a)定义两个具有不同重建等级的标量量化器以及(b)定义用于在两个标量量化器之间切换的过程。
在图19中示出了通过Q0和Q1表示的所使用的两个标量量化器。通过量化步长尺寸Δ唯一地指定可用重建等级的位置。所使用的标量量化器(Q0或Q1)未在比特流中显式信令通知。相反，通过按照编解码/重建顺序处于当前变换系数之前的变换系数等级的奇偶性确定用于当前变换系数的量化器。
如图20所示，通过具有四个状态的状态机实现两个标量量化器(Q0和Q1)之间的切换。状态可以采取四个不同值：0、1、2、3。其由按照编解码/重建顺序处于当前变换系数之前的变换系数等级的奇偶性唯一地确定。在变换块的反量化开始时，状态被设置为0。按照扫描顺序(即，按照它们被熵解码的相同顺序)重建变换系数。在重建当前变换系数之后，对状态进行更新，如图20所示，其中，k表示变换系数等级的值。
2.5.1.3语法和语义
7.3.7.11残差编解码语法
/>
/>
/>
2.5.2 TS编解码块和QR-BDPCM编解码块的系数编解码
QR-BDPCM跟随在用于TS编解码块的上下文建模方法之后。
用于TS残差的经修改的变换系数等级编解码。相对于常规残差编解码情况，用于TS的残差编解码包括下述改变：
(1)不对最后的x/y位置进行信令通知
(2)在所有的先前标志都等于0时为除了最后子块的每一子块编解码的coded_sub_block_flag；
(3)采用缩减模板的sig_coeff_flag上下文建模，
(4)为abs_level_gt1_flag和par_level_flag的单个上下文模型，
(5)用于符号标志以及附加的大于5标志、大于7标志、大于9标志的上下文建模，
(6)为余数二值化的经修改的Rice参数推导，
(7)每样点的上下文编解码二进制位的数量的极限，一个块内每样点2个二进制位。
2.5.2.1语法和语义
7.3.6.10变换单元语法
/>
/>
上下文编解码二进制位的数量局限于对于每CG而言不大于每样点2个二进制位。
表9-15-将ctxInc分配给具有上下文编解码二进制位的语法元素
2.5色度直接模式
在直接模式(Direct Mode，DM)中，采用并置亮度块的预测模式推导色度帧内预测模式。
首先，推导帧内预测模式lumaIntraPredMode。
·如果并置亮度块是按照MIP模式编解码的，那么将lumaIntraPredMode设置为等于平面模式。
·否则，如果并置亮度块是按照IBC模式或调色板模式编解码的，那么将lumaIntraPredMode设置为等于DC模式。
·否则，将lumaIntraPredMode设置为等于覆盖色度块的中心的对应亮度样点的并置亮度块的帧内预测模式。图25描述了一个示例。
其次，根据lumaIntraPredMode推导帧内色度预测模式(被表示为IntraPredModeC)，如下表中以粗斜体突出表示的。注意，intra_chroma_pred_mode等于4是指DM模式。
表8-2-取决于cclm_mode_flag、cclm_mode_idx、intra_chroma_pred_mode和lumaIntraPredMode的IntraPredModeC[xCb][yCb]的规范
最后，如果图片的色度格式是4:2:2，那么对于DM模式而言根据下表进一步修改IntraPredModeC。
在chroma_format_idc等于2时从色度帧内预测模式X到模式Y的4:2:2映射过程的规范
详细草案的规定如下。
8.4.3用于色度帧内预测模式的推导过程
对这一过程的输入为：
-亮度位置(xCb,yCb)，规定相对于当前图片的左上亮度样点的当前色度编解码块的左上样点，
-变量cbWidth，规定亮度样点中的当前编解码块的宽度，
-变量cbHeight，规定亮度样点中的当前编解码块的高度。
在这一过程中，推导出色度帧内预测模式IntraPredModeC[xCb][yCb]。
如下推导对应亮度帧内预测模式lumaIntraPredMode：
-如果intra_mip_flag[xCb][yCb]等于1，那么将lumaIntraPredMode设置为等于INTRA_PLANAR。
-否则，如果CuPredMode[0][xCb][yCb]等于MODE_IBC或者MODE_PLT，那么将lumaIntraPredMode设置为等于INTRA_DC。
-否则，将lumaIntraPredMode设置为等于IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]。
使用如表格8-2中规定的cclm_mode_mode_flag、cclm_mode_idx、intra_chroma_pred_mode和lumaIntraPredMode推导色度帧内预测模式IntraPredModeC[xCb][yCb]。
表8-2-取决于cclm_mode_flag、cclm_mode_idx、intra_chroma_pred_mode和lumaIntraPredMode的IntraPredModeC[xCb][yCb]的规范
在chroma_format_idc等于2时，如表格8-3中所规定的使用表格8-2中的色度帧内预测模式X推导色度帧内预测模式Y，并且之后将色度帧内预测模式X设置为等于色度帧内预测模式Y。
表格8-3-在chroma_format_idc等于2时从色度帧内预测模式X到模式Y的4:2:2映射过程的规范
3现有实施方式的缺点
当前设计具有下述问题：
(1)对于色度分量的四个预定义变换集与对于亮度分量的相同。此外，采用相同帧内预测模式的亮度块和色度块使用相同的变换集。然而，与亮度分量相比，色度信号通常更加平滑。使用相同集合可能是亚最佳的。
(2)仅对某些CG而非全部CG应用RST。然而，关于信令通知RST索引的决策取决于整个块中的非零系数的数量。在应用RST的CG中的所有系数均为零时，没有必要信令通知该RST索引。然而，当前设计可以仍然对该索引进行信令通知，这浪费了不必要的比特。
(3)在残差编解码之后信令通知RST索引，因为其要求记录有多少非零系数、在某些位置上是否存在非零系数(例如，章节2.3.2.2.7中的numZeroOutSigCoeff、numSigCoeff)。这样的设计使得解析过程更加复杂。
(4)对RST索引进行上下文编解码，并且上下文建模取决于编解码后的亮度/色度帧内预测模式以及MTS索引。这样的设计在帧内预测模式的重建方面引入了解析延迟。并且引入了8个上下文，其可能是硬件实施方式的负担。
(a)DM和CCLM共享相同的上下文索引集，这不合理，因为它们是两种不同的色度帧内预测方法。
(5)非TS残差编解码的当前设计首先对系数信息编解码，随后是RST的索引(即，是否使用RST，如果使用，那么选择哪一矩阵)。就这样的设计而言，在残差的熵编解码中可以不考虑RST开启/关闭的信息。
(6)总是对应用了主变换的变换块的左上区域应用RST。然而，对于不同的主变换基而言，能量集中在变换块的左上区域内并非总是为真。
(7)对于双树和单树编解码结构，按照不同方式执行对是否信令通知RST相关信息的判断。
(8)当在CU内有不止一个TU时(例如，CU尺寸为128×128)，那么只能在对所有TU解码之后确定是否解析RST相关信息。例如，对于128×128CU，在未等待在最后PB之后到来的LFNST索引的情况下不能处理第一PB。尽管这未必破坏基于总的64×64的解码器流水线(如果可以对CABAC解耦)，但是对于某一数量的解码器流水线级而言其使得数据缓冲增加了4倍。这是成本高昂的。
(9)在JVET-O0219中，采用并置亮度块的帧内预测模式来确定CCLM模式编解码色度块的LFNST变换集。然而，并置亮度块可以是采用非帧内预测模式(即，并非诸如使用DC/平面/角度预测方向的常规帧内预测方法)编解码的。例如，在双树情况下，并置亮度块可以是按照调色板模式、IBC模式等编解码的。在这种情况下，未定义并置亮度块的帧内预测模式。因此，如何推导色度块的二次变换集是未知的。
(10)在子条款8.4.4中定义的色度帧内预测块的推导检查覆盖对应左上亮度样点的亮度块是否是采用MIP/IBC/调色板模式编解码的。如果其为真，那么给定默认模式。否则，使用中心亮度样点的帧内预测模式。其将导致两个问题：
a.在采用MIP模式对覆盖左上亮度样点(即图24(a)和图24(b)中的TL，当前色度块中的左上色度样点的对应亮度样点)的编解码块编解码并且采用普通帧内模式对覆盖中心亮度样点(例如，图25中的CR)的编解码块编解码时，在这种情况下，使用默认模式并且将其设置为色度帧内预测模式，这将破坏当前色度块与覆盖CR的亮度块之间的相关性。将导致更低的编解码性能。
b.在采用帧内模式对覆盖左上亮度样点(即图24(a)和图24(b)中的TL，当前色度块中的左上色度样点的对应亮度样点)的编解码块编解码，并且采用IBC/调色板/MIP对覆盖中心亮度样点(例如，图25中的CR)的编解码块编解码时，在这种情况下，使用来自覆盖CR的编解码块的帧内预测模式推导色度DM模式。然而，没有与MIP/IBC/调色板模式相关联的此类帧内预测模式的定义。
(11)在最近的VVC工作草案(其可以从http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/15_Gothenburg/wg11/JVET-O2001-v14.zip下载)中，归零区域尺寸(即nonZeroSize)对于RST 4×4和RST 8×8是不统一的。在块尺寸为4×N或N×4(N＞＝4)时，应用RST 4×4。在N为4(即块尺寸为4×4)时，归零区域尺寸等于8。在N大于4时，将nonZeroSize设置为等于16。对于RST 8×8，在块尺寸为8×8时，归零区域尺寸等于8。否则(即，块宽度大于8并且块高度不小于8，或者块高度大于8并且块宽度不小于8时)，归零区域尺寸等于16。更大的归零范围值在编码器侧和解码器侧都带来了更高的计算复杂性。
(12)用于存储RST矩阵的存储器使用量高。
4用于残差编解码的上下文建模的示例方法
本公开技术的实施例克服了现有实施方式的缺陷，由此为视频编解码提供了更高的编解码效率。基于所公开的技术的用于残差编解码的上下文建模的方法可以既增强现有的视频编解码标准，又增强未来的视频编解码标准，并且将在针对各种实施方式描述的下述示例中得以阐明。下文提供的所公开技术的示例解释了一般原理，而并非意在被解释为具有限制性。在示例中，除非明确做出相反的指示，否则可以对这些示例中描述的各种特征进行组合。
在下文的描述中，“块”可以指编解码单元(CU)或变换单元(TU)或任何矩形视频数据区域。“当前块”可以指当前正在受到解码/编码的编解码单元(CU)或当前正在受到解码/编码的变换单元(TU)或当前正在受到解码/编码的任何矩形视频数据区域。“CU”或“TU”还可以被称为“编解码块”和“变换块”
在这些示例中，RST可以是JVET-N0193中的设计的任何变型。RST可以是任何可以对一个块应用二次变换或者对经变换跳过(TS)编解码的块应用变换的技术(例如，JVET-N0193中提出的应用于TS编解码块的RST)。
下文中，采用“普通帧内预测模式”指代常规帧内预测方法，其中，预测信号是通过对来自某一方向的相邻像素外推而生成的。例如，其可以是DC模式、平面模式和角度帧内预测模式(例如，可以进一步包括宽角度帧内预测模式)。对于不使用普通帧内预测模式编解码的块而言，可以采用诸如IBC、MIP、调色板、BDPCM帧内预测模式的编解码方法中的至少一种对该块编解码。
此外，“归零区域”或“归零CG”可以指示那些由于二次变换过程中使用的缩减变换尺寸的原因而总是具有零系数的那些区域/CG。例如，如果二次变换尺寸为16×32，并且CG尺寸为4×4，那么其仅被应用于前两个CG，但是只有第一CG可以具有非零系数，第二4×4CG又被称为归零CG。
RST中的变换矩阵的选择
1.应用RST的子区域可以是并非块的左上部分的子区域。
a.在一个示例中，可以对块的右上或右下或左下或中心子区域应用RST。
b.对哪一子区域应用RST可以取决于帧内预测模式和/或主变换矩阵(例如，DCT-II、DST-VII、恒等变换(Identity transform))。
2.RST中使用的变换集和/或变换矩阵的选择可以取决于颜色分量。
a.在一个示例中，可以将一个变换矩阵集合用于亮度(或G)分量，并且将一个变换矩阵集合用于色度分量(或B/R)。
b.在一个示例中，每一颜色分量可以对应于一个集合。
c.在一个示例中，在用于不同颜色分量的两个或多个集合中的任何集合当中，至少一个矩阵是不同的。
3.对RST中使用的变换集和/或变换矩阵的选择可以取决于帧内预测方法(例如，CCLM、基于多参考线的帧内预测方法、基于矩阵的帧内预测方法)。
a.在一个示例中，可以将一个变换矩阵集合用于CCLM编解码块，并且将另一变换矩阵集合用于非CCLM编解码块。
b.在一个示例中，可以将一个变换矩阵集合用于普通帧内预测编解码块，并且将另一变换矩阵集合用于启用了多参考线的块(即，其不使用相邻线进行帧内预测)。
c.在一个示例中，可以将一个变换矩阵集合用于采用联合色度残差编解码的块，并且将另一个变换矩阵集合用于不应用联合色度残差编解码的块。
d.在一个示例中，在用于不同帧内预测方法的两个或多个集合中的任何集合当中，至少一个矩阵是不同的。
e.替代性地，可以对采用某些帧内预测方向和/或某些编解码工具(例如，CCLM)和/或联合色度残差编解码和/或某一颜色分量(例如，色度)编解码的块禁用RST。
4.可以对未采用普通帧内预测模式(例如，MIP、IBC、调色板)编解码的块(例如，CU/PU/CB/PB)分配默24认帧内预测模式。
a.默认模式可以取决于编解码方法(MIP/IBC/调色板)。
b.可以信令通知或者在运行中推导该默认模式。
c.可以在色度推导模式(DM)的推导当中利用该默认模式。
d.可以使用该默认模式预测其他块的帧内预测模式。例如，可以将其用到用于对当前块的后续块编解码的最可能模式(most-probable-mode，MPM)列表的推导当中。
e.可以将分配给一个颜色分量(例如，亮度)的块的默认模式用到另一颜色分量(例如，色度)的变换集或变换索引的推导当中。
f.替代性地，此外，可以将默认模式与预测模式(例如，帧内/帧间/IBC)存储在一起。
g.可以不向帧间编解码块分配默认模式。
5.提出了在色度帧内预测模式推导过程的所有操作中使用覆盖色度编解码块的相同预定义位置的一个亮度编解码块(其还可以被称为对应亮度块)的信息。例如，覆盖色度编解码块的相同预定义位置的同一亮度编解码块被用于检查该亮度编解码块的预测模式(或编解码方法，比如IBC/MIP/调色板)，并且用于去除该亮度编解码块的帧内预测模式。
a.在一个示例中，将该相同预定义位置定义为与当前色度块的中心色度样点的对应亮度样点(例如，图25中的CR)相关联。
b.在一个示例中，将该相同预定义位置定义为与当前色度块的左上色度样点的对应亮度样点(例如，图24b中的TL)相关联。
c.替代性地，此外，如果覆盖该相同预定义位置的编解码块是采用IBC/调色板/MIP模式/任何其他非普通帧内预测模式编码的，那么可以利用默认帧内预测模式推导色度帧内预测模式。否则，可以利用覆盖该相同预定义位置的编解码块的解码后的帧内预测模式来推导色度帧内预测模式。
6.对于采用非普通帧内预测模式(例如，CCLM)编解码的色度块而言，当对应亮度块采用非普通帧内预测模式(例如，IBC/调色板/MIP)编解码时，在RST或其他编解码工具中使用的变换集/变换矩阵可以是由一个或多个默认模式或默认变换集推导的。
a.是使用默认变换集/变换矩阵还是由对应亮度块的帧内亮度预测模式推导变换集/变换矩阵可以取决于对应亮度块的编解码模式。
i.在一个示例中，如果对应亮度块是采用普通帧内预测模式和/或BDPCM编解码的，那么可以根据与对应亮度块(例如，并置亮度块或者本发明的项目符号5中定义的亮度块)相关联的亮度帧内预测模式推导变换集/变换矩阵。
ii.在一个示例中，如果对应亮度块是采用非普通帧内预测模式(例如，IBC/调色板和/或BDPCM)编解码的，那么可以使用默认变换集(例如，采用等于K的集合索引(例如，K＝0))。
b.是否对一个颜色分量的块启用RST可以取决于另一颜色分量中的一个或多个对应块的编解码方法以及/或者当前块的编码方法。
i.是否对色度块启用RST可以取决于一个或多个对应亮度块的编解码方法以及/或者当前色度块的编解码方法。
ii.在一个示例中，如果对应亮度块是采用普通帧内预测模式和/或BDPCM编解码的，那么可以对色度块启用RST。
iii.在一个示例中，如果对应亮度块是采用非普通帧内预测模式(例如，IBC/调色板和/或BDPCM)编解码的，那么可以对色度块禁用RST。
1)替代性地，此外，如果对应亮度块是采用非普通帧内预测模式(例如，IBC/调色板和/或BDPCM)编解码的，那么可以对采用非普通帧内预测模式(例如，CCLM)编解码的色度块禁用RST。
c.当并置亮度块未按照普通帧内预测模式编解码时，可以分配预定义帧内预测模式，之后该预定义帧内预测模式将被用于RST中使用的变换集和/或变换矩阵的选择(例如，根据章节2.4.2.2.3中所示的变换集选择表格)。
i.在一个示例中，如果并置亮度块是按照IBC(帧内块复制)模式编解码的，那么可以分配第一预定义帧内预测模式(例如，DC或平面模式)。
ii.在一个示例中，如果并置亮度块是按照调色板模式编解码的，那么可以分配第二预定义帧内预测模式(例如，DC或平面模式)。
iii.在一个示例中，如果并置亮度块是按照MIP模式编解码的，那么可以分配第三预定义帧内预测模式(例如，平面或DC模式)。
iv.在一个示例中，如果并置亮度块是按照BDPCM(Block-based Delta PulseCode Modulation，基于块的增量脉码调制)模式编解码的，那么可以分配第四预定义帧内预测模式(例如，平面或DC模式)。
v.在一个示例中，对于预定义帧内预测模式中的每者而言，其可以是DC模式或平面模式或垂直模式或水平模式或45度模式或135度模式。
vi.替代性地，如果并置亮度块是按照MIP模式编解码的，那么可以根据该MIP模式和该并置亮度块的维度将该MIP模式映射至一种帧内预测模式，例如，通过使用章节2.2.2.2中的表格“MIP与帧内预测模式之间的映射规范”。
vii.可以从诸如DC模式和平面模式的几种候选中自适应地选择该预定义模式。
1)可以从编码器到解码器对该预定义模式信令通知。
2)可以从编码器到解码器对该预定义模式进行推导。
a.例如，如果解码器确定当前图片是屏幕内容图片，那么该预定义模式可以是DC模式，否则，该预定义模式为平面模式。
viii.该预定义模式可以是与用于色度DM推导过程的那些(例如，子条款8.4.3中的lumaIntraPredMode)按照相同的方式定义的。
d.当并置亮度块按照普通帧内预测模式或/和BDPCM模式编解码时，可以按照与DM模式相同的方式(例如，章节2.7中规定的)依据并置亮度块的帧内预测模式推导色度帧内预测模式。之后将推导出的色度帧内预测模式用于RST中使用的变换集和/或变换矩阵的选择(例如，根据章节2.6中所示的变换集选择表格)。
e.在上文的项目符号中，并置亮度块可以是覆盖特定亮度位置(例如，图24b中的TL或者图25中的CR)的编解码块。
7.RST中使用的变换集和/或变换矩阵的选择可以取决于主变换。
a.在一个示例中，主变换可以包括但不限于DCT-II、DST-VII、DCT-VIII、变换跳过模式、恒等变换或来自训练的变换(比如基于KLT的变换)的变型(variance)。
b.在一个示例中，如果应用于一个块的主变换是恒等变换(例如，对一个块应用TS模式)，那么RST中使用的变换集和/或变换矩阵可以不同于其他种类的主变换。
i.在一个示例中，可以将一个变换矩阵集合用于变换跳过模式。
1)替代性地，此外，可以信令通知一个语法元素，以指示是否对变换跳过模式使用RST，或者对一个块使用该变换矩阵集合中的哪一矩阵。
c.在一个示例中，如果应用于一个块的水平和垂直1-D主变换为相同基(例如，均为DCT-II)，那么在RST中使用的变换集和/或变换矩阵可以不同于对于不同方向(垂直或水平)的来自不同基的主变换。
d.在一个示例中，可以将一个变换矩阵集合用于DCT-II(或第一主变换)，并且将一个或多个变换矩阵集合用于其他主变换模式。
e.在一个示例中，每一主变换模式可以对应于一个RST矩阵集。
f.在一个示例中，在用于不同主变换模式的两个或多个集合中的任何集合当中，一个集合中的至少一个矩阵是不同的。
8.RST中使用的变换集和/或变换矩阵的选择可以取决于块维度(宽度/高度或比值)/块形状(方形或非方形)。
a.在一个示例中，可以使用多个变换矩阵集合，并且每一集合可以对应于一个类别的块，其中，该类别是由块维度/块形状确定的。
9.为编码/解码视频处理单元(例如，序列/视频/图片/条带/片/砖块/子图片)可以启用多个变换矩阵集合，并且可以在图片/条带/片/砖块/子图片级别内信令通知可以使用这多个集合中的哪个(哪些)集合的指示。
RST边信息的信令通知和残差编解码
10.是否和/或如何信令通知RST的边信息(例如，st_idx)可以取决于该块中的最后非零系数(按照扫描顺序)。
a.在一个示例中，仅当最后非零系数位于应用RST的CG当中时，可以启用RST并且可以信令通知RST的索引。
b.在一个示例中，如果最后非零系数并未处于应用RST的CG内，那么禁用RST并且跳过对RST的信令通知。
11.是否和/或如何信令通知RST的边信息(例如，st_idx)可以取决于某一颜色分量的而非CU中的所有可用颜色分量的系数。
a.在一个示例中，可以仅利用亮度信息判断是否和/或如何信令通知RST的边信息。
i.替代性地，此外，可以仅在块的维度满足某些条件时应用以上方法。
1)这些条件为W＜T1或H＜T2。
2)例如，T1＝T2＝4。因此，对于4×4CU，亮度块尺寸为4×4，具有4:2:0格式的两个色度块为2×2，在这种情况下，可以仅使用亮度信息。
ii.替代性地，此外，仅在当前分割类型树为单树的情况下应用以上方法。
b.是使用一个颜色分量的信息还是使用所有颜色分量的信息可以取决于块维度/编解码信息。
12.是否和/或如何信令通知RST的边信息(例如，st_idx)可以取决于一个块的部分区域的而非整个块的系数。
a.在一个示例中，可以将该部分区域定义为应用RST的CG。
b.在一个示例中，可以将该部分区域定义为按照该块的扫描顺序或者反扫描顺序的前M个或最后M个(例如，M＝1或2)CG。
i.在一个示例中，M可以取决于块维度。
ii.在一个示例中，如果块尺寸为4×N和/或N×4(N＞8)，那么将M设置为2。
iii.在一个示例中，如果块尺寸为4×8和/或8×4和/或WxH(W＞＝8，H＞＝8)，那么将M设置为1。
c.在一个示例中，可以不允许考虑具有维度W×H的块的信息(例如，块的非零系数的数量)来确定RST的使用和/或RST相关信息的信令通知。
i.例如，如果W＜T1或H＜T2，那么可以不对块的非零系数的数量计数。例如，T1＝T2＝4。
d.在一个示例中，可以将该部分区域定义为具有维度W×H的当前块的左上M×N区域。
i.在一个示例中，M可以小于W，并且/或者N可以小于H。
ii.在一个示例中，M和N可以是固定数量。例如，M＝N＝4。
iii.在另一个示例中，M和/或N可以取决于W和/或H。
iv.在一个示例中，M和/或N可以取决于最大允许变换尺寸。
1)例如，如果W大于8并且H等于4，那么M＝8并且N＝4。
2)例如，如果H大于8并且W等于4，那么M＝4并且N＝8。
3)例如，如果不满足以上两个条件中的任何条件，那么M＝4并且N＝4。
v.替代性地，此外，可以仅对某些块维度应用这些方法，例如，不满足7.c中的条件。
e.在一个示例中，该部分区域对于所有块可以是相同的。
i.替代性地，可以基于块维度和/或编解码信息对该部分区域加以改变。
f.在一个示例中，该部分区域可以取决于扫描顺序索引的给定范围。
i.在一个示例中，该部分区域可以是基于具有维度W×H的当前块的系数扫描顺序(例如，反解码顺序)，覆盖位于特定范围内的系数的部分区域，其中，这些系数的扫描顺序索引处于[dxS,IdxE](含端点)的范围内。
1)在一个示例中，IdxS等于0。
2)在一个示例中，IdxE可以小于W×H-1。
3)在一个示例中，IdxE可以是固定数量。例如，IdxE＝15。
4)在一个示例中，IdxE可以取决于W和/或H。
a.例如，如果W大于8并且H等于4，那么IdxE＝31。
b.例如，如果H大于8并且W等于4，那么IdxE＝31。
c.例如，如果W等于8并且H等于8，那么IdxE＝7。
d.例如，如果W等于4并且H等于4，那么IdxE＝7。
e.例如，如果不满足以上两个条件a)和b)中的任何条件，那么IdxE＝15。
f.例如，如果不满足以上四个条件a)、b)、c)和d)中的任何条件，那么IdxE＝15。
g.例如，如果不满足以上两个条件c)和d)中的任何条件，那么IdxE＝15。
ii.替代性地，此外，可以仅对某些块维度应用这些方法，例如，不满足7.c中的条件。
g.在一个示例中，其可以取决于部分区域内的非零系数的位置。
h.在一个示例中，其可以取决于部分区域内的非零系数的能量(例如，平方和或者绝对值和)。
i.在一个示例中，其可以取决于一个块的部分区域内的而非整个块内的非零系数的数量。
i.替代性地，其可以取决于CU内的一个或多个块的部分区域内的非零系数的数量。
ii.在一个块的部分区域内的非零系数的数量小于阈值时，可以跳过对RST的边信息的信令通知。
iii.在一个示例中，将该阈值固定为N(例如，N＝1或2)。
iv.在一个示例中，该阈值可以取决于条带类型/图片类型/分割树类型(双或单)/视频内容(屏幕内容或相机捕捉内容)。
v.在一个示例中，该阈值可以取决于颜色格式(诸如4:2:0或4:4:4)和/或颜色分量(诸如Y或Cb/Cr)。
13.当在可以应用RST的CG内没有非零系数时，必须禁用RST。
a.在一个示例中，在对一个块应用RST时，应用RST的至少一个CG必须含有至少一个非零系数。
b.在一个示例中，对于4×N和/或N×4(N＞8)而言，如果应用RST，那么前两个4×4CG必须含有至少一个非零系数。
c.在一个示例中，对于4×8和/或8×4而言，如果应用RST，那么左上4×4必须含有至少一个非零系数。
d.在一个示例中，对于W×H(W＞＝8并且H＞＝8)而言，如果应用RST，那么左上4×4必须含有至少一个非零系数。
e.一致性比特流必须满足以上条件中的一者或多者。
14.可以在对残差(例如，变换系数/直接量化的)编解码之前信令通知RST相关语法元素。
a.在一个示例中，在系数的解析过程中去除对归零区域内的非零系数的数量(例如，numZeroOutSigCoeff)和整个块中的非零系数的数量(例如，numSigCoeff)的计数。
b.在一个示例中，可以在residual_coding之前对RST相关语法元素(例如，st_idx)编解码。
c.可以有条件地(例如，根据编码块标志、TS模式使用)信令通知RST相关语法元素。
vi.在一个示例中，可以在编解码块标志的信令通知之后或者在TS/MTS相关语法元素的信令通知之后对RST相关语法元素(例如，st_idx)进行编解码。
vii.在一个示例中，在启用TS模式(例如，解码后的transform_skip_flag等于1)时，跳过对RST相关语法元素的信令通知。
d.对于归零CG可以不信令通知残差相关语法。
e.如何对残差编解码(例如，扫描顺序、二值化、要解码的语法、上下文建模)可以取决于RST。
i.在一个示例中，可以应用光栅扫描顺序而非朝右上对角线扫描顺序。
1)光栅扫描顺序是从左到右并且从上到下，或者按照相反顺序。
2)替代性地，可以应用垂直扫描顺序(从上到下并且从左到右，或者按相反顺序)而非朝右上对角线扫描顺序。
3)替代性地，此外，可以修改上下文建模。
a.在一个示例中，上下文建模可以取决于模板中的先前编解码信息，其为按照扫描顺序的最近的N个邻居而非使用右侧、底部、右下邻居。
b.在一个示例中，上下文建模可以根据经扫描的索引(例如，-1、-2……，假设当前索引等于0)取决于模板中的先前编解码的信息。
ii.在一个示例中，可以应用不同二值化方法(例如，莱斯(rice)参数推导)对与RST编解码块和非RST编解码块相关联的残差编解码。
iii.在一个示例中，对于RST编解码块可以跳过对某些语法元素的信令通知。
1)对于应用RST的CG可以跳过对CG编解码块标志(coded_sub_block_flag)的信令通知。
a.在一个示例中，在对按照对角线扫描顺序中的前三个CG应用RST 8×8时，对第二和第三CG(例如，该块的左上8×8区域内的右上4×4CG和左下4×4CG)跳过对CG编解码块标志的信令通知。
i.替代性地，此外，将对应的CG编解码块标志推断为0，即，所有系数为零。
b.在一个示例中，在对一个块应用RST时，对按照扫描顺序的第一CG(或者按照相反扫描顺序的最后CG)跳过对CG编解码块标志的信令通知。
ii.替代性地，此外，将该块中的左上CG的CG编解码块标志推断为1，即，其含有至少一个非零系数。
c.在图21中示出了8×8块的示例。在对该8×8块应用RST 8×8或RST 4×4时，将CG0的coded_sub_block_flag推断为1并且将CG1和CG2的coded_sub_block_flag推断为0。
2)对于某些坐标可以跳过对系数的幅度和/或符号标志的信令通知。
a.在一个示例中，如果按照扫描顺序相对于一个CG的索引不小于可以存在非零系数的最大容许索引(例如，章节0中的nonZeroSize)，那么可以跳过对系数的信令通知。
b.在一个示例中，可以跳过对诸如sig_coeff_flag、abs_level_gtX_flag、par_level_flag、abs_remainder、coeff_sign_flag、dec_abs_level的语法元素的信令通知。
3)替代性地，可以保持对残差(例如，CG编解码块标志、某些坐标的系数幅度和/或符号标志)的信令通知，然而可以将上下文建模修改为不同于其他CG。
iv.在一个示例中，在应用RST的CG和其他CG中对残差的编解码可以是不同的。
1)对于以上子项目符号，可以将它们仅应用于应用RST的CG。
15.可以在其他变换指示(诸如变换跳过和/或MTS索引)之前信令通知RST相关语法元素。
a.在一个示例中，对变换跳过的信令通知可以取决于RST信息。
i.在一个示例中，对于一个块而言，如果在该块中应用了RST，那么可以不信令通知变换跳过指示，并且将其推断为0。
b.在一个示例中，对MTS索引的信令通知可以取决于RST信息。
i.在一个示例中，对于一个块而言，如果在该块中应用了RST，那么不信令通知一个或多个MTS变换指示，并且将其推断为不用于该块。
16.提出了在对于一个块内的不同部分的算术编解码中使用不同上下文建模方法。
a.在一个示例中，将该块作为两个部分对待，即，按照扫描顺序的前M个CG和其余CG。
i.在一个示例中，将M设置为1。
ii.在一个示例中，对于4×N和N×4(N＞8)块将M设置为2；并对于所有其他情况将M设置为1。
b.在一个示例中，将该块作为两个部分对待，即应用RST的子区域和不应用RST的子区域。
i.如果应用RST 4×4，那么应用RST的子区域是当前块的第一个或前两个CG。
ii.如果应用RST 4×4，那么应用RST的子区域是当前块的前三个CG。
c.在一个示例中，提出了在对于一个块内的第一部分的上下文建模过程中禁用先前编解码的信息，但是对于第二部分则启用先前编码的信息。
d.在一个示例中，在对第一CG解码时，可以不允许使用其余一个或多个CG的信息。
i.在一个示例中，在对第一CG的CG编码块标志编码时，不考虑第二CG(例如，右侧或下侧)的值。
ii.在一个示例中，在对第一CG的CG编解码块标志编解码时，不考虑第二和第三CG(对于W×H(W＞＝8并且H＞＝8)而言右侧CG和下侧CG)的值。
iii.在一个示例中，在对当前系数编解码时，如果其在上下文模板中的邻居处于不同CG中，那么不允许使用来自这一邻居的信息。
e.在一个示例中，在对应用RST的区域中的系数解码时，可以不允许使用未应用RST的其余区域中的信息。
f.替代性地，此外，可以在某些条件下应用以上方法。
i.这些条件可以包括是否启用RST。
ii.这些条件可以包括块维度。
RST边信息的算术编解码中的上下文建模
17.在对RST索引编解码时，上下文建模可以取决于是否启用显式或隐式多变换选择(multiple transform selection，MTS)。
a.在一个示例中，在启用隐式MTS时，可以为采用相同帧内预测模式编解码的块选择不同上下文。
i.在一个示例中，使用块维度，例如，形状(方形或非方形)来选择上下文。
b.在一个示例中，不检查为显式MTS编解码的变换索引(例如，tu_mts_idx)，而是可以使用变换矩阵基。
i.在一个示例中，对于对水平和垂直1-D变换两者均采用DCT-II的变换矩阵基而言，对应的上下文可以不同于其他种类的变换矩阵。
18.在对RST索引编解码时，上下文建模可以取决于是否启用CCLM(例如，sps_cclm_enabled_flag)。
a.替代性地，是否启用或者如何选择用于RST索引编解码的上下文可以取决于是否对一个块应用CCLM。
b.在一个示例中，上下文建模可以取决于是否对当前块启用CCLM。
i.在一个示例中，intraModeCtx＝sps_cclm_enabled_flag？(intra_chroma_pred_mode[x0][y0]为CCLM:intra_chroma_pred_mode[x0][y0]为DM)？1:0。
c.替代性地，是否启用或者如何选择用于RST索引编解码的上下文可以取决于当前色度块是否是采用DM模式编解码的。
i.在一个示例中，intraModeCtx＝(intra_chroma_pred_mode[x0][y0]＝＝(sps_cclm_enabled_flag？7:4))？1:0。
19.在对RST索引编解码时，上下文建模可以取决于块维度/划分深度(四叉树深度和/或BT/TT深度)。
20.在对RST索引编解码时，上下文建模可以取决于颜色格式和/或颜色分量。
21.在对RST索引编解码时，上下文建模可以独立于帧内预测模式和/或MTS索引。
22.在对RST索引编解码时，可以仅采用一个上下文对第一和/或第二二进制位进行上下文编解码，或者对其旁路编解码。
a.在一个示例中，可以对第一二进制位进行上下文编解码，并且上下文建模可以纯粹取决于分割树类型(即单树或双树)，并且对第二二进制位进行旁路编解码。
i.替代性地，此外，对于给定条带类型调用以上方法。对于不同条带类型，可以利用不同上下文。
根据条件调用RST过程
23.是否调用逆RST过程可以取决于CG编解码块标志。
a.在一个示例中，如果左上CG编解码块标志为零，那么没有必要调用该过程。
i.在一个示例中，如果左上CG编解码块标志为零并且块尺寸不等于4×N/N×4(N＞8)，那么没有必要调用该过程。
b.在一个示例中，如果按照扫描顺序的前两个CG编解码块标志均等于零，那么没有必要调用该过程。
i.在一个示例中，如果按照扫描顺序的前两个CG编解码块标志均等于零并且块尺寸等于4×N/N×4(N＞8)，那么没有必要调用该过程。
24.是否调用逆RST过程可以取决于块维度。
a.在一个示例中，对于某些块维度，例如，4×8/8×4，可以禁用RST。替代性地，此外，可以跳过对RST相关语法元素的信令通知。
双树和单树编解码的统一
25.在双树和单树编解码中可以按照相同方式确定RST的使用和/或RST相关信息的信令通知。
a.例如，在所计数的非零系数的数量(例如，JVET-N0193中规定的numSigCoeff)在双树编解码中不大于T1或者在单树编解码中不大于T2时，不应应用RST，并且不信令通知相关信息，其中，T1等于T2。
b.在一个示例中，将T1和T2两者设置为N，例如，N＝1或2。
考虑CU中的多个TU。
26.是否和/或如何应用RST可以取决于块维度W×H。
a.在一个示例中，如果W＞T1或者H＞T2，那么可以不应用RST。
b.在一个示例中，如果W＞T1并且H＞T2，那么可以不应用RST。
c.在一个示例中，如果W*H＞＝T，那么可以不应用RST。
d.对于以上示例中，以下内容适用：
i.在一个示例中，该块为CU。
ii.在一个示例中，T1＝T2＝64。
iii.在一个示例中，T1和/或T2可以取决于所允许的最大变换尺寸。例如，T1＝T2＝所允许的最大变换尺寸。
iv.在一个示例中，将T设置为4096。
e.替代性地，此外，如果确定不应用RST，那么可以不信令通知相关信息。
27.当在CU中有N(N＞1)个TU时，使用N个TU中的仅一个TU的编解码信息来确定RST的使用和/或RST相关信息的信令通知。
a.在一个示例中，可以使用CU中的按解码顺序的第一TU做出该确定。
b.在一个示例中，可以使用CU的按解码顺序的左上TU做出该确定。
c.在一个示例中，可以按照与该CU中只有一个TU的情况相同的方式做出采用该特定TU的确定。
28.可以在TU级或PU级内而非CU级内执行RST的使用和/或RST相关信息的信令通知。
a.替代性地，此外，CU内的不同TU/PU可以选择不同的二次变换矩阵或者启用/禁用控制标志。
b.替代性地，此外，对于双树情况并且对色度块编解码而言，不同颜色分量可以选择不同的二次变换矩阵或者启用/禁用控制标志。
c.替代性地，在哪一视频单元级内是否信令通知RST相关信息可以取决于分割树类型(双重或单一)。
d.替代性地，在哪一视频单元级内是否信令通知RST相关信息可以取决于CU/PU/TU与最大允许变换块尺寸之间的关系，诸如大于或小于。
归零范围的统一
29.归零区域可以取决于应用RST的子块的维度(例如，尺寸)。
a.在一个示例中，假设：在当前子块的尺寸为M×N时nonZeroSize等于nonZeroSizeA，并且在当前子块的尺寸为K×L时nonZeroSize(即，归零区域内的样点的数量)等于nonZeroSizeB。在Min(M,N)不小于Min(K,L)时，nonZeroSizeA不小于nonZeroSizeB。例如，M＝8，N＝8，K＝4，L＝4并且nonZeroSizeA＝16，nonZeroSizeB＝8。
b.在一个示例中，如果子块尺寸为4×4(例如，块的宽度或高度等于4)，那么可以将nonZeroSize设置为固定值L(例如，L等于8)。
i.在一个示例中，对于4×N或N×4块，可以将nonZeroSize设置为固定值L。
c.在一个示例中，如果子块尺寸为8×8(例如，块的宽度或高度等于8)，那么可以将nonZeroSize设置为固定值L(例如，L等于8)。
i.在一个示例中，对于8×N或N×8块，可以将nonZeroSize设置为固定值L。
d.替代性地，可以将nonZeroSize设置为固定值L(例如，L等于8)，而不管块尺寸如何。
30.归零区域可以取决于二次变换尺寸。
e.在一个示例中，其可以取决于是否应用RST 4×4或RST 8×8。
f.在一个示例中，假设：在应用RST 8×8时nonZeroSize(即，归零区域内的样点的数量)等于nonZeroSizeA，并且在应用RST4×4时nonZeroSize等于nonZeroSizeB。这时，nonZeroSizeA不小于nonZeroSizeB。例如，nonZeroSizeA＝16并且nonZeroSizeB＝8。
变换矩阵的维度的缩减
31.可以缩减用于RST的变换和/或逆变换矩阵的(多个)维度。
g.在一个示例中，可以将RST 4×4的变换矩阵的维度缩减至其原始(多个)维度的1/2、1/4或1/8。例如，RST 4×4的变换矩阵的原始(多个)维度为16×16。可以将该维度缩减至16×8、16×4或16×2。
h.在一个示例中，可以将RST 8×8的变换和/或逆变换矩阵的(多个)维度缩减至其原始(多个)维度的1/2、1/4或1/8。例如，可以将RST 8×8的变换矩阵的维度从48×16缩减至48×8、48×4或48×2。
i.替代性地，此外，归零区域可以取决于缩减维度的维度。
32.可以定义一个或多个残差图案。残差图案可以是具有掩码的块，用以定义可以将逆变换后的系数分配到哪里。例如，对于具有维度M*N的区域而言，仅允许它们的部分具有系数。
a.在一个示例中，定义了图26中的图案，其中，突出表示的部分可以与变换系数相关联并且其余部分可以与零系数相关联。
i.在一个示例中，该图案可以是不连续的，也就是说，一个位置可以与系数相关联，并且其邻居位置中的四个可以不与系数相关联。
b.在一个示例中，可以对某些块(诸如8×8和/或M×N(M＞8,N＞8))应用以上图案，而不管信令通知的变换索引如何。
c.在一个示例中，是否和/或如何应用以上图案可以取决于在当前块中使用哪个(哪些)变换(例如，是否应用RST或者应用某一主变换(例如，DCT2))。
i.例如，仅在应用RST时应用该图案。
1)例如，当并且仅当对M×N(M＞＝8,N＞＝8)块应用RST时应用该图案，而不管信令通知的变换索引如何。
a.替代性地，此外，可以应用项目符号27-29。
ii.例如，在使用某一变换时应用该图案。
d.在一个示例中，可以有从具有更多的允许系数的更大残差图案定义或推导的多个残差图案。
iii.在一个示例中，对于每一残差图案而言，可以定义多个变换矩阵。
1)替代性地，此外，还可以信令通知所选的残差图案的指示以及与所选的图案相关联的多种变换中的变换。
iv.在一个示例中，可以通过排除与K*L变换矩阵中的较小变换系数相关联的位置而推导出残差图案。
1)在一个示例中，可以通过排除与前K0个最小变换系数相关联的位置而推导出第一残差图案。因此，可以向(K*L-K0)个位置分配残差。
2)在一个示例中，可以通过排除与前K1个最小变换系数相关联的位置而推导出第二残差图案，其中，K1不等于K0。因此，可以向(K*L-K1)个位置分配残差。
e.在一个示例中，可以对小于最大变换块的块应用以上示例。
f.在一个示例中，如何选择该图案可以取决于当前块和/或其相邻块的颜色分量/编解码信息。
g.在一个示例中，“对块应用RST”意味着对该块应用二次变换(例如，LFNST索引不等于0(例如，等于1或2))。
重新训练的LFNST矩阵和信令通知
33.可以修改RST矩阵。
a.在一个示例中，可以将16×16RST矩阵修改为5.17中所示的lowFreqTransMatrix，其中，nTrS等于16。
b.在一个示例中，可以将16×48RST矩阵修改为5.17中所示的lowFreqTransMatrix，其中，nTrS等于48。
34.可以通过在线重新训练修改RST矩阵。
a.在一个示例中，可以由重建的变换系数块重新训练RST矩阵，并且可以应用特征分解(或谱分解)，以计算特征值或特征向量。特征向量或排序后的特征向量可以构成重新训练的RST矩阵。
i.在一个示例中，可以在编码器处和解码器处都应用RST重新训练。
ii.在一个示例中，可以仅在编码器处应用RST重新训练。
b.在一个示例中，可以仅在对帧内条带(或帧内图片)编码或解码之后修改RST矩阵。
c.在一个示例中，可以使用重新训练的RST矩阵代替原始RST矩阵。
i.替代性地，可以使用重新训练的RST矩阵代替原始RST矩阵的部分。
d.在一个示例中，可以使用重新训练的RST矩阵作为附加RST矩阵集合。
e.在一个示例中，可以从编码器到解码器对重新训练的RST矩阵进行信令通知。
i.在一个示例中，可以在条带标头、图片标头(或图片参数集(Picture ParameterSet，PPS))或调适参数集(AdaptionParameter Set，APS)中信令通知重新训练的RST矩阵。
ii.在一个示例中，可以信令通知原始RST矩阵与重新训练的RST矩阵之间的差值。
1)替代性地，可以信令通知先前信令通知的RST矩阵与重新训练的RST矩阵之间的差值。
iii.在一个示例中，可以只信令通知重新训练的RST矩阵的部分。
1)在一个示例中，可以只信令通知M个RST矩阵集合中的N个集合(N＜M)。
2)在一个示例中，只信令通知RST矩阵中的左上W*H子矩阵。
上文描述的示例可以被结合到下文描述的方法(例如，方法2200、2210、2220、2230、2240和2250)的上下文当中，这些方法可以是在视频解码器或者视频编码器处实施的。
图22A示出了用于视频处理的示例性方法的流程图。方法2200包括在步骤2202中，为将缩减的二次变换应用于当前视频块，基于当前视频块的特点选择变换集或变换矩阵。
方法2200包括在步骤2204中，将所选的变换集或变换矩阵应用于当前视频块的部分，作为当前视频块与包括当前视频块的视频的比特流表示之间的转换的部分。
在一些实施例中，当前视频块的部分是当前视频块的右上子区域、右下子区域、左下子区域或中心子区域。
在一些实施例中，当前视频块的特点是当前视频块的帧内预测模式或主变换矩阵。
在一些实施例中，该特点是当前视频块的颜色分量。在一个示例中，为当前视频块的亮度分量选择第一变换集，并且其中，为当前视频块的一个或多个色度分量选择不同于第一变换集的第二变换集。
在一些实施例中，该特点是当前视频块的帧内预测模式或帧内编解码方法。在一个示例中，该帧内预测方法包括基于多参考线(multiple reference line，MRL)的预测方法或者基于矩阵的帧内预测方法。在另一示例中，在当前视频块是跨分量线性模型(cross-component linear model，CCLM)编解码块时选择第一变换集，并且其中，在当前视频块是非CCLM编解码块时选择不同于第一变换集的第二变换集。在又一示例中，在当前视频块采用联合色度残差编解码方法编解码时选择第一变换集，并且其中，在当前视频块不采用联合色度残差编解码方法编解码时选择不同于第一变换集的第二变换集。
在一些实施例中，该特点是当前视频块的主变换。
图22B示出了用于视频处理的示例性方法的流程图。方法2210包括在步骤2212中，基于与当前视频块相关联的一个或多个系数，做出关于选择性地将对于缩减二次变换(RST)的应用的边信息的信令通知包含到当前视频块的比特流表示当中的决策。
方法2210包括在步骤2214中，基于该决策执行当前视频块与包括该当前视频块的视频的比特流表示之间的转换。
在一些实施例中，该一个或多个系数包括按照当前视频块的扫描顺序的最后非零系数。
在一些实施例中，该一个或多个系数包括处于当前视频块的部分区域内的多个系数。在一个示例中，该部分区域包括可以应用RST的一个或多个编解码组。在另一个示例中，该部分区域包括按照当前视频块的扫描顺序的前M个编解码组或者最后M个编解码组。在又一个示例中，该部分区域包括按照当前视频块的反扫描顺序的前M个编解码组或者后M个编解码组。在又一个示例中，还基于该多个系数中的一个或多个非零系数的能量做出该决策。
图22C示出了用于视频处理的示例性方法的流程图。方法2220包括在步骤2222中，为了将缩减的二次变换(RST)应用于当前视频块，配置当前视频块的比特流表示，其中，在编解码残差信息之前在该比特流表示中信令通知与RST有关的语法元素。
方法2220包括在步骤2224中，基于该配置执行当前视频块与当前视频块的比特流表示之间的转换。
在一些实施例中，信令通知与RST有关的语法元素是基于至少一个编解码块标志或者变换选择模式的使用。
在一些实施例中，该比特流表示排除对与具有全零系数的编解码组相对应的残差信息的编解码。
在一些实施例中，编解码残差信息基于RST的应用。
图22D示出了用于视频处理的示例性方法的流程图。方法2230包括在步骤2232中，为了将缩减二次变换(RST)应用于当前视频块，配置当前视频块的比特流表示，其中，在变换跳过指示或者多变换集(MTS)索引之前在该比特流表示中信令通知与RST有关的语法元素。
方法2230包括在步骤2234中，基于该配置执行当前视频块与当前视频块的比特流表示之间的转换。
在一些实施例中，该变换跳过指示或MTS索引基于与RST有关的语法元素。
图22E示出了用于视频处理的示例性方法的流程图。方法2240包括在步骤2242中，基于当前视频块的特点，配置为编解码缩减二次变换(RST)的索引的上下文模型。
方法2240包括在步骤2244中，基于该配置执行当前视频块与包括该当前视频块的视频的比特流表示之间的转换。
在一些实施例中，该特点是多变换选择(MTS)过程的显式或隐式启用。
在一些实施例中，该特点是在当前视频块中启用跨分量线性模型(CCLM)编解码模式。
在一些实施例中，该特点是当前视频块的尺寸。
在一些实施例中，该特点是应用于当前视频块的分割处理的划分深度。在一个示例中，该分割处理是四叉树(QT)分割处理、二叉树(BT)分割处理或者三叉树(TT)分割处理。
在一些实施例中，该特点是当前视频块的颜色格式或颜色分量。
在一些实施例中，该特点排除当前视频块的帧内预测模式和多变换选择(MTS)处理的索引。
图22F示出了用于视频处理的示例性方法的流程图。方法2250包括在步骤2252中，基于当前视频块的特点，做出关于对当前视频块选择性地应用逆缩减二次变换(RST)处理的决策。
方法2250包括在步骤2254中，基于该决策执行当前视频块与包括该当前视频块的视频的比特流表示之间的转换。
在一些实施例中，该特点是当前视频块的编解码组的编解码块标志。在一个示例中，不应用逆RST处理，并且其中，左上编解码组的编解码块标志为零。在另一个示例中，不应用逆RST处理，并且其中，按照当前视频块的扫描顺序的第一和第二编解码组的编解码块标志为零。
在一些实施例中，该特点是当前视频块的高度(M)或宽度(N)。在一个示例中，不应用逆RST处理，并且其中，(i)M＝8并且N＝4，或者(ii)M＝4并且N＝8。
如先前章节中的列举(例如，项目27到29)当中所进一步描述的，在一些实施例中，一种视频处理方法包括：为了包括子块的当前视频块的编解码表示与当前视频块之间的转换，基于编解码条件确定为子块的转换应用的归零区域；以及基于该确定执行该转换。
在这种方法中，编解码条件包括子块的尺寸(例如，参见项目27)。
在这种方法中，编解码条件包括该转换期间使用的二次变换的尺寸(例如，参见项目28)。
在一些实施例中，该转换是使用缩减尺寸变换矩阵执行的(例如，参见项目29)。
5所公开技术的示例实施方式
在下文的示例性实施例中，通过粗斜体突出表示对JVET-N0193施加的改变。采用双括号标记删除的文本(例如，[[a]]表示删除字母“a”)。
5.1实施例#1
对RST索引的信令通知取决于该块的子区域内的而非整个块内的非零系数的数量。
7.3.6.11残差编解码语法
/>
/>
替代性地，该条件可以被下述内容替代：
5.2实施例#2
根据某些CG的编解码块标志，可以不调用RST。
8.7.4.对于经缩放的变换系数的变换过程
8.7.4.1概述
这一过程的输入为：
-亮度位置(xTbY,yTbY)，规定相对于当前图片的左上亮度样点的当前亮度变换块的左上样点，
-变量nTbW，规定当前变换块的宽度，
-变量nTbH，规定当前变换块的高度，
-变量cIdx，规定当前块的颜色分量，
-经缩放的变换系数的(nTbW)×(nTbH)数组d[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
这一过程的输出是残差样点的(nTbW)×(nTbH)数组r[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
st_idx[xTbY][yTbY]不等于0，那么以下内容适用：
1.如下推导变量nStSize、log2StSize、numStX、numStY和nonZeroSize：
-如果nTbW和nTbH两者大于或等于8，那么将log2StSize设置为3并且将nStOutSize设置为48。
-否则，将log2StSize设置为2并且将nStOutSize设置为16。
-将nStSize设置为(1＜＜log2StSize)。
-如果nTbH等于4并且nTbW大于8，那么将numStX设置为等于2。
-否则，将numStX设置为等于1。
-如果nTbW等于4并且nTbH大于8，那么将numStY设置为等于2。
-否则，将numStY设置为等于1。
-如果nTbW和nTbH两者均等于4，或者nTbW和nTbH两者均等于8，那么将nonZeroSize设置为等于8。
-否则，将nonZeroSize设置为等于16。
2.对于xSbIdx＝0..numStX-1并且ySbIdx＝0..numStY-1而言，以下内容适用：
-如下推导变量数组u[x]，其中，x＝0..nonZeroSize-1：
xC＝(xSbIdx＜＜log2StSize)+DiagScanOrder[log2StSize][log2StSize][x][0]
yC＝(ySbIdx＜＜log2StSize)+DiagScanOrder[log2StSize][log2StSize][x][1]
u[x]＝d[xC][yC]
-通过在以经缩放的变换系数的变换输入长度nonZeroSize、变换输出长度nStOutSize、列表u[x](其中，x＝0..nonZeroSize-1)、变换集选择的索引stPredModeIntra以及变换集中的变换选择索引st_idx[xTbY][yTbY]为输入的情况下调用条款8.7.4.4中规定的一维变换过程而将u[x](其中，x＝0..nonZeroSize-1)变换成变量数组v[x](其中，x＝0..nStOutSize-1)，并且输出为列表v[x](其中，x＝0..nStOutSize-1)。将变量stPredModeIntra设置为在条款8.4.4.2.1中规定的predModeIntra。
-如下推导数组d[(xSbIdx＜＜log2StSize)+x][(ySbIdx＜＜log2StSize)+y]，其中，x＝0..nStSize-1，y＝0..nStSize-1：
-如果stPredModeIntra小于或等于34，或者等于INTRA_LT_CCLM、INTRA_T_CCLM或INTRA_L_CCLM，那么以下内容适用：
d[(xSbIdx＜＜log2StSize)+x][(ySbIdx＜＜log2StSize)+y]＝(y＜4)？v[x+(y＜＜log2StSize)]：((x＜4)？v[32+x+((y-4)＜＜2)]：d[(xSbIdx＜＜log2StSize)+x][(ySbIdx＜＜log2StSize)+y])
-否则，以下内容适用：
d[(xSbIdx＜＜log2StSize)+x][(ySbIdx＜＜log2StSize)+y]＝(y＜4)？v[y+(x＜＜log2StSize)]：((x＜4)？v[32+(y-4)+(x＜＜2)]：d[(xSbIdx＜＜log2StSize)+x][(ySbIdx＜＜log2StSize)+y])
如下推导变量implicitMtsEnabled：
-如果sps_mts_enabled_flag等于1，并且以下条件之一为真，那么将implicitMtsEnabled设置为等于1：
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT
-cu_sbt_flag等于1并且Max(nTbW，nTbH)小于或等于32
-sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag两者均等于0，并且CuPredMode[xTbY][yTbY]等于MODE_INTRA
-否则，将implicitMtsEnabled设置为等于0。
如下推导规定水平变换内核的变量trTypeHor以及规定垂直变换内核的变量trTypeVer：
-如果cIdx大于0，那么将trTypeHor和trTypeVer设置为等于0。
-否则，如果implicitMtsEnabled等于1，那么以下适用：
-如果IntraSubPartitionsSplitType不等于ISP_NO_SPLIT，那么依据intraPredMode在表格8-15中规定了trTypeHor和trTypeVer。
-否则，如果cu_sbt_flag等于1，那么依据cu_sbt_horizontal_flag和cu_sbt_pos_flag在表格8-14中规定了trTypeHor和trTypeVer。
-否则(sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag等于0)，如下推导trTypeHor和trTypeVer：
trTypeHor＝(nTbW＞＝4&&nTbW＜＝16&&nTbW＜＝nTbH)？1：0 (8-1029)
trTypeVer＝(nTbH＞＝4&&nTbH＜＝16&&nTbH＜＝nTbW)？1：0 (8-1030)
-否则，依据tu_mts_idx[xTbY][yTbY]在表格8-13中规定了trTypeHor和trTypeVer。
如下推导变量nonZeroW和nonZeroH：
nonZeroW＝Min(nTbW，(trTypeHor＞0)？16：32) (8-1031)
nonZeroH＝Min(nTbH，(trTypeVer＞0)？16：32) (8-1032)
如下推导残差样点的(nTbW)×(nTbH)数组r：
1.在nTbH大于1时，通过在以变换块高度nTbH、经缩放的变换系数的非零高度nonZeroH、列表d[x][y](其中，y＝0..nonZeroH-1)和被设置为trTypeVer的变换类型变量trType为输入的情况下对每一列x＝0..nonZeroW-1调用条款8.7.4.2中规定的一维变换过程而将经缩放变换系数d[x][y](其中，x＝0..nonZeroW-1，y＝0..nonZeroH-1)的每一(垂直)列变换成e[x][y](其中，x＝0..nonZeroW-1，y＝0..nTbH-1)，并且输出为列表e[x][y](其中，y＝0..nTbH-1)。
2.在nTbH和nTbW两者均大于1时，如下推导中间样点值g[x][y]，其中，x＝0..nonZeroW-1，y＝0..nTbH-1：
g[x][y]＝Clip3(CoeffMin，CoeffMax，(e[x][y]+64)＞＞7) (8-1033)
在nTbW大于1时，通过在以变换块的宽度nTbW、所得到的数组g[x][y]的非零宽度nonZeroW、列表g[x][y](其中，x＝0..nonZeroW-1)和被设置为trTypeHor的变换类型变量trType为输入的情况下调用条款8.7.4.2中规定的一维变换过程而将所得数组g[x][y](其中，x＝0..nonZeroW-1，y＝0..nTbH-1)的每一(水平)行变换成r[x][y](其中，x＝0..nTbW-1，y＝0..nTbH-1)，并且输出为列表r[x][y](其中，x＝0..nTbW-1)。
5.3实施例#3
修订RST索引的上下文建模。
5.3.1备选方案#1
9.5.4.2.8对于语法元素st_idx的ctxInc的推导过程
这一过程的输入为颜色分量索引cIdx、规定依据cIdx的相对于当前图片的左上样点的当前亮度或色度编解码块的左上样点的亮度或色度位置(x0，y0)、数类型treeType、如条款8.4.2中规定的亮度帧内预测模式IntraPredModeY[x0][y0]、如条款7.4.7.5中规定的规定色度样点的帧内预测模式的语法元素intra_chroma_pred_mode[x0][y0]、 以及多变换选择索引tu_mts_idx[x0][y0]。
这一过程的输出为变量ctxInc。
如下推导变量intraModeCtx：
如果cIdx等于0，那么如下推导intraModeCtx：
intraModeCtx＝(IntraPredModeY[x0][y0]＜＝1)？1：0
否则(cIdx大于0)，如下推导intraModeCtx：
intraModeCtx＝(intra_chroma_pred_mode[x0][y0]＞＝4)？1：0
如下推导变量mtsCtx：
&&treeType！＝SINGLE_TREE)？1：0
如下推导变量ctxInc：
ctxInc＝(binIdx＜＜1)+intraModeCtx+(mtsCtx＜＜2)
5.3.2备选方案#2
表格9-15-对具有上下文编解码二进制位的语法元素的ctxInc分配
[[9.5.4.2.8对于语法元素st_idx的ctxInc的推导过程
这一过程的输入为颜色分量索引cIdx、规定依据cIdx的相对于当前图片的左上样点的当前亮度或色度编解码块的左上样点的亮度或色度位置(x0，y0)、树类型treeType、如条款8.4.2中规定的亮度帧内预测模式IntraPredModeY[x0][y0]、如条款7.4.7.5中规定的规定色度样点的帧内预测模式的语法元素intra_chroma_pred_mode[x0][y0]以及多变换选择索引tu_mts_idx[x0][y0]。
这一过程的输出为变量ctxInc。
如下推导变量intraModeCtx：
如果cIdx等于0，那么如下推导intraModeCtx：
intraModeCtx＝(IntraPredModeY[x0][y0]＜＝1)？1：0
否则(cIdx大于0)，如下推导intraModeCtx：
intraModeCtx＝(intra_chroma_pred_mode[x0][y0]＞＝4)？1：0
如下推导变量mtsCtx：
mtsCtx＝(tu_mts_idx[x0][y0]＝＝0&&treeType！＝SINGLE_TREE)？1：0
如下推导变量ctxInc：
ctxInc＝(binIdx＜＜1)+intraModeCtx+(mtsCtx＜＜2)]]
5.4实施例#4
对应于项目符号7.c和7.d。
7.3.7.11残差编解码语法
在备选示例中，以下内容可以适用：
/>
5.5实施例#5
对应于项目符号19。
7.3.6.5编解码单元语法
/>
5.6实施例#6
对应于项目符号20。
7.3.6.5编解码单元语法
/>
5.7实施例#7
对应于项目符号21。
7.3.7.11残差编解码语法
/>
5.8实施例#8
由分配给非普通帧内预测模式的默认模式推导RST变换集索引。以粗斜体突出表示新添加的部分，并且以双括号标记和突出表示删除的部分(例如，[[a]]表示字母“a”的删除)。
8.7.4.1概述
这一过程的输入为：
-亮度位置(xTbY,yTbY)，规定相对于当前图片的左上亮度样点的当前亮度变换块的左上样点，
-变量nTbW，规定当前变换块的宽度，
-变量nTbH，规定当前变换块的高度，
-变量cIdx，规定当前块的颜色分量，
-经缩放的变换系数的(nTbW)×(nTbH)数组d[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
这一过程的输出是残差样点的(nTbW)×(nTbH)数组r[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
在lfnst_idx[xTbY][yTbY]不等于0并且nTbW和nTbH两者均大于或等于4时，以下内容适用：
-如下推导变量predModeIntra、nLfnstOutSize、log2LfnstSize、nLfnstSize和nonZeroSize：
predModeIntra＝(cIdx＝＝0)？IntraPredModeY[xTbY][yTbY]：IntraPredModeC[xTbY][yTbY] (8-965)
nLfnstOutSize＝(nTbW＞＝8&&nTbH＞＝8)？48：16 (8-966)
log2LfnstSize＝(nTbW＞＝8&&nTbH＞＝8)？3：2 (8-967)
nLfnstSize＝1＜＜log2LfnstSize (8-968)
nonZeroSize＝((nTbW＝＝4&&nTbH＝＝4)||(nTbW＝＝8&&nTbH＝＝8))？8：16(8-969)
-在intra_mip_flag[xTbComp][yTbComp]等于1并且cIdx等于0时，将predModeIntra设置为等于INTRA_PLANAR。
-在predModeIntra等于INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM时，predModeIntra：[[设置为等于IntraPredModeY[xTbY+nTbW/2][yTbY+nTbH/2]。]]
-在以predModeIntra、nTbW、nTbH和cIdx为输入并且以经修改的predModeIntra为输出的情况下调用如条款8.4.5.2.6中规定的宽角度帧内预测模式映射过程。
替代性地，以下内容适用：
-在predModeIntra等于INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM时，predModeIntra：[[设置为等于IntraPredModeY[xTbY+nTbW/2][yTbY+nTbH/2]。]]
5.9实施例#9
依据颜色格式，由分配给非普通帧内预测模式的默认模式推导RST变换集索引。以粗斜体突出表示新添加的部分，并且采用双括号标记和突出表示删除的部分(例如，[[a]]表示字母“a”的删除)。
8.7.4.2概述
这一过程的输入为：
-亮度位置(xTbY,yTbY)，规定相对于当前图片的左上亮度样点的当前亮度变换块的左上样点，
-变量nTbW，规定当前变换块的宽度，
-变量nTbH，规定当前变换块的高度，
-变量cIdx，规定当前块的颜色分量，
-经缩放的变换系数的(nTbW)×(nTbH)数组d[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
这一过程的输出是残差样点的(nTbW)×(nTbH)数组r[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
在lfnst_idx[xTbY][yTbY]不等于0并且nTbW和nTbH两者均大于或等于4时，以下内容适用：
-如下推导变量predModeIntra、nLfnstOutSize、log2LfnstSize、nLfnstSize和nonZeroSize：
predModeIntra＝(cIdx＝＝0)？IntraPredModeY[xTbY][yTbY]：IntraPredModeC[xTbY][yTbY] (8-965)
nLfnstOutSize＝(nTbW＞＝8&&nTbH＞＝8)？48：16 (8-966)
log2LfnstSize＝(nTbW＞＝8&&nTbH＞＝8)？3：2 (8-967)
nLfnstSize＝1＜＜log2LfnstSize (8-968)
nonZeroSize＝((nTbW＝＝4&&nTbH＝＝4)||(nTbW＝＝8&&nTbH＝＝8))？8：16(8-969)
-在intra_mip_flag[xTbComp][yTbComp]等于1并且cIdx等于0时，将predModeIntra设置为等于INTRA_PLANAR。
-在predModeIntra等于INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM时，predModeIntra：[[设置为等于IntraPredModeY[xTbY+nTbW/2][yTbY+nTbH/2]。]]
-在以predModeIntra、nTbW、nTbH和cIdx为输入并且以经修改的predModeIntra为输出的情况下调用如条款8.4.5.2.6中规定的宽角度帧内预测模式映射过程。
/>
替代性地，以下内容适用：
-在predModeIntra等于INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM时，predModeIntra：[[设置为等于IntraPredModeY[xTbY+nTbW/2][yTbY+nTbH/2]。]]
5.10实施例#10
在这一实施例中，检查当前色度块的对应亮度区域的中心亮度样点是采用MIP模式，还是IBC模式，还是调色板模式编解码的；而且DM的设置也基于该中心亮度样点。
以粗斜体突出表示新添加的部分，并且采用双括号标记和突出表示删除的部分(例如，[[a]]表示字母“a”的删除)。
8.4.3色度帧内预测模式的推导过程
对这一过程的输入为：
-亮度位置(xCb,yCb)，规定相对于当前图片的左上亮度样点的当前色度编解码块的左上样点，
-变量cbWidth，规定亮度样点中的当前编解码块的宽度，
-变量cbHeight，规定亮度样点中的当前编解码块的高度。
在这个过程中，推导出色度帧内预测模式IntraPredModeC[xCb][yCb]。
如下推导对应亮度帧内预测模式lumaIntraPredMode：
-如果intra_mip_flag[xCb+][yCb+/>]等于1，那么将lumaIntraPredMode设置为等于INTRA_PLANAR。
-否则，如果CuPredMode[0][xCb+][yCb+/>]等于MODE_IBC或者MODE_PLT，那么将lumaIntraPredMode设置为等于INTRA_DC。
-否则，将lumaIntraPredMode设置为等于IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]。
使用如表格8-2中规定的cclm_mode_mode_flag、cclm_mode_idx、intra_chroma_pred_mode和lumaIntraPredMode推导色度帧内预测模式IntraPredModeC[xCb][yCb]。
表8-2-依据cclm_mode_flag、cclm_mode_idx、intra_chroma_pred_mode和lumaIntraPredMode的IntraPredModeC[xCb][yCb]的规范
在chroma_format_idc等于2时，如表格8-3中所规定的使用表格8-2中的色度帧内预测模式X推导色度帧内预测模式Y，并且之后将色度帧内预测模式X设置为等于色度帧内预测模式Y。
5.11
采用MIP或IBC或调色板模式编解码；并且DM的设置为实施例#11
在这一实施例中，检查当前色度块的对应亮度区域的左上亮度样点是否还基于中心亮度样点。
以粗斜体突出表示新添加的部分，并且以双括号标记和突出表示删除的部分(例如，[[a]]表示字母“a”的删除)。
8.4.3色度帧内预测模式的推导过程
对这一过程的输入为：
-亮度位置(xCb,yCb)，规定相对于当前图片的左上亮度样点的当前色度编解码块的左上样点，
-变量cbWidth，规定亮度样点中的当前编解码块的宽度，
-变量cbHeight，规定亮度样点中的当前编解码块的高度。
在这个过程中，推导出色度帧内预测模式IntraPredModeC[xCb][yCb]。
如下推导对应亮度帧内预测模式lumaIntraPredMode：
-如果intra_mip_flag[xCb][yCb]等于1，那么将lumaIntraPredMode设置为等于INTRA_PLANAR。
-否则，如果CuPredMode[0][xCb][yCb]等于MODE_IBC或者MODE_PLT，那么将lumaIntraPredMode设置为等于INTRA_DC。
-否则，将lumaIntraPredMode设置为等于IntraPredModeY[xCb[[+cbWidth/2]]][yCb[[+cbHeight/2]]]。
使用如表格8-2中规定的cclm_mode_mode_flag、cclm_mode_idx、intra_chroma_pred_mode和lumaIntraPredMode推导色度帧内预测模式IntraPredModeC[xCb][yCb]。
表8-2-依据cclm_mode_flag、cclm_mode_idx、intra_chroma_pred_mode和lumaIntraPredMode的IntraPredModeC[xCb][yCb]的规范
在chroma_format_idc等于2时，如表格8-3中所规定的使用表格8-2中的色度帧内预测模式X推导色度帧内预测模式Y，并且之后将色度帧内预测模式X设置为等于色度帧内预测模式Y。
实施例#12
这一实施例示出了关于RST(又名LFNST)索引的上下文建模的示例。采用双括号标记和突出表示删除的部分(例如，[[a]]表示删除字母“a”)。
表格9-82-对具有上下文编解码二进制位的语法元素的ctxInc分配
替代性地，以下内容可以适用：
| lfnst_idx[][] | 0 | 旁路 | na | na | na | na |
实施例#13
对于RST 4×4的修订的归零范围。以粗斜体突出表示在JVET-O2001上新添加的部分，并且采用双括号标记和突出表示删除的部分(例如，[[a]]表示字母“a”的删除)。
7.3.8.11残差编解码语法
替代性地，以下内容可以适用：
8.7.4.1概述
这一过程的输入为：
-亮度位置(xTbY,yTbY)，规定相对于当前图片的左上亮度样点的当前亮度变换块的左上样点，
-变量nTbW，规定当前变换块的宽度，
-变量nTbH，规定当前变换块的高度，
-变量cIdx，规定当前块的颜色分量，
-经缩放的变换系数的(nTbW)×(nTbH)数组d[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
这一过程的输出是残差样点的(nTbW)×(nTbH)数组r[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
在lfnst_idx[xTbY][yTbY]不等于0并且nTbW和nTbH两者均大于或等于4时，以下内容适用：
-如下推导变量predModeIntra、nLfnstOutSize、log2LfnstSize、nLfnstSize和nonZeroSize：
predModeIntra＝(cIdx＝＝0)？IntraPredModeY[xTbY][yTbY]：IntraPredModeC[xTbY][yTbY] (8-965)
nLfnstOutSize＝(nTbW＞＝8&&nTbH＞＝8)？48：16 (8-966)
log2LfnstSize＝(nTbW＞＝8&&nTbH＞＝8)？3：2 (8-967)
nLfnstSize＝1＜＜log2LfnstSize (8-968)
-在intra_mip_flag[xTbComp][yTbComp]等于1并且cIdx等于0时，将predModeIntra设置为等于INTRA_PLANAR。
实施例#14
将RST4×4的变换矩阵的维度缩减一半。以粗斜体突出表示在JVET-O2001上新添加的部分，并且采用双括号标记和突出表示删除的部分(例如，[[a]]表示字母“a”的删除)。
8.7.4.3低频不可分变换矩阵推导过程
这一过程的输入为：
-变量nTrS，规定变换输出长度，
-变量predModeIntra，规定对于LFNST集合选择的帧内预测模式，
-变量lfnstIdx，规定对于所选LFNST集合中的变换选择的LFNST索引。
这一过程的输出为变换矩阵lowFreqTransMatrix。
依据predModeIntra在表格Table 8-16中规定了变量lfnstTrSetIdx。
表格8-16-lfnstTrSetIdx的规范
| predModeIntra | lfnstTrSetIdx |
| predModeIntra＜0 | 1 |
| 0＜＝predModeIntra＜＝1 | 0 |
| 2＜＝predModeIntra＜＝12 | 1 |
| 13＜＝predModeIntra＜＝23 | 2 |
| 24＜＝predModeIntra＜＝44 | 3 |
| 45＜＝predModeIntra＜＝55 | 2 |
| 56＜＝predModeIntra＜＝80 | 1 |
如下基于nTrS、lfnstTrSetIdx和lfnstIdx推导变换矩阵lowFreqTransMatrix：
-如果nTrS等于16，lfnstTrSetIdx等于0，并且lfnstIdx等于1，那么以下内容适用：
否则，如果nTrS等于16，lfnstTrSetIdx等于0，并且lfnstIdx等于2，那么以下内容适用：
否则，如果nTrS等于16，lfnstTrSetIdx等于1，并且lfnstIdx等于1，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于1，并且lfnstIdx等于2，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于2，并且lfnstIdx等于1，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于2，并且lfnstIdx等于2，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于3，并且lfnstIdx等于1，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于3，并且lfnstIdx等于2，那么以下内容适用：
-否则，如果nTrS等于48，lfnstTrSetIdx等于0，并且lfnstIdx等于1，那么以下内容适用：
实施例#13
对于所有块统一归零范围。以粗斜体突出表示在JVET-O2001上新添加的部分，并且采用双括号标记和突出表示删除的部分(例如，[[a]]表示字母“a”的删除)。
7.3.8.12残差编解码语法
/>
8.7.4.2概述
这一过程的输入为：
-亮度位置(xTbY,yTbY)，规定相对于当前图片的左上亮度样点指定当前亮度变换块的左上样点，
-变量nTbW，规定当前变换块的宽度，
-变量nTbH，规定当前变换块的高度，
-变量cIdx，规定当前块的颜色分量，
-经缩放的变换系数的(nTbW)×(nTbH)数组d[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
这一过程的输出是残差样点的(nTbW)×(nTbH)数组r[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
在lfnst_idx[xTbY][yTbY]不等于0并且nTbW和nTbH两者均大于或等于4时，以下内容适用：
-如下推导变量predModeIntra、nLfnstOutSize、log2LfnstSize、nLfnstSize和nonZeroSize：
predModeIntra＝(cIdx＝＝0)？IntraPredModeY[xTbY][yTbY]：IntraPredModeC[xTbY][yTbY] (8-965)
nLfnstOutSize＝(nTbW＞＝8&&nTbH＞＝8)？48：16 (8-966)
log2LfnstSize＝(nTbW＞＝8&&nTbH＞＝8)？3：2 (8-967)
nLfnstSize＝1＜＜log2LfnstSize (8-968)
nonZeroSize[[＝((nTbW＝＝4&&nTbH＝＝4)||(nTbW＝＝8&&nTbH＝＝8))？]]8[[：16]] (8-969)
在intra_mip_flag[xTbComp][yTbComp]等于1并且cIdx等于0时，将predModeIntra设置为等于INTRA_PLANAR。
实施例#14
这一实施例给出了对于应用于采用RST(又名LFNST)编解码的M×N(M＞＝8，N＞＝8)块的16×32残差图案的示例。替代性地，这一实施例给出了对于采用RST(又名LFNST)编解码的块的示例，并且nLfnstSize等于8。
以粗斜体突出表示在JVET-O2001上新添加的部分，并且采用双括号标记和突出表示删除的部分(例如，[[a]]表示字母“a”的删除)。
对于经缩放的变换系数的变换过程
8.7.4.1概述
这一过程的输入为：
-亮度位置(xTbY，yTbY)，规定相对于当前图片的左上亮度样点的当前亮度变换块的左上样点，
-变量nTbW，规定当前变换块的宽度，
-变量nTbH，规定当前变换块的高度，
-变量cIdx，规定当前块的颜色分量，
-经缩放的变换系数的(nTbW)×(nTbH)数组d[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
这一过程的输出是残差样点的(nTbW)×(nTbH)数组r[x][y]，其中，x＝0..nTbW-1，y＝0..nTbH-1。
在lfnst_idx[xTbY][yTbY]不等于0并且nTbW和nTbH两者均大于或等于4时，以下内容适用：
-如下推导变量predModeIntra、nLfnstOutSize、log2LfnstSize、nLfnstSize和nonZeroSize：
predModeIntra＝(cIdx＝＝0)？IntraPredModeY[xTbY][yTbY]：IntraPredModeC[xTbY][yTbY] (8-965)
log2LfnstSize＝(nTbW＞＝8&&nTbH＞＝8)？3：2 (8-967)
nLfnstSize＝1＜＜log2LfnstSize (8-968)
nonZeroSize＝((nTbW＝＝4&&nTbH＝＝4)||(nTbW＝＝8&&nTbH＝＝8))？8：16(8-969)
-在intra_mip_flag[xTbComp][yTbComp]等于1并且cIdx等于0时，将predModeIntra设置为等于INTRA_PLANAR。
-在predModeIntra等于INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM时，将predModeIntra设置为等于IntraPredModeY[xTbY+nTbW/2][yTbY+nTbH/2]。
-在以predModeIntra、nTbW、nTbH和cIdx为输入并且以经修改的predModeIntra为输出的情况下调用如条款8.4.5.2.6中规定的宽角度帧内预测模式映射过程。
-如下推导列表u[x]的值，其中，x＝0..nonZeroSize-1：
xC＝DiagScanOrder[2][2][x][0]
(8-970)
yC＝DiagScanOrder[2][2][x][1]
(8-971)
u[x]＝d[xC][yC] (8-972)
-在以经缩放的变换系数的输入长度nonZeroSize、被设置为等于nLfnstOutSize的变换输出长度nTrS、经缩放的非零变换系数的列表u[x](其中，x＝0..nonZeroSize-1)、用于LFNST集合选择的帧内预测模式predModeIntra以及用于所选LFNST集合中的变换选择的LFNST索引lfnst_idx[xTbY][yTbY]为输入并且以列表v[x](其中，x＝0..nLfnstOutSize-1)为输出的情况下调用条款8.7.4.2中规定的一维低频不可分变换过程。
-如下推导数组d[x][y]，其中，x＝0..nLfnstSize-1，y＝0..nLfnstSize-1：
-如果predModeIntra小于或等于34，那么以下内容适用：
-否则，以下内容适用：
如下推导变量implicitMtsEnabled：
-如果sps_mts_enabled_flag等于1，并且以下条件之一为真，那么将implicitMtsEnabled设置为等于1：
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT
-cu_sbt_flag等于1并且Max(nTbW，nTbH)小于或等于32
-sps_explicit_mts_intra_enabled_flag等于0，并且CuPredMode[0][xTbY][yTbY]等于MODE_INTRA并且lfnst_idx[x0][y0]等于0并且intra_mip_flag[x0][y0]等于0
-否则，将implicitMtsEnabled设置为等于0。
…
8.7.4.3低频不可分变换矩阵推导过程
这一过程的输入为：
-变量nTrS，规定变换输出长度，
-变量predModeIntra，规定对于LFNST集合选择的帧内预测模式，
-变量lfnstIdx，规定对于所选LFNST集合中的变换选择的LFNST索引。
这一过程的输出为变换矩阵lowFreqTransMatrix。
依据predModeIntra在表格Table 8-16中规定了变量lfnstTrSetIdx。
表格8-16-lfnstTrSetIdx的规范
| predModeIntra | lfnstTrSetIdx |
| predModeIntra＜0 | 1 |
| 0＜＝predModeIntra＜＝1 | 0 |
| 2＜＝predModeIntra＜＝12 | 1 |
| 13＜＝predModeIntra＜＝23 | 2 |
| 24＜＝predModeIntra＜＝44 | 3 |
| 45＜＝predModeIntra＜＝55 | 2 |
| 56＜＝predModeIntra＜＝80 | 1 |
如下基于nTrS、lfnstTrSetIdx和lfnstIdx推导变换矩阵lowFreqTransMatrix：
-如果nTrS等于16，lfnstTrSetIdx等于0，并且lfnstIdx等于1，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于0，并且lfnstIdx等于2，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于1，并且lfnstIdx等于1，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于1，并且lfnstIdx等于2，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于2并且lfnstIdx等于1，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于2并且lfnstIdx等于2，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于3，并且lfnstIdx等于1，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于3并且lfnstIdx等于2，那么以下内容适用：
-否则，如果nTrS等于[[48]]lfnstTrSetIdx等于0并且lfnstIdx等于1，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol16to31[m-[[16]]12][n]，其中，n＝0..15/>
其中，/>n＝0..15
-否则，如果nTrS等于[[48]]lfnstTrSetIdx等于0并且lfnstIdx等于2，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，n＝0..15
其中，/>n＝0..15/>
其中，/>n＝0..15
-否则，如果nTrS等于[[48]]lfnstTrSetIdx等于1并且lfnstIdx等于1，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，n＝0..15
其中，/>n＝0..15/>
其中，/>n＝0..15
-否则，如果nTrS等于[[48]]lfnstTrSetIdx等于1并且lfnstIdx等于2，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，n＝0..15
其中，/>n＝0..15/>
其中，/>n＝0..15
-否则，如果nTrS等于[[48]]lfnstTrSetIdx等于2并且lfnstIdx等于1，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，n＝0..15
其中，/>n＝0..15/>
其中，/>n＝0..15
-否则，如果nTrS等于[[48]]lfnstTrSetIdx等于2并且lfnstIdx等于2，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，n＝0..15
/>其中，/>n＝0..15
其中，/>n＝0..15
-否则，如果nTrS等于[[48]]lfnstTrSetIdx等于3并且lfnstIdx等于1，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，n＝0..15
/>其中，/>n＝0..15
其中，/>n＝0..15
-否则，如果nTrS等于[[48]]lfnstTrSetIdx等于3并且lfnstIdx等于2，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol16to31[m-[[16]]12][n]，其中，m＝[[16]]12..[[31]]23，n＝0..15
其中，/>n＝0..15
实施例#15
这一实施例给出了对于16×16RST(又名LFNST)矩阵和16×48RST矩阵的示例。以粗斜体突出表示在JVET-P2001上新添加的部分，并且采用双括号标记删除的文本(例如，[[a]]表示字母“a”的删除)。
低频不可分变换矩阵推导过程
这一过程的输入为：
-变量nTrS，规定变换输出长度，
-变量predModeIntra，规定用于LFNST集合选择的帧内预测模式。
这一过程的输出为变换矩阵lowFreqTransMatrix。
依据predModeIntra在表格Table 39中规定了变量lfnstTrSetIdx。
表格39-lfnstTrSetIdx的规范
| -predModeIntra | -lfnstTrSetIdx |
| -predModeIntra＜0 | -1 |
| -0＜＝predModeIntra＜＝1 | -0 |
| -2＜＝predModeIntra＜＝12 | -1 |
| -13＜＝predModeIntra＜＝23 | -2 |
| -24＜＝predModeIntra＜＝44 | -3 |
| -45＜＝predModeIntra＜＝55 | -2 |
| -56＜＝predModeIntra＜＝80 | -1 |
如下基于nTrS、lfnstTrSetIdx和lfnst_idx推导变换矩阵lowFreqTransMatrix：
-如果nTrS等于16，lfnstTrSetIdx等于0并且lfnst_idx等于1，那么以
下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于0并且lfnst_idx等于2，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于1并且lfnst_idx等于1，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于1并且lfnst_idx等于2，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于2并且lfnst_idx等于1，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于2并且lfnst_idx等于2，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于3并且lfnst_idx等于1，那么以下内容适用：
-否则，如果nTrS等于16，lfnstTrSetIdx等于3并且lfnst_idx等于2，那么以下内容适用：
-否则，如果nTrS等于48，lfnstTrSetIdx等于0并且lfnst_idx等于1，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中m＝0..15,n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol16to31[m-16][n]，其中m＝16..31,n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol32to47[m-32][n]，其中，m＝32..47,n＝0..15
/>
-否则，如果nTrS等于48，lfnstTrSetIdx等于0并且lfnst_idx等于2，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，m＝0..15，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol16to31[m-16][n]，其中，m＝16..31，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol32to47[m-32][n]，其中，m＝32..47，n＝0..15
/>
-否则，如果nTrS等于48，lfnstTrSetIdx等于1并且lfnst_idx等于1，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，m＝0..15，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol16to31[m-16][n]，其中，m＝16..31，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol32to47[m-32][n]，其中，m＝32..47，n＝0..15
/>
-否则，如果nTrS等于48，lfnstTrSetIdx等于1并且lfnst_idx等于2，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，m＝0..15，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol16to31[m-16][n]，其中，m＝16..31，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol32to47[m-32][n]，其中，m＝32..47，n＝0..15
/>
-否则，如果nTrS等于48，lfnstTrSetIdx等于2并且lfnst_idx等于1，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，m＝0..15，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol16to31[m-16][n]，其中，m＝16..31，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol32to47[m-32][n]，其中，m＝32..47，n＝0..15
/>
-否则，如果nTrS等于48，lfnstTrSetIdx等于2并且lfnst_idx等于2，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，m＝0..15，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol16to31[m-16][n]，其中，m＝16..31，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol32to47[m-32][n]，其中，m＝32..47，n＝0..15
-否则，如果nTrS等于48，lfnstTrSetIdx等于3并且lfnst_idx等于1，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，m＝0..15，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol16to31[m-16][n]，其中，m＝16..31，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol32to47[m-32][n]，其中，m＝32..47，n＝0..15
-否则，如果nTrS等于48，lfnstTrSetIdx等于3，并且lfnst_idx等于2，那么以下内容适用：
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol0to15[m][n]，其中，m＝0..15，n＝0..15
/>
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol16to31[m-16][n]，其中，m＝16..31，n＝0..15
lowFreqTransMatrix[m][n]＝lowFreqTransMatrixCol32to47[m-32][n]，其中，m＝32..47，n＝
0..15
图23A是视频处理装置2300的框图。装置2310可以用于实施本文描述的方法中的一者或多者。装置2310可以被体现到智能手机、平板电脑、计算机、物联网(IoT)接收器等当中。装置2310可以包括一个或多个处理器2312、一个或多个存储器2304以及视频处理硬件2316。(多个)处理器2312可以被配置为实施本文中描述的一种或多种方法(包括，但不限于方法2210、2220、2230、2240和2250)。(多个)存储器2304可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件2306可以用于在硬件电路中实施本文档中描述的一些技术。在一些实施例中，硬件2306可以至少部分地处于处理器2312(例如，图形协处理器)内。
图23B是可以实施所公开技术的视频处理***的框图的另一示例。图23B是示出了可以实施本文公开的各种技术的示例视频处理***2320的框图。各种实施方式可以包括***2320的一些或全部部件。***2320可以包括用于接收视频内容的输入2322。视频内容可以是按照原始或未压缩格式接收的，例如8比特或10比特多分量像素值，或者可以具有压缩或编码格式。输入2322可以表示网络接口、***总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(passive optical network，PON)等的有线接口，以及诸如Wi-Fi或蜂窝接口的无线接口。
***2320可以包括编解码部件2324，其可以实施本文档中所描述的各种编解码或编码方法。编解码部件2324可以降低从输入2322到编解码部件2324的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码部件2324的输出可以被存储，也可以通过所连接的通信进行传输，如通过部件2326所表示的。输入2322处接收的视频的存储或传达比特流(或经编解码的)表示可由部件2328用于生成像素值或发送到显示接口2340的可显示视频。从比特流表示生成用户可观看视频的处理有时称为视频解压缩。此外，尽管某些视频处理操作被称为“编解码”操作或工具，但应当理解的是，编解码工具或操作用在编码器处，并且逆转编解码结果的对应的解码工具或操作将由解码器执行。
***总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可体现在各种电子设备中，诸如移动电话、笔记本电脑、智能电话或其他能够执行数字数据处理和/或视频显示的设备。
所公开技术的一些实施例包括作出启用视频处理工具或模式的决策或决定。在一个示例中，当视频处理工具或模式被启用时，编码器将在视频块的处理中使用或实施该工具或模式，但不一定基于该工具或模式的使用来修改所得的比特流。也就是说，当基于决策或决定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知道已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说，将使用基于决策或决定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开技术的一些实施例包括作出禁用视频处理工具或模式的决策或决定。在一个示例中，当视频处理工具或模式被禁用时，编码器在将视频块转换为视频的比特流表示中将不使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知道并未使用曾基于决策或决定禁用的视频处理工具或模式对比特流做出修改的情况下处理比特流。
在本文中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法，反之亦然。当前视频块的比特流表示可以(例如)对应于在比特流内并置或散布在不同地方的比特，如语法所定义。例如，可以在依据经变换和编码的误差残差值并且还使用比特流中的标头和其他字段中的比特的情况下来编码宏块。
在一些实施例中，可以使用在关于图23A或23B描述的硬件平台上实施的装置来实施这些视频编解码方法。
可以利用以下基于条款的格式来描述各种技术和实施例。第一组条款描述了先前章节中的公开技术的某些特征和方面。
1.一种用于视频处理的方法，包括：基于当前视频块的特点选择变换集或变换矩阵，以便向当前视频块应用缩减二次变换；以及向当前视频块的部分应用所选的变换集或变换矩阵，以作为当前视频块与包括当前视频块的视频的比特流表示之间的转换的部分。
2.根据条款1所述的方法，其中，当前视频块的部分是当前视频块的右上子区域、右下子区域、左下子区域或中心子区域。
3.根据条款1或2所述的方法，其中，当前视频块的特点是当前视频块的帧内预测模式或主变换矩阵。
4.根据条款1所述的方法，其中，该特点是当前视频块的颜色分量。
5.根据条款4所述的方法，其中，为当前视频块的亮度分量选择第一变换集，并且其中，为当前视频块的一个或多个色度分量选择不同于第一变换集的第二变换集。
6.根据条款1所述的方法，其中，该特点是当前视频块的帧内预测模式或帧内编解码方法。
7.根据条款6所述的方法，其中，该帧内预测方法包括基于多参考线(MRL)的预测方法或者基于矩阵的帧内预测方法。
8.根据条款6所述的方法，其中，在当前视频块是跨分量线性模型(CCLM)编解码块时选择第一变换集，并且其中，在当前视频块是非CCLM编解码块时选择不同于第一变换集的第二变换集。
9.根据条款6所述的方法，其中，在当前视频块采用联合色度残差编解码方法编解码时选择第一变换集，并且其中，在当前视频块不采用联合色度残差编解码方法编解码时选择不同于第一变换集的第二变换集。
10.根据条款1所述的方法，其中，该特点是当前视频块的主变换。
11.一种用于视频处理的方法，包括：基于与当前视频块相关联的一个或多个系数，做出有关选择性地将对于缩减二次变换(RST)的应用的边信息的信令通知包括到当前视频块的比特流表示当中的决策；以及基于该决策执行当前视频块与包括该当前视频块的视频的比特流表示之间的转换。
12.根据条款11所述的方法，其中，该一个或多个系数包括按照当前视频块的扫描顺序的最后非零系数。
13.根据条款11所述的方法，其中，该一个或多个系数包括处于当前视频块的部分区域内的多个系数。
14.根据条款13所述的方法，其中，该部分区域包括可以应用RST的一个或多个编解码组。
15.根据条款13所述的方法，其中，该部分区域包括按照当前视频块的扫描顺序的前M个编解码组或者最后M个编解码组。
16.根据条款13所述的方法，其中，该部分区域包括按照当前视频块的反扫描顺序的前M个编解码组或者最后M个编解码组。
17.根据条款13所述的方法，其中，做出决策还基于多个系数中的一个或多个非零系数的能量。
18.一种用于视频处理的方法，包括：为了向当前视频块应用缩减二次变换(RST)，配置当前视频块的比特流表示，其中，在对残差信息编解码之前在比特流表示中信令通知与RST有关的语法元素；以及基于该配置执行当前视频块与当前视频块的比特流表示之间的转换。
19.根据条款18所述的方法，其中，信令通知与RST有关的语法元素基于至少一个编解码块标志或者变换选择模式的使用。
20.根据条款18所述的方法，其中，该比特流表示排除对与具有全零系数的编解码组相对应的残差信息的编解码。
21.根据条款18所述的方法，其中，对残差信息编解码基于RST的应用。
22.一种用于视频处理的方法，包括：为向当前视频块应用缩减二次变换(RST)，配置当前视频块的比特流表示，其中，在变换跳过指示或者多变换集(MTS)索引之前在该比特流表示中信令通知与RST有关的语法元素；以及基于该配置执行当前视频块与当前视频块的比特流表示之间的转换。
23.根据条款22所述的方法，其中，该变换跳过指示或MTS索引基于与RST有关的语法元素。
24.一种用于视频处理的方法，包括：基于当前视频块的特点，配置为编解码缩减二次变换(RST)的索引的上下文模型；以及基于该配置执行当前视频块与包括该当前视频块的视频的比特流表示之间的转换。
25.根据条款24所述的方法，其中，该特点是多变换选择(MTS)处理的显式或隐式启用。
26.根据条款24所述的方法，其中，该特点是在当前视频块中启用跨分量线性模型(CCLM)编解码模式。
27.根据条款24所述的方法，其中，该特点是当前视频块的尺寸。
28.根据条款24所述的方法，其中，该特点是应用于当前视频块的分割处理的划分深度。
29.根据条款28所述的方法，其中，该分割处理是四叉树(QT)分割处理、二叉树(BT)分割处理或者三叉树(TT)分割处理。
30.根据条款24所述的方法，其中，该特点是当前视频块的颜色格式或颜色分量。
31.根据条款24所述的方法，其中，该特点排除当前视频块的帧内预测模式和多变换选择(MTS)处理的索引。
32.一种用于视频处理的方法，包括：基于当前视频块的特点，做出有关对当前视频块选择性地应用逆缩减二次变换(RST)处理的决策；以及基于该决策执行当前视频块与包括该当前视频块的视频的比特流表示之间的转换。
33.根据条款32所述的方法，其中，该特点是当前视频块的编解码组的编解码块标志。
34.根据条款33所述的方法，其中，不应用逆RST处理，并且其中，左上编解码组的编解码块标志为零。
35.根据条款33所述的方法，其中，不应用逆RST处理，并且其中，按照当前视频块的扫描顺序的第一编解码组和第二编解码组的编解码块标志为零。
36.根据条款32所述的方法，其中，该特点是当前视频块的高度(M)或宽度(N)。
37.根据条款36所述的方法，其中，不应用逆RST处理，并且其中，(i)M＝8并且N＝4，或者(ii)M＝4并且N＝8。
38.一种用于视频处理的方法，包括：基于当前视频块的特点，做出有关对当前视频块选择性地应用逆缩减二次变换(RST)处理的决策；以及基于该决策执行当前视频块与包括该当前视频块的视频的比特流表示之间的转换；其中，该比特流表示包括关于RST的边信息，其中，基于当前视频块的单一颜色分量或亮度分量的系数包括该边信息。
39.根据条款38所述的方法，其中，还基于当前视频块的维度包括该边信息。
40.根据条款38或39所述的方法，其中，在不考虑当前视频块的块信息的情况下包括该边信息。
41.一种视频处理方法，包括：为包括子块的当前视频块的编解码表示与当前视频块之间的转换，基于编解码条件确定为子块的转换而应用的归零区域；以及基于该确定执行该转换。
42.根据条款41所述的方法，其中，该编解码条件包括子块的尺寸。
43.根据条款41或42所述的方法，其中，该编解码条件包括在该变换期间使用的二次变换的尺寸。
44.根据条款1到43中任一项所述的方法，其中，该转换包括从当前视频块生成比特流表示。
45.根据条款1到43中任一项所述的方法，其中，该转换包括从比特流表示生成当前视频块。
46.一种视频***中的装置，包括处理器以及其上具有指令的非暂态存储器，其中，该指令在被处理器执行时使得处理器实施根据条款1到45中的任一项所述的方法。
47.一种存储在非暂态计算机可读介质上的计算机程序产品，该计算机程序产品包括用于实施根据条款1到45中的任一项所述的方法的程序代码。
48.本文中描述的方法、装置或***。
第二组条款描述了先前章节(例如，示例项目7-9、22和29-34)中的公开技术的某些特征和方面。
1.一种用于视频处理的方法(例如，图27A中所示的方法2710)，包括：执行(2712)视频的视频区域与该视频的编解码表示之间的转换，其中，执行转换包括基于该视频区域的分割类型配置上下文模型，该上下文模型用于对第一二进制位进行编解码，第一二进制位和第二二进制位包括在与向该视频区域应用的二次变换工具的索引相对应的二进制串中，其中，该索引指示该二次变换工具的适用性和/或该二次变换工具的内核信息，并且其中，该二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，该二次变换工具包括在解码期间，在应用逆向主变换之前对该视频块的反量化的输出应用逆向二次变换。
2.根据条款1所述的方法，其中，该分割类型为单树类型或双树类型。
3.根据条款1所述的方法，其中，对于给定条带类型执行该转换，使得用于该给定条带类型的上下文模型不同于用于另一条带类型的上下文模型。
4.一种用于视频处理的方法(例如，图27B中所示的方法2720)，包括：基于当前视频块的编解码条件，为视频的包括子块的当前视频块，确定(2722)其中系数归零的归零区域；以及基于该确定执行(2724)当前视频块与该视频的编解码表示之间的转换，其中，该转换包括应用二次变换工具，并且其中，该二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，该二次变换工具包括在解码期间，在应用逆向主变换之前对该视频块的反量化的输出应用逆向二次变换。
5.根据条款4所述的方法，其中，该编解码条件包括子块的尺寸。
6.根据条款4所述的方法，其中，在当前子块的尺寸为M×N的情况下，nonZeroSizeA指示该归零区域内的样点的数量，并且在当前子块的尺寸为K×L的情况下，nonZeroSizeB指示该归零区域内的样点的数量，并且其中，在Min(M,N)不小于Min(K,L)的情况下，nonZeroSizeA不小于nonZeroSizeB。
7.根据条款4所述的方法，其中，在子块的宽度或高度等于4或8的情况下，将该归零区域内的样点的数量设置为固定值。
8.根据条款4所述的方法，其中，将该归零区域内的样点的数量设置为固定值，而不管子块的尺寸如何。
9.根据条款4所述的方法，其中，该编解码条件包括该二次变换工具的尺寸。
10.根据条款9所述的方法，其中，该编解码条件包括是否在该转换期间使用16×64变换或16×16变换。
11.根据条款10所述的方法，其中，在使用16×64变换的情况下，nonZeroSizeA指示该归零区域内的样点的数量，以及在使用16×16变换的情况下，nonZeroSizeB指示该归零区域内的样点的数量，并且其中，nonZeroSizeA不小于nonZeroSizeB。
12.一种视频处理的方法(例如，图27C中所示的方法2730)，包括：为视频的具有维度N×N的当前视频块与该视频的编解码表示之间的转换，确定(2732)在对视频的当前视频块应用二次变换时使用尺寸小于N×N的缩减尺寸的变换矩阵和/或逆变换矩阵；以及执行(2734)该视频与该视频的编解码表示之间的转换，其中，该二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，该二次变换工具包括在解码期间，在应用逆向主变换之前对该视频块的反量化的输出应用逆向二次变换。
13.根据条款12所述的方法，其中，该缩减尺寸对应于该变换矩阵和/或逆变换矩阵的原始尺寸的1/2、1/4或1/8。
14.根据条款12所述的方法，其中，当前视频块中的具有归零系数的归零区域基于该变换矩阵和/或逆变换矩阵的缩减尺寸。
15.一种用于视频处理的方法(例如，图27D中所示的方法2740)，包括：为视频的当前视频块与该视频的编解码表示之间的转换，基于规则确定(2742)使用一个或多个残差图案中的残差图案，其中，该一个或多个残差图案中的每一个残差图案对应于提供有关归零样点的位置的信息的掩码；以及基于该确定执行(2744)该视频与该视频的编解码表示之间的转换。
16.根据条款15所述的方法，其中，该一个或多个残差图案中的每一个残差图案包括与非零变换系数相关联的部分以及与零系数相关联的另一部分。
17.根据条款15所述的方法，其中，该规则确定为具有尺寸M×N的当前视频块使用残差图案，而不管信令通知的变换索引如何，其中，M和N等于或大于8。
18.根据条款15所述的方法，其中，该规则基于当前视频块中使用的变换工具的类型规定是否和/或如何应用该残差图案。
19.根据条款18所述的方法，其中，该确定因为当前视频块中使用的二次变换工具而确定使用该残差图案，并且，
其中，该二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者，
其中，该二次变换工具包括在解码期间，在应用逆向主变换之前对该视频块的反量化的输出应用逆向二次变换。
20.根据条款15所述的方法，其中，该一个或多个残差图案是由具有更多系数的更大残差图案推导的。
21.根据条款20所述的方法，其中，对于该一个或多个残差图案中的每一个残差图案定义多个变换矩阵。
22.根据条款20所述的方法，其中，信令通知该残差图案的指示以及与该残差图案相关联的变换矩阵。
23.根据条款20所述的方法，其中，通过排除与K×L变换矩阵中的相对较小的变换系数相关联的位置来推导该一个或多个残差图案，其中，K和L为整数。
24.根据条款23所述的方法，其中，该一个或多个残差图案包括通过排除与前K0个最小变换系数相关联的位置而推导出的第一残差图案，并且其中，(K*L-K0)个位置被分配有残差，其中，K0为整数。
25.根据条款24所述的方法，其中，该一个或多个残差图案包括通过排除与前K1个最小变换系数相关联的位置而推导出的第二残差图案，并且其中，(K*L-K1)个位置被分配有残差，其中，K1是不同于K0的整数。
26.根据条款15所述的方法，其中，当前视频块具有小于最大变换块的尺寸。
27.根据条款15所述的方法，其中，该规则规定基于当前视频块和/或当前视频块的相邻块的颜色分量或编解码信息中的至少一个而使用该残差图案。
28.一种视频处理方法(例如，图27E中所示的方法2750)，包括：基于主变换的类型确定(2752)与视频的当前视频块相关联的二次变换工具；以及执行(2754)该视频与该视频的编解码表示之间的转换，其中，该二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，该二次变换工具包括在解码期间，在应用逆向主变换之前对该视频块的反量化的输出应用逆向二次变换。
29.根据条款28所述的方法，其中，该确定包括基于规则，为视频的当前视频块，选择要在对当前视频块应用该二次变换工具时使用的变换集或变换矩阵，其中，该规则规定基于i)当前视频块的正向主变换的类型或逆向主变换的类型，ii)当前视频块的尺寸，或者iii)当前视频块的形状来选择变换集或变换矩阵。
30.根据条款28或29所述的方法，其中，该正向主变换或逆向主变换包括DCT-II、DST-VII、DCT-VIII、变换跳过模式、恒等变换或来自训练的变换的变体。
31.根据条款29所述的方法，其中，该规则规定在变换跳过模式中使用的变换矩阵集合，在变换跳过模式中，绕过变换或者应用恒等变换。
32.根据条款29所述的方法，其中，该编解码表示包括指示是否为变换跳过模式使用该二次变换工具或者为当前视频块使用该集合中的哪一矩阵的语法元素。
33.根据条款29所述的方法，其中，该规则规定一个变换矩阵集合用于DCT-II或者第一正向主变换或第一逆向主变换，并且另一变换矩阵集合用于另一正向主变换或逆向主变换。
34.根据条款29所述的方法，其中，该规则规定变换矩阵集合对应于在正向主变换或逆向主变换中使用的对应的主变换模式。
35.根据条款29所述的方法，其中，该规则规定用于主变换模式的变换矩阵集合包括与用于不同主变换模式的两个或更多变换矩阵集合中的任何一个矩阵不同的至少一个矩阵。
36.根据条款29所述的方法，其中，用于当前视频块的变换矩阵集合对应于基于当前视频块的尺寸或形状确定的类别，该类别不同于具有与当前视频块不同的尺寸或不同的形状的另一视频块的类别。
37.一种视频处理方法(例如，图27F中所示的方法2760)，包括：确定(2762)使用将用于处理视频的视频区域的多个变换矩阵集合；以及执行(2764)该视频与该视频的编解码表示之间的转换，并且其中，该编解码表示包括为该视频区域使用该多个集合中的哪一集合的指示。
38.根据条款37所述的方法，其中，该视频区域对应于序列、图片、条带、片、砖块、子图片或视频。
39.一种用于视频处理的方法(例如，图27G中所示的方法2770)，包括：基于规则确定(2772)将在对视频的当前视频块应用二次变换工具时使用的变换矩阵或逆变换矩阵；以及执行(2774)该视频与该视频的编解码表示之间的转换，其中，该二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，该二次变换工具包括在解码期间，在应用逆向主变换之前对该视频块的反量化的输出应用逆向二次变换，其中，该规则规定基于规定变换输出长度的变量确定该变换矩阵或逆变换矩阵的系数。
40.根据条款39所述的方法，其中，该变换矩阵或逆变换矩阵的系数具有比不基于该变量的变换矩阵或逆变换矩阵的系数更低的频率。
41.根据条款39或40所述的方法，其中，该变量为16或48。
42.一种用于视频处理的方法(例如，图27H中所示的方法2780)，包括：基于规则确定(2782)将在对视频的当前视频块应用二次变换工具时使用的变换矩阵或逆变换矩阵；以及执行(2784)该视频与该视频的编解码表示之间的转换，其中，该二次变换工具包括在编码期间，在量化之前对应用于视频块的残差的正向主变换的输出应用正向二次变换，或者其中，该二次变换工具包括在解码期间，在应用逆向主变换之前对该视频块的反量化的输出应用逆向二次变换，其中，该规则规定通过使用重新训练处理来确定该变换矩阵或逆变换矩阵。
43.根据条款42所述的方法，其中，该重新训练处理包括重新训练重建变换系数块，并且应用特征分解，以计算特征值和特征向量。
44.根据条款42所述的方法，其中，该规则规定仅在对该视频的帧内条带或帧内图片编码或解码之后确定该变换矩阵或逆变换矩阵。
45.根据条款42所述的方法，其中，该变换矩阵或逆变换矩阵用于代替未使用重新训练处理而获得的原始变换矩阵或原始逆变换矩阵的至少部分。
46.根据条款42所述的方法，其中，将该变换矩阵或逆变换矩阵用作未使用重新训练处理而获得的附加的原始变换矩阵集合。
47.根据条款42所述的方法，其中，该编解码表示包括对应于下述选项的信息：i)重新训练的变换矩阵的至少部分，ii)重新训练的变换矩阵和该变换矩阵之间的第一差值，或者iii)重新训练的变换矩阵与先前信令通知的变换矩阵之间的第二差值。
48.根据条款47所述的方法，其中，该信息被包括在条带标头、图片标头或图片参数集(PPS)或调适参数集(APS)中。
49.根据条款1到48中的任何条款所述的方法，其中，该二次变换工具对应于低频不可分变换(LFNST)工具，并且其中，使用该二次变换工具：在编码期间，在量化之前对应用于色度块的残差的正向主变换的输出应用正向二次变换，或者在解码期间，在应用逆向主变换之前对色度块的反量化的输出应用逆向二次变换。
50.根据条款1到49中的任何条款所述的方法，其中，该转换的执行包括由当前视频块生成编解码表示。
51.根据条款1到49中的任何条款所述的方法，其中，该转换的执行包括由编解码表示生成当前视频块。
52.一种视频***中的装置，包括处理器以及其上具有指令的非暂态存储器，其中，指令在被处理器执行时使得处理器实施根据条款1到51中的任一项所述的方法。
53.一种存储在非暂态计算机可读介质上的计算机程序产品，该计算机程序产品包括用于实施根据条款1到51中的任一项所述的方法的程序代码。
从前述内容可知，将要认识到，本文已经出于说明的目的描述了本公开的技术的具体实施例，但可以在不脱离本发明的范围的情况下做出各种修改。相应地，本公开的技术除了受到所附权利要求限制外，不受其他限制。
本专利文件中描述的主题和功能操作的实施方式可以在各种***、数字电子电路，或者计算机软件、固件或硬件中实施，包括本说明书中所公开的结构及其结构等价方案或者它们当中的一者或多者的组合。本说明书中描述的主题的实施方式可以被实施成一个或多个计算机程序产品，例如，编码在有形且非暂态计算机可读介质上的计算机程序指令的一个或多个模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或者它们当中的一者或多者的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括(例如)可编程处理器、计算机或多个处理器或计算机。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理***、操作***或者它们当中的一者或多者的组合。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以按照任何形式部署，包括作为独立程序或作为模块、部件、子例程或其他适合在计算环境中使用的单元。计算机程序不一定与文件***中的文件对应。程序可以存储在保存其他程序或数据的文件(例如，存储在标记语言文档中的一个或多个脚本)的部分中，专用于该程序的单个文件中，或者多个协调文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。可以将计算机程序部署为在一个或多个计算机上执行，这一个或多个计算机位于一个站点上，或者跨越多个站点分布并通过通信网络互连。
本说明书中描述的过程和逻辑流可以通过由一个或多个可编程处理器执行一个或多个计算机程序来执行，从而通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流也可以通过专用逻辑电路来执行，并且装置也可以被实施成专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。一般来讲，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是执行指令的处理器以及存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或***作性地耦接为从一个或多个大容量存储设备接收数据或向其传输数据，或两者兼有。然而，计算机不一定具有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括(例如)半导体存储设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
意在将说明书连同附图仅视为示范性的，其中示范性表示示例。如本文所用，“或”的使用意在包含“和/或”，除非上下文明确做出其他表述。
虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的具体特征的描述。本专利文件在各单独实施例的语境下描述的某些特征也可以在单个实施例中组合实施。相反地，在单个实施例的语境下描述的各种特征也可单独地或者以任何合适的子组合的形式在多个实施例中实施。此外，虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求对其的权利保护，但是来自要求权利保护的组合的一个或多个特征在某些情况下可从该组合中去除，并且要求权利保护的组合可涉及子组合或子组合的变型。
类似地，虽然操作在附图中以特定次序示出，但不应将这种情况理解为需要以相继次序或所示的特定次来执行此类操作，或者需要执行所有所示的操作以实现期望的结果。此外，在本专利文件中描述的实施例当中对各种***部件的划分不应被理解为在所有实施例中都要求这样的划分。
仅描述了几种实施方式和示例，其他实施方式、增强和变化可以基于本专利文件中描述和说明的内容做出。
Claims (19)
1.一种处理视频数据的方法，包括：
执行在视频的当前视频区域和所述视频的比特流之间的转换，
其中，所述转换的执行包括仅基于所述当前视频区域的分割类型来为编解码第一二进制位配置上下文增量，所述上下文增量用于确定上下文模型，所述第一二进制位和第二二进制位被包括在二进制串中，所述二进制串对应于应用于所述当前视频区域的二次变换工具的第一索引，其中，在所述分割类型不是单树类型的情况下，所述上下文增量ctxInc被设置为等于1，
其中，所述第一索引指示所述二次变换工具的适用性和/或所述二次变换工具的内核信息，并且
其中，所述二次变换工具包括在编码期间，在量化之前对正向主变换应用于视频块的残差的输出应用正向二次变换，或者
其中，所述二次变换工具包括在解码期间，在应用逆向主变换之前对所述视频块的反量化的输出应用逆向二次变换。
2.根据权利要求1所述的方法，其中，所述分割类型是单树类型或双树类型。
3.根据权利要求1所述的方法，其中，在所述分割类型是单树类型的情况下，所述上下文增量ctxInc被设置为等于0。
4.根据权利要求1所述的方法，其中，所述当前视频区域是当前视频块，并且所述第一索引是否被包括在所述比特流中是基于所述当前视频块的宽度(W)和高度(H)中的至少一个与允许的最大变换尺寸(T)之间的关系。
5.根据权利要求4所述的方法，其中，基于所述比特流中的至少一个语法元素来确定所述当前视频块的残差中的最后一个非零系数的位置，并且所述第一索引是否以及如何存在于所述比特流中是基于所述最后一个非零系数的位置。
6.根据权利要求5所述的方法，其中，在所述最后一个非零系数不位于所述二次变换工具所应用到的所述当前视频块的区域中的情况下，所述第一索引不被包括在所述比特流中。
7.根据权利要求1所述的方法，其中，响应于所述第一索引指示启用所述二次变换工具，指示所述正向主变换或所述逆向主变换的适用性以及所述正向主变换或所述逆向主变换的内核信息的第二索引不存在于所述比特流中，并且被推断为不应用于所述当前视频区域。
8.根据权利要求1所述的方法，其中，所述二次变换工具对应于低频不可分变换(LFNST)工具。
9.根据权利要求1所述的方法，其中，所述转换包括将所述当前视频区域编码到所述比特流中。
10.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述当前视频区域。
11.一种处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使得所述处理器：
执行在视频的当前视频区域和所述视频的比特流之间的转换，
其中，所述转换的执行包括仅基于所述当前视频区域的分割类型来为编解码第一二进制位配置上下文增量，所述上下文增量用于确定上下文模型，所述第一二进制位和第二二进制位被包括在二进制串中，所述二进制串对应于应用于所述当前视频区域的二次变换工具的第一索引，其中，在所述分割类型不是单树类型的情况下，所述上下文增量ctxInc被设置为等于1，
其中，所述第一索引指示所述二次变换工具的适用性和/或所述二次变换工具的内核信息，并且
其中，所述二次变换工具包括在编码期间，在量化之前对正向主变换应用于视频块的残差的输出应用正向二次变换，或者
其中，所述二次变换工具包括在解码期间，在应用逆向主变换之前对所述视频块的反量化的输出应用逆向二次变换。
12.根据权利要求11所述的装置，其中，所述分割类型是单树类型或双树类型；
其中，在所述分割类型是单树类型的情况下，所述上下文增量ctxInc被设置为等于0。
13.根据权利要求11所述的装置，其中，所述当前视频区域是当前视频块，并且所述第一索引是否被包括在所述比特流中是基于所述当前视频块的宽度(W)和高度(H)中的至少一个与允许的最大变换尺寸(T)之间的关系；
其中，基于所述比特流中的至少一个语法元素来确定所述当前视频块的残差中的最后一个非零系数的位置，并且所述第一索引是否以及如何存在于所述比特流中是基于所述最后一个非零系数的位置；
其中，在所述最后一个非零系数不位于所述二次变换工具所应用到的所述当前视频块的区域中的情况下，所述第一索引不被包括在所述比特流中；
其中，响应于所述第一索引指示启用所述二次变换工具，指示所述正向主变换或所述逆向主变换的适用性以及所述正向主变换或所述逆向主变换的内核信息的第二索引不存在于所述比特流中，并且被推断为不应用于所述当前视频区域；并且
其中，所述二次变换工具对应于低频不可分变换(LFNST)工具。
14.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：
执行在视频的当前视频区域和所述视频的比特流之间的转换，
其中，所述转换的执行包括仅基于所述当前视频区域的分割类型来为编解码第一二进制位配置上下文增量，所述上下文增量用于确定上下文模型，所述第一二进制位和第二二进制位被包括在二进制串中，所述二进制串对应于应用于所述当前视频区域的二次变换工具的第一索引，其中，在所述分割类型不是单树类型的情况下，所述上下文增量ctxInc被设置为等于1，
其中，所述第一索引指示所述二次变换工具的适用性和/或所述二次变换工具的内核信息，并且
其中，所述二次变换工具包括在编码期间，在量化之前对正向主变换应用于视频块的残差的输出应用正向二次变换，或者
其中，所述二次变换工具包括在解码期间，在应用逆向主变换之前对所述视频块的反量化的输出应用逆向二次变换。
15.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述分割类型是单树类型或双树类型；
其中，在所述分割类型是单树类型的情况下，所述上下文增量ctxInc被设置为等于0。
16.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述当前视频区域是当前视频块，并且所述第一索引是否被包括在所述比特流中是基于所述当前视频块的宽度(W)和高度(H)中的至少一个与允许的最大变换尺寸(T)之间的关系；
其中，基于所述比特流中的至少一个语法元素来确定所述当前视频块的残差中的最后一个非零系数的位置，并且所述第一索引是否以及如何存在于所述比特流中是基于所述最后一个非零系数的位置；
其中，在所述最后一个非零系数不位于所述二次变换工具所应用到的所述当前视频块的区域中的情况下，所述第一索引不被包括在所述比特流中；
其中，响应于所述第一索引指示启用所述二次变换工具，指示所述正向主变换或所述逆向主变换的适用性以及所述正向主变换或所述逆向主变换的内核信息的第二索引不存在于所述比特流中，并且被推断为不应用于所述当前视频区域；并且
其中，所述二次变换工具对应于低频不可分变换(LFNST)工具。
17.一种存储视频的比特流的方法，包括：
为所述视频的当前视频区域生成所述视频的比特流，
将所述比特流存储到非暂时性计算机可读存储介质中，
其中，生成所述比特流包括仅基于所述当前视频区域的分割类型来为编解码第一二进制位配置上下文增量，所述上下文增量用于确定上下文模型，所述第一二进制位和第二二进制位被包括在二进制串中，所述二进制串对应于应用于所述当前视频区域的二次变换工具的第一索引，其中，在所述分割类型不是单树类型的情况下，所述上下文增量ctxInc被设置为等于1，
其中，所述第一索引指示所述二次变换工具的适用性和/或所述二次变换工具的内核信息，并且
其中，所述二次变换工具包括在编码期间，在量化之前对正向主变换应用于视频块的残差的输出应用正向二次变换，或者
其中，所述二次变换工具包括在解码期间，在应用逆向主变换之前对所述视频块的反量化的输出应用逆向二次变换。
18.根据权利要求17所述的方法，其中，所述分割类型是单树类型或双树类型；
其中，在所述分割类型是单树类型的情况下，所述上下文增量ctxInc被设置为等于0。
19.根据权利要求17所述的方法，其中，所述当前视频区域是当前视频块，并且所述第一索引是否被包括在所述比特流中是基于所述当前视频块的宽度(W)和高度(H)中的至少一个与允许的最大变换尺寸(T)之间的关系；
其中，基于所述比特流中的至少一个语法元素来确定所述当前视频块的残差中的最后一个非零系数的位置，并且所述第一索引是否以及如何存在于所述比特流中是基于所述最后一个非零系数的位置；
其中，在所述最后一个非零系数不位于所述二次变换工具所应用到的所述当前视频块的区域中的情况下，所述第一索引不被包括在所述比特流中；
其中，响应于所述第一索引指示启用所述二次变换工具，指示所述正向主变换或所述逆向主变换的适用性以及所述正向主变换或所述逆向主变换的内核信息的第二索引不存在于所述比特流中，并且被推断为不应用于所述当前视频区域；并且
其中，所述二次变换工具对应于低频不可分变换(LFNST)工具。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNPCT/CN2019/101230 | 2019-08-17 | ||
| CN2019101230 | 2019-08-17 | ||
| CN2019107904 | 2019-09-25 | ||
| CNPCT/CN2019/107904 | 2019-09-25 | ||
| CNPCT/CN2019/127829 | 2019-12-24 | ||
| CN2019127829 | 2019-12-24 | ||
| PCT/CN2020/109476 WO2021032045A1 (en) | 2019-08-17 | 2020-08-17 | Context modeling of side information for reduced secondary transforms in video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114223208A CN114223208A (zh) | 2022-03-22 |
| CN114223208B true CN114223208B (zh) | 2023-12-29 |
Family
ID=74660196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080057870.6A Active CN114223208B (zh) | 2019-08-17 | 2020-08-17 | 为视频中的缩减二次变换的边信息的上下文建模 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US11575901B2 (zh) |
| CN (1) | CN114223208B (zh) |
| WO (1) | WO2021032045A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020228673A1 (en) | 2019-05-10 | 2020-11-19 | Beijing Bytedance Network Technology Co., Ltd. | Conditional use of reduced secondary transform for video processing |
| EP3967032A4 (en) | 2019-06-07 | 2022-07-27 | Beijing Bytedance Network Technology Co., Ltd. | CONDITIONAL SIGNALING OF A REDUCED SECONDARY TRANSFORM FOR VIDEO BIANARY FLOWS |
| WO2021010678A1 (ko) * | 2019-07-12 | 2021-01-21 | 엘지전자 주식회사 | 변환에 기반한 영상 코딩 방법 및 그 장치 |
| CN114208183A (zh) | 2019-08-03 | 2022-03-18 | 北京字节跳动网络技术有限公司 | 视频的缩减二次变换中基于位置的模式导出 |
| MX2022003322A (es) * | 2019-09-21 | 2022-05-06 | Lg Electronics Inc | Dispositivo y metodo de codificacion de imagenes a base de transformacion. |
| GB2588406B (en) * | 2019-10-22 | 2022-12-07 | British Broadcasting Corp | Video encoding and video decoding |
| US11197004B1 (en) * | 2020-07-02 | 2021-12-07 | Google Llc | Inter-prediction mode-dependent transforms for video coding |
| WO2023194395A1 (en) * | 2022-04-08 | 2023-10-12 | Interdigital Ce Patent Holdings, Sas | Chroma direct mode |
| WO2024083090A1 (en) * | 2022-10-17 | 2024-04-25 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for video processing |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108028919A (zh) * | 2015-09-10 | 2018-05-11 | 联发科技（新加坡）私人有限公司 | 用于图像与视频编解码中语法元素的上下文建模的方法及装置 |
| CN108141596A (zh) * | 2015-09-29 | 2018-06-08 | 高通股份有限公司 | 用于视频译码的非可分离二次变换 |
| WO2019117634A1 (ko) * | 2017-12-15 | 2019-06-20 | 엘지전자 주식회사 | 2차 변환에 기반한 영상 코딩 방법 및 그 장치 |
Family Cites Families (94)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5796842A (en) | 1996-06-07 | 1998-08-18 | That Corporation | BTSC encoder |
| EP3094084A1 (en) | 2005-08-10 | 2016-11-16 | Mitsubishi Electric Corporation | Recording medium, reproducing apparatus, and reproducing method |
| CN102474270A (zh) | 2009-08-06 | 2012-05-23 | 松下电器产业株式会社 | 编码方法、解码方法、编码装置及解码装置 |
| US9172968B2 (en) | 2010-07-09 | 2015-10-27 | Qualcomm Incorporated | Video coding using directional transforms |
| US8693795B2 (en) | 2010-10-01 | 2014-04-08 | Samsung Electronics Co., Ltd. | Low complexity secondary transform for image and video compression |
| KR101756442B1 (ko) | 2010-11-29 | 2017-07-11 | 에스케이텔레콤 주식회사 | 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치 |
| AU2015249109B2 (en) | 2011-03-08 | 2017-08-24 | Qualcomm Incorporated | Coding of transform coefficients for video coding |
| US20120230418A1 (en) | 2011-03-08 | 2012-09-13 | Qualcomm Incorporated | Coding of transform coefficients for video coding |
| US20120320972A1 (en) | 2011-06-16 | 2012-12-20 | Samsung Electronics Co., Ltd. | Apparatus and method for low-complexity optimal transform selection |
| US20130003856A1 (en) | 2011-07-01 | 2013-01-03 | Samsung Electronics Co. Ltd. | Mode-dependent transforms for residual coding with low latency |
| KR102030718B1 (ko) | 2011-10-18 | 2019-10-10 | 주식회사 케이티 | 영상 부호화 방법, 영상 복호화 방법, 영상 부호화기 및 영상 복호화기 |
| KR20130058524A (ko) | 2011-11-25 | 2013-06-04 | 오수미 | 색차 인트라 예측 블록 생성 방법 |
| KR102417101B1 (ko) | 2011-12-29 | 2022-07-05 | 엘지전자 주식회사 | 비디오 인코딩 및 디코딩 방법과 이를 이용하는 장치 |
| US9554130B2 (en) | 2012-01-20 | 2017-01-24 | Pantech Inc. | Intra prediction mode mapping method and device using the method |
| CN108712651A (zh) | 2012-06-29 | 2018-10-26 | 韩国电子通信研究院 | 视频解码方法、视频编码方法和计算机可读介质 |
| US9277212B2 (en) | 2012-07-09 | 2016-03-01 | Qualcomm Incorporated | Intra mode extensions for difference domain intra prediction |
| AU2012232992A1 (en) | 2012-09-28 | 2014-04-17 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the transform units of a coding unit |
| WO2014055826A2 (en) | 2012-10-05 | 2014-04-10 | Huawei Technologies Co., Ltd. | Improved architecture for hybrid video codec |
| US10291912B2 (en) * | 2013-01-16 | 2019-05-14 | Blackberry Limited | Context determination for entropy coding of run-length encoded transform coefficients |
| CN103141596B (zh) | 2013-03-07 | 2014-07-16 | 福建归来客有机茶叶有限公司 | 一种高香型乌龙红茶及其制作方法 |
| US20140254661A1 (en) | 2013-03-08 | 2014-09-11 | Samsung Electronics Co., Ltd. | Method and apparatus for applying secondary transforms on enhancement-layer residuals |
| WO2014205730A1 (zh) | 2013-06-27 | 2014-12-31 | 北京大学深圳研究生院 | Avs视频压缩编码方法及编码器 |
| WO2015056945A1 (ko) | 2013-10-14 | 2015-04-23 | 삼성전자 주식회사 | 깊이 인트라 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
| US10271052B2 (en) | 2014-03-14 | 2019-04-23 | Qualcomm Incorporated | Universal color-space inverse transform coding |
| CN105516730B (zh) | 2014-09-24 | 2018-04-24 | 晨星半导体股份有限公司 | 视讯编码装置及视讯解码装置以及其编码与解码方法 |
| US10091504B2 (en) | 2015-01-08 | 2018-10-02 | Microsoft Technology Licensing, Llc | Variations of rho-domain rate control |
| US10306229B2 (en) | 2015-01-26 | 2019-05-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
| US20170034530A1 (en) | 2015-07-28 | 2017-02-02 | Microsoft Technology Licensing, Llc | Reduced size inverse transform for decoding and encoding |
| EP3367680B1 (en) | 2015-10-22 | 2020-07-01 | LG Electronics Inc. | Intra-prediction method and apparatus in video coding system |
| CN109076225A (zh) | 2016-02-08 | 2018-12-21 | 夏普株式会社 | 用于变换系数编码的***和方法 |
| CN105791867B (zh) | 2016-03-23 | 2019-02-22 | 北京大学 | 基于边界自适应变换的优化视频数据编码方法 |
| WO2017173593A1 (en) | 2016-04-06 | 2017-10-12 | Mediatek Singapore Pte. Ltd. | Separate coding secondary transform syntax elements for different color components |
| US10708164B2 (en) | 2016-05-03 | 2020-07-07 | Qualcomm Incorporated | Binarizing secondary transform index |
| CN109076243B (zh) | 2016-05-04 | 2022-01-25 | 夏普株式会社 | 用于对变换数据进行编码的***和方法 |
| WO2017192995A1 (en) | 2016-05-06 | 2017-11-09 | Vid Scale, Inc. | Method and system for decoder-side intra mode derivation for block-based video coding |
| US10887626B2 (en) | 2016-05-13 | 2021-01-05 | Sharp Kabushiki Kaisha | Image decoding device and image encoding device |
| CN109076242B (zh) | 2016-05-13 | 2023-01-03 | 索尼公司 | 图像处理设备和方法 |
| US10547854B2 (en) | 2016-05-13 | 2020-01-28 | Qualcomm Incorporated | Neighbor based signaling of intra prediction modes |
| KR102397673B1 (ko) | 2016-05-13 | 2022-05-16 | 소니그룹주식회사 | 화상 처리 장치 및 방법 |
| WO2017222334A1 (ko) | 2016-06-24 | 2017-12-28 | 한국전자통신연구원 | 변환 기반의 영상 부호화/복호화 방법 및 장치 |
| US10972733B2 (en) | 2016-07-15 | 2021-04-06 | Qualcomm Incorporated | Look-up table for enhanced multiple transform |
| CN115914625A (zh) | 2016-08-01 | 2023-04-04 | 韩国电子通信研究院 | 图像编码/解码方法 |
| CN114449289A (zh) | 2016-08-24 | 2022-05-06 | 索尼公司 | 图像编码设备和图像编码方法 |
| US10880564B2 (en) | 2016-10-01 | 2020-12-29 | Qualcomm Incorporated | Transform selection for video coding |
| US11095893B2 (en) | 2016-10-12 | 2021-08-17 | Qualcomm Incorporated | Primary transform and secondary transform in video coding |
| CN110326294A (zh) | 2017-01-03 | 2019-10-11 | Lg电子株式会社 | 使用二次变换编码/解码视频信号的方法和设备 |
| US11025903B2 (en) | 2017-01-13 | 2021-06-01 | Qualcomm Incorporated | Coding video data using derived chroma mode |
| AU2017397390B2 (en) | 2017-01-31 | 2022-07-14 | FG Innovation Company Limited | Systems and methods for scaling transform coefficient level values |
| WO2018166429A1 (en) | 2017-03-16 | 2018-09-20 | Mediatek Inc. | Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding |
| US20180288439A1 (en) | 2017-03-31 | 2018-10-04 | Mediatek Inc. | Multiple Transform Prediction |
| US10855997B2 (en) | 2017-04-14 | 2020-12-01 | Mediatek Inc. | Secondary transform kernel size selection |
| US10638126B2 (en) | 2017-05-05 | 2020-04-28 | Qualcomm Incorporated | Intra reference filter for video coding |
| US10742975B2 (en) | 2017-05-09 | 2020-08-11 | Futurewei Technologies, Inc. | Intra-prediction with multiple reference lines |
| US10750181B2 (en) | 2017-05-11 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive multiple transforms for video coding |
| US10805641B2 (en) | 2017-06-15 | 2020-10-13 | Qualcomm Incorporated | Intra filtering applied together with transform processing in video coding |
| JP2021010046A (ja) | 2017-10-06 | 2021-01-28 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| US10827173B2 (en) | 2017-11-13 | 2020-11-03 | Electronics And Telecommunications Research Institute | Method and apparatus for quantization |
| US10764590B2 (en) | 2017-11-15 | 2020-09-01 | Google Llc | Entropy coding primary and secondary coefficients of video data |
| GB2570711B (en) | 2018-02-05 | 2023-04-05 | Sony Corp | Data encoding and decoding |
| CN108322745B (zh) | 2018-02-28 | 2019-12-03 | 中南大学 | 一种基于不可分二次变换模式的帧内快速选择方法 |
| EP3764645A4 (en) | 2018-03-09 | 2021-12-08 | Electronics and Telecommunications Research Institute | METHOD AND APPARATUS FOR IMAGE CODING / DECODING USING SAMPLE FILTER |
| PL3764649T3 (pl) | 2018-04-01 | 2024-01-22 | Lg Electronics Inc. | Przetwarzanie sygnału wideo z wykorzystaniem skróconego przekształcenia wtórnego |
| US11019355B2 (en) | 2018-04-03 | 2021-05-25 | Electronics And Telecommunications Research Institute | Inter-prediction method and apparatus using reference frame generated based on deep learning |
| WO2019231291A1 (ko) | 2018-05-31 | 2019-12-05 | 엘지전자 주식회사 | 레이어드 기븐스 변환을 이용하여 변환을 수행하는 방법 및 장치 |
| HRP20230521T1 (hr) | 2018-06-03 | 2023-08-04 | Lg Electronics Inc. | Postupak i uređaj za obradu video signala pomoću smanjene transformacije |
| KR102555363B1 (ko) | 2018-06-29 | 2023-07-13 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 확장 기준 인트라 화면 예측 |
| US11166044B2 (en) | 2018-07-31 | 2021-11-02 | Tencent America LLC | Method and apparatus for improved compound orthonormal transform |
| JP7313427B2 (ja) | 2018-08-16 | 2023-07-24 | 北京字節跳動網絡技術有限公司 | 変換行列選択の係数依存コーディング |
| WO2020050665A1 (ko) | 2018-09-05 | 2020-03-12 | 엘지전자 주식회사 | 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치 |
| US10819979B2 (en) | 2018-09-06 | 2020-10-27 | Tencent America LLC | Coupled primary and secondary transform |
| US11039139B2 (en) | 2018-09-14 | 2021-06-15 | Tencent America LLC | Method and apparatus for identity transform in multiple transform selection |
| WO2020127811A2 (en) | 2018-12-20 | 2020-06-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Intra predictions using linear or affine transforms with neighbouring sample reduction |
| CN113330742A (zh) | 2018-12-28 | 2021-08-31 | 韩国电子通信研究院 | 视频编码/解码方法、设备以及存储有比特流的记录介质 |
| WO2020149608A1 (ko) | 2019-01-14 | 2020-07-23 | 엘지전자 주식회사 | 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치 |
| US11523136B2 (en) | 2019-01-28 | 2022-12-06 | Hfi Innovation Inc. | Methods and apparatuses for coding transform blocks |
| CN112514384A (zh) | 2019-01-28 | 2021-03-16 | 株式会社 Xris | 视频信号编码/解码方法及其装置 |
| US11595663B2 (en) | 2019-02-01 | 2023-02-28 | Qualcomm Incorporated | Secondary transform designs for partitioned transform units in video coding |
| KR20210114386A (ko) | 2019-02-08 | 2021-09-23 | 주식회사 윌러스표준기술연구소 | 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치 |
| US11616966B2 (en) * | 2019-04-03 | 2023-03-28 | Mediatek Inc. | Interaction between core transform and secondary transform |
| US11172211B2 (en) | 2019-04-04 | 2021-11-09 | Tencent America LLC | Method and apparatus for video coding |
| US11134257B2 (en) | 2019-04-04 | 2021-09-28 | Tencent America LLC | Simplified signaling method for affine linear weighted intra prediction mode |
| CN113785588B (zh) | 2019-04-12 | 2023-11-24 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的色度编解码模式确定 |
| FI3944618T3 (fi) | 2019-04-16 | 2024-01-11 | Lg Electronics Inc | Muunnos matriisipohjaista intraennustusta varten kuvan koodauksessa |
| EP3939260A4 (en) | 2019-04-20 | 2022-07-06 | Beijing Bytedance Network Technology Co., Ltd. | SIGNALING OF SYNTAX ELEMENTS FOR CO-CODING OF CHROMINANCE RESIDUES |
| JP7256296B2 (ja) | 2019-05-08 | 2023-04-11 | エルジー エレクトロニクス インコーポレイティド | Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 |
| WO2020228673A1 (en) | 2019-05-10 | 2020-11-19 | Beijing Bytedance Network Technology Co., Ltd. | Conditional use of reduced secondary transform for video processing |
| CN117336484A (zh) * | 2019-06-06 | 2024-01-02 | Lg电子株式会社 | 图像解码和编码设备及发送比特流的设备 |
| EP3967032A4 (en) | 2019-06-07 | 2022-07-27 | Beijing Bytedance Network Technology Co., Ltd. | CONDITIONAL SIGNALING OF A REDUCED SECONDARY TRANSFORM FOR VIDEO BIANARY FLOWS |
| US11115658B2 (en) | 2019-06-25 | 2021-09-07 | Qualcomm Incorporated | Matrix intra prediction and cross-component linear model prediction harmonization for video coding |
| KR20220032565A (ko) | 2019-07-19 | 2022-03-15 | 주식회사 윌러스표준기술연구소 | 비디오 신호 처리 방법 및 장치 |
| JP2022542083A (ja) | 2019-07-21 | 2022-09-29 | エルジー エレクトロニクス インコーポレイティド | パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングする画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 |
| CN113796078A (zh) | 2019-07-24 | 2021-12-14 | 华为技术有限公司 | 帧内预测模式相关的编码器、解码器及对应方法 |
| CN114208183A (zh) | 2019-08-03 | 2022-03-18 | 北京字节跳动网络技术有限公司 | 视频的缩减二次变换中基于位置的模式导出 |
| CN115066899A (zh) | 2019-12-02 | 2022-09-16 | 抖音视界有限公司 | 编解码视频的可分二次变换处理 |
-
2020
- 2020-08-17 CN CN202080057870.6A patent/CN114223208B/zh active Active
- 2020-08-17 WO PCT/CN2020/109476 patent/WO2021032045A1/en active Application Filing
-
2022
- 2022-01-27 US US17/585,788 patent/US11575901B2/en active Active
- 2022-12-28 US US18/089,672 patent/US11968367B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108028919A (zh) * | 2015-09-10 | 2018-05-11 | 联发科技（新加坡）私人有限公司 | 用于图像与视频编解码中语法元素的上下文建模的方法及装置 |
| CN108141596A (zh) * | 2015-09-29 | 2018-06-08 | 高通股份有限公司 | 用于视频译码的非可分离二次变换 |
| WO2019117634A1 (ko) * | 2017-12-15 | 2019-06-20 | 엘지전자 주식회사 | 2차 변환에 기반한 영상 코딩 방법 및 그 장치 |
Non-Patent Citations (1)
| Title |
|---|
| Non-CE6: An Improved Context Modeling for LFNST;Alican Nalci等;《JVET-O0373-v1，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;摘要、部分1-2 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114223208A (zh) | 2022-03-22 |
| US20220159259A1 (en) | 2022-05-19 |
| US11968367B2 (en) | 2024-04-23 |
| US20230145133A1 (en) | 2023-05-11 |
| WO2021032045A1 (en) | 2021-02-25 |
| US11575901B2 (en) | 2023-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113841409B (zh) | 用于视频处理的简化二次变换的有条件使用 | |
| CN114223208B (zh) | 为视频中的缩减二次变换的边信息的上下文建模 | |
| CN114208190B (zh) | 视频编解码中缩减二次变换的矩阵的选择 | |
| WO2020244656A1 (en) | Conditional signaling of reduced secondary transform in video bitstreams | |
| CN113812150A (zh) | 使用滤波的基于矩阵的帧内预测 | |
| CN113728647A (zh) | 基于矩阵的帧内预测的上下文编码 | |
| CN117319649A (zh) | 经变换跳过的块的残差编解码 | |
| CN113853787B (zh) | 基于子块使用变换跳过模式 | |
| CN113841410B (zh) | 多种帧内预测方法的编解码 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |