CN113632468A - 图像编码/解码方法和装置，以及发送比特流的方法 - Google Patents
图像编码/解码方法和装置，以及发送比特流的方法 Download PDFInfo
- Publication number
- CN113632468A CN113632468A CN202080020342.3A CN202080020342A CN113632468A CN 113632468 A CN113632468 A CN 113632468A CN 202080020342 A CN202080020342 A CN 202080020342A CN 113632468 A CN113632468 A CN 113632468A
- Authority
- CN
- China
- Prior art keywords
- value
- current block
- filter
- intra
- intra prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 134
- 238000001914 filtration Methods 0.000 claims abstract description 208
- 238000009499 grossing Methods 0.000 claims description 30
- 238000005192 partition Methods 0.000 claims description 26
- 239000013074 reference sample Substances 0.000 description 292
- 239000000523 sample Substances 0.000 description 195
- 230000008569 process Effects 0.000 description 36
- 241000023320 Luma <angiosperm> Species 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 14
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 12
- 238000009795 derivation Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 6
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- OVSKIKFHRZPJSS-UHFFFAOYSA-N 2,4-D Chemical compound OC(=O)COC1=CC=C(Cl)C=C1Cl OVSKIKFHRZPJSS-UHFFFAOYSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
公开了一种图像解码方法。图像解码方法包括从比特流中获得当前块的帧内预测模式信息，基于帧内预测模式信息和位于当前块周围的相邻块的帧内预测模式确定当前块的帧内预测模式，基于当前块的编译参数导出用于当前块的帧内预测参考样本的滤波的第一滤波器标志的值，基于第一滤波器标志选择用于当前块的帧内预测的插值滤波器，以及使用选择的插值滤波器生成当前块的帧内预测块。
Description
技术领域
本公开涉及一种图像编码/解码方法和装置，以及一种发送比特流的方法，更具体地，涉及一种通过使用参考样本滤波执行帧内预测来对图像进行编码/解码的方法和装置，以及一种发送由此生成的比特流的方法。
背景技术
最近，各个领域对高分辨率和高质量图像，例如高清(HD)图像和超高清(UHD)图像的需求正在增加。随着图像数据的分辨率和质量的提高，与现有图像数据相比，发送的信息量或比特量相对增加。发送的信息或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地传输、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的是提供一种具有提高的编码/解码效率的图像编码/解码方法和装置。
此外，本公开的目的是提供一种用于通过根据是否使用在帧内预测期间参考的样本的滤波来选择在导出预测样本时应用的滤波器，来编码/解码图像的方法和装置。
本公开的另一个目的是提供一种发送由根据本公开的图像编码方法或装置生成的比特流的方法。
本公开的另一个目的是提供一种存储由根据本公开的图像编码方法或装置生成的比特流的记录介质。
本公开的另一个目的是提供一种记录介质，其存储由根据本公开的图像解码装置接收、解码并用于重构图像的比特流。
本公开所解决的技术问题不限于上述技术问题，本领域技术人员通过以下描述将清楚此处未描述的其他技术问题。
技术方案
为解决上述问题根据实施例的图像解码装置执行的图像解码方法包括：从比特流中获得当前块的帧内预测模式信息，基于所述帧内预测模式信息和位于所述当前块周围的相邻块的帧内预测模式，确定所述当前块的帧内预测模式，基于用于所述当前块的编译参数导出用于所述当前块的帧内预测参考样本的滤波的第一滤波器标志的值，当第一滤波器标志的值指示使用当前块的帧内预测参考样本的滤波时将平滑滤波应用于当前块的帧内预测参考样本，基于所述第一滤波器标志选择用于所述当前块的帧内预测的插值滤波器，并且使用所选择的插值滤波器生成所述当前块的帧内预测块。
当第一滤波器标志指示当前块的帧内预测参考样本已经经过平滑滤波时，可以选择平滑滤波器作为用于当前块的帧内预测的插值滤波器并且将其应用于参考样本，从而导出当前块的预测样本。
当第一滤波器标志指示当前块的帧内预测参考样本没有经过平滑滤波时，可以选择锐化滤波器作为用于当前块的帧内预测的插值滤波器并且将其应用于参考样本，从而导出当前块的预测样本。
为此，为解决上述问题根据实施例的图像解码装置执行的图像解码方法包括：从比特流中获得当前块的帧内预测模式信息，基于所述帧内预测模式信息和位于所述当前块周围的相邻块的帧内预测模式，确定所述当前块的帧内预测模式，基于用于所述当前块的编译参数导出用于所述当前块的帧内预测参考样本的滤波的第一滤波器标志的值，基于所述第一滤波器标志选择用于所述当前块的帧内预测的插值滤波器，并且使用所选择的插值滤波器生成所述当前块的帧内预测块。
可以进一步包括当所述第一滤波器标志的值指示使用所述当前块的帧内预测参考样本的滤波时，对所述当前块的帧内预测参考样本应用平滑滤波。
编译参数可以包括所述当前块的多参考线索引、所述当前块的大小、所述当前块的颜色分量、是否对所述当前块应用帧内子分区(ISP)或所述当前块的帧内预测模式中的至少一个。
当所述第一滤波器标志的值为第一值时，可以不使用帧内预测参考样本的滤波，当所述第一滤波器标志的值为第二值时，可以使用帧内预测参考样本的滤波，当所述第一滤波器标志的值为第一值时，可以将用于所述当前块的帧内预测的插值滤波器确定为具有锐化特性的滤波器，并且当所述第一滤波器标志的值为第二值时，可以将用于所述当前块的帧内预测的插值滤波器确定为具有平滑特性的滤波器。
基于所述第一滤波器标志选择用于所述当前块的帧内预测的插值滤波器可以包括：基于所述第一滤波器标志导出用于所述当前块的帧内预测的插值滤波器的第二滤波器标志的值，并且基于所述第二滤波器标志选择插值滤波器。
当满足针对所述编译参数中的至少一个的条件时，所述第二滤波器标志的值可以被导出为第一值。
当帧内子分区(ISP)被应用于所述当前块时，第二滤波器标志的值可以被导出为第一值。
当帧内子分区(ISP)被应用于所述当前块、所述当前块是亮度块，所述当前块的帧内预测模式等于或大于预定模式并且所述当前块的宽度等于或大于预定大小时，第二滤波器标志的值可以被导出为第一值。另外，预定模式可以是左上对角模式并且预定大小可以是8。
当帧内子分区(ISP)被应用于所述当前块、所述当前块是亮度块，所述当前块的帧内预测模式等于或小于预定模式并且所述当前块的宽度等于或大于预定大小时，第二滤波器标志的值可以被导出为第一值。预定模式可以是左上对角模式并且预定大小可以是8。
当所述第一滤波器标志的值为第一值时，可以不使用帧内预测参考样本的滤波，当所述第一滤波器标志的值为第二值时，可以使用帧内预测参考样本的滤波，当所述第一滤波器标志的值为1时，第二滤波器标志的值可以被导出为0。
当所述第二滤波器标志的值是第一值时，插值滤波器可以是具有锐化特性的滤波器，当所述第二滤波器标志的值是第二值时，插值滤波器可以是具有平滑特性的滤波器，当所述第一滤波器标志的值是第二值时，第二滤波器标志的值可以被导出为第一值。
为解决上述问题根据实施例的图像解码装置包括存储器和至少一个处理器。至少一个处理器可以从比特流中获得当前块的帧内预测模式信息，基于所述帧内预测模式信息和位于所述当前块周围的相邻块的帧内预测模式，确定所述当前块的帧内预测模式，基于用于所述当前块的编译参数导出用于所述当前块的帧内预测参考样本的滤波的第一滤波器标志的值，基于所述第一滤波器标志选择用于所述当前块的帧内预测的插值滤波器，并且使用所选择的插值滤波器生成所述当前块的帧内预测块。
为解决上述问题根据实施例的图像编码装置执行的图像编码方法包括：选择当前块的帧内预测模式，基于用于所述当前块的编译参数导出用于所述当前块的帧内预测参考样本的滤波的第一滤波器标志的值，基于所述第一滤波器标志选择用于所述当前块的帧内预测的插值滤波器，使用所选择的插值滤波器生成所述当前块的帧内预测块，并且基于位于所述当前块周围的相邻块的帧内预测模式对所述当前块的帧内预测模式进行编码。
为解决上述问题根据实施例的图像编码装置可以传输如上所述生成的比特流。
有益效果
根据本公开，可以提供具有提高的编码/解码效率的图像编码/解码方法和装置。
另外，根据本公开，可以提供一种通过根据是否使用在帧内预测期间参考的样本的滤波来选择在导出预测样本时应用的滤波器，来编码/解码图像的方法和装置。
此外，根据本公开，可以提供一种发送由根据本公开的图像编码方法或装置生成的比特流的方法。
此外，根据本公开，可以提供一种存储由根据本公开的图像编码方法或装置生成的比特流的记录介质。
此外，根据本公开，可以提供一种存储由根据本公开的图像解码装置接收、解码并用于重构图像的比特流的记录介质。
本领域技术人员将理解，通过本公开能够实现的效果不限于上文已经具体描述的内容，并且本公开的其他优点将从详细描述中更清楚地理解。
附图说明
图1是示意性地图示根据实施例的视频编译***的视图。
图2是示意性地图示根据实施例的图像编码装置的视图。
图3是示意性地图示根据实施例的图像解码装置的视图。
图4和图5是图示根据实施例的帧内预测方向的视图。
图6是图示根据实施例的帧内预测步骤的流程图。
图7是图示根据实施例的参考样本构建步骤的流程图。
图8是图示根据实施例的由解码装置确定是否执行参考样本滤波的方法的流程图。
图9是图示根据实施例的取决于参考样本滤波是否已经由解码装置执行来确定用于导出预测样本的滤波器的方法的流程图。
图10是图示根据实施例的由解码装置使用filterFlag作为指示是否执行参考样本滤波的参数来确定用于导出当前块的样本值的滤波器的方法的流程图。
图11到12是图示图10的另一个示例的视图。
图13是图示根据实施例的根据由解码装置执行参考样本滤波的结果来生成帧内预测样本的方法的流程图。
图14是图示根据实施例的由解码装置执行定向帧内预测模式的方法的流程图。
图15是图示根据实施例的由解码装置导出修改的filterFlag值的方法的流程图。
图16是根据实施例的作为指示角度的参数的predModeIntra和intraPredAngle之间的映射表。
图17是图示根据实施例的作为用于帧内预测的插值滤波器的三次(cubic)滤波器(fC)和高斯滤波器(fG)的系数的表。
图18至图20是图示根据实施例的由解码装置导出参考样本阵列ref[x]的方法的流程图。
图21至26是图示用于生成当前块的预测样本的参考样本阵列的示例的视图。
图27是图示根据实施例的由解码装置确定用于执行参考样本滤波的条件的过程的流程图。
图28是图示将应用[1 2 1]/4滤波器的目标样本阵列和应用[1 2 1]/4滤波器的结果样本阵列的示例的视图。
图29是图示根据实施例的由解码装置使用参考样本滤波执行帧内预测的另一示例的视图。
图30至31是图示根据实施例的由解码装置使用参考样本滤波执行帧内预测的另一实施例的视图。
图32是图示根据实施例的由解码装置使用线性插值滤波器生成帧内预测样本的示例的视图。
图33是图示根据实施例的由解码装置使用参考样本滤波执行帧内预测的另一实施例的视图。
图34是图示根据实施例的内容流传输***的视图。
具体实施方式
以下，将结合附图对本公开的实施例进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于这里描述的实施例。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“耦合”或“链接”到另一个组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当一个组件“包括”或“具有”其他组件时，除非另有说明，否则是指还可以包括其他组件，而不是排除其他组件。
在本公开中，术语第一、第二等仅用于将一个组件与其他组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施例中的第一部件在另一个实施例中可以被称为第二部件，类似地，一个实施例中的第二部件在另一个实施例中可以被称为第一部件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施例也包括在本公开的范围内。
在本公开中，各个实施例中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施例中描述的组件的子集组成的实施例也包括在本公开的范围内。此外，除了在各种实施例中描述的组件之外进一步包括其他组件的实施例包括在本公开的范围内。
本公开涉及图像的编码和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在下文中，本公开公开了一种视频/图像编码技术。本公开和实施例中公开的编码/解码方法可以应用于通用视频编码(VVC)标准或下一代视频/图像编码标准中公开的方法。
本公开提供了与视频/图像编码相关的各种实施例，除非另有说明，否则这些实施例可以相互组合执行。
在本公开中，“图片”一般是指表示特定时间段内的一个图像的单元，而切片/图块是构成图片的一部分的编译单元，一个图片可以由一个或多个切片/图块组成。此外，切片/图块可以包括一个或多个编译树单元(CTU)。
在本公开中，“像素”或“像元”可以表示构成一个图片(或图像)的最小单个。此外，“样本”可以用作对应于像素的术语。一个样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单位可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以表示“当前编译块”、“当前编译单元”、“编译目标块”、“解码目标块”或“处理目标块”之一。当执行预测时，“当前块”可以表示“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(反量化)时，“当前块”可以表示“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以表示“滤波目标块”。
在本公开中，斜线(/)或逗号可以解释为“和/或”。例如，“A/B”和“A，B”可以解释为“A和/或B”。此外，“A/B/C”和“A、B和C”可以表示“A、B和/或C中的至少一个”。
在本公开中，“或”可以解释为“和/或”。例如，“A或B”可以表示1)只有“A”，2)只有“B”，或3)“A和B”。替代地，在本公开中，“或”可以表示“附加地或替代地”。
视频编译***概述
图1是示意性地图示根据实施例的视频编译***的视图。根据实施例的视频编译***可以包括编码装置10和解码装置20。编码装置10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络传送到解码装置20。
根据实施例的编码装置10可以包括视频源生成器11、编码单元12和发射器13。根据实施例的解码装置20可以包括接收器21、解码单元22和渲染器23。编码单元12可以称为视频/图像编码单元，解码单元22可以称为视频/图像解码单元。发射器13可以被包括在编码单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的设备或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获设备和/或视频/图像生成设备。视频/图像捕获设备可以包括例如一个或多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成设备可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关的过程代替。
编码单元12可以对输入视频/图像进行编码。为了压缩和编码效率，编码单元12可以执行一系列过程，例如预测、变换和量化。编码单元12可以以比特流的形式输出编码数据(编码视频/图像信息)。
发射器13可以通过数字存储介质或网络以文件或流的形式将编码的视频/图像信息或以比特流的形式输出的数据传输到解码装置20的接收器21。数字存储介质可以包括各种存储介质，例如USB、SD、CD、DVD、蓝光、HDD、SSD等。发射器13可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
解码单元22可以通过执行与编码单元12的操作相对应的一系列过程，例如解量化、逆变换和预测来解码视频/图像。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码装置概述
图2是示意性地图示根据实施例的图像编码装置的视图。如图2所示，图像编码装置100可以包括图像分割器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以统称为“预测器”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施例中，配置图像编码装置100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。
图像分割器110可将输入到图像编码装置100的输入图像(或图片或帧)分割成一个或多个处理单元。例如，处理单元可以称为编译单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地划分编译树单元(CTU)或最大编译单元(LCU)来获取编译单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编译单元划分为更深深度的多个编译单元。对于编译单元的划分，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再划分的最终编译单元来执行根据本公开的编译过程。可以将最大编译单元用作最终编译单元，也可以将通过划分最大编译单元获取的更深深度的编译单元用作最终编译单元。这里，编译过程可以包括稍后将描述的预测、变换和重构的过程。作为另一个示例，编译过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编译单元分割或划分。预测单元可以是样本预测单元，变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。
预测器(帧间预测器180或帧内预测器185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测器可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测器可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测器185可以通过参考当前图片中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测器185可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于相邻块和当前块之间的运动信息的相关性，以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，相邻块可以包括当前图片中存在的空间相邻块和参考图片中存在的时间相邻块。包括参考块的参考图片和包括时间相邻块的参考图片可以相同或不同。时间相邻块可以被称为并置参考块、并置CU(colCU)等。包括时间相邻块的参考图片可以被称为并置图片(colPic)。例如，帧间预测器180可基于相邻块配置运动信息候选列表，并生成指示使用哪个候选来导出当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以使用相邻块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动矢量预测(MVP)模式的情况下，相邻块的运动矢量可以用作运动矢量预测器，并且当前块的运动矢量可以通过编码运动矢量差和运动矢量预测器的指示符来用信号通知当前块的运动矢量。运动矢量差可以表示当前块的运动矢量与运动矢量预测器之间的差。
预测器可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。此外，预测器可以执行块内复制(IBC)以预测当前块。块内复制可以用于游戏等的内容视频/图像编译，例如，屏幕内容编译(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前图片中先前重构的参考块来预测当前图片的方法。当应用IBC时，参考块在当前图片中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前图片中执行预测，但是可以类似于帧间预测来执行，因为在当前图片内导出参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。
预测器生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测器输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图形表示时从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。此外，变换处理可以应用于具有相同大小的正方形像素块或者可以应用于具有可变大小而不是正方形的块。
量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可基于系数扫描顺序将块类型的量化变换系数重新排列为一维矢量形式，并基于一维矢量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码除量化变换系数之外的对于视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)为单位进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络传输或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括USB、SD、CD、DVD、蓝光、HDD、SSD等各种存储介质。可以包括传输从熵编码器190输出的信号的发射器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码装置100的内部/外部元件。替代地，可以提供发射器作为熵编码器190的组件。
从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测器180或帧内预测器185输出的预测信号相加，生成重构信号(重构图像、重构块、重构样本阵列)。如果对于要处理的块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前图片中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个图片进行帧间预测。
同时，如稍后所描述的，具有色度缩放(LMCS)的亮度映射可以应用于图片编码过程。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并将修改的重构图片存储在存储器170中，具体地，存储器170的DPB中。各种滤波方法可以包括，例如、去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器160可以生成与滤波有关的各种信息，并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
传输到存储器170的修改的重构图片可以用作帧间预测器180中的参考图片。当通过图像编码装置100应用帧间预测时，可以避免图像编码装置100和图像解码装置之间的预测失配并且可以提高编码效率。
存储器170的DPB可以存储修改的重构图片以用作帧间预测器180中的参考图片。存储器170可以存储从其中导出(或编码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测器180，并用作空间相邻块的运动信息或时间相邻块的运动信息。存储器170可以存储当前图片中重构块的重构样本并且可以将重构样本传送到帧内预测器185。
图像解码装置概述
图3是示意性地图示根据实施例的图像解码装置的视图。如图3所示，图像解码装置200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以统称为“预测器”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施例，配置图像解码装置200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器250可以包括解码图片缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像解码装置200可以通过执行与由图2的图像编码装置100执行的处理相对应的处理来重构图像。例如，图像解码装置200可以使用在图像编码装置中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编译单元。
图像解码装置200可以接收以比特流的形式从图2的图像编码装置输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以导出图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。图像解码装置还可以基于参数集信息和/或通用约束信息对图片进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、相邻块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率对bin进行算术解码，并且生成与每个句法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息中与预测相关的信息可以被提供给预测器(帧间预测器260和帧内预测器265)，以及在熵解码器210中对其执行熵解码的残差值，即，量化的变换系数和相关的参数信息可以被输入到解量化器220。另外，可以将关于熵解码器210解码的信息当中的滤波的信息提供给滤波器240。同时，用于接收从图像编码装置输出的信号的接收器(未示出)可以进一步被配置为图像解码装置200的内部/外部元件，或者接收器可以是熵解码器210的组件。
同时，根据本公开的图像解码装置可以被称为视频/图像/图片解码装置。图像解码装置可以分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器160或帧内预测器中的至少一个。
解量化器220可以对量化的变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化的变换系数。在这种情况下，可以基于在图像编码装置中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于关于从熵解码器210输出的预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定的帧内/帧间预测模式(预测技术)。
与在图像编码装置100的预测器中描述的相同的是，预测器可以基于稍后描述的各种预测方法(技术)来生成预测信号。
帧内预测器265可以通过参考当前图片中的样本来预测当前块。帧内预测器185的描述同样适用于帧内预测器265。
帧间预测器260可以基于由参考图片上的运动矢量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于相邻块和当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，相邻块可以包括当前图片中存在的空间相邻块和参考图片中存在的时间相邻块。例如，帧间预测器260可以基于相邻块配置运动信息候选列表并且基于接收到的候选选择信息导出当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测器(包括帧间预测器260和/或内预测器265)输出的预测信号(预测块、预测样本阵列)相加生成重构块。如果要处理的块没有残差，例如在应用跳过模式时，则可以将预测块用作重构块。加法器155的描述同样适用于加法器235。加法器235可以被称为重构器或重构块生成器。生成的重构信号可以用于当前图片中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个图片进行帧间预测。
同时，如稍后描述的，亮度映射与色度缩放(LMCS)可以应用于图片解码过程。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并将修改的重构图片存储在存储器250中，具体地，存储器250的DPB中。各种滤波方法可以包括，例如、去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器250的DPB中的(修改的)重构图片可以用作帧间预测器260中的参考图片。存储器250可以存储从其中导出(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测器260，以用作空间相邻块的运动信息或时间相邻块的运动信息。存储器250可以存储当前图片中重构块的重构样本并将重构样本传送到帧内预测器265。
在本公开中，在图像编码装置100的滤波器160、帧间预测器180和帧内预测器185中描述的实施例可以同等地或对应地应用于图像解码装置200的滤波器240、帧间预测器260和帧内预测器265。图像解码装置200的滤波器240、帧间预测单元260和帧内预测单元265中描述的实施例可以被应用于分别与图像编码装置100的滤波单元160和帧间预测单元180和帧内预测单元185相同或对应。
帧内预测概述
以下，将描述根据实施例的帧内预测方法。帧内预测可以指示基于当前块所属的图片(以下称为当前图片)中的参考样本为当前块生成预测样本的预测。当帧内预测应用于当前块时，可以导出要用于当前块的帧内预测的相邻参考样本。当前块的相邻参考样本可以包括与具有nWxnH大小的当前块的左边界相邻的样本和与左下角相邻的总共2xnH个样本、与当前块的上边界相邻的样本以及与右上角相邻的总共2xnW个样本，以及与当前块的左上角相邻的一个样本。替代地，当前块的相邻参考样本可以包括多列顶部相邻样本和多行左侧相邻样本。此外，当前块的相邻参考样本可以包括与具有nWxnH大小的当前块的右边界相邻的总共nH个样本、与当前块的下边界相邻的总共nW个样本，以及与当前块右下角相邻的一个样本。同时，当将在后面描述的ISP被应用时，可以以子分区为单位导出相邻参考样本。
另一方面，当前块的一些相邻参考样本尚未解码或可能不可用。在这种情况下，解码装置可以通过用可用样本替换不可用样本来构建用于预测的相邻参考样本。替代地，可以使用可用样本的插值来构造要用于预测的相邻参考样本。
当导出相邻参考样本时，(i)可以基于当前块的相邻参考样本的平均值或插值来导出预测样本，以及(ii)可以基于相对于当前块的相邻参考样本中预测样本的特定(预测)方向中存在的参考样本导出预测样本。(i)的情况可以被称为非定向模式或非角度模式并且(ii)的情况可以被称为定向模式或角度模式。此外，可以基于相邻参考样本中的当前块的预测样本，通过关于位于当前块的帧内预测模式的预测方向相反方向的第二相邻样本和第一相邻样本进行插值来生成预测样本。上述情况可以被称为线性插值帧内预测(LIP)。此外，可以使用线性模型基于亮度样本生成色度预测样本。这种情况可以称为LM模式。另外，可以基于滤波的相邻参考样本导出当前块的临时预测样本，并且可以通过将临时预测样本与根据现有相邻参考样本中的帧内预测模式(即未滤波的相邻参考样本)导出的至少一个参考样本加权求和来导出当前块的预测样本。上述情况可以被称为位置相关帧内预测(PDPC)。另外，可以从当前块的多条相邻参考样本线中选择预测精度最高的参考样本线，以利用位于对应线的预测方向上的参考样本导出预测样本，此时帧内预测编码可以通过向解码装置指示(用信号通知)所使用的参考样本线来执行。上述情况可以被称为多参考线(MRL)帧内预测或基于MRL的帧内预测。另外，当前块可以被划分为垂直或水平子分区以基于相同的帧内预测模式进行帧内预测，并且可以以子分区为单位导出和使用相邻的参考样本。即，在这种情况下，当前块的帧内预测模式被同等地应用于子分区，并且以子分区为单位导出和使用相邻参考样本，从而提高帧内预测性能。这种预测方法可以称为帧内子分区(ISP)或基于ISP的帧内预测。另外，当基于预测样本的预测方向指示相邻参考样本之间的空间时，即当预测方向指示分数样本位置时，可以通过位于预测方向周围(分数样本位置周围)的多个参考样本的插值导出预测样本的值。上述帧内预测方法可以被称为帧内预测类型，以区别于帧内预测模式。此外，在使用位于当前块左侧和顶部的重构相邻像素生成当前块的子采样像素集的预测信号之后，可以将生成的预测信号和相邻样本值在垂直方向以及水平方向上插值以生成具有原始大小的预测信号，从而应用矩阵加权帧内预测(MIP)来执行当前块的帧内预测。
帧内预测类型可以被称为各种术语，例如帧内预测方案或附加帧内预测模式。例如，帧内预测类型(或附加帧内预测模式)可以包括LIP、PDPC、MRL、ISP或MIP中的至少一种。关于帧内预测类型的信息可以由编码装置编码、包括在比特流中并且用信号通知给解码装置。可以以各种形式实现关于帧内预测类型的信息，例如指示是否应用每个帧内预测类型的标志信息或指示若干帧内预测类型之一的索引信息。
同时，如果需要，可以对导出的预测样本执行后滤波。具体地，帧内预测过程可以包括帧内预测模式/类型确定步骤、相邻参考样本导出步骤和基于帧内预测模式/类型的预测样本导出步骤。此外，如果需要，可以对导出的预测样本进行后滤波。
在下文中，将描述基于帧内预测的视频/图像编码方法。首先，编码装置针对当前块执行帧内预测。编码装置可导出当前块的帧内预测模式/类型，导出当前块的相邻参考样本，并基于帧内预测模式/类型和相邻参考样本生成当前块中的预测样本。这里，帧内预测模式/类型确定、相邻参考样本导出和预测样本生成过程可以同时执行，或者任何一个过程可以在其他过程之前执行。同时，当执行下面描述的预测样本滤波过程时，帧内预测器185还可以包括预测样本滤波器。编码装置可以在多个帧内预测模式/类型中确定应用于当前块的模式/类型。编码装置可以比较帧内预测模式/类型的率失真(RD)成本并且确定当前块的最佳帧内预测模式/类型。
同时，编码装置可以执行预测样本滤波过程。预测样本滤波可以称为后滤波。通过预测样本滤波过程，一些或所有预测样本可以被滤波。在某些情况下，可以省略预测样本滤波过程。
接下来，编码装置可基于预测样本生成当前块的残差样本。编码装置可以在相位方面将当前块的原始样本与预测样本进行比较并导出残差样本。
接下来，编码装置可以对包括关于帧内预测的信息(预测信息)和关于残差样本的残差信息的图像信息进行编码。预测信息可以包括帧内预测模式信息和帧内预测类型信息。编码装置可以以比特流的形式输出编码的图像信息。输出比特流可以通过存储介质或网络传输到解码装置。
残差信息可以包括残差编码语法，这将在后面描述。编码装置可对残差样本进行变换/量化并导出量化的变换系数。残差信息可以包括关于量化的变换系数的信息。
同时，如上所述，编码装置可以生成重构图片(包括重构样本和重构块)。为此，编码装置可以针对量化的变换系数执行逆量化/逆变换并导出(修改的)残差样本。对残差样本进行变换/量化然后进行逆量化/逆变换的原因是为了导出与上述解码装置导出的残差样本相同的残差样本。编码装置可以基于预测样本和(修改的)残差样本生成包括当前块的重构样本的重构块。基于重构块，可以生成当前图片的重构图片。如上所述，环路滤波过程适用于重构图片。
在下文中，将描述基于帧内预测的视频/图像编码方法。解码装置可以执行与由编码装置执行的操作相对应的操作。
首先，解码装置可以基于接收到的预测信息(帧内预测模式/类型信息)导出当前块的帧内预测模式/类型。解码装置可以导出当前块的相邻参考样本。解码装置可以基于帧内预测模式/类型和相邻参考样本在当前块中生成预测样本。在这种情况下，解码装置可以执行预测样本滤波过程。预测样本滤波可以称为后滤波。通过预测样本滤波过程，一些或所有预测样本可以被滤波。在某些情况下，可以省略预测样本滤波过程。
解码装置可基于接收到的残差信息生成当前块的残差样本。解码装置可基于预测样本和残差样本生成当前块的重构样本并导出包括重构样本的重构块。基于重构块，可以生成当前图片的重构图片。环路滤波过程进一步适用于重构的图片。
帧内预测模式信息可以包括例如指示是将最可能模式(MPM)还是剩余模式应用于当前块的标志信息(例如，intra_luma_mpm_flag)，并且当MPM应用于当前块时，预测模式信息还可以包括指示帧内预测模式候选(MPM候选)之一的索引信息(例如，intra_luma_mpm_idx)。帧内预测模式候选(MPM候选)可以配置MPM候选列表或MPM列表。例如，MPM候选列表可以包括相邻块的帧内预测模式或预设的基本帧内预测模式。此外，当MPM没有应用于当前块时，帧内预测模式信息还可以包括剩余模式信息(例如，intra_luma_mpm_remainder)，其指示除了帧内预测模式候选(MPM候选)之外的剩余帧内预测模式之一。解码装置可基于帧内预测模式信息确定当前块的帧内预测模式。
此外，可以以各种形式实现帧内预测类型信息。例如，帧内预测类型信息可以包括指示帧内预测类型之一的帧内预测类型索引信息。作为另一示例，帧内预测类型信息可以包括指示MRL是否被应用于当前块的参考样本线信息(例如，intra_luma_ref_idx)、以及如果被应用则使用哪个参考样本线、指示当前块是否应用了ISP的ISP标志信息(例如，intra_subpartitions_mode_flag)、指示当应用了ISP时子分区的分割类型的ISP类型信息(例如，intra_subpartitions_split_flag)、指示是否应用PDPC的标志信息或指示是否应用LIP的标志信息中的至少一个。
可以通过本公开中描述的编译方法对帧内预测模式信息和/或帧内预测类型信息进行编码/解码。例如，帧内预测模式信息和/或帧内预测类型信息可以通过基于截断的(rice)二进制码的熵编码(例如，CABAC、CAVLC)进行编码/解码。
在下文中，将更详细地描述帧内预测模式。图4示出了根据实施例的帧内预测方向。为了捕获自然视频中呈现的任何边缘方向，如图4所示，帧内预测模式可以包括两种非定向帧内预测模式和65种定向帧内预测模式。非定向帧内预测模式可以包括平面帧内预测模式和DC帧内预测模式，定向帧内预测模式可以包括第二至第66帧内预测模式。
同时，除了上述帧内预测模式之外，帧内预测模式还可以包括用于色度样本的交叉分量线性模型(CCLM)模式。CCLM模式可以根据是否考虑左样本、上样本或两者用于LM参数导出而分为L_CCLM、T_CCLM、LT_CCLM，并且可以仅应用于色度分量。例如，可以如下表所示对帧内预测模式进行索引。
[表1]
| 帧内预测模式 | 关联名称 |
| 0 | INTRA_PLANAR |
| 1 | INTRA_DC |
| 2..66 | INTRA_ANGULAR2..INTRA_ANGULAR66 |
| 81..83 | INTRA_LT_CCLM,INTRA_L_CCLM,INTRA_T_CCLM |
图5示出了根据另一实施例的帧内预测方向。这里，虚线方向示出仅应用于非正方形块的广角模式。如图5所示，为了捕获自然视频中呈现的任何边缘方向，根据实施例的帧内预测模式可以包括两种非定向的帧内预测模式和93种定向帧内预测模式。非定向性帧内预测模式可以包括平面帧内预测模式和DC帧内预测模式，定向性帧内预测模式可以包括第2到第80和第-1到第-14帧内预测模式，如图5中箭头所示。平面预测模式可以用INTRA_PLANAR表示，并且DC预测模式可以用INTRA_DC表示。此外，定向帧内预测模式可以由INTRA_ANGULAR-14至INTRA_ANGULAR-1和INTRA_ANGULAR2至INTRA_ANGULAR80表示。
同时，帧内预测类型(或附加帧内预测模式)可以包括LIP、PDPC、MRL、ISP或MIP中的至少一种。可以基于帧内预测类型信息来指示帧内预测类型，并且可以以各种形式实现帧内预测类型信息。例如，帧内预测类型信息可以包括指示帧内预测类型之一的帧内预测类型索引信息。作为另一示例，帧内预测类型信息可以包括指示MRL是否被应用于当前块的参考样本线信息(例如，intra_luma_ref_idx)、以及如果被应用则使用哪个参考样本线、指示当前块是否应用了ISP的ISP标志信息(例如，intra_subpartitions_mode_flag)、指示当应用了ISP时子分区的分割类型的ISP类型信息(例如，intra_subpartitions_split_flag)、指示是否应用PDPC的标志信息或指示是否应用LIP的标志信息或指示是否应用MIP的MIP标志信息中的至少一个。
在下文中，将更详细地描述参考样本滤波。滤波适用于当前块的相邻参考样本。这可以被称为预滤波，因为它在帧内预测之前被应用于相邻的参考样本，与在帧内预测之后滤波被应用于预测样本的后滤波不同。例如，可以执行对相邻参考样本的滤波，如下面的数学式所示。
可以如下导出经滤波的样本值p[x][y]。这里，x＝-1，y＝-1到refH-1以及x＝0到refW-1，y＝-1。可以将refH确定为变换块或编译块的高度的两倍，并且可以将refW确定为变换块或编译块的宽度的两倍。
[数学式1]
p[-1][-1]＝(refUnfilt[-1][0]+2*refUnfilt[-1][-1]+refUnfilt[0][-1]+2)>>2
[数学式2]
p[-1][y]＝(refUnfilt[-1][y+1]+2*refUnfilt[-1][y]+refUnfilt[-1][y-1]+2)>>2，其中,y＝0到refH-2。
[数学式3]
p[-1][refH-1]＝refUnfilt[-1][refH-1]
[数学式4]
p[x][-1]＝(refUnfilt[x-1][-1]+2*refUnfilt[x][-1]+refUnfilt[x+1][-1]+2)>>2，其中,x＝0到refW-2。
[数学式5]
p[refW-1][-1]＝refUnfilt[refW-1][-1]
其中，refUnfilt表示尚未滤波的相邻参考样本，[x][y]表示对应样本的x和y坐标。例如，这可以指示当前块的左上样本位置坐标为(0,0)时的坐标。
当对相邻参考样本应用滤波时，可以将滤波的相邻参考样本用作预测样本导出步骤中的参考样本，并且当对相邻参考样本不应用滤波时，可以将未滤波的相邻参考样本用作预测样本导出步骤中的参考样本。
例如，当满足以下特定条件的部分或全部时，可以使用相邻参考样本滤波。
(条件1)nTbW*nTbH大于32，其中，nTbW表示TB的宽度，即变换块(当前块)的宽度，nTbH表示TB的高度，即变换块(当前块)的高度。
(条件2)cIdx的值为0。cIdx表示当前块的颜色分量，值为0表示亮度分量。
(条件3)IntraSubPartitionsSplitType表示非分割(ISP_NO_SPLIT)。这里，IntraSubPartitionsSplitType是指示当前亮度编译块的分割类型的参数。
(条件4)以下条件4-1至4-4中的至少一项为真。
(条件4-1)表示帧内预测模式的predModeIntra的值表示平面预测模式(INTRA_PLANAR)。
(条件4-2)predModeIntra的值表示第34定向帧内预测模式(INTRA_ANGULAR34)。
(条件4-3)predModeIntra的值表示第2定向帧内预测模式(INTRA_ANGULAR2)，nTbH的值大于或等于nTbW的值。
(条件4-4)predModeIntra的值为第66定向帧内预测模式(INTRA_ANGULAR66)，nTbW的值大于或等于nTbH。
例如，诸如帧内预测模式/类型确定、相邻参考样本导出和预测样本导出的过程都可以以CU为单位来执行。作为另一示例，可以以CU为单位执行帧内预测模式/类型确定，而可以以CU中的TU为单位执行相邻参考样本导出和预测样本导出过程。在这种情况下，CU中的TU可以共享相同的帧内预测模式/类型。因此，考虑到这种情况，可以考虑作为TU(或TB)的宽度和高度的nTbW和nTbH来确定是否执行相邻参考样本滤波。
应用参考样本滤波的帧内预测过程的概述
在下文中，将描述根据实施例的样本滤波被应用到的帧内预测方法。当使用平滑滤波器滤波参考样本时，参考样本的值具有平滑变化的特性。然而，当通过将具有锐化特性的滤波器应用于参考样本来针对当前样本执行帧内预测时，锐化特性被添加到平滑的参考样本，从而降低了帧内预测效率。根据是否使用平滑滤波器对参考样本进行滤波，需要从平滑滤波器和锐化滤波器中选择应用于参考样本的滤波器，以生成当前样本的帧内预测样本。因此，可以通过将平滑滤波器应用于平滑滤波器被应用到的参考样本以生成预测样本并将锐化滤波器应用于平滑滤波器未应用到的参考样本来提高帧内预测效率。
根据实施例的由解码装置执行的帧内预测方法可以根据是否应用参考样本滤波来确定执行帧内预测时使用的滤波器的类型。因此，解码装置可以通过根据参考样本滤波结果将适合参考样本的样本特征的滤波器应用于参考样本来有效地生成预测样本。
图6是图示根据实施例的帧内预测步骤的流程图。如上所述，帧内预测可以包括三个主要步骤。首先，根据实施例的解码装置可以构建参考样本(S110)。然后，解码装置可以使用构造的参考样本来预测当前块的样本值(S120)。参考样本可以是位于当前块周围的样本。解码装置可以将后滤波器应用于通过在样本内预测之后执行步骤S120生成的帧内预测样本(S130)。
图7是图示根据实施例的参考样本构建步骤S110的流程图。将参考图7更详细地描述参考样本配置步骤S110。首先，根据实施例的解码可以检查参考样本的可用性(S111)。接下来，解码装置可以根据参考样本的可用性确定是否替换参考样本并执行参考样本的替换(S112)。例如，当参考样本不可用时，参考样本可以被替换为基于相邻可用样本生成的值。因此，可以构建所有参考样本。
此后，解码装置可以根据参考样本的滤波条件对构建的参考样本进行滤波(S113)。当帧内编译单元(CU)或变换单元(TU)的大小较大时，帧内编译单元和变换单元的预测结果可能比较平滑。在这种情况下，可能需要执行参考样本滤波，从而生成的帧内预测样本是平滑和平面的。
在下文中，将参考图8描述根据实施例的用于帧内预测的参考样本滤波条件。图8是图示了在参考样本构建步骤S110的参考样本滤波步骤S113中由根据实施例的解码装置确定是否执行参考样本滤波的方法的流程图。首先，根据实施例的解码装置可以确定是否满足执行参考样本滤波的条件(S210)。当不满足执行参考样本滤波的条件时，解码装置可以不执行参考样本滤波(S220)。同时，当满足用于执行参考样本滤波的条件时，解码装置可以执行参考样本滤波(S230)。
更具体地，解码装置可以根据以下条件确定是否执行参考样本滤波。在实施例中，当以下条件全部为真或至少一个条件为真时，解码装置可以确定对当前块的帧内预测所参考的参考样本进行滤波，否则可以确定不进行滤波。
(条件1)最接近当前块的参考样本线用于帧内预测。即intra_luma_ref_idx的值为0。
(条件2)CU/TU的宽高乘积大于32。
(条件3)当前块与亮度分量有关。
(条件4)不使用ISP(帧内子分区)编译模式。
(条件5)以下条件5-1或条件5-2中的至少一项为真。下文中，第二定向帧内预测模式可称为左下对角模式，第34定向帧内预测模式可称为左上对角模式，第66定向帧内预测模式可称为右上对角模式。第18定向帧内预测模式可以被称为水平模式，第50定向帧内预测模式可以被称为垂直模式。
(条件5-1)CU/TU的宽高乘积等于或小于128，且帧内预测模式对应于帧内平面模式(INTRA_PLANAR)、帧内DC模式(INTRA_DC)、第二定向帧内预测模式(INTRA_ANGULAR2)到第四定向帧内预测模式(INTRA_ANGULAR4)、第32定向帧内预测模式(INTRA_ANGULAR32)到第36定向帧内预测模式(INTRA_ANGULAR36)，或第64定向帧内预测模式(INTRA_ANGULAR64)到第66定向帧内预测模式(INTRA_ANGULAR66)。
(条件5-2)CU/TU的宽高乘积大于128，帧内预测模式既不是第18定向帧内预测模式(INTRA_ANGULAR18)也不是第50定向帧内预测模式(INTRA_ANGULAR50)。
同时，根据上述条件应用于参考样本的滤波器可以是用于平滑参考样本的滤波器，并且可以是例如稍后将描述的[1 2 1]/4滤波器。如上所述，应用到参考样本滤波的滤波器和用于帧内预测的滤波器可以具有相同的特性可能是有利的。因此，当使用通过应用滤波平滑的参考样本执行帧内预测时，应用具有尖锐样本趋势的滤波器可能是低效的。这是因为，由于参考样本具有尖锐的趋势(例如，边缘)，它的样本值与相邻样本值形成对比，而由于参考样本具有平滑特性，它的样本值与相邻样本值相似。因此，当应用参考样本滤波器时，需要在帧内预测样本生成步骤中使用具有与参考样本滤波器的特性不矛盾的特性的滤波器。例如，可以在帧内预测样本生成步骤中使用的平滑滤波器可以是稍后将描述的4抽头高斯滤波器或线性插值滤波器中的任何一种。
同时，当不应用参考样本滤波器时，可能不会平滑参考样本。在这种情况下，未平滑的参考样本可能具有尖锐的趋势(例如，边缘)。与以上描述类似，当使用具有尖锐趋势的参考样本执行帧内预测时，应用于平滑滤波器可能是低效的。因此，当不应用参考样本滤波器时，帧内预测样本生成步骤中使用的滤波器可以是锐化滤波器。例如，锐化滤波器可以是三次滤波器，这将在后面描述。
就此而言，根据实施例的解码装置可基于是否执行参考样本滤波来确定用于预测当前块的样本值的滤波器。在下文中，根据实施例的解码装置根据是否在图6的预测样本生成步骤S120中执行参考样本滤波来确定用于导出预测样本的滤波器的实施例。图9是图示根据实施例的根据参考样本滤波是否已经由解码装置执行来确定用于导出预测样本的滤波器的方法的流程图。根据实施例的解码装置首先确定是否已经执行了参考样本滤波(310)。接下来，当没有执行参考样本滤波时，解码装置使用第一滤波器导出预测样本(S320)。这里，第一滤波器可以是锐化滤波器并且可以是三次滤波器。
接下来，当已经执行参考样本滤波时，解码装置使用第二滤波器导出预测样本(S330)。这里，第二滤波器为平滑滤波器，可以是4抽头高斯滤波器或线性插值滤波器中的任何一种。
参考样本滤波执行信息信令的概述
如参考图6至图9所描述的，在预测样本生成步骤S120中应用的滤波器可以根据是否在参考样本滤波步骤S113中执行参考样本滤波而变化。因此，需要向预测样本生成步骤S120通知是否在参考样本滤波步骤S113中执行参考样本滤波。因此，解码装置在参考样本滤波步骤S113中根据是否执行参考样本滤波来选择应用于预测样本的滤波器，从而提高帧内预测效率。
在实施例中，解码装置可以使用filterFlag向当前块的预测样本生成步骤用信号通知是否执行参考样本滤波，filterFlag是指示是否执行参考样本滤波的参数。
为此，在参考样本滤波步骤之后，可以将指示参考样本是否已经被滤波的filterFlag输入到用于定向帧内预测模式(帧内角模式)2至66的帧内预测模式步骤，这将在后面描述。例如，在定向帧内预测模式2至66中，解码装置可以使用接收到的filterFlag来确定用于预测当前块的样本值的滤波器。
在下文中，将参考图10更详细地描述这一点。图10是图示根据实施例的由解码装置使用filterFlag作为指示是否执行参考样本滤波的参数来确定用于导出当前块的样本值的滤波器的方法的流程图。图10示出了上面参考图8和图9描述的步骤。例如，参考样本滤波步骤S401可以在参考图8描述的参考样本滤波步骤S113中执行，预测样本生成步骤S402可以在参考图9描述的预测样本生成步骤S120中执行。
首先，根据实施例的解码装置可以确定是否满足执行参考样本滤波的条件(S410)。执行参考样本滤波的条件可以包括上述条件。当不满足执行参考样本滤波的条件时，根据实施例的解码装置可以将filterFlag的值设置为第一值，在这种情况下，第一值可以为0(S420)。同时，当满足执行参考样本滤波的条件并执行参考样本滤波时，根据实施例的解码装置可以将filterFlag的值设置为第二值，在此情况下，第二值可以为1(S430)。
例如，当对参考样本不应用滤波时，根据实施例的解码装置可以将filterFlag的值设置为第一值。此外，当对参考样本应用滤波时，根据实施例的解码装置可以将filterFlag的值设置为第二值。例如，第一值可以是0，第二值可以是1。在本实施例中，filterFlag值为0可以表示不执行参考样本滤波，filterFlag值为1可以表示执行参考样本滤波。
在一个实施例中，在参考样本滤波步骤S410中生成的filterFlag值可以被用信号通知到预测样本生成步骤S402。根据实施例的解码装置可以接收参考样本滤波步骤S410中生成的filterFlag值作为预测样本生成步骤S402中具有相同参数名称的filterFlag参数。
在当前块的预测样本生成步骤中，根据实施例的解码装置可以基于从参考样本滤波步骤接收到的filterFlag值来确定用于生成预测样本的滤波器。例如，根据实施例的解码装置可以确定从参考样本滤波步骤接收的filterFlag值是否对应于第二值(S440)。当filterFlag值不对应于第二值时，根据实施例的解码装置可以使用第一滤波器导出预测样本(S450)。第一滤波器可以是锐化滤波器并且可以是三次滤波器。当filterFlag值对应于第二值时，根据实施例的解码装置可以使用第二滤波器导出预测样本(S460)。这里，第二滤波器为平滑滤波器，可以是4抽头高斯滤波器或线性插值滤波器中的任何一种。
更具体地，当从参考样本滤波步骤接收到的filterFlag值是指示未对参考样本应用滤波的第一值时，根据实施例的解码装置可确定未对参考样本应用滤波并应用锐化滤波器来预测当前块的样本值。类似地，当从参考样本滤波步骤接收的filterFlag值是指示对帧内参考样本应用滤波的第二值时，根据实施例的解码装置可以确定对帧内参考样本应用滤波并应用平滑滤波器以预测当前块的样本值。
在实施例中，filterFlag的第一值和第二值的具体值可以根据需要设置。图11是图示在图10的实施例中当第一值被设置为0并且第二值被设置为1时解码装置的操作的流程图。除了设置第一值和第二值之外，图11的附图标记S510至S560所对应的步骤可以对应于图10的附图标记S410至S460所对应的步骤。同时，在另一实施例中，指示不执行参考样本滤波的第一值可以被设置为1，并且指示执行参考样本滤波的第二值可以被设置为0。
另外，在当前块的帧内预测模式为预定模式时，filterFlag可以设置为1，否则可以设置为0。预定模式可以是平面模式或定向模式，其指示在整数位置处的参考样本。在这种情况下，即使垂直模式和水平模式指示整数位置处的参考样本，filterFlag值也可以设置为0。即，在当前块的帧内预测模式是上述预定模式之一时，可以执行参考样本滤波。否则，可能无法执行参考样本滤波。
同时，指示是否滤波图10的帧内参考样本的参数可以称为filterFlag以外的名称。其实施例在图12中示出。如图12的示例所示，filterFlag可以称为refFilterFlag。除了术语上的改变之外，对应于图12的附图标记S610到S660的步骤可以对应于对应于图10的附图标记S410至S460的步骤。
第一实施例
在下文中，将参考图13描述根据实施例的参考样本滤波和帧内预测方法。需要提供一种配置，用于在参考样本滤波步骤中用信号通知是否应用滤波，以便将平滑滤波器应用于平滑滤波器被应用到的参考样本，以生成预测样本，并将锐化滤波器应用于平滑滤波器不被应用到的参考样本。因此，可以在预测样本生成步骤中确定是否在参考样本滤波步骤中应用滤波，并且可以选择滤波器来生成预测样本，从而提高帧内预测效率。
图13是图示根据实施例的根据由解码装置执行参考样本滤波的结果来生成帧内预测样本的方法的流程图。首先，根据实施例的解码装置可以通过输入或导出获得以下参数(S710)。例如，解码装置可以接收以下参数。这里，x的整数值从0到nTbW-1，y的整数值从0到nTbH-1。
-(xTbCmp,yTbCmp)坐标对指示当前变换块的左上样本与当前图片的左上样本的相对位置
-predModeIntra是指示帧内预测模式的参数
-nTbW是指示变换块的宽度的参数
-nTbH是指示变换块的高度的参数
-nCbW是指示编译块的宽度的参数
-nCbH是指示编译块的高度的参数
-cIdx是指示当前块的颜色分量的参数
同时，根据实施例的解码装置可以如下导出参数refW和refH以生成帧内预测样本。
例如，当指示当前亮度编译块的分割类型的参数IntraSubPartitionsSplitType指示非分割(ISP_NO_SPLIT)或作为当前块的颜色分量的cIdx不为0时(即，在当前块是不是亮度块而是色度块时)，可以根据以下数学式导出refW和refH。
[数学式6]
refW＝nTbW*2
[数学式7]
refH＝nTbH*2
同时，与上述情况不同，当IntraSubPartitionsSplitType指示分割，cIdx的值指示亮度块时，例如，当IntraSubPartitionsSplitType为指示水平分割的ISP_HOR_SPLIT，或指示垂直分割的ISP_VER_SPLIT，cIdx的值为指示亮度块的0值时，refW和refH可以如下导出。
[数学式8]
refW＝nCbW*2
[数学式9]
refH＝nCbH*2
此外，可以如下基于IntraLumaRefLineIdx导出指示帧内预测参考线的参数refIdx，IntraLumaRefLineIdx是用于存储在相对于当前变换块的位置的亮度分量的帧内预测期间参考的参考线的索引的数组。
[数学式10]
refIdx＝(cIdx＝＝0)？IntraLumaRefLineIdx[xTbCmp][yTbCmp]:0
接下来，根据实施例的解码装置使用上述参数生成参考样本p[x][y](S720)。在下文中，再次将参考图7更详细地描述这一点。此处，x、y坐标对可以由x＝-1-refIdx、y＝-1-refIdx到refH–1以及x＝-refIdx到refW-1、y＝-1-refIdx组成。
首先，根据实施例的解码装置可以检查参考样本关于样本位置(xTbCmp，yTbCmp)的可用性(S111)。为此，解码装置可以获得作为指示帧内预测参考线索引的参数的refIdx、作为指示参考样本宽度的参数的refW、作为指示参考样本高度的参数的refH、作为指示颜色分量索引的参数的cIdx作为输入。此外，解码装置可以提供作为指示参考样本的参数的refUnfilt[x][y]作为输出。此处，x、y坐标对可以由x＝-1-refIdx、y＝-1-refIdx到refH-1以及x＝-refIdx到refW-1、y＝-1-refIdx组成。
接下来，在确定由x＝-1-refIdx、y＝-1-refIdx到refH-1以及x＝-refIdx到refW-1，y＝-1-refIdx组成的x,y坐标对的至少一个样本refUnfilt[x][y]不可用时，解码装置可以执行与参考样本替换步骤(S112)。
解码装置可以获得作为指示帧内预测参考线索引的参数的refIdx、作为指示参考样本的宽度的参数的refW、作为指示参考样本的高度的参数的refH、作为指示颜色分量索引的参数的cIdx、作为指示参考样本的参数的refUnfilt[x][y](其中，x、y坐标由x＝-1-refIdx、y＝-1-refIdx到refH–1以及x＝-refIdx到refW-1，y＝-1-refIdx组成)作为输入，以执行参考样本替换步骤。另外，解码装置可以生成refUnfilt[x][y]，它是指示修改的参考样本的参数(其中x，y坐标对由x＝-1-refIdx，y＝-1-refIdx到refH-1以及x＝-refIdx到refW-1,y＝-1-refIdx组成)作为参考样本替换步骤的结果。
接下来，解码装置可执行参考样本滤波步骤(S113)。解码装置可以获得作为指示帧内预测参考线索引的refIdx、作为指示变换块宽度的参数的nTbW、作为指示变换块高度的参数的nTbH、作为指示参考样本的宽度的参数的refW、作为指示参考样本的高度的参数的refH、作为指示未关于x＝-1-refIdx、y＝-1-refIdx到refH-1以及x＝-refIdx到refW-1，y＝-1-refIdx滤波的样本的参数的refUnfilt[x][y]、和作为指示颜色分量索引的参数的cIdx作为输入。此外，解码装置可以生成filterFlag，其是指示作为参考样本滤波步骤的结果是否执行参考样本滤波的参数，和作为指示参考样本的参数的p[x][y]。这里，x＝-1-refIdx，y＝-1-refIdx到refH–1以及x＝-refIdx到refW-1，y＝-1-refIdx。
将参考图13再次进行描述。在下一个步骤中，根据实施例的解码装置生成帧内预测样本(S730)。根据实施例的解码装置可以根据predModeIntra的值确定要应用于当前块的帧内预测模式(S731)。此外，解码装置可以通过以所确定的帧内预测模式执行帧内预测来生成帧内预测样本(S732)。
例如，当predModeIntra的值指示帧内平面预测模式(INTRA_PLANAR)时，根据实施例的解码装置可以以帧内平面预测模式生成对应块的预测样本。在这种情况下，解码装置可以获得作为指示变换块的宽度的参数的nTbW、作为指示变换块的高度的参数的nTbH和作为指示参考样本阵列的参数的p作为输入。结果，解码装置可以生成作为指示预测样本阵列的参数的predSamples作为结果。
同时，当predModeIntra与上述不同并且predModeIntra指示帧内DC预测模式(INTRA_DC)时，解码装置可以以帧内DC预测模式生成相应块的预测样本。在这种情况下，解码装置可以获得作为指示变换块的宽度的参数的nTbW、作为指示变换块的高度的参数的nTbH和作为指示参考样本阵列的参数的p作为输入。结果，解码装置可以生成作为指示预测样本阵列的参数的predSamples作为结果。
同时，当predModeIntra与上述不同并且predModeIntra是指示色度样本的交叉分量线性模型(CCLM)模式的值时，例如上述的INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM，解码装置可以执行与之对应的帧内预测模式处理过程。在这种情况下，解码装置可以获得作为指示帧内预测模式的参数的predModeIntra、设置为等于(xTbCmp，yTbCmp)的样本位置(xTbC，yTbC)、作为指示变换块的宽度的参数的nTbW、指示变换块的高度的参数的nTbH、指示参考样本阵列的参数的p作为输入。解码装置可以生成作为指示预测样本阵列的参数的predSamples作为输出。
同时，当predModeIntra与上述不同时，解码装置可以执行定向帧内预测模式。解码装置可以获得作为指示帧内预测模式的参数的predModeIntra、作为指示帧内预测参考线索引的参数的refIdx、作为指示变换块的宽度的参数的nTbW、作为指示变换块的高度的参数的nTbH、作为指示参考样本的宽度的参数的refW、作为指示参考样本的高度的参数的refH、指示编译块的宽度的nCbW、作为指示编译块的高度的参数的nCbH、作为指示颜色分量索引的参数的cIdx、作为指示是否执行参考样本滤波的参数的filterFlag、以及作为指示参考样本阵列的参数的p作为输入。解码装置可以生成predModeIntra和predSamples，predModeIntra是指示修改的帧内预测模式作为执行这个的结果的参数，predSamples是指示预测样本阵列的参数。
在下文中，将参考图14描述根据实施例的解码装置执行定向帧内预测模式的方法。图14是图示根据实施例的由解码装置执行定向帧内预测模式的方法的流程图。根据实施例的解码装置可以生成修改的帧内预测模式predModeIntra作为执行第2到第66个定向帧内预测模式(INTRA_ANGULAR2到INTRA_ANGULAR66)的结果，以及预测样本predSamples[x][y]。这里，x＝0到nTbW-1，y＝0到nTbH-1。
首先，根据实施例的解码装置获得执行定向帧内预测模式所需的参数(S810)。例如，根据本实施例的解码装置可以获得以下参数作为输入来执行定向帧内预测模式。
-predModeIntra是指示帧内预测模式的参数
-refIdx是指示帧内预测参考线索引的参数
-nTbW是指示变换块宽度的参数
-nTbH是指示变换块高度的参数
-refW是指示参考样本宽度的参数
-refH是指示参考样本高度的参数
-nCbW是指示编译块宽度的参数
-nCbH是指示编译块高度的参数
-cIdx是指示当前块的颜色分量的参数
-filterFlag是指示参考样本滤波的参数
-相邻样本p[x][y](这里，x,y对由x＝-1-refIdx,y＝-1-refIdx到refH-1以及x＝-refIdx到refW-1，y＝-1-refIdx组成)
这里，相邻样本p[x][y]可以是通过执行上面参考图13描述的参考样本生成步骤S720生成的参考样本阵列p[x][y]。
同时，作为指示变换块的水平样本大小的参数的nTbS可以被确定为(Log2(nTbW)+Log2(nTbH))>>1。
另外，解码装置可以导出指示当前块的宽度的参数nW和指示当前块的高度的参数nH。在实施例中，解码装置可以基于IntraSubPartitionsSplitType和cIdx的值导出nW和nH。当IntraSubPartitionsSplitType为ISP_NO_SPLIT或cIdx不为0时，解码装置可以如下导出nW和nH。
[数学式11]
nW＝nTbW
[数学式12]
nH＝nTbH
同时，当IntraSubPartitionsSplitType和cIdx的值与上述不同时(例如，IntraSubPartitionsSplitType不等于ISP_NO_SPLIT并且cIdx等于0)，解码装置可以如下导出nW和nH。
[数学式13]
nW＝nCbW
[数学式14]
nH＝nCbH
另外，解码装置可以根据Abs(Log2(nW/nH))计算结果使用nW和nH来设置whRatio，whRatio是指示当前块的纵横比(宽度与高度的比率)的参数。此外，解码装置可以将作为指示是否为广角的参数的wideAngle确定为0。
同时，在非正方形块的情况下(例如，nW不等于nH)，解码装置可以修改predModeIntra，其是指示帧内预测模式的参数。例如，当以下所有条件都为真时，解码装置可以将wideAngle设置为1并将predModeIntra修改为(predModeIntra+65)的值。
(条件1)nW大于nH。
(条件2)predModeIntra大于等于2。
(条件3)predModeIntra小于由(whRatio>1)？(8+2*whRatio):8计算的值。
然而，如果以上所有条件都为真，则当以下所有条件都为真时，解码装置可以将wideAngle设置为1并且将predModeIntra修改为(predModeIntra-67)的值。
(条件1)nH大于nW。
(条件2)predModeIntra的值为66或更小。
(条件3)predModeIntra的值大于(whRatio>1)？(60-2*whRatio)：60计算的值。
此外，解码装置可以导出修改后的filterFlag。图15是图示由解码装置导出修改的filterFlag值的方法的流程图。在实施例中，解码装置可以确定以下条件中的至少一个是否为真(S910)。当以下条件中的至少一个为真时，解码装置可以将修改的filterFlag的值设置为第一值(S930)。在实施例中，第一值可以是0。
(条件1)IntraSubPartitionsSplitType不等于ISP_NO_SPLIT，cIdx为0，predModeIntra大于等于INTRA_ANGULAR34，并且nW大于8。
(条件2)IntraSubPartitionsSplitType不等于ISP_NO_SPLIT，cIdx为0，predModeIntra小于INTRA_ANGULAR34，并且nH大于8。
同时，当不满足上述条件时，解码装置可以将修改的filterFlag的值设置为第二值(S920)。在实施例中，第二值可以被计算为1-filterFlag。例如，当filterFlag的值为0时，可以确定修改后的filterFlag的值为1，当filterFlag的值为1时，可以确定修改后的filterFlag的值为0。
图16是指示角度的参数predModeIntra和intraPredAngle之间的映射表。解码装置可以基于图16的映射表的intraPredAngle来如下导出作为指示逆角度(inverse angle)的参数的invAngle。
[数学式15]
invAngle＝Round((256*32)/"intraPredAngle")
这里，Round函数是指表示整数的舍入运算。
图17是图示作为用于帧内预测的插值滤波器的三次滤波器(fC)和高斯滤波器(fG)的系数的表。当相位从0到31并且j具有0到3的值时，在图17中示出了作为三次滤波器(fC)和高斯滤波器(fG)的系数的fC[phase][j]和fG[phase][j]的实施例。
接下来，解码装置可以基于相邻样本阵列p[x]导出参考样本阵列ref[x](S820)，并导出预测样本阵列predSamples[x][y](S830)。在下文中，将参考图5和图16至图20进行描述。图18至图20是图示根据实施例的由解码装置导出参考样本阵列ref[x]的方法的流程图。
首先，如图18所示，根据实施例的解码装置可以根据predModeIntra的值确定用于导出当前块的预测样本阵列predSample[x][y]所参考的参考样本(S1010)。当predModeIntra的值大于或等于34时，解码装置可以主要使用相邻样本p[x][y]中位于当前块上方的相邻样本来导出predSample[x][y](S1020)。当predModeIntra的值小于34时，解码装置可以主要使用相邻样本p[x][y]中位于当前块左侧的样本来导出predSample[x][y](S1030)。
将参考图19更详细地描述由解码装置主要使用位于当前块上方的相邻样本构造predSample[x][y]的步骤S1020。解码装置可导出参考样本阵列ref[x]。ref[x]可以通过在生成主参考样本阵列之后添加附加的样本来构建。首先，ref[x]可以由主参考样本阵列组成，该阵列是作为主值被参考以导出当前块的样本值的样本集合。例如，当将下面描述的高斯或三次滤波器应用于参考样本阵列以导出当前块的每个样本的值时，应用最高滤波器系数的参考样本可以是作为主值参考的参考样本。在该示例中，主参考样本阵列可以由参考样本集合构成，该参考样本集合由应用了最高滤波器系数的样本组成。更具体地，在图17的滤波器系数表的示例中，当相位p为0时，fG插值滤波器系数在fG[0][1]中具有最高值，并且与其对应的参考样本可被确定为主参考样本。为了构建这样的主参考样本阵列，可以通过当前块的帧内预测方向中指定的相邻样本的值来构建主参考样本阵列。
解码装置可以使用位于当前块上方的相邻样本来导出主参考样本阵列ref[x]，以便导出参考样本阵列ref[x](S1110)。以下数学式可用于执行此步骤。
[数学式16]
ref[x]＝p[-1-refIdx+x][-1-refIdx]，其中，x的值可以从0到nTbW+refIdx。
当predModeIntra为34，nTbW为8，refIdx为0时，根据数学式16生成的ref[0]到ref[8]与相邻块之间的对应关系如图21所示。
接下来，解码装置根据基于图16导出的intraPredAngle的值，确定扩展主参考样本阵列所参考的相邻块(S1120)。当intrapredAngle的值小于0时，解码装置可以使用位于当前块左侧的相邻样本来扩展主参考样本阵列(S1130)。例如，当(nTbH*intraPredAngle)>>5的计算结果小于-1时，解码装置可以使用下面的数学式17从左相邻块的值扩展主参考样本阵列。
[数学式17]
ref[x]＝p[-1-refIdx][-1-refIdx+((x*invAngle+128)>>8)]，其中，x的值可能为-1到(nTbH*intraPredAngle)>>5。
当predModeIntra为34，nTbW为8，nTbH为8，并且refIdx为0时，根据数学式17生成的ref[-1]到ref[-8]与相邻块之间的对应关系如图22所示。
接下来，解码装置可以向主参考样本阵列的两端添加附加的样本(S1140)。如下所述，在应用4抽头滤波器以导出当前块的样本值的情况下，当可以选择主参考样本两端处的参考样本作为主参考样本，并滤波器被应用到参考样本时，输入到滤波器的参考样本的值可能不存在。
例如，当具有0作为图17中的相位(p)值的高斯滤波器(fG)使用图21的ref[8]作为主要参考样本来应用时，在ref[]中不存在与fG[0][2]和fG[0][3]对应的参考样本的值。在该示例中，由于fG[0][3]的系数值为0，因此可以不指定与对应位置对应的参考值的值。但是，由于存在fG[0][2]的系数，因此需要将fG[0][2]的样本值存储在ref[]中。
为了消除这个问题，可以将附加样本添加到主参考样本阵列的末端。基于主参考样本阵列的索引，附加样本可以被设置为具有最接近附加样本的索引的索引的参考样本的值。为此，解码装置可以从ref[]中复制具有最接近附加样本的索引的参考样本的值，或者从与其对应的相邻块的值中获得它并将其存储在ref[]中。
下面的数学式18和19表示用于使用预先计算的主参考样本阵列将附加样本添加到主参考样本阵列的两端的解码装置的计算。解码装置可以使用以下数学式将附加样本添加到参考样本阵列。
[数学式18]
ref[((nTbH*intraPredAngle)>>5)-1]＝ref[(nTbH*intraPredAngle)>>5]
[数学式19]
ref[nTbW+1+refIdx]＝ref[nTbW+refIdx]
当predModeIntra为34，nTbW为8，并且refIdx为0时，根据数学式18生成的ref[-9]和ref[9]与相邻块之间的对应关系如图23所示。
同时，当intraPredAngle不小于0时，解码装置可以使用位于当前块的右上角的相邻样本来扩展主参考样本阵列(S1150)。解码装置可以使用下面的数学式20从右上角的相邻块的值扩展主参考样本阵列。
[数学式20]
ref[x]＝p[-1-refIdx+x][-1-refIdx]，其中，x＝nTbW+1+refIdx到refW+refIdx。
当predModeIntra为66，nTbW为8，nTbH为8，refW为16，并且refIdx为0时，根据数学式20生成的ref[9]到ref[16]与相邻块之间的对应关系如图24所示。
接下来，解码装置可以将附加样本添加到主参考样本阵列的左端(S1160)。在实施例中，解码装置可以使用下面的数学式21使用ref[0]的样本值来确定ref[-1]的样本值。
[数学式21]
ref[-1]＝ref[0]
接下来，解码装置将附加样本添加到主参考样本阵列的右端(S1170)。解码装置可以根据当前块的纵横比whRatio将附加样本添加到主参考样本阵列的右端。在实施例中，解码装置可以使用下面的数学式22导出作为指示附加样本的参数的ref[refW+refIdx+x]。这里，x是1到(Max(1,nTbW/nTbH)*refIdx+1)。
[数学式22]
ref[refW+refIdx+x]＝p[-1+refW][-1-refIdx]
在predModeIntra为66、nTbW为8、nTbH为8、refW为16且refIdx为0的实施例中，根据数学式21和22生成的附加样本ref[-1]和ref[17]与相邻块之间的对应关系如图24所示。
接下来，解码装置可以使用生成的参考样本阵列导出预测样本阵列(S1180)。将参考图20描述该步骤。例如，解码装置可以如下导出具有x＝0到nTbW-1以及y＝0到nTbH-1的值的预测样本predSamples[x][y]。首先，解码装置可以如下导出iIdx，iIdx是用于导出预测样本的索引参数和乘法因子iFact(S1210)。
[数学式23]
iIdx＝((y+1+refIdx)*intraPredAngle)>>5+refIdx
[数学式24]
iFact＝((y+1+refIdx)*intraPredAngle)&31
接下来，解码装置根据cIdx的值确定当前块是否是亮度块(S1220)。在这种情况下，当cIdx为0时，解码装置根据filterFlag的值选择用于导出亮度预测样本的插值滤波器(S1230)。解码装置可以如下导出插值滤波器系数fT[j]，其中j＝0至3。
[数学式25]
fT[j]＝filterFlag？fG[iFact][j]:fC[iFact][j]
更具体地，当filterFlag的值等于1时，解码装置可以为被选为iFact值的相位(p)值选择高斯滤波器(fG)系数。在这种情况下，解码装置可以通过使用选择的滤波器系数值将高斯滤波器应用于参考样本来导出当前块的亮度预测样本(S1240)。
同时，当filterFlag的值不等于1时，解码装置可以为被选为iFact值的相位(p)值选择三次滤波器(fC)系数。在这种情况下，解码装置可以通过使用选择的滤波器系数值将三次滤波器应用于参考样本来导出当前块的亮度预测样本(S1250)。
在实施例中，预测样本predSamples[x][y]的值可以使用选择的滤波器系数fT[i]如下导出。
[数学式26]
在实施例中，predModeIntra可以是66，nTbW可以是8，nTbH可以是8，refW可以是16，refIdx可以是0，并且cIdx可以被设置为0。在这个实施例中，根据上面的数学式23和24，predSamples[0][0]的iIdx的值可以设置为1，iFact的值可以设置为0，predSamples[7][7]的iIdx的值可以设置为8，并且iFact的值可以设置为0。另外，当filterFlag的值为1时，fT[j]可以设置为根据高斯滤波器的滤波器系数，并且可以设置为fT[]＝(16,32,16,0)。
图25示出了在本实施例中导出predSamples[0][0]和predSamples[7][7]的结果。根据((ref[1]*16+ref[2]*32+ref[3]*16+ref[4]*0)+32)>>6的计算结果可以导出predSamples[0][0]。在这个示例中，predSamples[0][0]的值可以计算为2。
根据((ref[15]*16+ref[16]*32+ref[17]*16+ref[18]*0)+32)>>6的计算结果可以导出predSamples[7][7]。在这个示例中，predSamples[7][7]的值可以计算为1。在计算predSamples[7][7]的示例中，没有定义ref[18]的值，但是高斯滤波器系数fT[3]乘以ref[18]的值为0。因此，上述计算是可能的。
同时，在本实施例中，当filterFlag的值为0时，fT[j]可以被设置为根据三次滤波器的滤波器系数并且可以被设置为fT[]＝(0,64,0,0)。
图26示出在本实施例中导出predSamples[0][0]和predSamples[7][7]的结果。可以根据计算((ref[1]*0+ref[2]*64+ref[3]*0+ref[4]*0)+32)>>6的结果导出predSamples[0][0]。在这个示例中，predSamples[0][0]的值可以计算为2。
可以根据计算((ref[15]*0+ref[16]*64+ref[17]*0+ref[18]*0)+32)>>6的结果导出predSamples[7][7]。在这个示例中，可以将predSamples[7][7]的值计算为0。在计算predSamples[7][7]的示例中，没有定义ref[18]的值，但是三次滤波器系数fT[3]乘以ref[18]的值为0。因此，上述计算是可能的。
同时，当cIdx不为0时，可以根据iFact的值来确定色度预测样本的值(S1260)。在实施例中，当iFact不为0时，色度预测样本predSamples[x][y]的值可以如下导出。
[数学式27]
predSamples[x][y]＝
((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5
同时，当iFact为0时，色度预测样本predSamples[x][y]的值可以如下导出。
[数学式28]
predSamples[x][y]＝ref[x+iIdx+1]
再次参考图18，当predModeIntra小于34时，根据实施例的解码装置可以主要使用位于当前块左侧的相邻样本导出预测样本阵列predSample[x][y](S1030)。该步骤对应于上述步骤S1030，因此将重点关注与步骤S1020的不同之处。首先，解码装置可以如下设置主参考样本阵列ref[x]。
[数学式29]
ref[x]＝p[-1-refIdx][-1-refIdx+x]，其中，x的值为0到nTbH+refIdx。
在这种情况下，当intraPredAngle小于0时，主参考样本阵列可以扩展。例如，当(nTbW*intraPredAngle)>>5的计算结果小于-1时，ref[x]可以扩展如下。
[数学式30]
ref[x]＝p[-1-refIdx+((x*invAngle+128)>>8)][-1-refIdx]，
其中，x的值为-1到(nTbW*intraPredAngle)>>5。
[数学式31]
ref[((nTbW*intraPredAngle)>>5)-1]＝ref[(nTbW*intraPredAngle)>>5]
[数学式32]
ref[nTbG+1+refIdx]＝ref[nTbH+refIdx]
同时，当intraPredAngle不小于0时，可以如下确定ref[x]。
[数学式33]
ref[x]＝p[-1-refIdx][-1-refIdx+x]，其中，x的值为nTbH+1+refIdx到refH+refIdx。
[数学式34]
ref[-1]＝ref[0]
ref[refH+refIdx+x]，其是指示附加样本的参数，可以如下导出。这里，x的值为1到(Max(1,nTbW/nTbH)*refIdx+1)。
[数学式35]
ref[refH+refIdx+x]＝p[-1+refH][-1-refIdx]
接下来，当x具有0到nTbW-1的值并且y具有0到nTbH-1的值时，解码装置可以如下导出预测样本predSamples[x][y]。首先，可以如下导出作为用于导出预测样本的索引参数的iIdx和乘法因子iFact。
[数学式36]
iIdx＝((x+1+refIdx)*intraPredAngle)>>5
[数学式37]
iFact＝((x+1+refIdx)*intraPredAngle)&31
另外，当cIdx为0时，插值滤波器系数fT[j]，其中j＝0至3，可以如下导出。
[数学式38]
fT[j]＝filterFlag？fG[iFact][j]:fC[iFact][j]
另外，预测样本predSamples[x][y]的值可以如下导出。
[数学式39]
同时，当cIdx不为0时，可以根据iFact的值确定预测样本的值。在实施例中，当iFact不为0时，预测样本predSamples[x][y]的值可以如下导出。
[数学式40]
predSamples[x][y]＝
((32-iFact)ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5
同时，当iFact为0时，预测样本predSamples[x][y]的值可以如下导出。
[数学式41]
predSamples[x][y]＝ref[y+iIdx+1]
同时，当以下所有条件都为真时，解码装置可以执行依赖于位置的预测样本滤波步骤。
(条件1)IntraSubPartitionsSplitType等于ISP_NO_SPLIT或cIdx不为0。
(条件2)refIdx的值为0或cIdx的值不为0。
(条件3)predModeIntra指示INTRA_PLANAR、INTRA_DC、INTRA_ANGULAR18或INTRA_ANGULAR50中的任何一个的值，或者predModeIntra指示等于或小于INTRA_ANGULAR10的值或等于或大于INTRA_ANGULAR58的值。
为此，解码装置可以获得作为指示帧内预测模式的参数的predModeIntra、作为指示变换块的宽度的参数的nTbW、作为指示变换块的高度的参数的nTbH、作为指示对于x＝0到nTbW-1以及y＝0到nTbH-1预测的样本的参数的predSamples[x][y]、作为指示参考样本的宽度的参数的refW、作为指示参考样本的高度的参数的refH、参考样本p[x][y](其中x＝-1且y＝-1到refH-1以及x＝0到refW-1且y＝-1)，以及作为指示颜色分量索引的参数的cIdx，作为输入。另外，解码装置可以生成作为执行该处理的结果而修改的预测样本阵列predSamples作为输出。
参考样本滤波条件的另一个实施例
同时，对于上面参考图8描述的参考样本滤波步骤，根据实施例的解码装置可以使用以下修改条件代替上述条件来执行步骤S210以确定filterFlag值。通过如下设置参考样本的滤波条件，可以针对不同于上述参考样本滤波条件的帧内预测模式执行参考样本滤波。例如，在当前块的帧内预测模式为INTRA_DC模式时，可以省略参考样本滤波。
这将参考图27更详细地描述。例如，根据实施例的解码装置可以确定是否满足以下用于执行参考样本滤波的修改条件(S1310)。当不满足任一条件时，根据实施例的解码装置可以将filterFlag值设置为0(S1320)。当满足以下所有条件时，根据实施例的解码装置可以将filterFlag值设置为1(S1330)。同时，为了增加发生参考样本滤波的情况，当满足以下任一条件时，根据本实施例的解码装置可以将filterFlag值设置为1。在这种情况下，当不满足以下所有条件时，解码装置可以将filterFlag值设置为0。
(条件1)refIdx的值为0。
(条件2)cIdx等于0。
(条件3)IntraSubPartitionsSplitType等于ISP_NO_SPLIT。
(条件4)predModeIntra不等于INTRA_DC。
(条件5)此外，还应满足以下条件5-1至5-4中的一个或多个。
(条件5-1)predModeIntra等于INTRA_PLANAR且nTbW*nTbH大于32。
(条件5-2)nTbW大于nTbH，predModeIntra等于或大于2，predModeIntra小于(whRatio>1)？(8+2*whRatio)：8的计算结果。
(条件5-3)nTbH大于nTbW，predModeIntra小于或等于66，predModeIntra大于(whRatio>1)？(60-2*whRatio)：60的计算结果。
(条件5-4)minDistVerHor大于intraHorVerDistThres[nTbS]。在这种情况下，参数nTbS的值为(Log2(nTbW)+Log2(nTbH))>>1，并且参数minDistVerHor被设置为Min(Abs(predModeIntra-50)和Abs(predModeIntra-18))的计算结果。在这种情况下，参数intraHorVerDistThres[nTbS]可以关于变换块大小nTbS来确定，如下表所示。
[表2]
用于参考样本滤波的[1
2
1]/4滤波器
将更详细地描述应用于上述参考样本滤波步骤的平滑滤波器。在实施例中，解码装置可以使用[1 2 1]/4滤波器来执行参考样本滤波。将参考图28更详细地描述用于参考样本滤波的平滑滤波器。
解码装置可以使用参考样本和与参考样本相邻的样本的值来执行参考样本滤波。图28示出了将应用[1 2 1]/4滤波器的目标样本阵列301和将应用[1 2 1]/4滤波器的结果样本阵列302。在实施例中，目标样本阵列301可以被更新为结果样本阵列302的值。
如图28所示，当参考样本位于当前块上方时，通过将参考样本的值更新为(参考样本的左样本值*1+参考样本的样本值*2+参考样本的右样本值*1)/4，解码装置可以将[1 21]/4滤波器应用于参考样本。
同时，当参考样本位于当前块的左侧时，解码装置可以以类似的方式对参考样本应用[1 2 1]/4滤波器。例如，解码装置可以将参考样本的值更新为(参考样本的左样本值*1+参考样本的样本值*2+参考样本的右样本值*1)/4的值。
如图28所示，应用[1 2 1]/4滤波器之前的样本阵列301和应用[1 2 1]/4滤波器之后的样本阵列302在样本值根据阵列索引的增加而变化方面存在差异。应用了[1 2 1]/4滤波器的样本阵列302与未应用[1 2 1]/4滤波器的样本阵列相比，具有平滑地改变样本值的趋势。
第二实施例
在下文中，将相应描述根据另一实施例的参考样本滤波和帧内预测方法。仅当预测模式是具有整数倍斜率的定向帧内预测模式时，根据实施例的解码装置可以通过将平滑滤波器应用于参考样本来执行滤波。在这种情况下，在非整数倍的定向帧内预测模式下，参考样本不被滤波。在这种情况下，解码装置可以通过将锐化滤波器和平滑滤波器中的任一个选择性地应用于参考样本来生成预测样本。通过以这种方式执行，解码装置可以在降低定向帧内预测过程中的滤波复杂度的同时提高预测性能。
在下文中，将参考图29进行描述。首先，将描述滤波参考样本的实施例。当满足以下条件时，解码装置可以滤波参考样本。例如，当满足以下所有条件时，根据实施例的解码装置可以将filterFlag值设置为1。当两个条件都不满足时，根据实施例的解码装置可以将filterFlag值设置为0。同时，为了增加发生参考样本滤波的情况，当满足以下任一条件时，根据实施例的解码装置可以将filterFlag值设置为1。在这种情况下，当不满足所有以下条件时，解码装置可以将filterFlag值设置为0。
(条件1)当前编译单元为亮度分量。
(条件2)MRL索引的值为0。
(条件3)在ISP中，不会发生编译单元的分割。
(条件4)不是MIP模式。
(条件5)H*W>32。
(条件6)预测模式为平面模式或整数斜率模式。(即，abs(predIntraAngle)等于32或其倍数)。
根据上述条件，解码装置可以确定filterFlag的值是否为1(S1410)，并且仅当预测模式是具有整数倍斜率的定向帧内预测模式时才对参考样本进行滤波(S1420)。此外，解码装置可以通过复制滤波的参考样本来生成预测样本(S1430)。
同时，当filterFlag的值不为1时，在具有非整数倍斜率的定向帧内预测模式的情况下，解码装置可以不对参考样本进行滤波。对于具有非整数倍斜率的定向帧内预测模式，不执行参考样本的滤波，而是可以在生成预测样本的过程中应用插值滤波器。为此，可应用上述具有锐化特性的三次滤波器或具有平滑滤波器的高斯滤波器。可以根据当前块的大小和帧内预测模式来确定用于插值未滤波参考样本的滤波器的选择。
为此，当满足以下条件时，解码装置可以将用于选择用于插值参考样本的滤波器的参数interpolationFlag的值设置为1。
(条件1)当前编译单元为亮度分量。
(条件2)MRL索引的值为0。
(条件3)在ISP中，不发生单元编码的分割。
(条件4)不是MIP模式。
(条件5)H*W>32。
(条件6)predModeIntra的值为0或大于1的值，minDistVerHor大于intraHorVerDistThres[nTbS]。这里，参数minDistVerHor具有Min(Abs(predModeIntra-50)和Abs(predModeIntra-18))的值。可以根据表示intraHorVerDistThres[nTbS]值与变换块大小nTbS之间的对应关系的下表确定参数intraHorVerDistThres[nTbS]。
[表3]
解码装置可以根据所确定的interpolationFlag的值来选择滤波器(S1440)。当interpolationFlag的值为1时，解码装置可以使用平滑滤波器(例如，参考图25在上文中描述的高斯滤波器)来生成预测样本(S1450)。当interpolationFlag的值为0时，解码装置可以使用锐化滤波器(例如，参考图26在上文中描述的三次滤波器)来生成预测样本(S1460)。
第三实施例
在下文中，将相应描述根据另一实施例的参考样本滤波和帧内预测方法。与第二实施例不同，通过即使在具有非整数斜率的定向帧内预测模式的情况下也应用参考样本滤波，可以提高帧内预测效率。为此，可以改变参考样本滤波条件，使得即使在具有非整数斜率的定向帧内预测模式的情况下也滤波参考样本。此外，当平滑滤波器用于参考样本滤波时，使用平滑滤波器对参考样本进行插值以生成预测样本，而当不执行参考样本滤波时，使用锐化滤波器对参考样本进行插值以生成预测样本。因此，可以提高帧内预测效率。
在下文中，将参考图30进行描述。首先，将描述滤波参考样本的另一种情况。在实施例中，在当前编译单元为亮度分量时，MRL索引的值为0，在ISP中不发生编译单元的分割，不是MIP模式，H*W>32，根据CU的大小预测模式是平面模式或者具有预设斜率，解码装置可以将filterFlag值设置为1，并且可以进行参考样本滤波。因此，无论定向预测模式的斜率是否为整数倍，解码装置都可以执行参考样本滤波。
针对上述过程，根据本实施例的解码装置在参考样本滤波步骤S1510中可以确定以下修改条件来确定filterFlag值。例如，当满足以下所有条件时，根据实施例的解码装置可以将filterFlag值设置为1。当两个条件都不满足时，根据实施例的解码装置将filterFlag值设置为0。同时，为了增加发生参考样本滤波的情况，当满足以下任一条件时，根据实施例的解码装置可以将filterFlag值设置为1。在这种情况下，当不满足所有以下条件时，解码装置可以将filterFlag值设置为0。
(条件1)refIdx的值为0。
(条件2)nTbW*nTbH大于32。
(条件3)cIdx等于0。
(条件4)IntraSubPartitionsSplitType等于ISP_NO_SPLIT。
(条件5)predModeIntra的值为0或大于1的值，minDistVerHor大于intraHorVerDistThres[nTbS]。这里，参数minDistVerHor具有Min(Abs(predModeIntra-50)和Abs(predModeIntra-18))的值。可以根据表示intraHorVerDistThres[nTbS]值与变换块大小nTbS之间的对应关系的下表确定参数intraHorVerDistThres[nTbS]。
[表4]
解码装置可以根据filterFlag的值确定是否执行参考样本滤波(S1511)。当filterFlag的值为1时，可以使用[1 2 1]/4滤波器滤波参考样本(S1512)。同时，当filterFlag的值不为1时，解码装置可以省略参考样本滤波。另外，解码装置可以将filterFlag的值输出到预测样本生成步骤S1520(S1513)。
接下来，为了执行预测样本生成步骤S1520，解码装置可以接收在参考样本滤波步骤S1510中生成的filterFlag值并且在预测样本生成步骤S1520中设置filterFlag值(S1521)。解码装置可以确定filterFlag值是否等于1(S1522)。当使用进行参考样本滤波的参考样本生成预测样本时，filterFlag的值可以等于1。当filterFlag的值为1时，解码装置确定当前块的帧内预测模式的斜率是否为整数斜率(S1523)。解码装置可以使用图16的表获得指示当前块的帧内预测模式的predModeIntra的值和指示当前的斜率的值的intraPredAngle，如上所述。当获得到的intraPredAngle值为32的倍数时，解码装置可以确定当前块的帧内预测模式的斜率是整数倍。在当前块的帧内预测模式的斜率是整数斜率时，解码装置可以通过简单地将参考样本的值复制到预测样本来生成预测样本(S1524)。在当前块的帧内预测模式的斜率不是整数斜率(非整数斜率)时，例如当获得的intraPredAngle值不是32的倍数时，解码装置可以通过将线性插值样本应用到参考样本的值生成预测样本，如图32的示例所示(S1524)。
同时，当filterFlag的值不为1时，表示参考样本没有被滤波。在这种情况下，当该值不为1时，解码装置可以根据帧内预测模式是否具有整数斜率来确定是否应用插值滤波器(S1526)。在当前块的帧内预测模式是具有非整数斜率的定向预测模式时，解码装置可以将诸如4抽头三次滤波器的锐化滤波器应用于参考样本以生成预测样本(S1528)，在当前块的帧内预测模式是具有整数斜率的定向预测模式时，复制参考样本而不应用预测样本的滤波以生成预测样本(S1527)。
第四实施例
在下文中，将相应描述根据另一实施例的参考样本滤波和帧内预测方法。在第三实施例中，确定了通过确定是否执行参考样本滤波和当前块的帧内预测模式的斜率来生成预测样本的方法。同时，根据实施例的解码装置可以基于当前块是否为亮度块、是否执行参考样本滤波以及当前块的帧内预测模式来应用预测样本的滤波。因此，与第三实施例相比，解码装置可以更简单地生成帧内预测样本。
在下文中，将参考图31进行描述。可以以与参考图30描述的实施例中相同的方式来执行对参考样本进行滤波的步骤S1510。解码装置可以在参考样本滤波步骤S1510中接收filterFlag值，并将其设置为帧内预测样本生成步骤S1530中的filterFlag值(S1531)。
当帧内预测模式等于或大于第34定向预测模式(INTRA_ANGULAR34)时，根据本实施例的解码装置可以如上所述导出参考样本阵列ref[x]并根据以下数学式导出iIdx和iFact值。
[数学式42]
iIdx＝(((y+1+refIdx)*intraPredAngle)>>5)+refIdx
[数学式43]
iFact＝((y+1+refIdx)*intraPredAngle)&31
接下来，解码装置可以根据cIdx是否为0以及filterFlag是否为0来确定应用于参考样本的滤波器以导出预测样本(S1532)。当cIdx为0并且filterFlag为0时，解码装置可以通过如下应用锐化滤波器来生成预测样本(S1533)。例如，解码装置可以使用作为锐化滤波器之一的三次滤波器。解码装置可以导出插值滤波器系数fT[j]，如以下数学式中所示。这里，j＝0到3。
[数学式44]
fT[j]＝fC[iFact][j]
此外，解码装置可以导出预测样本predSamples[x][y]的值，如以下数学式所示。
[数学式45]
同时，当帧内预测模式等于或大于第34定向预测模式(INTRA_ANGULAR34)，但cIdx不为0或filterFlag为1时，解码装置可以通过如下应用线性插值滤波器来生成预测样本(S1534)。
当iFact的值不为0时，解码装置可以根据以下数学式导出预测样本predSamples[x][y]的值。
[数学式46]
predSamples[x][y]＝
((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5
通过上述数学式，对于refIdx为0，nTbw为8，nTbH为8，cIdx为0，predModeIntra的值为65的当前块，iFact的值计算为29，并且iIdx的值计算为0。在这种情况下，根据上述数学式计算出的predSamples[0],[0]的预测样本值的示例如图32所示。
同时，当iFact的值为0时，解码装置可以如下导出预测样本predSamples[x][y]的值。
[数学式47]
predSamples[x][y]＝ref[x+iIdx+1]
同时，当帧内预测模式小于第34定向预测模式(INTRA_ANGULAR34)时，根据实施例的解码装置可以导出如上所述的参考样本阵列ref[x]，并且可以根据以下数学式导出iIdx和iFact值。
[数学式48]
iIdx＝(((x+1+refIdx)*intraPredAngle)>>5)+refIdx
[数学式49]
iFact＝((x+1+refIdx)*intraPredAngle)&31
接下来，当cIdx为0并且refFilterFlag为0时，解码装置可以通过如下应用三次滤波器来生成预测样本。首先，可以导出插值滤波器系数fT[j]，如以下数学式所示。这里，j＝0到3。
[数学式50]
fT[j]＝fC[iFact][j]
接下来，解码装置可以导出预测样本predSamples[x][y]的值，如以下数学式所示。
[数学式51]
同时，当帧内预测模式小于第34定向预测模式(INTRA_ANGULAR34)但cIdx不为0或refFilterFlag为1时，根据实施例的解码装置可以通过如下应用线性插值滤波器来生成预测样本。
当iFact的值不为0时，解码装置可以根据以下数学式导出预测样本predSamples[x][y]的值。
[数学式52]
predSamples[x][y]＝
((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5
同时，当iFact的值为0时，解码装置可以如下导出预测样本predSamples[x][y]的值。
[数学式53]
predSamples[x][y]＝ref[y+iIdx+1]
第五实施例
在实施例中，解码装置可以确定是否满足用于执行参考样本滤波的至少一个条件。解码装置可以将确定的结果存储在作为指示参考样本滤波的可执行性的参数的refFilterFlag中。此后，解码装置可以将参数refFilterFlag用信号通知给参考样本滤波步骤和预测样本生成步骤。因此，解码装置可以简单地使用refFilterFlag的值，而无需重新计算参考样本滤波步骤和预测样本生成步骤中用于确定refFilterFlag值而确定的条件。因此，可以提高解码装置的帧内预测速度。
在下文中，将参考图33进行描述。图33是图示使用参考样本滤波执行帧内预测的另一实施例的视图。首先，根据实施例的解码装置可以在参考样本滤波步骤S1620和预测样本生成步骤S1630之前执行确定是否满足参考样本滤波的某些条件的步骤S1610。根据实施例的解码装置可以基于predModeIntra的值确定是否满足用于参考样本滤波的某些条件(S1611)。
例如，当predModeIntra指示平面模式或指示整数位置处的参考样本的定向模式时，解码装置可以确定满足某些条件。在这种情况下，解码装置可以将refFilterFlag的值确定为第一值(S1612)。在这种情况下，虽然垂直模式和水平模式是指示整数位置处的参考样本的模式，但是解码装置可以确定不满足第一条件。例如，当predModeIntra的值为0、-14、-12、-10、-6、2、34、66、72、76、78和80中的任何一个时，由于满足第一条件，所以解码装置可以将refFilterFlag的值确定为第一值。例如，第一值可以是1。另外，当predModeIntra的值不是上述值时，解码装置可以确定不满足第一条件并将refFilterFlag的值确定为第二值(S1613)。例如，第二值可以是0。接下来，解码装置可以输出确定的refFilterFlag值(S1614)。解码装置可以将refFilterFlag值输出到参考样本滤波步骤S1620和预测样本生成步骤1630。
接下来，根据实施例的解码装置可以执行参考样本滤波步骤S1620。解码装置可以根据是否满足执行参考样本滤波的条件来确定是否执行参考样本滤波。在实施例中，解码装置可以根据refFilterFlag的值确定是否执行参考样本滤波，并且通过执行参考样本滤波生成参考样本p[x][y]。这里，x＝-1-refIdx，y＝-1-refIdx到refH-1以及x＝-refIdx到refW-1，y＝-1-refIdx。根据实施例的解码装置可以接收包括在步骤S1610中生成的用于参考样本滤波的refFilterFlag的以下编码信息(S1621)。
-refIdx是指示帧内预测参考线索引的参数
-nTbW是指示变换块宽度的参数
-nTbH是指示变换块高度的参数
-refW是指示参考样本宽度的参数
-refH是指示参考样本高度的参数
-refFilterFlag是指示是否应用参考样本滤波的参数
-未滤波的相邻样本refUnfilt[x][y]，其中，x＝-1-refIdx，y＝-1-refIdx到refH-1以及x＝-refIdx到refW-1，y＝-1-refIdx。
-cIdx是指示当前块的颜色分量的参数
根据实施例的解码装置可以使用获得的编码信息来确定是否执行参考样本滤波(S1622)。当以下所有条件都为真时，根据实施例的解码装置可以将指示是否执行参考样本滤波的参数filterFlag设置为第一值(S1623)。例如，第一值可以为1。另外，当以下所有条件都为真时，解码装置可以执行参考样本滤波。同时，当以下任一条件不为真时，解码装置可以将参数filterFlag设置为第二值并且可以不执行参考样本滤波(S1624)。例如，第二值可能是0。
(条件1)refIdx等于0。
(条件2)nTbW*nTbH大于32。
(条件3)cIdx等于0。
(条件4)IntraSubPartitionsSplitType等于ISP_NO_SPLIT。
(条件5)refFilterFlag等于1。
当参考样本滤波步骤中生成的filterFlag的值等于1时，根据本实施例的解码装置可以如下导出滤波样本值p[x][y]。这里，x＝-1，y＝-1到refH-1以及x＝0到refW-1，y＝-1。
[数学式54]
p[-1][-1]＝(refUnfilt[-1][0]+2*refUnfilt[-1][-1]+refUnfilt[0][-1]+2>>2
[数学式55]
p[-1][y]＝(refUnfilt[-1][y+1]+2*refUnfilt[-1][y]+refUnfilt[-1][y-1]+2)>>2
其中，y＝0到refH-2。
[数学式56]
p[-1][refH-1]＝refUnfilt[-1][refH-1]
[数学式57]
p[x][-1]＝(refUnfilt[x-1][-1]+2*refUnfilt[x][-1]+refUnfilt[x+1][-1]+2)>>2，其中，x＝0到refW-2。
[数学式58]
p[refW-1][-1]＝refUnfilt[refW-1][-1]
当参考样本滤波步骤中生成的filterFlag的值不为1时，本实施例的解码装置可以将参考样本值p[x][y]设置为等于未滤波样本值refUnfilt[x][y]。这里，x＝-1-refIdx，y＝-1-refIdx到refH-1以及x＝-refIdx到refW-1，y＝-1-refIdx。
接下来，根据实施例的解码装置可以执行预测样本生成步骤S1630。解码装置可以根据预测样本生成步骤S1630中的refFilterFlag的值来确定帧内预测模式的滤波器。例如，根据实施例的解码装置可以根据INTRA_ANGULAR2至INTRA_ANGULAR66的定向帧内预测模式的refFilterFlag的值确定帧内预测模式的滤波器，并通过将滤波器应用于参考样本生成预测样本predSamples[x][y]。这里，x＝0到nTbW-1，y＝0到nTbH-1。
对于上述步骤，根据实施例的解码装置可以获得如下编码信息，包括步骤S1610中生成的refFilterFlag(S1631)。
–predModeIntra是指示帧内预测模式的参数
–refIdx是指示帧内预测参考线索引的参数
–nTbW是指示变换块宽度的参数
–nTbH是指示变换块高度的参数
–refW是指示参考样本宽度的参数
–refH是参考样本的高度
–nCbW是指示编译块宽度的参数
–nCbH是指示编译块高度的参数
–refFilterFlag是指示参考滤波器标志值的参数
–cIdx是指示当前块的颜色分量的参数
–相邻样本p[x][y]，其中，x＝-1-refIdx，y＝-1-refIdx到refH-1，x＝-refIdx到refW-1，y＝-1-refIdx。
此外，根据实施例的解码装置可以生成具有(Log2(nTbW)+Log2(nTbH))>>1的值的变量nTbS。
根据实施例的解码装置确定是否满足使用锐化滤波器的条件(S1632)。例如，当以下条件中的一个或多个为真时，解码装置可以确定满足使用锐化滤波器的条件并将filterFlag的值设置为第一值(S1633)。例如，第一值可能是0。
(条件1)refFilterFlag的值为1。
(条件2)refIdx的值不为0。
(条件3)IntraSubPartitionsSplitType不等于ISP_NO_SPLIT。
同时，当不满足所有上述条件时，解码装置可以将filterFlag设置为第二值(S1634)。这里，第二值可以为1，即当refFilterFlag的值为0时解码装置可以将filterFlag的值设置为1，当refFilterFlag的值为1时，解码装置可以将filterFlag的值设置为0。
同时，在实施例中，解码装置可以通过将1-refFilterFlag的计算结果存储为filterFlag值来执行步骤S1632至S1634。
同时，当不满足所有条件1至3时，解码装置可以通过进一步考虑附加条件来确定filterFlag值。例如，当minDistVerHor大于intraHorVerDistThres[nTbS]时，解码装置可以将filterFlag设置为第二值。这里，第二值可以是1。同时，当minDistVerHor小于或等于intraHorVerDistThres[nTbS]时，解码装置可以将filterFlag设置为第一值。这里，第一值可以是0。对于这个计算，解码装置可以将参数minDistVerHor设置为Min(Abs(predModeIntra-50)和Abs(predModeIntra-18))，并根据变换块大小nTbSa设置参数intraHorVerDistThres[nTbS]，如下表所示。
[表5]
虽然为了描述清楚起见将上述本公开的示例性方法表示为一系列操作，但并不旨在限制执行步骤的顺序，并且这些步骤可以根据需要同时或以不同的顺序执行。为了实现根据本公开的方法，所描述的步骤还可以包括其他步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其他附加步骤。
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
本公开的各个实施例并不是所有可能组合的列表，而是旨在描述本公开的代表性方面，并且各个实施例中描述的事项可以独立地或者两个或更多个组合地应用。
本公开的各种实施例可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
另外，应用本公开实施例的图像解码装置和图像编码装置可以包括在多媒体广播发送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监控摄像头、视频聊天设备、诸如视频通信等实时通信设备、移动流传输设备、存储介质、摄像机、视频点播(VoD)服务提供设备、OTT视频(过顶视频)设备、互联网流传输服务提供设备、三维(3D)视频设备、视频电话视频设备、医疗视频设备等中，并且可以用于处理视频信号或数据信号。例如，OTT视频设备可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院***、智能电话、平板PC、数字录像机(DVR)等。
图34是示出可应用本公开的实施例的内容流传输***的视图。
如图34所示，应用本公开的实施例的内容流传输***可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储、用户设备和多媒体输入设备。
编码服务器将从诸如智能电话、相机、摄像机等多媒体输入设备输入的内容压缩成数字数据以生成比特流并将该比特流传输到流传输服务器。又如，当智能电话、相机、摄像机等多媒体输入设备直接生成比特流时，可以省略编码服务器。
比特流可以由应用本发明实施例的图像编码方法或图像编码装置生成，流传输服务器可以在传输或接收比特流的过程中临时存储比特流。
流传输服务器基于用户通过网络服务器的请求将多媒体数据传输到用户设备，网络服务器作为通知用户服务的媒介。当用户从网络服务器请求所需的服务时，网络服务器可以将其传送到流传输服务器，并且流传输服务器可以向用户传输多媒体数据。在这种情况下，内容流传输***可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流传输***中设备之间的命令/响应。
流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，可以实时接收内容。在这种情况下，为了提供流畅的流传输服务，流传输服务器可以在预定时间内存储比特流。
用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、平板计算机、平板计算机、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流传输***中的每个服务器都可以作为分布式服务器操作，在这种情况下，可以分发从每个服务器接收的数据。
根据上述各种实施例的方法的操作可以通过在设备或计算机上执行的软件或可在设备上执行的指令(例如，操作***、应用、固件、程序等)在设备或计算机上运行。并且在设备中可执行的此类软件或指令可以记录在非暂时性计算机可读介质中，该介质可通过设备或计算机的组件执行。计算机可读记录介质可以包括单独或组合的程序指令、数据文件、数据结构等。记录在计算机可读记录介质中的程序指令可以是专门设计和配置来实现本公开的，或者可以是计算机软件领域的技术人员已知和使用的。计算机可读取的记录介质的示例可以包括例如硬盘、软盘、磁带等磁记录介质；光数据存储介质，例如CD-ROM或DVD-ROM；磁优化介质，例如软盘；硬件设备，例如只读存储器(ROM)、随机存取存储器(RAM)、闪存等，其专门构造用于存储和实现程序指令。程序指令的示例不仅包括由编译器格式化的机械语言代码，进一步包括可以由计算机使用解释器实现的高级语言代码。硬件设备可以被配置为由一个或多个软件模块操作，反之亦然，以进行根据本发明的过程。
以上，结合有限的实施例和附图，对视频或图像编码和解码的具体技术思想进行了说明，但这只是为了帮助整体理解，本发明所描述的技术思想并非限于实施例。本公开中描述的技术思想所属领域的普通技术人员可以从这些描述中设计出各种修改和变化。
因此，本公开中描述的技术思想不应限于上述实施例，下面将描述的权利要求以及与这些权利要求等效或等同的所有修改都落入本公开的范围内。
工业适用性
本公开的实施例可以用于编码或解码视频。
Claims (15)
1.一种由图像解码装置执行的图像解码方法，所述图像解码方法包括：
从比特流中获得当前块的帧内预测模式信息；
基于所述帧内预测模式信息和位于所述当前块周围的相邻块的帧内预测模式，确定所述当前块的帧内预测模式；
基于用于所述当前块的编译参数导出用于所述当前块的帧内预测参考样本的滤波的第一滤波器标志的值；
基于所述第一滤波器标志选择用于所述当前块的帧内预测的插值滤波器；以及
使用所选择的插值滤波器生成所述当前块的帧内预测块。
2.根据权利要求1所述的图像解码方法，进一步包括：
当所述第一滤波器标志的值指示使用所述当前块的所述帧内预测参考样本的滤波时，对所述当前块的所述帧内预测参考样本应用平滑滤波；
其中，所述编译参数包括所述当前块的多参考线索引、所述当前块的大小、所述当前块的颜色分量、是否对所述当前块应用帧内子分区(ISP)或所述当前块的所述帧内预测模式中的至少一个。
3.根据权利要求1所述的图像解码方法，
其中，当所述第一滤波器标志的值为第一值时，其指示对所述帧内预测参考样本不使用滤波，
其中，当所述第一滤波器标志的值为第二值时，其指示对所述帧内预测参考样本使用滤波
其中，当所述第一滤波器标志的值为第一值时，将用于所述当前块的帧内预测的所述插值滤波器确定为具有锐化特性的滤波器，以及
其中，当所述第一滤波器标志的值为第二值时，将用于所述当前块的帧内预测的所述插值滤波器确定为具有平滑特性的滤波器。
4.根据权利要求1所述的图像解码方法，其中，基于所述第一滤波器标志选择用于所述当前块的帧内预测的所述插值滤波器包括：
基于所述第一滤波器标志导出用于所述当前块的帧内预测的所述插值滤波器的第二滤波器标志的值；以及
基于所述第二滤波器标志选择插值滤波器。
5.根据权利要求4所述的图像解码方法，其中，当满足针对所述编译参数中的至少一个的条件时，所述第二滤波器标志的值被导出为第一值。
6.根据权利要求5所述的图像解码方法，其中，当帧内子分区(ISP)被应用于所述当前块时，所述第二滤波器标志的值被导出为第一值。
7.根据权利要求5所述的图像解码方法，其中，当帧内子分区(ISP)被应用于所述当前块、所述当前块是亮度块，所述当前块的帧内预测模式等于或大于预定模式并且所述当前块的宽度等于或大于预定大小时，所述第二滤波器标志的值被导出为第一值。
8.根据权利要求7所述的图像解码方法，其中，所述预定模式是左上对角模式，并且所述预定大小是8。
9.根据权利要求5所述的图像解码方法，其中，当帧内子分区(ISP)被应用于所述当前块、所述当前块是亮度块，所述当前块的帧内预测模式等于或小于预定模式并且所述当前块的宽度等于或大于预定大小时，所述第二滤波器标志的值被导出为第一值。
10.根据权利要求9所述的图像解码方法，其中，所述预定模式是左上对角模式，并且所述预定大小是8。
11.根据权利要求4所述的图像解码方法，
其中，当所述第一滤波器标志的值为第一值时，其指示对所述帧内预测参考样本不使用滤波，
其中，当所述第一滤波器标志的值为第二值时，其指示对所述帧内预测参考样本使用滤波，以及
其中，当所述第一滤波器标志的值为1时，所述第二滤波器标志的值被导出为0。
12.根据权利要求11所述的图像解码方法，
其中，当所述第二滤波器标志的值是第一值时，所述插值滤波器是具有锐化特性的滤波器，
其中，当所述第二滤波器标志的值是第二值时，所述插值滤波器是具有平滑特性的滤波器，以及
其中，当所述第一滤波器标志的值是第二值时，所述第二滤波器标志的值被导出为第一值。
13.一种图像解码装置，包括：
存储器；和
至少一个处理器，
其中，所述至少一个处理器被配置为：
从比特流中获得当前块的帧内预测模式信息；
基于所述帧内预测模式信息和位于所述当前块周围的相邻块的帧内预测模式，确定所述当前块的帧内预测模式；
基于用于所述当前块的编译参数导出用于所述当前块的帧内预测参考样本的滤波的第一滤波器标志的值；
基于所述第一滤波器标志选择用于所述当前块的帧内预测的插值滤波器；以及
使用所选择的插值滤波器生成所述当前块的帧内预测块。
14.一种由图像编码装置执行的图像编码方法，所述图像编码方法包括：
选择当前块的帧内预测模式；
基于用于所述当前块的编译参数导出用于所述当前块的帧内预测参考样本的滤波的第一滤波器标志的值；
基于所述第一滤波器标志选择用于所述当前块的帧内预测的插值滤波器；
使用所选择的插值滤波器生成所述当前块的帧内预测块；以及
基于位于所述当前块周围的相邻块的帧内预测模式对所述当前块的帧内预测模式进行编码。
15.一种发送由权利要求14所述的图像编码方法生成的比特流的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962817542P | 2019-03-12 | 2019-03-12 | |
| US62/817,542 | 2019-03-12 | ||
| PCT/KR2020/003478 WO2020185018A1 (ko) | 2019-03-12 | 2020-03-12 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113632468A true CN113632468A (zh) | 2021-11-09 |
Family
ID=72427860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080020342.3A Pending CN113632468A (zh) | 2019-03-12 | 2020-03-12 | 图像编码/解码方法和装置，以及发送比特流的方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220182616A1 (zh) |
| EP (1) | EP3941047A4 (zh) |
| KR (1) | KR20210114054A (zh) |
| CN (1) | CN113632468A (zh) |
| MX (1) | MX2021010874A (zh) |
| WO (1) | WO2020185018A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220321910A1 (en) * | 2019-06-11 | 2022-10-06 | Sony Group Corporation | Image processing device and image processing method |
| US20220337875A1 (en) * | 2021-04-16 | 2022-10-20 | Tencent America LLC | Low memory design for multiple reference line selection scheme |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150023405A1 (en) * | 2013-07-19 | 2015-01-22 | Qualcomm Incorporated | Disabling intra prediction filtering |
| US20160057430A1 (en) * | 2014-08-25 | 2016-02-25 | Canon Kabushiki Kaisha | Method, apparatus and system for predicting a block of video samples |
| CN107736023A (zh) * | 2015-06-18 | 2018-02-23 | 高通股份有限公司 | 帧内预测及帧内模式译码 |
| WO2018221817A1 (ko) * | 2017-05-31 | 2018-12-06 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10142630B2 (en) * | 2010-12-10 | 2018-11-27 | Texas Instruments Incorporated | Mode adaptive intra prediction smoothing in video coding |
| WO2017030270A1 (ko) * | 2015-08-17 | 2017-02-23 | 엘지전자(주) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| CN108028923B (zh) * | 2015-09-10 | 2021-08-20 | Lg电子株式会社 | 视频编码***中的帧内预测方法和设备 |
| US10382781B2 (en) * | 2016-09-28 | 2019-08-13 | Qualcomm Incorporated | Interpolation filters for intra prediction in video coding |
| WO2018111132A1 (en) * | 2016-12-15 | 2018-06-21 | Huawei Technologies Co., Ltd | Intra sharpening and/or de-ringing filter for video coding |
| WO2018111131A1 (en) * | 2016-12-15 | 2018-06-21 | Huawei Technologies Co., Ltd | Intra sharpening and/or de-ringing filter for video coding based on a bitstream flag |
| CN116366842A (zh) * | 2018-03-09 | 2023-06-30 | 韩国电子通信研究院 | 使用样点滤波的图像编码/解码方法和设备 |
| CN112272951A (zh) * | 2018-06-13 | 2021-01-26 | 华为技术有限公司 | 用于视频编码的帧内锐化滤波器和/或去振铃滤波器 |
| EP3799692A4 (en) * | 2018-06-13 | 2021-08-04 | Huawei Technologies Co., Ltd. | INTRA ENHANCEMENT AND / OR CONTOUR CORRECTION FILTER FOR VIDEO CODING ON THE BASIS OF A BIT TRAIN FLAG |
| US11190764B2 (en) * | 2018-07-06 | 2021-11-30 | Qualcomm Incorporated | Merged mode dependent intra smoothing (MDIS) and intra interpolation filter switching with position dependent intra prediction combination (PDPC) |
| CN112352434B (zh) * | 2018-07-11 | 2022-06-07 | 华为技术有限公司 | 用于帧内预测的基于宽高比滤波的方法和装置 |
| US11128872B2 (en) * | 2018-07-16 | 2021-09-21 | Qualcomm Incorporated | Position dependent intra prediction combination with wide angle intra prediction |
| US10834393B2 (en) * | 2018-09-10 | 2020-11-10 | Tencent America LLC | Intra interpolation filter for multi-line intra prediction |
| KR20210084567A (ko) * | 2018-11-28 | 2021-07-07 | 주식회사 윌러스표준기술연구소 | 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치 |
| JP7293376B2 (ja) * | 2019-02-28 | 2023-06-19 | ヒューマックス・カンパニー・リミテッド | イントラ予測ベースのビデオ信号処理方法及び装置 |
-
2020
- 2020-03-12 US US17/438,347 patent/US20220182616A1/en active Pending
- 2020-03-12 CN CN202080020342.3A patent/CN113632468A/zh active Pending
- 2020-03-12 KR KR1020217026586A patent/KR20210114054A/ko not_active Application Discontinuation
- 2020-03-12 WO PCT/KR2020/003478 patent/WO2020185018A1/ko unknown
- 2020-03-12 MX MX2021010874A patent/MX2021010874A/es unknown
- 2020-03-12 EP EP20769885.3A patent/EP3941047A4/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150023405A1 (en) * | 2013-07-19 | 2015-01-22 | Qualcomm Incorporated | Disabling intra prediction filtering |
| US20160057430A1 (en) * | 2014-08-25 | 2016-02-25 | Canon Kabushiki Kaisha | Method, apparatus and system for predicting a block of video samples |
| CN107736023A (zh) * | 2015-06-18 | 2018-02-23 | 高通股份有限公司 | 帧内预测及帧内模式译码 |
| WO2018221817A1 (ko) * | 2017-05-31 | 2018-12-06 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치 |
Non-Patent Citations (1)
| Title |
|---|
| BENJAMIN BROSS: "Versatile Video Coding (Draft 4)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019, 18 January 2019 (2019-01-18), pages 8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3941047A4 (en) | 2022-12-28 |
| US20220182616A1 (en) | 2022-06-09 |
| MX2021010874A (es) | 2021-10-22 |
| WO2020185018A1 (ko) | 2020-09-17 |
| KR20210114054A (ko) | 2021-09-17 |
| EP3941047A1 (en) | 2022-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7422917B2 (ja) | Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 | |
| KR102476280B1 (ko) | 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치 | |
| US11997300B2 (en) | Method and apparatus for video encoding/decoding using IBC mode, and method for transmitting bitstream | |
| JP7018139B2 (ja) | 画像コーディングシステムにおけるｃｃｌｍ予測ベースの画像デコード方法および装置 | |
| KR102436368B1 (ko) | 변환 인덱스를 이용하는 영상 코딩 | |
| KR102470696B1 (ko) | 영상 코딩에서 매트릭스 기반의 인트라 예측을 위한 변환 | |
| JP7362786B2 (ja) | 単純化されたｍｐｍリスト生成方法を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 | |
| CN112385213B (zh) | 基于帧间预测模式处理图像的方法和用于该方法的设备 | |
| KR20210118113A (ko) | Mpm 리스트 기반 인트라 예측 방법 및 장치 | |
| CN115767088A (zh) | 图像编解码方法、发送比特流的方法和记录介质 | |
| KR20210100741A (ko) | 영상 코딩 시스템에서 인트라 예측을 사용하는 영상 디코딩 방법 및 그 장치 | |
| US20220417512A1 (en) | Image encoding/decoding method and device, and method for transmitting bitstream | |
| KR20210126765A (ko) | 영상 코딩 시스템에서의 인트라 예측 기반 영상 코딩 | |
| EP3941047A1 (en) | Method and apparatus for encoding/decoding video and method for transmitting bitstream | |
| US20230396772A1 (en) | Video encoding/decoding method and apparatus for performing pdpc and method for transmitting bitstream | |
| CN115315959A (zh) | 通过确定边界强度执行去块滤波的图像编码/解码方法和设备及发送比特流的方法 | |
| CN113574876A (zh) | 对色度块使用分段限制的视频编码/解码方法和设备，以及发送比特流的方法 | |
| RU2812856C2 (ru) | Способ и устройство для кодирования/декодирования видео и способ для передачи потока битов | |
| RU2789455C1 (ru) | Способ и устройство для кодирования/декодирования видео и способ для передачи потока битов | |
| EP4391530A1 (en) | Image encoding/decoding method and apparatus for performing reference sample filtering on basis of intra prediction mode, and method for transmitting bitstream | |
| CN115176465A (zh) | 基于叶节点的重新配置的预测模式类型来执行预测的图像编码/解码方法和设备以及比特流传输方法 | |
| CN118056406A (zh) | 基于不可分离主变换的图像编码/解码方法和设备及存储比特流的记录介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |