CN106134201B - 在块预测技术中使用的预处理预测滤波的方法和装置 - Google Patents

在块预测技术中使用的预处理预测滤波的方法和装置 Download PDF

Info

Publication number
CN106134201B
CN106134201B CN201480077613.3A CN201480077613A CN106134201B CN 106134201 B CN106134201 B CN 106134201B CN 201480077613 A CN201480077613 A CN 201480077613A CN 106134201 B CN106134201 B CN 106134201B
Authority
CN
China
Prior art keywords
reference sample
subset
block
filtering
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480077613.3A
Other languages
English (en)
Other versions
CN106134201A (zh
Inventor
阿列克谢·康斯坦丁诺维奇·菲利波夫
瓦西里·亚历斯维奇·拉夫特斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN106134201A publication Critical patent/CN106134201A/zh
Application granted granted Critical
Publication of CN106134201B publication Critical patent/CN106134201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及改进的预测技术，例如使用帧内或帧间预测的块预测，所述改进的预测技术使用预处理预测滤波技术来减少噪声对要重构的块的预测样本的影响。本文提出的预测技术可以用于编码装置或解码装置等中。用于重构图像的给定像素块的参考样本被分类或分割为子集。可对子集进行不同处理，例如，可对子集使用不同的滤波器。这类滤波器的示例包括平滑滤波器和/或去块效应滤波器，它们可应用于所述参考样本的相应子集。

Description

在块预测技术中使用的预处理预测滤波的方法和装置
发明领域
本发明涉及使用预测重构图像块的方法和它们在硬件和/或软件中的实现。更具体地，本发明涉及改进的预测技术，例如使用帧内或帧间预测的块预测，所述改进的预测技术使用预处理预测滤波技术来减少噪声对要重构的块的预测样本的影响。本文提出的预测技术可以用于编码装置或解码装置等中。
背景技术
有损数据压缩具有许多用途，尤其是在通信、广播、娱乐和安全中。视频压缩是一项具有挑战性的任务，因为要求较大的压缩比才能通过现有通信信道传输高质量、高分辨率的图片。这项任务在无线和移动通信或媒体实时编码环境中更具挑战性。
新近采用的ITU-T H.265/HEVC标准(ISO/IEC 23008-2:2013，信息技术—异构环境中的高效编码和媒体发送—第二部分：高效视频编码(Information technology-Highefficiency coding and media delivery in heterogeneous environments–Part2:Highefficiency video coding)，2013年11月)声明了一组最新视频编码工具，这些视频编码工具提供了编码效率与计算复杂度之间的合理平衡。Gary J.Sullivan在2012年12月的IEEE视频技术的电路和***会刊(IEEE Transactions on Circuits and Systems for VideoTechnology)第22卷第12期的文章“高效视频编码(High Efficiency Video Coding，HEVC)标准概述(Overview of the High Efficiency Video Coding(HEVC)Standard)”中给出了ITU-T H.265/HEVC标准的概述，其全部内容以引入的方式并入本文本中。
与ITU-T H.264/AVC视频编码标准类似，HEVC/H.265视频编码标准提供了一种源图片到块，例如编码单元(coding unit，CU)的划分。每个CU还可以分为更小的CU或预测单元(prediction unit，PU)。可以根据应用于PU像素的处理类型对PU进行帧内或帧间预测。在帧间预测的情况下，PU表示由运动补偿处理的像素区域，其中运动补偿使用为PU指定的运动向量。对于帧内预测，PU为一组变换单元(transform unit，TU)指定预测模式。TU可以具有不同大小(例如，4x4、8x8、16x16和32x32像素)并且可以通过不同的方式处理。针对TU正执行变换编码，即，正使用离散余弦变换(discrete cosine transform，DCT)对预测误差进行变换以及量化。将产生的量化变换系数分组为CG，每个CG有16个量化变换系数。
如上所述，这些标准或类似的对图片的块进行编码的专有编解码器的核心工具为帧内和帧间预测、频谱变换(例如，离散余弦变换或其整数近似)和量化。帧间和帧内预测工具用于为给定块生成预测信号。在编码器侧，将源块与其预测之间的差异，所谓的残差信号，变换为它们的频谱，即，通过频域中的变换系数来表示源块像素。此外，将系数量化。非零和零量化变换系数通常分别称为重要系数和不重要系数。对包括量化变换系数和边信息(例如，用于帧内编码的帧内预测模式和用于帧间编码的运动向量)的所有语法元素进行二值化和熵编码。压缩的H.265/HEVC比特流中熵编码的系数部分可超过80％。
对量化变换系数进行编码的阶段如下：
-对最后的重要系数，即，最后的非零量化变换系数，的位置进行编码。
-对用于恢复所有非零系数的位置的重要性图进行编码。
-重要系数的符号编码。
-重要系数的量级编码。
这些阶段在将量化变换系数分为所谓的系数组(coefficient group，CG)时执行。每个CG是一个通常由4x4个系数组成的子集。
如上所述，最新视频编码标准是基于将源图片(图像)划分为块。这些块的处理取决于它们的大小、空间位置和编码器指定的编码模式。根据预测类型，编码模式可以分为两组：帧内和帧间预测模式。帧内预测使用同一图像的像素来生成参考样本，要重构的块的像素的预测值基于这些参考样本预测。帧内预测还可以称为空间预测。帧间预测模式设计用于时域预测，使用前一和/或下一图片的参考样本来预测当前图片的块的像素。
由于冗余类型不同，帧内和帧间预测的预测过程也不同。帧内预测通常构建参考样本的一维缓存。帧间预测使用二维参考像素矩阵的子像素插值。
然而，在ITU-T H.264/AVC的标准化期间，还考虑了一种用于运动预测的第三技术：运动补偿时域滤波(Motion Compensated Temporal Filtering，MCTF)。MCTF处理通过叠加像素块而构建的三维像素数组。这些块中的每一个从其自己的图片中提取，按为视频序列的图片指定的相同顺序叠加这些块。MCTF的输出是两组块：高通块(残差)和低通块。这些块被进一步处理来产生预测和残差块。
在ISO/IEC JTC1/SC29/WG11，文献M8520，2002年7月的J.-R.Ohm的“MCTF帧间小波结构(Complexity and delay analysis of MCTF interframe wavelet structures)”中提供了MCTF的概述。MCTF通过采用如图18例示的提升过程来实现，在该提升过程中，可以在MCTF预测和更新步骤中重用H.26x视频编码标准的运动补偿特征。
如图18所示，针对视频序列的两个连续图片A和B，执行基于金字塔的运动补偿变换以获得“时域”低通帧L和高通帧H。该“时域”预测可以记为：
H(m,n)＝B(m,n)-(1-α)(1-β)A(m-k,n-l)-(1-α)βA(m-k,n-l+1)-α(1-β)A(m-k+1,n-l)-αβA(m-k+1,n-l+1)
其中α和β是用于子像素插值的加权系数。
已知图片编码引起重构图像中的视觉失真。这些失真可由量化噪声和块效应引起。帧内和帧间预测等预测技术使用已解码/重构的样本作为参考样本来预测像素块，因此，该已解码信息内的噪声可能影响预测准确性。对于要编码的块，该噪声还可意味着残差信号的能量更高，这可通过提高比特率来解决，或者，如果提高已编码流的比特率是不可接受的，则可通过接受明显的失真来解决。
发明内容
鉴于此，本发明的一个目的是提出一种能够减少噪声对块的预测样本的影响而不有损图片细节的预测技术。
前述和其它目标通过独立权利要求的特征来实现。另外的实施形式在从属权利要求、描述内容和附图中显而易见。
本发明的一个方面因此涉及改进的预测技术，例如使用帧内或帧间预测的块预测，所述改进的预测技术使用预处理预测滤波技术来减少噪声对要重构的块的预测样本的影响。本文提出的预测技术可以用于编码装置或解码装置等中。用于重构图像的给定像素块的参考样本被分类或分割为子集。可对所述子集进行不同处理，例如，可对所述子集使用不同的滤波器。这类滤波器的示例包括平滑滤波器和/或去块效应滤波器，它们可应用于所述参考样本的相应子集。
本发明的所述方面的第一实施方式涉及一种使用预测重构图像块的方法。所述方法包括：确定要用于预测要重构的块的一个或多个已解码块的参考样本；选择所述参考样本的第一子集和所述参考样本的第二子集；执行所述第一子集和所述第二子集的已选参考样本的预处理预测滤波，其中用于对所述第一子集的所述参考样本进行滤波的滤波参数不同于用于对所述第二子集的所述参考样本进行滤波的滤波参数；以及基于所述参考样本通过预测来重构所述块，所述参考样本包括所述第一子集和所述第二子集的所述预处理预测滤波的参考样本。
在第二实施方式中，其是所述第一实施方式的更详细实施方式，所述方法还包括：确定所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式；确定所述参考样本的所述第一和/或第二子集和/或选择用于所述预处理预测滤波的参数是基于所述大小和/或所述预测模式。
在第三实施方式中，其是所述第一或第二实施方式的更详细实施方式，使用帧内预测来重构所述块，确定已用于对所述要重构的块进行编码的预测模式包括确定所述帧内预测是否是根据垂直模式、水平模式或角模式。如果所述帧内预测是根据另一角模式，则执行所述第一子集和所述第二子集的参考样本的所述预处理预测滤波。如果所述帧内预测是根据所述垂直模式，则对位于所述要重构的块的左边和/或左下方的参考样本应用预处理预测滤波。如果所述帧内预测是根据所述水平模式，则对位于所述要重构的块的上方和/或右上方的参考样本应用预处理预测滤波。
在第四实施方式中，其是所述第三实施方式的更详细实施方式，所述第一子集包括位于所述要重构的块的左边和/或左下方的参考样本，所述第二子集包括位于所述要重构的块的上方和/或右上方的参考样本。
在第五实施方式中，其是所述第三或第四实施方式的更详细实施方式，确定已用于对所述要重构的块进行编码的预测模式包括确定所述帧内预测是否是根据垂直模式、水平模式或角模式。如果所述帧内预测是根据对角模式，则对所有参考样本执行预处理预测滤波。
在第六实施方式中，其是所述第一至第五实施方式之一的更详细实施方式，所述第二子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中。此外，所述块基于所述参考样本通过预测重构，所述参考样本包括所述滤波的参考样本第一子集和所述滤波的参考样本第二子集。
在第七实施方式中，其是所述第一至第六实施方式之一的更详细实施方式，所述方法还包括将去块效应滤波器应用到不同已解码块的预处理预测滤波的参考样本，所述预处理预测滤波的参考样本是位于已解码块之间的边界处的参考样本。
第八实施方式涉及一种使用预测重构图像块的方法。所述方法包括：确定要用于预测要重构的块的一个或多个已解码块的参考样本；选择在预测之前滤波器所要应用到的参考样本子集，并进行所述子集的已选参考样本的预处理预测滤波；以及基于所述参考样本通过预测来重构所述块，所述参考样本包括所述子集的所述滤波的参考样本。在通过预测来重构所述块之前，重复所述子集的所述选择以及所述子集的参考样本的所述向预测滤波。
在第九实施方式中，其是所述第八实施方式的更详细实施方式，用于对所述子集的参考样本进行滤波的所述滤波参数在所述子集的选择和预处理预测滤波的所述重复中不相同。
在第十实施方式中，其是所述第八或第九实施方式的更详细实施方式，在不同重复中选择的所述子集是不同的或重叠的。
在第十一实施方式中，其是所述第八至第十实施方式之一的更详细实施方式，在一次重复中，所述选择的参考样本子集包括所有参考样本。
在第十二实施方式中，其是所述第八至第十一实施方式之一的更详细实施方式，进行三次重复，其中前两次重复对原始参考样本执行以获得滤波的参考样本，而第三次重复对在所述前两次重复中获得的所述滤波的参考样本执行。
在第十三实施方式中，其是所述第八至第十二实施方式之一的更详细实施方式，在第一次重复中，基于所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式，对所述参考样本的相应子集进行滤波。在第二次重复中，所述参考样本的相应子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；在第三次重复中，将去块效应滤波器应用到在所述第一次或第二次重复中滤波的所述参考样本，所述滤波的参考样本是已解码块之间的边界处的参考样本。
在第十四实施方式中，其是所述第七或第十三实施方式的更详细实施方式，所述方法还包括：将所述要解码的块的已解码残差添加到所述重构的块中以获得已解码块，以及将环内去块效应滤波器应用到所述已解码块。
在第十五实施方式中，其是所述第一至第十四实施方式之一的更详细实施方式，所述参考样本正形成两个一维数组。一个数组包括所述要解码的块的左边或右边的一个或多个相邻已解码块的一列样本，另一数组包括所述要解码的块的上方或底部的一个或多个相邻已解码块的一行样本。
在第十六实施方式中，其是所述第一至第十五实施方式之一的更详细实施方式，预处理预测滤波包括将平滑滤波器应用到所述参考样本的至少一个子集。
在第十七实施方式中，其是所述第一、第二和第六至第十六实施方式之一的更详细实施方式，使用帧间预测来重构所述像素块。
在第十八实施方式中，其是所述第十七实施方式的更详细实施方式，所述参考样本定义了在重构所述块时要用于帧间预测的一个或多个已解码块内的二维参考区域。进行预处理预测滤波的参考样本子集之一包括属于已解码块的参考样本，对于所述已解码块，有残差已编码在所述已编码的视频流中。
在第十九实施方式中，其是所述第十七实施方式的更详细实施方式，所述参考样本定义了在重构所述块时要用于帧间预测的一个或多个已解码块内的二维参考区域。确定在帧间预测之前滤波器所要应用到的所述参考样本子集的步骤包括基于对所述二维参考区域的所述参考样本进行边缘检测的结果来确定多个不同的参考样本子集。此外，执行预处理预测滤波包括使用不同的滤波参数对所述子集的参考样本进行滤波。
在第二十实施方式中，其是所述第十七实施方式的更详细实施方式，使用多参考帧间预测来重构所述块，所述参考样本定义了在重构所述块时来自要用于帧间预测的不同参考帧的二维参考区域堆栈。确定在预测之前滤波器所要应用到的所述参考样本子集包括基于对所述参考样本进行边缘检测的结果来确定所述二维参考区域堆栈内的多个不同的参考样本子集。此外，执行预处理预测滤波包括使用不同的滤波参数对所述子集的参考样本进行滤波；重构所述块包括通过从所述二维参考区域堆栈计算滤波的参考样本的加权和来预测所述块。
第二十一实施方式涉及一种使用预测重构图像块的装置。所述装置包括：参考样本缓存，用于存储要用于预测要重构的块的一个或多个已解码块；处理单元，用于从所述参考样本缓存选择参考样本的第一子集和所述参考样本的第二子集；滤波单元，用于执行所述第一子集和所述第二子集的已选参考样本的预处理预测滤波，其中用于对所述第一子集的所述参考样本进行滤波的滤波参数不同于用于对所述第二子集的所述参考样本进行滤波的滤波参数；以及预测单元，用于基于所述参考样本通过预测来重构所述块，所述参考样本包括所述第一子集和所述第二子集的所述预处理预测滤波的参考样本。
在第二十二实施方式中，其是所述第二十一实施方式的更详细实施方式，所述处理单元用于确定所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式。另外，所述处理单元还用于确定所述参考样本的第一和/或第二子集，和/或选择用于所述预处理预测滤波的参数是基于所述大小和/或所述预测模式。
在第二十三实施方式中，其是所述第二十一或第二十二实施方式的更详细实施方式，使用帧内预测来重构所述块，所述处理单元用于确定所述帧内预测是否是根据垂直模式、水平模式或角模式。如果所述帧内预测是根据另一角模式，则所述处理单元用于使所述滤波单元对所述第一子集和所述第二子集的参考样本应用预处理预测滤波。如果所述帧内预测是根据所述垂直模式，则所述处理单元用于使所述滤波单元对位于所述要重构的块的左边和/或左下方的参考样本应用预处理预测滤波。如果所述帧内预测是根据所述水平模式，则所述处理单元用于使所述滤波单元对位于所述要重构的块的上方和/或右上方的参考样本应用预处理预测滤波。
在第二十四实施方式中，其是所述第二十三实施方式的更详细实施方式，所述第一子集包括位于所述要重构的块的左边和/或左下方的参考样本，所述第二子集包括位于所述要重构的块的上方和/或右上方的参考样本。
在第二十五实施方式中，其是所述第二十三或第二十四实施方式的更详细实施方式，所述处理单元用于确定所述帧内预测是否是根据垂直模式、水平模式或角模式。如果所述帧内预测是根据所述对角模式，则所述处理单元用于使所述滤波单元对所有参考样本应用预处理预测滤波。
在第二十六实施方式中，其是所述第二十一至第二十五实施方式之一的更详细实施方式，所述第二子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；所述预测单元用于基于所述参考样本重构所述块，所述参考样本包括所述滤波的参考样本第一子集和滤波的参考样本第二子集。
在第二十七实施方式中，其是所述第二十一至第二十六实施方式之一的更详细实施方式，所述装置还包括去块效应滤波器，用于在预测之前执行不同已解码块的预处理预测滤波的参考样本的去块效应，其中所述预处理预测滤波的参考样本是位于已解码块之间的边界处的参考样本。
本发明的所述方面的第二十八实施形式涉及一种使用预测重构图像块的装置。所述装置包括：参考样本缓存，用于存储要用于预测要重构的块的一个或多个已解码块；处理单元，用于选择在预测之前滤波器所要应用到的参考样本子集；滤波单元，用于进行所述子集的已选参考样本的预处理预测滤波；以及预测单元，用于基于所述参考样本通过预测来重构所述块，所述参考样本包括所述子集的所述滤波的参考样本。所述处理单元和所述滤波单元用于在通过预测重构所述块之前重复所述子集的所述选择以及所述子集的参考样本的所述预处理预测滤波。
在第二十九实施方式中，其是所述第二十八实施方式的更详细实施方式，所述滤波单元用于在所述重复中使用不同的参数来对所述子集的参考样本进行滤波。
在第三十实施方式中，其是所述第二十八或第二十九实施方式的更详细实施方式，所述处理单元用于在不同的重复中选择不同的或重叠的子集。
在第三十一实施方式中，其是所述第二十八至第三十实施方式之一的更详细实施方式，在一次重复中，所述选择的参考样本子集包括所有参考样本。
在第三十二实施方式中，其是所述第二十八至第三十一实施方式之一的更详细实施方式，进行三次重复，其中所述处理单元和所述滤波单元用于对原始参考样本执行前两次重复以获得滤波的参考样本，并对在所述前两次重复中获得的所述滤波的参考样本执行第三次重复。
在第三十三实施方式中，其是所述第二十八至第三十二实施方式之一的更详细实施方式，在第一次重复中，所述滤波单元基于所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式来对所述参考样本的相应子集进行滤波；在第二次重复中，所述参考样本的相应子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；在第三次重复中，所述滤波单元将去块效应滤波器应用到在所述第一次或第二次重复中滤波的所述参考样本，所述滤波的参考样本是已解码块之间的边界处的参考样本。
在第三十四实施方式中，其是所述第二十七或第三十三实施方式之一的更详细实施方式，所述装置还包括：加法单元，用于将所述要解码的块的已解码残差添加到所述重构的块中以获得已解码块，以及环内去块效应滤波器，用于将去块效应应用到所述已解码块。
在第三十五实施方式中，其是所述第二十一至第三十四实施方式之一的更详细实施方式，所述滤波单元用于将平滑滤波器应用到所述参考样本的至少一个子集。
在第三十六实施方式中，其是所述第二十一至第三十五实施方式之一的更详细实施方式，所述装置是用于对视频图像进行编码的编码装置，或用于对视频流的已编码图像进行解码的解码装置。
第三十七实施方式涉及一种存储指令的计算机可读存储介质，当所述指令由处理单元执行时，使所述处理单元执行用于根据本文描述的各种实施方式之一使用预测重构图像块的方法。通过应用这些滤波器，在预测之前参考样本中的噪声(与未滤波的参考样本相比)会减少，因此预测结果与未使用预处理预测滤波技术相比在噪声方面也会较少。样本子集可根据不同标准选择，也可在预处理预测滤波过程的不同迭代中选择。
上述方面的第一示例性实施例涉及一种使用预测重构图像块的方法。在本方法中，确定要用于预测要重构的块的一个或多个已解码块的参考样本，以及选择所述参考样本的第一子集和所述参考样本的第二子集。此外，执行所述第一子集和所述第二子集的已选参考样本的预处理预测滤波，其中用于对所述第一子集的所述参考样本进行滤波的滤波参数不同于用于对所述第二子集的所述参考样本进行滤波的滤波参数。在所述预处理预测滤波之后，基于所述参考样本重构所述块，所述参考样本包括所述第一子集和所述第二子集的所述预处理预测滤波的参考样本。
在第二示例性实施例中，其是所述第一实施例的更详细实施方式，确定所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式，确定所述参考样本的所述第一和/或第二子集和/或选择用于所述预处理预测滤波的参数是基于所述大小和/或所述预测模式。
在第三示例性实施例中，其是所述第一或第二实施例的更详细实施方式，使用帧内预测来重构所述块。在本实施例中，确定已用于对所述要重构的块进行编码的预测模式包括确定所述帧内预测是否是根据垂直模式、水平模式或角模式。如果所述帧内预测是根据另一角模式，则可执行所述第一子集和所述第二子集的参考样本的预处理预测滤波。如果所述帧内预测是根据所述垂直模式，则可对位于所述要重构的块的左边和/或左下方的参考样本应用预处理预测滤波。如果所述帧内预测是根据所述水平模式，则可对位于所述要重构的块的上方和/或右上方的参考样本应用预处理预测滤波。
在第四示例性实施例中，其是所述第三实施例的更详细实施方式，所述第一子集包括位于所述要重构的块的左边和/或左下方的参考样本，所述第二子集包括位于所述要重构的块的上方和/或右上方的参考样本。
在第五示例性实施例中，其是所述第三或第四实施例的更详细实施方式，还存在用于帧内预测的对角模式。在本方法中，确定已用于对所述要重构的块进行编码的预测模式包括确定所述帧内预测是否是根据垂直模式、水平模式或角模式，如果所述帧内预测是根据所述对角模式，则对所有参考样本执行预处理预测滤波。
在第六示例性实施例中，其是所述第一至第五实施例之一的更详细实施方式，所述第二子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；所述块基于所述参考样本通过预测重构，所述参考样本包括所述滤波的参考样本第一子集和滤波的参考样本第二子集。
在第七示例性实施例中，其是所述第一至第六实施例之一的更详细实施方式，所述方法还包括将去块效应滤波器应用到不同已解码块的预处理预测滤波的参考样本，所述预处理预测滤波的参考样本是位于已解码块之间的边界处的参考样本。
第八示例性实施例提供了本发明上述方面的进一步实施并提供了另一种使用预测重构图像块的方法。所述方法包括：确定要用于预测要重构的块的一个或多个已解码块的参考样本；选择在预测之前滤波器所要应用到的参考样本子集，并进行所述子集的已选参考样本的预处理预测滤波；以及基于所述参考样本通过预测来重构所述块，所述参考样本包括所述子集的所述滤波的参考样本。在本方法中，在通过预测重构所述块之前，重复所述子集的所述选择以及所述子集的参考样本的所述预处理预测滤波。
在第九示例性实施例中，其是所述第八实施例的更详细实施方式，用于对所述子集的参考样本进行滤波的所述滤波参数在所述子集的选择和预处理预测滤波的所述重复中不相同。
在第十示例性实施例中，其是所述第八或第九实施例的更详细实施方式，在不同重复中选择的所述子集是不同的或重叠的。
在第十一示例性实施例中，其是所述第八至第十实施例之一的更详细实施方式，在一次重复中，所述选择的参考样本子集包括所有参考样本。
在第十二示例性实施例中，其是所述第八至第十一实施例之一的更详细实施方式，进行预处理预测滤波的三次重复(或迭代)。前两次重复对原始参考样本执行以获得滤波的参考样本，第三次重复对在所述前两次重复中获得的所述滤波的参考样本执行。
在第十三示例性实施例中，其是所述第八至第十二实施例之一的更详细实施方式，在第一次重复中，基于所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式来对所述参考样本的相应子集进行滤波；在第二次重复中，所述参考样本的相应子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；在第三次重复中，将去块效应滤波器应用到在所述第一次或第二次重复中滤波的所述参考样本，所述滤波的参考样本是已解码块之间的边界处的参考样本。
在第十四示例性实施例中，其是所述第七或第十三实施例的更详细实施方式，所述方法还包括：将所述要解码的块的已解码残差添加到所述重构的块中以获得已解码块，以及将环内去块效应滤波器应用到所述已解码块。
在第十五示例性实施例中，其是所述第一至第十四实施例之一的更详细实施方式，所述参考样本形成两个一维数组，一个数组包括所述要解码的块的左边或右边的一个或多个相邻已解码块的一列样本，另一数组包括所述要解码的块的上方或底部的一个或多个相邻已解码块的一行样本。
在第十六示例性实施例中，其是所述第八至第十五实施例之一的更详细实施方式，预处理预测滤波包括将平滑滤波器应用到所述参考样本的至少一个子集。
在第十七示例性实施例中，其是所述第一、第二和第六至第十六实施方式之一的更详细实施方式，使用帧间预测来重构像素块。
在第十八示例性实施例中，其是所述第十七实施例的更详细实施方式，所述参考样本定义了在重构所述块时要用于帧间预测的一个或多个已解码块内的二维参考区域。此外，进行预处理预测滤波的参考样本子集之一包括属于已解码块的参考样本，对于所述已解码块，有残差已编码在所述已编码的视频流中。
在第十九示例性实施例中，其是所述第十七实施例的更详细实施方式，所述参考样本定义了在重构所述块时要用于帧间预测的一个或多个已解码块内的二维参考区域。在本方法中，确定在帧间预测之前滤波器所要应用到的所述参考样本子集包括基于对所述二维参考区域的所述参考样本进行边缘检测的结果来确定多个不同的参考样本子集。此外，预处理预测滤波包括使用不同的滤波参数对所述子集的参考样本进行滤波。
在第二十示例性实施例中，其是所述第十七实施例的更详细实施方式，使用多参考帧间预测来重构所述块，所述参考样本定义了在重构所述块时来自要用于帧间预测的不同参考帧的二维参考区域堆栈。在本方法中，确定在预测之前要滤波器要应用的所述参考样本子集包括基于对所述参考样本进行边缘，检测的结果来确定所述二维参考区域堆栈内的多个不同的参考样本子集，预处理预测滤波包括使用不同的滤波参数对所述子集的参考样本进行滤波；以及
重构所述块包括通过从所述二维参考区域堆栈计算滤波的参考样本的加权和来预测所述块。
第二十一示例性实施例提供了上述方面的另一种实施并涉及一种使用预测重构图像块的装置。所述装置包括：参考样本缓存，用于存储要用于预测要重构的块的一个或多个已解码块；处理单元，用于从所述参考样本缓存选择参考样本的第一子集和所述参考样本的第二子集；滤波单元，用于执行所述第一子集和所述第二子集的已选参考样本的预处理预测滤波，其中用于对所述第一子集的所述参考样本进行滤波的滤波参数不同于用于对所述第二子集的所述参考样本进行滤波的滤波参数；以及预测单元，用于基于所述参考样本通过预测来重构所述块，所述参考样本包括所述第一子集和所述第二子集的所述预处理预测滤波的参考样本。
在第二十二示例性实施例中，其是所述第二十一实施例的更详细实施方式，所述处理单元用于确定所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式；所述处理单元还确定所述参考样本的所述第一和/或第二子集和/或选择用于所述预处理预测滤波的参数是基于所述大小和/或所述预测模式。
在第二十三示例性实施例中，其是所述第二十一或第二十二实施例的更详细实施方式，使用帧内预测来重构所述块，所述处理单元用于确定所述帧内预测是否是根据垂直模式、水平模式或角模式。如果所述帧内预测是根据另一角模式，则所述处理单元用于使所述滤波单元对所述第一子集和所述第二子集的参考样本应用预处理预测滤波。此外，如果所述帧内预测是根据所述垂直模式，则所述处理单元用于使所述滤波单元对位于所述要重构的块的左边和/或左下方的参考样本应用预处理预测滤波。另外，如果所述帧内预测是根据所述水平模式，则所述处理单元用于使所述滤波单元对位于所述要重构的块的上方和/或右上方的参考样本应用预处理预测滤波。
在第二十四实施例中，其是所述第二十三实施例的更详细实施方式，所述第一子集包括位于所述要重构的块的左边和/或左下方的参考样本，所述第二子集包括位于所述要重构的块的上方和/或右上方的参考样本。
在第二十五示例性实施例中，其是所述第二十三或第二十四实施例的更详细实施方式，所述处理单元用于确定所述帧内预测是否是根据垂直模式、水平模式或角模式。如果所述帧内预测是根据所述对角模式，则所述处理单元用于使所述滤波单元对所有参考样本应用预处理预测滤波。
在第二十六示例性实施例中，其是所述第二十一至第二十五实施例之一的更详细实施方式，所述第二子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；所述预测单元用于基于所述参考样本重构所述块，所述参考样本包括所述滤波的参考样本第一子集和滤波的参考样本第二子集。
在第二十七示例性实施例中，其是所述第二十一至第二十六实施例之一的更详细实施方式，所述装置包括去块效应滤波器，用于在预测之前执行不同已解码块的预处理预测滤波的参考样本的去块效应。所述预处理预测滤波的参考样本是位于已解码块之间的边界处的参考样本。
第二十八示例性实施例提供了上述方面的另一种实施并涉及一种使用预测重构图像块的装置。所述装置包括：参考样本缓存，用于存储要用于预测要重构的块的一个或多个已解码块；处理单元，用于选择在预测之前滤波器所要应用到的参考样本子集；滤波单元，用于进行所述子集的已选参考样本的预处理预测滤波；以及预测单元，用于基于所述参考样本通过预测来重构所述块，所述参考样本包括所述子集的所述滤波的参考样本。
所述处理单元和所述滤波单元用于在通过预测重构所述块之前重复所述子集的所述选择以及所述子集的参考样本的所述预处理预测滤波。
在第二十九示例性实施例中，其是所述第二十八实施例的更详细实施方式，所述滤波单元用于在所述重复中使用不同的参数来对所述子集的参考样本进行滤波。
在第三十示例性实施例中，其是所述第二十八或第二十九实施例的更详细实施方式，所述处理单元用于在不同的重复中选择不同的或重叠的子集。
在第三十一示例性实施例中，其是所述第二十八至第三十实施例之一的更详细实施方式，在一次重复(还可称为迭代)中，所述选择的参考样本子集包括所有参考样本。
在第三十二示例性实施例中，其是所述第二十八至第三十一实施例之一的更详细实施方式，进行三次重复(或迭代)。所述处理单元和所述滤波单元用于对原始参考样本执行前两次重复以获得滤波的参考样本，并对在所述前两次重复中获得的所述滤波的参考样本执行第三次重复。
在第三十三示例性实施例中，其是所述第二十八至第三十二实施例之一的更详细实施方式，在第一次重复中，所述滤波单元基于所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式来对所述参考样本的相应子集进行滤波；在第二次重复中，所述参考样本的相应子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；在第三次重复中，所述滤波单元将去块效应滤波器应用到在所述第一次或第二次重复中滤波的所述参考样本，所述滤波的参考样本是已解码块之间的边界处的参考样本。
在第三十四示例性实施例中，其是所述第二十七或第三十三实施例的更详细实施方式，所述装置还包括：加法单元，用于将所述要解码的块的已解码残差添加到所述重构的块中以获得已解码块，以及环内去块效应滤波器，用于将去块效应应用到所述已解码块。
在第三十五实施例中，其是所述第二十一至第三十四实施例之一的更详细实施方式，所述滤波单元用于将平滑滤波器应用到所述参考样本的至少一个子集。
在第三十六实施例中，其是所述第二十一至第三十五实施例之一的更详细实施方式，所述装置是用于对视频图像进行编码的编码装置，或用于对视频流的已编码图像进行解码的解码装置。
根据本文论述的不同实施例之一的上述方面和其实施方式还可在计算机可读存储介质上实施。这类介质可存储指令，所述指令在由处理单元执行时，使所述处理单元执行用于根据本文描述的各种实施例之一使用预测来重构图像块的方法。
附图说明
本发明的以下实施例结合附图更详细地描述。图中的类似或对应细节通过相同的参考编码标记。
图1所示为根据本发明示例性实施例的在要解码的块的帧内预测中使用的预处理预测滤波的示例性流程图；
图2所示为图1中的与大小和模式有关的预处理预测滤波的示例性实施方式的流程图；
图3所示为图2的与大小和模式有关的预处理预测滤波中角预测模式的参考样本处理的示例性实施方式的流程图；
图4例示了不同角预测模式的主和副参考样本；
图5例示了根据本发明实施例的用于重构给定像素块的参考样本，以及根据图1的预处理预测滤波的步骤102和103的参考样本处理；
图6例示了用于根据图1的步骤102的参考样本处理的根据本发明实施例的参考样本处理；
图7所示为根据本发明示例性实施例的根据图1的步骤102的参考样本处理的流程图；
图8所示为根据本发明示例性实施例的根据图1的步骤103的参考样本处理的流程图；
图9所示为根据本发明实施例的去块效应滤波器的示例性实施方式；
图10所示为根据本发明实施例的用于参数化去块效应滤波器的示例性硬件结构；
图11例示了根据本发明实施例的参考样本子集的并行处理；
图12所示为根据本发明实施例的使用边缘滤波器的二维区域中参考样本的示例性分类；
图13例示了根据本发明实施例的参考样本子集的另一并行处理，这些子集已通过图12的分类等获得；
图14例示了基于不同图像中参考样本的块的预处理预测；
图15所示为根据本发明实施例的例示双预测过程的示例性流程图；
图16所示为根据本发明实施例的编码装置的示例实施例的简化方框图；
图17所示为根据本发明实施例的解码装置的示例实施例的简化方框图；
图18所示为MCTF的提升过程；
图19所示为根据本发明实施例的去块效应滤波器的另一示例性实施方式。
具体实施方式
以下段落将描述不同方面的各种实施方式和实施例。如上文所述，本发明的一个方面涉及一种将作为编码或解码过程的一部分等在图像块预测中使用的参考样本的预处理预测滤波。本文探讨的预测技术的改进尤其适用于使用帧内或帧间预测的块预测。预处理预测技术用于减少噪声对要重构的块的预测样本的影响。将用于重构给定图像像素块的参考样本(还可称为给定图像块的像素的相应值)分类或划分为子集。可对子集进行不同处理，例如，可对子集使用不同的滤波器。这类滤波器的示例包括平滑滤波器和/或去块效应滤波器，它们可应用于相应子集。
在下文的实施例中，主要说明了图像像素块的帧内预测，该帧内预测是基于已提前解码的其它块的参考样本。然而，显而易见，本文探讨的原则也可应用于帧间预测。
图1所示为根据本发明示例性实施例的例示预处理预测滤波步骤的流程图。这里，假设帧内预测的参考样本处理的一维情况。通常，但不限于，用于要重构的块的参考样本(像素值)从要重构的块的左边(和左下方)和上方(和右上方)的相邻块获得。从其中获得参考样本的块的数目取决于要重构的块的大小以及相邻块的大小等。例如，参考样本可为要重构的块的左相邻块中最右列的样本(像素值)和上(上面的)相邻块中底行的样本(像素值)，如图3所例示。参考样本可在参考样本缓存等中提供，预测单元基于预测缓存中存储的样本来预测块。预测当前块(例如，H.265视频编码中的TU)所需的参考块和参考样本的数目可取决于当前块的大小N×M。出于示例性目的，可假设如图5所示，在垂直方向，在范围2N中从相对于当前块的左上角落的左边和左下方的所有块502中获得参考样本，在水平方向，在范围2M中从相对于当前块的左上角落的上方和右上方的所有块501中获得参考样本。当然，M也可等于N。
出于示例性目的，可以假设在预处理预测滤波开始时，用于重构给定块的已解码参考样本在编码或解码装置的参考样本缓存中有提供并且可以在图1所示的步骤101、102和103中访问。注意的是，步骤101和102之一是可选的，所以执行步骤101和103、执行步骤102和103或执行全部步骤101、102和103。
参考样本处理的步骤101是与大小和模式有关的滤波，其将在下文结合图2进一步详细探讨。步骤102是从已解码块中获得的参考样本的特别处理，对于这些块，没有残差信号编码在视频比特流中。步骤103是去块效应滤波器，其应用于参考块的块边界上的参考样本。步骤101和102对原始(“未更改的”)参考样本进行操作，而步骤103使用在步骤101和/或步骤102中获得的已处理参考样本。图2所示为通过预测重构块时根据预测模式的块的总体处理的示例性流程图。例如，当将本发明应用于H.265视频编码时，可存在35种帧内预测模式，其中33中是角预测模式(包括对角、垂直、水平和“真”角模式)。帧内预测的角取决于角模式的指数Nam。该依赖关系是线性的，即，模式指数Nam值越大表示预测角值越大。出于一般性，最小和最大角模式指数分别表示为Nmin和Nmax。在HEVC/H.265标准的特殊情况下，Nmin＝2，Nmax＝34，而Nam＝0表示平面模式，Nam＝1表示DC模式。在平面模式下，将预测的像素计算为两个双线性插值的总和：水平和垂直插值。当选择DC预测模式时，预测的像素等于参考像素的平均值。然而，对于大小小于32像素的块的DC帧内预测，将预测块的第一列和第一行计算为对应参考像素的加权和以及这些参考像素的平均值。
如图2所示，首先检查是否已使用DC模式201预测给定块(例如，通过检查是否Nam＝1)，如果是的话，则不可应用预处理预测滤波。接着，检查是否已使用平面模式202预测该块(例如，通过检查是否Nam＝0)。如果使用平面模式，则所有参考样本可使用一个滤波器，例如，低通滤波器(low-pass filter，LPF)等平滑滤波器。
如果对要重构的块的处理既不是DC模式也不是平面模式，则给定块使用了角模式帧内预测。图3的流程图示出了根据本发明示例性实施例的进行角模式帧内预测的块的处理204。
如上文所指示，模式指数Nam可表示可从这些角模式中选择的若干特别方向，具体地：水平、垂直和对角方向。这些方向中的每一个均具有与其关联的一组标称模式指数例如，对角模式可与模式指数 关联，垂直模式可与模式指数关联，水平模式可与模式指数关联。然而，这些示例指数并非旨在进行限制。
为了检查给定输入模式指数Nam是否属于特定方向，可指定特别范围Ram。范围Ram可基于要重构的块的块大小STU来确定。例如，对于较大块，可以使用较大的范围值。检查Nam是否属于特定方向(通过和Ram定义)可编写如下：
图3示出了不同角模式的大小和模式自适应滤波204的示例性流程图。在本示例性实施例中可用的角帧内预测模式是对角模式、垂直模式、水平模式和(另一)角模式。
在步骤2401中，获取要重构的块的模式指数Nam和块大小STU以确定角帧内预测的情况：垂直、水平、对角或任意模式。在对角模式下，块的样本预测是基于从左(可选地左下方)和上(可选地右上方)相邻块中获得的参考样本。在垂直模式下，块的样本预测是基于从要重构的块的上方/上面(可选地上方/右上方)的相邻参考块中获得的参考样本。如果发生对角帧内预测，则模式指数Nam和块大小STU会推导出对角帧内预测情况，该情况可以例如通过检查是否来确定。在那种情况下，所有参考样本都使用滤波器2403(对于下文所示的表格是情况D)，例如，低通滤波器(low-pass filter，LPF)等平滑滤波器。
如果模式i不是对角模式，则然后检查2404帧内预测模式是否是水平模式，在水平模式下，块的样本预测是基于从要重构的块上方(可选地右上方)的相邻参考块中获得的参考样本。例如，这可以通过以下方式来实现：检查是否如果是，则使用的是水平模式帧内预测，对块的上方和右上方(如果存在的话)的参考样本进行滤波2405(对于下文所示的表格是情况C)，且模式指数Nam更趋向于水平方向，以及检查是否如果是，则使用的是垂直模式帧内预测，对块的左边和左下方(如果存在的话)的参考样本进行滤波2407，表示垂直方向的情况(对于下文所示的表格是情况B)。
任意角预测情况在模式指数Nam未确定上述水平、垂直或对角情况时发生(参见图4)。在那种情况下，如果使用平滑滤波器，例如LPF。
否则，如果帧内预测模式不是对角模式、水平模式或垂直模式，则使用角模式帧内预测。在角模式下，块的样本预测也是基于从左(可选地左下方)和上(可选地右上方)相邻块获得的参考样本，然而，如将在下文进一步详细说明的，参考样本被划分为主参考和副参考，它们以不同方式进行滤波2408。如图4所例示，当模式指数Nam指示的预测角更趋向于水平方向时，要重构的块的左边(和左下方)的相邻块的参考样本形成第一子集(主参考样本)，要重构的块的上方(和右上方)的相邻块的参考样本形成第二子集(副参考样本)。对主参考样本和副参考样本使用2408不同的滤波器(对于下文所示的表格是情况A)，例如，LPF等平滑滤波器，即，两个滤波器的滤波参数各不相同。当使用平滑滤波器时，例如LPF。
否则，如果帧内预测模式不是对角模式、水平模式或垂直模式，则使用角模式帧内预测。在角模式下，块的样本预测也是基于从左(可选地左下方)和上(可选地右上方)相邻块获得的参考样本，然而，如将在下文进一步详细说明的，参考样本被划分为主参考和副参考，它们以不同方式进行滤波2408。如图4所例示，当模式指数Nam指示的预测角更趋向于垂直方向时，主和副参考样本相应地对应第二和第一子集。
在上述任一情况下，滤波的参考样本都可存储在参考样本缓存中以供在步骤103中使用(或在步骤102中更新)。
下表示例性地示出了根据图3对参考样本进行与模式和大小有关的预处理预测滤波的示例性滤波器配置。表头中的字母表示结合上文的图3描述的变体(情况A、B、C、D)。TU大小表示要重构的块的大小(N×N像素)。方括号中给出的滤波因子未归一化，即，它们中的每一个都应根据滤波因子的总和来划分，使得它们在归一化之后的因子总和应等于一。指定为“[1]”的滤波因子表示不应该应用滤波的特定情况。
如从表中可以看出的，参考样本的滤波取决于它们的帧内预测模式和要重构的块的大小。
可以注意到，在上表中，值filter_flag是呈现的。该值在视频比特流中发送，表示上述表指定的滤波器选择的附加变体。该标记的发送可以显式地或隐式地进行。隐式发送可以使用数据隐藏技术来实施，例如，类似于法国电信在JCT-VC会议上的撰稿，JCTVC-G273，日内瓦，2011年11月，Gordon Clare、Félix Henry、Jung的“符号数据隐藏(SignData Hiding)”中描述的符号数据隐藏，其以引入的方式并入本文本中。
接着，将进一步详细描述如图1所示的步骤102和103。步骤102和103中的处理使用图5例示，图5示出了使用相邻(已解码)块的参考样本来重构块。如图5所示，假设要重构的块的大小为N×M像素(M也可等于N)。在垂直方向，在范围2N中从当前块的左上角落的左边和左下方的所有块502中获得参考样本(这里，它们形成块502的像素的最右列)。在水平方向，在范围2M中从当前块的左上角落的上方和右上方的所有块501中获得参考样本(这里，它们形成块501的像素的最底行)。因此，图5假设对角或角模式帧内预测，而非水平模式或垂直模式(其中分别仅有块502或块501的参考样本)。
在步骤102和103的一个实施方式中，根据相邻块的配置和它们中残差的存在情况将参考样本集合划分为若干子集。在步骤102的一个示例性示例实施方式中，检查参考样本是否来自没有残差编码在视频流中的块。在H.265中，可以使用两个标记的值来确定残差信号的存在情况：
·变换跳过标记(transform skip flag，TSk)。其表示对于正在处理的颜色分量，是否在编码器侧跳过残差编码。TSk等于1是指不应处理残差，因此，比特率不包括量化的变换系数。
·cbf_luma、cbf_cb或cbf_cr标记。如果标记等于零，这是指对于给定块的指定颜色分量，变换残差的量化未提供任何非零的量化变换系数。CBFk表示这些标记之一，取决于正在处理的颜色分量。
因为那些块仅从预测重构，但不增加任何残差信号，所以减少了重构的块(因此来自该块的参考样本)中的噪声，因为量化噪声(其会出现在残差信号中)没有增加，所以参考样本更平滑。因此，根据一示例实施方式，通过应用比在步骤101中用于参考样本预处理预测滤波的那个/那些滤波器“弱”的另一滤波器对来自无残差信号的重构参考块的(未更改的)参考样本进行滤波(注意的是，“未更改的”旨在表示步骤102中的滤波是对原始参考样本执行的，而非步骤101的滤波的参考样本)。应用较弱滤波器意味着输入信号失真较少，即，滤波器越弱，输入与输出信号之间的均方差值越小。例如，用于对无残差信号的参考块的参考样本进行滤波的滤波因子与在图1的步骤101中使用的那些是不同的。再次参考上表并考虑情况A，步骤101中用于对主参考样本进行滤波的滤波因子数组[2 3 63 2]可替换为步骤102中的滤波因子[1 2 1]，而非步骤101的[1 6 1]滤波因子，副参考样本不进行滤波。因子的后续改变也可以通过[1]滤波的形式表示。根据步骤102的参考样本处理可取决于要重构的块的大小STU和角预测的方向。例如，在一示例性实施方式中，步骤102可仅针对大于或等于16x16像素的块执行和/或仅在帧内预测模式不是水平模式、垂直模式或对角模式的情况下执行。
图7示出了步骤102中的滤波的示例性流程图，其中，在迭代过程中，在预测之前对无残差信号的块的参考样本进行滤波。将块索引k和参考样本索引i初始化701、702为零。过程选择703下一相邻块k的Lk个参考样本并为该块检查704该块k是否有残差信号。如果块k有残差信号，则过程继续步骤706。
如果块k无残差信号，则过程继续步骤705，在步骤705中，对下一相邻块k的Lk个参考样本使用滤波器，例如低通滤波器等平滑滤波器。注意的是，这里不考虑关于块大小的其它限制，但是这一参数当然也可以作为滤波标准来检查。
在步骤706和707中，将参考样本索引i增加Lk并且将计数器变量k增加1以选择下一相邻块。当参考样本索引i超过708参考样本总量C时，处理终止。在步骤705中滤波的参考样本可存储在参考样本缓存中供后续在预测中使用。注意的是，如果对参考样本集合执行步骤101和102两者，则在步骤705中滤波的参考样本覆盖参考样本缓存中的对应参考样本。
在步骤103中，可将去块效应滤波器应用到参考样本缓存中的参考样本，这些参考样本之前已在步骤101和/或102中进行滤波。这还在图5中通过在块边界处产生参考样本的具有双箭头的参考样本的块来指示，其中在这些边界上执行去块效应(还参见图6)。参考样本去块效应可重用与在已知视频编码/解码标准中使用的去块效应算法相同的去块效应算法。例如，参考样本去块效应的去块效应算法可为在H.265视频编码标准的环内滤波期间使用的去块效应算法。然而，在参考样本去块效应过程中，去块效应参数(β和tc)应不同于环内去块效应使用的去块效应参数。参考样本去块效应滤波器的新去块效应参数可以例如使用偏移(ΔQP、Δβ和Δtc)来推导：
βmodif＝β(QP+ΔQP)+Δβ，
tcmodif＝tc(QP+ΔQP)+Δtc。
这些偏移的作用是修改β和tc对量化参数(quantization parameter，QP)的依赖关系。偏移(ΔQP、Δβ和Δtc)的介绍可以通过依赖关系图的水平或垂直位移来示出。水平位移通过ΔQP值控制，β和tc的垂直位移分别通过Δβ和Δtc来确定。这些偏移的值可以定义为常量值或可以为QP的函数。后一种情况可以通过查询表的形式实施，即，对于每个QP值，可以定义三个偏移值{ΔQP,Δβ,Δtc}。
图8的流程图例示了步骤103的去块效应过程的示例性实施方式。在步骤801中，获取量化参数(quantization parameter，QP)的值。此外，使用先前定义的量化参数来按如上所述计算802去块效应参数β和tc(即，将βmodif和tcmodif用于参考样本去块效应)。与图7类似，图8的过程然后对要重构的块的相邻块迭代，并将去块效应滤波器应用到两个邻近参考块的边界处的样本(如图5指示)。更具体地，将块索引k(块迭代器)和参考样本索引i分别初始化803、804为1和0。接着，选择805与索引为k-1和k的块的边界对应的Bk个参考样本，并将去块效应滤波器应用806到所选的Bk个参考样本，如上概述。在步骤807和808中，将参考样本索引i增加当前块k的参考样本数目Lk并且将块索引k增加1以选择下一相邻块。与图7类似，当参考样本索引i超过809参考样本总数C时，处理终止。
在一个有利实施方式中，重构图像的参考样本去块效应和环内去块效应可以使用如图9例示的视频编码或视频解码装置中的同一去块效应模块。去块效应滤波器(模块)接收去块效应模式控制信号，该信号引起到环内去块效应滤波操作或参考样本去块效应滤波操作的切换。在执行环内去块效应的情况下，将去块效应的样本写入已解码的图片缓存中，或者，在执行参考样本去块效应的情况下，将去块效应的样本写入参考样本缓存中。
图10例示了根据图9的这一去块效应滤波器模块的数据流程。复用器1002可以从只读存储器(Read-Only Memory，ROM)1001读取用于去块效应的滤波参数。ROM 1001可以根据H.265视频编码标准存储参数β和tc等。复用器1002和解复用器1004通过去块效应模式控制信号控制。如果该信号指示环内去块效应操作，则从解复用器1004将去块效应参数β和tc输出给去块效应滤波器。如果去块效应模式控制信号指示参考样本滤波，则将参数β和tc传递给重计算模块1003，其基于参数β和tc计算用于参考样本去块效应的已修改去块效应参数βmodif和tcmodif。在这种情况下，解复用器1004将已修改去块效应参数βmodif和tcmodif输出给去块效应滤波器。重计算模块1003可以通过专用硬件模块实施，该硬件模块调整ROM 1001中存储的参数值。
图18提供了自适应去块效应滤波器实施方式的替代性实施方式。定义滤波模式的控制自动机执行去块效应的决定。操作自动机根据控制自动机提供的滤波模式对输入缓存的样本进行滤波。值得注意的是，控制和操作自动机可使用输入缓存的不同样本。
参考样本去块效应可以实施为环内去块效应过程的更改。具体地，可以引入以下更改：
·控制自动机的参数，例如，如上所述的去块效应参数β和tc；
·控制自动机逻辑，即，操作自动机控制的流程；
·操作自动机逻辑，即，样本处理的流程；
·上文列出的所有更改。
通常，单独参考样本子集的预处理预测滤波的硬件实施可以是迭代的(实际上如图7和8所示)或并行的，如下文图11所例示。
然而，如图11所示使用多个线程的并行预处理预测滤波可能仅可用于处理非重叠子集。实质上，对于并行处理，首先选择1101参考样本的不同子集。然后，可以在专用硬件中将每个参考样本子集与其它子集并行处理。该处理可包括：子集分类1102，定义应将哪个处理流程1103应用到子集的样本；以及给定子集的参考样本的后续处理/滤波1103。
实现预处理预测滤波的有效硬件实施的另一选项是流水线技术：可使用不同的硬件模块处理子集分类和参考样本处理步骤。然而，最合适的实施策略的选择取决于硬件平台以及分类和处理操作的复杂度。
上述实施例侧重使用一维参考样本的帧内预测。然而，参考样本分类和预处理预测滤波的以上概念可推广到二维情况，例如运动预测(帧间预测)。运动预测为要预测的块分配参考像素区域。该区域是二维数组，即，重构像素值的矩阵。这些值存在与针对一维情况描述的量化噪声问题相似的量化噪声问题：量化噪声可在参考区域内有差异地分布。该差异可以使用关于分区中残差信号存在情况的数据通过参考像素分类等在编码器/解码器侧上估计，其中分区通过四叉树获得，如图12所示。
然而，还可为二维参考像素矩阵定义其它方式的参考样本分类。在另一示例性实施方式中，将参考样本划分为子集还可以基于边缘检测技术，这支持在帧间预测之前进行内容自适应参考像素处理的机制。边缘检测技术可以使用Canny边缘检测器、霍夫变换、Sobel与Prewitt滤波等。图13示出了这一实施例的示例性流程图。在图13中，根据边缘检测过程对参考样本像素进行分类1301。执行这一分类的可能方式之一是计算本地梯度值并对这些值进行量化。每个参考像素将与其对应的本地梯度量化值关联，因此可能根据这些量化值将所有像素分类。每个参考像素类别将使用滤波强度、虚化强度、滤波方向等其自身的参数集合来处理。这些参数的选择1302可以使用为每个类别分别估计的统计在本地执行。值得注意的是，参考样本处理步骤可并行执行。每个处理分支1303与其类别关联，因此应使用在前一步骤获取的其自身的参数集合。
图12和13的内容自适应处理还可推广到多参考帧间预测(例如，双预测)等使用的三维参考像素数组。图14示出了这类帧间预测的示例。预测的块取决于属于若干参考图片的若干参考区域。图15示出了例示双预测过程的流程图。将参考区域叠加到三维数组中并使用内容自适应参考像素滤波进行处理1501。该操作具有与图13中呈现的步骤相同的步骤。然而，在这种情况下，边缘检测和参考样本处理仅对三维数组执行。表示参考样本类别的像素集合也具有三个维度。
下一步骤是计算预测块的预测样本。该任务在平均1502阶段执行。每个预测样本可以定义为滤波的三维数组的对应样本加权和。
本发明的另一实施例涉及一种基于MCTF的帧间预测编码。上文和图18描述的该提升流程可迭代应用，从而可以实现金字塔表示。参考样本的预处理预测滤波可以在MCTF架构下在迭代之间使用，从而可以根据分类结果调整α和β。图13描述的步骤可以用于获得由在给定迭代中计算的H或L值组成的三维像素数组的类别。然而，在这种情况下，参考样本处理步骤可以描述为以下替代性过程之一：
-α和β的调整；
-在L值被传递到下一提升迭代之前对L值进行的滤波。
图16所示为根据本发明示例性实施例的编码装置的示例实施例的简化方框图。
在RDO流程1602中将源帧1601分为四叉树。该流程根据率失真成本(rate-distortion cost，RD-cost)选择最佳预测模式和块大小。该成本计算为失真和加权率之和。该流程包括残差信号的正向频率变换和已变换残差信号的RD优化量化1603。在计算变换系数的量化值时，有可能隐式地发送滤波器标记，参考样本自适应滤波器(ReferenceSamples Adaptive Filter，RSAF)1608会进一步使用该滤波器标记。
将源帧1601分为的一组四叉树存储在LCU分区缓存1604中，因此有可能恢复先前编码的四叉树的配置。
模块1602产生的量化系数通过基于上下文的自适应二进制算术编码(context-adaptive binary arithmetic coder，CABAC)1605处理并写入输出比特流中。除了该操作，它们还被传递到解量化器1606，解量化器1606为进一步逆变换1607准备变换系数。逆变换生成恢复的残差信号，其进一步通过加法器1611在空间域中与预测信号相加。
预测信号可以通过帧内预测1609或帧间预测1610生成。帧内预测1609使用参考样本缓存1612中存储的参考样本来生成预测信号。帧间预测1610使用解码图片缓存1618中存储的参考样本来生成预测信号。
图1所示的与模式和大小有关的滤波步骤101要求模式和大小数据应从模块1602传递到RSAF 1608。RSAF 1608还使用LCU分区缓存1604中存储的四叉树分区数据来执行图1的步骤102。从图16还可以发现，RSAF 1608与参考样本去块效应滤波器1614共享参考样本缓存1612。图1的步骤103的描述给出了RSAF 1608和RSDF 1614联合使用参考样本缓存1612的细节。可以使用与环内去块效应滤波器1613相同的硬件1615来执行RSDF模块。然而，RSDF1614还可以是单独的模块。环内去块效应滤波器1615降低了由量化1603引入的方块效应。去块效应的图片通过非线性样本自适应偏移(Sample Adaptive Offset，SAO)1616进一步处理。然而，应用SAO 1616不是必须的。
结果图片1617可以从编码器输出，并且应与解码器从比特流产生的图片相符，其中该比特流由编码器产生。该输出图片可以存储在解码图片缓存1618中，从而帧间预测模块1610可以使用其进行运动补偿。
图17所示为根据本发明示例性实施例的解码装置的示例实施例的简化方框图。已编码输入比特流1701由熵解码器1702处理。一些已解码值对应量化的变换系数。这些值由解量化器1703进一步处理。该过程的结果是适用于逆变换过程1705的系数值。
熵解码器从输入比特流中恢复的其它值可以用于恢复四叉树分区。恢复的四叉树数据进一步写入LCU分区缓存1704中。
解码装置的结构和其执行的处理步骤与上文针对编码器侧描述的相同(参见图16)。解码过程的输出是重构的图片1709，如果已解码输入比特流1701在编码过程中生成，则图片1709应与可以在该编码过程中获得的图片(在图16中表示为1617)相同。
尽管一些方面已经在方法的上下文中描述，但是很明显这些方面还表示适合于执行这种方法的对应装置的描述。在这类装置中，(功能或有形)块可对应一个或多个方法步骤或方法步骤的特征。类似地，在对应块的上下文中描述的各方面或对应装置的条目或特征也可与对应方法的各个方法步骤相对应。
此外，本文所述的方法还可由(或使用)硬件装置，例如处理器、微处理器、可编程计算机或电子电路执行。这一装置可执行最重要的方法步骤中的一个或多个。装置已在本文中以功能块来描述，应进一步理解，装置的那些元件可完全或部分在应用元件/电路中实施。各个硬件，例如处理器、微处理器等可用于实施装置的一个或多个元件的功能。
此外，在实施硬件中装置的功能元件的方法步骤的过程中存储信息或数据，该装置可包括存储器或存储介质，其可通信式地耦合至装置的一个或多个硬件元件/电路。
还预期在硬件或软件或它们的组合中实施本发明的各方面。这可使用数字存储介质，例如，软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM或闪存，其上存储有电子可读控制信号或指令，这些控制信号或指令与(或能够与)可编程计算机***合作，从而执行相应方法。可提供数据载体，其具有电子方式可读的控制信号或指令，这些信号或指令能够与可编程计算机***合作以执行本文所述的方法。
还考虑采用一种具有程序代码的计算机程序产品的形式实施本发明的各个方面，当在计算机上运行计算机程序产品时，该程序代码操作地执行该方法。所述程序代码可存储在计算机可读介质中。
以上所述仅仅是说明性的，应理解对装置的修改或变体以及本文所述的细节对于所述领域的其他技术人员而言是显而易见的。因此，有意仅通过所附权利要求书的范围而不是通过上述描述和解释所展示的特定细节来限制。

Claims (37)

1.一种使用预测来重构图像块的方法，其特征在于，包括：
确定要用于预测要重构的块的一个或多个已解码块的参考样本；
选择所述参考样本的第一子集和所述参考样本的第二子集；
执行所述第一子集和所述第二子集的已选参考样本的预处理预测滤波，其中用于对所述第一子集的所述参考样本进行滤波的滤波参数不同于用于对所述第二子集的所述参考样本进行滤波的滤波参数，所述参考样本的滤波参数是根据帧内预测模式和所述要重构的块的大小确定的；以及
基于所述参考样本通过预测来重构所述块，所述参考样本包括所述第一子集和所述第二子集的所述预处理预测滤波的参考样本。
2.根据权利要求1所述的方法，其特征在于，还包括：
确定所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式；以及
确定所述参考样本的所述第一和/或第二子集和/或选择用于所述预处理预测滤波的参数是基于所述大小和/或所述预测模式。
3.根据权利要求1所述的方法，其特征在于，使用帧内预测来重构所述块，确定已用于对所述要重构的块进行编码的预测模式包括确定所述帧内预测是否是根据垂直模式、水平模式或角模式，
如果所述帧内预测是根据另一角模式，则执行所述第一子集和所述第二子集的参考样本的所述预处理预测滤波；
如果所述帧内预测是根据所述垂直模式，则对位于所述要重构的块的左边和/或左下方的参考样本应用预处理预测滤波；以及
如果所述帧内预测是根据所述水平模式，则对位于所述要重构的块的上方和/或右上方的参考样本应用预处理预测滤波。
4.根据权利要求3所述的方法，其特征在于，所述第一子集包括位于所述要重构的块的左边和/或左下方的参考样本，所述第二子集包括位于所述要重构的块的上方和/或右上方的参考样本。
5.根据权利要求3或4所述的方法，其特征在于，确定已用于对所述要重构的块进行编码的预测模式包括确定所述帧内预测是否是根据垂直模式、水平模式或角模式，
如果所述帧内预测是根据对角模式，则对所有参考样本执行预处理预测滤波。
6.根据权利要求1至4之一所述的方法，其特征在于，所述第二子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；以及
所述块基于所述参考样本通过预测重构，所述参考样本包括所述滤波的参考样本第一子集和所述滤波的参考样本第二子集。
7.根据权利要求1至4之一所述的方法，其特征在于，还包括将去块效应滤波器应用到不同已解码块的预处理预测滤波的参考样本的步骤，所述预处理预测滤波的参考样本是位于已解码块之间的边界处的参考样本。
8.一种使用预测重构图像块的方法，其特征在于，包括：
确定要用于预测要重构的块的一个或多个已解码块的参考样本；
选择在预测之前滤波器所要应用到的参考样本子集，并进行所述子集的已选参考样本的预处理预测滤波，所述参考样本的滤波参数是根据帧内预测模式和所述要重构的块的大小确定的；以及
基于所述参考样本通过预测来重构所述块，所述参考样本包括所述子集的所述滤波的参考样本；
其中，在通过预测来重构所述块之前，重复所述子集的所述选择以及所述子集的参考样本的所述预处理预测滤波。
9.根据权利要求8所述的方法，其特征在于，用于对所述子集的参考样本进行滤波的滤波参数在所述子集的选择和预处理预测滤波的所述重复中不相同。
10.根据权利要求8所述的方法，其特征在于，在不同重复中选择的所述子集是不同的或重叠的。
11.根据权利要求8至10之一所述的方法，其特征在于，在一次重复中，所述选择的参考样本子集包括所有参考样本。
12.根据权利要求8至10之一所述的方法，其特征在于，进行三次重复，其中前两次重复对原始参考样本执行以获得滤波的参考样本，而第三次重复对在所述前两次重复中获得的所述滤波的参考样本执行。
13.根据权利要求8至10之一所述的方法，其特征在于：
在第一次重复中，基于所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式来对所述参考样本的相应子集进行滤波；
在第二次重复中，所述参考样本的相应子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；以及
在第三次重复中，将去块效应滤波器应用到在所述第一次或第二次重复中滤波的所述参考样本，所述滤波的参考样本是已解码块之间的边界处的参考样本。
14.根据权利要求8所述的方法，其特征在于，还包括：
将要解码的块的已解码残差添加到所述重构的块中以获得已解码块，以及
将环内去块效应滤波器应用到所述已解码块。
15.根据权利要求8至10之一所述的方法，其特征在于，所述参考样本形成两个一维数组，一个数组包括所述要解码的块的左边或右边的一个或多个相邻已解码块的一列样本，另一数组包括所述要解码的块的上方或底部的一个或多个相邻已解码块的一行样本。
16.根据权利要求8至10之一所述的方法，其特征在于，预处理预测滤波包括将平滑滤波器应用到所述参考样本的至少一个子集。
17.根据权利要求8至10之一所述的方法，其特征在于，使用帧间预测来重构像素块。
18.根据权利要求17所述的方法，其特征在于，所述参考样本定义了在重构所述块时要用于帧间预测的一个或多个已解码块内的二维参考区域，
进行预处理预测滤波的参考样本子集之一包括属于已解码块的参考样本，对于所述已解码块，有残差已编码在所述已编码的视频流中。
19.根据权利要求17所述的方法，其特征在于，所述参考样本定义了在重构所述块时要用于帧间预测的一个或多个已解码块内的二维参考区域，
确定在帧间预测之前滤波器所要应用到的所述参考样本子集包括：基于对所述二维参考区域的所述参考样本进行边缘检测的结果来确定多个不同的参考样本子集，以及
执行预处理预测滤波包括使用不同的滤波参数对所述子集的参考样本进行滤波。
20.根据权利要求17所述的方法，其特征在于，使用多参考帧间预测来重构所述块，所述参考样本定义了在重构所述块时来自要用于帧间预测的不同参考帧的二维参考区域堆栈；
所述确定在预测之前滤波器所要应用到的所述参考样本子集包括：基于对所述参考样本进行边缘检测的结果来确定所述二维参考区域堆栈内的多个不同的参考样本子集；
执行预处理预测滤波包括使用不同的滤波参数对所述子集的参考样本进行滤波；以及重构所述块包括通过从所述二维参考区域堆栈计算滤波的参考样本的加权和来预测所述块。
21.一种使用预测来重构图像块的装置，其特征在于，包括：
参考样本缓存，用于存储要用于预测要重构的块的一个或多个已解码块；
处理单元，用于从所述参考样本缓存选择参考样本的第一子集和所述参考样本的第二子集；
滤波单元，用于执行所述第一子集和所述第二子集的已选参考样本的预处理预测滤波，其中用于对所述第一子集的所述参考样本进行滤波的滤波参数不同于用于对所述第二子集的所述参考样本进行滤波的滤波参数，所述参考样本的滤波参数是根据帧内预测模式和所述要重构的块的大小确定的；以及
预测单元，用于基于所述参考样本通过预测来重构所述块，所述参考样本包括所述第一子集和所述第二子集的所述预处理预测滤波的参考样本。
22.根据权利要求21所述的装置，其特征在于，所述处理单元用于确定所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式；以及
所述处理单元还用于确定所述参考样本的第一和/或第二子集，和/或选择用于所述预处理预测滤波的参数是基于所述大小和/或所述预测模式。
23.根据权利要求21所述的装置，其特征在于，使用帧内预测来重构所述块，所述处理单元用于确定所述帧内预测是否是根据垂直模式、水平模式或角模式，
如果所述帧内预测是根据另一角模式，则所述处理单元用于使所述滤波单元对所述第一子集和所述第二子集的参考样本应用预处理预测滤波；
如果所述帧内预测是根据所述垂直模式，则所述处理单元用于使所述滤波单元对位于所述要重构的块的左边和/或左下方的参考样本应用预处理预测滤波；
如果所述帧内预测是根据所述水平模式，则所述处理单元用于使所述滤波单元对位于所述要重构的块的上方和/或右上方的参考样本应用预处理预测滤波。
24.根据权利要求23所述的装置，其特征在于，所述第一子集包括位于所述要重构的块的左边和/或左下方的参考样本，所述第二子集包括位于所述要重构的块的上方和/或右上方的参考样本。
25.根据权利要求23或24所述的装置，其特征在于，所述处理单元用于确定所述帧内预测是否是根据垂直模式、水平模式或角模式，
如果所述帧内预测是根据对角模式，则所述处理单元用于使所述滤波单元对所有参考样本应用预处理预测滤波。
26.根据权利要求21至24之一所述的装置，其特征在于，所述第二子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；以及
所述预测单元用于基于所述参考样本重构所述块，所述参考样本包括所述滤波的参考样本第一子集和所述滤波的参考样本第二子集。
27.根据权利要求21至24之一所述的装置，其特征在于，还包括去块效应滤波器，用于在预测之前执行不同已解码块的预处理预测滤波的参考样本的去块效应，所述预处理预测滤波的参考样本是位于已解码块之间的边界处的参考样本。
28.一种使用预测来重构图像块的装置，其特征在于，所述装置包括：
参考样本缓存，用于存储要用于预测要重构的块的一个或多个已解码块；
处理单元，用于选择在预测之前滤波器所要应用到的参考样本子集；
滤波单元，用于进行所述子集的已选参考样本的预处理预测滤波，所述参考样本的滤波参数是根据帧内预测模式和所述要重构的块的大小确定的；以及
预测单元，用于基于所述参考样本通过预测来重构所述块，所述参考样本包括所述子集的所述滤波的参考样本；
其中所述处理单元和所述滤波单元用于在通过预测重构所述块之前重复所述子集的选择以及所述子集的参考样本的预处理预测滤波。
29.根据权利要求28所述的装置，其特征在于，所述滤波单元用于在所述重复中使用不同的参数来对所述子集的参考样本进行滤波。
30.根据权利要求28所述的装置，其特征在于，所述处理单元用于在不同的重复中选择不同的或重叠的子集。
31.根据权利要求28至30之一所述的装置，其特征在于，在一次重复中，所述选择的参考样本子集包括所有参考样本。
32.根据权利要求28至30之一所述的装置，其特征在于，进行三次重复，其中所述处理单元和所述滤波单元用于对原始参考样本执行前两次重复以获得滤波的参考样本，并对在所述前两次重复中获得的所述滤波的参考样本执行第三次重复。
33.根据权利要求28至30之一所述的装置，其特征在于：
在第一次重复中，所述滤波单元基于所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式来对所述参考样本的相应子集进行滤波；
在第二次重复中，所述参考样本的相应子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；以及
在第三次重复中，所述滤波单元将去块效应滤波器应用到在所述第一次或第二次重复中滤波的所述参考样本，所述滤波的参考样本是已解码块之间的边界处的参考样本。
34.根据权利要求28所述的装置，其特征在于，还包括：
加法单元，用于将要解码的块的已解码残差添加到所述重构的块中以获得已解码块，以及
环内去块效应滤波器，用于将去块效应应用到所述已解码块。
35.根据权利要求28至30之一所述的装置，其特征在于，所述滤波单元用于将平滑滤波器应用到所述参考样本的至少一个子集。
36.根据权利要求28至30之一所述的装置，其特征在于，所述装置是用于对视频图像进行编码的编码装置，或用于对视频流的已编码图像进行解码的解码装置。
37.一种存储指令的计算机可读存储介质，其特征在于，所述指令在由处理单元执行时，使所述处理单元执行根据权利要求1至20之一的方法。
CN201480077613.3A 2014-05-23 2014-05-23 在块预测技术中使用的预处理预测滤波的方法和装置 Active CN106134201B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2014/000374 WO2015178796A1 (en) 2014-05-23 2014-05-23 Method and apparatus for pre-prediction filtering for use in block-prediction techniques

Publications (2)

Publication Number Publication Date
CN106134201A CN106134201A (zh) 2016-11-16
CN106134201B true CN106134201B (zh) 2019-10-25

Family

ID=52101559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480077613.3A Active CN106134201B (zh) 2014-05-23 2014-05-23 在块预测技术中使用的预处理预测滤波的方法和装置

Country Status (7)

Country Link
US (1) US10313705B2 (zh)
EP (1) EP3058748A1 (zh)
JP (1) JP6324510B2 (zh)
KR (1) KR101844698B1 (zh)
CN (1) CN106134201B (zh)
BR (1) BR112016013761B1 (zh)
WO (1) WO2015178796A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301334B (zh) 2015-11-17 2023-11-03 华为技术有限公司 视频编码样本自适应滤波的方法和装置
KR20170058837A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측모드 부호화/복호화 방법 및 장치
WO2017086746A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
WO2018047995A1 (ko) * 2016-09-08 2018-03-15 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20230098714A (ko) * 2016-09-30 2023-07-04 로즈데일 다이나믹스 엘엘씨 영상 처리 방법 및 이를 위한 장치
US20180242016A1 (en) * 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
US10728548B2 (en) 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
US10623738B2 (en) * 2017-04-06 2020-04-14 Futurewei Technologies, Inc. Noise suppression filter
EP3622713A1 (en) * 2017-05-09 2020-03-18 Google LLC Directional intra-prediction coding
TWI616090B (zh) * 2017-06-26 2018-02-21 元智大學 使用運算資料共用的高效率視訊編碼畫面內預測方法及其架構
WO2019050292A1 (ko) 2017-09-08 2019-03-14 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN115442599A (zh) * 2017-10-20 2022-12-06 韩国电子通信研究院 图像编码、解码方法以及存储比特流的记录介质
KR102539068B1 (ko) * 2017-10-31 2023-06-01 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN112335249A (zh) * 2018-06-25 2021-02-05 金起佰 用于编码/解码图像的方法和装置
CN112352435B (zh) * 2018-06-28 2022-02-18 华为技术有限公司 用于视频编解码的环内去块滤波器设备和方法
BR112021004679A2 (pt) * 2018-09-16 2021-06-01 Huawei Technologies Co., Ltd. método e aparelho para predição
KR20210084567A (ko) * 2018-11-28 2021-07-07 주식회사 윌러스표준기술연구소 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
JP7346837B2 (ja) * 2019-02-06 2023-09-20 株式会社リコー 符号化装置、復号化装置、符号化方法、復号化方法、符号化プログラム及び復号化プログラム
WO2020184936A1 (ko) * 2019-03-08 2020-09-17 정병득 비디오 신호의 부호화 또는 복호화 방법 및 장치
US11638019B2 (en) * 2020-07-29 2023-04-25 Alibaba Group Holding Limited Methods and systems for prediction from multiple cross-components
CN113382257B (zh) * 2021-04-19 2022-09-06 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质
WO2023022530A1 (ko) * 2021-08-18 2023-02-23 엘지전자 주식회사 인트라 예측 모드에 기반하여 참조 샘플 필터링을 수행하는 영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법
WO2024016982A1 (en) * 2022-07-20 2024-01-25 Mediatek Inc. Adaptive loop filter with adaptive filter strength

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703788B1 (ko) * 2005-06-10 2007-04-06 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
WO2011000255A1 (en) 2009-07-02 2011-01-06 Mediatek Inc. Methods of intra prediction, video encoder, and video decoder thereof
KR20230093060A (ko) 2009-07-07 2023-06-26 인터디지털 브이씨 홀딩스 인코포레이티드 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
US20120163479A1 (en) * 2009-09-28 2012-06-28 Canon Kabushiki Kaisha Methods and devices for filtering and coding a digital signal
EP2559238B1 (en) * 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
JPWO2011158657A1 (ja) * 2010-06-17 2013-08-19 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US9008175B2 (en) 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
US10142630B2 (en) 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
US9930366B2 (en) 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US9602839B2 (en) 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
US9344723B2 (en) * 2012-04-13 2016-05-17 Qualcomm Incorporated Beta offset control for deblocking filters in video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CE6.b: SDIP Harmonization with Deblocking, MDIS and HE Residual Coding;Geert Van der Auwera等;《JCTVC-F556》;20110717;第1.1-1.2节，图2 *
CE6.e: Report on Mode-Dependent Intra Smoothing Modifications;G. Van der Auwera等;《JCTVC-F126》;20110702;全文 *
Non-RCE3: Implicit derivation for adaptively turning filtering off in intra prediction;Jewon Kang等;《JCTVC-O0181 r2》;20131024;全文 *

Also Published As

Publication number Publication date
CN106134201A (zh) 2016-11-16
JP2017508324A (ja) 2017-03-23
KR20160082250A (ko) 2016-07-08
BR112016013761A2 (zh) 2017-08-08
BR112016013761B1 (pt) 2023-03-14
US20170034536A1 (en) 2017-02-02
EP3058748A1 (en) 2016-08-24
US10313705B2 (en) 2019-06-04
KR101844698B1 (ko) 2018-04-02
JP6324510B2 (ja) 2018-05-16
WO2015178796A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
CN106134201B (zh) 在块预测技术中使用的预处理预测滤波的方法和装置
CN104094601B (zh) 用于采样自适应偏移编码和/或信令的装置和方法
CA3000998C (en) Image encoding device, image decoding device, image encoding method, and image decoding method
KR100234316B1 (ko) 링잉노이즈 감소를 위한 신호적응 필터링 방법 및 신호적응필터
CN106101705B (zh) 用于对分割块进行编码的视频编码方法
KR101588144B1 (ko) 루마 기반 크로마 인트라 예측
CN108605143A (zh) 视频编码中的非局部自适应环内滤波器的方法和装置
CN104067524B (zh) 具有精简的初始化值集合的上下文自适应熵译码
CN106464880B (zh) 用于减少高效率视频编码中的计算负荷的方法和设备
CN103024383A (zh) 一种基于hevc框架的帧内无损压缩编码方法
CN104685884B (zh) 用于视频编码的方法及设备、用于视频解码的方法
CN106131552A (zh) 采用自适应偏置处理编码视频的方法和装置
CN108141593A (zh) 用于针对深度视频的高效帧内编码的基于深度不连续的方法
KR102598789B1 (ko) 비디오 코딩에서의 필터링을 위한 장치 및 방법
CN116648716A (zh) 通过指示特征图数据进行解码
KR20180079314A (ko) 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
CN102035997B (zh) 一种基于模式预测和方向排序的图像锐化方法
Jeon et al. Improved residual DPCM for HEVC lossless coding
KR101819762B1 (ko) 영상 블록을 코딩 및 디코딩하기 위한 방법들
CN103828366A (zh) 基于图样信息的自适应滤波
KR20180017659A (ko) 디지털 홀로그램 데이터를 압축하는 방법 및 장치
CN104506860A (zh) 视频编码的参考图像选择方法及***
CN107181963A (zh) 一种视频压缩方法及装置
Zhang et al. A novel in-loop filtering mechanism of HEVC based on 3D sub-bands and CNN processing
Jánosi Two-Stage Overfitting of Neural Network-Based Video Coding In-Loop Filter

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant