CN107277512A - 用于空间变化残差编码的方法和设备 - Google Patents

用于空间变化残差编码的方法和设备 Download PDF

Info

Publication number
CN107277512A
CN107277512A CN201710485279.0A CN201710485279A CN107277512A CN 107277512 A CN107277512 A CN 107277512A CN 201710485279 A CN201710485279 A CN 201710485279A CN 107277512 A CN107277512 A CN 107277512A
Authority
CN
China
Prior art keywords
block
coding
residual error
conversion
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710485279.0A
Other languages
English (en)
Other versions
CN107277512B (zh
Inventor
约珥.索
路小安
郑云飞
尹鹏
许茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42665840&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN107277512(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107277512A publication Critical patent/CN107277512A/zh
Application granted granted Critical
Publication of CN107277512B publication Critical patent/CN107277512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频解码器中的方法，包括：从比特流中解码出视频序列中图片的块的残差；其中所述解码包括选择第一解码方法来使用第一逆变换解码所述块中的第一子块的第一残差以及选择替代解码方法来使用第二逆变换解码所述块中的至少第二子块的第二残差；并且其中所述第一逆变换不同于所述第二逆变换，并且其中所述块是预测单元。

Description

用于空间变化残差编码的方法和设备
本申请是申请日为2010年7月1日、申请号为201080030792.7、发明名称为“用于空间变化残差编码的方法和设备”的专利申请的分案申请。
相关申请的交叉引用
本申请要求2009年7月6日提交的美国临时专利申请No.61/223,277(代理卷No.PU090058)的权益，该申请通过引用被全部结合于此。
技术领域
本原理一般地涉及视频编码和解码，并且更具体地，涉及用于空间变化残差编码的方法和设备。
背景技术
基于块的离散变换是许多图像和视频压缩标准的基本构件并且在广大范围的应用中被使用，所述图像和视频压缩标准例如包括联合图像专家组、国际电信联盟电信部(ITU-T)H.263建议(以下，“H.263建议”)、国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组1(MPEG-1)标准、ISO/IECMPEG-2标准、ISO/IEC MPEG-4部分10高级视频编码(AVC)标准/ITU-TH.264建议(以下，“MPEG-4AVC标准”)等。
离散余弦变换(DCT)是最广泛使用的块变换。DCT通过将图片分割成像素块(通常是4x4和8x8)，使用DCT将每个块从空间域变换至频域并对变换系数进行量化来利用图片的局部空间相关特性。多数图像和视频压缩标准使用固定的二维(2D)分离DCT块变换。如果允许若干块大小(通常，从4x4到16x16的块)，则使用利用与块的大小相对应的大小的DCT。然而，对于每个块大小仅存在一种变换，并且该块中的所有像素都利用该变换被处理。
在诸如例如MPEG-4AVC标准之类的图像和视频编码标准中，对于用于每个块大小的块变换，只有一种选择。如果残差(即预测误差)被编码，则这样的编码经由变换系数被执行。所有像素都被变换。参见图1，MPEG-4AVC标准中的一些变换大小总地用标号100表示。对于图示的变换大小100，对于要被编码的8x8块110：8x8块110被分割成4个4x4块121至124，它们利用4x4变换被变换。在一些情况中，发送变换系数对于4x4块中的一些而言可以不是必要的。例如，对于图示的变换大小100，对于(没有用阴影图案图示的)三个4x4块121、122和123，不发送残差(用相应的系数表示)，而对于(用对角阴影图案图示的)其余的4x4块124，发送残差。主要的缺点在于对变换的空间支持是固定的，因此对残差进行编码的灵活性明显降低。
一种现有技术方法通过提出空间变化变换(spatially varying transform)来在残差编码步骤中引入更多灵活性。参见图2，空间变化编码总地用标号200表示。在这样的情况中，残差可以根据MPEG-4AVC标准被编码，但是还是允许空间变化变换。空间变化变换仅被应用于(使用对角阴影图案图示出的)子块210，剩下的其余残差不被编码。因此，来自NxN块220的MxM像素的子块210被变换。编码器必须用信令方式通知MxM子块210的位置(即位置x和y)。然而，该方法还是缺少灵活性。例如，该方法缺少灵活性，因为在块220内仅存在一种变换，所以该方法不是对残差数据的一部分进行编码，并且不存在用于提高视觉质量的前置滤波。
第二种现有技术方法提出所谓的自适应预测误差编码(APEC)技术。帧间残差具有低相关性，并且DCT仅仅对于高度相关的数据而言是足够的。因此，第二种现有技术方法提出使能空间域和频域中的自适应预测误差编码。对于预测误差的每个块，或者应用变换编码或者应用空间域编码。具有较低速率失真成本的算法被选择用于块。总而言之，第二种现有技术方法提出选择是否使用变换来对块的残差进行变换，但是最终对于每个块只应用如下两个选项中的一个：所有像素在熵编码之前被变换；或者所有像素在空间域被直接进行熵编码。
发明内容
针对用于空间变化残差编码的方法和设备的本原理解决现有技术的这些和其它缺点和不利。
根据本原理的一个方面，提供一种设备。该设备包括视频编码器，该频编码器用于通过选择用于与图片中的块的原始版本和至少一个参考块之间的差相对应的残差的空间变化编码方法来对所述块的图片数据进行编码。使用一个或多个变换来对所述块的一部分进行变换并且使用相对于所述一个或多个变换的替代编码方法来对所述块的剩余区域进行编码或者不对所述块的剩余区域进行编码。
根据本原理的另一个方面，提供视频编码器中的方法。该方法包括通过选择用于与图片中的块的原始版本和至少一个参考块之间的差相对应的残差的空间变化编码方法来对所述块的图片数据进行编码。使用一个或多个变换来对所述块的一部分进行变换并且使用相对于所述一个或多个变换的替代编码方法来对所述块的剩余区域进行编码或者不对所述块的剩余区域进行编码。
根据本原理的又一方面，提供一种设备。该设备包括视频解码器，该视频解码器用于通过选择用于与图片中的块的原始版本和至少一个参考块之间的差相对应的残差的空间变化解码方法来对所述块的图片数据进行解码。使用一个或多个逆变换来对所述块的一部分进行逆变换并且使用相对于所述一个或多个逆变换的替代解码方法来对所述块的剩余区域进行解码。
根据本原理的又一方面，提供视频解码器中的方法。该方法包括：通过选择用于与图片中的块的原始版本和至少一个参考块之间的差相对应的残差的空间变化解码方法来对所述块的图片数据进行解码。使用一个或多个逆变换来对所述块的一部分进行逆变换并且使用相对于所述一个或多个逆变换的替代解码方法来对所述块的剩余区域进行解码(920)。
根据本原理的附加方面，提供一种设备。该设备包括用于使用多层残差编码来对图片中的块的图片数据进行编码的视频编码器。使用第一编码方法来对与所述块的原始版本和至少一个参考块之间的差相对应的原始残差进行编码以获得已编码残差。从所述原始残差中减去所述已编码残差，并且使用第二编码方法对所述块的一部分进行编码。
根据本原理的另一附加方面，提供一种视频编码器中的方法。该方法包括使用多层残差编码来对图片中的块的图片数据进行编码。使用第一编码方法来对与所述块的原始版本和至少一个参考块之间的差相对应的原始残差进行编码以获得已编码残差。从所述原始残差中减去所述已编码残差，并且使用第二编码方法对所述块的一部分进行编码。
根据本原理的另一附加方面，提供一种设备。该设备包括视频解码器，该视频解码器用于使用多层残差解码来对图片中的块的图片数据进行解码。使用第一解码方法来对与所述块的原始版本和至少一个参考块之间的差相对应的原始残差进行解码以获得已解码残差。从所述原始残差中减去所述已解码残差，并且使用第二编码方法对所述块的一部分进行解码。
根据本原理的另一附加方面，提供一种视频解码器中的方法。该方法包括使用多层残差解码来对图片中的块的图片数据进行解码。使用第一解码方法来对与所述块的原始版本和至少一个参考块之间的差相对应的原始残差进行解码以获得已解码残差。从所述原始残差中减去所述已解码残差，并且使用第二编码方法对所述块的一部分进行解码。
根据本原理的另一附加方面，提供一种视频解码器中的方法。该方法包括从比特流中解码视频序列中图片的块的残差；其中所述解码包括选择第一解码方法来使用第一逆变换解码所述块的第一子块的第一残差，并选择替代解码方法来使用第二逆变换解码所述块的至少第二子块的第二残差；以及其中所述第一逆变换不同于所述第二逆变换，并且其中所述块是预测单元。
根据本原理的另一附加方面，提供一种装置。该装置包括视频解码器，其配置成从比特流中解码视频序列中图片的块的残差，其中所述视频解码器配置成选择第一解码方法来使用第一逆变换解码所述块的第一子块的第一残差，并选择至少替代解码方法来使用第二逆变换解码所述块的至少第二子块的第二残差，以及其中所述第一逆变换不同于所述第二逆变换，并且其中所述块是预测单元。
根据本原理的另一附加方面，提供一种视频编码器中的方法。该方法包括将视频序列中图片的块的残差编码到比特流中，其中所述编码包括选择第一编码方法来使用第一变换编码所述块的第一子块的第一残差，并选择至少替代编码方法来使用第二变换编码所述块的至少第二子块的第二残差，以及其中所述第一变换不同于所述第二变换，并且其中所述块是预测单元。
根据本原理的另一附加方面，提供一种装置。该装置包括视频编码器，其配置成将视频序列中图片的块的残差编码到比特流中，其中所述编码器配置成选择第一编码方法来使用第一变换编码所述块的第一子块的第一残差，并选择至少替代编码方法来使用第二变换编码所述块的至少第二子块的第二残差，以及其中所述第一变换不同于所述第二变换，并且其中所述块是预测单元。
根据本原理的另一附加方面，提供一种装置。该装置包括发送器，其配置成发送包括图片的块的经编码残差的比特流，其中编码包括选择第一编码方法来使用第一变换编码所述块的第一子块的第一残差，并选择至少替代编码方法来使用第二变换编码所述块的至少第二子块的第二残差，以及其中所述第一变换不同于所述第二变换，并且其中所述块是预测单元。
从以下对要结合附图阅读的示例性实施例的详细描述中，本原理的这些和其它方面、特征和优点将变得明显。
附图说明
根据以下示例性示图可以更好地理解本原理，在附图中：
图1是示出MPEG-4AVC标准中的一些变换大小的示图；
图2是示出空间变化变换的示图；
图3是示出根据本原理的实施例的可以应用本原理的示例性视频编码器的框图；
图4是示出根据本原理的实施例的可以应用本原理的示例性视频解码器的框图；
图5是示出根据本原理的实施例的空间变化残差编码的示例的示图；
图6是示出根据本原理的实施例的涉及两种完全重叠的变换的组合的空间变化残差编码的示例的示图；
图7是示出根据本原理的实施例的涉及滤波的空间变化残差编码的示例的示图；
图8是示出根据本原理的实施例的用于执行块残差的空间变化编码的示例性方法的流程图；
图9是示出根据本原理的实施例的用于执行块残差的空间编码解码的示例性方法的流程图；
图10是示出根据本原理的实施例的用于执行块残差的空间变化编码的另一示例性方法的流程图；
图11是示出根据本原理的实施例的用于执行块残差的空间变化解码的另一示例性方法的流程图；
图12是示出根据本原理的实施例的用于执行块残差的空间变化编码的又一示例性方法的流程图；以及
图13是示出根据本原理的实施例的用于执行块残差的空间变化解码的又一示例性方法的流程图。
具体实施方式
本原理针对用于空间变化残差编码的方法和设备。
本说明书图示出基本原理。因此将明白，本领域技术人员将能够构想到尽管在此未被明确地描述或示出，但是实施本原理并且被包括在其精神和范围内的各种布置。
在此所述的所有示例和条件语言意图用于教育目的来帮助读者理解发明人对现有技术进行改进的原理和概念，并且应被理解为是不限于这样具体地叙述的示例和条件。
此外，在此叙述本原理的原理、方面和实施例以及其具体示例的所有陈述意图包括本原理结构上和功能上的等同物。另外，意图这样的等同物既包括当前已知的等同物也包括将来开发的等同物，即，执行相同功能的开发出的任意元件，而不论其结构如何。
因此，例如，本领域技术人员将明白，在此所演示的框图表示实施本原理的说明性电路的示意图。类似地，将明白，任意流程图、流程示图、状态转意图、伪代码等都表示实质上被表示在计算机可读介质中并且被计算机或处理器运行的各种处理，而不论这样的计算机或处理器是否被明确地示出。
附图中所示出的各种元件的功能可以通过使用能够运行与适当软件相关联的软件的硬件或专用硬件来提供。当由处理器提供时，功能可以由单个专用处理器、由单个共享处理器或由多个个别的处理器(其中一些可以被共享)来提供。此外，明确使用的术语“处理器”或“控制器”应当理解成是专指能够运行软件的硬件，或者可以暗含地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储装置。
还可以包括其它传统的和/或定制的硬件。类似地，附图中示出的任意开关仅仅是示意性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或甚至手动地被执行，从上下文可以更具体地理解，特定的技术可由实现者选择。
在权利要求书中，表述为用于执行指定功能的装置的任意元素意图包括执行该功能的任意方式，包括例如a)执行该功能的电路元件的组合或b)任意形式的软件，因此包括与用于运行该软件来执行功能的适当电路组合的固件、微代码等。由这样的权利要求书限定的本原理存在于这样的事实中：由不同的所述装置提供的功能可以以权利要求要求的方式被组合或带到一起。因此认为可以提供哪些功能的任何装置等同于在此示出的那些。
说明书中对本原理的“一个实施例”或“实施例”以及其变形的提及是指结合该实施例描述的特定特征、结构、特点等被包括在本原理的至少一个实施例中。因此，贯穿说明书的不同地方出现的“在一个实施例中”或“在实施例中”以及其它变形不一定都指同一实施例。
应当明白，使用以下“/”、“和/或”和“……中的至少一个”中的任何一个，例如，在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，意图包括：仅选择第一列出选项(A)，或者仅选择第二列出选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的短语意图包括：仅选择第一列出选项(A)，仅选择第二列出选项(B)，仅选择第三列出选项(C)或仅选择第一和第二列出选项(A和B)，或仅选择第一和第三列出选项(A和C)，或者仅选择第二和第三列出选项(B和C)，或者选择所有三个选项(A和B和C)。如本领域和相关领域普通技术人员显见的，这可以扩展到列出的那么多的项目。
此外，在此使用的词语“图片”和“图像”被交换使用并且是指来自视频序列的静止图像或图片。已知，图片可以是帧或场。
另外，在此使用的词语“用信令方式通知(signal)”是指向对应的解码器指示某事。例如，编码器可以用信令方式通知与空间变化残差编码有关的一个或多个参数以便使得解码器知道在编码器侧使用了那些具体参数。以这种方式，可以在编码器侧和解码器侧都使用相同的参数。因此，例如，编码器可以发送具体的参数给解码器以使得解码器可以使用相同的具体参数或者如果解码器已经具有与其它解码器相同的具体参数，则信令可以被使用(而不必传送)来简单地允许解码器知道和选择具体参数。通过避免任何实际参数的传送，可以实现比特节约。应当明白，可以以各种方式实现信令。例如，一个或多个语法元素、标志等可以用于用信令的方式将信息通知给对应的解码器。
参见图3，例如，用标号300总地指示可以应用本原理的示例性视频编码器。视频编码器300包括帧排序缓冲器310，其输出与组合器385的同相输入进行信号通信。组合器385的输出与变换器和量化器325的输入和空间变化技术模块311的输入以信号通信的方式连接。空间变化技术模块311的输出与选择模块312的第一输入以信号通信的方式连接。变换器和量化器325的输出与选择模块312的第二输入以信号通信的方式连接。选择模块312的输出与熵编码器345的第一输入、逆空间变化技术模块313的第一输入和逆变换器和逆量化器350的第一输入以信号通信的方式连接。熵编码器345的输出与组合器390的第一同相输入以信号通信的方式连接。组合器390的输出与输出缓冲器335的第一输入以信号通信的方式连接。
编码器控制器305的第一输出与帧排序缓冲器310的第二输入、逆空间变化技术模块313的第二输入、逆变换器和逆量化器350的第二输入、图片类型判决模块315的输入、宏块类型(MB类型)判决块320的第一输入、帧内预测模块360的第二输入、去块滤波器365的第二输入、运动补偿器370的第一输入、运动估计器375的第一输入和参考图片缓冲器380的第二输入。
编码器控制器305的第二输出与增补增强信息(SEI)***器330的第一输入、熵编码器345的第二输入、输出缓冲器335的第二输入和序列参数设置(SPS)和图片参数设置(PPS)***器340的输入以信号通信的方式连接。
SEI***器330的输出与组合器390的第二同相输入以信号通信的方式连接。
图片类型判决模块315的第一输出与帧排序缓冲器310的第三输入以信号通信的方式连接。图片类型判决模块315的第二输出与宏块类型判决模块320的第二输入以信号通信的方式连接。
序列参数设置(SPS)和图片参数设置(PPS)***器340的输出与组合器390的第三同相输入以信号通信的方式连接。
逆变换器和逆量化器350的输出和逆空间变化技术模块313的输出与组合器319的第一同相输入以信号通信的方式连接。组合器319的输出与帧内预测模块360的第一输入和去块滤波器365的第一输入以信号通信的方式连接。去块(deblocking)滤波器365的输出与参考图片缓冲器380的第一输入以信号通信的方式连接。参考图片缓冲器380的输出与运动估计器375的第二输入和运动补偿器370的第三输入以信号通信的方式连接。运动估计器375的第一输出与运动补偿器370的第二输入以信号通信的方式连接。运动估计器375的第二输出与熵编码器345的第三输入以信号通信的方式连接。
运动补偿器370的输出与开关397的第一输入以信号通信的方式连接。帧内预测模块360的输出与开关397的第二输入以信号通信的方式连接。宏块类型判决模块320的输出与开关397的第三输入以信号通信的方式连接。开关397的第三输入判定开关的“数据”输入(相比于控制输入，即第三输入)是将由运动补偿器370还是帧内预测模块360提供。开关397的输出与组合器319的第二同相输入和组合器385的反相输入以信号通信的方式连接。
帧排序缓冲器310的第一输入和编码器控制器305的输入可用作编码器100的输入，以用于接收输入图片301。此外，增补增强信息(SEI)***器330的输入可用作编码器300的输入，以用于接收元数据。输出缓冲器335的输出可用编码器300的输出，以用于输出比特流。
参见图4，用标号400总地表示可以应用本原理的示例性视频解码器。视频解码器400包括输入缓冲器410，其输出与熵解码器445的第一输入以信号通信的方式连接。熵解码器445的第一输出与选择器412的输入以信号通信的方式连接。选择器412的输出与逆变换器和逆量化器450的第一输入和逆空间变化技术模块413的第一输入以信号通信的方式连接。逆变换器和逆量化器450的输出和逆空间变化技术模块413的输出与组合器425的第二同相输入以信号通信的方式连接。组合器425的输出与去块滤波器465的第二输入和帧内预测模块460的第一输入以信号通信的方式连接。去块滤波器465的第二输出与参考图片缓冲器480的第一输入以信号通信的方式连接。参考图片缓冲器480的输出与运动补偿器470的第二输入以信号通信的方式连接。
熵解码器445的第二输出与运动补偿器470的第三输入、去块滤波器465的第一输入和帧内预测器460的第三输入以信号通信的方式连接。熵解码器445的第三输出与解码器控制器405的输入以信号通信的方式连接。解码器控制器405的第一输出与熵解码器445的第二输入以信号通信的方式连接。解码器控制器405的第二输出与逆变换器和逆量化器450的第二输入以信号通信的方式连接。解码器控制器405的第三输出与去块滤波器465的第三输入以信号通信的方式连接。解码器控制器405的第四输出与帧内预测模块460的第二输入、运动补偿器470的第一输入和参考图片缓冲器480的第二输入以信号通信的方式连接。解码器控制器405的第五输出与逆空间变化技术模块413的第二输入以信号通信的方式连接。
运动补偿器470的输出与开关497的第一输入以信号通信的方式连接。帧内预测模块460的输出与开关497的第二输入以信号通信的方式连接。熵解码器445的第四输出与开关497的第三输入以信号通信的方式连接。开关497的第三输入判定开关的“数据”输入(相比于控制输入，即第三输入)将由运动补偿器470还是帧内预测模块460提供。开关497的输出与组合器425的第一同相输入以信号通信的方式连接。输入缓冲器410的输入可用作解码器400的输入，以用于接收输入的比特流。去块滤波器465的第一输出可用作解码器400的输出，以用于输出输出图片。
多数现代视频编码标准采用变换来有效地降低空间域的残差的相关性。变换大小通常由预测数据的大小决定。此外，变换编码不与其它编码技术组合来处理残差的变化特点。在这些方案中，对于每个块大小仅存在一种变换并且该块中的所有像素都利用该变换被处理，因此存在限制。图像和视频内容数据具有变化的统计信息和特性。因此，如果针对每个块使用若干变换并且允许其它技术来压缩残差数据中的一些，则存在可能的压缩增益。认识到该不足并且因此根据本原理，提出用于同时在块中组合使用若干变换，同时还允许其它技术来对未被变换的残差数据进行编码的方法和设备。在优选实施例中，通过使用前置滤波和后置滤波技术来提高视觉质量和效率来增强该方法。因此，在一个或多个实施例中，本原理利用残差的空间变化变形和编码方法以及增补滤波技术来提高效率和图像和视频数据的视觉质量。
用于残差编码的空间变化技术
视频编码技术变为要满足对较大显示分辨率和高清晰(HD)内容的增加使用的需求。高清晰内容编码效率从较大的块单元受益。因此，预测单元和作为结果的残差变换变得更大。通常，块大小被从4x4或8x8块放大为32x32或64x64块。甚至有使用128x128像素那么大的编码单元的提议。
另一方面，预测技术正迅速提高，导致具有与之前的视频编码标准极为不同的稀疏性(sparsity)特性和低空间相关性的残差数据。
作为两个趋势(更大的单元和更好的预测)的结果，DCT方法没有恰当地处理残差编码。需要能够适应残差的空间变化性的新技术。
根据本原理，提议组合不同的变换和其它技术以便对块的残差进行编码。以这种方式，可以利用残差数据的某些部分上的观测到的空间相关性并且同时利用同一块的残差的其它部分的观测到的稀疏性。可以明白，本原理适合于利用较大的块和改进的预测方法的新的编解码范式，以及涉及更小的块的现有的视频编码标准、建议以及其扩展。即，本原理可以适用于涉及任何块大小的视频编码标准、建议以及其扩展。
参考图5，用标号500总地示出空间变化残差编码的示例。空间变化残差编码500涉及来自块505的图片数据的N个像素乘N个像素。块505利用不一定覆盖整个块505的一个或多个变换被编码。例如，块505内(使用对角阴影图案图示出的)子块511至513利用一个或多个变换被编码。随后，(没有阴影背景的)剩余残差利用可替换的方法被编码。该可替换的方法(以下称为“背景方法”)可以是例如对应于上述第二现有技术方法的空间域编码，或者可以涉及本领域或相关领域技术人员已知的一些其它的可替换方法。在另一实施例中，背景方法可以是Lempel-ziv方法，或者涉及多尺度递归样式(multi-scale recurrentpattern)、或具有自适应概率模型多尺度递归样式、向量量化等。应当明白，已知在此提供的本原理的技术，本领域和相关领域的普通技术人员将构想到用于对其余残差进行编码的这些和许多其它选项。此外，还可以明白，这些(背景)方法中的两个或更多个可以被组合来对其余残差进行编码。最终，编码器可以选择使用“传统的”变换方案或提出的空间变化技术，因此编码器可以在保持使用针对整个块的变换的同时从新的技术获益(后者已经被证实在许多情形但不是全部情形中很有效)。
在此设定中，编码器必须指示：变换的数目，它们的大小以及位置，还有，什么是用于对剩余残差进行编码的选定背景方法。这些参数例如通过设计或在序列级、帧级、片段级和/或一些其它级上是固定的，因此，这些参数中的一些或全部不一定每次都必须被指示。
块内的变换集合的位置可以是自适应的。在一个实施例中，编码器明确地指示每个变换的位置。用于发送的参数可以包括但不限于例如：(1)每个变换的x和y；(2)与前一变换有关的x和y；或(3)等同于x和y的其它值，类似(相对)位置的角度和模。当然，已知在此提供的本原理的教导，本领域和相关领域的普通技术人员将构想到在保持本原理的精神和范围的同时可以根据本原理发送的这些和其它参数。
在另一实施例中，解码器根据之前重构的数据和编码选择推导出变换(中的至少一些)的位置。例如，变换的位置和数目可以依赖于但是不限于之前的块的运动向量或之前的残差、预测模式、预测数据等。选择依赖于在编码器和解码器两者处都可用的数据，因此它们可以作出相同的判决从而是同步的(因此消除了发送支持此的侧面信息的必要)。
一般，当变换相互不重叠时，提出的方法可以带来更大的增益，但是在一些情形中，这样的重叠可以对性能有益。在一个或多个实施例中，提出的方法不限制变换和背景方法的位置，即它们可以重叠。
这一点导致涉及多层残差编码的另一实施例。参考图6，用标号600总地示出涉及两个完全重叠的变换的组合的空间变化残差编码的示例。在此情况中，首先利用一种方法对残差编码。随后，从原始残差中减去该已编码的残差。随后，利用另一种方法对剩余残差编码。该方法的良好示例如下：
1.使用变换方法对块(NxN)610编码。
2.仅保持变换的最大低频系数。
3.从原始残差减去已编码残差。
4.使用变换对(一个或多个)子块(例如使用对角阴影图案图示出的MxM子块620)编码。
该多层残差编码方法使用两个残差层，并且其是空间上变化的。第一层给出对整个块610的残差的大概描述。第二层可以关注特别难以编码的区域或感兴趣的区域(例如子块620)，因此，对于该特定区域而言，第二层对第一层进行了细化。该方法可以容易地扩展到可伸缩视频编码(SVC)中的信噪比(SNR)可伸缩性。
这仅仅是一个示例。因此，可以明白，本原理不限于两个(或更多)层依赖于变换编码的情况。例如，可以利用空间域方法对第二层进行编码。已知在此提供的本原理的教导，本领域和相关领域的普通技术人员容易构想到这些和其它变形。
用于残差编码的空间变化技术的滤波
空间变化技术导致以不同的方法或变换构建的邻接数据，因此，进而可以导致沿着边界的伪影，这些伪影类似于在多数视频编码标准中可以找见的块伪影等。如果执行滤波，则可以减少或消除这些伪影。此滤波可以是去块滤波、低通滤波、非线性滤波、交叠变换(lapped transform)等。变换类型和大小、量化级别以及其它编码参数决定了用于此滤波的最佳选择。
参见图7，用标号700总地指示涉及滤波的空间变化残差编码的示例。如图所示，可以执行跨越块705内的(例如，子块)边界的滤波。该滤波可以根据邻接区域不同而不同。例如，可以跨越(图7中的白色箭头)(使用对角阴影图案图示出的)变换子块711和712使用去块滤波器，同时可以跨越(图7中的黑色箭头)(使用对角阴影图案图示出的)变换子块711和712和已利用背景方法编码的(未用任何阴影图案图示出的)邻接区域使用低通滤波。
在一个实施例中，在块的重构之后应用所有这些滤波器。然而，在另一实施例中，可替换地，在利用空间变化技术对数据进行编码之前对数据进行前置滤波。在此情况中，首先跨越将要利用不同技术编码的区域应用滤波器，随后，对该滤波后的残差进行编码。
在解码器处，应用逆处理。首先，使用空间变化方法对残差解码，随后，应用跨越区域的逆滤波。
这样的滤波器的示例是线性滤波器F：
其中，a、b、c、d是滤波器的参数。这是应用于边界处的4个像素的1维线性滤波器：区域界限的一侧2个另一侧2个。当然，应当明白，本原理仅仅限于前述滤波器，因此可以是非线性的、自适应的、二维的，并且在保持本原理的精神和范围的同时可以根据本原理利用滤波器的许多其它变形。
在解码器侧，将要应用逆滤波器F-1。
总而言之，在一个或多个实施例中，提议了与用于残差编码的空间变化技术配合的滤波。在一个实施例中，(在残差编码之前)使用前置滤波器。在另一实施例中，(在残差编码之后)使用后置滤波器。在又一实施例中，使用前置滤波器和后置滤波器两者。
参考图8，用标号800总地指示用于执行块残差的空间变化编码的示例性方法。方法800包括起始块805，其将控制传递给功能块810的。功能块810输入大小为NxN的块残差数据，并且将控制传递至功能块815，和功能块820。功能块815对块残差数据应用大小为NxN的变换，并且将控制传递至功能块825。功能块825(基于应用大小为NxN的变换的结果)执行速率失真分析，并且将控制传递至功能块835。功能块820对块残差数据应用K个大小为MkxMk的变换和背景方法，并且将控制传递至功能块823。功能块823跨越块的使用不同变换或方法的部分进行滤波，并将控制传递至功能块830。功能块830(基于应用K个大小为MkxMk的变换和背景方法的结果)来执行速率失真分析，并且将控制传递至功能块835。
功能块835执行由功能块825和830执行的各自的速率失真分析的各自的结果之间的比较，并且基于比较的结果来选择要应用的变换，并应用选定的变换来对残差进行编码，并将控制传递至功能块840。功能块840输出选定的变换和已编码的残差，并将控制传递至结束块899。
参见图9，用标号900总地指示用于执行块残差的空间变化解码的示例性方法。方法900包括起始块905，其将控制传递至功能块910。功能块910输入已编码残差，并且将控制传递至功判决块915。判决块915(根据编码器做了什么，即，解码出编码器处所采取的决策)判断是否执行空间变化残差解码。如果判定为是，则控制被传递至功能块920。否则，控制被传递至功能块925。功能块920对已编码残差应用K个大小为MkxMk的逆变换和逆背景方法，并且将控制传递至功能块923。功能块923跨越块的使用不同变换或方法的部分进行滤波，并且将控制传递至功能块925。功能块925对已编码残差应用逆NXN变换，并且将控制传递至功能块930。功能块930输出作为结果产生的残差数据，并且将控制传递至结束块999。
参考图10，用标号1000总地指示用于执行块残差的空间变化编码的另一示例性方法。方法1000包括起始块1005，其将控制传递至功能块1010。功能块1010输入大小为NxN的块残差数据，并且将控制传递至功能块1020和功能块1040。功能块1020应用大小为NxN的变换并将控制传递至功能块1025。功能块1025从原始残差中减去已编码残差，并将控制传递至功能块1030。功能块1030应用大小为MxM的MxM变换，并且将控制传递至功能块1050。功能块1050(基于应用大小为MxM的变换的结果)执行速率失真分析，并将控制传递至功能块1060。功能块1040基于多尺度递归样式方法来应用大小为MxM的变换和背景方法，并且将控制传递至功能块1045。功能块1045发送变换的大小M和位置，并且将控制传递至功能块1055。功能块1055(基于应用大小为MxM的变换的结果)执行速率失真分析，并且将控制传递至功能块1060。功能块1060执行速率失真分析的结果之间的比较，基于比较的结果选择变换，应用选定的变换，并将控制传递至功能块1065。功能块1065输出编码选择和已编码残差，并将控制传递至功能块1099。
参考图11，用标号1100总地指示用于执行块残差的空间变化解码的另一示例性方法。方法1100包括起始块1105，其将控制传递至功能块1110。功能块1110输入已编码残差，并将控制传递至判决块1115。判决块115判断是否要使用多层解码方法。如果要使用多层解码方法，则控制被传递至功能块1130。否则，控制被传递至功能块1150。功能块1130解码出变换的大小M和位置，并且将控制传递至功能块1140。功能块1140基于多尺度递归样式方法应用逆MxM变换和背景方法，并将控制传递至功能块1170。功能块1150应用大小为MxM的逆变换，并且将控制传递至功能块1155。功能块1155应用大小为NxN的逆变换，并且将控制传递至功能块1160。功能块1160将来自NxN和MxM变换的残差相加，并将控制传递至功能块1170。功能块1170输出已编码残差，并且将控制传递至结束块1199。
参见图12，用标号1200总地指示用于执行块残差的空间变化编码的另一示例性方法。方法1200包括起始块1202，其将控制传递至功能块1205。功能块1205输入与原始残差对应的大小为NxN的块残差数据，并且将控制传递至功能块1210。功能块1210(对原始残差)应用NxN变换(来获取已编码残差)，并将控制传递至功能块1215。功能块1215从原始残差中减去已编码残差，并且将控制传递至功能块1220和功能块1230。功能块1220对块的一部分应用背景方法，并且将控制传递至功能块1225。功能块1225(基于对块的一部分应用背景方法的结果)执行速率失真分析，并且将控制传递至功能块1255。
功能块1230基于多尺度递归样式方法应用MxM变换和背景方法，并且将控制传递至功能块1235。功能块1235发送变换的大小M和位置，并且将控制传递至功能块1240。功能块1240(基于应用MxM变换和背景方法的结果)来执行速率失真分析，并且将控制传递至功能块1255。
功能块1255执行速率失真分析的结果之间的比较，基于比较的结果选择变换，应用选定的变换，并且将控制传递至功能块1260。功能块1260输出编码选择和已编码残差，并且将控制传递至结束块1299。
参考图13，用标号1300总地指示用于执行块残差的空间变换解码的又一示例性方法。方法1300包括起始块1305，其将控制传递至功能块1310。功能块1310输入已编码残差，并且将控制传递至判决块1315。判决块1315判断是否应用大小为M的逆变换。如果判断为应用大小为M的逆变换，则控制被传递至功能块1320。否则，控制被传递至功能块1330。功能块1330解码编码的大小M和位置，并且将控制传递至功能块1325。功能块1325基于多尺度递归样式方法来应用逆MxM变换和背景方法，并且将控制传递至功能块1335。功能块1335对块的一部分应用逆背景方法，并且将控制传递至功能块1335。功能块1335应用逆NxN变换，并且将控制传递至功能块1340。功能块1340将残差相加，并且将控制传递至功能块1340。功能块1345输出已解码残差，并且将控制传递至结束块1399。
现在给出对本发明的许多伴随的优点/特征中的一些的描述，这些优点/特征中的一些在以上已被提到。例如，一个优点/特征是一种设备，其具有通过选择用于与图片中的至少一个块的原始版本和至少一个参考块之间的差相对应的残差的空间变化编码方法来对该块的图片数据进行编码的视频编码器，其中，使用一个或多个变换来变换该块的一部分，并且，使用这一个或多个变换的替代编码方法来对块的剩余区域进行编码，或者不对块的剩余区域进行编码，
另一优点/特征是具有如上所述的视频编码器的设备，其中，在多层残差编码中使用该空间变化编码方法。
又一优点/特征是具有如上所述的视频编码器的设备，其中，使用一个或多个滤波器来对残差进行滤波以减少或消除其中的编码伪影。
又一优点/特征是具有所述视频编码器的设备，其中，如上所述，使用一个或多个滤波器来对残差进行滤波以减少或消除其中的编码伪影，其中这一个或多个滤波器被配置为一个或多个处理前滤波器、一个或多个处理后滤波器、或者一个或多个处理前滤波器与一个或多个处理后滤波器的组合。
此外，另一优点/特征是具有如上所述的视频编码器的设备，其中替代编码方法包括基于无变换的编码方法、Lempel-ziv方法、多尺度递归样式方法、具有自适应概率模型的多尺度递归方法和向量量化方法中的至少一者。
此外，另一优点/特征是具有如上所述视频编码器的设备，其中，至少空间变化编码方法的参数子集被发送给对应的解码器，所述参数包括所要应用的一个或多个变换的数目、这一个或多个变换的大小、这一个或多个变换的位置以及替代编码方法中的至少一者。
此外，又一优点/特征是具有所述视频编码器的设备，其中，如上所述，至少空间变化编码方法的参数子集被发送给对应的解码器，所述参数包括所要应用的一个或多个变换的数目、这一个或多个变换的大小、这一个或多个变换的位置以及替代编码方法中的至少一者，其中，子集中的剩余参数是固定的并且是所述编码器和对应的解码器已知的。
相关领域普通技术人员基于这里的教导可以容易地确定本原理的这些和其它特征和优点。应当理解，可以以硬件、软件、固件、专用处理器或它们的组合的各种形式来实现本原理的教导。
更优选地，本原理的教导被实现为硬件和软件的组合。软件可以被实现为被有形地包含在程序存储单元上的应用程序。应用程序可以被下载到包括任意适当体系架构的机器并被其运行。优选地，机器被实现在具有诸如一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)和输入/输出(“I/O”)接口之类的硬件的计算机平台上。计算机平台还可以包括操作***和微指令代码。在此所描述的各种处理和功能可以护着是可由CPU运行的微指令代码的一部分或者是应用程序的一部分，或者是它们的任意组合。另外，各种其它***单元可以连接到诸如附加的数据存储单元和打印单元之类的计算机平台。
还应当理解，因为附图中所图示出的构成***组件和方法的一些优选是以软件实现的，因此，***组件或处理功能块之间的实际连接可以因用于对本原理进行编程所使用的方式的不同而不同。已知这里的教导，相关领域的普通技术人员将能够构想到本原理的这些和类似的实现或配置。
尽管已经在此参考附图描述了说明性实施例，但是应当理解，本原理不限于这些精确实施例，并且在不偏离本原理的精神和范围的情况下相关领域的普通技术人员可以实行各种更改和修改。所有这样的更改和修改都意图被包括在所附权利要求书中所阐述的本原理的范围内。

Claims (25)

1.一种视频解码器中的方法，包括：
从比特流中解码视频序列中图片的块的残差；
其中所述解码包括选择第一解码方法来使用第一逆变换解码所述块的第一子块的第一残差，并选择替代解码方法来使用第二逆变换解码所述块的至少第二子块的第二残差；以及
其中所述第一逆变换不同于所述第二逆变换，并且其中所述块是预测单元。
2.如权利要求1所述的方法，其中逆变换的位置是基于预测数据、预测模式、残差以及先前块的运动向量中的至少一者。
3.如权利要求1所述的方法，其中用于所述块的逆变换的数目是基于预测数据、预测模式、残差以及先前块的运动向量中的至少一者。
4.如权利要求1所述的方法，进一步包括：使用至少一个滤波器对至少部分的残差进行滤波以减少或消除其中的编码伪影。
5.如权利要求4所述的方法，其中所述至少一个滤波器配置成以下各项中的至少一项：至少一个处理前滤波器、至少一个处理后滤波器，以及至少一个处理前滤波器与至少一个处理后滤波器的组合。
6.一种装置，包括：
视频解码器，其配置成从比特流中解码视频序列中图片的块的残差，
其中所述视频解码器配置成选择第一解码方法来使用第一逆变换解码所述块的第一子块的第一残差，并选择至少替代解码方法来使用第二逆变换解码所述块的至少第二子块的第二残差，以及
其中所述第一逆变换不同于所述第二逆变换，并且其中所述块是预测单元。
7.如权利要求6所述的装置，其中逆变换的位置是基于预测数据、预测模式、残差以及先前块的运动向量中的至少一者。
8.如权利要求6所述的装置，其中用于所述块的逆变换的数目是基于预测数据、预测模式、残差以及先前块的运动向量中的至少一者。
9.如权利要求6所述的装置，进一步包括至少一个滤波器，其配置成对至少部分的残差进行滤波以减少或消除其中的编码伪影。
10.如权利要求9所述的装置，其中所述至少一个滤波器配置成以下各项中的至少一项：至少一个处理前滤波器、至少一个处理后滤波器，以及至少一个处理前滤波器与至少一个处理后滤波器的组合。
11.一种视频解码器中的方法，包括：
将视频序列中图片的块的残差编码到比特流中，
其中所述编码包括选择第一编码方法来使用第一变换编码所述块的第一子块的第一残差，并选择至少替代编码方法来使用第二变换编码所述块的至少第二子块的第二残差，以及
其中所述第一变换不同于所述第二变换，并且其中所述块是预测单元。
12.如权利要求11所述的方法，其中变换的位置是基于预测数据、预测模式、残差以及先前块的运动向量中的至少一者。
13.如权利要求11所述的方法，其中用于所述块的变换的数目是基于预测数据、预测模式、残差以及先前块的运动向量中的至少一者。
14.如权利要求11所述的方法，进一步包括：使用至少一个滤波器来对至少部分的残差进行滤波以减少或消除其中的编码伪影。
15.如权利要求14所述的方法，其中所述至少一个滤波器配置成以下各项中的至少一项：至少一个处理前滤波器、至少一个处理后滤波器，以及至少一个处理前滤波器与至少一个处理后滤波器的组合。
16.一种装置，包括：
视频编码器，其配置成将视频序列中图片的块的残差编码到比特流中，
其中所述编码器配置成选择第一编码方法来使用第一变换编码所述块的第一子块的第一残差，并选择至少替代编码方法来使用第二变换编码所述块的至少第二子块的第二残差，以及
其中所述第一变换不同于所述第二变换，并且其中所述块是预测单元。
17.如权利要求16所述的装置，其中变换的位置是基于预测数据、预测模式、残差以及先前块的运动向量中的至少一者。
18.如权利要求16所述的装置，其中用于所述块的变换的数目是基于预测数据、预测模式、残差以及先前块的运动向量中的至少一者。
19.如权利要求16所述的装置，进一步包括至少一个滤波器，其配置成对至少部分的残差进行滤波以减少或消除其中的编码伪影。
20.如权利要求19所述的装置，其中所述至少一个滤波器配置成以下各项中的至少一项：至少一个处理前滤波器、至少一个处理后滤波器，以及至少一个处理前滤波器与至少一个处理后滤波器的组合。
21.一种装置，包括：
发送器，其配置成发送包括图片的块的经编码残差的比特流，
其中编码包括选择第一编码方法来使用第一变换编码所述块的第一子块的第一残差，并选择至少替代编码方法来使用第二变换编码所述块的至少第二子块的第二残差，以及
其中所述第一变换不同于所述第二变换，并且其中所述块是预测单元。
22.如权利要求21所述的装置，其中变换的位置是基于预测数据、预测模式、残差以及先前块的运动向量中的至少一者。
23.如权利要求21所述的装置，其中用于所述块的变换的数目是基于预测数据、预测模式、残差以及先前块的运动向量中的至少一者。
24.如权利要求21所述的装置，进一步包括至少一个滤波器，其配置成对至少部分的残差进行滤波以减少或消除其中的编码伪影。
25.如权利要求24所述的装置，其中所述至少一个滤波器被配置成以下各项中的至少一项：至少一个处理前滤波器、至少一个处理后滤波器，以及至少一个处理前滤波器与至少一个处理后滤波器的组合。
CN201710485279.0A 2009-07-06 2010-07-01 用于空间变化残差编码、解码的方法和设备 Active CN107277512B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22327709P 2009-07-06 2009-07-06
US61/223,277 2009-07-06
CN2010800307927A CN102484701A (zh) 2009-07-06 2010-07-01 用于空间变化残差编码的方法和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2010800307927A Division CN102484701A (zh) 2009-07-06 2010-07-01 用于空间变化残差编码的方法和设备

Publications (2)

Publication Number Publication Date
CN107277512A true CN107277512A (zh) 2017-10-20
CN107277512B CN107277512B (zh) 2020-11-03

Family

ID=42665840

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2010800307927A Pending CN102484701A (zh) 2009-07-06 2010-07-01 用于空间变化残差编码的方法和设备
CN201710485279.0A Active CN107277512B (zh) 2009-07-06 2010-07-01 用于空间变化残差编码、解码的方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2010800307927A Pending CN102484701A (zh) 2009-07-06 2010-07-01 用于空间变化残差编码的方法和设备

Country Status (6)

Country Link
US (1) US9736500B2 (zh)
EP (1) EP2452499A1 (zh)
JP (2) JP5732454B2 (zh)
KR (1) KR101885382B1 (zh)
CN (2) CN102484701A (zh)
WO (1) WO2011005303A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879632B2 (en) 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
CN102857755B (zh) 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
CN110651478B (zh) * 2017-05-17 2023-11-21 株式会社Kt 用于视频信号处理的方法和装置
SG11202008036TA (en) 2018-02-23 2020-09-29 Huawei Technologes Co Ltd Position dependent spatial varying transform for video coding
KR102306884B1 (ko) * 2018-03-29 2021-09-30 닛폰 호소 교카이 화상 부호화 장치, 화상 복호 장치 및 프로그램
CN110324668B (zh) * 2018-03-31 2021-01-05 华为技术有限公司 图像块编码中的变换方法、解码中的反变换方法及装置
JP7160948B2 (ja) * 2018-05-31 2022-10-25 華為技術有限公司 適応変換タイプを有する空間的に変化する変換
US10516885B1 (en) * 2018-07-11 2019-12-24 Tencent America LLC Method and apparatus for video coding
US11323743B2 (en) * 2019-08-26 2022-05-03 Tencent America LLC Interaction between CU partitions and sub-block transform

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060176961A1 (en) * 2005-02-08 2006-08-10 Hong Kong Applied Science And Method for reducing bit rate requirements for encoding multimedia data
WO2008035842A1 (en) * 2006-09-20 2008-03-27 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding using alternative converter according to the correlation of residual signal
CN101179734A (zh) * 2006-11-28 2008-05-14 腾讯科技（深圳）有限公司 一种视频压缩的帧内预测方法和***
CN101383972A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 基于空间预测与变换的遥感图像压缩方法
CN101415121A (zh) * 2007-10-15 2009-04-22 华为技术有限公司 一种自适应的帧预测的方法及装置
CN101711481A (zh) * 2006-10-18 2010-05-19 汤姆森特许公司 使用预测数据精选进行视频编码的方法和装置

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05207287A (ja) * 1991-05-31 1993-08-13 Kyocera Corp 画像符号化装置及び画像復号化装置
JPH0522715A (ja) 1991-07-12 1993-01-29 Sony Corp 画像符号化装置
US6285710B1 (en) 1993-10-13 2001-09-04 Thomson Licensing S.A. Noise estimation and reduction apparatus for video signal processing
JP3764765B2 (ja) * 1995-09-06 2006-04-12 インターナショナル・ビジネス・マシーンズ・コーポレーション ディジタル画像の処理方法及びシステム
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
JPH11164321A (ja) 1997-09-26 1999-06-18 Matsushita Electric Ind Co Ltd 画像復号化方法，画像復号化装置，及びデータ記憶媒体
EP0905987B1 (en) 1997-09-26 2005-06-15 Matsushita Electric Industrial Co., Ltd. Image decoding method and apparatus, and data recording medium
US7194138B1 (en) * 1998-11-04 2007-03-20 International Business Machines Corporation Reduced-error processing of transformed digital data
JP2000270334A (ja) 1999-03-15 2000-09-29 Fuji Xerox Co Ltd 符号化装置、復号化装置、画像処理装置、符号化方法、復号化方法及び画像処理方法
JP2002315004A (ja) 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
US7376280B2 (en) * 2002-07-14 2008-05-20 Apple Inc Video encoding and decoding
JP4344184B2 (ja) * 2003-07-17 2009-10-14 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP2005167655A (ja) * 2003-12-03 2005-06-23 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
JP4479530B2 (ja) * 2004-12-28 2010-06-09 カシオ電子工業株式会社 データ圧縮装置、及びデータ復元装置
US8576924B2 (en) * 2005-01-25 2013-11-05 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
WO2007046644A1 (en) * 2005-10-21 2007-04-26 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding moving picture using adaptive scanning
KR100772868B1 (ko) 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
KR100772391B1 (ko) * 2006-01-23 2007-11-01 삼성전자주식회사 직교 변환 및 벡터 양자화에 기반한 동영상 부호화 및복호화 방법과 이를 이용한 장치
WO2007094329A1 (ja) 2006-02-15 2007-08-23 Nec Corporation 動画像処理装置、動画像処理方法、および動画像処理プログラム
KR100927733B1 (ko) * 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
JP4719854B2 (ja) 2006-10-26 2011-07-06 日本ビクター株式会社 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム
CN105376574A (zh) 2006-11-08 2016-03-02 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
JP2008219205A (ja) 2007-02-28 2008-09-18 Sony Corp 画像情報符号化装置及び画像情報符号化方法
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
EP2324641A1 (en) * 2008-08-12 2011-05-25 Nokia Corporation Video coding using spatially varying transform
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
WO2010051846A1 (en) * 2008-11-06 2010-05-14 Nokia Corporation Fast block selection algorithm for video coding using spatially varying transform
EP2200321A1 (en) * 2008-12-19 2010-06-23 Thomson Licensing Method for browsing video streams
US9094691B2 (en) * 2010-03-15 2015-07-28 Mediatek Singapore Pte. Ltd. Methods of utilizing tables adaptively updated for coding/decoding and related processing circuits thereof
CN102215396A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和***
US8638863B1 (en) * 2010-05-18 2014-01-28 Google Inc. Apparatus and method for filtering video using extended edge-detection
US9172968B2 (en) * 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US8913662B2 (en) * 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
CN103314588B (zh) * 2011-01-07 2016-05-11 联发科技（新加坡）私人有限公司 编码方法与装置以及解码方法与装置
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
CN102611884B (zh) * 2011-01-19 2014-07-09 华为技术有限公司 图像编解码方法及编解码设备
US20120195366A1 (en) * 2011-02-01 2012-08-02 Mediatek Singapore Pte. Ltd. Method and Apparatus of Adaptive Inter Mode Coding Using Variable Length Codes
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CN107257466B (zh) * 2011-06-17 2020-06-26 寰发股份有限公司 内部预测模式编码的方法及装置
JP2014523710A (ja) * 2011-07-22 2014-09-11 モトローラ モビリティ エルエルシー ビデオ・コーディングにおける直交形状変換をスキャンするためのデバイスおよび方法
US9154796B2 (en) * 2011-11-04 2015-10-06 Qualcomm Incorporated Intra-mode video coding
US9531990B1 (en) * 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US9167268B1 (en) * 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) * 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US20140301436A1 (en) * 2013-04-05 2014-10-09 Qualcomm Incorporated Cross-layer alignment in multi-layer video coding
US9247251B1 (en) * 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060176961A1 (en) * 2005-02-08 2006-08-10 Hong Kong Applied Science And Method for reducing bit rate requirements for encoding multimedia data
WO2008035842A1 (en) * 2006-09-20 2008-03-27 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding using alternative converter according to the correlation of residual signal
CN101711481A (zh) * 2006-10-18 2010-05-19 汤姆森特许公司 使用预测数据精选进行视频编码的方法和装置
CN101179734A (zh) * 2006-11-28 2008-05-14 腾讯科技（深圳）有限公司 一种视频压缩的帧内预测方法和***
CN101415121A (zh) * 2007-10-15 2009-04-22 华为技术有限公司 一种自适应的帧预测的方法及装置
CN101383972A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 基于空间预测与变换的遥感图像压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CIXUN ZHANG等: "Video Coding Using Spatially Varying Transform", 《LECTURE NOTES IN COMPUTER SCENCE;PROCEEDINGS OF THE 3RD PACIFIC RIM SYMPOSIUM ON ADVANCES IN IMAGE AND VIDEO TECHNOLOGY》 *

Also Published As

Publication number Publication date
CN102484701A (zh) 2012-05-30
US20120099642A1 (en) 2012-04-26
EP2452499A1 (en) 2012-05-16
KR101885382B1 (ko) 2018-08-03
JP6425609B2 (ja) 2018-11-21
WO2011005303A1 (en) 2011-01-13
JP2015156700A (ja) 2015-08-27
US9736500B2 (en) 2017-08-15
JP2012532561A (ja) 2012-12-13
KR20120096452A (ko) 2012-08-30
JP5732454B2 (ja) 2015-06-10
CN107277512B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN107277512A (zh) 用于空间变化残差编码的方法和设备
CN101711481B (zh) 使用预测数据精选进行视频编码的方法和装置
JP2020191647A (ja) ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
CN104883578B (zh) 对帧内预测模式进行解码的方法
CN103931180B (zh) 图像解码设备
CN102598667B (zh) 帧内预测模式的高效视频编码和解码的方法和装置
CN101371584B (zh) 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
CN102687511B (zh) 运动信息的自适应编解码的方法和装置
CN101822059B (zh) 可缩放视频的层间残差预测的方法和设备
CN108028919A (zh) 用于图像与视频编解码中语法元素的上下文建模的方法及装置
CN109076237A (zh) 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置
CN101779463B (zh) 用于处理图像的方法以及相应的电子设备
CN102439975B (zh) 用于在基于稀疏性的去伪影滤波中响应于可变变换的滤波器参数的确定和选择的方法和设备
CN102893606B (zh) 帧内编码将像素指定给各组的块的方法和装置
KR20120099479A (ko) 비디오 인코딩 및 디코딩을 위해 적응형 결합된 전처리 및 후처리 필터들을 위한 방법들 및 장치
CN107071484A (zh) 用于高效视频编码的内容自适应损害补偿滤波
CN105959697A (zh) 变换单元内的多符号位隐藏
CN110199521A (zh) 用于有损视频编码的低复杂度混合域协同环内滤波器
CN101911704A (zh) 使用基于多格稀疏性的滤波来进行去伪像滤波的方法和设备
CN102577382A (zh) 用于视频编码器和解码器的有效自适应滤波的方法和装置
CN113412618A (zh) 用于编码和解码表示至少一个图像的数据流的方法和设备
片山 Key Extension Technologies for Future Video Coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190912

Address after: Delaware

Applicant after: Interactive Digital VC Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

GR01 Patent grant
GR01 Patent grant