CN113994693A - 用于基于照明补偿对块进行编码和解码的方法和装置 - Google Patents

用于基于照明补偿对块进行编码和解码的方法和装置 Download PDF

Info

Publication number
CN113994693A
CN113994693A CN202080042838.0A CN202080042838A CN113994693A CN 113994693 A CN113994693 A CN 113994693A CN 202080042838 A CN202080042838 A CN 202080042838A CN 113994693 A CN113994693 A CN 113994693A
Authority
CN
China
Prior art keywords
block
sub
samples
illumination compensation
predictor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080042838.0A
Other languages
English (en)
Inventor
P.博德斯
陈娅
F.厄本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN113994693A publication Critical patent/CN113994693A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于视频编解码和解码的方法(800，1600，1700)和装置(1800)。该方法(800，1600，1700)包括基于块的子块的邻近采样和运动补偿的参考子块的邻近采样导出一个或多个照明补偿参数；通过使用导出的一个或多个照明补偿参数在运动补偿的参考子块上应用照明补偿来导出预测子块。还描述了计算机可读存储介质和计算机程序产品。

Description

用于基于照明补偿对块进行编码和解码的方法和装置
技术领域
本实施例通常涉及使用照明补偿的视频编码和解码。
背景技术
本部分旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的至少一个本实施例的各个方面相关。该讨论被认为有助于向读者提供背景信息，以便于更好地理解至少一个实施例的各个方面。因此，应该理解的是，应当从这个角度来理解这些陈述。
为了实现高压缩效率，视频编解码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性。然后，视频的原始画面和预测画面之间的差异(通常表示为预测误差或预测残差)被变换、量化和熵编解码。为了重构画面，压缩数据通过与预测、变换、量化和熵编解码对应的逆过程被解码。
发明内容
本部分提供了本实施例中的至少一个的简化概述，以便提供对本公开的一些方面的基本理解。该概述不是对实施例的广泛概述。它不旨在标识实施例的关键或重要元素。以下概述仅仅以简化的形式呈现了本实施例中的至少一个的一些方面，作为在文档别处提供的更详细描述的序言。
根据本实施例中的至少一个的一般方面，提供了一种用于对视频的块进行编码的方法，包括：基于块的子块的邻近采样和运动补偿的参考子块的邻近采样导出一个或多个照明补偿参数；通过使用导出的一个或多个照明补偿参数在运动补偿的参考子块上应用照明补偿来导出预测子块；以及使用预测子块来对子块进行编码。
根据本实施例中的至少一个的另一个一般方面，提供了一种用于对视频的块进行解码的方法，包括：基于块的子块的邻近采样和运动补偿的参考子块的邻近采样导出一个或多个照明补偿参数；通过使用导出的一个或多个照明补偿参数在运动补偿的参考子块上应用照明补偿来导出预测子块；以及使用预测子块对子块进行解码。
根据本实施例中的至少一个的另一个一般方面，提供了一种用于对视频的块进行编码的装置，包括用于进行以下操作的部件：基于块的子块的邻近采样和运动补偿的参考子块的邻近采样导出一个或多个照明补偿参数；通过使用导出的一个或多个照明补偿参数在运动补偿的参考子块上应用照明补偿来导出预测子块；以及使用预测子块来对子块进行编码。
根据本实施例中的至少一个的另一个一般方面，提供了一种用于对视频的块进行解码的装置，包括用于进行以下操作的部件：基于块的子块的邻近采样和运动补偿的参考子块的邻近采样导出一个或多个照明补偿参数；通过使用导出的一个或多个照明补偿参数在运动补偿的参考子块上应用照明补偿来导出预测子块；以及使用预测子块来对子块进行解码。
根据一实施例，使用预测子块对同一块的多个子块进行编码，对子块进行编码或解码包括对从子块和相关联的预测子块导出的每个残差应用一个单独的变换。
根据一实施例，当前子块的邻近采样是在块内部的采样。
根据一实施例，对子块进行编码或解码包括对从子块和预测子块导出的预测残差导出的预测残差应用一个单一变换。
根据一实施例，当前子块的一个或多个邻近采样是在块外部的采样。
根据一实施例，子块的邻近采样和预测子块仅由至少一个另外的预测子块的采样形成。
根据一实施例，子块的邻近采样和预测子块由在块外部的采样和在块内部的至少一个另外的预测子块的采样形成。
根据一实施例，一个或多个照明补偿参数是从在该块的子块的子集内部的邻近采样导出的。
根据本实施例中的至少一个的其他一般方面，提供了一种非暂时性计算机可读存储介质和计算机程序产品。
从下面结合附图对示例的描述中，本实施例中的至少一个的特定性质以及本实施例中的所述至少一个的其他目的、优点、特征和用途将变得显而易见。
附图说明
在附图中，示出了几个实施例的示例。附图示出了：
图1示出了根据现有技术的针对当前画面中的当前块、针对参考0画面中的参考0块以及针对参考1画面中的参考1块的重构的邻近采样的L形集合；
图2和3示出了根据现有技术的照明补偿方法的一些不方便之处；
图4示出了根据实施例的示例性编码器的简化框图；
图5示出了根据至少一个实施例的示例性编码器的一些模块的简化框图500；
图6示出了根据至少一个实施例的示例性解码器600的简化框图；
图7示出了根据至少一个实施例的示例性解码器的一些模块的简化框图700；
图8示出了根据至少一个实施例的基于照明补偿对块进行编码/解码的方法的流程图800；
图9示出了根据至少一个实施例对块进行子分割的示例；
图10示出了根据至少一个实施例的导出块的运动补偿的参考子块的方法1000的流程图；
图11示出了根据至少一个实施例的基于仿射运动模型的子块的运动矢量的示例；
图12示出了根据本实施例的导出一个或多个IC参数并调整运动补偿的参考子块的方法1200的流程图；
图13a-d示出了根据至少一个实施例的根据块的不同子分割的L形集合定义；
图14示出了根据至少一个实施例的对来自预测子块的块的子块进行编码的方法1400的流程图；
图15示出了为对块的子块进行分组而创建4个VPDU的情况；
图16示出了根据本实施例的视频编码的示例性方法的流程图；
图17示出了根据本实施例的视频解码的示例性方法的流程图；以及
图18示出了可以在其中实现和执行本公开的各方面的计算环境的框图。
具体实施方式
本详细描述说明了本实施例的原理。因此，应当理解，本领域的技术人员将能够设计各种布置，尽管在此没有明确描述或示出，但是这些布置体现了本实施例的原理，并且包括在其范围内。
本文列举的所有示例和条件语言都是为了教育目的，以帮助读者理解本实施例的原理和发明人为促进本领域所贡献的概念，并且应该被解释为不限于这些具体列举的示例和条件。
此外，本文列举本公开的原理、方面和实施例的所有陈述以及其具体示例旨在包含其结构和功能等同物。此外，这种等同物旨在包括当前已知的等同物以及将来开发的等同物，即，开发的执行相同功能的无论结构如何的任何元件。
因此，例如，本领域技术人员将会理解，本文呈现的框图表示体现本公开的原理的说明性电路的概念图。类似地，将会理解，任何流程图(flow chart)、流程图(flowdiagram)、状态转换图、伪代码等表示可以基本上在计算机可读介质中表示并由计算机或处理器执行的各种过程，无论是否明确示出了这样的计算机或处理器。
在下文中，将参考附图更全面地描述本实施例，其中示出了所述本实施例的示例。然而，实施例可以以多种替代形式实施，并且不应该被解释为限于本文阐述的示例。因此，应当理解，并不打算将实施例限制于所公开的特定形式。相反，本实施例旨在覆盖落入本申请的精神和范围内的所有修改、等同物和替代物。
当图作为流程图呈现时，应当理解，它还提供了对应装置的框图。类似地，当图以框图的形式呈现时，应当理解，它还提供了对应方法/过程的流程图。
附图中所示的各种元件的功能可以通过使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些处理器可以被共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为专门指能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器。
也可以包括传统的和/或定制的其他硬件。类似地，图中所示的任何交换都只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或者甚至手动来实现，具体技术可以由实施者选择，如从上下文中更具体地理解的。
附图中相似或相同的元件用相同的附图标记表示。
一些图可以表示在视频压缩标准规范中广泛使用的语法表，用于定义符合所述视频压缩标准的比特流结构。在那些语法表中，术语“…”表示相对于在视频压缩标准的规范中给出的众所周知的定义的语法的未改变的部分，并且为了便于阅读而在图中去除。语法表中的粗体术语指示该术语的值是通过解析比特流获得的。语法表的右列指示用于对语法元素的数据进行编码的比特数。例如，u(4)指示4比特用于对数据进行编码，u(8)指示8比特，ae(v)指示上下文自适应算术熵编解码的语法元素。
在本文的权利要求中，表示为用于执行特定功能的部件的任何元件旨在包含执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括与用于执行该软件以执行该功能的适当电路相组合的固件、微码等。由这样的权利要求定义的本实施例在于这样的事实，即由各种列举的部件提供的功能以权利要求所要求的方式被组合和集合在一起。因此，可以认为能够提供这些功能的任何部件都等同于本文所示的那些部件。
应当理解，附图和描述已经被简化以示出与清楚理解本实施例相关的元件，同时为了清楚起见，消除了在典型编码和/或解码设备中发现的许多其他元件。
应当理解，尽管术语第一和第二在本文可以用来描述各种元件，但是这些元件不应该受到这些术语的限制。这些术语仅用于将一元件与另一元件区分开来。上文描述了各种方法，并且每种方法包括用于实现所述方法的一个或多个步骤或动作。除非该方法的正确操作需要步骤或动作的特定顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
在以下章节中，“重构”和“解码”这两个词可以互换使用。通常但不一定，“重构”用于编码器侧，而“解码”用于解码器侧。此外，“编解码”和“编码”这两个词可以互换使用。此外，词语“图像”、“画面”和“帧”可以互换使用。此外，词语“编解码”、“源编解码”和“压缩”可以互换使用。
应当理解，画面(也表示为图像或帧)可以是单色格式的亮度采样阵列，或者是4:2:0、4:2:2或4:4:4颜色格式的亮度采样阵列和两个对应的色度采样阵列，或者是三个颜色分量(例如RGB)的三个阵列。
在视频压缩标准中，画面被分割成可能具有不同大小和/或不同形状的块。应当理解，块是二维阵列或矩阵。水平或x方向(或轴)表示宽度，垂直或y方向(或轴)表示高度。索引从0开始。x方向表示列，y方向表示行。最大x索引是宽度–1。最大y索引是高度–1。
本实施例针对在帧间预测模式中使用的基于块的照明补偿(IlluminationCompensation，IC)，以通过考虑任何空间或时间局部照明变化来调整经由运动补偿(MC)获得的块预测采样。
在现有技术中，通过将当前画面中的当前块的重构的邻近采样的L形集合与参考画面中的参考块的重构的邻近采样的对应L形集合进行比较来估计IC参数。在双预测(即每个当前块有两个参考块)的情况下，两个参考i块(i＝0或1)的重构的邻近采样的对应L形集合分别与当前块的重构的邻近采样的L形集合进行比较。
图1示出了根据现有技术的当前画面150中当前块160的邻近采样的L形集合170、参考0画面110中的运动补偿的参考0块(ref-0，本文也称为MC-0或运动补偿的0块)120的对应L形集合(L-shape-ref-0)130以及参考1画面115中的运动补偿的参考1块(ref-1，本文也称为MC-1或运动补偿的1块)125的对应L形集合(L-shape-ref-1)135。因此，下面的术语参考i块或ref-i(i＝0，1)对应于运动补偿的参考块，即位于参考画面“i”中位置(x+MVix,y+MViy)的块，其中，(x,y)是当前画面中当前块的位置，其中MV代表运动矢量。在图1中，当前块160和参考0块120之间的运动矢量被标识为MV0 140，当前块160和参考1块125之间的运动矢量被标识为MV1 145。
基于块的照明补偿(IC)可以使用照明补偿(IC)模型，该模型通常是线性的，并由下式定义：
IC(x)＝a*x+b (1)
其中a和b是IC参数，通常分别称为线性函数的斜率和截距。
特别地，可以例如通过最小化当前块的L形集合170中的采样和使用IC模型利用照明补偿来调整(校正)的参考块(120或125)的L形集合(130或135)中的采样之间的差异来估计IC参数。在最小二乘法下，采样之间的差异可以最小化，如下所示：
Figure BDA0003404321010000071
其中，(ai,bi)是与参考模块相关联的最佳IC参数,argmin(.)是最小值的自变量，并且求和是在当前画面中采样的L形集合L-shape-cur中的每个采样x与其在参考画面中采样的L形集合L-shape-ref中的对应采样y的配对上进行的。
根据现有技术，利用邻近采样的L形集合的思想依赖于这样的假设，即针对当前块的邻近采样优化的IC参数仍然适合于当前块。该假设通常是正确的，因为L形集合的邻近采样是与当前块采样最接近的可用采样。然而，这种方法引入了用于帧间预测的管线(pipeline)依赖性，因为在构建当前预测块之前必须等待邻近块被重构，如图2所示其中当前块CU的解码取决于邻近块CU1和CU2的邻近重构采样。此外，IC参数是用可能离要调整的采样相对较远的采样来估计的，如图3所示。
本实施例解决了现有技术中存在的一些缺点。具体而言，本实施例基于当前块的子块的邻近采样和运动补偿的参考子块的邻近采样来导出一个或多个照明补偿参数，通过使用导出的一个或多个照明补偿参数对运动补偿的参考子块应用照明补偿来导出预测子块，并且使用预测子块对子块进行编码，这将在以下段落和附图中进一步描述。
编码
图4示出了根据至少一个实施例的示例性编码器500的简化框图。
编码器400可以包括在通信***的发送器或头端中。
为了用一个或多个画面对视频序列进行编码，画面被分割成可能不同大小和/或不同形状的块(模块410)。例如，在HEVC(“ITU-T H.265国际电联电信标准化部门(10/2014),H系列：视听和多媒体***，视听服务的基础设施-运动视频编解码、高效视频编解码，推荐ITU-T H.265”)中，画面可以被分割成具有可配置大小的正方形CTU(编解码树单元)。一组连续的CTU可以分组为条带(slice)。CTU是分割成块的四叉树的根，通常表示为CU(编解码单元)。
在示例性编码器500中，画面由如下所述的基于块的视频编码器模块编码。
使用帧内预测模式或帧间预测模式对每个块进行编码。
当以帧内预测模式(模块460)对块进行编码时，编码器400基于同一画面中的至少一个块执行帧内预测(也称为空间预测)。作为一示例，预测块是通过对来自重构的邻近采样的块进行帧内预测而获得的。
当以帧间预测模式对块进行编码时，编码器400基于至少一个参考画面中的至少一个参考块执行帧间预测(也称为时间预测)。
通过对存储在参考画面缓冲器480中的参考块执行运动估计(模块475)和运动补偿(模块470)来执行帧间预测编解码。
在单向帧间预测模式中，预测块通常(但不一定)基于较早的参考画面。
在双向帧间预测模式中，预测块通常(但不一定)基于较早和较晚的图画面。
编码器决定(模块405)帧内预测模式或帧间预测模式中的哪一个用于对块进行编码，并通过预测模式语法元素指示帧内/帧间决定。
通过从块中减去(模块420)预测块(也称为预测器)来计算预测残差块。
预测残差块被变换(模块425)和量化(模块430)。变换模块425可以将块从像素(空间)域变换到变换(频率)域。该变换可以是例如余弦变换、正弦变换、小波变换等。量化(模块430)可以根据例如速率失真标准来执行。
量化的变换系数以及运动矢量和其他语法元素被熵编解码(模块445)以输出比特流。熵编解码可以是，例如，上下文自适应二进制算术编解码(CABAC)、上下文自适应可变长度编解码(CAVLC)、霍夫曼、算术、指数哥伦布(exp-Golomb)等。
编码器也可以跳过变换，并将量化直接应用于未变换的预测残差块。编码器还可以绕过变换和量化两者，即在不应用变换或量化过程的情况下直接对预测残差块进行编解码。
在直接PCM编解码中，不应用预测，并且块采样被直接编解码到比特流中。
编码器400包括解码循环，并因此对编码的块进行解码以提供进一步预测的参考。量化的变换系数被去量化(模块440)和逆变换(模块450)以对预测残差块进行解码。通过组合(模块455)解码的预测残差块和预测块来重构块。环路内滤波器(in-loop filter)(465)可以被应用于重构的画面，例如，以执行去块/采样自适应偏移(SAO)滤波，以减少对伪像进行编解码。过滤后的画面被存储在参考画面缓冲器480中。
编码器400的模块可以用软件实现并由处理器执行，或者可以使用压缩领域的技术人员公知的电路组件来实现。特别地，视频编码器400可以被实现为集成电路(IC)。
编码器400的模块存在于传统的基于块的视频编码器(例如，HEVC编码器)中，除了本实施例中描述的差异之外，特别是基于照明补偿的模块运动补偿470和/或运动估计475中的差异，如将在以下段落和附图中更详细地描述。
对于除照明补偿之外的功能(例如，除470和475之外的模块)，编码器400可以类似于任何传统的基于块的视频编码器，并且本文不详细描述这些功能。
运动估计模块475可以包括运动补偿，因为其目的是确定最佳运动矢量，该最佳运动矢量可以使用迭代搜索，该迭代搜索通常在速率失真成本(RD成本)足够低或者已经达到最小值时终止。结果，IC也可以应用在运动估计模块475中。
图5示出了根据至少一个实施例的示例性编码器的一些模块的简化框图500。
根据至少一个实施例，模块运动估计475和运动补偿470指定编码器的模块内的IC相关功能。
根据本实施例，模块运动估计475和运动补偿470可以包括将块划分成子块的子分割模块571。
与常规方法相比，对块进行子分割使得IC参数在空间上适应于局部特征，并且减小了用于估计IC参数的采样到任何调整采样的最大距离，这将在下面的段落和附图中进一步描述。
根据本实施例，模块运动估计475和运动补偿470还可以包括内部运动补偿模块572，其执行运动补偿的参考子块。
根据本实施例，模块运动估计475和运动补偿470还可以包括IC参数导出模块573，其导出运动补偿的参考子块的IC参数。
最后，根据本实施例，模块运动估计475和运动补偿470可以包括IC应用模块574，其从运动补偿的参考子块和导出的IC参数导出预测子块。
运动估计模块475可以包括运动补偿，因为其目的是确定最佳运动矢量，该最佳运动矢量可以使用迭代搜索，该迭代搜索通常在速率失真成本(RD成本)足够低或者已经达到最小值时终止。迭代测试不同的运动矢量候选。模块运动估计475然后可以包括RD成本计算模块575，其确定RD成本并确定RD的合适值或最小值是否已经实现，以便向运动补偿模块570提供最佳运动矢量MV。
在一个实施例中，运动估计模块575还可以输出与最佳运动矢量MV相关联的IC参数。在这种情况下，不需要在模块570中重新计算IC参数，并且可以从运动补偿模块570跳过模块573。
基于照明补偿的图5中的模块将在下面的段落和附图中更详细地描述。
在一个实施例中，可以为每个帧间预测编解码块自适应地启用或禁用IC。在比特流中，当对块、画面、幻灯片(slide)或序列启用IC时，可以对每个块编码IC标志，以指示是否对该块启用IC。然后可以在解码器处检索IC标志。在另一个实施例中，IC标志可以从其他编解码参数(例如合并索引、块大小)中推断出来。
在一个实施例中，当导出的IC参数没有导致预测的改善时，则IC可以被局部或全局去激活(例如，IC标志被设置为假)。
在一个实施例中，当IC标志启用块的IC(例如，IC标志被设置为真)时，块的IC参数可以被包括并可选地编码在比特流中，以在解码器处被检索。
解码
图6示出了根据至少一个实施例的示例性解码器600的简化框图。
解码器600可以包括在通信***的接收器中。
解码器600通常执行与编码器400执行的编码过程相反的解码过程，如图4和5中所述，尽管并非解码器中的所有操作都是编码过程的逆操作(例如帧内和帧间预测)。
特别地，解码器600的输入包括可以由编码器400生成的比特流。
比特流首先被熵解码(模块630)以获得变换系数、运动矢量MV、画面分割信息、可能的预测模式信息、其他语法元素和/或编解码信息。
例如，在HEVC中，画面分割信息指示CTU的大小，以及CTU被划分成CU的方式。因此，解码器可以根据画面分割信息将画面划分(635)成CTU，并将每个CTU划分成CU。
变换系数被去量化(模块640)和逆变换(模块650)以对预测残差块进行解码。解码的预测残差块然后与预测块(也称为预测器)组合(模块655)以获得解码的/重构的块。
可能根据预测模式信息，可以从帧内预测(模块660)或运动补偿的预测(即，帧间预测)(模块670)获得(模块605)预测块。环路内滤波器(模块665)可以应用于重构的画面。环路内滤波器可以包括去块滤波器和/或SAO滤波器。过滤的画面存储在参考画面缓冲器680中。
解码器600的模块可以用软件实现并由处理器执行，或者可以使用压缩领域的技术人员公知的电路组件来实现。特别地，解码器600可以被实现为集成电路(IC)，单独或者与编码器400组合作为编解码器。
解码器600的模块也存在于传统的基于块的视频解码器(例如，HEVC解码器)中，除了本实施例中描述的差异之外，特别是基于照明补偿的运动补偿模块670中的差异，如将在以下段落和附图中更详细地描述。
对于除照明补偿之外的功能(例如，除670之外的模块)，解码器600可以类似于任何传统的基于块的视频解码器，并且本文不详细描述这些功能。
图7示出了根据至少一个实施例的示例性解码器的一些模块的简化框图700。
模块570示出了根据本实施例的在解码器的模块内的IC相关功能。
运动补偿570可以包括子分割模块571、内部运动补偿模块572、IC参数导出模块573和IC应用模块574。
基于照明补偿的图7中的模块将在下面的段落和附图中更详细地描述。
在一个实施例中，可以为每个帧间预测编解码块自适应地启用或禁用IC。
从比特流中，当对当前幻灯片/画面或序列启用IC时，可以对每个块解码IC标志，以指示是否对该块启用IC。
或者，可以推断出IC标志，例如可以使用合并模式从先前解码的块中导出。然后在视频解码器处检索IC标志。
在导出的IC参数没有导致预测的改善的情况下，IC可以被局部或全局去激活(例如，IC标志被设置为假)。当IC标志启用块的IC(例如，IC标志被设置为真)时，块的IC参数可以被包括并可选地从比特流解码，以在解码器处被检索。
应当理解，当包括IC标志和IC参数并且可选地从比特流中解码时，模块570从比特流中检索IC标志和IC参数，而不是计算或导出IC参数。
在下文中，描述了用于根据实施例导出或计算IC参数的实施例。
图8示出了根据至少一个实施例的基于照明补偿对块进行编码/解码的方法的流程图800。
在步骤810，如图9所示，该块被子分割成子块。在解码器处，子分割可以由从比特流解码的画面分割信息触发。
接下来，如图10和11中详细解释的，从运动补偿中获得运动补偿的参考子块(步骤820)；如图12和13a-d中详细解释的，从运动补偿的参考子块的邻近采样和子块的邻近采样导出IC参数(步骤830)，并且通过使用IC参数在运动补偿的参考子块上应用照明补偿来导出预测子块。最后，如图14中详细解释的，使用预测子块对子块进行编码/解码(步骤840)。该方法对块的每个子块进行迭代。
步骤810-840可以例如由编码器400或500或者解码器600或700来执行。
特别地，步骤810-830可以由例如编码器的模块470、475和471或者解码器的模块670来执行。
图9示出了根据至少一个实施例对块进行子分割的示例(步骤810)。
在一个实施例中，该块可以被水平或垂直划分成至少两个子块。
例如，当块被水平(或垂直)划分时，子块的编解码和解码被重复向下(水平划分)或向右(垂直划分)应用，如图9中的箭头所示。
子块大小(高度和/或宽度)可以相等或不相等。
例如，子块宽度(或高度)可以等于块宽度(或高度)的一半或块宽度(或高度)的1/4，导致2:2划分或1:3/3:1划分。2:2划分类似于二叉树(BT)划分，而1:3/3:1划分类似于非对称二叉树(ABT)划分。例如，最小块大小为4x8(或8x4)。如果块大小大于4x8(或8x4)，则对应的块被4个子块划分。
在一个实施例中，子块的数量可以取决于块大小。例如，如果块的一侧为8，则不允许沿该侧进行1:3/3:1划分。例如，预期的最小块大小是4x8(或8x4)。如果块大小大于4x8(或8x4)，则块被4个子块划分。
在一个实施例中，可以通过语法元素在比特流中用信号通知子分割。步骤571，在解码器处，然后获得语法元素并根据用信号通知的子分割来对块进行划分。
图10示出了根据至少一个实施例的导出块的运动补偿的参考子块的方法1000的流程图。
例如，使用任何公知的基于块的运动估计方法，为每个子块估计运动矢量。
在一变型中，每个子块的运动矢量从捕获块的平移运动场的估计的仿射运动模型导出。这个变型改进了时间预测。
如图11(左)所示，仿射运动模型可以由两个控制点运动矢量(4参数)或三个控制点运动矢量(6参数)或任意数量的控制点运动矢量定义。
对于4参数仿射运动模型，块中采样位置(x，y)处的运动矢量可以被导出为：
Figure BDA0003404321010000131
对于6参数仿射运动模型，块中采样位置(x，y)处的运动矢量可以被导出为：
Figure BDA0003404321010000132
其中(mv0x,mv0y)是左上角控制点的运动矢量，(mv1x,mv1y)是右上角控制点的运动矢量，以及(mv2x,mv2y)是左下角控制点的运动矢量。
可以使用任何公知的运动估计方法来估计控制点处的运动矢量。
例如，根据上述等式计算并可能四舍五入到1/16分数精度的每个子块的中心采样的运动矢量是子块的运动矢量，如图11(右)所示。
图12示出了根据本实施例的导出一个或多个IC参数并调整运动补偿的参考子块的方法1200的流程图。
以下照明补偿(IC)模型可用于对运动补偿的参考子块进行照明补偿。
IC模型的定义如下：
IC(xsb)＝asb*xsb+bsb (3)
其中asb和bsb是运动补偿的参考子块sb的IC参数，通常分别称为线性函数的斜率或比例以及截距或偏移。
在一个实施例中，子块的邻近采样可以是如图13a-d所示的邻近采样的L形集合。在一变型中，不是L形集合的所有邻近采样都被使用，而是仅使用其中的一部分(例如，不使用帧内模式重构的采样)。
L形集合被定义为子块的因果邻近采样的集合，即可用于重构当前子块的邻近采样。因此，如图13a(水平划分)和图13b(垂直划分)所示，L形的一些采样可以在块的内部或外部。
图13c和13d示出了根据块的不同子分割的其他L形集合定义。箭头指示扫描顺序和邻近子块以对块的子块进行编码。
在图12中的步骤1210，获得当前子块的邻近采样的集合。
在步骤1220，参考画面中的参考子块由子块的运动矢量指向，并且参考子块的邻近采样是运动补偿的参考子块的邻近采样。
一旦用IC参数asb和bsb来调整当前子块的邻近采样和运动补偿的参考子块的邻近采样，就可以通过最小化这些邻近采样之间的差异来估计IC参数。
在步骤1230，邻近采样之间的差异可以在最小二乘法下被最小化，如下：
Figure BDA0003404321010000141
其中i是参考索引，0或1，(asb,bsb)是最佳IC参数，argmin(.)是最小值的自变量，并且求和是在每个邻近采样x(这里是在L形集合L-shape-cur中)与其对应的邻近采样y(这里是在L形集合L-shape-ref中)配对上进行的。
在步骤1240，通过使用IC参数(asb,bsb)在运动补偿的参考子块上应用照明补偿模型来导出调整的运动补偿的参考子块，也就是说，根据等式3调整运动补偿的参考子块的每个采样(x，y)。
图14示出了根据至少一个实施例的对来自预测子块的块的子块进行编码的方法1400的流程图。
在步骤1410，块的子块的预测残差子块被计算为子块和预测子块之间的差。
在步骤1420，预测残差子块被变换、量化和熵编解码。
该方法对块的每个子块进行迭代。
在一个实施例中，通过使用一个单独的变换来变换预测残差子块。
在该实施例的变型中，子块的邻近采样和预测子块是重构的采样，即编码和被解码的块的采样。然后，IC参数仅从重构的采样中导出。
在一个实施例中，子块的邻近采样和预测子块仅由内部采样形成。这允许块的编解码/解码的独立性，并且从而允许并行处理。
例如，在图13c的情况下，子块(a)可以仅使用左侧的采样，子块(b)可以仅使用顶部的采样，并且子块(c)可以使用左侧和顶部的采样。
在一实施例中，预测残差块由所有预测残差子块形成，并且预测残差块使用单一变换进行变换、量化和熵编解码。
在该实施例的变型中，子块的邻近采样和预测子块仅由外部采样形成(如例如图13a-d所示)。
在该实施例的另一变型中，子块的邻近采样和预测子块仅由至少一个另外的预测子块的采样形成。
在一实施例中，子块的邻近采样和预测子块由外部采样和在块内部的至少一个另外的预测子块的采样形成。
例如，在图13a的情况下，使用当前子块左侧的采样和顶部调整后的预测子块的采样。
在另一变型中，当以扫描顺序遍历子块的集合时，第一子块被识别为要被编码的第一子块。这个第一子块的IC参数为默认IC参数，或者第一预测子块没有被照明补偿。
在一个实施例中，基于子块的子集来导出IC参数，以便减少计算量，从而降低复杂性。
例如，在HEVC中，虚拟管线数据单元(VPDU)在块内部定义了子块的子集。然后，仅基于VPDU内部的采样导出IC参数。
图15示出了为对块的子块进行分组而创建4个VPDU的情况。
在该实施例的变型中，VPDU的第一子块可以不使用IC参数，或者可以使用默认IC参数。这样，VPDU之间就没有数据依赖关系，并且可以并行处理。
这也可以应用于水平或垂直划分的情况。
在一个实施例中，IC函数可以包括等式1和3或IC参数的其他线性或非线性函数。例如，IC函数可以只考虑斜率参数而不考虑截距参数，即IC(x)＝a*x，在一个实施例中，IC参数可以是两个以上的参数，这取决于函数(例如，取决于多项式函数的次数)。
在一个实施例中，等式2、4可以基于绝对差，而不是差的平方。
IC参数可以包括至少一个参数，例如，至少一个振幅标度或斜率参数、振幅偏移或截距参数、位置标度参数、位置偏移参数、时间标度参数、时间偏移参数等。
图16示出了根据本实施例的视频编码的示例性方法的流程图1600。
方法1600包括获得视频的画面中的块，并根据方法800对该块进行编码。方法1600迭代以对画面的所有块进行编码。
图17示出了根据本实施例的视频解码的示例性方法的流程图1700。
方法1700包括解码来自比特流的信息，例如变换系数、运动矢量、画面分割信息、可能的预测模式信息、其他语法元素和/或其他编解码信息。
在一个实施例中，对IC预测标志进行解码，以确定是否为块、画面、条带或序列启用了IC。
在一个实施例中，当IC标志启用块的IC(例如，IC标志被设置为真)时，可以包括该块的IC参数，并且可选地从比特流解码该块的IC参数。
接下来，该方法包括对变换系数进行去量化(模块640)和逆变换(模块650)以对预测残差块进行解码。接下来，该方法包括对块进行子分割和导出预测块。最后，该方法包括将解码的预测残差块与预测块组合以获得解码的/重构的块。
可能根据预测模式信息，可以从帧内预测(模块660)或运动补偿的预测(即，帧间预测)(模块670)获得(模块605)预测块。当启用IC时，从方法800的步骤810-830导出预测块。
IC参数可以包括至少一个振幅标度或斜率参数、振幅偏移或截距参数、位置标度参数、位置偏移参数、时间标度参数、时间偏移参数等。该块可以是重构的块。
根据该方法的一个实施例，该函数可以是平方差之和和绝对差之和之一。
图18示出了其中实现了各种方面和实施例的***的示例的框图。
***1800可以体现为包括以下描述的各种组件的设备，并且被配置为执行本文档中描述的一个或多个方面。这种设备的示例包括但不限于各种电子设备，例如个人计算机、膝上型计算机、智能手机、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录***、连接的家用电器和服务器。***1800的元件可以单独或组合体现在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，***1800的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，***1800经由例如通信总线1940或通过专用输入和/或输出端口通信耦合到一个或多个其他***或其他电子设备。在各种实施例中，***1800被配置成实现本文档中描述的一个或多个方面。
***1800包括至少一个处理器1810，其被配置为执行加载在其中的指令，以用于实现例如本文档中描述的各个方面。处理器1810可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。***1800包括至少一个存储器1820(例如，易失性存储设备和/或非易失性存储设备)。***1800包括存储设备1840，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1840可以包括内部存储设备、附接存储设备(包括可拆卸和不可拆卸存储设备)和/或网络可访问存储设备。
***1800包括编码器/解码器模块1830，其被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块1830可以包括其自己的处理器和存储器。编码器/解码器模块1830表示可以被包括在设备中以执行编码和/或解码功能的(多个)模块。众所周知，设备可以包括编码和解码模块中的一个或两个。此外，编码器/解码器模块1830可以被实现为***1800的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合被并入在处理器1810内。待加载到处理器1810或编码器/解码器1830上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1840中，并且随后加载到存储器1820上以供处理器1810执行。根据各种实施例，处理器1810、存储器1820、存储设备1840和编码器/解码器模块1830中的一个或多个可以在执行本文档中描述的过程期间存储各种项目中的一个或多个。这种存储的项目可以包括但不限于输入视频、解码的视频或解码的视频的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。
在一些实施例中，处理器1810和/或编码器/解码器模块1830内部的存储器用于存储指令，并为编码或解码期间所需的处理提供工作存储器。然而，在其他实施例中，处理设备外部的存储器(例如，处理设备可以是处理器1810或编码器/解码器模块1830)用于这些功能中的一个或多个。外部存储器可以是存储器1820和/或存储设备1840，例如动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作***。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频编解码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指运动画面专家组，MPEG-2也被称为ISO/IEC 13818，并且13818-1也被称为H.222，并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频编解码，也被称为H.265和MPEG-H部分2)、或VVC(通用视频编解码，由JVET(联合视频专家组)开发的新标准)的工作存储器。
如块1930中所示，可以通过各种输入设备来提供对***1800的元件的输入。这样的输入设备包括但不限于：(i)接收例如由广播者通过空中发送的射频(RF)信号的RF部分，(ii)组件(COMP)输入端子(或一组COMP输入端子)，(iii)通用串行总线(USB)输入端子，和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图18中未示出的其它示例包括合成视频。
在各种实施例中，块1930的输入设备具有本领域已知的相关联的相应输入处理元件。例如，RF部分可以与适合于以下功能的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到频带)，(ii)下变换选择的信号，(iii)再次频带限制到较窄频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变换的和频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变换器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收的信号下变换到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发送的RF信号，并通过滤波、下变换和再次滤波到期望的频带来执行频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间***元件，诸如，例如***放大器和模数转换器。在各种实施例中，RF部分包括天线。
另外，USB和/或HDMI端子可以包括用于通过USB和/或HDMI连接将***1800连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面，例如里德-所罗门(Reed-Solomon)纠错，可以根据需要在例如单独的输入处理IC或处理器1810内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1810内实现。解调的、纠错的和解复用的流被提供给各种处理元件包括例如与存储器和存储元件组合操作的处理器1810和编码器/解码器1830，以根据需要处理数据流，以在输出设备上呈现。
***1800的各种元件可以设置在集成壳体内，在集成壳体内，各种元件可以使用合适的连接布置(例如本领域已知的内部总线1940(包括IC间(I2C)总线)、布线和印刷电路板)互连并在其间发送数据。
***1800包括能够经由通信信道1060与其他设备进行通信的通信接口1850。通信接口1850可以包括但不限于被配置为通过通信信道1860发送和接收数据的收发器。通信接口1850可以包括但不限于调制解调器或网卡，并且通信信道1860可以例如在有线和/或无线介质内实现。
在各种实施例中，使用无线网络(诸如Wi-Fi网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会))，将数据流式传输或以其他方式提供给***1800。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1860和通信接口1850来接收。这些实施例的通信信道1860通常连接到接入点或路由器，所述接入点或路由器提供对包括互联网的外部网络的接入以允许流式传输应用和其它过顶通信。其它实施例使用通过输入块1830的HDMI连接传递数据的机顶盒向***1800提供流式传输的数据。还有一些其它实施例使用输入块1830的RF连接向***1800提供流式传输的数据。如上所述，各种实施例以非流式传输的方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如蜂窝网络或蓝牙网络。
***1800可以向各种输出设备提供输出信号，所述输出设备包括显示器1900、扬声器1910和其他***设备1920。各种实施例的显示器1900包括例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器中的一者或多者。显示器1900可以用于电视、平板计算机、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器1900还可与其它组件集成(例如，如在智能电话中)，或单独(例如，用于膝上型计算机的外部监视器)。在实施例的各种示例中，其它***设备1920包括独立数字视频盘(或数字多功能盘)(对于这两项可简称为DVR)、盘播放器、立体声***和/或照明***中的一个或多个。各种实施例使用基于***1800的输出提供功能的一个或多个***设备1920。例如，盘播放器执行播放***1800的输出的功能。
在各种实施例中，使用诸如AV.链路、消费电子控制(CEC)、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议的信令在***1800和显示器1900、扬声器1910或其它***设备1920之间通信控制信号。输出设备可以通过相应接口1870、1880和1890经由专用连接通信地耦合到***1800。或者，输出设备可以使用通信信道1860经由通信接口1850连接到***1800。显示器1900和扬声器1910可以与***1800的其它组件一起集成在电子设备(诸如例如电视机)中的单个单元中。在各种实施例中，显示接口1870包括显示驱动器，诸如例如时序控制器(T Con)芯片。
例如，如果输入1930的RF部分是单独机顶盒的一部分，则显示器1900和扬声器1910可以备选地与其它组件中的一个或多个分离。在显示器1900和扬声器1910是外部组件的各种实施例中，输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。
这里描述的实现方式可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一实现方式形式的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现方式也可以以其他形式实现(例如，装置或程序)。装置可以用例如适当的硬件、软件和固件来实现。所述方法可以在例如诸如例如处理器的装置中实现，处理器通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(PDA)和便于终端用户之间的信息通信的其他设备。
根据本实施例的一方面，提供了一种用于视频编码的装置1800，该装置包括处理器1810和耦合到处理器的至少一个存储器1820、1840，处理器1810被配置为执行上述方法800、1600和/或1700的任何实施例。
根据本公开的一方面，提供了一种用于视频编码的装置，包括用于基于块的子块的邻近采样和运动补偿的参考子块的邻近采样来导出一个或多个照明补偿参数的部件；用于通过使用导出的一个或多个照明补偿参数在运动补偿的参考子块上应用照明补偿来导出预测子块的部件；以及用于使用预测子块来对子块进行编码的部件。图4、5的视频编码器可以包括该装置的结构或部件，特别是块470、475、571-575。用于视频编码的装置可以执行方法800和1600中任一个的任何实施例。
根据本公开的一方面，提供了一种用于视频解码的装置，包括用于基于块的子块的邻近采样和运动补偿的参考子块的邻近采样来导出一个或多个照明补偿参数的部件；用于通过使用导出的一个或多个照明补偿参数在运动补偿的参考子块上应用照明补偿来导出预测子块的部件；以及用于使用预测子块对子块进行编码的部件。图6、7的视频解码器可以包括该装置的结构或部件，特别是块670、571-574。用于视频解码的装置可以执行方法800和1700中任一个的任何实施例。
对于本领域技术人员来说显而易见的是，实现方式可以产生各种信号，这些信号被格式化以携带例如可以被存储或发送的信息。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以承载所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括，例如，对数据流进行编码和用编码的数据流调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可以通过各种不同的有线或无线链路发送。该信号可以存储在处理器可读介质上。
此外，方法800、1600和/或1700中的任何一个可以被实现为计算机程序产品(独立地或联合地)，其包括可以由处理器执行的计算机可执行指令。具有计算机可执行指令的计算机程序产品可以存储在***1800、编码器400(或500)和/或解码器600(或700)的相应暂时性或非暂时性计算机可读存储介质中。
重要的是要注意，在一些实施例中，过程800、1600和/或1700中的一个或多个元素可以被组合、以不同的顺序执行或者被排除，同时仍然实现本公开的方面。其他步骤可以并行执行，其中处理器在开始另一个步骤之前不等待一个步骤的完全完成。
此外，本实施例的方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。计算机可读存储介质可以采取计算机可读程序产品的形式，该计算机可读程序产品体现在一个或多个计算机可读介质中并且具有体现在其上的可由计算机执行的计算机可读程序代码。这里使用的计算机可读存储介质被认为是非暂时性存储介质，其具有在其中存储信息的固有能力以及从其中提供信息检索的固有能力。计算机可读存储介质可以是，例如，但不限于，电子的、磁的、光学的、电磁的、红外的或半导体的***、装置或设备，或前述的任何合适的组合。
应当理解，下面的列表虽然提供了可以应用本公开的计算机可读存储介质的更具体的示例，但是仅仅是说明性的而非穷举性的列表，如本领域普通技术人员容易理解的。示例的列表包括便携式计算机磁盘、硬盘、ROM、EPROM、闪存、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何合适的组合。
根据本公开的一方面，提供了一种携带软件程序的计算机可读存储介质，该软件程序包括用于执行本公开的任何方法(包括方法800、1600和/或1700)的任何实施例的程序代码指令。
应当理解，对本公开的“一个实施例”或“实施例”或“一个实现方式”或“实现方式”及其其他变型的引用意味着结合该实施例描述的特定特征、结构、特性等被包括在本公开的至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型不一定都指同一实施例。
另外，本公开或其权利要求可以指“确定”各种信息。确定、导出信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。
此外，本申请或其权利要求可以指“提供”各种信息。提供信息可以包括例如输出信息、存储信息、发送信息、传送信息、显示信息、示出信息或移动信息中的一个或多个。
此外，本申请或其权利要求可以指“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如从存储器)、存储信息、处理信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。
此外，本申请或其权利要求可以指“接收”各种信息。与“访问”一样，接收旨在是广义的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器)中的一个或多个。此外，“接收”通常以这样或那样的方式在诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间涉及。
应当理解，所示出和描述的各种特征是可互换的。除非另有说明，一个实施例中示出的特征可以结合到另一个实施例中。此外，各种实施例中描述的特征可以组合或分离，除非另外指出为不可分离或不可组合。
如前所述，附图中所示的各种元件的功能可以通过使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供。此外，当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些处理器可以被共享。
还应当理解，因为附图中描绘的一些组成***组件和方法优选地以软件实现，所以***组件或过程功能块之间的实际连接可以根据本公开的过程被编程的方式而不同。鉴于本文的教导，相关领域的普通技术人员将能够设想本公开的这些和类似的实现方式或配置。
尽管这里已经参考附图描述了说明性实施例，但是应当理解，本公开不限于那些精确的实施例，并且相关领域的普通技术人员可以在不脱离本公开的范围的情况下在其中实现各种改变和修改。此外，在不脱离本公开的范围的情况下，可以组合各个实施例。所有这些变化和修改都旨在包括在如所附权利要求中阐述的本公开的范围内。
应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下，使用以下“/”、“和/或”以及“中的至少一个”中的任何一个旨在涵盖仅选择第一个列出的选项(A)、或仅选择第二个列出的选项(B)、或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措词旨在涵盖仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员显而易见的，这可以扩展到所列出的许多项目。
对于本领域技术人员来说显而易见的是，实现方式可以产生各种信号，这些信号被格式化以携带例如可以被存储或发送的信息。该信息可以包括例如用于执行方法的指令，或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化以承载所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括，例如，对数据流进行编码和用编码的数据流调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可以通过各种不同的有线或无线链路发送。该信号可以存储在处理器可读介质上。

Claims (14)

1.一种用于对视频的块进行编码的方法，包括：
基于与所述块的被称为当前子块的子块邻近的采样和与所述当前子块的运动补偿的参考子块邻近的采样，导出一个或多个照明补偿参数；
通过使用导出的所述一个或多个照明补偿参数在所述运动补偿的参考子块上应用照明补偿来导出预测子块；以及
使用所述预测子块对所述当前子块进行编码。
2.一种用于对视频的块进行解码的方法，包括：
基于与所述块的被称为当前子块的子块邻近的采样和与所述当前子块的运动补偿的参考子块邻近的采样，导出一个或多个照明补偿参数；
通过使用导出的所述一个或多个照明补偿参数在所述运动补偿的参考子块上应用照明补偿来导出预测子块；以及
使用所述预测子块对所述当前子块进行解码。
3.一种用于对视频的块进行编码的装置，包括用于以下操作的部件：
基于与所述块的被称为当前子块的子块邻近的采样和与所述当前子块的运动补偿的参考子块邻近的采样，导出一个或多个照明补偿参数；
通过使用导出的所述一个或多个照明补偿参数在所述运动补偿的参考子块上应用照明补偿来导出预测子块；以及
使用所述预测子块对所述当前子块进行编码。
4.一种用于对视频的块进行解码的装置，包括用于以下操作的部件：
基于与所述块的被称为当前子块的子块邻近的采样和与所述当前子块的运动补偿的参考子块邻近的采样，导出一个或多个照明补偿参数；
通过使用导出的所述一个或多个照明补偿参数在所述运动补偿的参考子块上应用照明补偿来导出预测子块；以及
使用所述预测子块对所述当前子块进行解码。
5.根据权利要求1或2中任一项所述的方法或根据权利要求3或4中任一项所述的装置，其中使用预测子块对同一块的多个子块进行编码，对所述子块进行编码或解码包括对从子块和相关联的预测子块导出的每个残差应用一个单独的变换。
6.根据权利要求1或2、5中任一项所述的方法或根据权利要求3-5中任一项所述的装置，其中所述当前子块的邻近采样是在所述块内部的采样。
7.根据权利要求1或2中任一项所述的方法或根据权利要求3或4中任一项所述的装置，其中对所述子块进行编码或解码包括对从所述子块和所述预测子块导出的预测残差导出的预测残差应用一个单一变换。
8.根据权利要求7所述的方法或装置，其中所述当前子块的一个或多个邻近采样是在所述块外部的采样。
9.根据权利要求7或8所述的方法或装置，其中所述子块的所述邻近采样和预测子块仅由至少一个另外的预测子块的采样形成。
10.根据权利要求1、2、5-9中任一项所述的方法或根据权利要求3-9中任一项所述的装置，其中子块的邻近采样和预测子块由在所述块外部的采样和在所述块内部的至少一个另外的预测子块的采样形成。
11.根据权利要求1、2、5-10中任一项所述的方法或根据权利要求3-10中任一项所述的装置，其中一个或多个照明补偿参数是从在所述块的子块的子集内部的邻近采样导出的。
12.一种非暂时性计算机可读存储介质，其上存储有用于根据权利要求1、2和5-11中任一项所述的方法对视频的块进行编码或解码的指令。
13.一种包含根据任何前述权利要求的方法或装置生成的画面数据内容的非暂时性计算机可读介质。
14.一种计算机程序产品，包括用于在由一个或多个处理器执行时执行权利要求1、2和5-11中任一项所述的方法的指令。
CN202080042838.0A 2019-06-12 2020-04-24 用于基于照明补偿对块进行编码和解码的方法和装置 Pending CN113994693A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19305745.2A EP3751853A1 (en) 2019-06-12 2019-06-12 Method and apparatus for encoding a block and decoding based on illumination compensation
EP19305745.2 2019-06-12
PCT/US2020/029734 WO2020251660A1 (en) 2019-06-12 2020-04-24 Method and apparatus for encoding a block and decoding based on illumination compensation

Publications (1)

Publication Number Publication Date
CN113994693A true CN113994693A (zh) 2022-01-28

Family

ID=67003397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080042838.0A Pending CN113994693A (zh) 2019-06-12 2020-04-24 用于基于照明补偿对块进行编码和解码的方法和装置

Country Status (6)

Country Link
US (1) US20220303570A1 (zh)
EP (2) EP3751853A1 (zh)
JP (1) JP2022537490A (zh)
CN (1) CN113994693A (zh)
MX (1) MX2021015258A (zh)
WO (1) WO2020251660A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译***中基于照度补偿预测块的方法和设备
EP3468193A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for adaptive illumination compensation in video encoding and decoding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
US9667942B2 (en) * 2012-11-20 2017-05-30 Qualcomm Incorporated Adaptive luminance compensation in three dimensional video coding
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译***中基于照度补偿预测块的方法和设备
EP3468193A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for adaptive illumination compensation in video encoding and decoding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PHILIPPE BORDES等: "CE10: LIC confined within current CTU (test 10.5.3)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019，JVET-M0112-V1, 18 January 2019 (2019-01-18), pages 1 - 3 *
YIN ZHAO等: "CE6: Sub-block transform for inter blocks (CE6.4.1)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019，JVET-M0140-V3, 18 January 2019 (2019-01-18), pages 1 - 18, XP030202317 *

Also Published As

Publication number Publication date
EP3751853A1 (en) 2020-12-16
MX2021015258A (es) 2022-01-24
EP3984226A1 (en) 2022-04-20
JP2022537490A (ja) 2022-08-26
US20220303570A1 (en) 2022-09-22
WO2020251660A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
CN112970264A (zh) 基于相邻样本相关参数模型的译码模式的简化
CN113678438A (zh) 采用子分区的宽角度帧内预测
CN114208178A (zh) 用于视频编码和解码的二次变换
CN114270841A (zh) 视频编解码的色度量化参数(qp)推导
US20240089437A1 (en) Chroma quantization parameter adjustment in video encoding and decoding
CN113632466A (zh) 视频数据的帧间-帧内预测模式
WO2020185492A1 (en) Transform selection and signaling for video encoding or decoding
CN114402593A (zh) 用于视频编码和解码的帧内预测
US20220360767A1 (en) Method and apparatus for coding/decoding picture data
US20220312041A1 (en) Method and apparatus for signaling decoding data using high level syntax elements
US20220303570A1 (en) Method and apparatus for encoding a block and decoding based on illumination compensation
US20230232045A1 (en) Scaling process for joint chroma coded blocks
WO2022028855A1 (en) Combining abt with vvc sub-block-based coding tools
KR20210074388A (ko) 코딩 유형 또는 코딩 트리 유형의 시그널링을 이용한 비디오 인코딩 및 디코딩을 위한 방법 및 장치
EP4035367A1 (en) Video encoding and decoding using block area based quantization matrices
EP3994883A1 (en) Chroma format dependent quantization matrices for video encoding and decoding
CN117501692A (zh) 用于视频编码和解码的模板匹配预测
CN117616750A (zh) 基于模板的帧内模式推导

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination