CN112385226A - 视频编码中的照度补偿 - Google Patents

视频编码中的照度补偿 Download PDF

Info

Publication number
CN112385226A
CN112385226A CN201980041359.4A CN201980041359A CN112385226A CN 112385226 A CN112385226 A CN 112385226A CN 201980041359 A CN201980041359 A CN 201980041359A CN 112385226 A CN112385226 A CN 112385226A
Authority
CN
China
Prior art keywords
current block
parameter
illumination compensation
block
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980041359.4A
Other languages
English (en)
Inventor
F.加尔平
Y.陈
P.博德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18306160.5A external-priority patent/EP3618443A1/en
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN112385226A publication Critical patent/CN112385226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于对图片的当前块进行解码的方法。首先，响应于当前块的参数与值的比较而对当前块的至少一个照度补偿参数进行解码。然后，响应于所述至少一个照度补偿参数而在照度中补偿所访问的运动补偿参考块。最后，从照度和运动补偿参考块重建当前块。

Description

视频编码中的照度补偿
技术领域
本实施例一般而言涉及用于视频编码或解码的方法和装置，并且更具体地涉及用于使用基于块的照度补偿(IC)的视频编码或解码的方法和装置。
背景技术
为了实现高压缩效率，图像和视频译码方案通常采用预测和变换来充分利用视频内容中的空间和时间冗余性。一般而言，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始图像块与预测图像块之间的差异(常常表示为预测误差或预测残差)进行变换、量化和熵译码。在编码期间，通常可能使用四叉树分割(partitioning)将原始图像块分割/拆分为子块。为了重建视频，通过与预测、变换、量化和熵译码对应的逆处理来对压缩数据进行解码。
发明内容
根据一个总体方面，公开了一种用于对图片的当前块进行解码的方法。该方法包括：
访问运动补偿参考块；
响应于当前块的参数与值的比较而解码当前块的至少一个照度补偿参数；
响应于所述至少一个照度补偿参数而补偿运动补偿参考块的照度；并且
从照度和运动补偿参考块重建当前块。
根据另一个总体方面，公开了一种装置，该装置包括一个或多个处理器，处理器被配置为执行：
访问运动补偿参考块；
响应于当前块的参数与值的比较而解码图片的当前块的至少一个照度补偿参数；
响应于所述至少一个照度补偿参数而补偿运动补偿参考块的照度；并且
从照度和运动补偿参考块重建当前块。
根据另一个总体方面，公开了一种装置，该装置包括：
用于访问运动补偿参考块的部件；
用于响应于当前块的参数与值的比较而对图片的当前块的至少一个照度补偿参数进行解码的部件；
用于响应于所述至少一个照度补偿参数而补偿运动补偿参考块的照度的部件；以及
用于从照度和运动补偿参考块重建当前块的部件。
根据另一个总体方面，公开了一种用于对图片的当前块进行编码的方法。该方法包括：
访问运动补偿参考块；
响应于当前块的参数与值的比较而对当前块的至少一个照度补偿参数进行编码；
响应于所述至少一个照度补偿参数而补偿运动补偿参考块的照度；并且
从照度和运动补偿参考块对当前块进行编码。
根据另一个总体方面，公开了一种装置，该装置包括一个或多个处理器，处理器被配置为执行：
访问运动补偿参考块；
响应于当前块的参数与值的比较而对图片的当前块的至少一个照度补偿参数进行编码；
响应于所述至少一个照度补偿参数而补偿运动补偿参考块的照度；并且
从照度和运动补偿参考块对当前块进行编码。
根据另一个总体方面，公开了一种装置，该装置包括：
用于访问运动补偿参考块的部件；
用于响应于当前块的参数与值的比较而对图片的当前块的至少一个照度补偿参数进行编码的部件；
用于响应于所述至少一个照度补偿参数而补偿运动补偿参考块的照度的部件；以及
用于从照度和运动补偿参考块对当前块进行编码的部件。
给出的实施例中的一个或多个还提供了一种计算机可读存储介质，其上存储有根据上述任何方法的至少一部分用于对视频数据进行编码或解码的指令。一个或多个实施例还提供了一种计算机可读存储介质，其上存储有根据上述编码方法生成的比特流。一个或多个实施例还提供了一种用于发送或接收根据上述编码方法生成的比特流的方法和装置。一个或多个实施例还提供了一种计算机程序产品，该计算机程序产品包括用于执行上述任何方法的至少一部分的指令。
附图说明
图1图示了通过将参考图片中的L形与当前块的L形进行比较的照度补偿参数的推导；
图2图示了通过将重建的邻近样点的集合(L-shape-cur)与用于重建这些邻近样点的预测样点进行比较的照度补偿参数推导；
图3图示了通过比较参考图片的L形在双向预测的情况下的照度补偿参数推导；
图4A描绘了根据一个实施例的解码方法的流程图；
图4B描绘了根据一个实施例的编码方法的流程图；
图5A和5B描绘了根据不同实施例的解码方法的一部分的流程图；
图6A是图示分层图片深度的图示示例；
图6B是图示译码树深度的图示示例；
图7描绘了根据一个实施例的用于译码模式确定和编码的方法的流程图；
图8图示了视频编码器的实施例的框图；
图9图示了视频解码器的实施例的框图；以及
图10图示了可以在其中实现给出的实施例的各方面的***的框图。
具体实施方式
在帧间模式下，IC允许通过考虑空间或时间局部照度变化来校正经由运动补偿(MC)获得的块预测样点。
可以使用重建的邻近样点或使用两个参考块的样点进行双向预测来估计IC参数。传统上，在比特流中按译码单元(CU)对标志进行编码，以指示当前CU是否使用IC。例如，可以在合并(Merge)模式下从邻近的(一个或多个)CU推断这个标志。
至少一个实施例提议不根据序列、图片或条带报头中用信令通知的某些条件来对这个标志进行编码。
在帧间模式下，IC允许通过考虑空间或时间局部照度变化来校正经由运动补偿(MC)获得的块预测样点。一般而言，IC使用简单的线性模型(等式1)修改MC参考样点xi，其中(ai,shi,bi)是与当前块相关联的参考-i块的IC参数(i＝0或1，通常用于启用单向或双向预测的编解码器)：
Predi＝(ai*xi>>shi)+bi (1)
可以使用几种方法来导出IC参数，诸如下面公开的三种方法。
在第一种方法中，可以通过将重建的邻近样点的集合S(L形-当前，L-shape-cur)与参考-i块的邻近样点的对应集合(L形-参考i，L-shape-ref-i)进行比较来估计IC参数(i＝0或1)，如图1中所描绘的。通过最小化L-shape-cur中的样点与用IC参数校正的L-shape-ref-i中的样点之间的差异(最小二乘法)来获得IC参数(等式2)。通常，参数a和b是通过解析编码器处(和解码器处)的L形上的最小二乘最小化导出的：
Figure BDA0002845678910000041
由于(a,b)是整数，因此以期望的(a)的数值精度确定移位(sh)的值。
在第二种方法中，可以通过将重建的邻近样点的集合S(L-shape-cur)与用于重建这些邻近样点的预测样点进行比较来估计IC参数。如果应用了IC，那么在CU重建处理期间计算几个IC参数并将其存储在映射中，以供邻近的CU稍后使用(图2)。由于有多个邻居可用，因此执行修剪以仅考虑邻居间，并为与当前CU使用相同参考帧进行预测的邻居赋予更高的优先级。
在第三种方法中，在双向预测的情况下IC参数的推导可以基于两个运动补偿的块参考0(ref-0)和参考1(ref-1)的样点(x0,x1)，而不是基于重建的样点邻居。这可以分两步完成。首先，确定ref-1(time-1/poc-1)与ref-0(time-0/poc-0)之间的照度改变的IC时间模型。Poc代表“图片顺序计数(Picture Order Count)”。例如，除了所使用的样点的集合S不是L-shape-ref0和L-shape-cur而是整个块ref-1和块ref-0之外，可以像方法1中那样通过计算ref-1与ref-0之间的IC参数(a,b)来完成此操作。接下来，补偿块ref-0与当前块之间的照度的IC参数(a0,b0)以及补偿块ref-1与当前块之间的照度的IC参数(a1,b1)都从这个IC时间模型导出(图3)。
在第四种方法中，使用经典的率失真优化(rate-distortion optimization，RDO)进行双向预测的情况下IC参数的推导，其中(a)的可能值是从预定的权重和偏移的表中选择的。在CU级别对权重(GBi)的索引进行编码。在变体中，偏移(b)始终为零。表1中给出了(a)和(sh)的预定值的示例。这种技术也称为“通用双向预测”(generalized bi-prediction，GBP)，并且IC_Enable_Flag和IC_flag为GBP_Enable_Flag和GBP_flag。
权重值 w 移位
-1/4 -1 2
1/4 1 2
3/8 3 3
1/2 1 1
5/8 5 3
3/4 3 2
5/4 5 2
表1：(a)的预定值的示例
当启用IC时，至少一个实施例限制译码成本的增加。这可以在序列和/或图片/条带报头中通过标志(例如，IC_Enable_Flag)进行指示。当启用IC(IC_Enable_Flag为真(true)或等于1)时，在每个CU的比特流中对IC标志(例如，IC_flag)进行编码以指示IC是否适用于当前CU。作为示例，在IC_flag等于真(true)或等于1的情况下，IC适用于当前CU。否则(IC_flag等于假(false)或等于0)，IC不适用于当前CU。因此，这增加了译码成本。
在序列中的照度改变仅由于例如闪光而仅限于少量图片的情况下，至少一个实施例限制译码成本的增加。实际上，当这些图片在重建处理中用作参考时，IC可以是高效的，但是如果图片中没有照度改变，那么IC的效率会较低(或没有效率)。
为了降低IC标志的译码成本，无论针对当前条带还是当前图片启用IC，一位(或标志)都可以在序列或条带报头中用信令通知。但是，如果当前图片使用多个参考图片，并且与当前图片相比，这些参考图片中只有一个具有照度改变，那么IC标志的译码会适得其反。实际上，需要为CU编码IC标志，该CU是使用与当前图片相比而言照度没有改变的其它参考图片来单向预测的。在后一种情况下，由于译码的IC标志几乎总是为假(false)，因此译码成本不必要地增加。相反，如果条带报头指示IC被禁用，那么这将降低使用具有照度改变的参考图片的CU的译码效率。
可以添加IC标志的存在的一些条件。例如，在合并模式的情况下，IC标志不会被译码，而是从邻近CU继承IC标志。这些条件还可以取决于当前CU的尺寸和由邻居使用的译码模式。这些条件可以适用于整个序列和所有条带。
至少一个第一实施例提议在序列、图片或条带报头中用信令通知比特流中的CU级别存在IC标志的一些条件。条件可以随条带(例如，条带报头)、图片(例如，图片报头)、图片的组(例如，图片参数集-PPS)或序列(例如，序列报头或序列参数集-SPS)而改变。
在至少一个第二实施例中，条件可以与用于帧间预测的参考图片相关。在至少一个第二实施例中，IC标志的存在和/或应用取决于另一个CU参数，诸如：组件(例如，仅对亮度启用IC，而对色度禁用IC)、(一个或多个)参考索引值、CU尺寸、CU深度(也称为译码树深度)、也称为时间ID的图片分层深度或图片时间指示符(例如，HEVC中的“nuh_temporal_id_plus1”)。分层图片深度为D的图片的译码单元以“帧间”模式进行译码，其预测可以仅用来自具有DR<D的分层图片深度DR的重建图片的参考样点建立。例如，分层图片深度可以是图片的时间id。
第一和第二实施例可以组合或分开应用。可以在比特流中(例如，在序列、图片或条带报头中)隐式或显式地用信令通知应用第二实施例而不应用第一实施例。
图4A描绘了根据一个实施例的解码方法的流程图。
该方法开始于步骤S40。解码装置(即，图9所描绘的装置)访问运动补偿参考块(S42)。解码装置从比特流中解码(S44)针对要解码的当前块的至少一个照度补偿参数，例如IC_flag。至少一个照度补偿参数根据一个或多个条件被解码。关于图5A、5B、6A和6B公开了几个实施例。
在实施例中，响应于所述当前块的参数(例如，CU的尺寸)与值的比较而对至少一个照度补偿参数进行解码。在实施例中，仅在所述当前块的参数验证条件(例如，其大于、等于或小于给定值)的情况下才对至少一个照度补偿参数进行解码。
有可能响应于至少一个照度补偿参数而在照度中补偿运动补偿参考块(S46)。在一个实施例中，在IC_flag为真(true)的情况下，在照度中补偿运动补偿参考块。否则(IC_flag为假(false))，不在照度中补偿运动补偿参考块。
从运动补偿参考块重建当前块(S48)，该运动补偿参考块也可能在照度中得到补偿。为此目的，从比特流中对残差块进行解码并将其添加(在逆量化和逆变换之后)到运动和照度补偿块。
该方法在S50处结束。
图4B描绘了根据一个实施例的编码方法的流程图。
该方法开始于步骤S52。编码装置(即，图8所描绘的装置)访问运动补偿参考块(S54)。
编码装置在比特流中编码(S56)用于要编码的当前块的至少一个照度补偿参数，例如IC_flag。至少一个照度补偿参数是根据一个或多个条件被编码的。关于图5A、5B、6A和6B公开了几个实施例。
在实施例中，响应于所述当前块的参数(例如，CU的尺寸)与值的比较而对至少一个照度补偿参数进行编码。在实施例中，仅在所述当前块的参数(例如，CU的尺寸)验证条件(例如，CU的尺寸大于、等于或小于给定值)的情况下才对至少一个照度补偿参数进行编码。
有可能响应于至少一个照度补偿参数而在照度中补偿运动补偿参考块(S58)。在一个实施例中，在IC_flag为真(true)的情况下，在照度中补偿运动补偿参考块。否则(IC_flag为假(false))，不在照度中补偿运动补偿参考块。
从运动补偿参考块对当前块进行编码(S60)，该运动补偿参考块也可能在照度中被补偿。为此目的，通过从当前块减去运动和照度补偿块来获得残差块。残差块在比特流中被熵译码之前被量化和变换。
该方法在S62处结束。
在适用于编码器侧和解码器侧两者的一个实施例中，条件与用于帧间预测的参考图片相关。在条带报头(图5A的600)中，标志的集合指示可以用于启用IC译码的CU的参考索引(ref_idx)的集合(IC标志设置为真(true))。针对当前CU对模式进行解码(610)。
例如，如果当前条带在列表0(list-0)(L0)中有两个参考图片并且在列表1(list-1)(L1)中有两个参考图片，那么在条带报头中对4个标志(flag_Li_Rj)进行译码，每个参考一个标志(参见表2)：
表2：其中对4个标志“flag_Li_Rj”进行译码的示例。
Figure BDA0002845678910000081
-“flag_Li_Rj＝1”指示将ref_idx＝Rj用于列表Li的帧间模式下的至少一个CU具有等于1的译码的IC_flag。当列表Li的ref_idx＝Rj时，IC_flag被译码(650，660)。
-“flag_Li_Rj＝0”指示将ref_idx＝Rj用于列表Li的帧间模式下不存在CU具有译码的IC_flag值等于1。因此，如果一个CU将ref_idx＝Rj用于列表Li(630)，那么不对IC_flag进行译码，即，其不存在于比特流中(640)，并且将IC_flag的值推断为零(参见图5A中的660)。
在变体中，没有标志“flag_Li_Rj”被译码，在这种情况下，仅在参考图片索引(或者L0或者L1中)是列表的第一个的情况下，比特流中才存在IC_flag，即，ref_idx＝0。
该方法对条带中的CU循环。
在变体中，除了在合并和/或跳过模式下之外，“flag_Li_Rj”的值调节在帧间模式下译码的所有CU(620)。例如，如果CU在合并模式下被译码并且用于列表Li的ref_idx＝Rj且flag_Li_Rj＝0，那么IC_flag仍被译码。
在另一个变体中，“flag_Li_Rj”的值仅调节在双向预测中译码的所有CU。在变体中，在条带报头中译码的4个标志(flag_Ri_Rj)与ref_idx值的组合对应(参见表3)：
表3：其中对4个标志“flag_Li_Rj”进行译码的示例。
L0 ref_idx＝0 ref_idx＝0 ref_idx＝1 ref_idx＝1
L1 ref_idx＝0 ref_idx＝1 ref_idx＝0 ref_idx＝1
flag_R0_R0 flag_R0_R1 flag_R1_R0 flag_R1_R1
-“flag_Ri_Rj＝1”指示将ref_idx＝Ri用于列表0并将ref_idx＝Rj用于列表1的帧间模式下的至少一个CU的译码的IC_flag等于1。当列表0的ref_idx＝Ri并且列表1的ref_idx＝Rj时，对IC_flag进行译码(650，660)。
-“flag_Ri_Rj＝0”指示将ref_idx＝Ri用于列表0并将ref_idx＝Rj用于列表1的帧间模式下不存在CU具有译码的IC_flag等于1。相应地，如果一个CU对于列表0具有ref_idx＝Ri并且对于列表1具有ref_idx＝Rj(630)，那么不对IC_flag进行译码(640)并且将IC_flag的值推断为零(参见图5A中的660)。
如在JVET参考软件(JEM)中一样，当在IC_flag之前对ref_idx[0]和ref_idx[1]进行译码时，这个实施例适用。
在变体中，如果ref_idx[0]和ref_idx[1]中的至少一个非零，那么IC_flag始终为零。在这种情况下，如果IC_flag在ref_idx[0]和ref_idx[1]之前被解析并且如果IC_flag为真(true)，那么ref_idx[0]和ref_idx[1]不会被译码并且都推断为零。
在另一个变体中，语法元素ref_idx[0]和ref_idx[1]首先被译码，但是当ref_idx[0]和ref_idx[1]中的至少一个非零时，不对IC_flag进行译码并将其推断为等于零。
在另一个实施例中，条件与CU尺寸相关。在条带或图片(例如，PPS)报头中，代表最小(或最大)CU尺寸(例如，宽度、高度、宽度和高度、宽度/CTU尺寸、log2(宽度)等)的一个或几个值被译码并在解析CU参数期间被进一步使用，以确定对于当前CU是否存在IC_flag(参见图5B)。在图5B上，与图5A的模块完全相同的模块用相同的附图标记来识别。
例如，如果条件是CUsize＝16，那么仅在CU尺寸优于(或劣于)CUsize的情况下才在比特流中对IC_flag进行译码，即，存在于比特流中(635)。否则，IC_flag被推断为等于零。当CU的宽度和/或CU的高度大于CUsize时，CU的尺寸被认为大于CUsize。在变体中，块的CU尺寸可以等于MIN(cuWidth，cuHeight)或MAX(cuWidth，cuHeight)。CUsize可以在SPS、PPS或条带报头中被译码。
实际上，对于更大尺寸的CU，IC的好处更多。通过不为小尺寸的CU译码IC_flag来节省位(bit)。此外，在分层译码的情况下(图6A)，与更高分层的条带(分层图片深度或时间id的低值)相比，一般更低分层的B条带(分层图片深度或时间id的高值)用非常少的位来译码。例如，在图6A上，一般以比图片4的B条带更少的位来译码图片3的B条带。因此，可以通过例如将用于CU的IC_flag的存在调节到CU所属的条带的图片分层深度或者通过将关于CU尺寸的条件适配到图片分层深度来提高译码效率。
为此目的，在一个实施例中，IC_flag存在于属于其图片分层深度小于定义的值的图片的CU的比特流中(即，被译码和解码)。这个定义的值可以在比特流中被译码，例如，在序列报头(SPS)或图片报头(PPS)中。
在变体中，当图片的分层深度(图6A)小于某个值(例如，定义的阈值)时，在属于这个图片的当前条带中启用IC(例如，IC_Enable_Flag为真(true))，并且IC标志以CU级别存在。
在另一个变体中，当图片的分层深度(图6A)大于某个值(例如，定义的阈值)时，在属于这个图片的当前条带中启用IC(例如，IC_Enable_Flag为真(true))，并且在CU尺寸大于CUsize的情况下，IC_flag以CU级别存在于比特流中。
在另一个变体中，当IC_Enable_Flag为真(true)时，“CUsize”的值是分层图片深度s3的函数(例如，如果s3<3，那么CUsize＝16，如果s3>＝3，那么CUsize＝32)。当图片的分层深度(图6A)大于(或小于)值T(例如，定义的阈值)时，在属于这个图片的当前条带中启用IC(例如，推断IC_Enable_Flag为真(true))，并且在CU尺寸大于CUsize(T)的情况下，IC_flag以CU级别存在于比特流中。作为示例，CUsize(T)是T的递增函数。T的值可以在SPS中或PPS中被译码。
在另一个实施例中，在当前CU具有大于值S的译码树深度时，IC标志不被译码而是被推断为零。可以在SPS、PPS或条带报头中对S进行译码。译码树深度(也称为CU深度)是指译码单元在其所属的译码树中的深度，如图6B所示。
在下文中，我们将“CU深度”称为达到当前CU叶之前的拆分数。
关于图5A、5B、6A和6B公开的所有实施例都适用于编码和解码侧。
在应用于编码器侧的另一个实施例中，在图7中描绘了条件参数的确定。传统上，编码器处理可以被划分为两个主要阶段：
1)确定所有CU的译码模式(参见710、720)：
通过计算译码成本来评估每种译码模式(710)。通常，译码成本是失真和用于对CU进行译码的位数的函数，例如诸如拉格朗日(Lagrangian)。
最终选择(720)具有较低译码成本的译码模式(715)并且接下来将其用于对当前CU进行编码(760)。
2)比特流的熵译码和构建(参见750、760、780)：
条件参数在(745)中被更新并且在比特流中被编码(750)。对于每个CU，
包括在(720)中选择的译码模式的译码参数在比特流中被译码(760)。
如果条件参数指示存在IC_flag，那么对IC_flag的值进行译码(780)。
这两个阶段可以顺序实现(对于条带/图片中的所有CU的阶段1，接下来对于条带/图片中的所有CU的阶段2)或嵌套在一起(对于每个CU嵌套的阶段1和阶段2)。在所有情况下(无论是否嵌套)，都将累积先前的条带/图片的统计信息并使其可用于当前条带/图片。首先(700)，将条件参数重置为默认值，即，对IC_flag译码条件没有限制。例如，这与将表2或表3中的所有标志设置为等于1对应。
在第一阶段(译码模式的确定)，收集条件参数的统计信息。例如，在双向预测中，计数IC_flag等于1且ref_idx[L0]和ref_idx[L1]都等于0的CU的数量(count_00)(参见表4)。
表4：其中计数双向预测参考索引的示例(统计信息)。
L0 ref_idx＝0 ref_idx＝0 ref_idx＝1 ref_idx＝1
L1 ref_idx＝0 ref_idx＝1 ref_idx＝0 ref_idx＝1
Count_00 Count_01 Count_10 Count_11
在这个阶段，由于条件标志已被重置为默认值，因此对于以帧间模式译码的CU始终存在IC_flag(730)。在变体中，除了合并和跳过情况之外，对于以帧间模式译码的CU，IC_flag总是存在并且步骤(730)始终为真(true)。
接下来，将条件标志设置为依赖于(745)所收集的统计信息的值(740)。例如，如果count_ij为零，那么将flag_Ri_Rj的值设置为0，而如果count_ij>0，那么将flag_Ri_Rj的值设置为1。
在第二阶段(比特流译码)中，对于每个CU，如果条件标志指示存在IC_flag，那么对IC_flag进行译码(770)，否则将其推断为零(未译码)。例如，如果ref_idx[L0]＝0和ref_idx[L1]＝0并且flag_R0_R0＝0，那么不对IC_flag进行译码。如果ref_idx[L0]＝0和ref_idx[L1]＝0并且flag_R0_R0＝1，那么对IC_flag进行译码。
对于后续的条带，在阶段1中，可以使用为先前的条带(PS)或先前的图片收集的统计信息来导出“IC标志”的存在(735)。有利的是，可以选择PS作为具有小于当前条带分层深度(或时间id)的分层深度(或时间id)的最接近的(与当前条带的“poc”具有“poc”值的最小差异)先前条带。
如果在PS中启用IC的CU或样点的数量小于阈值，那么在阶段1禁用当前条带的IC标志。在变体中，如果估计的在PS中启用IC与在PS中禁用IC的BD比率增益小于阈值，那么在阶段1禁用当前条带的IC标志。
本文档描述了包括工具、特征、实施例、模型、方法等在内的各种方面。这些方面中的许多是专门描述的，并且至少是为了示出各个特点，并且常常以听起来可能受到限制的方式来描述。但是，这是为了描述的清楚，并且不限制那些方面的应用或范围。实际上，所有不同方面都可以组合和互换以提供另外的方面。而且，这些方面也可以与先前申请中所述的方面进行组合和互换。
本文档中描述和设想的方面可以以许多不同的形式实现。下面的图8、9和10提供了一些实施例，但是可以设想其它实施例，并且对图8、9和10的讨论不限制实施方式的广度。这些方面中的至少一个方面一般而言涉及视频编码和解码，并且至少一个其它方面一般而言涉及传输所生成或编码的比特流。这些和其它方面可以被实现为方法、装置、其上存储有用于根据所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重建的”和“解码的”可以互换使用，术语“像素”和“样点”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常但不是必需，术语“重建的”在编码器侧使用，而“解码的”在解码器侧使用。
本文描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作要求步骤或动作的特定次序，否则可以修改或组合特定步骤和/或动作的次序和/或使用。
本文档中描述的各种方法和其它方面可以被用于修改视频编码器100和解码器200的模块，例如，照度补偿模块(190、290)、熵编码和/或解码模块(230、145)，如图8和图9中所示。而且，本方面不限于VVC或HEVC，并且可以应用于例如其它标准和建议(无论是预先存在的还是将来开发的)，以及任何此类标准和建议的扩展(包括VVC和HEVC)。除非另有指示或技术上被禁止，否则本文档中描述的各个方面可以单独使用或组合使用。
本文档中使用了各种数值。特定值是出于示例目的，并且所描述的方面不限于这些特定值。
图8图示了编码器100。这种编码器100的变化是预期的，但是为了清楚起见，下面描述编码器100，而没有描述所有预期的变化。
在被编码之前，视频序列可以通过预编码(pre-encoding)处理(101)，例如，对输入的彩色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入的图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)。元数据可以与预处理相关联，并附加到比特流。
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位对要编码的图片进行分割(102)和处理。使用例如或者帧内或者帧间模式对每个单元进行编码。当单元以帧内模式编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)、运动补偿(170)和照度补偿(190)。编码器决定(105)使用帧内模式或帧间模式中的哪一个对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如通过从原始图像块减去(110)预测的块来计算预测残差。
然后对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动向量和其它语法元素进行熵译码(145)以输出比特流。更具体而言，在图7中详细描述了模块145。编码器可以跳过变换并将量化直接应用于未变换的残差信号。编码器可以绕过变换和量化两者，即，残差被直接译码而无需应用变换或量化处理。
编码器对编码的块进行解码，以便为进一步的预测提供参考。对量化的变换系数进行去量化(140)并进行逆变换(150)以解码预测残差。通过组合(155)解码的预测残差和预测的块，重建图像块。环路滤波器(165)被应用于重建的图片以执行例如去方块/SAO(样本自适应偏移)滤波以减少编码伪像。经滤波的图像被存储在参考图片缓冲器(180)中。
图9图示了视频解码器200的框图。在解码器200中，如下所述，由解码器元件对比特流进行解码。视频解码器200一般执行与如图8中所述的编码处理(pass)对应的解码处理。编码器100一般还执行视频解码，作为对视频数据进行编码的一部分。
特别地，解码器的输入包括视频比特流，其可以由视频编码器100生成。首先对比特流进行熵解码(230)，以获得变换系数、运动矢量和其它译码的信息。更具体而言，在图5A中详细描述了模块230的一部分。
图片分割信息指示图片如何被分割。因此，解码器可以根据解码后的图片分割信息来划分(235)图片。对变换系数进行去量化(240)和逆变换(250)以解码预测残差。组合(255)解码的预测残差和预测块，重建图像块。可以从帧内预测(260)或运动和照度补偿的预测(即，帧间预测)(275、290)获得(270)预测块。注意的是，照度补偿模块190(编码器)和290(解码器)完全相同。环路滤波器(265)被应用于重建的图像。经滤波的图像被存储在参考图片缓冲器(280)中。
解码的图片还可以经历解码后处理(285)，例如，执行在预编码处理(101)中执行的重新映射处理的逆的逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或逆重新映射。解码后处理可以使用在预编码处理中导出并在比特流中用信令通知的元数据。
图10图示了其中实现各个方面和实施例的***的示例的框图。***1000可以被实施为包括以下描述的各种组件的设备，并且被配置为执行本文档中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录***、连网的家用电器，以及服务器。***1000的元件可以单独或组合地实施在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，***1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，***1000经由例如通信总线或通过专用输入和/或输出端口通信耦合到其它类似***或其它电子设备。在各种实施例中，***1000被配置为实现本文档中描述的一个或多个方面。
***1000包括至少一个处理器1010，该至少一个处理器1010被配置为执行加载在其中的指令，以实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路***。***1000包括至少一个存储器1020(例如，易失性存储器设备，和/或非易失性存储器设备)。***1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。
***1000包括编码器/解码器模块1030，该编码器/解码器模块1030被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块之一或两者。此外，编码器/解码器模块1030可以被实现为***1000的单独元件，或者可以作为硬件和软件的组合结合在处理器1010内，如本领域技术人员已知的。
可以将要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码存储在存储设备1040中，随后加载到存储器1020上以供处理器1010执行。根据各种实施例，在执行本文档中描述的处理期间，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以存储各种项目中的一项或多项。这样存储的项目可以包括但不限于输入视频、解码的视频或解码的视频的一部分、比特流、矩阵、变量以及对等式、公式、运算和运算逻辑的中间或最终结果。
在几个实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器被用于存储指令并为编码或解码期间所需的处理提供工作存储器。但是，在其它实施例中，处理设备外部的存储器(例如，处理设备可以是或者处理器1010或者编码器/解码器模块1030)被用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存被用于存储电视的操作***。在至少一个实施例中，快速外部动态易失性存储器(诸如RAM)被用作用于视频编码和解码操作的工作存储器，诸如用于MPEG-2、HEVC或VVC(通用视频译码)。
如方框1130中所示，可以通过各种输入设备来提供对***1000的元件的输入。此类输入设备包括但不限于(i)接收例如由广播公司通过空中传输的RF信号的RF部分、(ii)复合输入端子、(iii)USB输入端子，和/或(iv)HDMI输入端子。
在各种实施例中，方框1130的输入设备具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以必要地与以下元素相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制在一个频带内)，(ii)下转换所选择的信号，(iii)再次频带限制到更窄的频带以选择(例如)在一些实施例中可以被称为信道的信号频带，(iv)解调下转换和限制频带的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括执行这些功能的一个或多个元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下转换器、解调器、纠错器和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器，包括例如将接收到的信号下转换为更低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收在有线(例如，电缆)介质上传输的RF信号，并通过滤波、下转换和再次滤波到期望的频带来执行频率选择。各种实施例重新布置上述(和其它)元件的次序、移除这些元件中的一些，和/或添加执行相似或不同功能的其它元件。添加元件可以包括在现有元件之间***元件，例如，***放大器和模数转换器。在各种实施例中，RF部分包括天线。
此外，USB和/或HDMI端子可以包括相应的接口处理器，用于跨USB和/或HDMI连接将***1000连接到其它电子设备。应该理解的是，输入处理的各个方面(例如，里德-所罗门(Reed-Solomon)纠错)可以根据需要例如在单独的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010，以及与存储器和存储元件结合操作的编码器/解码器1030，以根据需要处理数据流以在输出设备上呈现。
可以在集成的壳体内提供***1000的各种元件。在集成的壳体内，可以使用合适的连接布置1140(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)互连各种元件并在它们之间传输数据。
***1000包括通信接口1050，其使得能够经由通信信道1060与其它设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060传输和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如IEEE 802.11之类的Wi-Fi网络将数据流式传输到***1000。这些实施例的Wi-Fi信号在适于Wi-Fi通信的通信信道1060和通信接口1050上被接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式传输应用和其它空中通信。其它实施例使用机顶盒向***1000提供流式传输的数据，该机顶盒通过输入块1130的HDMI连接来递送数据。还有其它实施例使用输入块1130的RF连接将流式传输的数据提供给***1000。
***1000可以向包括显示器1100、扬声器1110和其它***设备1120的各种输出设备提供输出信号。在实施例的各种示例中，其它***设备1120包括独立DVR、盘播放器、立体声***、照明***以及基于***1000的输出提供功能的其它设备中的一个或多个。在各种实施例中，控制信号在有或没有用户干预的情况下使用诸如AV.Link、CEC或启用设备到设备控制的其它通信协议的信令在***1000与显示器1100、扬声器1110或其它***设备1120之间传送。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信耦合到***1000。可替代地，输出设备可以经由通信接口1050使用通信信道1060连接到***1000。在电子设备(例如，电视)中，显示器1100和扬声器1110可以与***1000的其它组件集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如，定时控制器(T Con)芯片。
例如，如果输入1130的RF部分是单独的机顶盒的一部分，那么显示器1100和扬声器1110可以可替代地与其它组件中的一个或多个分开。在显示器1100和扬声器1110是外部组件的各种实施例中，可以经由包括例如HDMI端口、USB端口或COMP输出的专用输出连接来提供输出信号。
实施例可以通过由处理器1010实现的计算机软件或者通过硬件或者通过硬件和软件的组合来实现。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适于技术环境的任何类型，并且作为非限制性示例，可以涵盖微处理器、通用计算机、专用计算机和基于多核体系架构的处理器中的一个或多个。
各种实施方式涉及解码。如本申请中所使用的，“解码”可以涵盖例如对接收到的编码的序列执行以便产生适于显示的最终输出的处理的全部或部分。在各种实施例中，此类处理包括通常由解码器执行的处理中的一个或多个，例如，熵解码、逆量化、逆变换和差分解码。在各种实施例中，此类处理还，或者可替代地，包括由本申请中描述的各种实施方式的解码器执行的处理，例如，根据条件对指示是否对当前块应用照度补偿的标志进行解码、根据标志的值应用照度补偿。
作为另外的示例，在一个实施例中，“解码”仅仅是指熵解码，在另一个实施例中，“解码”仅仅是指差分解码，在另一个实施例中，“解码”是指熵解码和差分解码的组合。基于特定描述的上下文，短语“解码处理”是旨在专门指操作的子集还是广义地指更广泛的解码处理将是显而易见的，并且相信本领域技术人员会很好地理解。
各种实施方式涉及编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的，“编码”可以涵盖例如对输入视频序列执行以便产生编码的比特流的处理的全部或部分。在各种实施例中，此类处理包括通常由编码器执行的处理中的一个或多个，例如，分割、差分编码、变换、量化和熵编码。在各种实施例中，此类处理还，或者可替代地，包括由本申请中描述的各种实施方式的编码器执行的处理，例如，根据条件对指示是否对当前块应用照度补偿的标志进行编码、根据标志的值应用照度补偿。
作为另外的示例，在一个实施例中，“编码”仅仅是指熵编码，在另一个实施例中，“编码”仅仅是指差分编码，在另一个实施例中，“编码”是指差分编码和熵编码的组合。基于特定描述的上下文，短语“编码处理”是旨在专门指操作的子集还是广义地指更广泛的编码处理将是显而易见的，并且相信本领域技术人员会很好地理解。
注意的是，如本文所使用的语法元素，例如，IC_flag、ref_idx[]、flag_Li_Rj，是描述性术语。照此，它们不排除使用其它语法元素名称。
当将图作为流程图呈现时，应当理解的是，它还提供了对应装置的框图。类似地，当将图呈现为框图时，应当理解的是，它还提供了对应方法/处理的流程图。
各种实施例涉及率失真优化。特别地，在编码处理期间，常常给出计算复杂性的约束，通常考虑速率与失真之间的平衡或折衷。通常将率失真优化公式化为最小化率失真函数，该函数是速率和失真的加权和。有多种解决率失真优化问题的方法。例如，这些方法可以基于对包括所有考虑的模式或译码参数值在内的所有编码选项的广泛测试，并对其译码成本以及译码和解码之后重建的信号的相关失真进行完整评估。也可以使用更快的方法来节省编码复杂性，特别是基于预测或预测残差信号而不是重建的信号来计算近似失真。也可以使用这两种方法的混合，诸如通过仅对一些可能的编码选项使用近似失真，而对其它编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用多种技术中的任何一种来执行优化，但是优化不一定是对译码成本和相关失真两者的完整评估。
本文描述的实施方式和方面可以例如以方法或处理、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实施方式的上下文中进行讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以以其它形式(例如，装置或程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。方法可以在例如处理器中实现，处理器一般是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、移动电话、便携式/个人数字助理(“PDA”)和有助于最终用户之间信息通信的其它设备。
对“一个实施例”或“实施例”或“一个实施方式”或“实施方式”以及它们的其它变体的引用是指结合该实施例描述的特定特征、结构、特性等包括在至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其它变体在本文档中各处的出现不一定全部指相同的实施例。
此外，本文档可以提到“确定”各种信息。确定信息可以包括例如以下一项或多项：估计信息、计算信息、预测信息或从存储器中检索信息。
另外，本文档可以提到“访问”各种信息。访问信息可以包括例如以下一项或多项：接收信息、(例如，从存储器中)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。
此外，本文档可以提到“接收”各种信息。与“访问”一样，接收是广义的术语。接收信息可以包括以下一个或多个：例如，访问信息或检索信息(例如，从存储器)。另外，以一种或另一种方式，在诸如例如以下操作期间：存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息，通常涉及“接收”。
应该认识到的是，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下使用以下“/”、“和/或”和“…中的至少一个”中的任何一个旨在涵盖仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者选择两个选项(A和B)。作为另外的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这种措词旨在涵盖仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或仅选择第一个和第三个列出选项(A和C)，或仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的那样，这可以针对所列的多个项目扩展。
而且，如本文所使用的，词“信号”尤其是指向对应的解码器指示某些东西。例如，在某些实施例中，编码器用信令通知以下特定的一个：指示是否根据条件对当前块应用照度补偿的标志，或者指示是否启用照度补偿的标志。以这种方式，在实施例中，在编码器侧和解码器侧都使用相同的参数。因此，例如，编码器可以向解码器传输(明确信令通知)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其它参数，那么可以使用信令而无需传输(隐式信令通知)以简单地允许解码器知道并选择特定参数。通过避免传输任何实际功能，在各种实施例中实现了位节省。应该认识到的是，可以以多种方式来完成信令通知。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信令通知给对应的解码器。虽然前面涉及词“信令通知”的动词形式，但词“信令通知”在本文中也可以用作名词。
如对于本领域普通技术人员将显而易见的，实施方式可以产生各种信号，这些信号被格式化为携带例如可以被存储或传输的信息。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，信号可以被格式化为携带所描述的实施例的比特流。可以将这种信号格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且用编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
我们已经描述了多个实施例。这些实施例至少提供以下跨各种不同的权利要求类别和类型的广义发明和权利要求，包括所有组合：
·修改解码器和/或编码器中应用的照度补偿处理。
·照度补偿处理意味着基于线性函数(“a.P+b”或“a.P”)的预测“P”的加权，并且IC参数为(a；b)或(a)。
·根据解码器和/或编码器中块参数与值的比较，对当前块应用照度补偿处理。
·该值以图片为基础而变化。
·从比特流(例如，PPS、SPS、条带)解码该值。
·块参数是块分量、参考图片索引、块深度、分层图片深度中的至少一项。
·仅在当前块的参数验证给定条件的情况下，对指示是否对当前块应用照度补偿的标志进行解码(分别编码)。
·根据所讨论的任何实施例，根据比较对表示是否对当前块应用照度补偿的标志进行解码(分别编码)。
·根据分量对当前块应用照度补偿，例如，照度补偿仅应用于亮度分量。
·在当前块深度小于某个值的情况下，对指示是否对当前块应用照度补偿的标志进行解码。
·在分层图片深度大于某个值的情况下，对指示是否对当前块应用照度补偿的标志进行解码。
·根据所讨论的任何实施例，***使得解码器能够确定是否对块应用照度补偿的信令语法元素。
·包括所描述的语法元素中的一个或多个或其变体的比特流或信号。
·在信令中***语法元素，这使得解码器能够以与编码器使用的方式对应的方式适配照度补偿。
·创建和/或发送和/或接收和/或解码包括所描述的语法元素中的一个或多个或其变体的比特流或信号。
·执行根据所描述的任何实施例的照度补偿的TV、机顶盒、移动电话、平板电脑或其它电子设备。
·执行根据所描述的任何实施例的照度补偿并显示(例如，使用监视器、屏幕或其它类型的显示器)结果图像的TV、机顶盒、移动电话、平板电脑或其它电子设备。
·调谐(例如，使用调谐器)频道以接收包括编码的图像的信号并执行根据所描述的任何实施例的照度补偿的TV、机顶盒、移动电话、平板电脑或其它电子设备。
·通过无线接收(例如，使用天线)包括编码的图像的信号并执行根据所描述的任何实施例的照度补偿的TV、机顶盒、移动电话、平板电脑或其它电子设备。
公开了一种用于对图片的当前块进行解码的方法，该方法包括：
访问运动补偿参考块；
响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行解码；
响应于所述至少一个照度补偿参数而补偿所述运动补偿参考块的照度；并且
从所述照度和运动补偿参考块重建所述当前块。
公开了一种装置，该装置包括一个或多个处理器，处理器被配置为执行：
访问运动补偿参考块；
响应于所述当前块的参数与值的比较而对用于图片的当前块的至少一个照度补偿参数进行解码；
响应于所述至少一个照度补偿参数而补偿所述运动补偿参考块的照度；并且
从所述照度和运动补偿参考块重建所述当前块。
在实施例中，至少一个照度补偿参数是指示是否对所述当前块应用照度补偿的标志。
在实施例中，从序列报头、图片报头或条带报头解码该值。
在实施例中，块参数是块分量、参考图片索引、块深度和分层图片深度中的至少一个。
在实施例中，响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行解码包括：仅在所述当前块的参考图片索引等于第一值的情况下才对指示是否对所述当前块应用照度补偿的标志进行解码。
在实施例中，响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行解码包括：仅在所述当前块的尺寸大于第二值的情况下才对指示是否对所述当前块应用照度补偿的标志进行解码。
在实施例中，响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行解码包括：仅在当前块深度小于第三值的情况下才对指示是否对所述当前块应用照度补偿的标志进行解码。
在实施例中，响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行解码包括：仅在分层图片深度小于第四值的情况下才对指示是否对所述当前块应用照度补偿的标志进行解码。
在实施例中，仅针对当前块的分量的子集来对照度补偿参数进行解码。
公开了一种用于对图片的当前块进行编码的方法，该方法包括：
访问运动补偿参考块；
响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行编码；
响应于所述至少一个照度补偿参数而基于所述运动补偿参考块来补偿预测的照度；并且
从所述照度和运动补偿参考块对所述当前块进行编码。
公开了一种装置，该装置包括一个或多个处理器，处理器被配置为执行：
访问运动补偿参考块；
响应于所述当前块的参数与值的比较而对用于图片的当前块的至少一个照度补偿参数进行编码；
响应于所述至少一个照度补偿参数而基于所述运动补偿参考块来补偿预测的照度；并且
从所述照度和运动补偿参考块对所述当前块进行编码。
在实施例中，至少一个照度补偿参数是指示是否对所述当前块应用照度补偿的标志。
在实施例中，在序列报头、图片报头或条带报头中对该值进行编码。
在实施例中，块参数是块分量、参考图片索引、块深度和分层图片深度中的至少一个。
在实施例中，响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行编码包括：仅在所述当前块的参考图片索引等于第一值的情况下才对指示是否对所述当前块应用照度补偿的标志进行编码。
在实施例中，响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行编码包括：仅在所述当前块的尺寸大于第二值的情况下才对指示是否对所述当前块应用照度补偿的标志进行编码。
在实施例中，响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行编码包括：仅在当前块深度小于第三值的情况下才对指示是否对所述当前块应用照度补偿的标志进行编码。
在实施例中，响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行编码包括：仅在分层图片深度小于第四值的情况下才对指示是否对所述当前块应用照度补偿的标志进行编码。
在实施例中，仅针对当前块的分量的子集来对照度补偿参数进行编码。
贯穿本公开，还支持并设想各种其它广义的以及特化的发明和权利要求。

Claims (20)

1.一种用于对图片的当前块进行解码的方法，所述方法包括：
访问运动补偿参考块；
响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行解码；
响应于所述至少一个照度补偿参数而补偿所述运动补偿参考块的照度；并且
从所述照度和运动补偿参考块重建所述当前块。
2.一种装置，所述装置包括一个或多个处理器，所述一个或多个处理器被配置为执行：
访问运动补偿参考块；
响应于所述当前块的参数与值的比较而对用于图片的当前块的至少一个照度补偿参数进行解码；
响应于所述至少一个照度补偿参数而补偿所述运动补偿参考块的照度；并且
从所述照度和运动补偿参考块重建所述当前块。
3.如权利要求1所述的方法或如权利要求2所述的装置，其中所述至少一个照度补偿参数是指示是否对所述当前块应用照度补偿的标志。
4.如权利要求1或3所述的方法或如权利要求2-3中任一项所述的装置，其中从序列报头、图片报头或条带报头解码所述值。
5.如权利要求1或3-4中任一项所述的方法或如权利要求2-4中任一项所述的装置，其中所述块参数是块分量、参考图片索引、块深度和分层图片深度中的至少一个。
6.如权利要求1或3-5中的任一项所述的方法或如权利要求2-5中的任一项所述的装置，其中响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行解码包括：仅在所述当前块的参考图片索引等于第一值的情况下才对指示是否对所述当前块应用照度补偿的标志进行解码。
7.如权利要求1或3-6中任一项所述的方法或如权利要求2-6中任一项所述的装置，其中响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行解码包括：仅在所述当前块的尺寸大于第二值的情况下才对指示是否对所述当前块应用照度补偿的标志进行解码。
8.如权利要求1或3-7中任一项所述的方法或如权利要求2-7中任一项所述的装置，其中响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行解码包括：仅在所述当前块深度小于第三值的情况下才对指示是否对所述当前块应用照度补偿的标志进行解码。
9.如权利要求1或3-7中任一项所述的方法或如权利要求2-7中任一项所述的装置，其中响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行解码包括：仅在分层图片深度小于第四值的情况下才对指示是否对所述当前块应用照度补偿的标志进行解码。
10.如权利要求1或3-9中的任一项所述的方法或如权利要求2-9中的任一项所述的装置，其中仅针对当前块的分量的子集来对照度补偿参数进行解码。
11.一种用于对图片的当前块进行编码的方法，所述方法包括：
访问运动补偿参考块；
响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行编码；
响应于所述至少一个照度补偿参数而基于所述运动补偿参考块来补偿预测的照度；并且
从所述照度和运动补偿参考块对所述当前块进行编码。
12.一种装置，所述装置包括一个或多个处理器，所述一个或多个处理器被配置为执行：
访问运动补偿参考块；
响应于所述当前块的参数与值的比较而对用于图片的当前块的至少一个照度补偿参数进行编码；
响应于所述至少一个照度补偿参数而基于所述运动补偿参考块来补偿预测的照度；并且
从所述照度和运动补偿参考块对所述当前块进行编码。
13.如权利要求11所述的方法或如权利要求12所述的装置，其中所述至少一个照度补偿参数是指示是否对所述当前块应用照度补偿的标志。
14.如权利要求11或13所述的方法或如权利要求12-13中任一项所述的装置，其中在序列报头、图片报头或条带报头中对所述值进行编码。
15.如权利要求11或13-14中的任一项所述的方法或如权利要求12-14中的任一项所述的装置，其中所述块参数是块分量、参考图片索引、块深度和分层图片深度中的至少一个。
16.如权利要求11或13-15中任一项所述的方法或如权利要求12-15中任一项所述的装置，其中响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行编码包括：仅在所述当前块的参考图片索引等于第一值的情况下才对指示是否对所述当前块应用照度补偿的标志进行编码。
17.如权利要求11或13-16中任一项所述的方法或如权利要求12-16中任一项所述的装置，其中响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行编码包括：仅在所述当前块的尺寸大于第二值的情况下才对指示是否对所述当前块应用照度补偿的标志进行编码。
18.如权利要求11或13-17中的任一项所述的方法或如权利要求12-17中的任一项所述的装置，其中响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行编码包括：仅在当前块深度小于第三值的情况下才对指示是否对所述当前块应用照度补偿的标志进行编码。
19.如权利要求11或13-17中的任一项所述的方法或如权利要求12-17中的任一项所述的装置，其中响应于所述当前块的参数与值的比较而对用于所述当前块的至少一个照度补偿参数进行编码包括：仅在分层图片深度小于第四值的情况下才对指示是否对所述当前块应用照度补偿的标志进行编码。
20.如权利要求11或13-19中的任一项所述的方法或如权利要求12-19中的任一项所述的装置，其中仅针对当前块的分量的子集来对照度补偿参数进行编码。
CN201980041359.4A 2018-06-18 2019-05-28 视频编码中的照度补偿 Pending CN112385226A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18305750 2018-06-18
EP18305750.4 2018-06-18
EP18306160.5A EP3618443A1 (en) 2018-09-03 2018-09-03 Illumination compensation in video coding
EP18306160.5 2018-09-03
PCT/US2019/034146 WO2019245712A1 (en) 2018-06-18 2019-05-28 Illumination compensation in video coding

Publications (1)

Publication Number Publication Date
CN112385226A true CN112385226A (zh) 2021-02-19

Family

ID=66821518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041359.4A Pending CN112385226A (zh) 2018-06-18 2019-05-28 视频编码中的照度补偿

Country Status (5)

Country Link
US (1) US20210266582A1 (zh)
EP (1) EP3808088A1 (zh)
KR (1) KR20210019454A (zh)
CN (1) CN112385226A (zh)
WO (1) WO2019245712A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150023422A1 (en) * 2013-07-16 2015-01-22 Qualcomm Incorporated Processing illumination compensation for video coding
CN105264890A (zh) * 2013-04-05 2016-01-20 三星电子株式会社 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备
US20160150238A1 (en) * 2013-07-15 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for video encoding for adaptive illumination compensation, method and apparatus for video decoding for adaptive illumination compensation
CN107710764A (zh) * 2015-06-09 2018-02-16 高通股份有限公司 确定用于视频译码的照明补偿状态的***及方法
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译***中基于照度补偿预测块的方法和设备
US20180098079A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130243085A1 (en) * 2012-03-15 2013-09-19 Samsung Electronics Co., Ltd. Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead
CN108989815B9 (zh) * 2014-03-19 2021-06-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264890A (zh) * 2013-04-05 2016-01-20 三星电子株式会社 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备
US20160150238A1 (en) * 2013-07-15 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for video encoding for adaptive illumination compensation, method and apparatus for video decoding for adaptive illumination compensation
US20150023422A1 (en) * 2013-07-16 2015-01-22 Qualcomm Incorporated Processing illumination compensation for video coding
CN107710764A (zh) * 2015-06-09 2018-02-16 高通股份有限公司 确定用于视频译码的照明补偿状态的***及方法
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译***中基于照度补偿预测块的方法和设备
US20180098079A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
US20180098086A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Systems and methods of performing improved local illumination compensation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"High efficiency coding and media delivery in heterogeneous environments — Part 2: High Efficiency Video Coding (N17661)", MPEG MEETING (ISO/IEC JTC 1/SC 29/WG 11), pages 744 - 748 *
P. BORDES ET AL: "Description of SDR, HDR and 360° video coding technology proposal by Qualcomm and Technicolor – medium complexity version", JVET 10TH MEETING, pages 24 - 25 *

Also Published As

Publication number Publication date
WO2019245712A1 (en) 2019-12-26
EP3808088A1 (en) 2021-04-21
KR20210019454A (ko) 2021-02-22
US20210266582A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
CN113228650B (zh) 基于块的表面的视频编码或解码的量化
CN113950834A (zh) 用于隐式多变换选择的变换选择
CN112970264A (zh) 基于相邻样本相关参数模型的译码模式的简化
CN112369025A (zh) 基于上下文的二进制算术编码和解码
CN112740682A (zh) 用于依赖性标量量化的标量量化器决策方案
CN113273215A (zh) 逆映射简化
CN112771874A (zh) 用于画面编码和解码的方法和设备
CN114073077A (zh) 用于小块的高级语法简化工具集
CN112823522A (zh) 用于广角帧内预测的方向
CN114631311A (zh) 将同质语法与编码工具一起使用的方法和装置
CN112335246B (zh) 用于基于适应性系数组的视频编码和解码的方法及设备
CN111937383B (zh) 视频编码和解码中的色度量化参数调整
CN112189341A (zh) 用于视频编码和解码的量化参数预测
CN116134822A (zh) 用于更新基于深度神经网络的图像或视频解码器的方法和装置
CN115152231A (zh) 估计加权预测参数
CN114731423A (zh) 预见要添加到亮度映射斜率值的校正值的色度残差缩放
KR20210058846A (ko) 인트라 변환 코딩 및 광각 인트라 예측의 조화
CN112789853A (zh) 视频编码和解码中的细化模式处理
CN115280786A (zh) 用于本地色度量化参数控制的高级约束标记
CN114450951A (zh) 视频编码和解码中的运动向量预测
CN113424531A (zh) 用于使用照明补偿进行图片编码和解码的方法和设备
CN112740683A (zh) 用于在为亮度和色度使用单独的译码树时确定色度量化参数的方法及装置
CN112385226A (zh) 视频编码中的照度补偿
CN113170149B (zh) 用于图片编码和解码的方法和设备
EP3618443A1 (en) Illumination compensation in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination