CN113424531A - 用于使用照明补偿进行图片编码和解码的方法和设备 - Google Patents

用于使用照明补偿进行图片编码和解码的方法和设备 Download PDF

Info

Publication number
CN113424531A
CN113424531A CN202080013203.8A CN202080013203A CN113424531A CN 113424531 A CN113424531 A CN 113424531A CN 202080013203 A CN202080013203 A CN 202080013203A CN 113424531 A CN113424531 A CN 113424531A
Authority
CN
China
Prior art keywords
samples
block
valid
sample
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080013203.8A
Other languages
English (en)
Inventor
P·博尔德斯
F·莱纳内克
T·波里尔
F·厄本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN113424531A publication Critical patent/CN113424531A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于重构图片块的方法，其中所述块使用局部照明补偿而被预测。局部照明补偿的所述参数根据位于当前块的所述左侧和上方的重构样本的选择而被确定。在其中样本中的一些不可用的情况下，它们可以使用不同的技术而被替换。

Description

用于使用照明补偿进行图片编码和解码的方法和设备
技术领域
本发明实施例中的至少一者一般涉及一种用于图片编码的方法及设备，尤其涉及一种采用局部照明补偿(LIC)的图片编码方法及设备。
背景技术
为了实现高压缩效率，图像和视频译码方案通常采用预测和变换以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对(通常被表示为预测误差或预测残差的)原始图像块与预测的图像块之间的差异进行变换、量化和熵译码。在编码期间，通常可能使用例如四叉树分区将原始图像块分区/***成子块。为了重构视频，通过与预测、变换、量化和熵译码对应的逆过程来解码压缩数据。
发明内容
根据至少一个实施例的第一方面，一种视频编码方法包括，对于视频的块，通过将函数应用于预测样本来执行块的局部照明补偿，其中所述函数是线性函数，该线性函数的参数根据所选择的参考样本而被确定。
根据至少一个实施例的第二方面，一种视频解码方法包括，对于视频的块，通过将函数应用于预测样本来执行块的局部照明补偿，其中所述函数是线性函数，该线性函数的参数根据所选择的参考样本而被确定。
根据至少一个实施例的第三方面，一种视频编码装置包括编码器，该编码器被配置为通过将函数应用于预测样本来执行块的局部照明补偿，其中该函数是线性函数，该线性函数的参数根据所选择的参考样本而被确定。
根据至少一个实施例的第三方面，一种视频解码装置包括解码器，该解码器被配置为通过将函数应用于预测样本来执行块的局部照明补偿，其中该函数是线性函数，该线性函数的参数根据所选择的参考样本而被确定。
根据第一、第二、第三和第四实施例的变型，所述参考样本的选择还包括确定有效样本，当样本可用时，该样本被认为是有效的；以及确定参考样本的总数、在所述块的顶部的相邻样本的数量和在所述块的左侧的有效相邻样本的数量。根据另一变型，参考样本的总数是2的幂，根据另一变型，基于所述块的高度和宽度之间的比率来平衡在所述块的所述顶部的样本和在所述块的所述左侧的样本的选择。根据另一变型，当所述块高度大于或等于所述块宽度时，样本的选择通过首先选择在所述块的所述左侧的所有的有效相邻样本并用在所述块的所述顶部的有效相邻样本来完成而被进行，并且当所述块高度小于所述块宽度时，样本的选择通过首先选择在所述块的所述顶部的所有的有效相邻样本并用在所述块的所述左侧的有效相邻样本来完成而被进行。根据另一变型，当在所述块的所述顶部的有效相邻样本的数量大于或等于在所述块的所述左侧的有效相邻样本的数量时，样本的选择通过首先选择在所述块的所述顶部的所有的有效相邻样本并用在所述块的所述左侧的有效相邻样本来完成而被进行，并且当在所述块的所述顶部的有效相邻样本的数量小于在所述块的所述左侧的有效相邻样本的数量时，样本的选择通过首先选择在所述块的所述左侧的所有的有效相邻样本并用在所述块的所述顶部的有效相邻样本来完成而被进行。
根据第一、第二、第三和第四实施例的变型，缺失样本被替换。根据另一变型，缺失样本由位于相同邻域、顶部或左侧的有效样本替换。根据另一变型，通过基于到最接近的有效样本的距离来内插最接近的有效样本，从而替换缺失样本。根据另一变型，将位于左上角的附加样本添加到样本中。根据另一变型，通过复制连续样本的集合来替换缺失样本。根据另一变型，用从在所述块的所述顶部的相邻样本的附加行获得的样本来替换缺失样本。根据另一变型，用从在所述块的所述顶部和/或在所述块的所述左侧的相邻样本的扩展集合获得的样本替换缺失样本。
本发明实施例中的一者或多者还提供一种计算机可读存储介质，其上存储有用于根据上述方法中的任意者的至少部分来编码或解码视频数据的指令。一个或多个实施例还提供了一种计算机可读存储介质，其上存储有根据上述编码方法生成的比特流。一个或多个实施例还提供了一种计算机程序产品，其包括用于执行上述任何方法的至少一部分的指令。
附图的简要说明
图1示出了根据实施例的视频编码器的框图。
图2示出了根据实施例的视频解码器的框图。
图3示出了其中实现了各个方面和实施例的***的示例的框图。
图4示出了压缩域中的译码树单元和译码树的示例。
图5示出了L形状和准L形状。
图6示出了用于局部照明补偿参数确定的当前块和参考块的相邻样本。
图7示出了针对参考样本的二次采样的示例。
图8A和8B示出了LIC应用情况下的双向预测方法的流程图。
图9描绘当前块和位于所述当前块的左侧和上方的重构的相邻样本。
图10描绘根据一个实施例的用于块重构的方法的流程图。
图11-21示出了用于确定用于局部照明补偿的适当样本的各种实施例。
具体实施方式
各种实施例涉及视频编码***的局部照明补偿特征，并且更具体地涉及用于确定要应用的补偿的参考样本的选择。当一些参考样本缺失时，考虑根据下面描述的各种实施例来替换它们。
此外，尽管描述了与VVC(通用视频译码)或HEVC(高效视频译码)规范的特定草案相关的原理，但是本发明的方面不限于VVC或HEVC，并且可以应用于例如其他标准和建议(无论是预先存在的还是未来开发的)以及任何这种标准和建议(包括VVC和HEVC)的扩展。除非另外指出或在技术上排除，本申请中描述的方面可以单独或组合使用。
图1示出了视频编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而不描述所有预期的变型。在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡)。元数据可以与预处理相关联，并且被附加到比特流。
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位分区(102)并处理要被编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中哪一者的来对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。
然后，对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动向量和其它语法元素进行熵译码(145)以输出比特流。编码器可以跳过变换，并直接对未变换的残差信号应用量化。编码器可以绕过变换和量化，即，直接对残差进行译码而不应用变换或量化过程。
编码器对编码块进行解码，以提供用于进一步预测的参考。对量化变换系数进行去量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于重构的图片，以执行例如解块/SAO(样本自适应偏移))、自适应环路滤波器(ALF)滤波，以减少编码伪像。将经滤波的图像存储在参考图片缓冲器(180)中。
图2示出了视频解码器200的框图。在解码器200中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与图18中所描述的编码回合互逆的解码回合。编码器100通常还执行视频解码作为编码视频数据的一部分。
特别地，解码器的输入包括视频比特流，其可以由视频编码器100生成。比特流首先被熵解码(230)以获得变换系数、运动向量和其它译码的信息。图片分区信息指示图片如何被分区。解码器因此可以根据解码的图片分区信息来划分(235)图片。变换系数被去量化(240)和逆变换(250)以解码预测残差。将解码的预测残差与预测块进行组合(255)，重构图像块。预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环内滤波器(265)被应用于重构的图像。将经滤波的图像存储在参考图片缓冲器(280)中。
解码的图片可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从YCbCr4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的重新映射过程的逆的逆重新映射。后解码处理可以使用在预编码处理中导出并且在比特流中用信号通知的元数据。
图3示出了其中实现了各个方面和实施例的***的示例的框图。***1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录***、连接的家用电器和服务器。***1000的元件可以单独地或组合地实现在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，***1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，***1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到一个或多个其他***或其他电子设备。在各种实施例中，***1000被配置为实现本文中描述的一个或多个方面。
***1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。***1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。***1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的和不可拆卸的存储设备)和/或网络可访问的存储设备。
***1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括编码和解码模块中的一个或两个。另外，编码器/解码器模块1030可实施为***1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文中描述的过程期间存储各种项中的一个或多个。这些存储的项可以包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。
在一些实施例中，处理器1010和/或编码器/解码器模块1030内的存储器用于存储指令，并且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其它实施例中，处理设备外部的存储器(例如，处理设备可为处理器1010或编码器/解码器模块1030)用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作***。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指运动活动图片专家组，MPEG-2也被称为ISO/IEC 13818，并且13818-1也被称为H.222，并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频译码，也被称为H.265和MPEG-H部分2)、或VVC(通用视频译码，正由JVET(联合视频专家团队)开发的新标准)的工作存储器。
可以通过如框1130中所示的各种输入设备来提供对***1000的元件的输入。这样的输入设备包括但不限于(i)接收例如由广播公司通过空中传输的射频(RF)信号的RF部分，(ii)组件(COMP)输入端子(或一组COMP输入端子)，(iii)通用串行总线(USB)输入端子，和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图18中未示出的其它示例包括合成视频。
在各种实施例中，块1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，RF部分可以与适合于以下元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到频带)，(ii)下变频所选择的信号，(iii)再次频带限制到较窄频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发送的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间***元件，例如***放大器和模数转换器。在各种实施例中，RF部分包括天线。
另外，USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将***1000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如里德所罗门(Reed-Solomon)纠错)可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件(包括例如处理器1010和编码器/解码器1030)，其与存储器和存储元件结合操作以根据需要处理数据流以便在输出设备上呈现。
***1000的各种元件可以设置在集成壳体内，各种元件可以使用合适的连接机构1140(例如本领域已知的内部总线(包括IC间(I2C)总线、布线和印刷电路板))互连并在其间传输数据。
***1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060传送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用无线网络(例如Wi-Fi网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会))将数据流式传输或以其他方式提供给***1000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入，以允许流式应用和其它过顶通信。其它实施例使用通过输入块1130的HDMI连接传递数据的机顶盒向***1000提供流式传输的数据。还有一些实施例使用输入块1130的RF连接向***1000提供流式传输的数据。如上所述，各种实施例以非流式传输方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如蜂窝网络或蓝牙网络。
***1000可以向各种输出设备提供输出信号，所述输出设备包括显示器1100、扬声器1110和其他***设备1120。各种实施例的显示器1100包含例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器中的一者或多者。显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器1100还可与其它组件集成(例如，如在智能电话中)，或是单独的(例如，用于膝上型计算机的外部监视器)。在各实施例的各示例中，其它***设备1120包括独立数字视频盘(或数字多功能盘)(前两者可称为DVR)、盘播放器、立体声***和/或照明***中的一个或多个。各种实施例使用一个或多个***设备1120，其基于***1000的输出提供功能。例如，盘播放器执行播放***1000的输出的功能。
在各种实施例中，使用诸如AV.链路、消费电子控制(CEC)、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议的信令，在***1000和显示器1100、扬声器1110或其它***设备1120之间传送控制信号。。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信地耦合到***1000。或者，输出设备可以使用通信信道1060经由通信接口1050连接到***1000。显示器1100和扬声器1110可以与***1000的其它组件一起集成在电子设备(例如电视机)中的单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如定时控制器(T con)芯片。
例如，如果输入1130的RF部分是单独机顶盒的一部分，则显示器1100和扬声器1110可以备选地与其它组件中的一个或多个分离。在显示器1100和扬声器1110是外部组件的各种实施例中，输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。
这些实施例可以由处理器1010或硬件和软件的组合实现的计算机软件来实现。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移除存储器。处理器1010可以是适合于技术环境的任何类型，并且可以包含作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
图4示出了压缩域中的译码树单元和译码树的示例。在HEVC译码中，图片被分区成正方形形状的CTU，其具有可配置的尺寸(通常为64×64)。在其它视频译码标准中，该尺寸可以是128×128或256×256。CTU是被分区为4个相等尺寸的正方形译码单元(CU)的四叉树的根，所述尺寸即为在宽度和高度上的父块尺寸的一半。四叉树是其中父节点可以被分成四个子节点的树，每个子节点可以变为另一被***成四个子节点的父节点。在HEVC中，译码块(CB)被分区成一个或多个预测块(PB)，并且形成分区成变换块(TB)的四叉树的根。对应于译码块、预测块和变换块，译码单元(CU)包括预测单元(PU)和变换单元(TU)的树结构集合，PU包括所有颜色分量的预测信息，并且TU包括每个颜色分量的残差译码语法结构。亮度分量的CB、PB和TB的尺寸适用于相应的CU、PU和TU。
在更近的编码***中，CTU是分区成编码单元(CU)的译码树的根。译码树是其中父节点(通常对应于块)可以被***成子节点(例如，分区成2、3或4个子节点)的树，其中的每一个可以成为用于另一***成子节点的父节点。除了四叉树***模式之外，还定义了新的***模式(二叉树对称***模式、二叉树非对称***模式和三叉树***模式)，其增加了可能的***模式的总数。译码树具有唯一的根节点，例如CTU。译码树的叶子是树的终止节点。译码树的每个节点表示可以进一步***成较小块(也称为子块)的块。一旦确定CTU到CU的分区，则对应于译码树的叶子的CU被编码。将CTU分区成CU以及用于编码每个CU(对应于编码树的叶)的译码参数可以在编码器侧通过率失真优化过程来确定。
在本申请中，术语“块”或“图片块”可以用于指代CTU、CU、PU、TU、CB、PB和TB中的任何一个。另外，术语“块”或“图片块”可用于指代如H.264/AVC或其它视频译码标准中指定的宏块、分区和子块，且更一般来说指代具有许多尺寸的样本阵列。
图5示出了L形状和准L形状。在本申请中，术语“L形状”是与当前块相关联的术语，指的是由位于当前块的上方的行上的样本和位于当前块的左侧的列上的样本组成的集合，如图中的灰色所示。顶部图像示出了译码单元是正方形的情况，而底部图像示出了译码单元是矩形的情况，更特别地，译码单元的宽度大于其高度。还使用第三种情况，其中译码单元是矩形的，并且译码单元的宽度小于其高度。
对于一些特定的基于子块的工具，如果与每个子块相关联的运动向量不同，则参考L形状可以由非相邻样本组成，从而形成准L形状，如图中所示。
基于子块的运动补偿预测模式的实例称为“仿射合并运动预测”、“仿射AMVP”(自适应运动向量预测)运动预测、“SbTMVP”(基于子块的时间运动向量预测)、DMVR(解码器侧运动向量细化)。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”、“帧”、“切片”和“图块”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
根据第一非限制性示例，例如使用基于线性模型的局部照明补偿(LIC)，例如使用缩放因子a和偏移b来补偿正在被编码的图片与其参考图片之间的照明变化。LIC可针对每一帧间模式译码的译码单元(CU)而自适应地启用或停用。当LIC应用于CU时，可以采用均方误差(MSE)方法，例如通过使用当前CU的相邻样本和它们的相应参考样本来导出参数a和b。图6示出用于局部照明补偿(LIC)参数确定的当前块和参考块的相邻样本。更具体地说，使用在参考图片中的CU(当前blk)的相邻样本和相应的样本(由当前CU或子CU或参考blk的运动信息MV识别)。LIC参数被导出并且分别应用于每个预测方向或参考索引。LIC参数可以通过最小化顶部(即，位于当前CU上方的样本)和当前CU的左侧相邻的重构样本rec_cur(r))(访问图片的右侧的相邻的重构样本之间的均方误差的差(MSE)以及通过帧间预测确定的它们的对应参考样本的顶部和左侧相邻的重构样本rec_ref(s)(访问图1B左侧的附加的参考样本)来确定，其中s＝r+MV，MV是来自帧间预测的运动向量：
dist＝∑r∈Vcur，s∈Vref(rec_cur(r)-a.rec_ref(s)-b)2 (等式1)
其中rec_cur(r)和rec_ref(s)分别是重构L形状和参考L形状中的共同定位的样本。
可以使用不同的方法获得线性模型的参数(a，b)的值。
第一种方法使用最小二乘最小化：
Figure BDA0003200640140000131
Figure BDA0003200640140000132
调整(递增地减少)N的值(在求导中使用的参考样本的数量)以便等式2中的求和项保持在所允许的最大整数存储数值以下(例如N＜216)或处理矩形块。
用于获得线性模型的参数(a，b)的第二种方法是基于极值。它使用L形状的最小和最大重构样本值来确定斜率“a”。利用该方法，使用具有最小(Min)和最大(Max)值的两个参考样本(XA，XB)和相关联的重构样本(YA，YB)来获得“a”的值：
Figure BDA0003200640140000133
然后，一旦获得“a”，则例如可将“b”确定为b＝y_mean-a*x_mean(等式2b)，其中(xmean；ymean)分别是参考和重构样本的平均值。在该方法的变型中，最小值和最大值分别由两个最小值或两个最大值的平均值代替。在另一变型中，使用多于两个值来确定平均值。
一旦编码器或解码器获得用于当前CU的LIC参数，那么如下确定当前CU的预测pred(current_block)(单向预测情况)：
pred(current_block)＝a×ref_block+b (等式3)
其中，current_block是要预测的当前块，pred(current_block)是当前块的预测，并且ref_block是通常利用常规运动补偿(MV)过程构建的并且用于当前块的时间预测的参考块。
相邻的重构样本的集合和参考样本的集合(图1B和1C中的灰色样本)具有相同的数量和相同的模式。在下文中，我们将位于当前块的左侧的相邻重构的集合(或参考样本集合)表示为“左侧样本”，并且将位于当前块的上方的相邻重构的集合(或参考样本集合)表示为“顶部样本”。我们将“左侧样本”和“顶部样本”集合中的一个表示为“样本集合”。优选地，“样本样本集合”属于块的左侧或上部的相邻行。
图7示出了参考样本的二次采样的示例。实际上，在用于导出LIC参数(a，b)之前，可以对参考样本进行二次采样(水平和/或垂直地，二次采样步骤为StepH或StepV)。
图8A示出了在应用LIC的情况下双向预测方法的示例流程图。在双向预测的情况下，LIC过程被应用两次(通过对参考0和参考1两者应用步骤300、310、330和340)，第一次对参考0预测(LIST-0)，第二次对参考1预测(LIST_1)(如图3所示)。确定参考0(300)。确定L形状的相邻参考样本(310)和相邻的重构样本(320)。从这些相邻参考和重构样本确定第一LIC参数LIC-0。使用LIC-0参数确定第一预测pred_0(340)。相同的步骤适用于参考1。
接下来，使用默认加权(P＝(P0+P1+1)＞＞1)或双向预测加权平均(BPWA)：P＝(g0.P0+g1.P1+(1＜＜(s-1)))＞＞s照常将两个预测组合(350)在一起。这种方法被称为方法a。
图8B示出了在应用LIC的情况下双向预测方法的第二示例流程图。在这个命名为方法b的变型中，在双向预测的情况下，常规预测首先被组合(360)到单个参考ref中。确定L形状的相邻参考样本(370)和相邻的重构样本(320)。接下来，如图4所示，应用一个单个LIC过程(330，340)。
在另一种变型(基于方法b的方法c)中，在双向预测的情况下，LIC-0和LIC-1参数按照如下方式直接被导出：
dist＝∑r∈Vcur，s∈vref(rec_cur(r)-a0.rec_ref0(s)-a1.rec_ref1(s)-b)2 (等式2b)
设NL和NT分别为位于当前块的左侧和当前块的上方的L形状中的所选参考/重构样本的数量。为了遵循至少一种下述(R1至R3)的限制，可采用NL≤CuHeight和NT≤CuWidth。一些限制应用于选择用于导出LIC参数的左侧和顶部样本(图6中的灰色样本)：
R1)左侧和顶部的样本数量的和是2的幂，使得等式2中的除法可使用右移来实现。
R2)左侧(NL)和顶部(NT)样本的数量相同，等于NS(因此N＝2×NS)：
n＝min(cuHeight，cuWidth)
x＝log2(n)
NS＝2x (等式4)
R3)左侧(stepV)或顶部(stepH)样本之间的步长等于：
stepV＝cuHeight>>log2(NS) (等式5)
stepH＝cuWidth>>log2(NS)
然而，尽管LIC允许改进重构，但是在某些情况下其引入了额外的复杂性和存储器带宽。
考虑到前述内容设计了下文描述的实施例。
至少一个实施例提出了选择用于适当地导出LIC参数的参考/重构样本的新方法，以便遵守附加限制(例如不使用帧内预测重构样本)。这些限制的一个目的是通过不允许使用重构样本来降低LIC处理流水线复杂性和存储器带宽，这些重构样本已经用确定的模式(例如，帧内模式)集合(SM)和/或参数集合(SP)值(例如，给定QP值或具有非默认BPWA权重的双预测块)进行译码。
至少一个实施例修改用于计算局部照明补偿(LIC)参数的重构和/或参考样本的选择。当一些(重构)样本值不可用于LIC参数的确定时，例如因为它们属于帧内译码块或属于用集合SM的模式译码的块，建议用其它值替换它们。
例如，模式集合SM可以由帧内译码的块、组合的帧间预测(CIIP，也称为多假设)和帧内块复制(IBC)组成。
这种工具对处理流水线引入了一些约束，并且降低了流水线的效率，因为对于当前块的重构，需要等待直到重构相邻块。在下文中，如果参考样本属于L形状并且如果它与尚未利用SM模式或SP参数值译码的重构样本被共同定位，则将其称为或标记为“有效”。换句话说，“有效”样本是已经可用的并且可以直接使用的样本，而不减慢处理流水线以等待其可用性。在其它情况下，它将被认为或标记为“无效”。这样的样本将需要等待它们的可用性，并且因此将不被使用，使得处理流水线不被减慢。
注意，该限制仅涉及重构样本，而不涉及参考样本。这在图17A、17B、17C的实施例中被利用。
图9描绘当前块和位于当前块的左侧和上方的重构的相邻样本。在本申请中，为了简化文本和附图，将基于该附图的示例进行描述，其中根据上述流水线约束，将利用“帧间”模式编码的重构样本视为“有效”，而将利用“帧内”模式编码的重构样本视为“无效”。术语“缺失样本”还将用于表示标记为“无效”的重构样本，如果它们已经被标记为“有效”，则它们将用于LIC参数计算。
在本申请中，多个实施例涉及定义要用于LIC参数计算的样本数量N，并且可选地用“有效”样本替换缺失样本的数量。公开了几种用“有效样本”替换“缺失样本”的方法：填充、内插、复制、默认值。
图10是根据一个实施例的用于重构当前块的方法的流程图。该方法既适用于编码方法/装置又适用于解码方法/装置。
获得译码单元(CU)的高度和宽度(S11)。确定有效和缺失样本(S12)。确定N、NT和NL值(S13)。可选地，用其他样本替换缺失样本(S14)。LIC参数例如基于等式(2)或(2b)使用参考和重构样本而被确定(S15)，如果缺失则可选地替换。例如使用等式(3)将LIC参数应用于当前块的预测(S16)。使用LIC之后的预测来重构当前CU(S17)。
缺失样本替换(S14)是可选的，因为另一技术考虑使用样本的数量(其是2的幂)用于LIC参数计算。这显著地简化了进一步的计算，并且尤其是因为计算不再需要任意除法并且受益于成本有效的基于2k的除法。当确定要使用的值的数量时，可以特别注意考虑这样的元素数量。
图11示出了包括参考样本的平衡收集以使得NL+NT＝2k的示例实施例。在该示例实施例中，参考样本的收集在L形状的顶部和左侧元件内被平衡，使得元素的总数是2的幂。为此，在图10的步骤S13中，从顶部和左侧元件上的L形状收集NM个有效样本。选择的元素的数量N＝2k，使得2k≤NM＜2k+1。然后从有效样本中选择N个元素，以便与块的尺寸一致地平衡NL和NT(例如，如果块的高度大于其宽度，则在左边使用更多的元素)。在至少一个实施例中，首先选择顶部样本，但仅选择具有NT＝N-NL和NL＝Min(numValidlefft，minToUseLeft)的至多NT个样本，其中当块的高度小于其宽度时：minToUseLeft＝N×cuHeight/(cuWidth+1)，或者在其他情况下为minToUseLeft＝N/2。在至少一个变型实施例中，与块的高度和宽度之间的比率成比例地执行平衡。在至少一个变型实施例中，与左边的有效样本的数量和顶部的有效样本的数量之间的比率成比例地执行平衡。
图12示出了其中参考样本的最大侧收集是有利的以使得NL+NT＝2k的示例实施例。在该实施例中，参考样本的收集在L形状的顶部和左侧元素内被平衡，使得元素的总数是类似于先前实施例的2的幂，差别在于最大侧是有利的。在这种实施例中，在图10的步骤S13中，首先对有效样本的数量NM进行计数，并且选择N＝2k，使得2k≤NM＜2k+1。当块高度大于或等于块宽度(cuHeight>＝cuWidth)时，收集有效的左侧样本并使用有效的顶部样本来完成样本集合。换句话说，NL＝有效的左侧样本的数量，NT＝N-NL。否则，当块高度小于块宽度(cuHeight＜cuWidth)时，收集有效的顶部样本，并使用有效的左侧样本来完成样本集。换句话说，NT＝有效的顶部样本的数量，NL＝N-NT。
在该实施例的变型中，有利侧不是最大的那一侧，而是具有最有效样本的那一侧。换句话说，NT和NL在一起比较。当NT≥NL时，首先选择来自顶部的所有的有效样本，并用来自左侧的样本完成。当NT＜NL时，首先选择来自左侧的所有的有效样本，并用来自顶部的样本完成。
图13A和13B示出了从具有“有效”样本的一个边界收集样本的示例实施例。这里的原理是，如果重构的左侧(或顶部)样本是“有效”的但是一些重构的顶部(或左侧)样本是“无效的”，则仅使用左侧(或分别顶部)样本来计算LIC参数。如图13a所示，一些重构的顶部样本是“无效的”，因为它们属于帧内译码块，而重构的左边是“有效的”。因此，在图10的S15中，仅重构的左侧样本用于确定LIC参数，在图13b中描述的变型中，如果第一NS个左侧样本和第一NS个顶部样本都被标记为“有效”，则使用它们。
图13C和13D示出了从具有“有效”样本的一个边界收集样本的示例实施例。在变型实施例中，如果如图中所示，最后NS个左侧样本和/或最后NS个顶部样本都被标记为“有效”，则使用它们。
在一变型中，NS被重新定义并被计算为NS＝2k，其中k被确定为更大的整数，使得NS<＝2k。
图14A和14B示出了使用填充的示例实施例。在该实施方式中，收集所有参考样本，使得R2仍得到验证(NL＝NT＝NS)：如图14A所示，在每个方向(左侧和顶部)上收集高达NS个“有效”样本。如果在一个方向X(X＝L或T)，NX<NS，则例如用填充来替换缺失样本。在图14B中，在当前块的顶部存在被填充的缺失样本。“填充”是指参考和重构的相邻样本被“有效”样本所替换。有利地，使用以下规则中的一个或若干规则来进行填充的“有效”样本的选择：
-使用位于相同方向X上的“有效”样本，即，位于当前块的左侧的缺失样本被当前块的左侧的“有效”样本所替换，并且位于当前块的顶部的缺失样本被当前块的顶部的“有效”样本所替换。
-用在空间上最接近被替换的样本的“有效”样本替换一个缺失样本。
在一个变型实施例中，如果在缺失样本的左侧和右侧存在有效样本，则缺失样本的一半从左侧被填充，而另一半从右侧被填充，如图14B所示。如果只有一侧具有有效样本，则只有该侧被用于填充。如果没有有效样本，则使用默认值来填充。
图15示出了其中收集所有的参考样本使得NL+NT＝2k的示例实施例。在这个称为增加NS的实施例中，收集所有的(NM个)顶部和左侧有效样本。在NM个“有效”中使用N＜NM个样本，其中N＝2k(320)，并且选择k使得2k≤NM＜2k+1。
图16示出了组合前述实施例的示例实施例。在该实施方案中，按照如下方式收集所有的参考样本，使得NL+NT＝2k：收集所有的(NM个)顶部和左侧的有效样本。计算k，使得2k≤NM＜2k+1。N的选择如下：
如果(NM-2k)＜T：N＝2k(与图7的实施例相同)，
否则N＝2k+1，并且用填充来替换缺失样本，
其中“T”是先验确定的。在图中描绘的示例中，NM＝29，然后k＝4(2k＝16)。在T＝4的情况下，则(NM-2k)优于T，然后N被设置为2k+1＝32，并且(32-29)＝3个缺失被例如用填充替换。
在一种变型中，T是“k”的函数(例如，T(k)＝2k-1)。
图17A、17B、17C示出了使用具有内插的填充的示例实施例。在一些实施例中，缺失样本由内插值t(x)代替而不是被填充。通过在两个样本值(A，B)之间进行内插来获得值t(x)，其中(A，B)是相同方向上最接近的“有效”样本(如图11A中所描绘)：
t(x)＝(x.B+(S-x).A)/s，
其中：S为漏失样本的尺寸，
A、B是最接近缺失样本集合的左侧或右侧(或分别在垂直方向上到顶部或底部)的参考或重构样本值，
x是要内插到其更近的左样本的样本距离。
垂直的样本值被相同地内插。
在一种变型中，A或B可以在不同的方向上(图17B)。在一种变型中，如果A(或B)在相同方向上不可用，则可以用填充来代替内插(图17C)。
图18A、18B和18C示出了当可用/必要时添加一个或多个角(corner)参考样本的示例实施例。在一个实施例中，如果一个附加的参考/重构的左上方样本“有效”(图18A中的黑色样本)，则使用该附加的参考/重构左上方样本。在变型中，如果仅存在缺失样本，则将左上方样本添加到用于计算LIC参数的样本列表。在另一个变体中，如果仅在缺失样本的集合的左侧(或顶部)没有有效样本，则将左上方样本添加到用于计算LIC参数的样本的列表(图18B和18C)。
图19A、19B、19C和19D示出了用“有效”样本复制替换缺失样本的示例实施例。在图19A所示的一个实施例中，用连续的“有效”样本组代替缺失样本。在一个变型实施例中，从“有效”样本集合中复制“有效”样本。在一个变型实施例中，优选地从最靠近左上方L形状样本的位置开始收集复制的“有效”样本(图19B)。在一个变型实施例中，从在相同方向上最靠近左上方L形状样本的位置开始从“有效”样本集合复制“有效”样本(图19C、图19D)。在一种变型中，如果在缺失样本的左侧和右侧存在有效样本，则从左侧复制缺失样本的一半，从右侧复制另一半(图19A)。如果只有一侧具有有效样本，则只有该侧被用于复制(图19C)。
图20示出了其中用从附加的L形状行获得的“有效”样本来替换缺失样本的示例实施例。
图21示出了L形状扩展超过当前块的尺寸的示例实施例。L形状在一个或两个方向上扩展超出当前块。在一个变型中，仅在“缺失”样本的情况下执行扩展。在该图中描述的例子中，扩展允许使用N＝16个参考样本。L形状扩展可以由一个值来限制，该值可以是当前块的尺寸值的函数。例如，在图21的示例中，最大扩展在水平方向上等于cuWidth/2。
示例性实施例提出使用2个子模型的平均值。首先独立地从顶部和左侧累积样本。使用如前一实施例之一所述的填充或复制，或者仅使用有效样本，但是使用为2的幂的NL和NT(2k≤NL＜2k+1，2p≤NT＜2p+1)，并且当执行等式2的最小二乘方最小化以确定线性模型的参数(a，b)时，将顶部和左侧的累积分别除以NT和NT(其为二的幂)，并且获得作为顶部和左侧的二次累积的平均值的最终累积。例如，将参考和重构样本的平均值计算为顶部平均值和左侧平均值的均值。每个顶部和左侧的平均值被分别计算。这影响了当块不是正方形而是矩形并且所有的重构样本都有效时找到二的幂的问题。
本申请描述了多个方面，包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性，并且至少为了示出个体特性，通常以可能听起来受限的方式来描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早的文档中描述的方面组合和互换。
本申请中描述和预期的方面可以以许多不同的形式实现。图1、2和3提供了一些实施例，但是可以想到其他实施例，并且对这些附图的讨论不限制实现的广度。至少一个方面一般涉及视频编码和解码，并且至少一个其它方面一般涉及传送所生成或编码的比特流。这些和其它方面可以实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
本申请中描述的各种方法和其它方面可用于修改模块，例如，如图1和图2所示的视频编码器100和解码器200的运动补偿和运动估计模块(170、175、275)。此外，本发明的方面不限于VVC或HEVC，并且可应用于例如其它标准和推荐，无论是预先存在的还是将来开发的，以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指出或在技术上排除，本申请中描述的方面可以单独或组合使用。
在本申请中使用各种数值，例如NS＝4。具体值是出于示例目的，并且所描述的方面不限于这些具体值。
各种实现方式涉及解码。如本申请中所使用的，“解码”可以包括例如对接收到的编码序列执行的全部或部分过程，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还或替代地包括由在本申请中描述的各种实现的解码器执行的过程，例如，适配照明补偿过程。
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施例中，这样的过程还或替代地包括由本申请中描述的各种实现的编码器执行的过程。
作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵编码的组合。短语“编码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的编码过程将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。
注意，这里使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
各种实施例涉及率失真优化。特别地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷，通常给出计算复杂度的约束。率失真优化通常被公式化为最小化率失真函数，率失真函数是速率和失真的加权和。存在不同的方法来解决率失真优化问题。例如，这些方法可以基于对所有编码选项(包括所有考虑的模式或译码参数值)的广泛测试，在编码和解码之后对它们的译码成本和重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其他编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任何一种来执行优化，但是优化不一定是对译码成本和相关失真两者的完整评估。
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备(包括例如计算机、微处理器、集成电路或可编程逻辑设备)。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。
对“一个实施例”或“实施例”或“一个实现”或“实现”以及其它变化形式的提及意味着结合实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此，在本申请中的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现中”或“在实现中”以及任何其他变型的出现不一定都指同一实施例。
另外，本申请可以涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。
此外，本申请可以涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。
另外，本申请可以指“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收信息可以包括例如访问信息或(例如从存储器)检索信息中的一个或多个。此外，在诸如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”以及“…中的至少一者”中的任何一个旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项目。
此外，如本文所使用的，词语“信号”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器用信号通知照明补偿参数中的特定一个。这样，在一个实施例中，在编码器侧和解码器侧使用相同的参数。因此，例如，编码器可以向解码器传送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其它参数，则可以使用信令而不进行传送(隐式信令)，以简单地允许解码器知道并选择特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前述内容涉及词语“信号”的动词形式，但是词语“信号”在本文中也可以用作名词。
如对于本领域普通技术人员将显而易见的，实现可以产生被格式化以携带例如可以被存储或传送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且利用编码的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路来传送。该信号可以存储在处理器可读介质上。
我们描述了多个实施例。这些实施例的特征可以在各种权利要求类别和类型上单独提供或以任何组合提供。

Claims (17)

1.一种用于视频编码或解码的方法，包括通过将函数应用(S16)到预测样本来针对所述视频的图像块执行所述块的局部照明补偿，其中所述函数是线性函数，所述线性函数的参数根据选择的参考样本而被确定(S15)。
2.一种用于视频编码或解码的装置，包括至少一个处理器，所述至少一个处理器被配置为通过将函数应用(S16)到预测样本来针对所述视频的图像块执行所述图像块的局部照明补偿，其中所述函数是线性函数，所述线性函数的参数根据选择的参考样本而被确定(S15)。
3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述参考样本的所述选择还包括：
-确定(S12)有效样本，当样本可用时，该样本被认为是有效的；以及
-确定(S13)参考样本的所述总数、在所述块的所述顶部的相邻样本的数量和在所述块的所述左侧的有效相邻样本的数量。
4.根据权利要求3所述的方法或装置，其中参考样本的所述总数是2的幂。
5.根据权利要求4所述的方法或装置，其中在所述块的所述顶部的样本和所述块的所述左侧的样本的所述选择基于所述块的所述高度和所述宽度之间的比率而被平衡。
6.根据权利要求4所述的方法或装置，其中当所述块高度大于或等于所述块宽度时，样本的所述选择通过首先选择在所述块的所述左侧的所有的有效相邻样本并用在所述块的所述顶部的有效相邻样本完成而被进行，并且当所述块高度小于所述块宽度时，样本的所述选择通过首先选择在所述块的所述顶部的所有的有效相邻样本并用在所述块的所述左侧的有效相邻样本来完成而被进行。
7.根据权利要求4所述的方法或装置，其中当在所述块的所述顶部的有效相邻样本的所述数量大于或等于在所述块的所述左侧的有效相邻样本的数量时，样本的所述选择通过首先选择在所述块的所述顶部的所有的有效相邻样本并用在所述块的所述左侧的有效相邻样本来完成而被进行，并且当在所述块的所述顶部的有效相邻样本的所述数量小于在所述块的所述左侧的有效相邻样本的数量时，样本的所述选择通过首先选择在所述块的所述左侧的所有的有效相邻样本并用在所述块的所述顶部的有效相邻样本来完成而被进行。
8.根据权利要求1或3中任意项所述的方法或根据权利要求2或3中任意项所述的装置，还包括替换(S14)缺失样本。
9.根据权利要求8所述的方法或装置，其中缺失样本被位于相同的邻域、顶部或左侧上的有效样本替换。
10.根据权利要求8所述的方法或装置，其中缺失样本通过基于到最接近的有效样本的所述距离来内插最接近的有效样本而被替换。
11.根据权利要求8所述的方法或装置，其中位于所述左上角的附加样本被添加到所述样本。
12.根据权利要求8所述的方法或装置，其中缺失样本通过复制连续样本的集合而被替换。
13.根据权利要求8所述的方法或装置，其中缺失样本被从在所述块的所述顶部的相邻样本的附加行获得的样本替换。
14.根据权利要求8所述的方法或装置，其中缺失样本被从在所述块的所述顶部和/或所述块的所述左侧的相邻样本的扩展集合获得的样本替换。
15.一种比特流，其中所述比特流通过以下步骤而被形成：
-获得图片块的样本；
-根据权利要求1-14中任一项对所述图片块执行局部照明补偿，
-对经局部照明补偿的图片块进行编码；以及
-形成包括编码的经局部照明补偿的图片块的比特流。
16.一种非暂时性计算机可读介质，包含根据权利要求1-14中任一项所述的方法生成的数据内容。
17.一种计算机程序产品，包括用于在由一个或多个处理器执行时执行根据权利要求1-14中任一项所述的方法的指令。
CN202080013203.8A 2019-02-08 2020-02-03 用于使用照明补偿进行图片编码和解码的方法和设备 Pending CN113424531A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP19305149.7 2019-02-08
EP19305149 2019-02-08
EP19305584.5 2019-05-07
EP19305584 2019-05-07
PCT/US2020/016345 WO2020163209A1 (en) 2019-02-08 2020-02-03 Method and device for picture encoding and decoding using illumination compensation

Publications (1)

Publication Number Publication Date
CN113424531A true CN113424531A (zh) 2021-09-21

Family

ID=69846161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080013203.8A Pending CN113424531A (zh) 2019-02-08 2020-02-03 用于使用照明补偿进行图片编码和解码的方法和设备

Country Status (5)

Country Link
US (2) US11936871B2 (zh)
EP (1) EP3922019A1 (zh)
KR (1) KR20210124241A (zh)
CN (1) CN113424531A (zh)
WO (1) WO2020163209A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032672A1 (en) * 2022-08-09 2024-02-15 Mediatek Inc. Method and apparatus for video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170150183A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
CN107710764A (zh) * 2015-06-09 2018-02-16 高通股份有限公司 确定用于视频译码的照明补偿状态的***及方法
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译***中基于照度补偿预测块的方法和设备
WO2018056603A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
US20180098086A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Systems and methods of performing improved local illumination compensation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210046399A1 (en) 2018-01-24 2021-02-18 NW Innovation Works. Near-Shore Floating Methanol Conversion Ship and Export Terminal
WO2019147910A1 (en) 2018-01-26 2019-08-01 Interdigital Vc Holdings, Inc. Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710764A (zh) * 2015-06-09 2018-02-16 高通股份有限公司 确定用于视频译码的照明补偿状态的***及方法
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译***中基于照度补偿预测块的方法和设备
US20180176592A1 (en) * 2015-06-16 2018-06-21 Lg Electronics Inc. Method and device for predicting block on basis of illumination compensation in image coding system
US20170150183A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
CN108293112A (zh) * 2015-11-25 2018-07-17 高通股份有限公司 视频译码中的弹性变换树结构
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
WO2018056603A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
US20180098086A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Systems and methods of performing improved local illumination compensation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JACOB STRÖM ETAL: "Description of Core Experiment 1 (CE1): Post-prediction and post-reconstruction filtering", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, 18 January 2019 (2019-01-18) *
VADIM SEREGIN ETAL: "CE10-related: Unidirectional illumination compensation", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, 18 January 2019 (2019-01-18) *

Also Published As

Publication number Publication date
EP3922019A1 (en) 2021-12-15
US11936871B2 (en) 2024-03-19
US20240179318A1 (en) 2024-05-30
WO2020163209A1 (en) 2020-08-13
US20220159260A1 (en) 2022-05-19
KR20210124241A (ko) 2021-10-14

Similar Documents

Publication Publication Date Title
US11722694B2 (en) Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples
CN113273209A (zh) Mmvd和smvd与运动和预测模型的组合
CN113545056A (zh) 用于图片编码和解码的方法及设备
CN113170146A (zh) 用于图片编码和解码的方法和设备
CN113557730A (zh) 用于利用基于子块的局部光照补偿的视频编码和解码方法和装置
CN112889287A (zh) 广义双向预测和加权预测
CN113678438A (zh) 采用子分区的宽角度帧内预测
US20220385922A1 (en) Method and apparatus using homogeneous syntax with coding tools
CN114208178A (zh) 用于视频编码和解码的二次变换
CN112771874A (zh) 用于画面编码和解码的方法和设备
CN112740674A (zh) 使用双预测进行视频编码和解码的方法和装置
CN114073077A (zh) 用于小块的高级语法简化工具集
JP2024505322A (ja) 幾何学的パーティションを伴うイントラ予測
US20240179318A1 (en) Method and device for picture encoding and decoding using illumination compensation
CN113170135A (zh) 用于图片编码和解码的方法及设备
EP3935861A1 (en) Local illumination compensation for video encoding or decoding
CN114641994A (zh) 编码和解码方法及装置
CN114930819A (zh) 三角形合并模式中的子块合并候选
CN114208194A (zh) 用于视频编码和解码的帧间预测参数推导
CN113424540A (zh) 帧内预测模式扩展
WO2024074048A1 (en) Encoding/decoding video picture data
WO2024077970A1 (en) Encoding/decoding video picture data
EP4258666A1 (en) Encoding/decoding video picture data
EP3618443A1 (en) Illumination compensation in video coding
US20210266582A1 (en) Illumination compensation in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination