CN113491130B - 用于视频编解码的线性模型推导的方法和装置 - Google Patents
用于视频编解码的线性模型推导的方法和装置 Download PDFInfo
- Publication number
- CN113491130B CN113491130B CN202080016731.9A CN202080016731A CN113491130B CN 113491130 B CN113491130 B CN 113491130B CN 202080016731 A CN202080016731 A CN 202080016731A CN 113491130 B CN113491130 B CN 113491130B
- Authority
- CN
- China
- Prior art keywords
- sample
- samples
- value
- prediction
- anchor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 238000009795 derivation Methods 0.000 title claims abstract description 47
- 239000000523 sample Substances 0.000 claims abstract description 179
- 239000013074 reference sample Substances 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims abstract description 47
- 238000005070 sampling Methods 0.000 claims abstract description 29
- 238000003860 storage Methods 0.000 claims description 22
- 241000023320 Luma <angiosperm> Species 0.000 claims description 20
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 20
- 238000012545 processing Methods 0.000 description 48
- 239000013598 vector Substances 0.000 description 35
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 21
- 238000013139 quantization Methods 0.000 description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 12
- 238000005192 partition Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000985610 Forpus Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供了一种用于视频编解码的方法。所述方法包括：使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数α和β；以及确定是否对当前编码单元CU应用局部光亮度补偿LIC模式，并且当确定应用所述LIC模式时，通过执行所述参数推导过程来推导所述LIC的参数α2和β2，并且基于以下等式来获得最终的LIC预测值：predL(i，j)＝α2.recL″(i，j)+β2；其中，α2和β2是所述参数α和β的实例；predL(i，j)表示所述当前CU中的LIC预测样点的值；并且recL″(i，j)表示所述当前CU的参考图片中的参考样点的值。
Description
相关申请的交叉引用
本申请要求于2019年1月17日提交的名称为“Linear Model Derivation forVideo Coding(用于视频编解码的线性模型推导)”的美国临时申请号62/793,869的优先权，所述美国临时申请出于所有目的通过引用以其全部内容并入。
技术领域
本申请总体上涉及视频编码和压缩，并且具体地但不限于，用于在视频编解码中使用线性模型生成预测信号的方法和装置。
背景技术
如数字电视、膝上型计算机或台式计算机、平板计算机、数码相机、数字录音设备、数字媒体播放器、视频游戏机、智能电话、视频电话会议识别、视频流式传输设备等各种电子设备都支持数字视频。电子设备通过实施视频压缩/解压缩来传输、接收、编码、解码、和/或存储数字视频数据。数字视频设备实施视频编码技术，如在由以下所定义的标准以及这种标准的扩展中描述的视频编码技术：通用视频编解码(VVC)、联合探索测试模型(JEM)、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频编解码(AVC)、ITU-TH.265/高效视频编解码(HEVC)。
视频编解码通常使用预测方法(例如，帧间预测、帧内预测)进行，这些预测方法利用视频图像或序列中存在的冗余。视频编码技术的一个重要目标在于，将视频数据压缩成在避免或最小化视频质量降级的同时使用较低比特率的形式。随着不断发展的视频服务的出现，需要具有更好编解码效率的编码技术。
视频压缩典型地包括执行空间(帧内)预测和/或时间(帧间)预测以减少或去除视频数据中固有的冗余。对于基于块的视频编码，将视频帧分区为一个或多个切片，每个切片具有多个视频块，所述视频块也可以被称为编码树单元(CTU)。每个CTU可以包含一个编码单元(CU)或递归地分割成较小的CU，直到达到预定义的最小CU大小。每个CU(也称为叶CU)包含一个或多个变换单元(TU)，并且每个CU还包含一个或多个预测单元(PU)。可以以帧内、帧间或IBC模式对每个CU进行编码。相对于同一视频帧内的相邻块中的参考样点，使用空间预测对视频帧的帧内编码(I)切片中的视频块进行编码。视频帧的帧间编码(P或B)切片中的视频块可以相对于同一视频帧内的相邻块中的参考样点使用空间预测或相对于其他先前和/或未来参考视频帧中的参考样点使用时间预测。
基于先前已被编码的参考块(例如，相邻块)的空间或时间预测产生针对要编码的当前视频块的预测块。查找参考块的过程可以通过块匹配算法来完成。表示要编码的当前块与预测块之间的像素差的残差数据被称为残差块或预测误差。根据指向形成预测块的参考帧中的参考块的运动向量、以及残差块来对帧间编码块进行编码。确定运动向量的过程典型地被称为运动估计。根据帧内预测模式和残差块对帧内编码块进行编码。为了进一步压缩，将残差块从像素域变换到变换域，例如频域，从而产生残差变换系数，然后可以对所述残差变换系数进行量化。可以扫描最初布置为二维阵列的经量化的变换系数，以产生变换系数的一维向量，并且然后将其熵编码为视频比特流，以实现更多的压缩。
然后，将经编码视频比特流保存在计算机可读存储介质(例如，闪速存储器)中，以被具有数字视频能力的另一个电子设备访问，或者直接以有线或无线方式传输到电子设备。然后，电子设备通过例如解析经编码视频比特流以从比特流获得语法元素并且至少部分地基于从比特流获得的语法元素将数字视频数据从经编码视频比特流重建为其原始格式来执行视频解压缩(其是与上文描述的视频压缩相反的过程)，并且在电子设备的显示器上渲染重建数字视频数据。
随着数字视频质量从高清到4K×2K或甚至8K×4K，要编码/解码的视频数据量呈指数增长。如何在保持经解码视频数据的图像质量的同时更高效地对视频数据进行编码/解码方面一直存在挑战。
在联合视频专家组(JVET)会议上，JVET定义了通用视频编解码(VVC)和VVC测试模型1(VTM1)编码方法的初稿。决定包括具有嵌套多类型树的四叉树，该嵌套多类型树使用二元和三元分割编码块结构作为VVC的初始新编解码特征。从那时起，在JVET会议期间开发了用于实施编码方法和VVC解码过程草案的参考软件VTM。
发明内容
总体上，本公开描述了与在视频编解码中使用线性模型生成预测信号有关的技术的示例。
根据本公开的第一方面，提供了一种用于视频编解码的方法，所述方法包括：使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数α和β；以及确定是否对当前编码单元CU应用局部光亮度补偿LIC模式，并且当确定应用所述LIC模式时，通过执行所述参数推导过程来推导所述LIC的参数α2和β2，并且基于以下等式来获得最终的LIC预测值：predL(i，j)＝α2·recL″(i，j)+β2；其中，α2和β2是所述参数α和β的实例；predL(i，j)表示所述当前CU中的LIC预测样点的值；并且rec″L(i，j)表示所述当前CU的参考图片中的参考样点的值。
根据本公开的第二方面，提供了一种用于视频编解码的装置，所述装置包括：处理器；以及存储器，所述存储器被配置为存储可由所述处理器执行的指令；其中，所述处理器在执行所述指令时被配置为：使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数α和β；以及确定是否对当前编码单元CU应用局部光亮度补偿LIC模式，并且当确定应用所述LIC模式时，通过执行所述参数推导过程来推导所述LIC的参数α2和β2，并且基于以下等式来获得最终的LIC预测值：predL(i，j)＝α2·recL″(i，j)+β2；其中，α2和β2是所述参数α和β的实例；predL(i，j)表示所述当前CU中的LIC预测样点的值；并且rec″L(i，j)表示所述当前CU的参考图片中的参考样点的值。
根据本公开的第三方面，提供了一种非暂态计算机可读存储介质，包括存储在其中的指令，其中，当处理器执行所述指令时，所述指令使所述处理器：使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数α和β；以及确定是否对当前编码单元CU应用局部光亮度补偿LIC模式，并且当确定应用所述LIC模式时，通过执行所述参数推导过程来推导所述LIC的参数α2和β2，并且基于以下等式来获得最终的LIC预测值：predL(i，j)＝α2·recL″(i，j)+β2；其中，α2和β2是所述参数α和β的实例；predL(i，j)表示所述当前CU中的LIC预测样点的值；并且rec″L(i，j)表示所述当前CU的参考图片中的参考样点的值。
附图说明
本公开的示例的更具体的描述将通过参照在附图中图示的具体示例来呈现。鉴于这些附图仅描绘了一些示例并且因此不应被认为是对范围的限制，将通过使用所附附图更具体和详细地描述和解释这些示例。
图1是图示了根据本公开的一些实施方式的示例性视频编码和解码***的框图。
图2是图示了根据本公开的一些实施方式的示例性视频编码器的框图。
图3是图示了根据本公开的一些实施方式的示例性视频解码器的框图。
图4是图示了根据本公开的一些实施方式的yuv 4:2:0格式的亮度和色度像素采样网格的示意图。
图5是图示了根据本公开的一些实施方式的用于推导跨分量线性模型(CCLM)预测模式中的参数α1和β1的样点的位置的示意图。
图6是图示了根据本公开的一些实施方式的使用min-Max方法的α1和β1的直线推导的示意图。
图7是图示了根据本公开的一些实施方式的用于推导α1和β1的LM_A模式的示意图。
图8是图示了根据本公开的一些实施方式的用于推导α1和β1的LM_L模式的示意图。
图9是图示了根据本公开的一些实施方式的yuv 4:2:2格式的亮度和色度像素采样网格的示意图。
图10是图示了根据本公开的一些实施方式的yuv 4:4:4格式的亮度和色度像素采样网格的示意图。
图11是图示了根据本公开的一些实施方式的用于推导局部光亮度补偿(LIC)模式中的参数α2和β2的相邻样点的示意图。
图12是图示了根据本公开的一些实施方式的用于推导CCLM/LIC参数的样点选择的示例的示意图。
图13是图示了根据本公开的一些实施方式的用于推导CCLM/LIC参数的样点选择的示例的示意图。
图14是图示了根据本公开的一些实施方式的用于推导CCLM/LIC参数的样点选择的示例的示意图。
图15是图示了根据本公开的一些实施方式的用于推导CCLM/LIC参数的样点选择的示例的示意图。
图16是图示了根据本公开的一些实施方式的用于推导CCLM/LIC参数的样点选择的示例的示意图。
图17是图示了根据本公开的一些实施方式的用于推导CCLM/LIC参数的样点选择的示例的示意图。
图18是图示了根据本公开的一些实施方式的用于推导CCLM/LIC参数的样点选择的示例的示意图。
图19是图示了根据本公开的一些实施方式的用于推导CCLM/LIC参数的样点选择的示例的示意图。
图20是图示了根据本公开的一些实施方式的用于视频编解码的示例性装置的框图。
图21是图示了根据本公开的一些实施方式的用于使用线性模型生成预测信号的示例性视频编解码过程的流程图。
具体实施方式
现在将详细参照具体实施方式，附图中图示了这些实施方式的示例。在以下详细描述中，阐述了许多非限制性的具体细节，以便帮助理解本文提出的主题。但是对于本领域普通技术人员将显而易见的是，可以使用各种替代方案。例如，对于本领域普通技术人员将显而易见的是，本文提出的主题可以在具有数字视频能力的许多类型的电子设备上实施。
贯穿本说明书对“一个实施例”、“实施例”、“示例”、“一些实施例”、“一些示例”、或类似语言的提及意味着所描述的特定特征、结构、或特性包括在至少一个实施例或示例中。除非另有明确说明，否则结合一个或一些实施例描述的特征、结构、要素、或特性也适用于其他实施例。
贯穿本公开，术语“第一”、“第二”、“第三”等都用作命名法，仅用于提及相关要素，例如设备、部件、组分、步骤等，除非另有明确说明，否则不暗示任何空间或时间顺序。例如，“第一设备”和“第二设备”可以指两个单独形成的设备，或者同一设备的两个部分、部件或工作状态，并且可以任意命名。
如本文所使用的，取决于上下文，术语“如果”或“当……时”可以被理解为意指“在……时”或“响应于”。这些术语如果出现在权利要求中，可能并不指示相关限制或特征是有条件的或可选的。
术语“模块”、“子模块”、“电路”、“子电路(sub-circuit)”、“电路”、“子电路(sub-circuitry)”、“单元”、或“子单元”可以包括存储器(共享、专用、或组)，所述存储器存储可以由一个或多个处理器执行的代码或指令。模块可以包括具有或不具有存储的代码或指令的一个或多个电路。模块或电路可以包括直接或间接连接的一个或多个部件。这些部件可能会或可能不会物理地附接到彼此或彼此相邻。
单元或模块可以纯软件实施，也可以纯硬件实施，也可以硬件与软件结合实施。例如，在纯软件实施方式中，单元或模块可以包括直接或间接链接在一起的功能相关的代码块或软件部件，以执行特定功能。
图1是图示了根据本公开的一些实施方式的用于对视频块进行编码和解码的示例性***10的框图。如图1中所示，***10包括源设备12，源设备12生成并且编码要由目的地设备14在稍后时间解码的视频数据。源设备12和目的地设备14可以是多种电子设备中的任何一种，所述多种电子设备包括台式计算机或膝上型计算机、平板计算机、智能电话、机顶盒、数字电视、相机、显示设备、数字媒体播放器、视频游戏机、视频流式传输设备等。在一些实施方式中，源设备12和目的地设备14配备有无线通信能力。
在一些实施方式中，目的地设备14可以经由链路16接收要解码的经编码视频数据。链路16可以是能够将经编码视频数据从源设备12移到目的地设备14的任何类型的通信介质或设备。在一个示例中，链路16可以是用于使源设备12能够实时地将经编码视频数据直接传输到目的地设备14的通信介质。经编码视频数据可以根据如无线通信协议等通信标准来调制并传输到目的地设备14。通信介质可以是任何无线或有线通信介质，如射频(RF)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络(如局域网、广域网、或全球网(如互联网))的一部分。通信介质可以包括路由器、交换机、基站、或可以用于促进从源设备12到目的地设备14的通信的任何其他装置。
在一些其他实施方式中，经编码视频数据可以从输出接口22传输到存储设备32。随后，存储设备32中的经编码视频数据可以由目的地设备14经由输入接口28访问。存储设备32可以包括各种分布式或本地访问的数据存储介质中的任一种，如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性存储器或非易失性存储器、或用于存储经编码视频数据的任何其他合适的数字存储介质。在进一步的示例中，存储设备32可以对应于可以保持由源设备12生成的经编码视频数据的文件服务器或另一个中间存储设备。目的地设备14可以经由流传输或下载从存储设备32访问所存储的视频数据。文件服务器可以是能够存储经编码视频数据并且将经编码视频数据传输到目的地设备14的任何类型的计算机。示例性文件服务器包括web服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)设备、或本地磁盘驱动器。目的地设备14可以通过任何标准数据连接访问经编码视频数据，所述连接包括适于访问存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)、或两者的组合。从存储设备32传输经编码视频数据可以是流式传输、下载传输、或两者的组合。
如图1中所示，源设备12包括视频源18、视频编码器20和输出接口22。视频源18可以包括如视频捕获设备等源，例如，摄像机、包含先前捕获的视频的视频档案、用于从视频内容提供方接收视频的视频馈送接口、和/或用于生成计算机图形数据作为源视频的计算机图形***、或这种源的组合。作为一个示例，如果视频源18是安全监控***的摄像机，则源设备12和目的地设备14可以是拍照电话或视频电话。然而，本公开中描述的实施方式通常可以适用于视频编码并且可以应用于无线和/或有线应用。
捕获的、预先捕获的、或计算机生成的视频可以由视频编码器20进行编码。经编码视频数据可以经由源设备12的输出接口22直接传输到目的地设备14。经编码视频数据也可以(或替代性地)存储到存储设备32上，以供目的地设备14或其他设备以后访问，以进行解码和/或回放。输出接口22可以进一步包括调制解调器和/或发射器。
目的地设备14包括输入接口28、视频解码器30、以及显示设备34。输入接口28可以包括接收器和/或调制解调器，并且通过链路16接收经编码视频数据。通过链路16传送的或提供在存储设备32上的经编码视频数据可以包括由视频编码器20生成的各种语法元素，以供视频解码器30用于解码视频数据。这种语法元素可以被包括于在通信介质上传输的、存储在存储介质上的、或存储在文件服务器中的经编码视频数据内。
在一些实施方式中，目的地设备14可以包括显示设备34，所述显示设备可以是集成显示设备或被配置为与目的地设备14通信的外部显示设备。显示设备34向用户显示经解码视频数据并且可以是各种显示设备中的任一种，如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器、或另一种类型的显示设备。
视频编码器20和视频解码器30可以根据专有或行业标准(如VVC、HEVC、MPEG-4第10部分、高级视频编码(AVC)、或这种标准的扩展)进行操作。应当理解，本公开不限于特定的视频编码/解码标准，并且可以适用于其他视频编码/解码标准。通常设想，源设备12的视频编码器20可以被配置为根据这些当前或未来标准中的任一种来对视频数据进行编码。类似地，通常还设想，目的地设备14的视频解码器30可以被配置为根据这些当前或未来标准中的任一种来对视频数据进行解码。
视频编码器20和视频解码器30各自可以实施为各种适合的编码器电路中的任一种，如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地在软件中实施时，电子设备可以将用于软件的指令存储在合适的非暂态计算机可读介质中并且使用一个或多个处理器在硬件中执行指令以执行本公开中公开的视频编码/解码操作。视频编码器20和视频解码器30中的每一个可以包括在一个或多个编码器或解码器中，所述一个或多个编码器或解码器中的任一个可以集成为相应设备中的组合编码器/解码器(CODEC)的一部分。
图2是图示了根据本公开中描述的一些实施方式的示例性视频编码器20的框图。视频编码器20可以执行对视频帧内的视频块的帧内预测编码和帧间预测编码。帧内预测编码依赖于空间预测来减少或去除给定视频帧或图片内的视频数据的空间冗余。帧间预测编码依赖于时间预测以减少或去除视频序列的相邻视频帧或图片内的视频数据的时间冗余。
如图2中所示，视频编码器20包括视频数据存储器40、预测处理单元41、经解码图片缓冲器(DPB)64、加法器50、变换处理单元52、量化单元54、以及熵编码单元56。预测处理单元41进一步包括运动估计单元42、运动补偿单元44、分区单元45、帧内预测处理单元46、帧内块复制(IBC)单元48、以及帧内/帧间模式决策单元49。在一些实施方式中，视频编码器20还包括用于视频块重建的逆量化单元58、逆变换处理单元60、以及加法器62。去块滤波器可以位于加法器62与DPB 64之间，以对块边界进行滤波，以从重建的视频中去除块效应伪像。除了去块滤波器之外，还可以使用环路滤波器63来对加法器62的输出进行滤波。视频编码器20可以采用固定或可编程硬件单元的形式，或可以在固定或可编程硬件单元中的一个或多个中进行划分。
视频数据存储器40可以存储要由视频编码器20的部件编码的视频数据。视频数据存储器40中的视频数据可以例如从视频源18获得。DPB 64是存储参考视频数据以用于由视频编码器20对视频数据进行编码(例如，在帧内预测编码模式或帧间预测编码模式下)的缓冲器。视频数据存储器40和DPB 64可以是多种存储器设备中的任何一种。在各个示例中，视频数据存储器40可以与视频编码器20的其他部件一起在片上，或者相对于那些部件在片外。
如图2中所示，在接收到视频数据之后，预测处理单元41内的分区单元45将视频数据分区为视频块。此分区还可以包括根据预定义的分割结构(如与视频数据相关联的四叉树结构)将视频帧分区为切片、图块、或其他更大的编码单元(CU)。视频帧可以被划分成多个视频块(或称为图块的视频块集)。预测处理单元41可以基于误差结果(例如，编码率和失真水平)为当前视频块选择多个可能的预测编码模式之一，如多个帧内预测编码模式之一或多个帧间预测编码模式之一。预测处理单元41可以将所得的帧内预测编码块或帧间预测编码块提供给加法器50以生成残差块，并且提供给加法器62以重建经编码块以随后用作参考帧的一部分。预测处理单元41还将如运动向量、帧内模式指示符、分区信息、以及其他这种语法信息等语法元素提供给熵编码单元56。
为了为当前视频块选择适当的帧内预测编码模式，预测处理单元41内的帧内预测处理单元46可以相对于与要编码的当前块相同的帧中的一个或多个相邻块执行对当前视频块的帧内预测编码，以提供空间预测。预测处理单元41内的运动估计单元42和运动补偿单元44相对于一个或多个参考帧中的一个或多个预测块执行对当前视频块的帧间预测编码，以提供时间预测。视频编码器20可以执行多个编码通道，例如，以便为视频数据的每个块选择适当的编码模式。
在一些实施方式中，运动估计单元42根据视频帧序列内的预定模式通过生成运动向量来确定当前视频帧的帧间预测模式，所述运动向量指示当前视频帧内的视频块的预测单元(PU)相对于参考视频帧内的预测块的位移。由运动估计单元42执行的运动估计是生成运动向量的过程，所述过程估计了视频块的运动。运动向量例如可以指示当前视频帧或图片内的视频块的PU相对于参考帧内的预测块(或其他编码单元)的位移，所述预测块相对于在当前帧内编码的当前块(或其他编码单元)。预定模式可以将序列中的视频帧指定为P帧或B帧。帧内BC单元48可以以与由运动估计单元42确定运动向量以进行帧间预测的方式类似的方式确定用于进行帧内BC编解码的向量(例如，块向量)，或者可以利用运动估计单元42来确定块向量。
预测块是在像素差方面被认为与要编码的视频块的PU紧密匹配的参考帧的块，所述像素差可以由绝对差和(SAD)、平方差和(SSD)、或其他差值度量来确定。在一些实施方式中，视频编码器20可以计算存储在DPB 64中的参考帧的子整数像素位置的值。例如，视频编码器20可以***参考帧的四分之一像素位置、八分之一像素位置、或其他分数像素位置的值。因此，运动估计单元42可以相对于全像素位置和分数像素位置执行运动搜索并且以分数像素精度输出运动向量。
运动估计单元42通过将PU的位置与从第一参考帧列表(例如，列表0)或第二参考帧列表(例如，列表1)中选择的参考帧的预测块的位置进行比较来计算帧间预测编码帧中的视频块的PU的运动向量，所述列表中的每一个标识存储在DPB 64中的一个或多个参考帧。运动估计单元42将经计算的运动向量发送到运动补偿单元44，并且然后发送到熵编码单元56。
由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动向量获取或生成预测块。在接收当前视频块的PU的运动向量之后，运动补偿单元44可以在参考帧列表中的一个中定位运动向量所指向的预测块，从DPB 64取得预测块并且将预测块转发到加法器50。然后，加法器50通过从被编码的当前视频块的像素值中减去由运动补偿单元44提供的预测块的像素值来形成具有像素差值的残差视频块。形成残差视频块的像素差值可以包括亮度差分量或色度差分量或两者。运动补偿单元44还可以生成与视频帧的视频块相关联的语法元素，以供视频解码器30在对视频帧的视频块进行解码时使用。语法元素可以包括例如定义用于标识预测块的运动向量的语法元素、指示预测模式的任何标志、或本文描述的任何其他语法信息。注意，运动估计单元42和运动补偿单元44可以是高度集成的，但是它们出于概念性目的而分别图示。
在一些实施方式中，帧内BC单元48可以以与上文结合运动估计单元42和运动补偿单元44所描述的方式类似的方式来生成向量并且获取预测块，但是其中预测块与被编码的当前块处于同一帧中，并且其中相对于运动向量，所述向量被称为块向量。具体地，帧内BC单元48可以确定帧内预测模式以用于对当前块进行编码。在一些示例中，帧内BC单元48可以例如在单独的编码通道期间使用各种帧内预测模式对当前块进行编码，并且通过率失真分析来测试其性能。接下来，帧内BC单元48可以在各种经测试帧内预测模式中选择适当的帧内预测模式来使用并相应地生成帧内模式指示符。例如，帧内BC单元48可以使用针对各种经测试帧内预测模式的率失真分析来计算率失真值并且在经测试模式中选择具有最佳率失真特性的帧内预测模式作为要使用的适当的帧内预测模式。率失真分析通常确定经编码块与原始的未编码块(被编码以产生经编码块)之间的失真(或误差)量以及用于产生经编码块的比特率(即，比特数)。帧内BC单元48可以根据各个经编码块的失真和速率来计算比值，以确定哪个帧内预测模式展现出块的最佳率失真值。
在其他示例中，帧内BC单元48可以全部或部分地使用运动估计单元42和运动补偿单元44，以根据本文描述的实施方式执行用于帧内BC预测的这种功能。在任一种情况下，对于帧内块复制，预测块可以是就像素差而言被视为与要编码的块紧密匹配的块，所述像素差可以由绝对差和(SAD)、平方差和(SSD)或其他差度量确定，并且预测块的识别可以包括计算子整数(sub-integer)像素位置的值。
无论预测块是根据帧内预测来自同一帧还是根据帧间预测来自不同帧，视频编码器20都可以通过从被编码的当前视频块的像素值中减去预测块的像素值来形成残差视频块，从而形成像素差值。形成残差视频块的像素差值可以包括亮度分量差和色度分量差。
如上文描述的，帧内预测处理单元46可以对当前视频块进行帧内预测，作为由运动估计单元42和运动补偿单元44执行的帧间预测、或者由帧内BC单元48执行的帧内块复制预测的替代方案。具体地，帧内预测处理单元46可以确定帧内预测模式以用于对当前块进行编码。为此，帧内预测处理单元46可以例如在单独的编码通道期间使用各种帧内预测模式对当前块进行编码，并且帧内预测处理单元46(或在一些示例中为模式选择单元)可以从经测试帧内预测模式中选择适当的帧内预测模式来使用。帧内预测处理单元46可以将指示块的所选帧内预测模式的信息提供给熵编码单元56。熵编码单元56可以对指示比特流中的所选帧内预测模式的信息进行编码。
在预测处理单元41经由帧间预测或帧内预测确定当前视频块的预测块之后，加法器50通过从当前视频块中减去预测块来形成残差视频块。残差块中的残差视频数据可以被包括在一个或多个变换单元(TU)中，并且被提供给变换处理单元52。变换处理单元52使用如离散余弦变换(DCT)或概念上类似的变换等变换将残差视频数据变换为残差变换系数。
变换处理单元52可以将所得的变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步降低比特率。量化过程还可以减小与系数中的一些或所有系数相关联的位深度。可以通过调整量化参数来修改量化程度。在一些示例中，量化单元54然后可以执行对包括经量化的变换系数的矩阵的扫描。替代性地，熵编码单元56可以执行扫描。
在量化之后，熵编码单元56使用例如上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、基于语法的上下文自适应二进制算术编码(SBAC)、概率区间分区熵(PIPE)编码或其他熵编码方法或技术将经量化的变换系数熵编码为视频比特流。然后可以将经编码比特流传输到视频解码器30，或将其存档在存储设备32中，以供以后传输到视频解码器30或由所述视频解码器取得。熵编码单元56还可以对被编码的当前视频帧的运动向量和其他语法元素进行熵编码。
逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以在像素域中重建残差视频块，以生成用于预测其他视频块的参考块。如上所述，运动补偿单元44可以从DPB64中存储的帧的一个或多个参考块中生成经运动补偿的预测块。运动补偿单元44还可以将一个或多个内插滤波器应用于预测块以计算用于运动估计中的子整数像素值。
加法器62将重建的残差块添加到由运动补偿单元44产生的经运动补偿的预测块，以产生参考块用于存储在DPB 64中。参考块然后可以由帧内BC单元48、运动估计单元42和运动补偿单元44用作预测块，以对后续视频帧中的另一个视频块进行帧间预测。
在使用视频编码器20的视频编解码的示例中，视频帧被分区为块以进行处理。针对每个给定的视频块，基于帧间预测或帧内预测来形成预测。在帧间预测中，可以基于来自先前重建的帧的像素，通过运动估计和运动补偿来形成预测值或预测块。在帧内预测中，可以基于当前帧中的重建像素来形成预测值。通过模式决策，可以选择最佳预测值来预测当前块。
预测残差或残差块(即，当前块与其预测值之间的差)被发送到变换模块，例如变换处理单元52。变换系数然后被发送到量化模块，例如量化单元54，以进行熵减小。量化系数被馈送到熵编码模块(例如，熵编码单元56)，以生成压缩视频比特流。如图2中所示，来自帧间和/或帧内预测模块的预测相关信息(如块分区信息、运动向量、参考图片索引、以及帧内预测模式等)也经过熵编码模块(例如，熵编码单元56)，然后被保存到比特流中。
在视频编码器20中，可能需要解码器相关模块以重建像素从而用于预测目的。首先，通过逆量化和逆变换来重建预测残差。然后将重建预测残差与预测值组合以生成当前块的未经滤波的重建像素。
为了提高编码效率和视觉质量，常常使用环路滤波器63。例如，在AVC、HEVC、以及VVC中可用去块滤波器。在HEVC中，可以定义称为样点自适应偏移(SAO)的附加环路滤波器以进一步提高编解码效率。在VVC中，可以采用称为自适应环路滤波器(ALF)的环路滤波器63。
这些环路滤波器操作是可选的。打开环路滤波器通常有助于提高编解码效率和视觉质量。它们也可以作为编码器决策被关闭，以节省计算复杂性。
应该注意到，如果这些滤波器被编码器打开，则帧间预测基于经滤波的重建像素，而帧内预测通常基于未经滤波的重建像素重建。
图3是图示了根据本公开的一些实施方式的示例性视频解码器30的框图。视频解码器30包括视频数据存储器79、熵解码单元80、预测处理单元81、逆量化单元86、逆变换处理单元88、加法器90、以及DPB 92。预测处理单元81进一步包括运动补偿单元82、帧内预测处理单元84、帧内BC单元85、以及帧内/帧间模式选择单元87。视频解码器30可以执行通常与上文结合图2关于视频编码器20所描述的编码过程相反的解码过程。例如，运动补偿单元82可以基于从熵解码单元80接收到的运动向量生成预测数据，而帧内预测单元84可以基于从熵解码单元80接收到的帧内预测模式指示符生成预测数据。
在使用视频解码器30进行视频解码的示例中，通过熵解码单元80对接收的比特流进行解码以推导量化系数等级(或量化系数)和预测相关信息。然后通过逆量化单元86和逆变换处理单元88来处理量化系数等级以获得重建残差块。基于解码后的预测相关信息，通过帧内预测或运动补偿过程来形成预测值或预测块。通过将重建残差块和预测值进行求和来获得未经滤波的重建像素。在环路滤波器被打开的情况下，对这些像素执行滤波操作，从而推导最终的重建视频以供输出。
在一些示例中，可以给视频解码器30的单元分配任务以执行本公开的实施方式。同样，在一些示例中，本公开的实施方式可以在视频解码器30的一个或多个单元之间进行划分。例如，帧内BC单元85可以单独或与视频解码器30的其他单元(如运动补偿单元82、帧内预测处理单元84、以及熵解码单元80)组合地执行本公开的实施方式。在一些示例中，视频解码器30可以不包括帧内BC单元85，并且帧内BC单元85的功能可以由预测处理单元81的其他部件(如运动补偿单元82)执行。
视频数据存储器79可以存储要由视频解码器30的其他部件解码的视频数据，如经编码视频比特流。例如，可以经由对视频数据进行有线或无线网络传送或者通过访问物理数据存储介质(例如，闪速驱动器或硬盘)从存储设备32、本地视频源(如相机)获得存储在视频数据存储器79中的视频数据。视频数据存储器79可以包括存储来自经编码视频比特流的经编码视频数据的编码图片缓冲器(CPB)。视频解码器30的经解码图片缓冲器(DPB)92存储参考视频数据，以用于由视频解码器30对视频数据进行解码(例如，在帧内预测编码模式或帧间预测编解码模式下)。视频数据存储器79和DPB 92可以由多种存储器设备中的任一种形成，如动态随机存取存储器(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)、或其他类型的存储器设备。出于说明性目的，视频数据存储器79和DPB 92在图3中被描绘为视频解码器30的两个不同的部件。但是对于本领域技术人员将显而易见的是，视频数据存储器79和DPB 92可以由相同的存储器设备或单独的存储器设备提供。在一些示例中，视频数据存储器79可以与视频解码器30的其他部件一起在片上，或者相对于那些部件在片外。
在解码过程期间，视频解码器30接收表示经编码视频帧的视频块的经编码视频比特流和相关联的语法元素。视频解码器30可以在视频帧水平和/或视频块水平接收语法元素。视频解码器30的熵解码单元80对比特流进行熵解码以生成经量化的系数、运动向量或帧内预测模式指示符、以及其他语法元素。熵解码单元80然后将运动向量和其他语法元素转发到预测处理单元81。
当视频帧被编码为帧内预测编码(I)帧或用于其他类型的帧中的帧内编码预测块时，预测处理单元81的帧内预测处理单元84可以基于信号传输的帧内预测模式和来自当前帧的先前经解码块的参考数据来生成当前视频帧的视频块的预测数据。
当视频帧被编码为帧间预测编码(即，B或P)帧时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收到的运动向量和其他语法元素产生当前视频帧的视频块的一个或多个预测块。每个预测块可以从参考帧列表之一内的参考帧产生。视频解码器30可以基于存储在DPB 92中的参考帧使用默认构造技术构造参考帧列表，例如，列表0和列表1。
在一些示例中，当根据本文描述的帧内BC模式对视频块进行编码时，预测处理单元81的帧内BC单元85基于从熵解码单元80接收到的块向量和其他语法元素，为当前视频块产生预测块。预测块可以处于与由视频编码器20定义的当前视频块相同的图片的重建区域内。
运动补偿单元82和/或帧内BC单元85通过解析运动向量和其他语法元素来确定当前视频帧的视频块的预测信息，并且然后使用预测信息来产生被解码的当前视频块的预测块。例如，运动补偿单元82使用接收到的语法元素中的一些来确定用于对视频帧的视频块进行编码的预测模式(例如，帧内预测或帧间预测)、帧间预测帧类型(例如，B或P)、帧的参考帧列表中的一个或多个参考帧列表的构造信息、帧的每个帧间预测编码视频块的运动向量、帧的每个帧间预测编码视频块的帧间预测状态、以及用于对当前视频帧中的视频块进行解码的其他信息。
类似地，帧内BC单元85可以使用接收到的语法元素中的一些(例如，标志)来确定当前视频块是使用以下各项预测的：帧内BC模式、关于帧的视频块处于重建的区域内并且应存储在DPB 92中的构造信息、帧的每个帧内BC预测视频块的块向量、帧的每个帧内BC预测视频块的帧内BC预测状态、以及用于对当前视频帧中的视频块进行解码的其他信息。
运动补偿单元82还可以如由视频编码器20在对视频块进行编码期间使用的那样使用内插滤波器来执行内插以计算参考块的子整数像素的内插值。在这种情况下，运动补偿单元82可以从接收到的语法元素确定由视频编码器20使用的内插滤波器并且使用内插滤波器来产生预测块。
逆量化单元86使用由视频编码器20针对视频帧中的每个视频块计算的用于确定量化程度的相同的量化参数，对在比特流中提供的并且由熵解码单元80进行熵解码的经量化的变换系数进行逆量化。逆变换处理单元88将逆变换(例如，逆DCT、逆整数变换、或概念上类似的逆变换过程)应用于变换系数，以便在像素域中重建残差块。
在运动补偿单元82或帧内BC单元85基于向量和其他语法元素生成当前视频块的预测块之后，加法器90通过对来自逆变换处理单元88的残差块以及由运动补偿单元82和帧内BC单元85生成的对应预测块求和来重建当前视频块的经解码视频块。环路滤波器91可以定位于加法器90与DPB 92之间，以进一步处理经解码视频块。然后将给定帧中的经解码视频块存储在DPB 92中，所述DPB存储用于对接下来的视频块进行后续运动补偿的参考帧。DPB 92或与DPB 92分开的存储器设备还可以存储经解码视频以供稍后呈现在如图1的显示设备34等显示设备上。
在典型的视频编码过程中，视频序列典型地包括帧或图片的有序集合。每个帧可以包括三个样点阵列，分别表示为SL、SCb和SCr。SL是亮度样点的二维阵列。SCb是Cb色度样点的二维阵列。SCr是Cr色度样点的二维阵列。在其他实例中，帧可以是单色的，并且因此仅包括亮度样点的一个二维阵列。在本公开中，由符号或下标Y或L表示的术语“亮度”用于指定样点阵列或单个样点表示与原色相关的单色信号。由符号Cb和Cr(或C)表示的术语“色度”用于指定样点阵列或单个样点表示与原色相关的两个色差信号之一。
跨分量线性模型预测
为减少跨分量冗余，在VVC参考软件VTM中使用跨分量线性模型(CCLM)预测模式，其中编码单元(CU)的色度样点是基于同一CU的重建亮度样点通过使用如下线性模型来预测的：
predC(i，j)＝α1·recL′(i，j)+β1； (1)
其中，predC(i，j)表示CU中的预测色度样点的值，并且rec′L(i，j)表示同一CU的下采样重建亮度样点的值。
也就是说，利用参数α1和β1将预测色度样点的值建模为亮度块的重建亮度样点的值的线性函数。可以对重建亮度样点进行下采样以匹配色度样点的大小。
在一个示例中，VVC开发过程中在通用测试条件下使用yuv格式4:2:0，并且下面关于yuv格式4:2:0来说明参数α1和β1的推导。图4示出了yuv采样格式4:2:0的亮度样点和色度样点的采样网格。在所示的采样网格中，X指示亮度样点的位置，而O指示色度样点或下采样亮度样点的位置。在图4中所示的采样网格的放大部分中，Rec’L(x，y)表示下采样重建亮度样点的值，并且RecL表示六个相邻的亮度样点的值，所述六个相邻的亮度样点的值可以用于生成下采样重建亮度样点的值Rec’L(x，y)，其中x和y是像素索引。
参数α1和β1是通过使用直线等式的方法推导的，所述方法可以命名为min-Max方法。图5示出了具有2W×2H个亮度样点的编码块中用于推导参数α1和β1的样点的位置。RecC表示左上相邻的重建色度样点并且可以称为锚样点；Rec’L表示对应的左上相邻的下采样重建亮度样点并且可以称为参照样点；并且N的值(N为用于确定直线的样点数)等于当前色度编码块的宽度和高度中的最小值的两倍。图6图示了用于推导参数α和β的最小亮度值与最大亮度值之间的直线。2个点A、B(一对亮度和色度样点)是如图5中所描绘的一组相邻亮度样点内的最小值和最大值。每个色度样点及其对应的亮度样点称为样点对；并且A表示具有最小亮度值的样点对，即最小样点对，并且B表示具有最大亮度值的样点对，即最大样点对。线性模型参数α1和β1是根据以下等式获得的(可以避免除法并用乘法和移位代替)：
β＝yA-αxA (2)
其中，yB是最大样点对的色度样点值，yA是最小样点对的色度样点值，xB是最大样点对的亮度样点值，并且xA是最小样点对的亮度样点值。
对于正方形的编码块，直接应用min-Max方法。对于非正方形编码块，在应用min-Max方法之前，首先对较长边界的相邻样点进行子采样，以具有与较短边界相同数量的样点。图5示出了CCLM模式中涉及的左上相邻样点和当前块的样点的位置。
min-Max方法计算是作为解码过程的一部分执行的，而不仅仅是作为编码器搜索操作。因此，没有使用语法来将参数α1和参数β1的值传达到解码器。目前，等式/滤波器(3)用作亮度下采样滤波器以生成下采样亮度样点。然而，可以选择不同的等式/滤波器来生成下采样的亮度样点，如等式(3)至(19)所示。注意到，等式(5)至(10)可以看作是直接取样而无需下采样过程。
Rec′L[x，y]＝(RecL[2x，2y]*2+RecL[2x+1，2y]+RecL[2x-1，2y]+RecL[2x，2y+1]*2+RecL[2x+1，2y+1]+RecL[2x-1，2y+1]+4)＞＞3 (3)
Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x，2y+1]+RecL[2x+1，2y]+RecL[2x+1，2y+1]+2)＞＞2 (4)
Rec′L[x，y]＝RecL[2x，2y] (5)
Rec′L[x，y]＝RecL[2x+1，2y] (6)
Rec′L[x，y]＝RecL[2x-1，2y] (7)
Rec′L[x，y]＝RecL[2x-1，2y+1] (8)
Rec′L[x，y]＝RecL[2x，2y+1] (9)
Rec′L[x，y]＝RecL[2x+1，2y+1] (10)
Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x，2y+1]+1)＞＞1 (11)
Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x+1，2y]+1)＞＞1 (12)
Rec′L[x，y]＝(RecL[2x+1，2y]+RecL[2x+1，2y+1]+1)＞＞1 (13)
Rec′L[x，y]＝(RecL[2x，2y+1]+RecL[2x+1，2y+1]+1)＞＞1 (14)
Rec′L[x，y]＝(2×RecL[2x，2y+1]+RecL[2x-1，2y+1]+RecL[2x+1，2y+1]+2)＞＞2(15)
Rec′L[x，y]＝(RecL[2x+1，2y]+RecL[2x+1，2y+1]+1)＞＞1 (16)
除了使用上侧模板(即，样点)和左侧模板一起计算线性模型系数α1和β1外，还可以在其他2种LM模式(分别称为LM_A和LM_L模式)中交替使用所述模板。如图7中所示，在LM_A模式下，使用上侧模板来计算线性模型系数。为了得到更多的样点，将上侧模板扩展到(W+W)。如图8中所示，在LM_L模式下，仅使用左侧模板来计算线性模型系数。为了得到更多的样点，将左侧模板扩展到(H+H)。除了yuv 4:2:0格式之外，编解码器还可以支持4:2:2格式和4:4:4格式。图9和图10分别示出了yuv 4:2:2格式和yuv 4:4:4格式的亮度样点和色度样点的采样网格。
局部光亮度补偿
局部光亮度补偿(LIC)基于针对光亮度变化的线性模型，该线性模型使用缩放因子a和偏移量b。其可以针对每个经模式间编码的编码单元(CU)自适应地启用或禁用。然后使用参数通过以下等式来生成LIC预测值：
predL(i，j)＝α2·recL″(i，j)+β2； (20)
其中predL(i，j)表示CU中的预测样点的值，并且rec″L(i，j)表示当前块或CU的参考图片中的参考样点的值。参考样点由编码运动向量或推导的运动向量定位。
当LIC应用于CU时，可以采用最小二乘误差方法通过使用当前CU的相邻样点及其对应的参考样点来推导参数α2和β2。更具体地，如图11中所图示的，使用当前块(或CU)的相邻样点(可以应用下采样)、以及参考图片中可以由当前块/CU或子CU的运动信息标识的对应的参考样点。光亮度补偿(IC)参数α2和β2是针对每个预测方向分别推导和应用的。
当CU采用合并模式进行编码时，从相邻块复制LIC标志，其方式类似于合并模式下的运动信息复制；否则，为CU发出LIC标志以指示是否应用LIC。
当为图片启用LIC时，需要额外的CU级别率失真(RD)检查以确定是否为CU应用LlC。当为CU启用LIC时，针对整数像素运动搜索和分数像素运动搜索，分别使用去除平均绝对差和(MR-SAD)与去除平均绝对哈达玛变换差和(MR-SATD)，而不是绝对差和(SAD)与绝对变换差和(SATD)。
根据本公开的一些示例，针对LIC模式，可以使用可以实施为参数推导过程的min-Max方法。在一些其他示例中，针对CCLM模式和LIC模式，可以使用用于推导参数(例如，α和β)的相同方法。也就是说，这两种编解码模式可以共享相同的处理模块或参数推导过程。在参数推导过程中，α1和α2是参数α的实例，并且β1和β2是参数β的实例。
参数推导过程实施使用预设数量X个样点对来推导参数α和β的算法，每个样点对包括作为相邻重建样点的锚样点及所述锚样点的对应参照样点。只能使用X(X是正整数)个样点对来推导CCLM参数和LIC参数(例如，等式(1)中的α1和β1，以及等式(20)中的α2和β2)。每个样点对包含一个锚样点和一个参照样点。对于CCLM模式，锚样点是相邻色度样点，而参照样点是锚样点的对应亮度样点。CCLM的样点对的示例在图5中图示。对于CCLM模式，参照样点可以是下采样亮度样点(例如，通过使用等式(3)获得的下采样亮度样点)或没有下采样的重建亮度样点(例如，通过使用直接取一个亮度样点的等式(5)至(9)之一获得的亮度样点)。
对于LIC模式，锚样点是当前块的相邻重建样点，而参照样点是参考图片中的、锚样点的对应参考样点。图11中图示了LIC的样点对的示例。在又一种配置中，参照样点是当前块的相邻重建样点，而锚样点是参考图片中的、参照样点的对应参考样点。
以下部分描述了用于推导CCLM/LIC模式的参数的若干实施例，其中X＝3并且X＝4。然而，本公开的概念可以扩展到具有其他X值的情况，即其他数量的样点对。
X＝3时的样点对选择
在一个实施例中，如图12和图13中所示，使用三个样点对作为用于推导CCLM/LIC参数α和β的选择的样点对：
左邻样点中的顶部样点，
左邻样点中的底部样点，以及
上邻样点中的最右侧的样点。
具体而言，对于CCLM模式，选择如图12中所示的样点对(Rec′L[-1，0]，RecC[-1，0])、(Rec′L[-1，H-1]，RecC[-1，H-1])以及(Rec′L[W-1，-1]，RecC[W-1，-1])作为用于推导CCLM参数的样点对，其中W和H代表色度块的宽度和高度。对于LIC模式，选择如图13中所示的样点对(Rec′L[-1，0]，Rec″L[-1，0])、(Rec′L[-1，H-1]，Rec″L[-1，H-1])以及(Rec′L[W-1，-1]，Rec″L[W-1，-1])作为用于推导LIC参数的样点对，其中W和H代表当前块的宽度和高度，并且当前块可以是色度块或亮度块。为了简化说明，在以下示例中，仅描绘了CCLM模式的当前块的相邻样点，并且可以轻松地将相同的样点模式映射到LIC模式的情况。
在另一个实施例中，如图14中所示，将上邻样点中的最左侧样点、左邻样点中的底部样点和上邻样点中的最右侧样点用作所选择的三个样点对。也就是说，选择样点对(Rec′L[0，-1]，RecC[0，-1])、(Rec′L[-1，H-1]，RecC[-1，H-1])以及(Rec′L[W-1，-1]，RecC[W-1，-1])作为用于推导CCLM参数的样点对。对于LIC模式，选择样点对(Rec′L[0，-1]，Rec″L[0，-1])、(Rec′L[-1，H-1]，Rec″L[-1，H-1])以及(Rec′L[W-1，-1]，Rec″L[W-1，-1])作为用于推导LIC参数的三个样点对。
在一些其他实施例中，图15和图16中分别描绘了样点的两个替代性选择。在图15中，选择上邻样点中的最左侧样点、上邻样点中的最左侧样点的宽度的一半(例如，对于CCLM，(Rec′L[W/2，-1]，RecC[W/2，-1])；对于LIC，(Rec′L[W/2，-1]，Rec″L[W/2，-1]))、以及上邻样点中的最右侧样点。在图16中，选择上邻样点中的最左侧样点、上邻样点中的最左侧样点的宽度(W)(例如，对于CCLM，(Rec′L[W，-1]，RecC[W，-1])；对于LIC，(Rec′L[W，-1]，Rec″L[W，-1]))、以及上邻样点中的最右侧样点(例如，对于CCLM，(Rec′L[2W-1，-1]，RecC[2W-1，-1])；对于LIC，(Rec′L[2W-1，-1]，Rec″L[2W-1，-1]))，其中上邻样点扩展到(W+W)。类似的样点选择可以应用于左邻样点的情况。
样点对选择可以不限于上述实施例。这三个样点对可以是从上侧或左侧重建相邻样点中选择的任何三个样点对，并且相邻样点不限于仅在上侧一行或左侧一行的样点。
X＝3时的CCLM/LIC参数推导方法
在以下段落中，为了说明目的，参照CCLM参数来描述推导方法。LIC参数的推导方法相同，因而在此不再赘述。在一个实施例中，通过参照样点值比较将具有最大参照样点值的样点对和具有最小参照样点值的样点对分别识别为最大样点对和最小样点对。最大样点对的参照样点值记为xB，最大样点对的锚样点值记为yB；最小样点对的参照样点值记为xA，最小样点对的锚样点值记为yA。然后使用等式(2)来计算参数α和β。
在另一个实施例中，通过参照样点值比较来识别具有最大参照样点值的样点对和具有最小参照样点值的样点对。然后生成与最大样点对的参照样点值相关联的下采样样点(例如，使用等式(4))，并且下采样样点的参照样点值记为xB；最大样点对的锚样点值记为yB；然后生成与最小样点对的参照样点值相关联的下采样样点(例如，使用等式(4))，并且下采样样点的参照样点值记为xA；并且最小样点对的锚样点值记为yA。然后使用等式(2)来计算α参数和β。
在又一实施例中，通过参照样点值比较将分别具有最大参照样点值、中间参照样点值(或中等(intermediate)参照样点值)和最小参照样点值的样点对分别识别为最大样点对、中间样点对和最小样点对。最大样点对和中间样点对的参照样点值的加权平均值记为xB，并且最大样点对和中间样点对的锚样点值的加权平均值记为yB；中间样点对和最小样点对的参照样点值的加权平均值记为xA，并且中间样点对和最小样点对的锚样点值的加权平均值记为yA。xA、yA、xB和yB是基于以下等式推导的：
xA＝(w1*xmid+w2*xmin+offset1)＞＞N1；
yA＝(w1*ymid+w2*ymin+offset1)＞＞N1；
xB＝(w3*xmax+w4*xmid+offset2)＞＞N2；
yB＝(w3*ymax+w4*ymid+offset2)＞＞N2；
其中xmax是最大样点对的参照样点值，xmid是中间样点对的参照样点值，xmin是最小样点对的参照样点值，ymax是最大样点对的锚样点值，ymid是中间样点对的锚样点值，并且ymin是最小样点对的锚样点值；w1、w2、w3、w4、offset1、offset2、N1和N2是预定义的参数；并且w1+w2＝(1＜＜N1)，offset1＝1＜＜(N1-1)；w3+w4＝(1＜＜N2)，offset2＝1＜＜(N2-1)。
利用所获得的xA、yA、xB和yB，然后使用等式(2)来计算参数α和β。
在应用相等加权的一个示例中，w1＝1，w2＝1，w3＝1，w4＝1；N1＝1，N2＝1；并且offset1＝1，offset2＝1。
在又一示例中，w1＝3，w2＝1，w3＝1，w4＝3；N1＝2，N2＝2；并且offset1＝2，offset2＝2。
在又一实施例中，使用i、j、k作为这三个样点对的索引，仅在lumai与lumaj之间以及lumai与lumak之间执行两次比较。通过这两次比较，这三个样点对可以完全按亮度值排序，或者被划分为两组：一组包含两个较大的值，而另一组包含一个较小的值，反之亦然。当值被完全排序时，可以使用上述方法。当样点对被划分成两组时，推导同一组(即，包含两个样点对的组)中的(多个)亮度或色度样点的加权平均值(一组中的单个样点对实际上不需要执行加权平均)。例如，当一个组中有两个样点对时，一个组中的两个亮度值以相等的权重平均，而两个色度值也以相等的权重平均。加权平均值用作xA、yA、xB和yB，以使用等式(2)来推导CCLM参数。
CCLM参数的推导方法可以不限于上述实施例。可以以任何方式使用选择的三个样点对来推导CCLM参数。
X＝4时的样点对选择
在一个实施例中，如图17中所示，使用四个样点对作为用于推导CCLM/LIC参数的选择的样点对：
左邻样点中的顶部样点，
上邻样点中的最左侧样点，
左邻样点中的底部样点，以及
上邻样点中的最右侧样点。
具体而言，使用样点对(Rec′L[-1，0]，RecC[-1，0])、(Rec′L[0，-1]，RecC[0，-1])、(Rec′L[-1，H-1]，RecC[-1，H-1])和(Rec′L[W-1，-1]，RecC[W-1，-1])来推导CCLM参数，其中W和H代表色度块的宽度和高度；并且使用样点对(Rec′L[-1，0]，Rec″L[-1，0])、(Rec′L[0，-1]，Rec″L[0，-1])、(Rec′L[-1，H-1]，Rec″L[-1，H-1])和(Rec′L[W-1，-1]，Rec″L[W-1，-1])来推导LIC参数，其中W和H代表当前块的宽度和高度，并且当前块可以是色度块或亮度块。
在另一个实施例中，如图18中所示，将上邻样点中的最左侧样点的宽度的四分之一、左邻样点中的顶部样点的高度的四分之一、左邻样点中的底部样点和上邻样点中的最右侧样点用作用于推导CCLM/LIC参数的样点对。具体而言，选择样点对(Rec′L[W/4，-1]，RecC[W/4，-1])、(Rec′L[-1，H/4]，RecC[-1，H/4])、(Rec′L[-1，H-1]，RecC[-1，H-1])和(Rec′L[W-1，-1]，RecC[W-1，-1])作为用于推导CCLM参数的样点对。选择样点对(Rec′L[W/4，-1]，Rec″L[W/4，-1])、(Rec′L[-1，H/4]，Rec″L[-1，H/4])、(Rec′L[-1，H-1]，Rec″L[-1，H-1])和(Rec′L[W-1，-1]，Rec″L[W-1，-1])作为用于推导LIC参数的样点对。
在又一个实施例中，在图19中给出了另一个采样模式。选择对应于Rec′L[2，-1]、Rec′L[2+W/2，-1]、Rec′L[2+W，-1]、Rec′L[2+3W/2，-1]的样点对作为用于推导CCLM/LIC参数的样点对。类似的样点选择可以应用于左邻样点的情况。
样点对选择可以不限于上述实施例。这四个样点对可以是从上侧或左侧重建相邻样点中选择的任何四个样点对，并且相邻样点不限于仅在上侧一行或左侧一列的样点。例如，一个样点对集合包括：上邻样点中的最左侧样点的宽度的四分之一、左邻样点中的顶部样点的宽度的四分之一、上邻样点中的最左侧样点的宽度的四分之三、左邻样点中的顶部样点的宽度的四分之三。
替代性地，另一个样点对集合包括：上邻样点中的最左侧样点的宽度的八分之一、上邻样点中的最左侧样点的宽度的八分之三、上邻样点中的最左侧样点的宽度的八分之五、上邻样点中的最左侧样点的宽度的八分之七。
替代性地，另一个样点对集合包括：左邻样点中的顶部样点的高度的八分之一、左邻样点中的顶部样点的高度的八分之三、左邻样点中的顶部样点的高度的八分之五、左邻样点中的顶部样点的高度的八分之七。
X＝4时的CCLM/LIC参数推导方法
在以下段落中，为了说明目的，参照CCLM参数来描述推导方法。LIC参数的推导方法相同，因而在此不再赘述。在一个实施例中，通过亮度样点比较将具有最大参照样点值和最小参照样点值的样点对分别识别为最大样点对和最小样点对。最大样点对的参照样点值记为xB，最大样点对的锚样点值记为yB；最小样点对的参照样点值记为xA，最小样点对的锚样点值记为yA。然后使用等式(2)来计算参数α和β。
在另一个实施例中，通过参照样点值比较来识别具有最大参照样点值的样点对和具有最小参照样点值的样点对。然后生成与最大样点对的参照样点值相关联的下采样样点(例如，使用等式(4))，并且下采样样点的参照样点值记为xB；最大样点对的锚样点值记为yB；然后生成与最小样点对的参照样点值相关联的下采样样点(例如，使用等式(4))，并且下采样样点的参照样点值记为xA；并且最小样点对的锚样点值记为yA。然后使用等式(2)来计算参数α和β。
在又一实施例中，通过参照样点比较来识别分别具有两个较大参照样点值和两个较小参照样点值的样点对。这两个较大样点对的参照样点值记为xB0、xB1，并且这两个较大样点对的锚样点值记为yB0、yB1，这两个较小样点对的参照样点值记为xA0、xA1，并且这两个较小样点对的锚样点值记为yA0、yA1。如以下等式中说明的，然后推导xA、xB、yA和yB作为xA0、xA1、xB0、xB1、yA0、yA1和yB0、yB1的加权平均值。然后使用等式(2)来计算参数α和β。
xA＝(w1*xA0+w2*xA1+offset1)＞＞N1；
xB＝(w3*xB0+w4*xB1+offset2)＞＞N2；
yA＝(w1*yA0+w2*yA1+offset1)＞＞N1；
yB＝(w3*yB0+w4*yB1+offset2)＞＞N2；
其中，w1+w2＝(1＜＜N1)，offset1＝1＜＜(N1-1)；w3+w4＝(1＜＜N2)，offset2＝1＜＜(N2-1)。
在应用相等加权的一个示例中，w1＝1，w2＝1，w3＝1，w4＝1；N1＝1，N2＝1并且offset1＝1，offset2＝2。
在又一个示例中，w1＝3，w2＝1，w3＝1，w4＝3；N1＝2，N2＝2并且offset1＝2，offset2＝2。
CCLM/LIC参数的推导方法可以不限于上述实施例。可以以任何方式使用这四个选择的样点对来推导CCLM/LIC参数。
图20是图示了根据本公开的一些实施方式的用于视频编解码的装置的框图。装置2000可以是如移动电话、平板计算机、数字广播终端、平板设备、或个人数字助理等终端。
如图20中所示，装置2000可以包括以下部件中的一个或多个：处理部件2002、存储器2004、电源部件2006、多媒体部件2008、音频部件2010、输入/输出(I/O)接口2012、传感器部件2020、以及通信部件2016。
处理部件2002通常控制装置2000的整体操作，如与显示、电话呼叫、数据通信、相机操作和录音操作相关的操作。处理部件2002可以包括一个或多个处理器2020，以用于执行指令从而完成上述方法的全部或部分步骤。进一步，处理部件2002可以包括一个或多个模块，以促进处理部件2002与其他部件之间的交互。例如，处理部件2002可以包括多媒体模块，以促进多媒体部件2008与处理部件2002之间的交互。
存储器2004被配置为存储不同类型的数据以支持装置2000的操作。这种数据的示例包括用于在装置2000上运行的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器2004可以由任何类型的易失性或非易失性存储设备或其组合来实施，并且存储器2004可以是静态随机存取存取器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪速存储器、磁盘或光盘。
电源部件2006为装置2000的不同部件供电。电源部件2006可以包括电源管理***，一个或多个电源，以及与为装置2000生成、管理和分配电力相关联的其他部件。
多媒体部件2008包括提供装置2000与用户之间的输出接口的屏幕。在一些示例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，则屏幕可以被实施为从用户接收输入信号的触摸屏。触摸面板可以包括用于感测触摸面板上的触摸、滑动和手势的一个或多个触摸传感器。触摸传感器不仅可以感测触摸动作或滑动动作的边界，还可以检测与触摸或滑动操作相关的持续时间和压力。在一些示例中，多媒体部件2008可以包括前置相机和/或后置相机。当装置2000处于操作模式(如拍摄模式或视频模式)时，前置相机和/或后置相机可以接收外部多媒体数据。
音频部件2010被配置为输出和/或输入音频信号。例如，音频部件2010包括麦克风(MIC)。当装置2000处于工作模式(如呼叫模式、录音模式和语音识别模式)时，麦克风被配置为接收外部音频信号。接收到的音频信号可以进一步存储在存储器2004中或经由通信部件2016发送。在一些示例中，音频部件2010进一步包括用于输出音频信号的扬声器。
I/O接口2012提供处理部件2002与***接口模块之间的接口。上述***接口模块可以是键盘、点击轮、按钮等。这些按钮可以包括但不限于主页按钮、音量按钮、开始按钮和锁定按钮。
传感器部件2020包括用于为装置2000提供不同方面的状态评估的一个或多个传感器。例如，传感器部件2020可以检测装置2000的开/关状态和部件的相对位置。例如，部件是装置2000的显示器和键盘。传感器部件2020还可以检测装置2000或装置2000的部件的位置变化、用户对装置2000的接触的存在或不存在、装置2000的取向或加速度/减速度、以及装置2000的温度变化。传感器部件2020可以包括接近度传感器，所述接近度传感器被配置为在没有任何物理接触的情况下检测附近物体的存在。传感器部件2020可以进一步包括光学传感器，如在成像应用中使用的CMOS或CCD图像传感器。在一些示例中，传感器部件2020可以进一步包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器、或温度传感器。
通信部件2016被配置为促进装置2000与其他设备之间的有线或无线通信。装置2000可以接入基于如WiFi、4G、或其组合等通信标准的无线网络。在示例中，通信部件2016经由广播信道从外部广播管理***接收广播信号或广播相关信息。在示例中，通信部件2016可以进一步包括用于促进短距离通信的近场通信(NFC)模块。例如，NFC模块可以基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术以及其他技术来实施。
在示例中，装置2000可以由以下各项中的一项或多项来实施以执行上述方法：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件。
非暂态计算机可读存储介质可以是例如硬盘驱动器(HDD)、固态驱动器(SSD)、闪速存储器、混合驱动器或固态混合驱动器(SSHD)、只读存储器(ROM)、致密盘只读存储器(CD-ROM)、磁带、软盘等。
图21是图示了根据本公开的一些实施方式的用于使用线性模型生成预测信号的示例性视频编解码过程的流程图。
在步骤2102中，处理器2020使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数α和β。
在一些实施例中，例如通过装置、电路、或计算机程序代码块来提供用于推导预测参数α和β的参数推导过程。
在步骤2104中，处理器2020确定是否对当前编码单元(CU)应用局部光亮度补偿(LIC)模式，并且当确定应用LIC模式时，通过执行参数推导过程来推导LIC的参数α2和β2，并且基于以下等式来获得最终的LIC预测值：
predL(i，j)＝α2·recL″(i，j)+β2；
其中，α2和β2是参数α和β的实例；predL(i，j)表示当前CU中的LIC预测样点的值；并且rec″L(i，j)表示当前CU的参考图片中的参考样点的值。
在一些示例中，处理器2020可以进一步确定是否对当前编码单元(CU)应用跨分量线性模型(CCLM)模式，并且当确定应用CCLM模式时，通过执行参数推导过程来推导CCLM的参数α1和β1，并且基于以下等式来获得最终的CCLM预测值：
predC(i，j)＝α1·recL′(i，j)+β1；
其中，α1和β1是参数α和β的实例；predC(i，j)表示当前CU中的CCLM预测色度样点的值；并且rec′L(i，j)表示当前CU的下采样重建亮度样点的值。
参数推导过程实施使用预设数量X个样点对来推导参数α和β的算法，每个样点对包括作为相邻重建样点的锚样点及所述锚样点的对应参照样点。
在一些示例中，提供了一种用于视频编解码的装置。所述装置包括：处理器2020；以及存储器2004，所述存储器被配置为存储可由所述处理器执行的指令；其中，所述处理器在执行所述指令时被配置为执行如图21中所图示的方法。
在一些其他示例中，提供了一种其中存储有指令的非暂态计算机可读存储介质2004。当所述指令由处理器2020执行时，所述指令使所述处理器执行如图21中所图示的方法。
已经出于说明目的呈现了对本公开的描述，并且所述描述不旨在是穷举的、或限于本公开。受益于前述描述和相关联附图中呈现的教导，许多修改、变体和替代性实施方式对于本领域普通技术人员将是显而易见的。
选择并描述实施例以便解释本公开的原理，并且使本领域其他技术人员能够理解本公开的各种实施方式并且最好地利用基本原理以及具有适合于预期的特定用途的各种修改的各种实施方式。因此，应当理解，本公开的范围不应受限于所公开的实施方式的具体示例，并且修改和其他实施方式旨在包括在本公开的范围内。
Claims (12)
1.一种用于视频编解码的方法，所述方法包括：
使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数和/>；
其中，所述使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数和/>包括：当确定对当前编码单元CU应用局部光亮补偿LIC模式时，通过执行所述参数推导过程来推导所述LIC的参数/>和/>，并且基于以下等式来获得最终的LIC预测值：
；
其中，和/>是所述参数/>和/>的实例；
表示所述当前CU中的LIC预测样点的值；并且
表示所述当前CU的参考图片中的参考样点的值，
其中，所述参数推导过程实施使用预设数量X个样点对来推导所述参数和/>的算法，每个样点对包括作为相邻重建样点的锚样点以及所述锚样点的对应参照样点，
其中，所述参数推导过程包括：
通过所述X个样点对中的参照样点的参照样点值的比较来识别具有最大参照样点值的第一样点对、具有最小参照样点值/>的第二样点对、以及具有中等参照样点值的第三样点对；
基于以下等式来推导所述第二样点对和所述第三样点对的参照样点值的第一加权平均值x A 、所述第二样点对的锚样点值和所述第三样点对的锚样点值/>的第一加权平均值y A 、所述第一样点对和所述第三样点对的参照样点值的第二加权平均值x B 、所述第一样点对的锚样点值/>和所述第三样点对的锚样点值/>的第二加权平均值y B ：
，
其中，w1、w2、w3、w4、offset1、offset2、N1和N2是预定义的参数；以及
基于以下等式来获得所述参数和/>：
；
其中，所述预设数量X为奇数并且所述预设数量X为3，
其中，所述预定义的参数满足下列关系：
w1+w2=(1<<N1)，w3+w4=(1<<N2)，offset1=1<<(N1-1)，offset2=1<<(N2-1)，
w1=w4，w2=w3，并且w1不同于w2。
2.如权利要求1所述的方法，其中，所述使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数和/>进一步包括：
当确定对所述当前编码单元CU应用跨分量线性模型CCLM模式时，通过执行所述参数推导过程来推导所述CCLM的参数和/>，并且基于以下等式来获得最终的CCLM预测值：
；
其中，和/>是所述参数/>和/>的实例；
表示所述当前CU中的CCLM预测色度样点的值；并且
表示所述当前CU的下采样重建亮度样点的值。
3.如权利要求2所述的方法，其中所述三个样点对包括左邻样点中的顶部样点、所述左邻样点中的底部样点、以及上邻样点中的最右侧样点。
4.如权利要求3所述的方法，其中，所述锚样点为相邻色度样点，并且在所述CCLM模式中，所述参照样点为与所述锚样点相对应的位置处的亮度样点，并且在所述LIC模式中，所述参照样点为所述参考图片中的与所述锚样点相对应的位置处的参考样点。
5.一种用于视频编解码的装置，所述装置包括：
处理器；以及
存储器，所述存储器被配置为存储能由所述处理器执行的指令；其中，所述处理器在执行所述指令时被配置为：
使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数和/>；其中，所述使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数/>和/>包括：当确定对当前编码单元CU应用局部光亮补偿LIC模式时，通过执行所述参数推导过程来推导所述LIC的参数/>和/>，并且基于以下等式来获得最终的LIC预测值：
；
其中，
和/>是所述参数/>和/>的实例；
表示所述当前CU中的LIC预测样点的值；并且
表示所述当前CU的参考图片中的参考样点的值，
其中，所述参数推导过程实施使用预设数量X个样点对来推导所述参数和/>的算法，每个样点对包括作为相邻重建样点的锚样点以及所述锚样点的对应参照样点，
其中，所述参数推导过程包括：
通过所述X个样点对中的参照样点的参照样点值的比较来识别具有最大参照样点值的第一样点对、具有最小参照样点值/>的第二样点对、以及具有中等参照样点值的第三样点对；
基于以下等式来推导所述第二样点对和所述第三样点对的参照样点值的第一加权平均值x A 、所述第二样点对的锚样点值和所述第三样点对的锚样点值/>的第一加权平均值y A 、所述第一样点对和所述第三样点对的参照样点值的第二加权平均值x B 、所述第一样点对的锚样点值/>和所述第三样点对的锚样点值/>的第二加权平均值y B ：
，
其中，w1、w2、w3、w4、offset1、offset2、N1和N2是预定义的参数；以及
基于以下等式来获得所述参数和/>：
；
其中，所述预设数量X为奇数并且所述预设数量X为3，
其中，所述预定义的参数满足下列关系：
w1+w2=(1<<N1)，w3+w4=(1<<N2)，offset1=1<<(N1-1)，offset2=1<<(N2-1)，
w1=w4，w2=w3，并且w1不同于w2。
6.如权利要求5所述的装置，其中，所述使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数和/>进一步包括：当确定对所述当前编码单元CU应用跨分量线性模型CCLM模式时，通过执行所述参数推导过程来推导所述CCLM的参数/>和/>，并且基于以下等式来获得最终的CCLM预测值：
；
其中，和/>是所述参数/>和/>的实例；
表示所述当前CU中的CCLM预测色度样点的值；并且
表示所述当前CU的下采样重建亮度样点的值。
7.如权利要求6所述的装置，其中所述三个样点对包括左邻样点中的顶部样点、所述左邻样点中的底部样点、以及上邻样点中的最右侧样点。
8.如权利要求7所述的装置，其中，所述锚样点为相邻色度样点，并且在所述CCLM模式中，所述参照样点为与所述锚样点相对应的位置处的亮度样点，并且在所述LIC模式中，所述参照样点为所述参考图片中的与所述锚样点相对应的位置处的参考样点。
9.一种非暂态计算机可读存储介质，包括存储在其中的指令，其中，当由处理器执行所述指令时，所述指令使所述处理器：
使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数和/>；其中，所述使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数/>和/>包括：当确定对当前编码单元CU应用局部光亮补偿LIC模式时，通过执行所述参数推导过程来推导所述LIC的参数/>和/>，并且基于以下等式来获得最终的LIC预测值：
；
其中，
和/>是所述参数/>和/>的实例；
表示所述当前CU中的LIC预测样点的值；并且
表示所述当前CU的参考图片中的参考样点的值，
其中，所述参数推导过程实施使用预设数量X个样点对来推导所述参数和/>的算法，每个样点对包括作为相邻重建样点的锚样点以及所述锚样点的对应参照样点，
其中，所述参数推导过程包括：
通过所述X个样点对中的参照样点的参照样点值的比较来识别具有最大参照样点值的第一样点对、具有最小参照样点值/>的第二样点对、以及具有中等参照样点值的第三样点对；
基于以下等式来推导所述第二样点对和所述第三样点对的参照样点值的第一加权平均值x A 、所述第二样点对的锚样点值和所述第三样点对的锚样点值/>的第一加权平均值y A 、所述第一样点对和所述第三样点对的参照样点值的第二加权平均值x B 、所述第一样点对的锚样点值/>和所述第三样点对的锚样点值/>的第二加权平均值y B ：
，
其中，w1、w2、w3、w4、offset1、offset2、N1和N2是预定义的参数；以及
基于以下等式来获得所述参数和/>：
；
其中，所述预设数量X为奇数并且所述预设数量X为3，
其中，所述预定义的参数满足下列关系：
w1+w2=(1<<N1)，w3+w4=(1<<N2)，offset1=1<<(N1-1)，offset2=1<<(N2-1)，
w1=w4，w2=w3，并且w1不同于w2。
10.如权利要求9所述的非暂态计算机可读存储介质，其中，所述使用相邻的重建色度样点及其参照样点通过参数推导过程来推导预测参数和/>进一步包括：
当确定对所述当前编码单元CU应用跨分量线性模型CCLM模式时，通过执行所述参数推导过程来推导所述CCLM的参数和/>，并且基于以下等式来获得最终的CCLM预测值：
；
其中，和/>是所述参数/>和/>的实例；
表示所述当前CU中的CCLM预测色度样点的值；并且
表示所述当前CU的下采样重建亮度样点的值。
11.如权利要求10所述的非暂态计算机可读存储介质，其中所述三个样点对包括左邻样点中的顶部样点、所述左邻样点中的底部样点、以及上邻样点中的最右侧样点。
12.如权利要求11所述的非暂态计算机可读存储介质，其中，所述锚样点为相邻色度样点，并且在所述CCLM模式中，所述参照样点为与所述锚样点相对应的位置处的亮度样点；并且在所述LIC模式中，所述参照样点为所述参考图片中的与所述锚样点相对应的位置处的参考样点。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962793869P | 2019-01-17 | 2019-01-17 | |
| US62/793,869 | 2019-01-17 | ||
| PCT/US2020/013965 WO2020150535A1 (en) | 2019-01-17 | 2020-01-16 | Methods and apparatus of linear model derivation for video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113491130A CN113491130A (zh) | 2021-10-08 |
| CN113491130B true CN113491130B (zh) | 2024-02-27 |
Family
ID=71613454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080016731.9A Active CN113491130B (zh) | 2019-01-17 | 2020-01-16 | 用于视频编解码的线性模型推导的方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113491130B (zh) |
| WO (1) | WO2020150535A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022178433A1 (en) * | 2021-02-22 | 2022-08-25 | Beijing Dajia Internet Information Technology Co., Ltd. | Improved local illumination compensation for inter prediction |
| WO2023134452A1 (en) * | 2022-01-11 | 2023-07-20 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
| WO2024037649A1 (en) * | 2022-08-19 | 2024-02-22 | Douyin Vision Co., Ltd. | Extension of local illumination compensation |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018039596A1 (en) * | 2016-08-26 | 2018-03-01 | Qualcomm Incorporated | Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction |
| CN107810635A (zh) * | 2015-06-16 | 2018-03-16 | Lg 电子株式会社 | 图像编译***中基于照度补偿预测块的方法和设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MX2013002429A (es) * | 2010-09-03 | 2013-04-08 | Dolby Lab Licensing Corp | Metodo y sistema para compensacion de iluminacion y transicion para codificacion y procesamiento de video. |
| US10419757B2 (en) * | 2016-08-31 | 2019-09-17 | Qualcomm Incorporated | Cross-component filter |
| US10652575B2 (en) * | 2016-09-15 | 2020-05-12 | Qualcomm Incorporated | Linear model chroma intra prediction for video coding |
| US10798404B2 (en) * | 2016-10-05 | 2020-10-06 | Qualcomm Incorporated | Systems and methods of performing improved local illumination compensation |
| US10542280B2 (en) * | 2017-01-09 | 2020-01-21 | QUALCOMM Incorpated | Encoding optimization with illumination compensation and integer motion vector restriction |
| WO2019004283A1 (ja) * | 2017-06-28 | 2019-01-03 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
-
2020
- 2020-01-16 CN CN202080016731.9A patent/CN113491130B/zh active Active
- 2020-01-16 WO PCT/US2020/013965 patent/WO2020150535A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107810635A (zh) * | 2015-06-16 | 2018-03-16 | Lg 电子株式会社 | 图像编译***中基于照度补偿预测块的方法和设备 |
| WO2018039596A1 (en) * | 2016-08-26 | 2018-03-01 | Qualcomm Incorporated | Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction |
Non-Patent Citations (1)
| Title |
|---|
| CE3-related: Modified linear model derivation for CCLM modes;Meng Wang等;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20190103;正文第1-2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113491130A (zh) | 2021-10-08 |
| WO2020150535A1 (en) | 2020-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017513326A (ja) | ピクセル距離を使用したデブロックフィルタ処理 | |
| WO2015006662A2 (en) | Adaptive filtering in video coding | |
| CN113491130B (zh) | 用于视频编解码的线性模型推导的方法和装置 | |
| KR102484182B1 (ko) | 크로마 성분에 대한 아핀 움직임 벡터 도출을 위한 비디오 코딩 방법 및 장치 | |
| CN117221532B (zh) | 用于视频解码的方法、装置和存储介质 | |
| CN113545050B (zh) | 利用三角形预测的视频编解码方法及装置 | |
| CN116156164B (zh) | 用于对视频进行解码的方法、设备和可读存储介质 | |
| US10009632B2 (en) | Flicker detection and mitigation in video coding | |
| CN114513666A (zh) | 用于视频编解码中的解码器侧运动矢量细化的方法和装置 | |
| CN115336272A (zh) | 基于空间邻域的仿射运动导出 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |