CN110832864B - 利用多个加权参考进行帧内预测的方法和装置 - Google Patents

利用多个加权参考进行帧内预测的方法和装置 Download PDF

Info

Publication number
CN110832864B
CN110832864B CN201880044492.0A CN201880044492A CN110832864B CN 110832864 B CN110832864 B CN 110832864B CN 201880044492 A CN201880044492 A CN 201880044492A CN 110832864 B CN110832864 B CN 110832864B
Authority
CN
China
Prior art keywords
prediction
block
reference arrays
samples
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880044492.0A
Other languages
English (en)
Other versions
CN110832864A (zh
Inventor
T.波里尔
G.拉思
F.厄本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
InterDigital Madison Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP17305794.4A external-priority patent/EP3422718A1/en
Application filed by InterDigital Madison Patent Holdings SAS filed Critical InterDigital Madison Patent Holdings SAS
Publication of CN110832864A publication Critical patent/CN110832864A/zh
Application granted granted Critical
Publication of CN110832864B publication Critical patent/CN110832864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种执行用于编码或解码的帧内预测的方法使用多层参考样本。层被形成为参考阵列，所述参考阵列通过诸如加权组合之类的函数被使用，以形成最终预测。所述预测被用于编码或解码视频数据的块。能够以多种方式确定所述权重，并且对于给定的预测模式，可以对目标块中的所有像素使用相同的权重或不同的权重。如果权重变化，那么权重可以取决于目标像素距参考阵列的距离。

Description

利用多个加权参考进行帧内预测的方法和装置
技术领域
本原理涉及视频压缩，并且更具体地涉及利用图像块的多个加权参考层执行帧内预测编码和解码。
背景技术
在最近的视频编码标准讨论中，已经有某些针对多参考帧内预测的提案。提案最多使用4个参考层来预测目标块。对于给定的预测模式，他们使用每个参考层对目标块进行预测。将产生最佳RD(速率失真)性能的参考层被信号通知给解码器，以便解码器使用与编码器相同的参考层。可以采用与HEVC(高效视频编码，ITU-TH.265建议书)中相同的方式进行任何参考层的预测，或者可以通过对更靠近目标块的参考层的残差进行补偿来改善从更远离目标块的参考层进行的预测。即，参考层n(n＞1)也可以预测参考层1，2...n-1上的像素。由于参考层对于编码器和解码器二者都是已知的，因此可以补偿这些参考层的预测残差以改善对目标块像素的预测。由于编码器必须对于来自每一层的预测检查速率失真(RD)成本，因此这两个提案在编码器处需要高复杂度。实际上，由于RD成本计算是编码器处最复杂的任务，因此对于N个参考层，复杂度会增加N倍。
发明内容
通过所描述的实施例，现有技术的这些和其它缺陷和缺点得以解决，所述实施例针对用于利用多个参考层的帧内预测以便对视频信号进行编码和解码的方法和装置。
根据所描述的方面的一方面，提供了一种方法。该方法包括从视频数据的块的重构的样本形成多个参考阵列。该方法还包括分别从多个参考阵列中的一个或多个预测视频数据的块的目标像素；以及计算用于视频的块的目标像素的最终预测，作为分别来自多个参考阵列中的一个或多个的预测的函数。该方法还包括使用最终预测对视频的块进行编码。
根据所描述的方面的另一方面，提供了一种方法。该方法包括从视频数据的块的解码的样本形成多个参考阵列。该方法还包括分别从多个参考阵列中的一个或多个预测视频数据的块的目标像素；以及计算用于视频的块的目标像素的最终预测，作为分别来自多个参考阵列中的一个或多个的预测的函数。该方法还包括使用最终预测对视频的块进行解码。
根据所描述的方面的一方面，提供了一种方法。该方法包括从视频数据的块的重构的样本形成N个参考阵列。该方法还包括分别从N个参考阵列预测视频数据的块的目标像素；以及计算用于视频的块的目标像素的最终预测，作为分别来自N个参考阵列的预测的加权组合。该方法还包括使用最终预测对视频的块进行编码。
根据所描述的方面的另一方面，提供了一种方法。该方法包括从视频数据的块的解码的样本形成N个参考阵列。该方法还包括分别从N个参考阵列预测视频数据的块的目标像素；以及计算用于视频的块的目标像素的最终预测，作为分别来自N个参考阵列的预测的函数。该方法还包括使用最终预测对视频的块进行解码。
根据所描述的方面的另一方面，提供了一种装置。该装置包括存储器和处理器，该处理器被配置为执行从视频数据的块的重构的样本形成多个参考阵列。该方法还包括分别从多个参考阵列中的一个或多个预测视频数据的块的目标像素；以及计算用于视频的块的目标像素的最终预测，作为分别来自多个参考阵列中的一个或多个的预测的函数。该方法还包括使用最终预测对视频的块进行编码或解码。
根据所描述的方面的另一方面，提供了一种非暂态计算机可读介质，其包含根据任何前面提到的编码实施例生成的数据内容。
根据所描述的方面的另一方面，提供了一种信号，该信号包括根据前面提到的编码实施例中的任一个生成的视频数据。
根据所描述的方面的另一方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当所述指令由计算机执行时，使计算机执行前面提到的解码实施例中的任何一个。
通过以下结合附图对示例性实施例的详细描述，本原理的这些和其它方面、特征和优点将变得显而易见。
附图说明
图1图示了用于HEVC中的帧内预测的参考样本。
图2图示了HEVC中的帧内预测方向。
图3(a)图示了多参考帧内预测，其中参考n是指第n个参考行和列。
图4(a)示出了具有两个参考的帧内预测的一个示例，图4(b)示出了具有两个参考的帧内预测的第二示例。
图5示出了加权多参考帧内预测的一个实施例。
图6示出了可以对其应用本实施例的示例性HEVC编码器。
图7示出了示例性HEVC解码器。
图8示出了用于使用多参考帧内预测对视频数据进行编码的方法的一个实施例。
图9示出了用于使用多参考帧内预测来解码视频数据的方法的一个实施例。
图10示出了用于使用多参考帧内预测来编码或解码视频数据的装置的一个实施例。
具体实施方式
此处描述的一般概念应对视频压缩中的帧内预测。在HEVC和较旧的视频编码标准中，目标块的帧内预测仅使用块的顶部的一个解码的像素行和块的左侧的一列像素作为参考样本。如果目标块尺寸相对小并且只有少数预测模式(如较早的标准中所指定的)，那么最接近目标块的参考样本提供相当好的预测准确度。在HEVC中，目标块尺寸已从较早的标准增加到64×64，以支持高分辨率视频的压缩。与块尺寸对应，帧内预测模式的数量已增加到35。在JEM和未来的视频编码标准中，正在探索256×256的块尺寸以及多达131种预测模式。在这些情况下，使用参考样本的附加行和列可以产生更好的预测，并且从而获得更高的编码增益。
如上面所提到的，HEVC和较老的视频编码标准仅使用块的顶部的一个解码的像素行和块的左侧的一列像素作为参考样本来执行目标块的帧内预测。如将要描述的，在此提出使用多于一行和一列解码的像素来改善针对严格角度的预测模式的预测。对于角度模式，参考阵列上的预测样本可以具有非整数索引。在HEVC中，在这种情况下，参考样本是使用两个最近的参考样本的线性插值进行内插的。由于内插的值仅仅是估计，因此可以通过使用来自附近的解码的像素的样本来改善估计。因此，使用目标块的顶部的附加行或左侧的列作为参考是有意义的。
视频压缩中的帧内预测指使用来自因果相邻块(即，同一帧中已被解码的相邻块)的信息对像素块进行空间预测。这是功能强大的编码工具，因为每当没有更好的时间预测时，它就允许在INTRA帧中以及INTER帧中的高压缩效率。因此，帧内预测已被包括在包括H.264/AVC、H.265/HEVC等在内的所有视频压缩标准中，作为核心编码工具。在下文中，出于解释目的，我们将参考HEVC标准中的帧内预测、以及目前正在对此进行改进的工作，诸如JEM(联合勘探模型小组)。
在HEVC中，视频序列的帧的编码基于四叉树(quad-tree，QT)块结构。帧被划分为方形编码树单元(CTU)，它们均基于速率失真准则经受基于四叉树的拆分为多个编码单元(CU)。在帧内预测中，从因果相邻CU(即，顶部和右上方的CU、左侧和左下方的CU以及左上方的CU)在空间上预测CU。基于这些CU中被解码或重构的像素值(称为参考像素)，编码器为目标块构造不同的预测，并选择产生最佳RD性能的预测。预测被指定为35种预测模式，其中一种是平面模式(被索引为模式0)，一种是DC模式(被索引为模式1)，并且其余33种(被索引为模式2-34)是角度模式。来自预测的残差信号在被传输到解码器之前还要经受变换、量化和算术编码。
为了构造对目标块的预测，编码器和解码器二者都仅使用在块的顶部的一行参考样本以及在块的左侧的一列参考样本。这些与目标块最接近的参考具有与目标块内容的最大相关量，并且因此，由于较高的复杂度和存储要求，使用附加的解码的行和列没有被认为有必要。但是，当目标块尺寸小且只有少数角度预测模式时，这个逻辑适用。随着块尺寸和预测模式数量的增加，通过使用来自附加参考行和列的方向信息，可以使来自一个参考行和列的预测更加准确。在介绍该理论之前，下面总结了HEVC中的帧内预测处理。
在图6中示出了示例性HEVC编码器100。为了编码具有一个或多个图片的视频序列，将图片分区为一个或多个切片，其中每个切片可以包括一个或多个切片片段。切片片段被组织成编码单元、预测单元和变换单元。对应的示例性HEVC解码器在图7中示出。
在本申请中，术语“重构的”和“解码的”可以互换使用，并且术语“图片”和“帧”可以互换使用。通常但并非必须，术语“重构的”在编码器侧使用，而“解码的”在解码器侧使用。
HEVC规范区分“块”与“单元”，其中“块”寻址样本阵列中的具体区域(例如，亮度，Y)，而“单元”包括所有编码的颜色分量(Y、Cb、Cr或单色)的并置块、语法元素以及与块相关联的预测数据(例如，运动向量)。
为了进行编码，将图片分区为具有可配置尺寸的方形的编码树块(CTB)，并将编码树块的连续集合分组为切片。编码树单元(CTU)包含编码的颜色分量的CTB。CTB是分区为编码块(CB)的四叉树的根，并且编码块可以被分区为一个或多个预测块(PB)并形成分区为变换块(TB)的四叉树的根。与编码块、预测块和变换块对应，编码单元(CU)包括预测单元(PU)以及变换单元(TU)的树结构集合，PU包括用于所有颜色分量的预测信息，并且TU包括用于每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的尺寸适用于对应的CU、PU和TU。在本申请中，术语“块”可以用来指代CTU、CU、PU、TU、CB、PB和TB中的任何一个。此外，“块”还可以用来指代H.264/AVC、H.265或其它视频编码标准中指定的宏块和分区，并且更一般地指代多种尺寸的数据的阵列。
在图6的示例性编码器100中，如下面所讨论的，通过编码器元件对图片进行编码。将要编码的图片以CU为单位进行处理。使用或者帧内或帧间模式对每个CU进行编码。当CU以帧内模式进行编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个来对CU进行编码，并且通过预测模式标志来指示帧内/帧间决定。通过从原始图像块中减去(110)预测的块来计算预测残差。
为了利用空间冗余性，从同一切片内重构的相邻样本来预测帧内模式下的CU。当考虑当前CU的编码/解码时，因果相邻CU已经被编码/解码。为了避免不匹配，编码器和解码器具有相同的预测。因此，编码器和解码器二者都使用来自重构的/解码的相邻因果CU的信息来形成对当前CU的预测。
HEVC中的帧内预测处理包括三个步骤：(1)参考样本生成，(2)帧内样本预测和(3)预测的样本的后处理。示例性HEVC参考样本如图1中所示，其中相对于当前块左上角在上方和左侧的一个像素，坐标(x，y)处的参考像素值由R(x，y)指示，并且当前块的坐标(x，y)处预测的样本值由P(x，y)指示。对于尺寸为N×N的CU，从解码的CU形成在顶部的一行2N个解码的样本。类似地，从解码的CU形成在左侧的一列2N个样本。来自左上方解码的CU的角像素被用于填充上方行和左侧列参考之间的间隙。如果其中某些样本不可用，例如，当对应的CU不在同一切片中或当前CU在帧边界处时，那么执行参考样本替换，其中以顺时针方向从可用样本中复制丢失的样本。然后，取决于当前CU尺寸和预测模式，使用指定的滤波器对参考样本进行滤波。除非另有说明，否则“像素”和“样本”可以互换使用。
下一步，样本内预测，包括基于参考样本来预测目标CU的像素。为了高效地预测各种内容，HEVC支持多种预测方法。具体地，平面和DC预测模式被用于预测平滑且逐渐变化的区域，而定向预测模式(也称为“角度预测模式”)被用于捕获不同的定向结构。HEVC支持33种定向预测模式，从2到34加索引。这些预测模式与如图2中所示的不同预测方向对应，其中数字(即，2，3，...，34)表示帧内预测模式索引。由于主要的预测源在水平方向上，因此将预测模式2-17表示为水平预测模式(H-26至H+32)。模式18-34相应地被表示为垂直预测模式(V-32至V+32)。图2中的“H”和“V”分别被用于指示水平和垂直方向性，而标识符的数字部分指示像素在1/32像素分数处的位移(也称为“角度参数”)。
表1示出了由HEVC指定的定向预测模式与角度参数A之间的关系，该关系指示参考样本距离在第一行或第一列上的目标像素的位置(以像素的1/32的分辨率)。
表1
具有非负位移的方向(即，H0至H+32和V0至V+32)也被表示为正方向，而具有负位移的方向(即，H-2至H-26和V-2至V-32)也被表示为负方向。
如图2中所示，定义的角度方向的采样准确度为1/32。即，在任何两个相邻参考样本之间，存在32个可能的方向。如上所述，定义的方向可以被区分为垂直或水平。水平方向上的预测模式或者仅使用左侧参考样本，或者使用某些左侧和某些顶部参考样本。类似地，垂直方向上的预测模式或者仅使用顶部参考样本，或者使用某些顶部参考样本和某些左侧参考样本。仅使用左侧参考样本或仅使用顶部参考样本的方向被定义为正方向。从H0至H+32的水平正方向仅使用左侧参考样本进行预测。类似地，从V0至V+32的垂直正方向仅使用顶部参考样本进行预测。负水平和垂直方向(H-2至H-26和V-2至V-32)使用在左侧和顶部两者的参考样本进行预测。
在HEVC参考代码中，首先使用顶部和左侧参考样本构造参考阵列。对于垂直预测，参考阵列是水平的，而对于水平预测，参考阵列是垂直的。对于具有正角度参数A的模式(模式2至10和26至34)，取决于方向，参考阵列只是顶部或左侧参考样本：
对于垂直预测，topRef[x]＝P[x-1][-1]，0≤x≤2N，
对于水平预测，leftRef[y]＝P[-1][y-1]，0≤y≤2N，
其中N是CU尺寸。常规地将目标CU的左上方像素处的样本坐标初始化为(0，0)。因此，顶部参考样本的y坐标为-1，而左侧参考样本的x坐标为-1。
对于具有负角度参数A的模式(模式11至25)，参考阵列需要来自顶部和左侧参考两者的像素。在这种情况下，参考阵列将扩展到0以外的负索引。取决于垂直或水平预测，如上所述获得参考阵列上具有正索引的样本值。通过沿着预测方向在参考阵列上投影左侧参考像素(用于垂直预测)或顶部参考像素(用于水平预测)，可以获得参考阵列上具有负索引的样本值。
一旦构造了参考阵列，就可以通过沿着所选择的方向将像素位置投影到参考阵列、并且然后复制(x，y)处的参考阵列样本值来获得目标CU内任何像素位置(x，y)处的预测。参考样本值是通过在两个相邻样本之间进行内插而以(1/32)的样本分辨率计算的，如下所示：
对于垂直预测，P[x][y]＝((32-f)*topRef[x+i+1]+f*topRef[x+i+2]+16)＞＞5)，0≤x，y＜N；
对于水平预测，P[x][y]＝((32-f)*leftRef[y+i+1]+f*leftRef[y+i+2]+16)＞＞5)，0≤x，y＜N，
其中i和f表示距像素位置(x，y)的投影的位移的整数部分和小数部分。
如果Δ表示投影的位移，那么
对于水平预测，Δ＝(x+1)*A，以及
对于垂直预测，Δ＝(y+1)*A。
然后如下获得位移的整数部分和小数部分：
i＝Δ＞＞5，
f＝Δ&31。
注意的是，如果f＝0，即，不存在小数部分，那么预测在预测方向上等于参考阵列样本值。在这种情况下，不需要内插。
其中某些预测模式，诸如DC模式和直接水平模式(H0或10)及垂直模式(V0或26)，会在预测之后造成CU边界处的不连续性。因此，在HEVC以及JEM中，在这些预测模式之后是后处理步骤，其中使用低通滤波器对边界预测的样本进行平滑。
多参考帧内预测指使用多行多列的参考像素的帧内预测，如图3中所示的示例。也称为任意层参考帧内预测或多线帧内预测。在图像处理中，由于高相关性，通常使用一阶预测模型。在帧内预测中使用一行和一列作为参考的原因最初是基于此，并且基于其它解码的行和列距离目标块像素较远并且它们没有添加关于目标块的太多附加信息的事实。如在较早的标准中，当预测方向的数量小(例如，≤7)并且块尺寸也小(例如，≤8)时，这是可以的。但是，在HEVC中，预测单元的尺寸已增加到64*64，同时角度预测方向的数量也相应地增加到33。对于未来的标准，正在研究块尺寸最大为256×256以及角度预测模式的数量最多为129。考虑到这一点，当在由于附加存储器引起的成本与复杂度之间进行折衷时，使用附加行和列的解码的像素作为参考是有意义的，并且编码增益是可接受的。
当用于目标像素的预测样本位于顶部参考阵列上的两个参考样本之间时，考虑垂直角度预测模式，例如，如图4(a)中所示。在这种情况下，如前一节中所提到的，在HEVC中，将对预测样本进行线性内插。预测样本仅仅是个估计。如果我们将预测方向再扩展一行，那么该线将在不同的点处与第二行交叉。即使第二行像素比第一行距目标稍远，由于图像中对象结构的方向性，第二行估计可能是比第一行更好的估计。在某些情况下，它甚至可以恰好在解码的像素的位置处与第二行相交，如图4(b)中所示。基于这个构思，在此提出了基于多个参考来预测目标块。
为了参考不同的参考行/列对，我们将使用术语“参考层”。因此，参考层1将意味着目标块旁边的参考行和列(即，HEVC中的常规参考)，参考层2将意味着参考层1旁边的参考行和列，以此类推。
为了进行预测，我们将形成与参考层对应的顶部和左侧参考阵列，如上一节中我们所提到的。我们将它们称为参考阵列1、参考阵列2，依此类推。注意的是，参考阵列n(n＝1，2，...)可以意味着或者顶部参考阵列或者左侧参考阵列，这取决于预测模式分别对应于垂直方向还是水平方向。
在此描述的实施例提出了与现有技术不同的方法。这个方法基于以下事实：第一参考层(即，最靠近目标块的参考层)包含关于目标块内容的最大量信息，并且当我们移至更远的参考层时，那些参考层将具有与目标块的更少相关性。因此，代替如现有技术中所做的那样选择参考层之一进行预测，我们提出使用对其中一个或多个参考层进行的预测的函数(诸如加权平均)。
由于水平预测可以在交换顶部参考阵列和左侧参考阵列并且交换目标块的高度和宽度之后被实现为垂直预测，因此下面仅参考垂直预测。首先，遵循参考样本生成方法(诸如HEVC或JEM中的参考样本生成方法)为每一层生成参考样本。然后使用这些样本形成参考阵列。对于具有正角度参数A的模式(模式2至10和26至34)，参考阵列#n只是参考层#n的顶部参考样本：
Refn[x]＝P[x-n][-n]，0≤x≤W+H+2n-2，n＝1，2，3，...
对于具有负角度参数A的模式(模式11至25)，如上所述获得参考阵列上具有正索引的样本值，并通过沿着预测方向将对应参考层的左侧参考像素投影到参考阵列上来获得具有负索引的样本值。
一旦构造了参考阵列，就为每个目标像素生成预测，从而沿着所选择的方向将像素位置投影到参考阵列。通过在上述参考阵列上的两个相邻样本之间进行内插，利用参考阵列以(1/32)的样本分辨率计算预测，如下所示：
Pn[x][y]＝((32-fn)*Refn[x+in+n]+fn*Refn[x+in+n+1]+16)＞＞5)，0≤x＜W，0≤y＜H；
其中Pn[x][y]表示使用参考阵列n在目标像素位置(x，y)处进行的预测。在以上表达式中，in和fn表示从参考阵列#n上的像素位置(x，y)的投影的位移的整数部分和小数部分。参考阵列#n上的投影的位移可以被计算为
对于水平预测，Δn＝(x+n)*A，以及
对于垂直预测，Δn＝(y+n)*A。
因此，位移的整数部分和小数部分被计算如下：
in＝Δn＞＞5，
fn＝Δn&31。
最后，如下计算对(x，y)处的目标像素的预测
其中w1，w2，...，wN是编码器和解码器二者都知道的权重。在此N表示用于帧内预测的参考层的数量。为了实现的方便，可以对于某些正整数K，将权重归一化为使得
w1+w2+…+wN＝2K。
图5的框图中示出了这种提出的方法的示例。
权重w1，w2，...，wN可以通过各种方式确定：
(1)加权平均值是线性回归模型，其归一化的权重等于回归模型参数。因此，取决于所使用的参考层的数量(即，预测的阶数)，权重可以通过利用许多测试序列的离线训练或学习方法来预先确定，或者在编码器处针对给定帧即时确定并在头部中传输到解码器。如果权重是通过离线训练或学习方法预先确定的，那么无需将其传输到解码器。
(2)权重可以通过试探法来选择，或者使用任何模型(例如，高斯模型)来选择，这导致权重随参考层距目标块的距离而减小。
要注意的是，计算出的权重可以对于所有角度帧内预测模式和/或目标块尺寸是固定的，或者它们可以取决于帧内预测模式和/或目标块尺寸而变化。此外，对于给定的预测模式，可以对目标块中的所有像素使用相同的权重，或者权重可以遵循某种模型或启发式地变化，这取决于目标像素距参考阵列的距离。
上面的解释使用了HEVC和JEM针对预测模式的数量、预测方向的样本分辨率等的规范。但是，给出的理论不限于这些规范，并且即使这些参数在将来的标准中被修改或更新，也可以应用。对于预测分数位置处参考样本的估计也同样适用。在此，为了说明的目的，已经示出了使用两个最靠近的参考样本的线性内插，如在HEVC中所做的那样。但是，还可以应用其它高级方法，诸如使用如在JEM中完成的任何n抽头内插滤波器或高斯内插滤波器，或任何其它将来的方法。
以下各节给出了将提出的帧内预测与多个参考一起使用的若干实施例。这些示例实施例被示出为假设使用基于HEVC编解码器的JEM编解码器。假设帧内预测工具(诸如依赖于位置的帧内预测组合(PDPC)和参考样本自适应滤波(RSAF))处于停用状态，或者每当目标块使用单个参考层进行帧内预测时被激活。
实施例1：
为了使用任何角度帧内预测模式来预测LUMA目标块，这个实施例使用N个参考层，其中N可以是2至4。为了较低的复杂度，假设N是固定的。但是，一般而言，N可以是可变的，在这种情况下，编码器需要将N的值传输到解码器。在进行预测之前，通过使用顶部、右上方、左上方、左下方和左上方CU中已解码的像素，以与JEM中完全相同的方式构造参考阵列。然后，对于每个目标像素，使用每个参考阵列来计算预测值，将它们乘以它们相关联的权重并相加，并且然后通过移位将总和归一化以获得最终预测值。可以使用上一节中提到的任何方法来获得权重。对于CHROMA目标块，我们也遵循类似的方法，不同之处在于，对于4∶2∶1视频格式，每两个亮度参考层使用一个色度参考层。可以与用于亮度预测的权重分开来获得与色度预测相关联的权重。
实施例2：
在这个实施例中，以与实施例1中相同的方式并且也通过标准单个参考方法来预测LUMA目标块。在这两个预测之间，选择产生更好的速率失真(RD)性能的预测，然后在CU级别使用一位标志将预测发信号通知给解码器。使用或者固定上下文或者依赖于预测模式的上下文或者依赖于邻域的上下文对标志进行上下文编码。对于CHROMA目标块，可以采用以下两种方法之一。对于一种方法，应用对与相关联的LUMA目标块进行的相同的预测方法(即，或者多参考或者单个参考)。在这种情况下，不需要为CHROMA块传输单独的信令标志。解码器从相关联的LUMA目标块中导出类型预测方法。在另一种方法中，找到用于CHROMA目标块的多参考预测和单个参考预测两者，并选择产生更好RD性能的一种预测。在这种情况下，在CU级别使用一位标志来发信号通知预测方法。就像用于LUMA块的标志一样，使用或者固定上下文或者依赖于预测模式的上下文或者依赖于邻域的上下文对该标志进行上下文编码。对于使用单个参考层预测的目标块，可以可选地激活其它帧内预测工具(诸如PDPC和RSAF)。
实施例3：
在这个实施例中，如实施例1或实施例2中那样预测切片中的所有目标块，并且使用切片头部中的一位标志将这发信号通知给解码器。
实施例4：
在这个实施例中，如实施例1或实施例2中那样预测帧中的所有目标块，并使用图片参数集(PPS)头部中的一位标志将这发信号通知给解码器。
实施例5：
在这个实施例中，如实施例1或实施例2中那样预测序列的任何帧中的所有目标块，并且使用序列参数集(SPS)头部中的一位标志将这发信号通知给解码器。
实施例6：
在这个实施例中，为了使用任何角度帧内预测模式来预测亮度(或色度)目标块，如实施例1中那样，使用N个参考层。参考N的数量取决于所使用的预测模式(例如，帧内预测方向、PDPC索引、RSAF索引)。例如，当PDPC索引＝1或RSAF索引＝1或帧内预测方向为纯水平或垂直时，为N+1。这意味着在这些特定模式下，应用标准的单参考方法。这可以与实施例2结合使用，因为当允许多参考预测时，用信号通知是否使用它。
提出的帧内预测旨在使用附加参考层来提高目标块的预测准确度，从而产生更高的编码增益。由于编码器不必像现有技术那样检查每个参考层的RD性能，因此当参考层的数量大于2时，编码器的附加复杂度要求将降低。实际上，如果所有目标块都被迫具有加权的多参考预测，那么复杂度将略高于单参考预测所需的复杂度。在解码器侧，复杂度增加将仅用于构造多个预测，并且因此将是最小的。
在图8中示出了用于使用在此描述的一般方面对视频数据的块进行编码的方法800的一个实施例。该方法开始于开始方框801，并且控制前进到功能方框810以便形成参考阵列。控制从方框810前进到方框820以便使用相应的参考阵列生成目标像素的块的预测。控制从方框820前进到方框830以便计算最终预测，该最终预测是在方框820中做出的预测的函数。这个函数可以是预测的加权组合。控制从方框830前进到方框840以便使用生成的最终预测进行编码。
图9示出了用于使用在此描述的一般方面来解码视频数据的块的方法900的一个实施例。该方法开始于开始方框901，并且控制前进到功能方框910以便形成参考阵列。控制从方框910前进到方框920以便使用相应的参考阵列生成目标像素的块的预测。控制从方框920前进到方框930以便计算最终预测，该最终预测是在方框920中做出的预测的函数。这个函数可以是预测的加权组合。控制从方框930前进到方框940以便使用生成的最终预测进行解码。
图10示出了用于对视频数据的块进行编码或解码的装置1000的一个实施例。该装置包括处理器1010和存储器1020，它们通过至少一个端口互连。处理器1010和存储器1020二者都可以具有到外部连接的一个或多个附加互连。
处理器1010被配置为通过从视频数据的块的重构样本形成多个参考阵列、分别从多个参考阵列中的一个或多个预测视频数据的块的目标像素、对视频的块的目标像素计算最终预测作为分别来自参考阵列中的一个或多个的预测的函数、以及使用最终预测对视频的块进行或者编码或者解码来对视频数据进行编码或解码。
附图中所示的各种元件的功能可以通过使用专用硬件以及与适当的软件相关联的能够执行软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、由单个共享处理器或由多个单独处理器提供，其中某些可以共享。而且，术语“处理器”或“控制器”的明确使用不应当被解释为专门指能够执行软件的硬件，并且可以隐含地包括而不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储装置。
还可以包括常规的和/或定制的其它硬件。类似地，附图中所示的任何开关仅仅是概念上的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或者甚至手动地来实现，如从上下文中更具体地理解的，特定技术可由实现者选择。
本描述说明了本原理。因此，将认识到的是，本领域技术人员将能够设计出虽然未在本文中明确描述或示出但是实施本原理并且包括在其范围内的各种布置。
本文叙述的所有示例和条件语言旨在用于教学目的，以帮助读者理解(一个或多个)发明人为促进本领域而贡献的本原理和概念，并且应当被解释为不限于此类具体叙述的示例和条件。
而且，本文中叙述本原理的原理、方面和实施例及其具体示例的所有陈述旨在涵盖其结构和功能等同物两者。此外，意图是此类等同物包括当前已知的等同物以及将来开发的等同物，即，开发出的执行相同功能的任何元件，不管其结构如何。
因此，例如，本领域技术人员将认识到的是，本文给出的框图表示实施本原理的说明性电路***的概念图。类似地，将认识到的是，任何流程图、流图、状态过渡图、伪代码等表示可以实质上在计算机可读介质中表示并因此由计算机或处理器执行的各种处理，无论这种计算机或处理器是否被明确示出。
在本文的权利要求中，被表达为用于执行具体功能的手段的任何元件旨在涵盖执行那个功能的任何途径，包括例如a)执行那个功能的电路元件的组合或b)任何形式的软件，因此，包括固件、微代码等，与用于执行该软件以执行功能的适当电路***组合。由这样的权利要求定义的本原理在于以下事实：由各种所述手段提供的功能以权利要求所要求的方式被组合在一起。因此认为可以提供那些功能的任何手段都等同于本文所示的手段。
说明书中对本原理的“一个实施例”或“实施例”及其其它变体的引用意味着结合该实施例描述的特定特征、结构、特点等至少包括在本原理的一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”以及任何其它变体的出现不一定都是指同一个实施例。
总之，提供了使用内插来执行用于编码或解码的帧内预测的改进方法。在内插中，找到要在内插计算中用于超出正常参考范围的样本的替代样本。替代样本可以是来自目标块左侧的参考部分的底部的重复的最终样本，或者可以是目标块上方的参考部分的右侧样本，或者是基于已知参考样本的某个计算或估计的值。编码器可以向解码器发信号通知是使用帧内预测还是内插预测。

Claims (38)

1.一种方法，包括：
从与视频数据的块相邻的多个重构的样本形成多个参考阵列，其中所述多个参考阵列包括位于距视频数据的所述块一个像素位置的第一参考阵列以及分别位于距视频数据的所述块大于一个位置的像素位置处的一个或多个第二参考阵列；
针对视频数据的所述块的在(x，y)处的目标像素，从所述多个参考阵列预测多个预测样本；
计算用于视频的所述块的所述目标像素的最终帧内预测；以及
使用所述最终帧内预测对视频的所述块进行编码，
其特征在于：
基于所述多个预测样本的函数来计算所述最终帧内预测，并且所述函数包括来自参考阵列中的两个或更多个参考阵列的各个预测样本PN[x][y]和随所述目标像素和各个参考阵列之间的各个距离增加而减小的两个或更多个权重wN的加权组合。
2.如权利要求1所述的方法，其中所述多个参考阵列中的参考阵列包括在视频数据的所述块上方的一行像素和在其左侧的一列像素。
3.如权利要求1所述的方法，其中所述目标像素和各个参考阵列之间的距离与所述最终帧内预测的预测方向相关联。
4.如权利要求1所述的方法，其中通过对参考阵列中的同一个参考阵列的两个相邻样本进行内插来进行所述各个预测样本中的至少一个。
5.如权利要求1所述的方法，其中所述权重被归一化。
6.如权利要求1所述的方法，其中所述权重通过离线训练来确定。
7.如权利要求1所述的方法，其中在所述函数中使用的所述两个或更多个参考阵列的数量从编码器传输到解码器。
8.如权利要求1所述的方法，其中所述两个或更多个参考阵列包括用于在所述两个或更多个参考阵列中包括的每两个亮度参考阵列的一个色度参考阵列。
9.如权利要求8所述的方法，其中，与色度预测相关联的权重是与与亮度预测相关联的权重分开获得的。
10.一种方法，包括：
从与视频数据的块相邻的多个解码的样本形成多个参考阵列，其中所述多个参考阵列包括位于距视频数据的所述块一个像素位置的第一参考阵列以及分别位于距视频数据的所述块大于一个位置的像素位置处的一个或多个第二参考阵列；
针对视频数据的所述块的在(x，y)处的目标像素，从所述多个参考阵列预测多个预测样本；
计算用于视频的所述块的所述目标像素的最终帧内预测；以及
使用所述最终帧内预测来解码视频的所述块，
其特征在于：
基于所述多个预测样本的函数来计算所述最终帧内预测，并且所述函数包括来自参考阵列中的两个或更多个参考阵列的各个预测样本PN[x][y]和随所述目标像素和所述两个或更多个参考阵列之间的各个距离增加而减小的两个或更多个权重wN的加权组合。
11.如权利要求10所述的方法，其中所述多个参考阵列中的参考阵列包括在视频数据的所述块上方的一行像素和在其左侧的一列像素。
12.如权利要求10所述的方法，其中所述目标像素和各个参考阵列之间的距离与所述最终帧内预测的预测方向相关联。
13.如权利要求10所述的方法，其中通过对参考阵列中的同一个参考阵列的两个相邻样本进行内插来进行所述各个预测样本中的至少一个。
14.如权利要求10所述的方法，其中所述权重被归一化。
15.如权利要求10所述的方法，其中所述权重通过离线训练来确定。
16.如权利要求10所述的方法，其中在所述函数中使用的所述两个或更多个参考阵列的数量从编码器传输到解码器。
17.如权利要求10所述的方法，其中所述两个或更多个参考阵列包括用于在所述两个或更多个参考阵列中包括的每两个亮度参考阵列的一个色度参考阵列。
18.如权利要求17所述的方法，其中，与色度预测相关联的权重是与与亮度预测相关联的权重分开获得的。
19.一种装置，包括：
存储器，以及
处理器，被配置为执行：
从与视频数据的块相邻的多个重构的样本形成多个参考阵列，其中所述多个参考阵列包括位于距视频数据的所述块一个像素位置的第一参考阵列以及分别位于距视频数据的所述块大于一个位置的像素位置处的一个或多个第二参考阵列；
针对视频数据的所述块的在(x，y)处的目标像素，从所述多个参考阵列预测多个预测样本；
计算用于视频的所述块的所述目标像素的最终帧内预测；以及
使用所述最终预测对视频的所述块进行编码，
其特征在于：
基于所述多个预测样本的函数来计算所述最终帧内预测，并且所述函数包括来自所述参考阵列中的两个或更多个参考阵列的各个预测样本PN[x][y]和随所述目标像素和所述两个或更多个参考阵列之间的各个距离增加而减小的两个或更多个权重wN的加权组合。
20.如权利要求19所述的装置，其中所述多个参考阵列中的参考阵列包括在视频数据的所述块上方的一行像素和在其左侧的一列像素。
21.如权利要求19所述的装置，其中所述目标像素和各个参考阵列之间的距离与所述最终帧内预测的预测方向相关联。
22.如权利要求19所述的装置，其中通过对参考阵列中的同一个参考阵列的两个相邻样本进行内插来进行所述各个预测样本中的至少一个。
23.如权利要求19所述的装置，其中所述权重被归一化。
24.如权利要求19所述的装置，其中所述权重通过离线训练来确定。
25.如权利要求19所述的装置，其中在所述函数中使用的所述两个或更多个参考阵列的数量从编码器传输到解码器。
26.如权利要求19所述的装置，其中所述两个或更多个参考阵列包括用于在所述两个或更多个参考阵列中包括的每两个亮度参考阵列的一个色度参考阵列。
27.如权利要求26所述的装置，其中，与色度预测相关联的权重是与与亮度预测相关联的权重分开获得的。
28.一种装置，包括：
存储器，以及
处理器，被配置为执行：
从与视频数据的块相邻的多个解码的样本形成多个参考阵列，其中所述多个参考阵列包括位于距视频数据的所述块一个像素位置的第一参考阵列以及分别位于距视频数据的所述块等于或大于一个位置的像素位置处的一个或多个第二参考阵列；
针对视频数据的所述块的在(x，y)处的目标像素，从所述多个参考阵列预测多个预测样本；
计算用于视频的所述块的所述目标像素的最终帧内预测；以及
使用所述最终预测来解码视频的所述块，
其特征在于：
基于所述多个预测样本的函数来计算所述最终帧内预测，并且所述函数包括来自参考阵列中的两个或更多个参考阵列的各个预测样本
PN[x][y]和随所述目标像素和所述两个或更多个参考阵列之间的各个距离增加而减小的两个或更多个权重wN的加权组合。
29.如权利要求28所述的装置，其中所述多个参考阵列中的参考阵列包括在视频数据的所述块上方的一行像素和在其左侧的一列像素。
30.如权利要求28所述的装置，其中所述目标像素和各个参考阵列之间的距离与所述最终帧内预测的预测方向相关联。
31.如权利要求28所述的装置，其中通过对参考阵列中的同一个参考阵列的两个相邻样本进行内插来进行所述各个预测样本中的至少一个。
32.如权利要求28所述的装置，其中所述权重被归一化。
33.如权利要求28所述的装置，其中所述权重通过离线训练来确定。
34.如权利要求28所述的装置，其中在所述函数中使用的所述两个或更多个参考阵列的数量从编码器传输到解码器。
35.如权利要求28所述的装置，其中所述两个或更多个参考阵列包括用于在所述两个或更多个参考阵列中包括的每两个亮度参考阵列的一个色度参考阵列。
36.如权利要求35所述的装置，其中，与色度预测相关联的权重是与与亮度预测相关联的权重分开获得的。
37.一种非暂态计算机可读介质，其包含根据如权利要求1至9中任一项所述的方法或者由如权利要求19至27中任一项所述的装置生成的数据内容，以便使用处理器进行回放。
38.一种非暂态计算机可读介质，包括代码，当所述代码由计算机执行时，使所述计算机执行如权利要求10至18中任一项所述的方法。
CN201880044492.0A 2017-06-26 2018-06-25 利用多个加权参考进行帧内预测的方法和装置 Active CN110832864B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP17305794.4A EP3422718A1 (en) 2017-06-26 2017-06-26 Method and apparatus for intra prediction with multiple weighted references
EP17305794.4 2017-06-26
EP17305921 2017-07-12
EP17305921.3 2017-07-12
PCT/EP2018/066880 WO2019002171A1 (en) 2017-06-26 2018-06-25 METHOD AND APPARATUS FOR INTEGRATED MULTI-REFERENCE INTRA PREDICTION

Publications (2)

Publication Number Publication Date
CN110832864A CN110832864A (zh) 2020-02-21
CN110832864B true CN110832864B (zh) 2024-03-29

Family

ID=62750983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880044492.0A Active CN110832864B (zh) 2017-06-26 2018-06-25 利用多个加权参考进行帧内预测的方法和装置

Country Status (4)

Country Link
US (3) US11172221B2 (zh)
EP (1) EP3646600A1 (zh)
CN (1) CN110832864B (zh)
WO (1) WO2019002171A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11128872B2 (en) * 2018-07-16 2021-09-21 Qualcomm Incorporated Position dependent intra prediction combination with wide angle intra prediction
CN112567755B (zh) * 2018-08-10 2022-11-08 华为技术有限公司 使用合并模式的译码方法、设备、***
WO2020084509A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and modified inter coding tools
WO2020084507A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and modified inter prediction coding
CN113302918A (zh) 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
CN113302919A (zh) 2019-01-17 2021-08-24 北京字节跳动网络技术有限公司 在视频处理中使用虚拟候选预测和加权预测
GB2585039A (en) * 2019-06-25 2020-12-30 Sony Corp Image data encoding and decoding
CN113766222B (zh) * 2020-06-01 2023-03-24 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN115567709A (zh) * 2020-07-30 2023-01-03 北京达佳互联信息技术有限公司 对子块中的像素位置处的样点进行编码的方法和装置
WO2022032028A1 (en) * 2020-08-06 2022-02-10 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for affine motion-compensated prediction refinement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1737243A2 (en) * 2005-06-24 2006-12-27 Samsung Electronics Co., Ltd. Video coding method and apparatus using multi-layer based weighted prediction
CN104702950A (zh) * 2011-04-01 2015-06-10 苗太平洋控股有限公司 以帧内预测模式解码图像的方法
CN105227960A (zh) * 2010-07-14 2016-01-06 株式会社Ntt都科摩 用于视频编码的低复杂度帧内预测
US9374578B1 (en) * 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
WO2016205718A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US8767835B2 (en) * 2010-12-28 2014-07-01 Mitsubishi Electric Research Laboratories, Inc. Method for coding videos using dictionaries
US9008181B2 (en) * 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
CA2934743C (en) * 2013-12-27 2018-11-27 Hfi Innovation Inc. Method and apparatus for syntax redundancy removal in palette coding
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1737243A2 (en) * 2005-06-24 2006-12-27 Samsung Electronics Co., Ltd. Video coding method and apparatus using multi-layer based weighted prediction
CN105227960A (zh) * 2010-07-14 2016-01-06 株式会社Ntt都科摩 用于视频编码的低复杂度帧内预测
CN104702950A (zh) * 2011-04-01 2015-06-10 苗太平洋控股有限公司 以帧内预测模式解码图像的方法
US9374578B1 (en) * 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
WO2016205718A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jiahao Li.Multiple line-based intra prediction.《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting》.2016,第1-2页. *

Also Published As

Publication number Publication date
CN110832864A (zh) 2020-02-21
WO2019002171A1 (en) 2019-01-03
US11172221B2 (en) 2021-11-09
US20230262260A1 (en) 2023-08-17
EP3646600A1 (en) 2020-05-06
US11706447B2 (en) 2023-07-18
US20200120358A1 (en) 2020-04-16
US20220159296A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
CN110832864B (zh) 利用多个加权参考进行帧内预测的方法和装置
JP7469451B2 (ja) 映像コーディングシステムにおけるイントラ予測による映像のデコーディング方法及び装置
EP4221202A1 (en) Image encoding and decoding method and image decoding device
WO2020125795A1 (en) Indication of two step cross-component prediction mode
EP3776473A1 (en) Deep learning based image partitioning for video compression
KR20210014772A (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
CN113507603B (zh) 图像信号编码/解码方法及其设备
KR102517389B1 (ko) 인트라 서브-파티션 코드 모드를 이용한 비디오 코딩
JP7284318B2 (ja) 映像コーディングシステムにおいてイントラ予測による映像デコーディング方法及び装置
US20220060746A1 (en) Method and apparatus for intra prediction with interpolation
EP3632109A1 (en) Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
EP3725077A1 (en) Deep learning based image partitioning for video compression
EP3422718A1 (en) Method and apparatus for intra prediction with multiple weighted references
CN116614633A (zh) 解码预测方法、装置及计算机存储介质
RU2798770C1 (ru) Способ и устройство для выполнения декодирования изображения на основе интра-предсказания в системе кодирования изображений
RU2776098C2 (ru) Способ и устройство для выполнения декодирования изображения на основе интра-предсказания в системе кодирования изображений
WO2023217235A1 (en) Prediction refinement with convolution model
US20230412798A1 (en) Method and apparatus for video coding for improving predicted signals of intra prediction
US20240155153A1 (en) Method and apparatus for video coding refining predicted signals of intra prediction based on deep learning
US20230421752A1 (en) Method and apparatus for video coding using matrix based cross-component prediction
CN117693938A (zh) 基于深度学习的精细化帧内预测信号的视频编解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210525

Address after: Paris France

Applicant after: Interactive Digital Madison Patent Holdings

Address before: Delaware, USA

Applicant before: Interactive Digital VC Holdings

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant