CN111758258B - 用于视频编码的帧间预测装置和方法 - Google Patents

用于视频编码的帧间预测装置和方法 Download PDF

Info

Publication number
CN111758258B
CN111758258B CN201880090266.6A CN201880090266A CN111758258B CN 111758258 B CN111758258 B CN 111758258B CN 201880090266 A CN201880090266 A CN 201880090266A CN 111758258 B CN111758258 B CN 111758258B
Authority
CN
China
Prior art keywords
pixel
current
block
pixels
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880090266.6A
Other languages
English (en)
Other versions
CN111758258A (zh
Inventor
马克西姆·鲍里索维奇·西切夫
乔治·亚历山大罗维奇·朱利科夫
蒂莫菲·米哈伊洛维奇·索洛维耶夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111758258A publication Critical patent/CN111758258A/zh
Application granted granted Critical
Publication of CN111758258B publication Critical patent/CN111758258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提出了一种对视频信号的当前帧的当前块的多个像素中当前像素的像素点值进行帧间预测的方法。所述方法(800)包括：确定(801)与所述当前帧的多个块一一相关的多个逐块运动矢量；根据所述多个逐块运动矢量确定(803)所述当前像素的逐像素运动矢量；根据所述当前像素的所述逐像素运动矢量确定参考帧中的一个或多个参考像素；根据所述参考帧中的所述一个或多个参考像素的一个或多个像素点值确定(805)所述当前像素的帧间预测的像素点值。从而提高了编码效率。

Description

用于视频编码的帧间预测装置和方法
技术领域
本发明涉及视频编码领域。更具体地，本发明涉及一种用于视频编码的帧间预测装置和方法，以及包括此类帧间预测装置的编码装置和解码装置。
背景技术
数字视频通信和存储应用由各种数字设备实现，例如数码相机、蜂窝式无线电话、笔记本电脑、广播***、视频会议***等。这些应用中最重要且最具挑战性的任务之一是视频压缩。视频压缩是一项复杂的任务，受到两个相互制约的参数的约束：压缩效率和计算复杂度。视频编码标准(如ITU-T H.264/AVC或ITU-T H.265/HEVC)在这些参数之间进行了良好的权衡。因此，几乎所有视频压缩应用都必须支持视频编码标准。
最先进的视频编码标准是基于将源帧或源图像分割为帧块或图像块。这些块的处理取决于其大小、空间位置和编码器指定的编码模式。根据预测类型，编码模式可以分为两组：帧内预测模式和帧间预测模式。帧内预测模式使用同一帧(也称为图像(picture/image))的像素来生成参考像素点，以计算正在重建的块的像素的预测值。帧内预测也称为空间预测。帧间预测模式用于时间预测，使用上一帧或下一帧的参考像素点来预测当前帧的块的像素。在预测阶段之后，对预测误差进行变换编码，其中，预测误差是原始信号与其预测值之间的差值。然后，使用熵编码器(例如，AVC/H.264和HEVC/H.265中的CABAC)对变换系数和边信息进行编码。最近采用的ITU-T H.265/HEVC标准(ISO/IEC 23008-2：2013，2013年11月《信息技术-异构环境中的高效编码和媒体传送-第2部分：高效视频编码(Information technology-High efficiency coding and media delivery inheterogeneous environments-Part 2：High efficiency video coding)》宣布了一套最先进的视频编码工具，这些工具在编码效率与计算复杂度之间进行了合理的权衡。盖里J.苏利文在2012年12月发表于IEEE视频技术电路和***学报(IEEE Transactions onCircuits and Systems for Video Technology)第22卷第12期的《高效视频编码(HEVC)标准概述(Overview ofthe High Efficiency Video Coding(HEVC)Standard)》中对ITU-TH.265/HEVC标准进行了概述，其全部内容以引用的方式并入本文中。
与ITU-T H.264/AVC视频编码标准类似，HEVC/H.265视频编码标准提出以所谓的编码单元(coding unit，CU)形式将源帧划分为帧块。每个CU可以进一步划分为更小的CU或预测单元(prediction unit，PU)。可以根据对PU的像素进行处理的类型，对PU进行帧内预测或帧间预测。对于帧间预测，PU表示使用为PU指定的运动矢量，通过运动补偿进行处理的像素区域。对于帧内预测，使用邻块的相邻像素作为参考像素点来预测当前块。PU为该PU中包括的所有变换单元(transform unit，TU)指定预测模式，所述预测模式是从帧内预测模式集合中选择的。TU可以具有不同的大小(例如，4×4、8×8、16×16和32×32个像素)，可以按不同的方式处理。对TU进行变换编码，即利用离散余弦变换或离散正弦变换(在HEVC/H.265标准中，应用于帧内编码块)对预测误差进行变换和量化。因此，重建像素包括量化噪声(由于单元之间的块效应、振铃伪影以及锐边等，量化噪声会变得很明显)，如去块效应滤波器(Deblocking Filter，DBF)、像素点自适应偏移(Sample Adaptive Offset，SAO)滤波器和自适应环路滤波器(Adaptive Loop Filter，ALF)等环内滤波器用于抑制量化噪声。
为了降低视频信号的码率，ISO和ITU编码标准采用了混合视频编码，其中将运动补偿预测与预测误差的变换编码相结合。估计并传输每个块的运动(或位移)矢量，该运动(或位移)矢量参考先前传输的参考图像中的对应位置。当前的标准H.264/AVC和H.265/HEVC是基于1/4像素位移分辨率。现在，联合视频探索组(Joint Video Exploration Team，JVET)团队正在探索后HEVC视频压缩技术。在联合探索模型中研究了一些非均匀运动补偿，如先进的时间运动矢量预测(Advanced Temporal MotionVector Prediction，ATMVP)。该技术涉及推导视频数据块的子块的运动信息。这些技术包括从相邻子块的运动信息推导出每个所述子块的运动信息。相邻子块可以包括空间和/或时间上相邻的和/或并置的子块。
子块级运动场会导致子块边界不连续。为了消除这种不连续，参考图像需要使用像素级(或更精确的)运动矢量场。使用插值滤波器来获得分数像素位置的插值图像。PU内非均匀运动矢量分布的插值问题在于分数像素位移会发生变化。
子块级运动补偿的实现更为简单，但预测比较粗糙。每个参考帧都保留子块级运动矢量场(motion vector field，MVF)，这样可以将参考帧保持在像素级，但这种级别运动场将非常大，即在内存方面增加了两个以上额外帧，且内存带宽也将增加。
此外，每个可能的分数偏移具有各自当前使用的插值滤波器。使用像素级MVF会导致计算复杂度增加，实现起来复杂。
为了提高预测质量，通过增加插值滤波器的数量来提高子块的运动矢量位移精度，从而提高运动补偿的精度。非均匀运动模型的插值滤波的当前准确度还有待提高。
因此，需要一种用于视频编码的帧间预测装置和方法，以提高视频编码效率。
发明内容
本发明的目的在于提供一种用于视频编码的帧间预测装置和方法，以提高视频编码效率。
上述和其他目的通过独立权利要求的主题来实现。其他实现方式在从属权利要求、说明书和附图中显而易见。
本发明的第一方面涉及一种对视频信号的当前帧的当前块的多个像素中当前像素的像素点值进行帧间预测的装置。所述帧间预测装置包括处理单元，所述处理单元用于：确定与所述当前帧的多个块一一相关的多个逐块运动矢量；根据所述多个逐块运动矢量确定所述当前像素的逐像素运动矢量；根据所述当前像素的所述逐像素运动矢量确定参考帧中的一个或多个参考像素；根据所述参考帧中的所述一个或多个参考像素的一个或多个像素点值确定所述当前像素的帧间预测的像素点值。
因此，提供了一种改进的帧间预测装置，能够提高视频编码的效率。
更具体地，所述改进的帧间预测装置能够基于逐像素准确度进行插值，同时保持低复杂度。通过简单的比例放大(如双线性比例放大)，可以改进(放大)从具有粗分辨率的参考帧推导出的运动矢量图。对于具有像素级分辨率的更平滑的运动矢量场(motionvector field，MVF)，通过应用对可变分数偏移不敏感的技术来进行预测。如下文详细描述的，本发明的实施例能够：支持任何类型的非均匀运动；避免沿块或子块的不连续；(通过使用相邻编码/重建PU的运动矢量)避免沿PU的不连续；保持低复杂度；提高插值准确度；去除跨块或子块边缘的块伪影；降低内存带宽；重用，在HW双线性变换中充分优化；减少变换(在具有子PU运动补偿的PU分辨率上)造成的振铃伪影，同时提高插值边缘的质量；提高重建图像中边缘的主观质量。
在所述第一方面的实现方式的一个示例中，所述多个块包括所述当前块。因此，使得帧间预测特别高效。
在实现方式的另一示例中，所述多个块包括所述当前块的邻块。因此，可以使帧间预测特别高效。例如，特别地，所述邻块可以是所述当前块的以下邻块之一：左上邻块、上邻块、右上邻块、右邻块、右下邻块、下邻块、左下邻块或左邻块。
在所述第一方面的另一种可能的实现方式中，所述处理单元用于通过对所述多个逐块运动矢量的分量进行插值，确定所述当前像素的所述逐像素运动矢量。
在所述第一方面的另一种可能的实现方式中，所述处理单元用于通过插值确定所述当前像素的所述逐像素运动矢量。例如，使用双线性插值、三次插值或样条插值。
在所述第一方面的另一种可能的实现方式中，所述当前块为编码树单元(codingtree unit，CTU)的预测单元(prediction unit，PU)或CTU的PU的子块。
在所述第一方面的另一种可能的实现方式中，所述当前像素为全整数像素；其中，所述处理单元用于根据所述当前全整数像素的所述逐像素运动矢量，针对所述当前全整数像素确定所述参考帧中的对应子整数像素。
在所述第一方面的另一种可能的实现方式中，所述处理单元用于：根据所述当前帧中滤波器支持像素的预定义集合生成所述参考帧中对应的滤波器支持像素集合，其中，所述当前帧中所述滤波器支持像素的预定义集合包括所述当前全整数像素的一个或多个相邻子整数像素和/或全整数像素；确定所述参考帧中所述当前全整数像素的所述对应子整数像素和所述对应滤波器支持像素的各自像素点值；通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述对应子整数像素的所述像素点值和所述参考帧中所述对应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测的像素点值。
在所述第一方面的另一种可能的实现方式中，所述当前帧中所述滤波器支持像素的预定义集合包括所述当前帧中所述当前像素的一个或多个垂直和/或水平相邻的半整数像素。
在所述第一方面的另一种可能的实现方式中，所述当前帧中所述滤波器支持像素的预定义集合包括所述当前帧中所述当前全整数像素的一个或多个垂直和/或水平相邻的全整数像素。
在所述第一方面的另一种可能的实现方式中，所述空间高通滤波器为5抽头滤波器。更具体地，所述空间高通滤波器为半像素域中的5抽头滤波器。半像素域中的5抽头滤波器对应像素域中的3抽头滤波器。在一种实现方式中，所述5抽头滤波器是对称滤波器，即，第一滤波器系数和第五滤波器系数相同以及第二滤波器系数和第四滤波器系数相同的滤波器。在一种实现方式中，所述5抽头滤波器的所述第一滤波器系数和所述第五滤波器系数为负，而其他滤波器系数为正。
在所述第一方面的另一种可能的实现方式中，所述空间高通滤波器为3抽头滤波器。
在所述第一方面的另一种可能的实现方式中，所述装置的所述处理单元用于根据所述参考帧中各自的相邻全整数像素的双线性插值，确定所述参考帧中所述当前全整数像素的所述对应子整数像素和所述参考帧中所述对应滤波器支持像素的所述各自像素点值。
本发明的第二方面涉及一种对视频信号的当前帧的当前块的多个像素中当前像素的像素点值进行帧间预测的方法。所述方法包括：确定与所述当前帧的多个块一一相关的多个逐块运动矢量；根据所述多个逐块运动矢量确定所述当前像素的逐像素运动矢量；根据所述当前像素的所述逐像素运动矢量确定所述参考帧中的一个或多个参考像素；根据所述参考帧中的所述一个或多个参考像素的一个或多个像素点值确定所述当前像素的帧间预测的像素点值。
本发明的所述第二方面提供的所述帧间预测方法可以由本发明的所述第一方面提供的所述帧间预测装置执行。本发明的所述第二方面的所述帧间预测方法的其他特征可直接由本发明的所述第一方面提供的所述帧间预测装置的功能及上文和下文描述的第一方面不同实现方式实现。
本发明的第三方面涉及一种用于对视频信号的当前帧进行编码的编码装置，其中，所述编码装置包括本发明的所述第一方面提供的所述帧间预测装置。
本发明的第四方面涉及一种用于对压缩视频信号的当前重建帧进行解码的解码装置，其中，所述解码装置包括本发明的所述第一方面提供的帧间预测装置。
本发明的第五方面涉及一种包括程序代码的计算机程序产品，其中，所述程序代码在计算机或处理器上执行时执行所述第二方面提供的所述方法。
附图说明
本发明的其他实施例将结合以下附图进行描述，其中：
图1为一个实施例提供的编码装置的示意图，所述编码装置包括一个实施例提供的帧间预测装置；
图2为一个实施例提供的解码装置的示意图，所述解码装置包括一个实施例提供的帧间预测装置；
图3为在一个实施例提供的帧间预测装置中实现的运动矢量插值方案的不同方面的示意图；
图4a、图4b和图4c为在一个实施例提供的帧间预测装置中实现的运动矢量插值方案的不同方面的示意图；
图5为在一个实施例提供的帧间预测装置中实现的像素点值插值方案的不同方面的示意图；
图6为在一个实施例提供的帧间预测装置中实现的像素点值插值方案的不同方面的示意图；
图7为在一个实施例提供的帧间预测装置中实现的像素点值插值方案的不同方面的示意图；
图8为一个实施例提供的帧间预测方法的步骤的流程图。
在各个附图中，相同或功能上等效的特征使用相同的附图标记。
具体实施方式
以下结合附图进行描述，所述附图形成本发明的一部分，并以说明的方式示出可以实施本发明的具体方面。应理解，在不脱离本发明范围的情况下，可以利用其他方面，并可以进行结构或逻辑更改。因此，以下详细描述不应以限制性的意义来理解，本发明的范围由所附权利要求书界定。
例如，应理解，结合所描述方法的公开内容对于与用于执行所述方法的对应的设备或***也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，则对应的设备可以包括用于执行所描述的方法步骤的单元，即使此类单元未在图中详细阐述或说明。此外，应理解，除非另有具体说明，否则本文中描述的各种示例性方面的特征可相互组合。
图1示出了一个实施例提供的编码装置100，该编码装置100包括一个实施例提供的帧间预测装置144。编码装置100用于对包括多个帧(在本文中也称为图像(picture/image))的视频信号的帧的块进行编码，其中每个帧可划分为多个块，每个块包括多个像素。在一个实施例中，所述块可以是宏块、编码树单元、编码单元、预测单元和/或预测块。
在图1中所示的示例性实施例中，编码装置100以混合视频编码器的形式实现。通常，视频信号的第一帧是帧内帧，仅使用帧内预测进行编码。为此，图2中所示的编码装置100的实施例还包括用于帧内预测的帧内预测单元154。可以在没有其他帧的信息的情况下对帧内帧进行解码。帧内预测单元154可以根据帧内估计单元152提供的信息对块进行帧内预测。
可以通过如模式选择单元160所选择的帧间预测或帧内预测对第一帧内帧之后的后续帧的块进行编码。通常，帧间预测单元144可以用于基于运动估计对块进行运动补偿，下文将进一步详细描述。在一个实施例中，运动估计可以由所述编码装置的帧间估计单元142执行。然而，在其他实施例中，帧间估计单元142的功能也可以作为帧间预测单元144的一部分来实现。
此外，在图1中所示的混合编码器实施例中，残差计算单元104用于确定原始块与其预测值之间的差值，即，定义帧内/帧间预测的预测误差的残差块。该残差块由变换单元106进行变换(例如，采用DCT)，变换系数由量化单元108进行量化。熵编码单元170对量化单元108的输出以及例如帧间预测单元144提供的编码信息或边信息进行进一步编码。
混合视频编码器，如图1中所示的编码装置100，其处理方式通常和解码器的处理方式相同，使得编码器和解码器生成相同的预测。因此，在图1中所示的实施例中，反量化单元110和逆变换单元执行变换单元106和量化单元108的逆操作，使用相同的残差块的解码近似值。然后，重建单元114将解码的残差块数据添加到预测结果(即，预测块)中。之后，可以将重建单元114的输出提供给线缓冲器116以用于帧内预测，并由环内滤波器120进一步处理以去除图像伪影。最后，将图像存储在解码图像缓冲器130中，可以用作参考帧用于后续帧的帧间预测。
图2示出了一个实施例提供的解码装置200，该解码装置200包括一个实施例提供的帧间预测装置244。解码装置200用于对编码视频信号的帧的块进行解码。在图2中所示的实施例中，解码装置200实现为混合解码器。熵解码单元204对经编码的图像数据进行熵解码，所述经编码的图像数据通常可以包括特别是帧间预测装置244和帧内预测单元254以及解码装置200的其他组件所需要的预测误差(即，残差块)、运动数据和其他边信息。在图2中所示的实施例中，图3中所示的解码装置200的帧间预测装置244和帧内预测单元254由模式选择单元260选择，并且功能与图1中所示的编码装置100的帧间预测装置144和帧内预测单元154相同，使得编码装置100和解码装置200可以生成相同的预测。解码装置200的重建单元214用于根据反量化单元210和逆变换单元212提供的滤波预测块和残差块对块进行重建。与编码装置100的情况相同，可以将重建块提供给线缓冲器216以用于帧内预测，经滤波的块/帧可以由环内滤波器220提供给解码图像缓冲器230以用于后续帧间预测。
如上所述，装置144、244用于对视频信号的当前帧的当前块的多个像素中当前像素的像素点值进行帧间预测。装置144、244包括可以在软件和/或硬件中实现的处理单元。
如图3所示，下文将进一步详细描述，帧间预测装置144、244的处理单元用于：确定与所述当前帧的多个块一一相关的多个逐块运动矢量；根据所述多个逐块运动矢量确定所述当前像素的逐像素运动矢量；根据所述当前像素的所述逐像素运动矢量确定参考帧中的一个或多个参考像素；根据所述参考帧中的所述一个或多个参考像素的一个或多个像素点值确定所述当前像素的帧间预测的像素点值。
例如，帧间预测装置144、244可以用于：根据视频信号的当前帧和参考帧，确定所述当前块的至少一个逐块运动矢量和至少一个其他块(优选所述当前块的邻块)的至少一个其他逐块运动矢量；根据所述当前块的至少一个逐块运动矢量和所述至少一个其他块(优选所述当前块的邻块)的至少一个其他逐块运动矢量，针对所述当前像素确定逐像素运动矢量；根据所述参考帧中与所述当前帧中的所述当前像素对应的像素的逐像素运动矢量和像素点值，确定所述当前帧中所述当前像素的帧间预测的像素点值。
在一个实施例中，帧间预测装置144、244的处理单元用于通过双线性插值或其他形式的插值确定当前像素的逐像素运动矢量。在一个实施例中，当前块的至少一个邻块包括当前块左上、上方、右上、右侧、右下、下方、左下或左侧的至少一个邻块。在一个实施例中，当前块可以是较大块的子块和/或编码树单元(coding tree unit，CTU)的预测单元(prediction unit，PU)。
例如，在一个实施例中，帧间预测装置144、244的处理单元可以根据当前块的逐块运动矢量和当前块的左侧、左上方和上方的邻块的逐块运动矢量，确定位于当前块的左上象限中的当前像素的逐像素运动矢量。帧间预测装置144、244的处理单元可以确定位于当前块的左上象限中的当前像素与当前块和当前块左侧、左上方和上方的邻块的各自中心像素之间的垂直和/或水平距离，并例如根据从确定MV的像素到具有已知MV或外推MV的相邻子块的中心的(在两个轴上的)距离，相应地对各自的逐块运动矢量进行加权，以通过双线性插值确定逐像素运动矢量。
图4a、图4b和图4c为一个实施例提供的帧间预测装置144、244的若干上述方面以及其他方面的示意图。图4a示出了视频流的多个示例性块的多个示例性逐块运动矢量。图4b示出了由帧间预测装置144、244推导和外推并存储在编码装置100和/或解码装置的缓冲器116、216中的逐块运动矢量场。图4c为图4a和图4b的详细视图，图4c示出了由帧间预测装置144、244通过示例性双线性插值推导出的示例性逐像素运动矢量场。更具体地，图4c示出了图中所示的多个块的右下方的每个4×4块的4×4个像素中每个像素的推导出的逐像素运动矢量。
在一个实施例中，帧间预测装置144、244的处理单元用于通过对当前块的逐块运动矢量的分量和当前块的至少一个邻块的其他逐块运动矢量的分量进行插值来确定当前像素的逐像素运动矢量。
在一个实施例中，帧间预测装置144、244的处理单元用于根据参考帧中对应的子整数像素，使用逐像素运动矢量来确定当前帧中当前全整数像素的帧间预测的像素点值。
装置144、244的处理单元还用于根据当前帧中滤波器支持像素的预定义集合生成参考帧中对应滤波器支持像素的集合。当前帧中滤波器支持像素的预定义集合包括当前全整数像素的一个或多个相邻子整数像素和/或全整数像素。
在一个实施例中，当前帧中滤波器支持像素的预定义集合包括当前帧中当前全整数像素的一个或多个垂直和/或水平相邻的半整数像素。例如，在一个实施例中，当前帧中滤波器支持像素的预定义集合包括当前全整数像素的上方、左侧、下方和右侧的相邻半整数像素。
在一个实施例中，当前帧中滤波器支持像素的预定义集合还包括当前帧中当前全整数像素的一个或多个垂直和/或水平相邻的全整数像素。例如，在一个实施例中，当前帧中滤波器支持像素的预定义集合还包括当前全整数像素的上方、左侧、下方和右侧的相邻全整数像素。因此，在一个实施例中，当前帧中滤波器支持像素的预定义集合可以包括当前帧中当前全整数像素的上方、左侧、下方和右侧的相邻半整数像素和/或全整数像素。
装置144、244的处理单元还用于确定参考帧中当前全整数像素的对应子整数像素和对应滤波器支持像素的各自像素点值，特别是亮度值。
在一个实施例中，装置144、244的处理单元用于根据参考帧中各自的相邻全整数像素的双线性插值，确定参考帧中当前全整数像素的对应子整数像素和参考帧中对应滤波器支持像素的各自像素点值。图5示出了通过双线性插值来确定参考帧中当前全整数像素的对应子整数像素的像素点值的一个示例。在图5中，相对于包括当前帧的示例性当前像素的当前块，将参考帧中的参考块进行放大和旋转。此外，如图5所示，提高了滤波器支持像素的分辨率。
如图5中的放大视图所示，在一个实施例中，处理单元可以按照如下方式确定参考帧中当前全整数像素的对应子整数像素的像素点值L。当前全整数像素的对应子整数像素在参考帧的像素点网格的对应单元格中具有分数位置(fdX，fdY)。L0、L1、L2、L3为参考帧中相邻全整数像素的已知像素点值(即，当前全整数像素的对应子整数像素对应的全整数像素位于参考帧的像素点网格的对应单元格的顶点)。根据分数位置(fdX，fdY)，与s0、s1、s2、s3对应的矩形的各自面积可以计算如下：s0＝fdX*fdY，s1＝(1-fdX)*fdY，s2＝fdX*(1-fdY)，s3＝(1-fdX)*(1-fdY)。双线性插值可以使用具有水平系数(1-fdX，fdX)和垂直系数(1-fdY，fdY)的2抽头滤波器来表示。根据这些加权因子，可以根据以下等式确定参考帧中当前全整数像素的对应子整数像素的像素点值L：L＝L0*s3+L1*s2+L2*s1+L3*s0。如上所述，可以通过相同的双线性插值来确定参考帧中对应滤波器支持像素的像素点值和/或逐像素运动矢量的分量。
装置144、244的处理单元还用于通过将空间高通滤波器应用于参考帧中当前全整数像素的对应子整数像素的像素点值和参考帧中对应滤波器支持像素的像素点值，确定当前帧中当前像素的帧间预测的像素点值。
在一个实施例中，所述空间高通滤波器为5抽头滤波器。在一个实施例中，所述5抽头滤波器是对称滤波器，即，第一滤波器系数和第五滤波器系数相同以及第二滤波器系数和第四滤波器系数相同的滤波器。在一个实施例中，所述5抽头滤波器的所述第一滤波器系数和所述第五滤波器系数为负，而其他滤波器系数为正。在一个实施例中，所述空间高通滤波器可以分别应用于垂直和水平方向。
图6示出了图5中所示示例中由装置144、244的处理单元在垂直和水平方向上使用5抽头滤波器执行的处理单元的不同阶段。如图5中所示的示例中，相对于当前块，将参考块进行放大和旋转(对应仿射变换)，在参考帧中旋转在当前帧中垂直和水平的5抽头滤波器。
在下文中，将描述帧间预测装置144、244、编码装置100和解码装置200的其他实施例。在本文中，应理解，帧间预测装置144、244的实施例涉及在编码装置100中实现的帧间预测装置144的实施例，以及在解码装置200中实现的帧间预测装置244的实施例。
在一个实施例中，帧间预测装置144、244的处理单元还用于通过外推推导出当前块的一个或多个邻块的逐块运动矢量。例如，如果至少一个邻块的至少一个MV已知，则该MV可以用作没有MV数据的其他邻块的MV。或者，可以将没有MV数据的邻块的MV设置为零向量(例如，在所有邻块都不包括任何MV数据的情况下)。
在一个实施例中，编码装置100用于向解码装置200发送信号，通知已根据逐像素运动矢量，使用附加融合模式或已知融合索引中的一个索引，确定当前帧中当前像素的帧间预测的像素点值，如上所述。
图7总结了上述本发明实施例的几个方面。
图8为帧间预测方法800的实施例的示例步骤的流程图。在该示例中，方法800包括以下步骤：根据视频信号的当前帧和参考帧，确定801当前块的至少一个逐块运动矢量和至少一个其他块(优选所述当前块的邻块)的至少一个其他逐块运动矢量；根据所述当前块的至少一个逐块运动矢量和所述至少一个其他块(优选所述当前块的邻块)的至少一个其他逐块运动矢量，针对所述当前像素确定803逐像素运动矢量；根据所述参考帧中与所述当前帧中的所述当前像素对应的像素的逐像素运动矢量和像素点值，确定805所述当前帧中所述当前像素的帧间预测的像素点值。
尽管本发明的特定特征或方面可能已经仅结合几种实现方式或实施例中的一种进行公开，但此类特征或方面可以和其他实现方式或实施例中的一个或多个其他特征或方面相结合，只要对于任何给定或特定应用是有需要或有利的。此外，在一定程度上，术语“包括”、“有”、“具有”或这些词的其他变形在详细说明或权利要求书中使用，这类术语和术语“包括”是类似的，都是表示包括的含义。同样，术语“示例性地”、“例如”仅表示为示例，而不是最好或最佳的。可以使用术语“耦合”和“连接”及其派生词。应理解，这些术语可以用于指示两个元件彼此协作或交互，而不管它们是直接物理接触还是电接触，或者它们彼此不直接接触。
尽管本文中已说明和描述特定方面，但本领域普通技术人员应了解，多种替代和/或等效实现方式可在不脱离本发明范围的情况下替代所示和描述的特定方面。该申请旨在覆盖本文描述的特定方面的任何修改或变更。
尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，除非对权利要求的阐述另外暗示用于实施部分或所有这些元件的特定顺序，否则这些元件不必限于以该特定顺序来实施。
通过以上描述，许多替代、修改和变化对于本领域技术人员是显而易见的。当然，本领域技术人员容易认识到，除本文所述的应用之外，还存在本发明的众多其他应用。虽然已结合一个或多个特定实施例描述了本发明，但本领域技术人员应认识到，在不偏离本发明范围的情况下，仍可对本发明作出许多改变。因此，应理解，只要是在所附权利要求书及其等效物的范围内，可以用不同于本文具体描述的方式来实施本发明。

Claims (12)

1.一种用于对视频信号的当前帧的当前块的当前像素的像素点值进行帧间预测的装置(144、244)，其特征在于，所述装置(144、244)包括处理单元，所述处理单元用于：
确定与所述当前帧的多个块一一相关的多个逐块运动矢量；
根据所述多个逐块运动矢量确定所述当前像素的逐像素运动矢量，所述当前像素为全整数像素；
根据所述当前像素的所述逐像素运动矢量确定参考帧中的一个或多个参考像素；
根据所述参考帧中的所述一个或多个参考像素的一个或多个像素点值确定所述当前像素的帧间预测的像素点值；
其中，所述处理单元用于根据所述当前像素的所述逐像素运动矢量，针对所述当前像素确定所述参考帧中的对应子整数像素；
所述处理单元用于：
根据所述当前帧中滤波器支持像素的预定义集合生成所述参考帧中对应的滤波器支持像素集合，其中，所述当前帧中所述滤波器支持像素的预定义集合包括当前全整数像素的一个或多个相邻子整数像素和/或全整数像素；
确定所述参考帧中所述当前全整数像素的所述对应子整数像素和所述对应滤波器支持像素的各自像素点值；
通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述对应子整数像素的所述像素点值和所述参考帧中所述对应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测的像素点值；所述空间高通滤波器为5抽头滤波器，所述5抽头滤波器是对称滤波器。
2.根据权利要求1所述的装置(144、244)，其特征在于，所述多个块包括所述当前块。
3.根据权利要求1所述的装置(144、244)，其特征在于，所述多个块包括所述当前块的邻块。
4.根据权利要求1所述的装置(144、244)，其特征在于，所述处理单元用于通过对所述多个逐块运动矢量的分量进行插值，确定所述当前像素的所述逐像素运动矢量。
5.根据权利要求1所述的装置(144、244)，其特征在于，所述处理单元用于通过插值确定所述当前像素的所述逐像素运动矢量。
6.根据权利要求1所述的装置(144、244)，其特征在于，所述当前块为以下之一：
编码树单元的预测单元；或
编码树单元的预测单元的子块。
7.根据权利要求1所述的装置(144、244)，其特征在于，所述当前帧中所述滤波器支持像素的预定义集合包括所述当前帧中所述当前像素的一个或多个垂直和/或水平相邻的半整数像素。
8.根据权利要求1所述的装置(144、244)，其特征在于，所述当前帧中所述滤波器支持像素的预定义集合包括所述当前帧中所述当前全整数像素的一个或多个垂直和/或水平相邻的全整数像素。
9.根据权利要求1所述的装置(144、244)，其特征在于，所述装置(144、244)的所述处理单元用于根据所述参考帧中各自的相邻全整数像素的双线性插值，确定所述参考帧中所述当前全整数像素的所述对应子整数像素和所述参考帧中所述对应滤波器支持像素的所述各自像素点值。
10.一种用于对视频信号的当前帧的当前块的多个像素中当前像素的像素点值进行帧间预测的方法(800)，其特征在于，所述方法(800)包括：
确定(801)与所述当前帧的多个块一一相关的多个逐块运动矢量；
根据所述多个逐块运动矢量确定(803)所述当前像素的逐像素运动矢量，所述当前像素为全整数像素；
根据所述当前像素的所述逐像素运动矢量确定参考帧中的一个或多个参考像素；
根据所述参考帧中的所述一个或多个参考像素的一个或多个像素点值确定(805)所述当前像素的帧间预测的像素点值；
根据所述当前像素的所述逐像素运动矢量，针对所述当前像素确定所述参考帧中的对应子整数像素；
根据所述当前帧中滤波器支持像素的预定义集合生成所述参考帧中对应的滤波器支持像素集合，其中，所述当前帧中所述滤波器支持像素的预定义集合包括当前全整数像素的一个或多个相邻子整数像素和/或全整数像素；
确定所述参考帧中所述当前全整数像素的所述对应子整数像素和所述对应滤波器支持像素的各自像素点值；
通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述对应子整数像素的所述像素点值和所述参考帧中所述对应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测的像素点值；所述空间高通滤波器为5抽头滤波器，所述5抽头滤波器是对称滤波器。
11.一种用于对视频信号的当前帧进行编码的编码装置(100)，其特征在于，所述编码装置(100)包括根据权利要求1至9任一项所述的帧间预测装置(144)。
12.一种用于对压缩视频信号的当前重建帧进行解码的解码装置(200)，其特征在于，
所述解码装置(200)包括根据权利要求1至9任一项所述的帧间预测装置(244)。
CN201880090266.6A 2018-03-26 2018-03-26 用于视频编码的帧间预测装置和方法 Active CN111758258B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2018/000190 WO2019190339A1 (en) 2018-03-26 2018-03-26 Inter prediction apparatus and method for video coding

Publications (2)

Publication Number Publication Date
CN111758258A CN111758258A (zh) 2020-10-09
CN111758258B true CN111758258B (zh) 2023-06-27

Family

ID=62090020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090266.6A Active CN111758258B (zh) 2018-03-26 2018-03-26 用于视频编码的帧间预测装置和方法

Country Status (11)

Country Link
US (1) US11228780B2 (zh)
EP (1) EP3759918A1 (zh)
JP (1) JP7102663B2 (zh)
KR (1) KR102481044B1 (zh)
CN (1) CN111758258B (zh)
AU (1) AU2018415602B2 (zh)
BR (1) BR112020019453A2 (zh)
CA (1) CA3093048C (zh)
MX (1) MX2020009822A (zh)
WO (1) WO2019190339A1 (zh)
ZA (1) ZA202005643B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457233B2 (en) * 2018-04-12 2022-09-27 Arris Enterprises Llc Motion information storage for video coding and signaling

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09266573A (ja) * 1996-03-28 1997-10-07 Hitachi Ltd 画像信号の動きベクトル生成方法およびこれを用いた装置
KR101671460B1 (ko) * 2009-09-10 2016-11-02 에스케이 텔레콤주식회사 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN102387360B (zh) * 2010-09-02 2016-05-11 乐金电子(中国)研究开发中心有限公司 视频编解码帧间图像预测方法及视频编解码器
US8908767B1 (en) 2012-02-09 2014-12-09 Google Inc. Temporal motion vector prediction
WO2016165069A1 (en) 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
US10356416B2 (en) * 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10271064B2 (en) 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
FR3041495B1 (fr) * 2015-09-17 2017-10-20 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
US11405611B2 (en) * 2016-02-15 2022-08-02 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding
WO2019147628A1 (en) * 2018-01-24 2019-08-01 Vid Scale, Inc. Generalized bi-prediction for video coding with reduced coding complexity
KR102656965B1 (ko) * 2018-01-29 2024-04-11 브이아이디 스케일, 인크. 낮은 복잡성을 갖는 프레임-레이트 상향 변환

Also Published As

Publication number Publication date
WO2019190339A1 (en) 2019-10-03
BR112020019453A2 (pt) 2021-01-05
JP7102663B2 (ja) 2022-07-20
US20210014521A1 (en) 2021-01-14
KR20200124738A (ko) 2020-11-03
CA3093048A1 (en) 2019-10-03
US11228780B2 (en) 2022-01-18
ZA202005643B (en) 2022-10-26
AU2018415602A1 (en) 2020-09-24
EP3759918A1 (en) 2021-01-06
CA3093048C (en) 2023-01-17
CN111758258A (zh) 2020-10-09
JP2021517402A (ja) 2021-07-15
MX2020009822A (es) 2020-10-14
KR102481044B1 (ko) 2022-12-23
AU2018415602B2 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US11297324B2 (en) Interpolation filter for an inter prediction apparatus and method for video coding
JP5216071B2 (ja) 復号装置及び復号方法
US11228780B2 (en) Inter prediction apparatus and method for video coding
US11202082B2 (en) Image processing apparatus and method
CN116193125B (zh) 用于针对视频编解码的预测相关残差缩放的方法和设备
CN116506610B (zh) 对视频信号编码的方法、计算设备、存储介质、程序产品
WO2024006231A1 (en) Methods and apparatus on chroma motion compensation using adaptive cross-component filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant