CN111213380A - 用于帧间预测装置的插值滤波器和视频编码方法 - Google Patents

用于帧间预测装置的插值滤波器和视频编码方法 Download PDF

Info

Publication number
CN111213380A
CN111213380A CN201880067036.8A CN201880067036A CN111213380A CN 111213380 A CN111213380 A CN 111213380A CN 201880067036 A CN201880067036 A CN 201880067036A CN 111213380 A CN111213380 A CN 111213380A
Authority
CN
China
Prior art keywords
pixel
current
pixels
integer
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880067036.8A
Other languages
English (en)
Other versions
CN111213380B (zh
Inventor
马克西姆·博里索维奇·希切夫
乔治·亚历山德罗维奇·朱利科夫
蒂莫菲·米哈伊洛维奇·索洛维夫
陈建乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111213380A publication Critical patent/CN111213380A/zh
Application granted granted Critical
Publication of CN111213380B publication Critical patent/CN111213380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于视频信号的当前帧的当前块的多个像素的当前全整数像素的像素点值的帧间预测装置(144)和方法。所述装置(144)包括处理单元，所述处理单元用于：基于所述视频信号的所述当前帧和参考帧和/或基于运动补偿模型，确定所述当前全整数像素的运动矢量；基于所述当前全整数像素的所述运动矢量确定所述当前全整数像素在所述参考帧中的相应子整数像素；基于所述当前帧中的预定义滤波器支持像素集合生成所述参考帧中的相应滤波器支持像素集合，其中所述当前帧中的所述预定义滤波器支持像素集合包括一个或多个相邻的全整数像素和/或所述当前全整数像素的子整数像素；确定所述参考帧中的所述当前全整数像素的所述相应子整数像素和所述相应滤波器支持像素的各自的像素点值；以及通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述相应子整数像素的所述像素点值和所述参考帧中所述相应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测像素点值。此外，本发明涉及一种包括此类帧间预测装置(144)的编码装置(100)和解码装置。

Description

用于帧间预测装置的插值滤波器和视频编码方法
技术领域
本发明大体上涉及视频编码领域。更具体地，本发明涉及一种用于帧间预测装置的插值滤波器和视频编码方法，以及包括此类帧间预测装置的编码装置和解码装置。
背景技术
数字视频通信和存储应用由各种数字设备实现，例如数码相机、蜂窝式无线电话、膝上型计算机、广播***、视频会议***等。这些应用中最重要和最具挑战性的任务之一就是视频压缩。视频压缩是一个复杂的任务，受到两个相互制约的参数(压缩效率和计算复杂度)的约束。视频编码标准(如ITU-T H.264/AVC或ITU-T H.265/HEVC)为这些参数之间提供了良好的权衡。因此，几乎所有视频压缩应用都必须支持视频编码标准。
最先进的视频编码标准将源帧或源图像分割为帧块或图像块。这些块的处理取决于其大小、空间位置和编码器指定的编码方式。根据预测类型，编码模式可以分为两个组：帧内预测模式和帧间预测模式。帧内预测模式使用同一帧(也称为图像或影像)的像素来生成参考像素点，以计算正在重建的块的像素的预测值。帧内预测也称为空间预测。帧间预测模式设计用于时间预测，并使用上一帧或下一帧的参考像素点来预测当前帧的块的像素。在预测阶段之后，对预测误差(原始信号与其预测值之间的差值)进行变换编码。然后，使用熵编码器(例如，AVC/H.264和HEVC/H.265标准中的CABAC)对变换系数和边信息进行编码。最近采用的ITU-T H.265/HEVC标准(ISO/IEC 23008-2：2013，2013年11月《信息技术-异构环境中的高效编码和媒体传送》-第2部分：高效视频编码)宣布了一套最先进的视频编码工具，在编码效率和计算复杂度之间提供了合理的权衡。盖里J.苏利文在《高效视频编码(HEVC)标准概述》(IEEE视频技术电路和***学报第22卷第12期，2012年12月)中对ITU-TH.265/HEVC标准进行了概述，其全部内容通过引用结合在本申请中。
与ITU-T H.264/AVC视频编码标准类似，HEVC/H.265视频编码标准规定以编码单元(coding unit，CU)的形式将源帧划分为帧块。每个CU可以进一步分为更小的CU或预测单元(prediction unit，PU)。可以根据PU的像素使用的处理类型，对PU进行帧内或帧间预测。对于帧间预测，PU表示通过使用为PU指定的运动矢量的运动补偿来处理的像素区域。对于帧内预测，使用相邻块的相邻像素作为参考像素点来预测当前块。PU指定了预测模式，所述预测模式是从这个PU中包含的所有变换单元(transform unit，TU)的帧内预测模式集中选择的。TU可以具有不同的大小(例如，4×4、8×8、16×16和32×32像素)，可以以不同的方式处理。TU进行变换编码，即通过离散余弦变换或离散正弦变换(在HEVC/H.265标准中，应用于帧内编码块)对预测误差进行变换和量化。因此，重建像素包含量化噪声(例如单元之间的块效应、振铃伪影以及锐边等，这一点变得很明显)，环内滤波器(例如去块滤波器(deblocking filter，DBF)、采样点自适应偏移(sample adaptive offset，SAO)和自适应环路滤波器(adaptive loop filter，ALF))用于抑制量化噪声。
发展子整数像素插值技术，以提高帧间预测可实现的压缩水平的预测精度。在这种情况下，在用于编码视频块的运动补偿期间生成的预测数据可以对应于子整数像素，其值可以通过运动矢量所指向的参考视频帧或其它编码单元的视频块的全部像素的值进行内插得到。视频编码器可以使用插值技术计算子整数像素位置的值，例如，通过对一组支持像素应用插值滤波器，例如全整数像素的值和/或其它子整数像素位置的先前编码值。
今天的标准H.264/AVC和H.265/HEVC是基于1/4像素位移分辨率的。联合视频编码小组(Joint Video Exploration Team，JVET)团队正在探索后HEVC视频压缩技术，包括非平移的运动补偿模型，如仿射变换。为了估计和补偿分数像素(或子整数)位移，必须将参考影像的全整数像素插值在分数像素上，即子整数位置。使用插值滤波器以得到分数像素位置上的插值影像。非平动运动模型的插值的问题是可变分数像素位移。
插值影像的质量很大程度上取决于插值滤波器的性能。短抽头滤波器(例如双线性)可以抑制高频，并使插值图像模糊。另一方面，长抽头滤波器(例如，基于sinc的)，需要更多的内存带宽，并可能保留高频，但在锐利的边缘附近生成一些振铃伪影。另一个考虑是，对于非平移模型的运动补偿，通过降低插值和预测的精度降低了复杂度。
在提议的JEM仿射运动模型中，支持两种类型的运动：变焦和旋转。大多数分数像素位置在预测单元内是不恒定的。用子块代替像素可以加快插值速度。在一个子块内，位移矢量是恒定的和平移的。复杂度逐渐降低，但准确度也降低。为了提高预测质量，通过增加插值滤波器的数量来提高子块的运动矢量位移精度，从而提高运动补偿的精度。非平移运动模型插值滤波的当前精度还有待提高。
因此，需要提供一种用于帧间预测装置的改进的插值滤波器和视频编码方法，用于提高视频编码效率。
发明内容
本发明的目的是提供一种用于帧间预测装置的改进的插值滤波器和视频编码方法，用于提高视频编码效率。
上述和其它目的通过由独立权利要求请求保护的主题来实现的。进一步的实现方式在从属权利要求、具体实施方式和附图中显而易见。
根据第一方面，本发明涉及一种用于视频信号的当前帧的当前块的多个像素的当前全整数像素的像素点值的帧间预测的装置。所述装置包括处理单元，所述处理单元用于：基于所述视频信号的所述当前帧和参考帧和/或运动补偿模型，确定所述当前全整数像素的运动矢量；基于所述当前全整数像素的所述运动矢量确定所述当前全整数像素在所述参考帧中的相应子整数像素；基于所述当前帧中的预定义滤波器支持像素集合生成所述参考帧中的相应滤波器支持像素集合，其中所述当前帧中的所述预定义滤波器支持像素集合包括一个或多个相邻的全整数像素和/或所述当前全整数像素的子整数像素；确定所述参考帧中的所述当前全整数像素的所述相应子整数像素和所述相应滤波器支持像素的各自的像素点值，特别是亮度值；通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述相应子整数像素的所述像素点值和所述参考帧中所述相应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测像素点值。
因此，提供了一种改进的帧间预测装置，能够提高视频编码的效率。
在第一方面的另一种可能的实现方式中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的所述当前全整数像素的一个或多个垂直和/或水平相邻的半整数像素。
在第一方面的另一种可能的实现方式中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的所述当前全整数像素的一个或多个垂直和/或水平相邻的全整数像素。
在第一方面的另一种可能的实现方式中，所述空间高通滤波器为5抽头滤波器或3抽头滤波器。在一种实现方式中，所述5抽头滤波器或所述3抽头滤波器是对称滤波器，即第一和第五滤波器系数(或者，在所述3抽头滤波器的情况下，第一和第三滤波器系数)相同并且第二和第四滤波器系数相同的滤波器。在一种实现方式中，所述5抽头滤波器的第一和第五滤波器系数为负，而其它滤波器系数为正。
在第一方面的另一种可能的实现方式中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的一个或多个相邻的全整数像素和半整数像素，并且所述5抽头滤波器具有以下滤波器系数(-6，9，26，9，-6)，其可以通过因子1/32进行归一化。
在第一方面的另一种可能的实现方式中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的一个或多个相邻的全整数像素和半整数像素，并且所述5抽头滤波器具有以下滤波器系数(-1，0，10，0，-1)，其可以通过因子1/8进行归一化。可以理解的是，在没有中间半整数支持像素的另一种可能的实现方式中，该滤波器变成具有系数(-1，10，-1)的3抽头滤波器。
在第一方面的另一种可能的实现方式中，所述装置的所述处理单元用于基于所述参考帧中的所述各自的相邻全整数像素的双线性插值，确定所述参考帧中的所述当前全整数像素和所述参考帧中的所述相应滤波器支持像素的所述相应子整数像素的各自的像素点值。
在第一方面的另一种可能的实现方式中，所述装置的所述处理单元还用于基于所述当前全整数像素的所述运动矢量和所述当前全整数像素的相邻全整数像素的一个或多个运动矢量来确定所述当前帧中的所述滤波器支持像素的所述子整数像素中的每个子整数像素的相应运动矢量。
在第一方面的另一种可能的实现方式中，所述装置的所述处理单元用于通过确定所述当前全整数像素的所述运动矢量和所述当前全整数像素的相邻全整数像素的一个或多个运动矢量的平均矢量来确定所述当前帧中的所述滤波器支持像素的所述子整数像素中的每一个子整数像素的相应的运动矢量。
在第一方面的另一种可能的实现方式中，所述装置的所述处理单元还用于基于所述视频信号的所述当前帧和所述参考帧和/或运动补偿模型来确定所述当前全整数像素的相邻全整数像素的所述一个或多个运动矢量。
在第一方面的另一种可能的实现方式中，所述装置的所述处理单元用于：在基于非平移运动补偿模型确定所述当前全整数像素的所述运动矢量的情况下，通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述相应子整数像素的所述像素点值和所述参考帧中所述相应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测像素点值，以及在基于平移运动补偿模型确定所述当前全整数像素的所述运动矢量的情况下，基于传统方案(如在H.264/AVC和H.265/HEVC中定义的传统方案)，确定所述当前帧中所述当前像素的所述帧间预测像素点值。
在第一方面的另一种可能的实现方式中，所述非平移运动补偿模型为仿射、扭曲和/或全景运动补偿模型。
根据第二方面，本发明涉及一种用于视频信号的当前帧的当前块的多个像素的当前全整数像素的像素点值的帧间预测的相应的方法。所述方法包括以下步骤：基于所述视频信号的所述当前帧和参考帧和/或基于运动补偿模型，确定所述当前全整数像素的运动矢量；基于所述当前全整数像素的所述运动矢量确定所述当前全整数像素在所述参考帧中的相应子整数像素；基于所述当前帧中的预定义滤波器支持像素集合生成所述参考帧中的相应滤波器支持像素集合，其中所述当前帧中的所述预定义滤波器支持像素集合包括一个或多个相邻的全整数像素和/或所述当前全整数像素的子整数像素；确定所述参考帧中的所述当前全整数像素的所述相应子整数像素和所述相应滤波器支持像素的各自的像素点值，特别是亮度值；通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述相应子整数像素的所述像素点值和所述参考帧中所述相应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测像素点值。
因此，提供了一种改进的帧间预测方法，能够提高视频编码的效率。
本发明第二方面的帧间预测方法可以由本发明第一方面提供的所述帧间预测装置执行。本发明第一方面提供的所述的帧间预测装置的功能及上述和下文描述的不同实现方式可直接实现本发明第二方面的帧间预测方法的其他特征。
根据第三方面，本发明涉及一种用于编码视频信号的当前帧的编码装置，其中，所述编码装置包括第一方面提供的所述的帧间预测装置。
根据第四方面，本发明涉及一种用于解码压缩视频信号的当前重建帧的解码装置，其中，所述解码装置包括第一方面提供的所述的帧间预测装置。
根据第五方面，本发明涉及一种计算机程序产品，所述计算机程序产品包括程序代码，当在计算机执行所述程序代码时，执行根据第四方面所述的方法。
本发明实施例具体提供以下优点：本发明实施例允许以逐像素精度执行插值，同时将复杂度保持在较低水平。本发明的实施例支持任何种类的非平移运动。本发明的实施例允许去除子块边缘上的块伪影。本发明实施例降低了存储器带宽。本发明实施例降低了用于存储一组滤波器系数的存储器要求。本发明的实施例允许在HW双线性变换中很好地重用优化。本发明的实施例沿变换对准滤波的方向。本发明的实施例允许减少由长运动插值滤波器引起的振铃伪影，同时提高插值边缘的质量。本发明实施例允许增加重建图像中边缘的主观质量。此外，本发明实施例不需要任何其它信令，因此，可以无缝地替换用于非平移移动的现有插值方法。将插值分解为两个步骤，允许将分数偏移补偿与高通滤波分离。
附图说明
本发明的具体实施方式将结合以下附图进行描述。
图1为一个实施例提供的包括帧间预测装置的编码装置的示意图。
图2为一个实施例提供的包括帧间预测装置的解码装置的示意图。
图3为在一个实施例提供的在帧间预测装置中实现的插值过程的一方面的示意图。
图4为在一个实施例提供的帧间预测装置中实现的插值过程的不同方面的示意图。
图5为在一个实施例提供的帧间预测装置中实现的插值过程的不同方面的示意图。
图6为一个实施例提供的帧间预测方法的步骤的流程图。
图7示出了表1。
在各个附图中，相同的附图标记表示相同或功能等同的特征。
具体实施方式
以下结合附图进行描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其它方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并非限定，本发明的范围由所附权利要求书界定。
可以理解的是，与所描述的方法有关的内容对于与用于执行方法对应的设备或***也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，对应的设备可以包括用于执行所描述的方法步骤的单元，即使此类单元未在图中详细阐述或说明。此外，应理解，除非另外具体指出，否则本文中描述的各种示例性方面的特征可彼此组合。
图1示出了一个实施例提供的包括帧间预测装置144的编码装置100。编码装置100用于对包括多个帧(在本文中也称为图像(picture)或影像(image))的视频信号的帧的块进行编码，其中每个帧可划分为多个块，每个块包括多个像素。在一个实施例中，所述块可以是宏块、编码树单元、编码单元、预测单元和/或预测块。
在图1中所示的示例性实施例中，所述编码装置100以混合视频编码编码器的方式实现。通常，视频信号的第一帧是帧内帧，仅使用帧内预测进行编码。为此，图2中所示的所述编码装置100的实施例还包括用于帧内预测的帧内预测单元154。可以在没有其它帧的信息的情况下解码帧内帧。帧内预测单元154可以基于帧内估计单元152提供的信息执行块的帧内预测。
如模式选择单元160所选择的，可以使用帧间或帧内预测来编码第一帧内帧之后的后续帧的块。通常，所述帧间预测单元144可以用于基于运动估计来执行块的运动补偿，下文将进一步详细描述。在一个实施例中，运动估计可以由所述编码装置的帧间估计单元142执行。然而，在其它实施例中，帧间估计单元142的功能也可以作为所述帧间预测单元144的一部分来实现。
此外，在图1中所示的混合编码器实施例中，残差计算单元104确定原始块与其预测值之间的差异，即定义帧内/帧间预测的预测误差的残差块。该残差块由变换单元106进行变换(例如使用DCT)，变换系数由量化单元108进行量化。所述量化单元108的输出以及例如由所述帧间预测单元144提供的编码信息或边信息由熵编码单元170进一步编码。
混合视频编码器，例如图1中所示的编码装置100，通常和解码器的处理方式相同，使得两者生成相同的预测。因此，在图1中所示的实施例中，反量化单元110和逆变换单元执行所述变换单元106和所述量化单元108的逆操作，使用相同的所述残差块的解码近似值。然后，由重建单元114将所述解码的残差块数据添加到预测的结果(即所述预测块的结果)中。然后，可以将所述重建单元114的输出提供给列缓冲器116以用于帧内预测，并进一步由用于去除影像伪影的环内滤波器120进行处理。最终图像存储在解码图像缓冲器130中，可以用于后续帧的帧间预测的参考帧。
图2示出了一个实施例提供的包括帧间预测装置244的解码装置200。所述解码装置200用于对编码视频信号的帧中的块进行解码。在图2所示的实施例中，所述解码装置200实现为混合解码器。熵解码单元204对编码图像数据进行熵解码，通常可以包括预测误差(即残差块)、运动数据和其它边信息，这些数据尤其是帧间预测装置244和帧内预测单元254以及所述解码设备200的其它组件所需要的。在图2所示的实施例中，图3中所示的所述解码设备200的所述帧间预测装置244和所述帧内预测单元254由模式选择单元260选择，并以与图1中所示的所述编码设备100的所述帧间预测装置144和所述帧帧内预测单元154相同的方式工作，使得所述编码装置100和所述解码装置200可以生成相同的预测。所述解码装置200的重建单元214用于基于反量化单元210和逆变换单元212提供的滤波预测块和残差块重建块。如同在所述编码装置100的情况下，所述重建块可以提供给用于帧内预测的列缓冲器216，滤波后的块/帧可以由所述环内滤波器220提供给解码图像缓冲器230用于后续帧间预测。
如上所述，所述装置144、244用于对视频信号的当前帧的当前块的多个像素的当前全整数像素的像素点值执行帧间预测。所述装置144、244包括处理单元，可以在软件和/或硬件中实现。
所述装置144、244的处理单元用于确定所述当前全整数像素的运动矢量。在一个实施例中，所述设备144、244的处理单元用于通过确定所述当前帧中对应于所述当前全整数像素的像素在所述参考帧中的位置，基于所述视频信号的当前帧和参考帧来确定所述当前全整数像素的运动矢量。在一个实施例中，所述装置144、244的处理单元用于基于采用的运动补偿模型确定所述当前全整数像素的运动矢量。例如，在平移或仿射运动补偿模型的情况下，可以使用所述当前全整数像素所属的相同块的像素的一个或多个运动矢量来确定所述当前全整数像素的运动矢量。本文使用的“运动补偿模型”也称为运动变换模型、运动模型描述等。
所述装置144、244的处理单元还用于基于所述当前全整数像素的运动矢量为所述当前全整数像素确定所述参考帧中的相应子整数像素。
所述装置144、244的处理单元还用于基于所述当前帧中的预定义滤波器支持像素集合生成所述参考帧中的相应滤波器支持像素集合。所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的一个或多个相邻全整数像素和/或子整数像素。
在一个实施例中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的当前全整数像素的一个或多个垂直和/或水平相邻半整数像素。例如，在一个实施例中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的上方、左侧、下方和右侧的相邻半整数像素。
在一个实施例中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的当前全整数像素的一个或多个垂直和/或水平相邻全整数像素。例如，在一个实施例中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的上方、左侧、下方和右侧的相邻全整数像素。在一个实施例中，所述当前帧中的预定义滤波器支持像素集合可以包括所述当前帧中的当前全整数像素的上方、左侧、下方和右侧的相邻半整数像素和全整数像素。
所述装置144、244的处理单元还用于确定各自的像素点值，特别是所述当前全整数像素的相应子整数像素和所述参考帧中的相应滤波器支持像素的亮度值。
在一个实施例中，所述装置144、244的处理单元用于基于所述参考帧中的所述各自的相邻全整数像素的双线性插值，确定所述参考帧中的所述当前全整数像素和所述参考帧中的所述相应滤波器支持像素的所述相应子整数像素的各自的像素点值。图3为使用双线性插值来确定参考帧中当前全整数像素的相应子整数像素的像素点值的一个示例。在图3中，所述参考帧中的参考块相对于包括所述当前帧的示例性当前像素的当前块进行放大和旋转。此外，图3示出了用于所述滤波器支持像素的提高后的分辨率。
如图3中的放大视图所示，在一个实施例中，处理单元可以如下确定参考帧中当前全整数像素的相应子整数像素的像素点值L。所述当前全整数像素的相应子整数像素在所述参考帧的像素点网格的对应单元格中具有分数位置(fdX，fdY)。L0、L1、L2、L3是所述参考帧中相邻全整数像素的已知像素点值(即所述全整数像素位于所述参考帧的像素点网格的相应单元格的角上，所述当前全整数像素的相应子整数像素位于其中)。基于分数位置(fdX，fdY)，s0、s1、s2、s3对应的矩形的各自的面积可以计算如下：s0＝fdX*fdY，s1＝(1-fdX)*fdY，s2＝fdX*(1-fdY)，s3＝(1-fdX)*(1-fdY)。双线性插值可以使用具有以下水平系数(1-fdX，fdX)和以下垂直系数(1-fdY，fdY)的2抽头滤波器来表示。基于这些加权因子，可以基于以下等式确定所述参考帧中的当前全整数像素的相应子整数像素的像素点值L：
L＝L0*s3+L1*s2+L2*s1+L3*s0。如上所述，相同的双线性插值可用于确定所述参考帧中相应滤波器支持像素的像素点值。
所述装置144、244的处理单元还用于通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述相应子整数像素的所述像素点值和所述参考帧中所述相应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测像素点值。
在一个实施例中，所述空间高通滤波器为5抽头滤波器。在一个实施例中，所述5抽头滤波器是对称滤波器，即所述第一和第五滤波器系数相同，所述第二和第四滤波器系数相同的滤波器。在一个实施例中，所述5抽头滤波器的第一和第五滤波器系数为负，而其它滤波器系数为正。在一个实施例中，所述空间高通滤波器可以分别应用于垂直和水平方向。
在一个实施例中，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的五个相邻的全整数像素和半整数像素，在给定的数值精度内，所述5抽头滤波器具有以下滤波器系数(-6，9，26，9，-6)，其可以通过因子1/32进行归一化。
在另一实施例中，所述当前帧中的所述预定义滤波器支持像素集包括所述当前全整数像素的五个相邻全整数像素和半整数像素，在给定的数值精度内，所述5抽头滤波器具有以下滤波器系数(-1，0，10，0，-1)，其可以通过因子1/8进行归一化。可以理解，在没有中间半整数支持像素的实施例中，该滤波器成为具有三个全整数支持像素且具有系数(-1，10，-1)的3抽头滤波器。
在一个实施例中，所述装置144、244的处理单元用于基于二维可分离卷积过程基于滤波器支持像素确定所述当前帧中当前像素的帧间预测像素点值。例如，对于5抽头滤波器的情况，所述装置144、244的处理单元用于将5抽头滤波器应用于由当前像素的五个水平和垂直相邻的半整数像素和全整数像素定义的每个水平和垂直线。
图4示出了图3中所示示例中由装置144、244的处理单元在垂直和水平方向上使用5抽头滤波器执行的处理单元的不同阶段。如图3中所示的示例中，所述参考块相对于所述当前块进行放大和旋转(对应于仿射变换)，在所述当前帧中垂直和水平的5抽头滤波器在所述参考帧中旋转。
在所述帧间预测装置144和244的以下进一步的实施例中，将描述编码装置100和解码装置200。在本文中，可以理解的是，所述帧间预测装置144、244的实施例涉及在所述编码装置100中实现的所述帧间预测装置133的实施例，以及在所述解码装置200中实现的所述帧间预测装置244的实施例。
在一个实施例中，所述装置144、244的所述处理单元还用于基于所述当前全整数像素的所述运动矢量和所述当前全整数像素的相邻全整数像素的一个或多个运动矢量来确定所述当前帧中的所述滤波器支持像素的所述子整数像素中的每个子整数像素的相应运动矢量。为此，在一个实施例中，所述装置144、244的处理单元用于确定所述当前全整数像素的运动矢量和所述当前全整数像素的相邻全整数像素的一个或多个运动矢量的平均矢量。例如，为了确定所述当前帧中当前全整数像素上方的半整数像素的运动矢量，所述装置144、244的处理单元可以计算平均值，即，所述当前全整数像素的运动矢量和所述当前全整数像素以上的所述相邻全整数像素的运动矢量的平均值。
与确定所述当前像素的运动矢量类似，所述装置144、244的处理单元可以用于基于所述视频信号的所述当前帧和所述参考帧和/或运动补偿模型来确定所述当前全整数像素的相邻全整数像素的所述一个或多个运动矢量。
在一个实施例中，所述装置144、244的处理单元用于在基于非平移运动补偿模型确定所述当前全整数像素的所述运动矢量的情况下，通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述相应子整数像素的所述像素点值和所述参考帧中所述相应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测像素点值，以及在基于平移运动补偿模型确定所述当前全整数像素的所述运动矢量的情况下，基于传统方案(如在H.264/AVC和H.265/HEVC中定义的传统方案)，确定所述当前帧中所述当前像素的所述帧间预测像素点值。在一个实施例中，非平移运动补偿模型为仿射、扭曲和/或全景运动补偿模型。
在用于平移运动补偿模型的另一实施例中，所述装置144、244的处理单元用于通过对所提出的滤波器(即，所述双线性滤波器和后续高通滤波器)进行卷积来构造一组可分离的4抽头滤波器；例如，如下：[f，1-f]*[c0，c1，c2]＝[(1-f)*(c0)，f*(c0)+(1-f)*c1，f*(c1)+(1-f)*c2，f*(c2)]，其中，f为运动矢量在水平或垂直方向上的分数偏移，[c0，c1，c2]为所述高通滤波器的系数。在这种情况下，分数位置可以离散到一定精度，从而得到有限表的大小。系数的最终值可以乘以范数因子并四舍五入，使得每个偏移的系数之和等于范数因子。对于某些特定场景，零分数偏移的滤波器可以等于1(701)(零偏移不滤波)。例如，当范数因子等于64且分数偏移精度为1/32时，滤波器系数集合(700)可以是表1中所示的滤波器系数。例如，此技术可用于滤波色度分量。所述技术还可以用于小块的滤波，以便保持最坏情况的复杂度和/或存储器带宽较低。
在任何实施例中，可以在任何实现步骤处应用中间舍入或削波，以便保持固定位数作为计算操作的输入范围。例如，在滤波(例如水平滤波)的任何可分离步骤之后，可以将中间值归一化并舍入到16位精度，以便用于后续乘以下一步骤的滤波系数(例如垂直滤波)。
图5总结了上述本发明的实施例的几个方面。
图6为一个实施例提供的相应帧间预测方法600的步骤的流程图。方法600包括以下步骤：基于所述视频信号的所述当前帧和参考帧和/或基于运动补偿模型，确定(601)所述当前全整数像素的运动矢量；基于所述当前全整数像素的所述运动矢量确定(603)所述当前全整数像素在所述参考帧中的相应子整数像素；基于所述当前帧中的预定义滤波器支持像素集合生成(605)所述参考帧中的相应滤波器支持像素集合，其中所述当前帧中的所述预定义滤波器支持像素集合包括一个或多个相邻的全整数像素和/或所述当前全整数像素的子整数像素；确定(607)所述参考帧中的所述当前全整数像素的所述相应子整数像素和所述相应滤波器支持像素的各自的像素点值；和通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述相应子整数像素的所述像素点值和所述参考帧中所述相应滤波器支持像素的所述像素点值，确定(609)所述当前帧中所述当前像素的所述帧间预测像素点值。
尽管本公开的特定特征或方面可能已经仅结合几种实现方式或实施例中的一种进行公开，但此类特征或方面可以和其它实现方式或实施例中的一个或多个特征或方面相结合，只要对于任何给定或特定的应用是有需要或有利。而且，在一定程度上，术语“包括”、“有”、“具有”或这些词的其他变形在详细的说明书或权利要求书中使用，这类术语和所述术语“包含”是类似的，都是表示包括的含义。同样，术语“示例性地”、“例如”仅表示为示例，而不是最好或最优的。可以使用术语“耦合”和“连接”及其派生词。应理解，这些术语可以用于指示两个元件彼此协作或交互，而不管它们是直接物理接触还是电接触，或者它们彼此不直接接触。
尽管本文中已说明和描述特定方面，但所属领域的技术人员应理解，多种替代和/或等效实施方式可在不脱离本发明的范围的情况下所示和描述的特定方面。本申请旨在覆盖本文论述的特定方面的任何修改或变更。
尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，但是除非对权利要求的阐述另有暗示用于实现部分或所有这些元件的特定顺序，否则这些元件不必限于以所述特定顺序来实现。
通过以上启示，对于本领域的技术人员来说，许多替代、修改和变化是显而易见的。当然，本领域的技术人员容易认识到除本文所述的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特定实施例描述了本发明，但本领域的技术人员将认识到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，可以理解的是，只要是在所附权利要求书及其等效物的范围内，可以用不同于本文具体描述的方式来实践本发明。

Claims (18)

1.一种用于视频信号的当前帧的当前块的多个像素的当前全整数像素的像素点值的帧间预测的装置(144、244)，其特征在于，所述装置(144、244)包括处理单元，所述处理单元用于：
基于所述视频信号的所述当前帧和参考帧和/或运动补偿模型，确定所述当前全整数像素的运动矢量；
基于所述当前全整数像素的所述运动矢量确定所述当前全整数像素在所述参考帧中的相应子整数像素；
基于所述当前帧中的预定义滤波器支持像素集合生成所述参考帧中的相应滤波器支持像素集合，其中所述当前帧中的所述预定义滤波器支持像素集合包括一个或多个相邻的全整数像素和/或所述当前全整数像素的子整数像素；
确定所述参考帧中的所述当前全整数像素的所述相应子整数像素和所述相应滤波器支持像素的各自的像素点值；
通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述相应子整数像素的所述像素点值和所述参考帧中所述相应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测像素点值。
2.根据权利要求1所述的装置(144、244)，其特征在于，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的所述当前全整数像素的一个或多个垂直和/或水平相邻的半整数像素。
3.根据权利要求1或2所述的装置(144、244)，其特征在于，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前帧中的所述当前全整数像素的一个或多个垂直和/或水平相邻的全整数像素。
4.根据前述权利要求中任一项所述的装置(144、244)，其特征在于，所述空间高通滤波器是5抽头或3抽头滤波器。
5.根据权利要求4所述的装置(144、244)，其特征在于，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的一个或多个相邻的全整数像素和半整数像素，并且所述5抽头滤波器具有以下滤波器系数(-6，9，26，9，-6)。
6.根据权利要求4所述的装置(144、244)，其特征在于，所述当前帧中的所述预定义滤波器支持像素集合包括所述当前全整数像素的一个或多个相邻的全整数像素和半整数像素，并且其中所述5抽头滤波器具有滤波器系数(-1，0，10，0，-1)或所述3抽头滤波器具有滤波器系数(-1，10，-1)。
7.根据前述权利要求中任一项所述的装置(144、244)，其特征在于，所述装置(144、244)的所述处理单元用于基于所述参考帧中的各自的相邻全整数像素的双线性插值，确定所述参考帧中的所述当前全整数像素和所述参考帧中的所述相应滤波器支持像素的所述相应子整数像素的各自的像素点值。
8.根据前述权利要求中任一项所述的装置(144、244)，其特征在于，所述装置(144、244)的所述处理单元还用于基于所述当前全整数像素的所述运动矢量和所述当前全整数像素的相邻全整数像素的一个或多个运动矢量来确定所述当前帧中的所述滤波器支持像素的所述子整数像素中的每个子整数像素的相应运动矢量。
9.根据权利要求8所述的装置(144、244)，其特征在于，所述装置(144、244)的所述处理单元用于通过确定所述当前全整数像素的所述运动矢量和所述当前全整数像素的相邻全整数像素的一个或多个运动矢量的平均矢量来确定所述当前帧中的所述滤波器支持像素的所述子整数像素中的每一个子整数像素的相应的运动矢量。
10.根据权利要求8或9所述的装置(144、244)，其特征在于，所述装置(144、244)的所述处理单元还用于基于所述视频信号的所述当前帧和所述参考帧和/或运动补偿模型来确定所述当前全整数像素的相邻全整数像素的一个或多个运动矢量。
11.根据前述权利要求中任一项所述的装置(144、244)，其特征在于，所述装置(144、244)的所述处理单元用于：在基于非平移运动补偿模型确定所述当前全整数像素的所述运动矢量的情况下，通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述相应子整数像素的所述像素点值和所述参考帧中所述相应滤波器支持像素的所述像素点值，确定所述当前帧中所述当前像素的所述帧间预测像素点值，以及在基于平移运动补偿模型确定所述当前全整数像素的所述运动矢量的情况下，基于传统方案确定所述当前帧中所述当前像素的所述帧间预测像素点值。
12.根据权利要求11所述的装置(144、244)，其特征在于，所述非平移运动补偿模型为仿射、扭曲和/或全景运动补偿模型。
13.根据前述权利要求中任一项所述的装置(144、244)，其特征在于，所述处理单元用于构造一组可分离的4抽头滤波器，所述一组可分离的4抽头滤波器为双线性滤波器和后续高通滤波器的卷积。
14.根据前述权利要求中任一项所述的装置(144、244)，其特征在于，所述处理单元用于在滤波过程中应用中间舍入操作。
15.一种用于视频信号的当前帧的当前块的多个像素的当前全整数像素的像素点值的帧间预测的方法(600)，其特征在所述方法(600)包括：
基于所述视频信号的所述当前帧和参考帧和/或基于运动补偿模型，确定(601)所述当前全整数像素的运动矢量；
基于所述当前全整数像素的所述运动矢量确定(603)所述当前全整数像素在所述参考帧中的相应子整数像素；
基于所述当前帧中的预定义滤波器支持像素集合生成(605)所述参考帧中的相应滤波器支持像素集合，其中所述当前帧中的所述预定义滤波器支持像素集合包括一个或多个相邻的全整数像素和/或所述当前全整数像素的子整数像素；
确定(607)所述参考帧中的所述当前全整数像素的所述相应子整数像素和所述相应滤波器支持像素的各自的像素点值；以及
通过将空间高通滤波器应用于所述参考帧中所述当前全整数像素的所述相应子整数像素的所述像素点值和所述参考帧中所述相应滤波器支持像素的所述像素点值，确定(609)所述当前帧中所述当前像素的所述帧间预测像素点值。
16.一种用于编码视频信号的当前帧的编码装置(100)，其特征在于，所述编码装置(100)包括根据权利要求1至14任一项所述的帧间预测装置(144)。
17.一种用于解码压缩视频信号的当前重建帧的解码装置(200)，其特征在于，所述解码装置(200)包括根据权利要求1至14任一项所述的帧间预测装置(244)。
18.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序代码，当所述程序代码在计算机或处理器上执行时，执行权利要求15所述的方法。
CN201880067036.8A 2017-11-07 2018-03-06 一种帧间预测装置、方法、编解码装置和可读介质 Active CN111213380B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/RU2017/000830 WO2019093916A1 (en) 2017-11-07 2017-11-07 Interpolation filter for an inter prediction apparatus and method for video coding
RUPCT/RU2017/000830 2017-11-07
PCT/RU2018/000136 WO2019093922A1 (en) 2017-11-07 2018-03-06 Interpolation filter for an inter prediction apparatus and method for video coding

Publications (2)

Publication Number Publication Date
CN111213380A true CN111213380A (zh) 2020-05-29
CN111213380B CN111213380B (zh) 2022-10-28

Family

ID=60629774

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780095811.6A Active CN111201791B (zh) 2017-11-07 2017-11-07 用于视频编码的帧间预测装置和方法的插值滤波器
CN201880067036.8A Active CN111213380B (zh) 2017-11-07 2018-03-06 一种帧间预测装置、方法、编解码装置和可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780095811.6A Active CN111201791B (zh) 2017-11-07 2017-11-07 用于视频编码的帧间预测装置和方法的插值滤波器

Country Status (8)

Country Link
US (2) US11375199B2 (zh)
EP (2) EP3688987A1 (zh)
JP (2) JP7005854B2 (zh)
KR (2) KR102357142B1 (zh)
CN (2) CN111201791B (zh)
BR (2) BR112020008896A2 (zh)
SG (2) SG11202003260WA (zh)
WO (2) WO2019093916A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111201791B (zh) 2017-11-07 2022-05-24 华为技术有限公司 用于视频编码的帧间预测装置和方法的插值滤波器
BR112020019740A2 (pt) 2018-03-29 2021-02-17 Huawei Technologies Co., Ltd. aparelho e método de processamento de imagem
US11356707B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorporated Signaling filters for video processing
JP2022550545A (ja) * 2019-09-30 2022-12-02 ホアウェイ・テクノロジーズ・カンパニー・リミテッド インター予測装置用の補間フィルタおよびビデオコーディングのための方法
WO2021129627A1 (en) * 2019-12-27 2021-07-01 Zhejiang Dahua Technology Co., Ltd. Affine prediction method and related devices
CN114342390B (zh) * 2020-07-30 2022-10-28 北京达佳互联信息技术有限公司 用于仿射运动补偿的预测细化的方法和装置
CN116171576A (zh) * 2020-08-06 2023-05-26 北京达佳互联信息技术有限公司 用于仿射运动补偿预测细化的方法和装置
CN113259669B (zh) * 2021-03-25 2023-07-07 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999230A (zh) * 2008-04-10 2011-03-30 高通股份有限公司 子像素分辨率下的偏移
CN105704492A (zh) * 2010-12-10 2016-06-22 高通股份有限公司 用于内插视频译码的子像素的值的自适应支持
WO2017052408A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2017052405A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2017052409A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
WO2017086823A1 (en) * 2015-11-17 2017-05-26 Huawei Technologies Co., Ltd. Method and apparatus of adaptive filtering of samples for video coding
US20170237981A1 (en) * 2016-02-15 2017-08-17 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1274253A3 (en) 1995-08-29 2005-10-12 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
US20030222998A1 (en) * 2000-12-20 2003-12-04 Satoru Yamauchi Digital still camera system and method
US20030179827A1 (en) * 2002-03-19 2003-09-25 Kenji Sugiyama Video emphasis encoding method and apparatus, video de-emphasis decoding method and apparatus, video emphasis transmitting method and apparatus and video de-emphasis receiving method and apparatus
US7782951B2 (en) 2004-05-13 2010-08-24 Ittiam Systems (P) Ltd. Fast motion-estimation scheme
US7792192B2 (en) 2004-11-19 2010-09-07 Analog Devices, Inc. System and method for sub-pixel interpolation in motion vector estimation
US8208564B2 (en) 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
US8208553B2 (en) * 2006-05-04 2012-06-26 Altera Corporation Methods and apparatus for quarter-pel refinement in a SIMD array processor
US8509316B2 (en) 2007-01-09 2013-08-13 Core Wireless Licensing, S.a.r.l. Adaptive interpolation filters for video coding
US20090257499A1 (en) * 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8971412B2 (en) * 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US9967590B2 (en) * 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US9077971B2 (en) * 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8750378B2 (en) * 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
JP5446198B2 (ja) * 2008-10-03 2014-03-19 富士通株式会社 画像予測装置及び方法、画像符号化装置、画像復号化装置
US8542732B1 (en) 2008-12-23 2013-09-24 Elemental Technologies, Inc. Video encoder using GPU
EP2360925A1 (en) 2010-01-20 2011-08-24 Siemens Aktiengesellschaft Method for reducing noise for coding of noisy images or image sequences
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
KR101452861B1 (ko) * 2010-09-30 2014-10-27 삼성전자주식회사 평활화 보간 필터를 이용하여 영상을 보간하는 방법 및 그 장치
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
KR102427824B1 (ko) * 2010-12-08 2022-08-02 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
US20120177104A1 (en) 2011-01-12 2012-07-12 Madhukar Budagavi Reduced Complexity Adaptive Loop Filter (ALF) for Video Coding
BR122021004606B1 (pt) * 2011-06-28 2023-04-18 Samsung Electronics Co., Ltd Aparelho de decodificação de vídeo
NO335667B1 (no) 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
US9055304B2 (en) * 2011-07-01 2015-06-09 Qualcomm Incorporated Reduced resolution pixel interpolation
US9699452B2 (en) * 2011-09-15 2017-07-04 Vid Scale, Inc Systems and methods for spatial prediction
US9357235B2 (en) 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
US9445088B2 (en) 2012-04-09 2016-09-13 Qualcomm Incorporated LCU-based adaptive loop filtering for video coding
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
US11122262B2 (en) 2014-06-27 2021-09-14 Samsung Electronics Co., Ltd. System and method for motion compensation in video coding
CN104363451B (zh) * 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
FR3044449B1 (fr) 2015-12-01 2017-11-24 E2V Semiconductors Procede de traitement de signaux issus d'une matrice de prise d'images en couleur, et capteur correspondant
WO2017123487A1 (en) * 2016-01-15 2017-07-20 Vid Scale, Inc. System and method for enhanced motion compensation using adaptive filtering
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
CN111201791B (zh) 2017-11-07 2022-05-24 华为技术有限公司 用于视频编码的帧间预测装置和方法的插值滤波器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999230A (zh) * 2008-04-10 2011-03-30 高通股份有限公司 子像素分辨率下的偏移
CN105704492A (zh) * 2010-12-10 2016-06-22 高通股份有限公司 用于内插视频译码的子像素的值的自适应支持
WO2017052408A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2017052405A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2017052409A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
WO2017086823A1 (en) * 2015-11-17 2017-05-26 Huawei Technologies Co., Ltd. Method and apparatus of adaptive filtering of samples for video coding
US20170237981A1 (en) * 2016-02-15 2017-08-17 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding

Also Published As

Publication number Publication date
JP6989699B2 (ja) 2022-01-05
JP2021502013A (ja) 2021-01-21
BR112020008896A2 (pt) 2020-10-20
BR112020009019A2 (pt) 2020-12-01
SG11202003260WA (en) 2020-05-28
US11297324B2 (en) 2022-04-05
KR20200055139A (ko) 2020-05-20
CN111201791A (zh) 2020-05-26
US20200267407A1 (en) 2020-08-20
SG11202003298YA (en) 2020-05-28
KR102359415B1 (ko) 2022-02-08
JP7005854B2 (ja) 2022-01-24
WO2019093916A1 (en) 2019-05-16
WO2019093922A1 (en) 2019-05-16
JP2021502031A (ja) 2021-01-21
CN111201791B (zh) 2022-05-24
KR102357142B1 (ko) 2022-02-08
CN111213380B (zh) 2022-10-28
KR20200057088A (ko) 2020-05-25
EP3688988A1 (en) 2020-08-05
US20200244965A1 (en) 2020-07-30
EP3688987A1 (en) 2020-08-05
US11375199B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
CN111213380B (zh) 一种帧间预测装置、方法、编解码装置和可读介质
RU2696311C1 (ru) Устройство и способ для компенсации движения видео с выбираемым интерполяционным фильтром
US11228780B2 (en) Inter prediction apparatus and method for video coding
US11202082B2 (en) Image processing apparatus and method
CN116506610B (zh) 对视频信号编码的方法、计算设备、存储介质、程序产品
CN114503559B (zh) 用于视频译码中的帧间预测装置和方法的插值滤波器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant