CN100452668C - 用于在视频编码中选择插值滤波器类型的方法和*** - Google Patents

用于在视频编码中选择插值滤波器类型的方法和*** Download PDF

Info

Publication number
CN100452668C
CN100452668C CNB038161575A CN03816157A CN100452668C CN 100452668 C CN100452668 C CN 100452668C CN B038161575 A CNB038161575 A CN B038161575A CN 03816157 A CN03816157 A CN 03816157A CN 100452668 C CN100452668 C CN 100452668C
Authority
CN
China
Prior art keywords
interpolation filter
prediction
compensated prediction
type
motion compensated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB038161575A
Other languages
English (en)
Other versions
CN1666429A (zh
Inventor
A·哈拉普罗
J·莱恩马
M·卡策维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1666429A publication Critical patent/CN1666429A/zh
Application granted granted Critical
Publication of CN100452668C publication Critical patent/CN100452668C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种根据运动补偿预测来编码视频序列的方法和***，其中，插值滤波器被用来为视频序列中的图片块产生预测像素值。与结合单图片类型使用的插值滤波器相比，结合多图片类型使用的插值滤波器更短或者具有更少的系数。因此，可以降低多图片类型的插值滤波器的复杂度。而且，可以根据块的特征，块的大小和/或形状改变插值滤波器。

Description

用于在视频编码中选择插值滤波器类型的方法和***
发明领域
本发明总体上涉及图像编码，尤其涉及用于压缩数字图像序列的***。
发明背景
典型的视频编解码器建立在运动补偿预测和预测误差编码基础之上。通过分析和编码视频帧之间的运动，并使用运动信息重构图像片段而获得运动补偿预测。利用预测误差编码来对运动补偿图像片段与在原始图像中的对应片段之间的差进行编码。可以根据所编码视频的可用带宽和所要求的质量来调整预测误差编码的精确度。在一个典型的基于离散余弦变换(DCT)的***中，这通过将量化器参数(QP)变为规定的精确度来进行，所述的量化器参数是量化DCT系数时所用的参数。
编码***通常提供一组参数来表示已编码信号。将这些参数熵编码并发送到解码器，用于对已编码信号的解码和重构。为了改进熵编码器的压缩性能，该参数通常从编码器和解码器都能得到的信息中预测。通过这样做，熵编码器只需对实际参数值和预测参值值之间的小的变化差(variance differences)进行编码，从而带来了编码增益。
数字图像常常由等间隔样本来表示，这些等间隔样本如下所示地以N×M阵列的形式排列，其中阵列的每个元素都是一个离散量。该阵列的元素F(x，y)被称为图象元素，图片元素，像素或象素。坐标(x，y)代表像素在图像中的位置，并且只对x，y的整数值给出了像素值F(x，y)。
Figure C0381615700061
典型的视频编码器采用三种类型的图片：内部图片(I图片)，预测图片(P图片)和双向预测或双预测图片(B图片)。图1a示出了一个典型的由I图片和P图片组成的视频序列的例子。I图片中的块不依赖于任何的参考图片，在这种意义上，I图片可以独立地被解码。P图片可依赖于可得到的参考图片，以便P图片中的块可以是I块，或者是依赖于一个参考图片的P块。图1b示出了一个典型的由I图片、B图片和P图片组成的视频序列的例子。B图片可依赖于时间上在前或在后的图片。P图片中的块可以是I块，P块或者是依赖于两个参考图片的B块。
P图片利用在视频序列的连续帧之间的时间冗余。当原始视频序列的图片被编码成P图片时，它被划分成矩形区域(块)，并从以前编码并发射的叫作参考图片的帧Fref之一中预测。块的预测信息由二维运动矢量(Δx，Δy)来表示，其中Δx为水平位移量，而Δy为垂直位移量。在运动补偿期间，运动矢量连同参考图片一起被用来重构预测图片Fpred中的样本：
Fpred(x，y)＝Fref(x+Δx，y+Δy)
在运动估计处理期间找出运动矢量。预测误差，即原始图片和预测图片Fpred之间的差，通过将它的值表示成离散变换的一组加权基本函数来对其进行压缩。变换一般是在8×8或4×4块的基础上进行的。作为变换系数的加权随后被量化。由于量化系数比原始系数具有更低的精确度，所以量化引入了信息损耗。
量化变换系数连同运动矢量和某些控制信息，形成了完整的编码的P图片表示。这些不同形式的信息总称为语法(syntax)元素。在从编码器传输到解码器之前，所有的语法(syntax)元素被熵编码，这进一步减少了表示它们所需的比特数目。熵编码为低损耗(loss-less)的运算，目标在于通过利用它们的分布特性(某些码元比其它码元出现得更加频繁)，来最小化要求用来表示发射的或存储码元的比特数。
在解码器中，通过首先以与在编码器中相同的方式构成预测图片，并通过将压缩的预测误差添加到预测图片来获得P图片。所述压缩的预测误差通过使用量化变换***来加权变换基本函数而得出。重构图片Frec和原始图片之间的差称为重构误差。
由于运动矢量(Δx，Δy)可以具有非整数值，运动补偿预测要求在非整数位置(x`，y`)＝(x+Δx，y+Δy)评估参考图片Fref的图片值。在非整数位置的图片值称为亚像素(sub-pixel)值，并且确定该值的方法叫做插值(interpolation)。亚像素值F(x，y)的计算通过对周围像素滤波来进行：
F ( x ` , y ` ) = Σ k = - K + 1 K Σ l = - L + 1 L f ( k , l ) F ( n + k , m + l )
其中f(k，l)是滤波器系数，并且通过分别对x`，y`截尾为整数值而得到n和m。滤波器系数一般依x`，y`值而定。所用的插值滤波器通常是可分离的，在此情况下，可以如下计算亚像素值F(x`，y`)：
F ( x ` , y ` ) = Σ k = - K + 1 K f ( k ) Σ l = - L + 1 L f ( k , l ) F ( n + k , m + l )
在B图片的情况下，可能从两个不同的参考图片来预测一个块。对于每个块存在两组运动矢量(Δx1，Δy1)和(Δx2，Δy2)，一个用于所使用的每个参考图片。预测是来自两个图片的像素值的组合。典型地，对两个参考图片的像素值取平均：
Fpred(x，y)＝(F1(x+Δx1，y+Δy1)+F2(x+Δx2，y+Δy2))/2
通过对相邻的像素值施加滤波器来执行在非整数位置***像素。通常，高阶滤波器产生更好的结果。当使用多图片预测时(比如在B图片中)，必须对每个图片(像素从该图片取出)执行***。因此，从两个参考图片的预测与只从一个图片预测相比，要求双倍次数的***。因此，多图片预测的复杂度明显高于单个图片预测的复杂度。
在本发明的图像编码***中，用于运动补偿的所有运动信息与在现有的诸如H.263和H.264之类视频编码标准中规定的相似。例如，根据T.Wiegand在“Joint Committee Draft(CD)of Joint VideoSpecification(ITU-T.rec.H.264 ISO/IEC14496-10AVC”，Doc.VT-C167，Joint Video Team(JVT)of ISO/IEC MPEG and ITU-T VCEG(2002年5月)文献中提出的H.264视频编码标准的草案，用带有系数(1，-5，20，20，-5，1)/32的6抽头插值滤波器和一个双线性滤波器的组合对所有的P块进行预测。现结合图2来描述该滤波方案。在图中，标上“A”的位置表示整数位置的参考图片样本。其它符号表示在分数样本位置的***值。
根据H.264视频编码标准，对图片的亮度分量和色度分量都可以运用亚像素值***。然而，为了简化，在此只描述在亮度分量中的亚像素值***。根据运动补偿处理的复杂度和分辨率要求，在亮度分量中的亚像素值***可以1/4样本分辨率或者1/8分辨率执行。另外，为了简化，下面只描述1/4样本***，但是应当理解，亚像素值***处理的精确细节以及***的分辨率不影响根据本发明的方法的适用性。
根据按H.264定义的1/4样本分辨率亚像素值***方法，在1/4样本位置的预测值由在整数和1/2样本位置的样本取平均而生成。对每个位置的处理在下面参照图2来描述。
通过将6抽头滤波器(上面所述)应用于水平方向最接近的整数位置中的样本“A”来首先计算一个中间值b，而获得标上“bh”的在1/2样本位置的样本。“bh”的最终值根据下式来计算：
bh＝clip1((b+16)＞＞5)
其中x＞＞n表示x的二进制补码整数表示被算术右移n个二进制位，而数学函数“clip1”如下定义：
clip1(c)＝clip3(0，255，c)
clip3(a，b，c)＝a如果c＜a
              ＝b如果c＞b，或者
              ＝c其它
标注“bv”的在1/2样本位置的样本通过应用于垂直方向的滤波器而同样地获得。
标注“cm”的在1/2样本位置的样本通过将6抽头滤波器在垂直或水平方向施加到最接近1/2样本位置的中间值b以形成中间结果c而获得。使用下列关系式来计算最终值：
cm＝clip1((c+512)＞＞10)
标注“d”，“g”，“e”和“f”的在1/4样本位置的样本，通过如下对在整数或者在1/2样本位置的两个最接近的样本取平均并截尾来获得：
d＝(A+bh)＞＞1
g＝(bv+c)＞＞1
e＝(A+bv)＞＞1
f＝(bh+cm)＞＞1
标注“h”的在1/4样本位置的样本，通过在对角线方向对最接近的样本“bh”和“bv”使用如下关系式取平均并截尾从而获得：
h＝(bh+bv)＞＞1
标注“i”的在1/4样本位置的样本使用在整数位置的四个最靠近的样本并使用如下关系式计算：
i＝(A1+A2+A3+A4+2)＞＞2
在现有的视频编码标准，诸如MEPG-1，MPEG-2，MPEG-3，H.263和H.264之中，运用相同的插值滤波器而不管预测的类型。已经发现这样运用插值滤波器并不总是有效的。因此提供一种降低了图片预测的复杂度的数字图像编码方法和***是有利的并且是合乎需要的。
发明概述
根据本发明的第一个方面，提供了一种编码视频序列的方法，视频序列包括多个图片，其中视频序列的图片被划分成多个块，并且所述图片的块使用多种不同类型的运动补偿预测之一来编码，至少包括单图片预测类型和多图片预测类型，单图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中的单个参考图片像素值上操作，而多图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中多于一个参考图片的像素值上操作。该方法的特征在于用来为块产生预测像素值的插值滤波器的复杂度依所述块的特征而定。
插值滤波器的复杂度依编码该块所用的运动补偿预测类型而定。
通过改变滤波器的类型来改变插值滤波器的复杂度。
当使用所述的多图片预测类型来为块生成预测像素值时，降低了插值滤波器的复杂度。
当通过使用较短的滤波器而使用所述的多图片预测类型，或者通过使用具有较少系数的滤波器而使用所述的多图片预测类型时，降低了插值滤波器的复杂度。
可根据块的大小或者块的形状来改变插值滤波器的复杂度。
优选的，在多余一个参考图片像素值上操作的插值滤波器比运行在单个参考图片像素值的插值滤波器短。
有利的，在多余一个参考图片像素值上操作的插值滤波器包括4抽头滤波器，而在单个参考图片像素值上操作的插值滤波器包括6抽头滤波器。
有利的，在多余一个参考图片像素值上操作的插值滤波器依在计算亚像素值时的分数像素位置而定。
有利的，所述方法还包括定义一组滤波器来结合特定的预测类型来使用，并提供用于块运动补偿预测的所述组中的特定的一个插值滤波器的指示。
根据本发明的第二个方面，提供一种编码视频序列的编码***，该视频序列包括多个图片，其中视频序列的图片被划分成多个块，并且所述图片的块使用多种不同类型的运动补偿预测之一来编码，包括至少一个单图片预测类型和一个多图片预测类型，单图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中的单个参考图片像素值上操作，而多图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中多于一个参考图片的像素值上操作，该***包括：
选择装置，用来选择用于块的运动补偿预测编码的预测类型；和
改变装置，用来基于选定的预测类型改变插值滤波器。
所述的改变装置还根据块的特征，块的大小，或者块的形状来改变插值滤波器。
根据本发明的第三个方面，提供一种用于视频编码***的运动补偿预测方法，在该***中视频序列包括多个图片，其中视频序列的图片被划分成多个块，并且所述图片的块使用多种不同类型的运动补偿预测之一来编码，包括至少一个单图片预测类型和一个多图片预测类型，单图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中的单个参考图片像素值上操作，而多图片预测类型通过使用插值滤波器利用运动补偿来为块生成预测像素值，该插值滤波器在所述视频序列中多于一个参考图片的像素值上操作。该方法包括：
确定运动补偿的类型；以及
根据确定的运动补偿的类型来改变插值滤波器。
根据本发明的第四方面，提供一种运动补偿预测的方法，其中在图片块的运动补偿预测期间所使用的插值滤波器依所使用的运动补偿预测的类型而定。
所述的方法能够在视频编码器或者在视频解码器中实现。
如果所使用的运动补偿预测类型为多图片预测类型，即使用多于一个参考图片来形成对图片块的预测，所选择的插值滤波器与在所使用的运动补偿预测类型预测为单图片预测类型时相比，具有更少的系数，所述单图片预测是使用单个参考图片来形成对图片块的预测。
根据图片块的特征，图片块的大小，或者图片块的形状来选择插值滤波器。
根据本发明的第五个方面，提供一种用来执行运动补偿预测的设备，包括用来选择插值滤波器的装置，该插值滤波器是在图片块的运动补偿期间依所使用的运动补偿预测类型而确定使用的插值滤波器。
所述设备能够在视频编码器中或者在视频解码器中实现。
如果所使用的运动补偿预测类型为多图片预测类型，其中使用多于一个参考图片来形成对图片块的预测，所述用来选择插值滤波器的选择装置可操作地选择与在所使用的运动补偿预测类型预测为单图片预测类型时相比，具有更少的系数的插值滤波器，单图片预测是使用单个参考图片来形成对图片块的预测。
用于选择插值滤波器的选择装置可操作地根据图片块的特征来选择插值滤波器。
用于选择插值滤波器的选择装置可操作地根据图片块的大小来选择插值滤波器。
根据本发明的第六个方面，提供一种视频编码器，其包括用来执行运动补偿的设备，其中所述用来执行运动补偿的设备包括选择装置，其用来根据所使用的运动补偿预测的类型，选择在图片块运动补偿预测期间所使用的插值滤波器。
根据本发明的第七个方面，提供一种视频解码器，其包括用来执行运动补偿的设备，其中所述用来执行运动补偿的设备包括选择装置，其用于根据所使用的运动补偿预测的类型，选择在图片块运动补偿预测期间所使用的插值滤波器。
在本发明的一个优选实施例中，不同的运动插值滤波器用于不同的预测类型。滤波器类型根据块预测的类型以块的级别(level)改变。
更具体地，当使用多图片预测时，本发明使用较短的滤波器。这种方法明显地降低了运动***处理所要求的复杂度。同时，当恬当地选择较短的滤波器时，由于两个预测的加权所提供的附加滤波的效果，所以对***质量的影响是可忽略的。
通过阅读结合附图3-8所做的描述，本发明将变得明显。
附图简述
图1a为图解从以前的图片数据中预测的P图片中的两个P块的示意性表示。
图1b为图解从两个参考图片中预测的B图片中的两个B块的示意性表示。
图2为根据现有技术对1/4样本亮度***图解整数样本和分数样本位置的示意性表示。
图3为图解在水平方向的亚像素值***的示意性表示。
图4为图解在垂直方向的亚像素值***的示意性表示。
图5为图解通过在水平方向和垂直方向插值来构成亚像素值两维阵列的处理过程的示意性表示。
图6为图解根据本发明的滤波器选择的流程图。
图7为图解根据本发明优选实施例的视频编码器的框图，其中插值滤波器按照运动补偿预测的类型来选择。
图8为图解根据本发明优选实施例的视频解码器的框图，其中插值滤波器按照运动补偿预测的类型来选择。
发明详述
根据本发明的优选实施例，为了降低插值的复杂度，对双向预测B块使用更短的插值滤波器。例如，在特定的实施例中，下列4抽头滤波器用来获得位于不同分数像素位置的亚像素的值：
0/4：(0，16，0，0)/16
1/4：(-2，14，5，-1)/16
2/4：(-2，10，10，-2)/16
3/4：(-1，5，14，-2)/16
现在将参照图3和图4详细描述上面在计算亚像素值时定义的插值滤波器的使用。两个图都示出了表示在其中执行插值的图像块的一部分的像素的一个小的阵列。图3图解了在水平方向使用以前定义的插值滤波器，而图4图解了滤波器在垂直方向的运用。遵循在图2中引入的惯例，在两个图中，位于整数像素位置并***值滤波器使用的像素值由符号“A“表示。另外，为每个像素提供了数字下标(即(A1，A2，A3，A4)，表示了插值滤波器系数，特定的像素值将与之相乘。在图3中，将***包括像素A1，A2，A3，A4的水平行的亚像素值分别由x1/4，x2/4，x3/4表示。相似地，在图4中，将***包括像素A1，A2，A3和A4的垂直列的亚像素值分别由y1/4，y2/4，y3/4表示。
现在详细地考虑图3，通过应用插值滤波器(1/4)(如上所定义的)到像素值A1，A2，A3，A4来计算亚像素值x1/4。因此x1/4由下式给出：
x1/4＝((-2·A1)+(14·A2)+(5·A3)+(-1·A4))/16
亚像素值x2/4以类似的方式通过将插值滤波器(2/4)应用于像素值A1，A2，A3，A4来计算，并且相似地，通过运用插值滤波器(3/4)来计算亚像素值x3/4，如下所示：
x2/4＝((-2·A1)+(10·A2)+(10·A3)+(-2·A4))/16
x3/4＝((-1·A1)+(5·A2)+(14·A3)+(-2·A4))/16
现在参照图4，在垂直方向的亚像素值***以与结合水平方向插值来描述的完全相同的方式来执行。因此，如图4中所定义的，分别使用运用到整数位置像素值A1，A2，A3，A4的插值滤波器(1/4)，(2/4)和(3/4)来计算亚像素值y1/4，y2/4，y3/4。更具体地，则为：
y1/4＝((-2·A1)+(14·A2)+(5·A3)+(-1·A4))/16
y2/4＝((-2·A1)+(10·A2)+(10·A3)+(-2·A4))/16
y3/4＝((-1·A1)+(5·A2)+(14·A3)+(-2·A4))/16
为了完整，插值滤波器(0/4)包括在插值滤波器组中，并且纯粹是象征性的，因为它表示了与在整数位置的像素一致的亚像素值的计算，并且具有与整数位置的像素相同的值。经验性地选择其它4抽头插值滤波器(1/4)，(2/4)和(3/4)的系数，以便提供最佳的可能的主观(subjective)亚像素值***。首先在水平方向***亚像素值行(图5中所示的步骤1和步骤2)，然后在垂直方向一列一列地***(图5中的步骤3)，可以获得在整数位置像素之间的每个亚像素位置的值。
图6为图解根据本发明的优选实施例的亚像素值预测方法的流程图。如图6的流程600所示，当根据本发明的优选实施例实现的视频编码器接收视频图片的一个块来编码时(步骤610)，所述视频编码器在步骤620确定用来编码块的预测类型。如果编码器确定该快要被编码为I块，即不使用运动补偿预测，所述块被编码成INTRA格式(步骤630)。
如果该块要被编码为P块，使用关于单个参考图片(即，在视频序列中先前编码的图片)的运动补偿预测对其编码。视频编码器选择第一插值滤波器，该插值滤波器将用于计算在运动补偿处理过程中所要求的任何亚像素值(步骤640)，然后使用参考图片来形成对块的预测，如所要求的使用选择的(第一)插值滤波器来计算任何亚像素值(步骤S642)。如果视频编码器根据ITU-T视频编码建议H.264来实现，例如，有利地，为P块确定亚像素值的处理过程与H.264标准中提议的处理过程是一致的。
如果所述块要使用从两个参考图片的双向预测被编码成B块，视频编码器选择与第一滤波器不同的第二插值滤波器，在计算亚像素值时使用(步骤650)。在本发明的优选实施例中，第二滤波器具有比第一滤波器长度(系数的数目)小的长度(系数的数目)。当编码双向预测B块时，视频编码器为该块形成两个独立的预测，一个来自每个参考图片(步骤652和654)，并使用第二插值滤波器来按要求计算亚像素值。之后形成两个预测的平均值并用该平均值来作为对块的最终预测(步骤656)。由于第二插值滤波器的系数个数要比第一插值滤波器系数数目少，使用第二插值滤波器来在双向B块预测中生成亚像素值，与使用第一插值滤波器相比，这明显地降低了插值处理的复杂度。更具体地，在这样的情况下，例如第一插值滤波器为6抽头滤波器(即，它具有6个系数)并且第二插值滤波器为4抽头滤波器(4个系数)，双向B块插值包括在4×4阵列像素(所形成的每个预测一个)上的两个滤波操作而不是在6×6像素阵列上执行的两个滤波操作。由于两个4×4滤波操作代替6×6滤波操作，B图片编码的复杂度明显地减少，同时仅仅最低程度地影响了插值精度。
图7为示出根据本发明能够执行选择插值滤波器类型的视频编码器框图。如图所示，编码器700包括形成框710，减法器714，控制框720，预测类型选择框730，插值滤波器选择框750和预测框740。
形成框720接收包括将被编码的视频图片序列的视频输入信号，并将每个收到的图片划分成块，每个块具有预定的大小和形状。
控制框720可操作地为每个块确定最佳的预测类型。虽然预测类型的选择可以多种不同的方式执行，根据本发明的实施例，安排控制框720来依次检查每个可用的预测类型，并基于一种量度做出关于为特定块所选择的预测类型的判决，所述的量度既考虑了使用给定的预测类型而引起的图像失真的程度，又考虑了使用该预测类型编码该块所需的信息量。这种量度统称为“成本函数”。在本发明的替换实施例中可以使用其它等效的量度。
在于此考虑的本发明实施例中，可用的预测类型是(a)无预测，在此情况下，图像块编码成INTRA格式；(b)P块预测，其中对块的预测使用单个参考帧形成；和(c)B块预测，在此情况下，使用从两个参考帧的双向预测。控制框720进而通过指示预测类型选择框730将编码器设置成特定的编码模式(I块，P块，或B块)，从而选择每个预测类型。控制框720计算使用每个预测类型得出的成本函数值，并按照得出最低成本函数的编码模式(I，P或者B)选出所选的块预测类型以及相关的用于块预测的插值滤波器类型。
下面将更详细地描述特定块的各种预测的形成，以及选定的预测类型的选择。在于此描述的本发明的实施例中，其中有三种可用的预测类型，控制框720首先指示预测类型选择框730将视频编码器设置成P块编码模式，其中使用单个的参考帧形成对块的预测。在P块预测处理期间，预测类型选择框730进而指示插值滤波器选择框750选择插值滤波器来计算亚像素值。接着使用选择的预测类型和插值滤波器在预测框740中形成对块的预测。接下来，在减法器714中形成预测误差的量度。这通过比较刚形成的对块的预测与从形成框710输入的所述块的图像数据来做出。控制框720接收来自减法器714的预测误差的量度，并计算使用当前选择的预测类型(P块预测)而得出的成本函数值。如前面所说明的，成本函数考虑预测误差的大小以及表示块预测和预测误差所需数据的量(实际上是在相应的视频解码器中发射重构块所必需的信息所要求的数据量)。控制框720接着将成本函数值存储在视频编码器的存储器中(图7中未示出)。
控制框720接下来指示预测类型选择框730将视频编码器设置成B块编码模式。在该模式中，对块的预测通过使用从两个参考帧的双向预测而形成。预测类型选择框730指示插值滤波器选择框750选择一个插值滤波器，以在B块预测处理过程中使用，并且预测框740使用选择的预测类型和插值滤波器形成对块的预测。有利的是，根据本发明，在B块编码模式中选择的插值滤波器不同于为在P块预测中使用而选择的插值滤波器。更具体地，为B块预测所选择的插值滤波器与用于P块预测的插值滤波器相比具有更少的系数。一旦在预测框740中作出了对块的预测，则预测误差由减法器714形成并传递到控制框720，对应的成本函数值在此计算并且存储在视频编码器的存储器中。
最后，控制框720指示预测类型选择框730将视频编码器设置成I块(INTRA)编码模式。在此模式中，不使用任何预测，从而不需要任何插值滤波器。预测类型选择框730适当地指示插值滤波器选择框750，并且视频编码器对INTRA格式的块进行编码。然后控制框720计算相应的成本函数值并将其存储在视频编码器的存储器中。
控制框720在此检查存储在存储器中的三个成本函数值，并根据得出最小成本函数值的预测类型为所述块选择一个选定的编码模式。基于该选择，控制框720输出选定的预测类型。在本发明的优选实施例中，不必提供选定的插值滤波器的指示，因为这是由预测类型的选择明确地确定的。换言之，当接收表示特定块的已编码信息时，根据本发明实现的视频解码器能够解码并确定块的预测类型，并从而直接推断在运动补偿期间在所述的解码器使用的插值。在本发明的替换实施例中，所要使用的插值滤波器的特定指示可由控制框720提供并包括在表示所述块的已编码信息中。
图8示出了根据本发明的优选实施例实现的视频编码器800的图。从图中可以看出，解码器包括一个解复用框810，预测误差解码框，运动补偿预测框830，插值滤波器选择框840，控制框850，加法器860和视频输出870。解码器被安排来接收并解码由前述的视频编码器700产生的已编码视频比特流。
特别地，已编码比特流包括与所述的已编码块有关的已编码运动信息，预测误差信息和控制信息。已编码视频比特流由解复用器810接收并被分成它的组成部分。解复用器810从比特流中提取与运动补偿预测的类型有关的控制信息，并将它传递到控制框850，所述的运动补偿预测的类型在编码器中用来编码给定块。与所述块有关的任何运动信息被传递到运动补偿预测框830，并且相关联的预测误差信息被转发到预测误差解码框820。
如果控制框850在控制信息的基础上确定所讨论的块被编码成I块，即没有使用运动补偿预测，那么它将视频解码器800切换到INTRA解码模式，从而然后解码该块。另一方面，如果控制信息指示所述块编码为P块或者双向B块，则控制框850指示插值滤波器选择框840选择适于运动补偿预测类型的插值滤波器，接着使运动补偿预测框830使用相应运动信息来解码所述的块，所述的运动信息是由解复用器810从视频比特流中提取出来的。在解码所述块期间，运动补偿预测框830使用一个或多个参考帧(在P块的情况下是一个，在双向B块的情况下是两个)为块形成一个预测(预测的像素值)，使用选定的插值滤波器如所要求的构成亚像素值。对块的预测像素值接着被传递到加法器860，其在此与由预测误差解码框820形成的解码的预测误差信息组合，以形成像素值的完整重构块。之后其经由视频输出870输出以便显示或者存储。
实现的替换方案
本发明可以各种方式实现：
可以选择不同的插值滤波器来代替上述的滤波器，即可以使用不同长度和/或滤波器系数值。
除了块的预测模式之外，插值滤波器还依块的其它特征(即，大小，形状或亮度信息)而定。例如，在本发明的一个替换实施例中，6抽头的滤波器用于具有8×8维像素的块，4抽头的滤波器用于具有4×4维像素的块。在另一个替换实施例中，用矩形的块而不用正方形的块，(比如，在水平维(dimension)8个像素，垂直维(dimension)4个像素)较长的滤波器用于水平维的亚像素值***(比如6抽头滤波器)，而较短的滤波器用于垂直维的亚像素值***(比如4抽头滤波器)。在另一个替换实施例中，不同的插值滤波器可用于图像信息的亮度和色度分量。人的视觉***对图像的亮度和色度分量有不同的灵敏度(对于色度信息中的空间变化比较不敏感)，从而在某种情况下使用不同类型的插值滤波器在亮度和色度分量上操作也是恬当的。
块的块模式或其它特征没有明确地限定滤波器，但是该信息可以用来定义滤波器组，并且最合适的滤波器可由其它装置(比如通过发送选择信息)来识别。如上结合根据本发明优选实施例的编码器描述所提到的，在为每个可用的预测类型提供一个插值滤波器的情况下，特定预测类型的选择暗示了使用给定的插值滤波器。然而，在本发明的其它实施例中，其中为每个预测类型定义了多于一个插值滤波器，关于插值滤波器的选择的信息在已编码的视频比特流中提供，并且被发送到相应的解码器，以便使所述编码器能够选择正确的插值滤波器来用于在解码器中的运动补偿预测。
本发明可以运用在任意数目的参考帧上，所述参考帧是在预测图片块时所使用的参考帧。应当指出，在理论上，对能够使用的参考帧的数目基本上没有限制。明显地，应当存在某些实际/合理的限制。
本发明可以应用于在图片块预测中使用的两个或多个参考帧的组合。
因此，虽然已经针对其优选实施例对本发明进行了描述，但本领域的普通技术人员应当理解，可以做出其前述的以及其它形式上的以及细节上的各种改变、删减和偏差而不脱离本发明的精神和范围。

Claims (26)

1、一种编码视频序列的图片的方法，该图片被划分成多个块，该方法包括：
为当前块确定一种运动补偿预测类型，该运动补偿预测类型指示预测是从一个参考块导出，还是从多于一个参考块导出；
定义一组插值滤波器以结合运动补偿预测类型来使用；
从由所述的运动补偿预测类型所确定的组中选择插值滤波器，其中，用于多于一个参考块预测类型的插值滤波器比用于一个参考块预测类型的插值滤波器具有更少系数；
在编码比特流中提供所选择的插值滤波器的指示；以及
根据所选的插值滤波器所生成的一个或多个参考块，为当前块导出预测块。
2、根据权利要求1的方法，其中，插值滤波器的选择进一步依运动补偿预测块的大小而定。
3、根据权利要求1的方法，其中，插值滤波器的选择进一步依运动补偿预测块的形状而定。
4、根据权利要求1的方法，其中，用于从多于一个参考块导出的运动补偿预测的插值滤波器比用于从一个参考块导出的运动补偿预测的插值滤波器短。
5、根据权利要求1的方法，其中，在多于一个参考块的像素值上操作的插值滤波器的选择进一步依在计算亚像素值时的分数像素位置而定。
6.根据权利要求1的方法，该方法还包括：
为所述的当前块检查每个可用的运动补偿预测类型；而且，
基于一个量度选择一个运动补偿预测类型，该量度考虑到由给定的预测类型引起的图像失真，并考虑到使用该预测类型来编码该块所需的信息量。
7.根据权利要求6的方法，该方法还包括：
在一个编码比特流中提供所选的运动补偿预测类型的一个指示。
8.根据权利要求1的方法，该方法还包括：
在一个编码比特流中提供所述确定的运动补偿预测类型的一个指示。
9、一种用于编码视频序列的图片的编码器，该图片被划分成多个块，所述的编码器包括：
控制器，被配置为用来确定针对当前块的一种运动补偿预测类型，所述的运动补偿预测类型指示预测是从一个参考块导出还是从多于一个参考块导出；
插值滤波器选择器，被配置为用于定义一组插值滤波器以结合运动补偿预测类型来使用，以及从由所述的运动补偿预测类型所确定的组中选择插值滤波器，其中，用于多于一个参考块预测类型的插值滤波器比用于一个参考块预测类型的插值滤波器具有更少系数；以及
预测器，适于根据所选择的插值滤波器所产生的一个或多个参考块，而导出当前块的预测块，其中该编码器被进一步配置为用于在编码比特流中提供所选的插值滤波器的指示。
10、根据权利要求9的编码器，其中，所述插值滤波器还基于运动补偿预测块的大小来选择。
11、根据权利要求9的编码器，其中，所述插值滤波器还基于运动补偿预测块的形状来选择。
12、根据权利要求9的编码器，其中，用于从多于一个参考块导出的运动补偿预测的插值滤波器比用于从一个参考块导出的运动补偿预测的插值滤波器短。
13、根据权利要求9的编码器，其中，在多于一个参考块的像素值上操作的插值滤波器的选择进一步依在计算亚像素值时的分数像素位置而定。
14.根据权利要求9的编码器，其中所述控制器还被配置，使其用于为所述的当前块检查每个可用的运动补偿预测类型；而且，基于一个量度选择一个运动补偿预测类型，该量度考虑到由给定的预测类型引起的图像失真，并考虑到使用该预测类型来编码该块所需的信息量。
15、根据权利要求14的编码器，其中所述编码器还被配置为用于在一个编码比特流中提供所选择的运动补偿预测类型的一个指示。
16.根据权利要求9的编码器，其中，该编码器还被配置为用于在一个编码比特流中提供所述确定的运动补偿预测类型的一个指示。
17.一种解码编码比特流的方法，该编码比特流包括视频序列中图片的一个编码表示，该图片被划分成多个块，所述方法包括：
从比特流中检索指示用于当前块的运动补偿预测的第一指示；
为当前块确定一种运动补偿预测类型，该运动补偿预测类型指示预测是从一个参考块导出，还是从多于一个参考块导出；
定义一组插值滤波器以结合每个运动补偿预测类型来使用；
在编码比特流中检索指示插值滤波器的第二指示；以及
根据检索的第二指示从插值滤波器组中选择插值滤波器，其中，用于多于一个参考块预测类型的插值滤波器比用于一个参考块预测类型的插值滤波器具有更少系数；而且，
根据所选的插值滤波器所生成的一个或多个参考块，为当前块导出预测块。
18、根据权利要求17的方法，其中，插值滤波器的选择进一步依运动补偿预测块的大小而定。
19、根据权利要求17的方法，其中，插值滤波器的选择进一步依运动补偿预测块的形状而定。
20、根据权利要求17的方法，其中，用于从多于一个参考块导出的运动补偿预测的插值滤波器比用于从一个参考块导出的运动补偿预测的插值滤波器短。
21、根据权利要求17的方法，其中，在多于一个参考块的像素值上操作的插值滤波器的选择进一步依在计算亚像素值时的分数像素位置而定。
22.一种解码编码比特流的视频解码器，该编码比特流包括视频序列中图片的一个编码表示，该图片被划分成多个块，所述解码器包括：
解复用器，配置用于：
从比特流中检索指示用于当前块的运动补偿预测的第一指示；以及指示插值滤波器的第二指示，其中视频解码器配置用于为当前块确定一种运动补偿预测类型，该运动补偿预测类型指示预测是从一个参考块导出，还是从多于一个参考块导出；
插值滤波器选择器，配置用于：
定义一组插值滤波器以结合每个运动补偿预测类型来使用，以及
根据检索的第二指示从插值滤波器组中选择插值滤波器，其中，用于多于一个参考块预测类型的插值滤波器比用于一个参考块预测类型的插值滤波器具有更少系数；而且，
运动补偿预测器，用于根据所选的插值滤波器所生成的一个或多个参考块，为当前块导出预测块。
23.根据权利要求22的视频解码器，其中，插值滤波器的选择进一步依运动补偿预测块的大小而定。
24.根据权利要求22的视频解码器，其中，插值滤波器的选择进一步依运动补偿预测块的形状而定。
25、根据权利要求22的视频解码器，其中，用于来自多于一个参考块的运动补偿预测的插值滤波器比用于来自一个参考块的运动补偿预测的插值滤波器短。
26.根据权利要求22的视频解码器，其中，在多于一个参考块的像素值上操作的插值滤波器的选择进一步依在计算亚像素值时的分数像素位置而定。
CNB038161575A 2002-07-09 2003-07-09 用于在视频编码中选择插值滤波器类型的方法和*** Expired - Fee Related CN100452668C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US39511102P 2002-07-09 2002-07-09
US60/395,111 2002-07-09

Publications (2)

Publication Number Publication Date
CN1666429A CN1666429A (zh) 2005-09-07
CN100452668C true CN100452668C (zh) 2009-01-14

Family

ID=30115816

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038161575A Expired - Fee Related CN100452668C (zh) 2002-07-09 2003-07-09 用于在视频编码中选择插值滤波器类型的方法和***

Country Status (11)

Country Link
US (1) US7349473B2 (zh)
EP (1) EP1530829B1 (zh)
JP (1) JP2005532725A (zh)
CN (1) CN100452668C (zh)
AU (1) AU2003246987A1 (zh)
CA (1) CA2491679A1 (zh)
HK (1) HK1081012A1 (zh)
MX (1) MXPA05000335A (zh)
UA (1) UA90993C2 (zh)
WO (1) WO2004006558A2 (zh)
ZA (1) ZA200410403B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111108748A (zh) * 2017-09-08 2020-05-05 交互数字Vc控股公司 使用基于图案的块滤波进行视频编码和解码的方法和装置

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2339854A3 (en) * 2001-11-30 2013-11-13 NTT DoCoMo, Inc. Moving picture encoding device, moving picture decoding device, moving picture encoding method, moving picture decoding method, program, and computer readable recording medium storing program
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
NO319660B1 (no) * 2003-11-17 2005-09-05 Tandberg Telecom As Fremgangsmåte for interpolering av pixelverdier
NO319629B1 (no) * 2003-11-28 2005-09-05 Tandberg Telecom As Fremgangsmate for korrigering av interpolerte pikselverdier
US7521174B2 (en) * 2003-12-05 2009-04-21 Albert Einstein College Of Medicine Of Yeshiva University Universal red blood cells, methods of preparing same, and uses thereof
US20050200757A1 (en) * 2004-01-23 2005-09-15 Alberta Pica Method and apparatus for digital video reconstruction
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
US8503530B2 (en) * 2004-05-27 2013-08-06 Zhourong Miao Temporal classified filtering for video compression
US9071847B2 (en) * 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US8243820B2 (en) * 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
US20060088104A1 (en) * 2004-10-27 2006-04-27 Stephen Molloy Non-integer pixel sharing for video encoding
US8576924B2 (en) * 2005-01-25 2013-11-05 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
US7792385B2 (en) * 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
WO2006090811A2 (en) * 2005-02-25 2006-08-31 Matsushita Electric Industrial Co., Ltd. Pixel interpolating method and device
EP1878257A1 (en) * 2005-04-12 2008-01-16 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
US7830961B2 (en) * 2005-06-21 2010-11-09 Seiko Epson Corporation Motion estimation and inter-mode prediction
US7965773B1 (en) 2005-06-30 2011-06-21 Advanced Micro Devices, Inc. Macroblock cache
EP1915872A1 (en) * 2005-08-15 2008-04-30 Nokia Corporation Method and apparatus for sub-pixel interpolation for updating operation in video coding
US7596243B2 (en) 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US7957466B2 (en) * 2005-09-16 2011-06-07 Sony Corporation Adaptive area of influence filter for moving object boundaries
US20070064805A1 (en) * 2005-09-16 2007-03-22 Sony Corporation Motion vector selection
US7894527B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US8165205B2 (en) * 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
US7620108B2 (en) * 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction
US7885335B2 (en) * 2005-09-16 2011-02-08 Sont Corporation Variable shape motion estimation in video sequence
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US8059719B2 (en) * 2005-09-16 2011-11-15 Sony Corporation Adaptive area of influence filter
US9467659B2 (en) * 2005-09-27 2016-10-11 Qualcomm Incorporated Method and apparatus for progressive channel switching
KR100727989B1 (ko) * 2005-10-01 2007-06-14 삼성전자주식회사 동영상 부호화시의 인터 모드 결정 방법 및 장치
US8265151B1 (en) 2005-12-14 2012-09-11 Ambarella Taiwan Ltd. Mode decision using approximate 1/2 pel interpolation
US7843995B2 (en) * 2005-12-19 2010-11-30 Seiko Epson Corporation Temporal and spatial analysis of a video macroblock
US8170102B2 (en) * 2005-12-19 2012-05-01 Seiko Epson Corporation Macroblock homogeneity analysis and inter mode prediction
US7636497B1 (en) 2005-12-27 2009-12-22 Advanced Micro Devices, Inc. Video rotation in a media acceleration engine
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
JP4808067B2 (ja) * 2006-04-24 2011-11-02 富士通株式会社 画像圧縮装置、画像圧縮プログラム、画像圧縮方法
US20080075165A1 (en) * 2006-09-26 2008-03-27 Nokia Corporation Adaptive interpolation filters for video coding
BRPI0719239A2 (pt) * 2006-10-10 2014-10-07 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo, aparelhos para os mesmos, programas para os mesmos, e meios de armazenamento para gravação dos programas
KR100899730B1 (ko) * 2006-10-20 2009-05-27 삼성전자주식회사 영상 인코더 및 디코더에서의 색차 신호 보간 방법
KR101354659B1 (ko) 2006-11-08 2014-01-28 삼성전자주식회사 멀티 코덱을 지원하는 움직임 보상 방법 및 장치
EP2104358A4 (en) * 2006-11-30 2016-04-27 Ntt Docomo Inc DEVICE, METHOD AND PROGRAM FOR DYNAMIC IMAGE DEFINITION, DEVICE, METHOD AND PROGRAM FOR DYNAMIC IMAGE DECODING
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
JP4834590B2 (ja) * 2007-03-28 2011-12-14 株式会社東芝 動画像復号化装置及び動画像復号化方法
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
WO2008148272A1 (en) * 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding
EP2208181A2 (en) * 2007-10-05 2010-07-21 Nokia Corporation Video coding with pixel-aligned directional adaptive interpolation filters
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
CN101453646B (zh) * 2007-12-04 2012-02-22 华为技术有限公司 图像插值方法、装置及插值系数的获取方法
US8165210B2 (en) * 2007-12-17 2012-04-24 Vixs Systems, Inc. Video codec with shared interpolation filter and method for use therewith
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US9077971B2 (en) 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8462842B2 (en) 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
JP5200788B2 (ja) 2008-09-09 2013-06-05 富士通株式会社 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8750378B2 (en) * 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
JPWO2010038858A1 (ja) * 2008-10-03 2012-03-01 ソニー株式会社 画像処理装置および方法
KR101353304B1 (ko) * 2008-10-24 2014-01-21 에스케이 텔레콤주식회사 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
US8774541B2 (en) * 2008-11-05 2014-07-08 Sony Corporation Intra prediction with adaptive interpolation filtering for image compression
US20100165078A1 (en) * 2008-12-30 2010-07-01 Sensio Technologies Inc. Image compression using checkerboard mosaic for luminance and chrominance color space images
KR101538704B1 (ko) 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
JP5580541B2 (ja) * 2009-03-06 2014-08-27 パナソニック株式会社 画像復号化装置および画像復号化方法
US9161057B2 (en) 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
JP2011050001A (ja) * 2009-08-28 2011-03-10 Sony Corp 画像処理装置および方法
KR101710883B1 (ko) 2009-11-04 2017-02-28 삼성전자주식회사 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
JPWO2011078002A1 (ja) * 2009-12-22 2013-05-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011135184A (ja) * 2009-12-22 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
JP5581688B2 (ja) * 2009-12-24 2014-09-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
WO2011097199A2 (en) * 2010-02-04 2011-08-11 Sony Corporation Recursive adaptive interpolation filters (raif)
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US9154807B2 (en) 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
US20120008686A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
US9317896B2 (en) 2010-07-09 2016-04-19 Samsung Electronics Co., Ltd. Image interpolation method and apparatus
US9008175B2 (en) 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
KR20120090740A (ko) * 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
US9363509B2 (en) 2011-03-03 2016-06-07 Electronics And Telecommunications Research Institute Method for determining color difference component quantization parameter and device using the method
WO2012118359A2 (ko) * 2011-03-03 2012-09-07 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
US8437581B2 (en) * 2011-03-04 2013-05-07 General Instrument Corporation Method and system for interpolating fractional video pixels
US20120230393A1 (en) * 2011-03-08 2012-09-13 Sue Mon Thet Naing Methods and apparatuses for encoding and decoding video using adaptive interpolation filter length
WO2012125450A1 (en) * 2011-03-11 2012-09-20 General Instrument Corporation Interpolation filter selection using prediction index
US9313519B2 (en) 2011-03-11 2016-04-12 Google Technology Holdings LLC Interpolation filter selection using prediction unit (PU) size
WO2012125452A1 (en) * 2011-03-16 2012-09-20 General Instrument Corporation Interpolation filter selection using prediction unit (pu) size
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US9264725B2 (en) 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
CN103650506B (zh) * 2011-07-01 2017-08-15 谷歌技术控股有限责任公司 用于时间预测的联合亚像素插值滤波器
US10158850B2 (en) * 2011-08-25 2018-12-18 Telefonaktiebolaget Lm Ericsson (Publ) Depth map encoding and decoding
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
JP5762243B2 (ja) * 2011-10-18 2015-08-12 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
CN107920249A (zh) * 2011-11-08 2018-04-17 株式会社Kt 对视频信号进行解码的方法
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9624162B2 (en) 2012-12-07 2017-04-18 Wanhua Chemical Group Co., Ltd. Method for preparing 3-aminomethyl-3,5,5-trimethyl cyclohexylamine
CN103747251B (zh) * 2013-09-30 2017-08-08 北京大学深圳研究生院 一种视频图像的插值优化方法及滤波器
CN103974078B (zh) * 2014-03-31 2017-10-31 北京大学深圳研究生院 一种针对色度的插值方法及滤波器
CN106464863B (zh) * 2014-04-01 2019-07-12 联发科技股份有限公司 视频编码中自适应内插滤波的方法
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
KR102402671B1 (ko) * 2015-09-09 2022-05-26 삼성전자주식회사 보간 필터의 연산 복잡도를 조절할 수 있는 영상 처리 장치, 영상 보간 방법 및 영상 부호화 방법
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
US9792671B2 (en) * 2015-12-22 2017-10-17 Intel Corporation Code filters for coded light depth acquisition in depth images
US10116957B2 (en) 2016-09-15 2018-10-30 Google Inc. Dual filter type for motion compensated prediction in video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
US10924730B2 (en) * 2016-11-07 2021-02-16 Lg Electronics Inc. Image decoding method and device in image coding system
US10499078B1 (en) 2017-02-07 2019-12-03 Google Llc Implicit motion compensation filter selection
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
CN110290384A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 图像滤波方法、装置及视频编解码器
WO2020012448A2 (en) * 2018-07-13 2020-01-16 Beijing Bytedance Network Technology Co., Ltd. Shape dependent interpolation order
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
EP3891989A4 (en) * 2018-12-04 2022-08-24 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
US11431987B2 (en) 2019-01-08 2022-08-30 Tencent America LLC Method and apparatus for memory bandwidth reduction for small inter blocks
US11044480B2 (en) * 2019-01-24 2021-06-22 Google Llc More accurate 2-tap interpolation filters for video compression
US11178415B2 (en) * 2019-03-12 2021-11-16 Tencent America LLC Signaling of CU based interpolation filter selection
CN113785572B (zh) * 2019-05-02 2022-12-16 北京字节跳动网络技术有限公司 使用多个参考滤波器的帧内视频编解码
CN111656782A (zh) * 2019-06-19 2020-09-11 北京大学 视频处理方法和设备
US20220295057A1 (en) * 2019-09-04 2022-09-15 Interdigital Vc Holdings France, Sas Switchable interpolation filters
EP4035350A4 (en) * 2019-09-24 2023-11-01 Alibaba Group Holding Limited MOTION COMPENSATION METHOD FOR VIDEO CODING
CN113259669B (zh) * 2021-03-25 2023-07-07 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4771331A (en) * 1986-03-08 1988-09-13 Ant Nachrichtentechnik Gmbh Motion compensating field interpolation method using a hierarchically structured displacement estimator
US5541660A (en) * 1993-12-24 1996-07-30 Daewoo Electronics Co., Ltd. Systolic realization of motion compensated interpolation filter
JPH09322175A (ja) * 1996-05-30 1997-12-12 Sony Corp 動画像復号化方法及び装置
JPH11275591A (ja) * 1998-03-19 1999-10-08 Victor Co Of Japan Ltd 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4771331A (en) * 1986-03-08 1988-09-13 Ant Nachrichtentechnik Gmbh Motion compensating field interpolation method using a hierarchically structured displacement estimator
US5541660A (en) * 1993-12-24 1996-07-30 Daewoo Electronics Co., Ltd. Systolic realization of motion compensated interpolation filter
JPH09322175A (ja) * 1996-05-30 1997-12-12 Sony Corp 動画像復号化方法及び装置
JPH11275591A (ja) * 1998-03-19 1999-10-08 Victor Co Of Japan Ltd 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Adaptive MC Interpolation Filter for Complexity Reduction. Kazushi Sato et al.Joint Video Team(JVT) of ISO/IEC MPEG &ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6). 2002
Adaptive MC Interpolation Filter for Complexity Reduction. Kazushi Sato et al.Joint Video Team(JVT) of ISO/IEC MPEG &amp *
Adaptive MC Interpolation Filter for Complexity Reduction. Kazushi Sato et al.Joint Video Team(JVT) of ISO/IEC MPEG &ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6). 2002 *
ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6). 2002 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111108748A (zh) * 2017-09-08 2020-05-05 交互数字Vc控股公司 使用基于图案的块滤波进行视频编码和解码的方法和装置

Also Published As

Publication number Publication date
HK1081012A1 (en) 2006-05-04
MXPA05000335A (es) 2005-03-31
CN1666429A (zh) 2005-09-07
WO2004006558A2 (en) 2004-01-15
WO2004006558A3 (en) 2004-03-18
EP1530829B1 (en) 2018-08-22
CA2491679A1 (en) 2004-01-15
EP1530829A2 (en) 2005-05-18
US7349473B2 (en) 2008-03-25
AU2003246987A1 (en) 2004-01-23
US20040062307A1 (en) 2004-04-01
EP1530829A4 (en) 2005-08-31
ZA200410403B (en) 2005-11-30
UA90993C2 (uk) 2010-06-25
JP2005532725A (ja) 2005-10-27
AU2003246987A8 (en) 2004-01-23

Similar Documents

Publication Publication Date Title
CN100452668C (zh) 用于在视频编码中选择插值滤波器类型的方法和***
JP6675289B2 (ja) 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
US8711945B2 (en) Methods and devices for coding and decoding images, computer program implementing them and information carrier enabling their implementation
CN101953166B (zh) 被划分为像素块的图像或图像序列的编码和解码
CN100553321C (zh) 编码动态滤波器
CN103227923B (zh) 图像解码方法以及图像解码装置
TWI711296B (zh) 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及記憶媒體
TWI703859B (zh) 解碼方法及解碼裝置
CN102845060B (zh) 用于视频的数据压缩
CN105847791B (zh) 图像编码装置及其方法和图像解码装置及其方法
CN104811714B (zh) 使用平面表达的增强帧内预测编码
CN101527848B (zh) 图像编码设备
EP2317770A1 (en) Interpolation filtering method, image encoding method, image decoding method, interpolation filtering device, program, and integrated circuit
US20040005096A1 (en) Apparatus and method of encoding/decoding a coded block pattern
US20080008238A1 (en) Image encoding/decoding method and apparatus
CN102714721A (zh) 编码图像块的方法和重构图像块的方法
KR100922510B1 (ko) 영상의 부호화 및 복호화 방법, 장치 및 그 애플리케이션
CN106791832A (zh) 编码设备、解码设备、编码方法和解码方法
CN101009839A (zh) 基于正交变换和向量量化的视频编码/解码的方法和设备
CN104067623A (zh) 运动图像解码装置、运动图像编码装置、运动图像解码方法以及运动图像编码方法
WO2008148272A1 (en) Method and apparatus for sub-pixel motion-compensated video coding
JP2011517250A (ja) 線形形状の画素区画にスライスされた画像または画像シーケンスの符号化および復号
KR20050018948A (ko) 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
KR20110134404A (ko) 화상 데이터의 블록을 예측하는 방법, 이 방법을 실행하는 복호 장치 및 부호화 장치
KR100832872B1 (ko) 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1081012

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1081012

Country of ref document: HK

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160113

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090114

Termination date: 20190709