CN103650506A - 用于时间预测的联合亚像素插值滤波器 - Google Patents

用于时间预测的联合亚像素插值滤波器 Download PDF

Info

Publication number
CN103650506A
CN103650506A CN201280033120.0A CN201280033120A CN103650506A CN 103650506 A CN103650506 A CN 103650506A CN 201280033120 A CN201280033120 A CN 201280033120A CN 103650506 A CN103650506 A CN 103650506A
Authority
CN
China
Prior art keywords
sub
interpolation filter
pixel
interpolation
play amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280033120.0A
Other languages
English (en)
Other versions
CN103650506B (zh
Inventor
库亚·米鲁
娄健
方雪
克里特·帕努索波内
王利民
大卫·M·贝隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google Technology Holdings LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of CN103650506A publication Critical patent/CN103650506A/zh
Application granted granted Critical
Publication of CN103650506B publication Critical patent/CN103650506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

一种方法确定在对用于视频内容的时间预测处理的亚像元值进行插值时使用的多个插值滤波器。基于用于两个参考块的亚像元偏移量来设计多个插值滤波器。该方法对于单位视频内容确定关于第一参考块的第一亚像元偏移量，并且对于所述单位视频内容确定关于第二参考块的第二亚像元偏移量。确定插值滤波器集合，以对在用于单位视频内容的时间预测处理中使用的亚像元像素值集合进行插值。插值滤波器集合被设计用于第一亚像元偏移量和第二亚像元偏移量，并且被用于对关于第一参考块的第一亚像元像素值和关于第二参考块的第二亚像元值进行插值。

Description

用于时间预测的联合亚像素插值滤波器
相关申请的交叉引用
本申请要求以下申请的优先权：
于2011年7月1日提交的关于“Method for Multi-Hypothesis JointSub-Pixel Interpolation Filters for Motion Compensation”的美国临时申请No.61/504,139；
于2011年7月11日提交的关于“4tap，5tap and6tapMult-Hypothesis Joint Sub-pixel Interpolation Filters for MotionCompensation”的美国临时申请No.61/506,586；
于2011年9月16日提交的关于“6tap and8tap Multi-HypothesisJoint Sub-pixel Interpolation Filters for Motion Compensation”的美国临时申请No.61/535,941；
于2011年9月22日提交的关于“Combined6tap and8tapMulti-Hypothesis Partially Joint Sub-pixel Interpolation Filters for MotionCompensation”的美国临时申请No.61/538,107；
于2011年9月26日提交的关于“Multi-Hypothesis Joint Sub-pixelInterpolation Filters with DC-Gain Constraint for Motion Compensation”的美国临时申请No.61/539,420；
于2011年11月9日提交的关于“Sub-pixel Motion CompensationInterpolation Based on the Number of Predictor blocks”的美国临时申请No.61/557,422，其全部内容通过引用结合于此。
背景技术
高效视频编码(HEVC)是基于块的混合空间和时间预测编码方案。类似于诸如运动图像专家组(MPEG)-1、MPEG-2和MPEG-4的其他视频编码标准，HEVC支持诸如I图片的帧内图片和诸如B图片的帧间图片。在HEVC中，P和B图片被合并为可以用作参考块的一般B图片。
在不参考任何其他图片的情况下，对帧内图片编码。从而，仅空间预测被允许用于帧内图片内的编码单元(CU)/预测单元(PU)。然而，帧间图片支持帧内预测和帧间预测。帧间图片中的CU/PU可以在空间上或时间上被预测编码。时间预测编码可以参考先前被编码的块。
时间运动预测是增加编码效率并且提供高压缩的有效方法。HEVC使用用于运动预测的平移模型。根据平移模型，从参考块中的对应块，生成用于当前图片中的给定块的预测信号。通过运动矢量给出参考块的坐标，运动矢量描述将被添加到当前块的坐标/从当前块的坐标减去的沿着水平(x)和垂直(y)方向的平移运动。解码器需要运动矢量来解码压缩视频。
参考块中的像素被用作预测。在一个示例中，运动可以在整数像素中被捕捉。然而，不是所有对象都以整数像素间隔移动(还被称为象元(pel))。例如，由于对象运动与采样网格完全不相关，有时相比于全像元运动，对象运动更像是亚像元(分数)运动。从而，HEVC允许运动矢量具有亚像元准确度。
为了估计和补偿亚像元位移，通过插值处理生成这些亚像元位置上的图像信号。在HEVC中，使用有限冲激响应(FIR)滤波器，执行亚像元插值。通常，滤波器可以具有8个抽头，以确定用于亚像元位置的亚像元值，诸如，半像元和四分之一像元位置。插值滤波器的抽头利用系数值给整数像素加权，以生成亚像元信号。不同系数可以产生在信号失真和噪声方面不同的压缩性能。
HEVC对于每个参考块基于关于该参考块的亚像元位置的选择，来使用用于运动估计的特定插值滤波器。在双向预测中，可以使用两个参考块来预测当前块。在列表0中找到一个参考块，并且在列表1中找到另一个参考块。如果亚像元位置的选择是关于列表0的半像元移位，则将半像元插值滤波器应用至列表0中的参考块。而且，如果亚像元位置的选择是关于列表1的四分之一像元移位，则四分之一像元插值滤波器被确定用于列表1。即便关于列表1的亚像元位置诸如改变为半像元移位，也将相同的半像元插值滤波器应用至列表0中的参考块。
发明内容
在一个实施例中，提供一种用于编码或解码视频内容的方法。该方法确定在对用于视频内容的时间预测处理的亚像元值进行插值时使用的多个插值滤波器。基于关于两个参考块的亚像元偏移量来设计多个插值滤波器。然后，该方法能够对于单位视频内容确定关于第一参考块的第一亚像元偏移量，并且对于单位视频内容确定关于第二参考块的第二亚像元偏移量。确定插值滤波器集合，以对在用于单位视频内容的时间预测处理中使用的亚像元像素值集合进行插值。该插值滤波器集合被设计用于第一亚像元偏移量和第二亚像元偏移量，并且被用于对关于第一参考块的第一亚像元像素值和关于第二参考块的第二亚像元值进行插值。
在一个实施例中，一种装置被配置成编码或解码视频内容。该装置包括：一个或多个计算机处理器；以及包括指令的计算机可读存储介质，当被执行时，指令控制一个或多个计算机处理器被配置用于：确定在对用于视频内容的时间预测处理的亚像元值进行插值时使用的多个插值滤波器，其中，基于关于两个参考块的亚像元偏移量来设计多个插值滤波器；对于单位视频内容确定关于第一参考块的第一亚像元偏移量；对于单位视频内容确定关于第二参考块的第二亚像元偏移量；以及确定插值滤波器集合，以对在用于单位视频内容的时间预测处理中使用的亚像元像素值集合进行插值，其中，该插值滤波器集合被设计用于第一亚像元偏移量和第二亚像元偏移量，并且被用于对关于第一参考块的第一亚像元像素值和关于第二参考块的第二亚像元值进行插值。
在一个实施例中，提供包括用于编码或解码视频内容的指令的非暂时性计算机可读存储介质，当被执行时，指令控制计算机***被配置用于：确定在对用于视频内容的时间预测处理的亚像元值进行插值时使用的多个插值滤波器，其中，基于关于两个参考块的亚像元偏移量来设计多个插值滤波器；对于单位视频内容确定关于第一参考块的第一亚像元偏移量；对于单位视频内容确定关于第二参考块的第二亚像元偏移量；以及确定插值滤波器集合，以对在用于单位视频内容的时间预测处理中使用的亚像元像素值集合进行插值，其中，该插值滤波器集合被设计用于第一亚像元偏移量和第二亚像元偏移量，并且被用于对关于第一参考块的第一亚像元像素值和关于第二参考块的第二亚像元值进行插值。
以下具体描述和附图提供本发明的特性和优点的更详细理解。
附图说明
图1描绘根据一个实施例的用于编码和解码视频内容的***的示例。
图2描绘根据一个实施例的用于编码或解码视频内容的方法的简化流程图。
图3描绘根据一个实施例的示出用于插值滤波器106的偏移量的示例。
图4A描绘根据一个实施例的用于基于一个或多个参考提供时间预测的编码器的示例。
图4B描绘根据一个实施例的用于基于一个或多个参考提供时间预测的解码器的示例。
具体实施方式
在此描述了用于视频压缩***的技术。在以下说明书中，为了解释的目的，阐述了大量示例和特定详情，以提供本发明的实施例的彻底理解。由权利要求限定的特定实施例可以单独或与以下描述的其他特征结合地包括在这些示例中的一些或所有特征，并且可以进一步包括在此描述的特征和概念的修改和等价物。
概述
图1描绘根据一个实施例的用于编码和解码视频内容的***100的示例。***100包括以下更详细地描述的编码器102和解码器104。编码器102和解码器104通过运动估计和运动补偿来执行时间预测。运动估计是对于当前单位视频确定运动矢量(MV)的处理。运动补偿将运动矢量应用至正被编码或解码的当前单元。例如，时间预测在参考块上搜索对于当前预测单元(PU)的最佳匹配预测。参考块可以指任何单位视频内容，诸如，块、图片或帧。通过运动矢量和相关联的参考块或图片ID描述最佳匹配预测。而且，B图片中的PU可以具有达两个运动矢量。
时间预测允许分数(亚像元)图片准确度。使用亚像元预测，这是因为在两个时间场合(当前和参考块的捕捉时间)期间的运动可以对应于像素坐标中的亚像元位置，并且对应于每个亚像元位置的不同预测数据的生成允许调节预测信号以更好地匹配当前PU中的信号的可能性。
插值滤波器106被设计成是线性相位，具有单位增益。要求恒定(单位)增益和线性相位特性，以确保插值滤波器106不使信号失真。然而，可能不能对于所有频率具有恒定单位增益或理想线性相移。从而，插值滤波器106被设计成具有最佳线性相位滤波器，该最佳线性相位滤波器具有合适的相位斜率，或者尽可能平坦且宽的、最接近的单位相位响应的群延迟。对于给定亚像元位置(例如，给定分数相位偏移量)，频率响应的“平坦度”和“宽度”之间的不同权衡导致不同的亚像元插值滤波器106。例如，对于自然图像，信号的大部分集中在低频和中频，并且通常优选具有在低频和中频中尽可能平坦而高频可以具有更多波动的插值滤波器106。当考虑噪声消除时，插值滤波器106可以优选地衰减噪声显著的频率。通常，噪声的形状取决于图片内容和压缩量。例如，对于低量化机制的压缩噪声可以更平坦。在一个实施例中，为了在信号失真和噪声消除之间进行调整，可以优选地仅衰减噪声功率大于信号功率的频率。
插值滤波器106包括抽头，抽头利用系数值对全像元像素值加权，系数值被用于确定对于不同亚像元像素位置的亚像元像素值。当使用不同插值滤波器106时，插值滤波器可以对于系数使用不同值，和/或使用不同数量的抽头。
特定实施例基于来自多个参考块的联合亚像元位置信息来设计插值滤波器106。例如，对于当前预测块，可以使用(来自一个或两个图片的)两个参考块执行双向预测。两个参考块可从列表0和列表1得到。而且，可以使用多于两个参考块。列表0可以与第一参考块相关联，并且列表1可以与第二参考块相关联。然后，使用关于列表0和列表1的亚像元位置，来确定用于两个参考块的插值滤波器106。
在一个示例中，如果第一参考块是垂直定位的3.5个像素，则运动矢量可以是3个整数像素和半个像素。而且，第二参考块可以是垂直的1.25个像素，其是一个整数像素和四分之一个像素。从而，如上所述，插值滤波器106需要被用于对关于第一参考块的半像元运动进行插值和关于第二参考块的四分之一像元运动进行插值。通常，半像元插值滤波器被用于第一参考块，并且四分之一像元插值滤波器被用于第二参考块，而不管其他参考块在哪个亚像元位置处。然而，特定实施例确定被设计用于关于第一参考块的半像元运动和关于第二参考块的四分之一像元运动的插值滤波器106。即，插值滤波器106被设计成考虑两个参考块的亚像元运动。
插值滤波器106可能需要被设计用于每个列表的每种组合。例如，列表0可以具有被设计用于每种组合的插值滤波器106的第一集合，并且列表1可以具有被设计用于每种组合的插值滤波器106的第二集合。例如，以下提供用于列表0和列表1的插值滤波器106的系数的示例：
对于列表0
h1(0，0)={0，0，64，0，0，0}
h1(0，1)={6，-4，68，-3，4，-5}
h1(0，2)={9，-6，68，-6，4，-2}
h1(0，3)={6，-7，67，-5，4，-1}
h1(1，0)={-3，-6，53，22，-11，7}
h1(1，1)={2，-9，56，19，-6，2}
h1(1，2)={18，-20，65，11，4，-9}
h1(1，3)={6，-14，60，17，-3，-3}
h1(2，0)={-2，-12，41，41，-10，3}
h1(2，1)={-11，-3，33，48，-22，14}
h1(2，2)={2，-10，39，40，-10，3}
h1(2，3)={14，-22，48，31，-5，-10}
h1(3，0)={0，-9，24，55，-6，0}
h1(3，1)={-2，-2，16，60，-15，8}
h1(3，2)={-9，4，11，66，-17，17}
h1(3，3)={2，-7，19，56，-8，2}
对于列表1
h2(0，0)={0，0，64，0，0，0}
h2(0，1)={-3，-6，53，22，-11，7}
h2(0，2)={-2，-12，41，41，-10，3}
h2(0，3)={0，-9，24，55，-6，0}
h2(1，0)={6，-4，68，-3，4，-5}
h2(1，1)={2，-8，56，19，-7，2}
h2(1，2)={-11，-3，33，48，-22，14}
h2(1，3)={-2，-2，16，60，-15，8}
h2(2，0)={9，-6，68，-6，4，-2}
h2(2，1)={18，-20，65，11，4，-9}
h2(2，2)={3，-10，40，39，-10，2}
h2(2，3)={-9，4，11，66，-17，17}
h2(3，0)={6，-7，67，-5，4，-1}
h2(3，1)={6，-14，60，17，-3，-3}
h2(3，2)={14，-22，48，31，-5，-10}
h2(3，3)={2，-6，19，56，-9，2}
在以上插值滤波器设计中，对于每个x和y方向存在四个亚像元值。例如，该值可以是0：用于没有亚像元运动修正，1：用于四分之一像元运动修正，2：用于半像元运动修正，以及3：用于3/4像元运动修正。以上，对于第一参考块，如果第一参考块正在使用半像元运动修正，并且例如来自列表0的第二参考块正在使用四分之一像元运动修正，则使用插值滤波器H1(2，1)。另外，对于列表1，使用插值滤波器H2(2，1)。基于关于两个参考块的亚像元位置，联合设计这些插值滤波器106。以上示例示出具有6个抽头的复杂度的联合设计插值滤波器集合的示例。
以下示出用于基于第一参考块和第二参考块确定最佳插值滤波器106的计算。对于PU的双向预测，来自列表0和列表1的两个参考块可用。而且，每个参考块指示分别用于列表0和列表1预测的α1和α2的亚像素相移。而且，进行简单求平均，以生成用于当前PU的预测的参考信号。在求平均发生之前用于参考块的预处理的滤波器的选择由H1(ω)和H2(ω)指示。
如果当前PU中的信号是S(ω)，并且两个参考块中的两个信号是P1(ω)和P2(ω)，可以假设以下：
P 1 ( ω ) = S ( ω ) · e - i α 1 ω
P 2 ( ω ) = S ( ω ) · e - i α 2 ω
预测信号将是
P ( ω ) = 1 2 [ S ( ω ) · e - i α 1 ω · H 1 ( ω ) + S ( ω ) · e - i α 2 ω · H 2 ( ω ) ]
对于S(ω)的理想预测，需要设计H1(ω)和H2(ω)，使得：
[ H 1 ( ω ) · e - i α 1 ω + H 2 ( ω ) · e - i α 2 ω ] = 2
以上公式示出，最佳H1(ω)和H2(ω)通常取决于α1和α2。因此，在“n”个参考可用的一般情况下，用于参考“i”的最佳插值滤波器具有Hi(α1，…，αn，ω)i∈{1，…，n}的形式。
注意，如果具有多种叠加(诸如，加权平均等)的任何数量的预测块被用于最终预测信号的推导，则应用相同原理。
特定实施例还可以减少用于插值滤波器106的抽头的数量。在一些示例中，6个抽头可以覆盖用于8个抽头的区域，以下将描述。在第二示例中，当两个参考块应当相对地跟随PU中的对应像素时，除了亚像素移位之外，可以通过用于每个预测块的不对称滤波器系数来设计亚像素插值滤波器106的复杂度意识(complexity aware)实现，其中，通过来自应用至参考块(例如，来自列表0)之一的第一插值滤波器106的滤波器系数，考虑右侧/顶部像素，并且通过应用至其他参考块(例如，来自列表1)的第二插值滤波器106考虑相对的(左侧/下部)像素。以上示例中对于插值滤波器106的延迟是3，其将在以下更详细地描述。
用于8个抽头的区域可以被覆盖，因为用于列表0的插值滤波器106可以偏移，使得该滤波器的系数应用至将***值的亚像素像素位置的左侧上的更多像素和右侧上的更少像素，并且用于列表1的插值滤波器106可以偏移，使得该滤波器的系数应用至将***值的亚像素像素位置的右侧上的更多像素和左侧上的更少像素。图3描绘根据一个实施例的示出用于插值滤波器106的偏移量的示例。在图3中，P1的亚像素位置FL和P2的亚像素位置H被用于预测S的像素位置L0。P1中的参考具有1/4亚像素移位，并且P2中的参考具有1/2亚像元移动，两者都是相对于将由P1和P2预测的S中的像素。滤波器延迟指示偏移量。例如，对于六抽头滤波器，对于列表0的延迟“4”指示插值滤波器106的四个抽头到将***值的亚像元位置的左侧，并且两个抽头到其右侧。在350处，对于第一插值滤波器106，用于L3、L2、L1和L0处的像素位置的抽头到亚像素位置FL的左侧。到亚像素位置FL的右侧的用于像素位置R0和R1的抽头也包括在第一插值滤波器106中。不使用用于像素位置R2和R3的抽头。
对于列表1的延迟“2”指示两个抽头到将***值的亚像位置的左侧，并且四个抽头到其右侧。在352处，对于第二插值滤波器106，用于在R0、R1、R2和R3处的像素位置的抽头到亚像素位置H的右侧。到亚像素位置H的左侧的用于像素位置L0和L1的抽头也包括在第二插值滤波器106中。不使用用于像素位置L2和L3的抽头。
从而，对列表0和列表1的滤波的组合将覆盖到将***值的亚像元位置的右侧的4个像素和到其左侧的4个像素。这等于对称八抽头滤波器覆盖的区域。特定实施例使用来自行P1的像素位置L3至R1，并且使用行P2中的像素位置L1至R3，以预测S中的像素L0。其他像素值也可以***值。通过两个插值滤波器106输出的值可以被相加并且求平均，并且从而对应于八抽头滤波器区域。这是因为如果使用对称八抽头滤波器，则被确定用于每个插值滤波器106的像素值类似。例如，对于像素位置1，如果由两个对称八抽头插值滤波器106插值，则值将类似，其中，每个滤波器都具有延迟4。
以下示例示出插值滤波器106的示例，该插值滤波器106仅以5个抽头覆盖等效八抽头滤波器的区域。注意，对于列表0的采样延迟是4(四)，并且对于列表1，是1(一)。
对于列表0
h1(0，0)={1，-3，5，61，2}
h1(0，1)={1，-2，-2，62，3}
h1(0，2)={1，-2，-8，65，0}
h1(0，3)={2，-5，0，62，3}
h1(1，0)={0，1，-5，60，15}
h1(1，1)={-1，4，-13，58，15}
h1(1，2)={-1，4，-18，60，13}
h1(1，3)={0，1，-10，60，14}
h1(2，0)={-2，6，-13，43，40}
h1(2，1)={-2，7，-16，38，42}
h1(2，2)={-2，8，-21，40，39}
h1(2，3)={-2，7，-19，43，38}
h1(3，0)={-1，4，-9，20，57}
h1(3，1)={-1，4，-8，10，57}
h1(3，2)={-2，6，-12，11，60}
h1(3，3)={-2，6，-13，16，56}
对于列表1
h2(0，0)={61，3，-3，1，0}
h2(0，1)={56，16，-9，4，-1}
h2(0，2)={40，40，-11，4，-1}
h2(0，3)={15，58，-8，1，0}
h2(1，0)={60，1，-6，3，-1}
h2(1，1)={58，15，-12，6，-2}
h2(1，2)={40，42，-16，5，-1}
h2(1，3)={13，60，-11，1，0}
h2(2，0)={62，-6，-4，3，-1}
h2(2，1)={58，9，-12，6，-2}
h2(2，2)={39，40，-21，8，-2}
h2(2，3)={15，59，-15，2，0}
h2(3，0)={60，-2，-2，2，-1}
h2(3，1)={60，11，-8，4，-1}
h2(3，2)={39，37，-16，7，-2}
h2(3，3)={16，57，-10，2，0}
图2示出根据一个实施例的用于编码或解码视频内容的方法的简化流程图200。在202处，该方法确定对在用于视频内容的时间预测处理的亚像元值进行插值时使用的多个插值滤波器106。基于关于两个参考块的亚像元偏移量，设计插值滤波器106。在204处，该方法确定单位视频内容。例如，接收PU。在206处，对于单位视频内容确定关于第一参考块的第一亚像元偏移量。在208处，对于单位视频内容确定关于第二参考块的第二亚像元偏移量。例如，亚像元偏移量可以是分别用于第一和第二参考的四分之一像元和半像元。在210处，该方法确定插值滤波器106集合，以对在用于单位视频内容的时间预测处理中使用的亚像元像素值集合进行插值。该插值滤波器106集合被设计用于第一亚像元偏移量和第二亚像元偏移量，并且被用于对关于第一参考块的第一亚像元像素值和关于第二参考块的第二亚像元值进行插值。例如，从第一列表0确定第一插值滤波器106，并且从第二列表1确定第二插值滤波器106。
以下描述插值滤波器106的不同示例。将理解，可以想到其他示例。
四、五和六抽头插值滤波器示例
在以下示例中，插值滤波器106可以仅利用4、5和6个抽头覆盖达到等效八抽头滤波器的区域。注意，在集合前面指示对于每个滤波器的采样延迟。
示例1
以下示例示出具有4个抽头的复杂度的联合设计插值滤波器集合的示例。注意，在集合前面指示对于每个滤波器的采样延迟。
对于列表0
h1(0，0)={0，64，0，0}：延迟2
h1(0，1)＝{-1，3，-9，65}：|延迟4
h1(0，2)={6，-5，68，-8}：延迟3
h1(0，3)={65，-9，3，-1}：延迟1
h1(1，0)={60，13，-5，2}：|延迟1
h1(1，1)={-3，7，-17，61}：|延迟4
h1(1，2)={4，-19，63，9}：|延迟3
h1(1，3)＝{1，-10，61，14}：|延迟3
h1(2，0)＝{-11，41，39，-2}：|延迟2
h1(2，1)＝{38，43，-14，4}：|延迟1
h1(2，2)={7，-22，40，39}：延迟3
h1(2，3)＝{4，-14，43，35}：|延迟3
h1(3，0)＝{2，-5，13，60}：延迟3
h1(3，1)={12，60，-12，2}：延迟1
h1(3，2)={9，65，-17，3}：|延迟1
h1(3，3)＝{61，-17，7，-3}：延迟0
对于列表1
h2(0，0)={0，64，0，0}：延迟2
h2(0，1)={60，13，-5，2}：延迟1
h2(0，2){-1，41，39，-2}：|延迟2
h2(0，3)＝{2，-5，13，60}：|延迟3
h2(1，0)-{-1，3，-9，65}：|延迟4
h2(1，1)={59，27，-10，4}：|延迟1
h2（1，2)(38，43，-14，4}：延迟1
h2(1，3)={12，60，-12，2}：延迟1
h2(2，0)＝{6，-5，68，-8}：延迟3
h2(2，1)＝{4，-19，63，9}：|延迟3
h2(2，2)={39，40，-22，7}：|延迟1
h2(2，3)={9，65，-17，3}：延迟1
h2(3，0)＝{65，-9，3，-1}：延迟1
h2(3，1)＝{1，-10，61，14}：延迟3
h2(3，2)={4，-14，43，35}：延迟3
h2(3，3)={4，-10，27，59}：延迟3
示例2
以下示例示出具有5个抽头的复杂度的联合设计插值滤波器集合的示例。注意，在集合前面指示对于每个滤波器的采样延迟。
对于列表0
h1(0，0)={0，0，64，0，0}：延迟3
h1(0，1)={58，-1，-5，3，-1}：延迟1
h1(0，2)＝{1，-2，-8，65，0}：延迟4
h1(0，3)＝{1，-3，0，67，-1}：|延迟4
h1（1，0)＝{-1，3，-8，65，15}：延迟4
h1(1，1)={-1，5，-15，59，14}：|延迟4
h1(1，2)={0，2，-15，61，15}：延迟4
h1(1，3)={0，1，-10，60，11}：|延迟4
h1(2，0)＝{-1，4，-11，40，38}：|延迟4
h1(2，1)＝{37，41，-17，5，-1}：延迟1
h1(2，2)={-3，10，-24，42，38}：延迟4
h1(2，3)={-1，5，-17，40，40}：延迟4
h1(3，0)={11，58，-7，3，-1}：|延迟1
h1(3，1)＝{0，12，63，-10，1}：|延迟2
h1(3，2)={0，16，59，-16，2}：|延迟2
h1(3，3)={-2，6，-12，15，59}：|延迟4
对于列表1
h2(0，0)＝{0，0，64，0，0}：延迟3
h2(0，1)={-1，3，-8，65，15}：延迟4
h2(0，2)={40，40，-11，4，-1}：延迟1
h2(0，3)=11，58，-7，3，-1}：|延迟1
h2(1，0)＝{58，-1，-5，3，-1}：|延迟1
h2(1，1)={59，15，-12，6，-2}：延迟1
h2(1，2)={37，41，-17，5，-1}：延迟1
h2(1，3)＝{12，63，-10，1，0}：延迟1
h2(2，0)={66，-6，-4，3，-1}：|延迟1
h2(2，1)＝{2，-15，61，15，0}：延迟3
h2(2，2){40，40，-21，8，-2}：|延迟1
h2(2，3)={16，59，-16，2，0}：|延迟1
h2(3，0)={1，-3，0，67，-1}：延迟4
h2(3，1){0，1，-10，60，11}：|延迟4
h2(3，2)＝{-1，5，-17，40，40}：延迟4
h2(3，3)={14，59，-15，6，-2}：延迟1
示例3
以下示例示出具有6个抽头的复杂度的联合设计插值滤波器106的示例。注意，在集合前面指示对于每个滤波器的采样延迟。
对于列表0
h1(0，0)＝{0，0，64，0，0，0}：|延迟3
h1(0，1)＝{-1，4，0，62，0，1}：|延迟4
h1(0，2)={4，-2，64，-1，2，-4}：|延迟3
h1(0，3)={0，62，0，4，-1，0}：延迟2
h1(1，0)={-9，61，15，-7，3，-1}：延迟2
h1(1，1)={-7，59，15，-6，6，-2}：|延迟2
h1(1，2)＝{-2，9，-8，59，14，-5}：延迟4
h1(1，3)={-1，6，-11，60，14，-5}：延迟4
h1(2，0)={1，-11，40，41，-13，7}：延迟3
h1(2，1)={-12，39，41，-13，8，-2}：延迟2
h1(2，2）＝{-4，11，-12，40，39，-11}：|延迟4
h1(2，3)={-2，8，-13，41，39，-12}：延迟4
h1(3，0)={-1，3，-6，15，61，-9}：|延迟4
h1(3，1)={-5，15，60，-10，6，-1}：延迟2
h1(3，2)={-5，14，59，-8，9，-2}：延迟2
h1(3，3)={-6，14，59，-8，6，-2}：延迟2
对于列表1
h2(0，0)={0，0，64，0，0，0}：延迟3
h2(0，1)＝{-9，61，15，-7，3，-1}：|延迟2
h2(0，2)={1，-11，40，41，-13，7}：延迟3
h2(0，3)={-1，3，-6，15，61，-9}：|延迟4
h2(1，0)＝{-1，4，0，62，0，1}：|延迟4
h2(1，1)＝{-2，6，-8，59，14，-6}：延迟4
h2(1，2)={-12，39，41，-13，8，-2}：延迟2
h2(1，3)={-5，15，60，-10，6，-1}：延迟2
h2(2，0)＝{4，-2，64，-1，2，-4}：延迟3
h2(2，1)={-2，9，-8，59，14，-5}：|延迟4
h2(2，2)＝{-11，40，40，-11，10，-3}：|延迟2
h2(2，3)＝{-5，14，59，-8，9，-2}：|延迟2
h2(3，0)={0，62，0，4，-1，0}：延迟2
h2(3，1)={-1，6，-11，60，14，-5}：延迟4
h2(3，2)={-2，8，-13，41，39，-12}：延迟4
h2(3，3)={-2，6，-6，15，59，-7}：延迟4
六和八抽头插值滤波器示例
示例1
以下示例示出可以仅以6个抽头覆盖达到等效十二抽头传统滤波器的区域的插值滤波器106的示例。
以下被指出并且可以被使用：
1-为了示出基于具有六抽头延迟的等效十二抽头插值滤波器106的每个六抽头插值滤波器106的对准，6个系数被放在十二抽头阵列中。
2-用于每个插值滤波器106的联合亚像素位置被添加在滤波器系数的末端。
3-对于本示例的整体滤波器直流(DC)增益是128(要求七比特整数系数。)
对于列表0
{0，0，0，0，0，128，0，0，0，0，0，0}，//(0，0)
{0，0，-2，6，-15，119，29，-13，0，0，0，0}，//(1，0)
{0，0，-4，10，-21，75，84，-25，0，0，0，0}，//(2，0)
{0，0，0，0，-13，29，119，-15，6，-2，0，0}，//(3，0)
{0，0，0，0，0，127，0，2，5，-2，1，0}，//(0，1)
{0，0，0，0，0，117，30，-14，14，-7，2，0}，//(1，1)
{0，0，0，0，-21，79，s4，-31，11，-3，0，0}，//(2，1)
{0，0，0，0，-13，26，121，-17，13，-2，0，0}，//(3，1)
{0，0，0，0，0，132，-7，12，1，-2，1，0}，//(0，2)
{0，1，-6，20，-24，124，22，0，0，0，0，0}，//(1，2)
{0，3，-11，23，-48，82，78，0，0，0，0，0}，//(2，2)
{0，0，0，0，0，26，122，-20，19，-5，1，0}，//(3，2)
{1，-3，5，2，0，127，0，0，0，0，0，0}，//(0，2)
{0，0，-2，13，-17，121，26，-13，0，0，0，0}，//(1，3)
{0，0，-5，14，-35，84，78，-23，0，0，0，0}，//1(2，3)
{0，2，-7，14，-14，30，117，0，0，0，0，0}，//(3，3)
对于列表1
{0，0，0，0，0，128，0，0，0，0，0，0}，//(0，0)
{0，0，-2，6，-15，119，29，-13，0，0，0，0}，//(0，1)
{0，0，-4，10，-21，75，84，-25，0，0，0，0}，//(0，2)
{0，0，0，0，-13，29，119，-15，6，-2，0，0}，//(0，3)
{0，0，0，0，0，127，0，2，5，-3，1，0}，//(1，0)
{0，0，-4，12，-30，119，29，-12，0，0，0，0}，//(1，1)
{0，0，0，0，-21，79，84，-31，11，-3，0，0}，//(1，2)
{0，0，0，0，-13，26，121，-17，13，-2，0，0}，//(1，3)
{0，0，0，0，0，132，-7，12，1，-2，1，0}//(2，0)
{0，1，-6，20，-24，124，22，0，0，0，0，0}，//(2，1)
{0，0，0，0，0，79，81，-46，21，-9，3，0}，//(2，2)
{0，0，0，0，0，26，122，-20，19，-5，1，0}，//(2，3)
{1，-3，5，2，0，127，0，0，0，0，0，0}，//(3，0)
{0，0，-2，13，-17，121，26，-13，0，0，0，0}，//(3，1)
{0，0，-5，14，-35，84，78，-23，0，0，0，0}，//(3，2)
{0，0，0，0，-12，29，119，-30，12，-4，0，0}，//(3，3)
示例2
以下示例示出具有6个抽头的复杂度的联合设计插值滤波器106的示例，具有与示例1中的滤波器不同的频率特征。
以下被指出并且可以被使用：
1-为了示出基于具有六抽头延迟的等效十二抽头插值滤波器106的每个六抽头插值滤波器106的对准，6个系数被放在十二抽头阵列中。
2-用于每个插值滤波器106的联合亚像素位置被添加在滤波器系数的末端。
3-对于本示例的整体滤波器DC增益是64(要求六比特整数系数。)
对于列表0
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，0)
{0，0，0，0，-9，60，14，-6，3，-1，0，0},//(1，0)
{0，0，-2，5，-11，38，41，-14，0，0，0，0}，//(2，0)
{0，0，-1，3，-6，14，60，-9，0，0，0，0}，//(3，0)
{0，0，-1，4，0，64，0，0，0，0，0，0}，//(0，1)
{0，1，-3，7，-17，62，12，0，0，0，0，0}，//(1，1)
{0，0，0，0，-9，40，43，-16，6，-2，0，0}，//(2，1)
{0，0，0，0，-4，13，61，-10，5，-1，0，0}，//(3，1)
{0，0，0，0，0，66，-2，7，0，-1，1，0}，//(0，2)
{0，1，-3，9，-13，61，11，0，0，0，0，0}，//(1，2)
{0，0，0，0，0，37，43，-24，12，-6，2，0}，//(2，2)
{0，0，0，0，0，11，61，-10，10，-3，1，0}，//(3，2)
{0，0，0，0，0，64，0，4，-1，0，0，0}，//(0，3)
{0，0，-1，5，-10，61，13，-4，0，0，0，0}，//(1，3)
{0，0，-2，6，-16，43，39，-12，0，0，0，0}，//(2，3)
{0，1，-3，6，-11，15，58，0，0，0，0，0}，//(3，3)
对于列表1
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，0)
{0，0，0，0，-9，60，14，-6，3，-1，0，0}，//(0，1)
{0，0，-2，5，-11，38，41，-14，0，0，0，0}，//(0，2)
{0，0，-1，3，-6，14，60，-9，0，0，0，0}，//(0，3)
{0，0，-1，4，0，64，0，0，0，0，0，0}，//(1，0)
{0，0，0，0，0，58，15，-11，6，-3，1，0}，//(1，1)
{0，0，0，0，-9，40，43，-16，6，-2，0，0}，//(1，2)
{0，0，0，0，-4，13，61，-10，5，-1，0，0},//(1，3)
{0，0，0，0，0，66，-2，7，0，-1，1，0}，//(2，0)
{0，1，-3，9，-13，61，11，0，0，0，0，0}，//(2，1)
{0，2，-6，12，-24，43，37，0，0，0，0，0}，//(2，2)
{0，0，0，0，0，11，61，-10，10，-3，1，0}，//(2，3)
{0，0，0，0，0，64，0，4，-1，0，0，0}，//(3，0)
{0，0，-1，5，-10，61，13，-4，0，0，0，0}，//(3，1)
{0，0，-2，6，-16，43，39，-12，0，0，0，0}，//(3，2)
{0，0，0，0，0，12，62，-17，7，-3，1，0}，//(3，3)
示例3
以下示例示出可以覆盖达到与用于双向预测的传统十六抽头滤波器相同的区域的具有8个抽头的复杂度的联合设计滤波器集合的示例。
以下被指出并且可以被使用：
1-为了示出基于具有八抽头延迟的等效十六抽头插值滤波器106的每个八抽头插值滤波器106的对准，8个系数被放在十六抽头阵列中。
2-用于每个滤波器的联合亚像素位置被添加在滤波器系数的末端。
3-对于本示例的全部滤波器DC增益是64(要求六比特整数系数。)
对于列表0
{0，0，0，0，0，0，0，64，0，0，0，0，0，0，0，0}，//(0，0)
{0，0，0，0，0，0，-5，59，18，-9，6，-4，2，-1，0，0}，//(1，0)
{0，0，0，0，0，0，-11，38，43，-13，6，-3，1，0，0，0}，//(2，0)
{0，0，-1，2，-4，6，-9，18，59，-5，0，0，0，0，0，0}，//(3，0)
{1，-2，2，-2，2，0，0，61，0，0，0，0，0，0，0，0}，//(0，1)
{0，0，0，1，-3，7，-9，60，14，-6，3，0，0，0，0，0}，//(1，1)
{0，0，-1，3，-6，10，-13，40，40，-11，0，0，0，0，0，0}，//(2，1)
{0，1，-2，3，-5，7，-10，12，59，0，0，0，0，0，0，0}，//(3，1)
{1，-2，3，-4，4，1，2，62，0，0，0，0，0，0，0，0}，//(0，2)
{0，0，0，0，0，0，-7，60，13，-4，7，-5，3，-1，0，0}，//(1，2)
{0，0，0，2，-6，12，-12，40，40，-12，6，0，0，0，0，0}，//(2，2)
{0，1，-2，4，-6，8，-5，12，58，0，0，0，0，0，0，0}，//(3，2)
{0，0，0，0，0，0，0，61，0，0，2，-2，2，-2，1，0}，//(0，3)
{0，0，0，0，0，0，0，57，12，-11，9，-7，5，-3，1，0}，//(1，3)
{0，0，0，0，0，0，-11，43，38，-18，10，-6，3，-1，0，0}，//(2，3)
{0，0，0，0，0，3，-6，14，60，-9，7，-3，1，0，0，0}，//(3，3)
对于列表1
{0，0，0，0，0，0，0，64，0，0，0，0，0，0，0，0}，//(0，0)
{0，0，0，0，0，0，-5，59，18，-9，6，-4，2，-1，0，0}，//(0，1)
{0，0，0，0，0，0，-11，38，43，-13，6，-3，1，0，0，0}，//(0，2)
{0，0，-1，2，-4，6，-9，18，59，-5，0，0，0，0，0，0}，//(0，3)
{1，-2，2，-2，2，0，0，61，0，0，0，0，0，0，0，0}，//(1，0)
{0，0，0，0，0，0，-7，59，14，-6，4，-4，2，-1，0，0}，//(1，1)
{0，0，-1，3，-，10，-13，40，40，-11，0，0，0，0，0，0}，//(1，2)
{0，1，-2，3，-5，7，-10，12，59，0，0，0，0，0，0，0}，//(1，3)
{1，-2，3，-4，4，1，2，62，0，0，0，0，0，0，0，0}，//(2，0)
{0，0，0，0，0，0，-7，60，13，-4，7，-5，3，-1，0，0}，//(2，1)
{0，0，0，0，0，0，-12，40，40，-12，6，-6，3，-1，0，0}，//(2，2)
{0，1，-2，4，-6，s，-5，12，5s，0，0，0，0，0，0，0}，//(2，3)
{0，0，0，0，0，0，0，61，0，0，2，-2，2，-2，1，0}，//(3，0)
{0，0，0，0，0，0，0，57，12，-11，9，-7，5，-3，1，0}，//(3，1)
{0，0，0，0，0，0，-11，43，38，-18，10，-6，3，-1，0，0}，//(3，2)
{0，0，-1，2，-4，4，-6，14，59，-7，0，0，0，0，0，0}，//(3，3)
第一集合附加滤波器示例
示例1
本示例示出可以仅利用4个抽头覆盖达到等效八抽头滤波器的区域的这样的滤波器的示例。注意，在集合之前指示对于每个滤波器的采样延迟。
对于列表0
h1(0，0){0，64，0，0}：|延迟2
h1(0，1)={-1，3，-9，65}：延迟4
h1(0，2)={6，-5，68，-8}：延迟3
h1(0，3)={65，-9，3，-1}：延迟1
h1(1，0)={60，13，-5，2}：延迟1
h1(1，1)={-3，7，-17，61}：|延迟4
h1(1，2)={4，-19，63，9}：延迟3
h1(1，3)={1，-10，61，14}：延迟3
h1(2，0)={-11，41，39，-2}：延迟2
h1(2，1)={38，43，-14，4}：延迟1
h1(2，2)＝{7，-22，40，39}：|延迟3
h1(2，3)={4，-14，43，35}：|延迟3
h1(3，0)={2，-5，13，60}：延迟3
h1(3，1)＝{12，60，-12，2}：延迟1
h1(3，2)＝{9，65，-17，3}：|延迟1
h1(3，3)={61，-17，7，-3}：|延迟0
对于列表1
h2(0，0)={0，64，0，0}：延迟2
h2(0，1)={60，13，-5，2}：延迟1
h2(0，2)={-11，41，39，-2}：|延迟2
h2(0，3)={2，-5，13，60}：延迟3
h2(1，0)={-1，3，-9，65}：延迟4
h2(1，1)＝{59，27，-10，4}：|延迟1
h2(1，2)={38，43，-14，4}：|延迟1
h2(1，3)={12，60，-12，2}：延迟1
h2(2，0)={6，-5，68，-8}：延迟3
h2(2，1)={4，-19，63，9}：|延迟3
h2(2，2)＝{39，40，-22，7}：｜延迟1
h2(2，3)＝{9，65，-17，3}：延迟1
h2(3，0)={65，-9，3，-1}：延迟1
h2(3，1)={1，-10，61，14}：延迟3
h2(3，2){4，-14，43，35}：|延迟3
h2(3，2)＝{4，-10，27，59}：|延迟3
示例2
以下示例示出具有5个抽头的复杂度的联合设计插值滤波器106的示例。注意，在集合前面指示对于每个滤波器的采样延迟。
对于列表0
h1(0，0)＝{0，0，64，0，0}：|延迟3
h1(0，1)={58，-1，-5，3，-1}：延迟1
h1(0，2)={1，-2，-8，65，0}：延迟4
h1(0，3)={1，-3，0，67，-1}：|延迟4
h1(1，0)={-1，3，-8，65，15}：延迟4
h1(1，1)={-1，5，-15，59，14}：|延迟4
h1(1，2)={0，2，-15，61，15}：|延迟4
h1(1，3)={0，1，-10，60，11}：|延迟4
h1(2，0)＝{-1，4，-11，40，38}：延迟4
h1(2，1)={37，41，-17，5，-1}：|延迟1
h1(2，2)＝{-3，10，-24，42，38}：延迟4
h1(2，3)={-1，5，-17，40，40}：|延迟4
h1(3，0)={11，58，-7，3，-1}：|延迟1
h1(3，1)={0，12，63，-10，1}：延迟2
h1(3，2)={0，16，59，-16，2}：延迟2
h1(3，3)={-2，6，-12，15，59}：|延迟4
对于列表1
h2(0，0)={0，0，64，0，0}：延迟3
h2(0，1)={-1，3，-8，65，15}：延迟4
h2(0，2)={40，40，-11，4，-1}：|延迟1
h2(0，3)={11，58，-7，3，-1}：延迟1
h2(1，0){58，-1，-5，3，-1}：|延迟1
h2(1，1)＝{59，15，-12，6，-2}：|延迟1
h2(1，2)={37，41，-17，5，-1}：延迟1
h2(1，3)={12，63，-10，1，0}：延迟1
h2(2，0)＝{66，-6，-4，3，-1}：|延迟1
h2(2，1)＝{2，-15，61，15，0}：延迟3
h2(2，2)={40，40，-21，8，-2}：|延迟1
h2(2，3)={16，59，-16，2，0}：延迟1
h2(3，0)={1，-3，0，67，-1}：延迟4
h2(3，1)={0，1，-10，60，11}：延迟4
h2(3，2)＝{-1，5，-17，40，40}：|延迟4
h2(3，3)＝{14，59，-15，6，-2}：延迟1
示例3
以下示例示出具有6个抽头的复杂度的联合设计滤波器集合的示例。注意，在集合前面指示对于每个滤波器的采样延迟。
对于列表0
h1(0，0)＝{0，0，64，0，0，0}：|延迟3
h1(，0，1)＝{-1，4，0，62，0，1}：|延迟4
h1(0，2)={4，-2，64，-1，2，-4}：延迟3
h1(0，3)={0，62，0，4，-1，0}：|延迟2
h1(1，0)={-9，61，15，-7，3，-1}：|延迟2
h1(1，1)＝{-7，59，15，-6，6，-2}：延迟2
h1(1，2)={-2，9，-8，59，14，-5}：延迟4
h1(1，3)={-1，6，-11，60，14，-5}：|延迟4
h1(2，0)={1，-11，40，41，-13，7}：延迟3
h1(2，1)={-12，39，41，-13，8，-2}：|延迟2
h1(2，2)={-4，11，-12，40，39，-11}：延迟4
h1(2，3)={-2，8，-13，41，39，-12}：|延迟4
h1(3，0)={-1，3，-6，15，61，-9}：|延迟4
h1(3，1)={-5，15，60，-10，6，-1}：|延迟2
h1(3，2)={-5，14，59，-8，9，-2}：延迟2
h1(3，3)={-6，14，59，-8，6，-2}：|延迟2
对于列表1
h2(0，0)={0，0，64，0，0，0}：|延迟3
h2(0，1)={-9，61，15，-7，3，-1}：延迟2
h2(0，2)={1，-11，40，41，-13，7}：延迟3
h2(0，3)={-1，3，-6，15，61，-9}：|延迟4
h2(1，0)={-1，4，0，62，0，1}：|延迟4
h2(1，1)={-2，6，-8，59，14，-6}：延迟4
h2(1，2)={-12，39，41，-13，8，-2}：延迟2
h2(1，3)={-5，15，60，-10，6，-1}：延迟2
h2(2，))={4，-2，64，-1，2，-4}：|延迟3
h2(2，1)=-2，9，-8，59，14，-5}：|延迟4
h2(2，2)={-11，40，40，-11，10，-3}：延迟2
h2(2，3)={-5，14，59，-8，9，-2}：延迟2
h2(3，0)={0，62，0，4，-1，0}：|延迟2
h2(3，1)={-1，6，-11，60，14，-5}：延迟4
h2(3，2)={-2，8，-13，41，39，-12}：|延迟4
h2(3，3)={-2，6，-6，15，59，-7}：|延迟4
组合六和八抽头滤波器示例
特定实施例组合基于用于双向预测的联合亚像素插值滤波器设计的滤波器集合(例如，6个抽头)与基于传统单一预测滤波器的另一滤波器集合(例如，八个抽头)。在插值滤波方案中，如果两个参考中的一个中的亚像素偏移量是0，则可以以传统方式进行插值滤波，其通过被设计用于单向预测(即，用于单个参考的亚像素插值)的滤波器来消除每个参考中的相位。
示例1
在本示例中，特定实施例降低用于插值滤波的存储器存取开销。在一个实施例中，联合亚像素插值滤波器106是6个抽头，并且用于执行单向预测的插值滤波器106是8个抽头。组合单向预测和联合双向预测插值滤波器106可以改进存储器存取开销。例如，在对于双向预测，参考帧中的一个具有零亚像素相位偏移量，并且另一个参考帧具有非零相位偏移量的情况下，如果联合双向预测插值滤波器106被用于滤波，则其要求在滤波器所应用的水平和垂直方向的每个中对于存储器存取(6-1)x2=10个像素开销。如果通过仅对非零亚像素偏移量参考执行单向预测滤波来进行双向预测(注意，在该情况下，具有零偏移量的参考不需要被滤波)，则用于八抽头插值滤波器106的插值所需的开销在滤波器所应用的水平和垂直方向的每个中仅为8-1=7个像素。本示例示出通过组合联合亚像素插值滤波器(通常为较短抽头)和用于简单单向预测(通常为较大抽头)的滤波器可以节省多少存储带宽。
在本示例中列出的滤波器组合联合双向预测滤波器与简单(非联合)预测滤波器，以实现复杂度降低。
以下被指出并且可以被使用：
1-为了示出基于具有六抽头延迟的等效十二抽头插值滤波器106的每个六抽头或八抽头插值滤波器106的对准，将6个系数放在十二抽头阵列中。
2-用于每个插值滤波器106的联合亚像素位置被添加在滤波器系数的末端处。
3-对于本示例的整体滤波器DC增益是64(要求六比特整数系数。)
对于列表0
{0，0，0，0，0，64，0，0，0，0，0，0}，//（0，0)
{0，0，-1，3，-8，60，13，-4，1，0，0，0}，//(1，0)
{0，0，-1，4，-11，40，40，-11，4，-1，0，0}，//(2，0)
{0，0，0，1，-4，13，60，-8，3，-1，0，0}，//(3，0)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，1)
{0，1，-3，7，-17，62，12，0，0，0，0，0},//(1，1)
{0，0，0，0，-9，40，43，-16，6，-2，0，0}，//(2，1)
{0，0，0，0，-4，13，61，-10，5，-1，0，0}，//(3，1)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，2)
{0，1，-3，9，-13，61，11，0，0，0，0，0}，//(1，2)
{0，0，0，0，0，37，43，-24，12，-6，2，0}，//(2，2)
{0，0，0，0，0，11，61，-10，10，-3，1，0}，//(3，2)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，3)
{0，0，-1，5，-10，61，13，-4，0，0，0，0}，//(1，3)
{0，0，-2，6，-16，43，39，-12，0，0，0，0}，//(2，3)
{0，1，-3，6，-11，15，58，0，0，0，0，0}，//(3，3)
对于列表1
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，0)
{0，0，-1，3，-8，60，13，-4，1，0，0，0}，//(0，1)
{0，0，-1，4，-11，40，40，-11，4，-1，0，0}，//(0，2)
{0，0，0，1，-4，13，60，-8，3，-1，0，0}，//(0，3)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(1，0)
{0，0，0，0，0，58，15，-11，6，-3，1，0}，//(1，1)
{0，0，0，0，-9，40，43，-16，6，-2，0，0}，//(1，2)
{0，0，0，0，-4，13，61，-10，5，-1，0，0}，//(1，3)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(2，0)
{0，1，-3，9，-13，61，11，0，0，0，0，0}，//(2，1)
{0，2，-6，12，-24，43，37，0，0，0，0，0}，//(2，2)
{0，0，0，0，0，11，61，-10，10，-3，1，0}，//(2，3)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(3，0)
{0，0，-1，5，-10，61，13，-4，0，0，0，0}，//(3，1)
{0，0，-2，6，-16，43，39，-12，0，0，0，0}，//(3，2)
{0，0，0，0，0，12，62，-17，7，-3，1，0}，//(3，3)
具有受限DC增益的滤波器示例
在一个实施例中，插值滤波器106基于用于双向预测的联合亚像素插值滤波器设计，具有应用至参考块的每个单一插值滤波器106都具有与该滤波器集合中的其他滤波器相同的DC增益的附加要求。该要求不允许一对联合插值滤波器集合(例如，用于位置(1/4，1/2))中的各个插值滤波器106具有不同DC增益，尽管插值滤波器106具有如先前示例中的DC增益的固定总和(即，在较早示例中，在将两个滤波后的参考相加之后的整体DC增益对于集合中的所有滤波器对都相同)。该约束使得能够在将两个预测相加并且对它们求平均和移位它们之前，具有用于保存临时滤波预测的较小尺寸的存储器。
示例1
在本示例中列出的插值滤波器106组合联合双向预测六抽头滤波器与单一(非联合)八抽头滤波器。
以下被指出并且可以被使用：
1-为了示出基于具有六抽头延迟的等效十二抽头插值滤波器106的每个六抽头或八抽头插值滤波器106的对准，系数被放在十二抽头阵列中。
2-用于每个插值滤波器106的联合亚像素位置被添加在滤波器系数的末端。
3-对于每个插值滤波器106的滤波器DC增益是64(要求六比特位整数系数。)
对于列表0
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，0)
{0，0，-1，3，-8，60，13，-4，1，0，0，0}，//(1，0)
{0，0，-1，4，-11，40，40，-11，4，-1，0，0}，//(2，0)
{0，0，0，1，-4，13，60，-8，3，-1，0，0}，//(3，0)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，1)
{0，1，-3，6，-15，61，14，0，0，0，0，0}，//(1，1)
{0，0，0，0，-9，40，44，-15，6，-2，0，0}，//(2，1)
{0，0，0，0，-4，13，61，-10，5，-1，0，0}，//(3，1)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，2)
{0，1，-3，9，-13，61，9，0，0，0，0，0}，//(1，2)
{0，0，0，0，0，37，43，-24，12，-6，2，0}，//(2，2)
{0，0，0，0，0，10，60，-12，8，-2，0，0}，//(3，2)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，3)
{0，0，-1，5，-10，61，13，-4，0，0，0，0}，//(1，3)
{0，0，-2，6，-16，45，39，-8，0，0，0，0}，//(2，3)
{0，1，-3，6，-12，15，57，0，0，0，0，0}，//(3，3）
对于列表1
{0，0，0，0，0，64，0，0，0，0，0，0}，//(0，0)
{0，0，-1，3，-8，60，13，-4，1，0，0，0}，//(0，1)
{0，0，-1，4，-11，40，40，-11，4，-1，0，0}，//(0，2)
{0，0，0，1，-4，13，60，-8，3，-1，0，0}，//(0，3)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(1，0)
{0，0，0，0，0，57，15，-12，6，-3，1，0}，//(1，1)
{0，0，0，0，-9，40，44，-15，6，-2，0，0}，//(1，2)
{0，0，0，0，-4，13，61，-10，5，-1，0，0}，//(1，3)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(2，0)
{0，1，-3，9，-13，61，9，0，0，0，0，0}，//(2，1)
{0，2，-6，12，-24，43，37，0，0，0，0，0}，//(2，2)
{0，0，0，0，0，10，60，-12，8，-2，0，0}，//(2，3)
{0，0，0，0，0，64，0，0，0，0，0，0}，//(3，0)
{0，0，-1，5，-10，61，13，-4，0，0，0，0}，//(3，1)
{0，0，-2，6，-16，45，39，-8，0，0，0，0}，//(3，2)
{0，0，0，0，0，14，61，-15，6，-3，1，0}，//(3，3)
基于预测器块的数量的滤波器示例
在一个实施例中，亚像素插值滤波器106的选择取决于参考块的数量。以下被指出并且可以被使用：
1-在仅存在一个用于预测的参考块的情况下，特定实施例使用用于单向预测的滤波器设计之一以增加运动补偿的准确度和性能，用于单向预测的滤波器设计诸如是在于2012年6月25日提交的题为“Se1ection of Phase Offsets For Interpo1ation Fi1ters for MotionCompensation”的美国专利申请No，13/532,217中描述的滤波器设计，其全部内容结合于此作为参考，用于所有目的。
2-对于双向预测运动补偿情况，可以使用联合插值滤波器106。这些联合亚像元插值滤波器106(JSPIF)利用减少数量的滤波器抽头提供更宽通带，并且因此降低复杂度(与在传统亚像素插值中使用的那些滤波器相比)。
编码器和解码器示例
图4A描绘根据一个实施例的用于基于一个或多个参考提供时间预测的编码器102的示例。现在将描述编码器102的一般操作。将理解，关于所描述的编码处理的改变将由本领域技术人员基于在此的公开和教导想到。
对于当前PU，x，通过空间预测或时间预测，获得预测PU，x’。然后，从当前PU减去预测PU，得到残余PU，e。空间预测块304可以包括每PU不同的空间预测方向，诸如，水平、垂直、45度对角线、135度对角线、DC(平坦求平均)、以及平面。
时间预测块306通过运动估计和运动补偿操作来执行时间预测。运动估计操作在参考块上搜索对于当前PU的最佳匹配预测。通过运动矢量(MV)和相关联的参考块(refIdx)，描述最佳匹配预测。运动矢量和相关联的参考块包括在编码后的比特流中。在运动补偿中，使用MV和refldx，确定对于当前PU的最佳匹配预测。
变换块307利用残余PU，e执行变换操作。变换块307在变换域中输出残余PU，E。
然后，量化器308量化残余PU，E的变换系数。量化器308将变换系数转换为有限数量的可能值。熵编码块310对量化后的系数熵编码，其产生最终被发送的压缩比特。可以使用不同熵编码方法，诸如，上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算法编码(CABAC)。
而且，在编码器102中的解码处理中，反量化器312反量化残余PU的量化后的变换系数。然后，反量化器312输出反量化后的变换系数E’。逆变换块314接收反量化后的变换系数，然后其被逆变换，得到重构的残余PU，e’。然后，将重构的PU，e’加到对应的空间或时间的预测x’，以形成新的重构PU，x”。环路滤波器316对重构的PU，x”执行解块，以减少块效应。另外，在完成用于解码后的图片的解块滤波处理之后，环路滤波器316可以执行采样自适应偏移量处理，其补偿重构像素和原始像素之间的像素值偏移量。而且，环路滤波器316可以对重构的PU执行自适应滤波，其最小化输入和输出图片之间的编码失真。另外，如果重构的图片是参考块，则将参考块存储在参考缓冲器318中，用于未来时间预测。
插值滤波器106对用于时间预测块306的亚像元像素值进行插值。时间预测块306使用亚像元像素值，以生成当前PU的预测。
图4B描绘根据一个实施例的用于基于一个或多个参考提供时间预测的解码器104的示例。现在将描述解码器104的一般操作。将理解，关于所描述的解码处理的改变将由本领域技术人员基于在此的公开和教导想到。解码器104从编码器102接收用于压缩后的视频内容的输入比特。
熵解码块330对对应于残余PU的量化后的变换系数的输入比特执行熵解码。反量化器332反量化残余PU的量化后的变换系数。然后，反量化器332输出残余PU，E’的反量化变换系数。逆变换块334接收反量化后的变换系数，然后其被逆变换，得到重构的残余PU，e’。
然后，将重构的PU，e’加至对应的空间或时间预测x’，以形成新的重构PU，x”。环路滤波器336对重构的PU，x”执行解块，以减少块效应。另外，在完成用于解码后的图片的解块滤波处理之后，环路滤波器336可以执行采样自适应偏移量处理，其补偿重构的像素和原始像素之间的像素值偏移量。而且，环路滤波器336可以对重构的PU执行自适应环路滤波，其最小化输入和输出图片之间的编码失真。另外，如果重构的图片是参考块，则将参考块存储在参考缓冲器338中，用于未来时间预测。
通过空间预测或时间预测，获得预测PU，x’。空间预测块340可以接收每PU的解码后的空间预测方向，诸如，水平、垂直、45度对角线、135度对角线、DC(平坦求平均)、以及平面。空间预测方向被用于确定预测PU，x’。
插值滤波器106对用于输入到时间预测块342中的亚像元像素值进行插值。时间预测块342通过运动估计和运动补偿操作，执行时间预测。然后，解码后的运动矢量或从其他运动信息推导的运动矢量被用于确定预测PU，x’。
特定实施例可以在由指令执行***、装置、***或机器使用或与之组合的非暂时性计算机可读存储介质中实现。计算机可读存储介质包含用于控制计算机***执行由特定实施例描述的方法的指令。当由一个或多个计算机处理器执行时，指令可操作以执行在特定实施例中描述的方法。
除非上下文另外清楚地指出，否则如在此的说明书中并且贯穿以下权利要求使用的，“一个(a)”、“一个(an)”、以及“该(the)”包括多个参考。而且，如在此的说明书中并且贯穿以下权利要求使用的，除非上下文另外清楚地指出，否则“在...中”的意义包括“在...中”和“在...上”。
以上说明书说明本发明的多个实施例以及本发明的多个方面如何被实现的示例。以上示例和实施例不被认为仅有的实施例，并且被给出以说明由以下权利要求限定的本发明的灵活性和优点。基于以上公开和以下权利要求，可以在不脱离由权利要求限定的本发明的范围的情况下，采用其他布置、实施例、实现和等价物。

Claims (20)

1.一种用于编码或解码视频内容的方法，所述方法包括：
确定在对用于视频内容的时间预测处理的亚像元值进行插值时使用的多个插值滤波器，其中，基于关于两个参考块的亚像元偏移量来设计所述多个插值滤波器；
通过计算设备，对于单位视频内容确定关于第一参考块的第一亚像元偏移量；
通过所述计算设备，对于所述单位视频内容确定关于第二参考块的第二亚像元偏移量；
通过所述计算设备，确定插值滤波器集合，以对在用于所述单位视频内容的所述时间预测处理中使用的亚像元像素值集合进行插值，其中，所述插值滤波器集合被设计用于所述第一亚像元偏移量和所述第二亚像元偏移量，并且被用于对关于所述第一参考块的第一亚像元像素值和关于所述第二参考块的第二亚像元值进行插值。
2.根据权利要求1所述的方法，其中，确定所述插值滤波器集合包括：
确定用于所述第一参考块的第一插值滤波器，基于所述第一亚像元偏移量和所述第二亚像元偏移量来设计所述第一插值滤波器；以及
确定用于所述第二参考块的第二插值滤波器，基于所述第一亚像元偏移量和所述第二亚像元偏移量来设计所述第二插值滤波器。
3.根据权利要求2所述的方法，其中：
所述多个插值滤波器包括被用于与所述第一参考块相关联的第一列表的第一部分插值滤波器，
所述多个插值滤波器包括被用于与所述第二参考块相关联的第二列表的第二部分插值滤波器，以及
所述第一插值滤波器选自所述第一部分插值滤波器，并且所述第二插值滤波器选自所述第二部分插值滤波器。
4.根据权利要求1所述的方法，其中，所述多个插值滤波器被设计用于关于所述第一参考块和所述第二参考块的亚像元偏移量的所有组合。
5.根据权利要求1所述的方法，其中，确定所述插值滤波器集合包括：
确定用于所述第一参考块的第一插值滤波器，所述第一插值滤波器被设计有第一延迟以覆盖第一部分像素值；以及
确定用于所述第二参考块的第二插值滤波器，所述第二插值滤波器被设计有第二延迟以覆盖第二部分像素值，
其中，所述第一部分像素值不同于所述第二部分像素值。
6.根据权利要求5所述的方法，其中：
所述第一插值滤波器和所述第二插值滤波器包括第一数量的抽头；以及
由于所述第一延迟和所述第二延迟，所述第一插值滤波器和所述第二插值滤波器覆盖大于所述第一数量的抽头的像素区域。
7.根据权利要求6所述的方法，其中，被覆盖的区域等效于使用具有不同于所述第一数量的抽头的第二数量的抽头的插值滤波器。
8.根据权利要求1所述的方法，其中，当所述第一亚像元偏移量或所述第二亚像元偏移量中的一个不存在相移时，使用单向预测来对所述第一亚像元偏移量或所述第二亚像元偏移量中具有相移的一个进行插值。
9.根据权利要求8所述的方法，其中：
用于单向预测和双向预测的插值滤波器包括在所述多个滤波器中，以及
使用单向预测的插值滤波器与使用双向预测的插值滤波器包括不同数量的抽头。
10.根据权利要求1所述的方法，其中，对于所述插值滤波器集合中的每对插值滤波器，直流(DC)增益的总和是固定的。
11.根据权利要求1所述的方法，其中，对于所述插值滤波器集合中的每个插值滤波器，直流(DC)增益是固定的。
12.一种被配置成编码或解码视频内容的装置，所述装置包括：
一个或多个计算机处理器；以及
包括指令的计算机可读存储介质，所述指令在被执行时控制所述一个或多个计算机处理器被配置用于：
确定在对用于视频内容的时间预测处理的亚像元值进行插值时使用的多个插值滤波器，其中，基于关于两个参考块的亚像元偏移量来设计所述多个插值滤波器；
对于单位视频内容确定关于第一参考块的第一亚像元偏移量；
对于所述单位视频内容确定关于第二参考块的第二亚像元偏移量；以及
确定插值滤波器集合，以对在用于所述单位视频内容的所述时间预测处理中使用的亚像元像素值集合进行插值，其中，所述插值滤波器集合被设计用于所述第一亚像元偏移量和所述第二亚像元偏移量，并且被用于对关于所述第一参考块的第一亚像元像素值和关于所述第二参考块的第二亚像元值进行插值。
13.根据权利要求12所述的装置，其中，确定所述插值滤波器集合包括：
确定用于所述第一参考块的第一插值滤波器，基于所述第一亚像元偏移量和所述第二亚像元偏移量来设计所述第一插值滤波器；以及
确定用于所述第二参考块的第二插值滤波器，基于所述第一亚像元偏移量和所述第二亚像元偏移量来设计所述第二插值滤波器。
14.根据权利要求13所述的装置，其中：
所述多个插值滤波器包括被用于与所述第一参考块相关联的第一列表的第一部分插值滤波器，
所述多个插值滤波器包括被用于与所述第二参考块相关联的第二列表的第二部分插值滤波器，以及
所述第一插值滤波器选自所述第一部分插值滤波器，并且所述第二插值滤波器选自所述第二部分插值滤波器。
15.根据权利要求12所述的装置，其中，所述多个插值滤波器被设计用于关于所述第一参考块和所述第二参考块的亚像元偏移量的所有组合。
16.根据权利要求12所述的装置，其中，确定所述插值滤波器集合包括：
确定用于所述第一参考块的第一插值滤波器，所述第一插值滤波器被设计有第一延迟以覆盖第一部分像素值；以及
确定用于所述第二参考块的第二插值滤波器，所述第二插值滤波器被设计有第二延迟以覆盖第二部分像素值，
其中，所述第一部分像素值不同于所述第二部分像素值。
17.根据权利要求16所述的装置，其中：
所述第一插值滤波器和所述第二插值滤波器包括第一数量的抽头；以及
由于所述第一延迟和所述第二延迟，所述第一插值滤波器和所述第二插值滤波器覆盖大于所述第一数量的抽头的像素区域。
18.根据权利要求17所述的装置，其中，当不使用延迟时，被覆盖的区域等效于使用具有第二数量的抽头的插值滤波器。
19.根据权利要求12所述的装置，其中，当所述第一亚像元偏移量或所述第二亚像元偏移量中的一个不具有相移时，使用单向预测来对所述第一亚像元偏移量或所述第二亚像元偏移量中具有相移的一个进行插值。
20.一种非暂时性计算机可读存储介质，包括用于编码或解码视频内容的指令，所述指令在被执行时控制计算机***可操作用于：
确定在对用于视频内容的时间预测处理的亚像元值进行插值时使用的多个插值滤波器，其中，基于关于两个参考块的亚像元偏移量来设计所述多个插值滤波器；
对于单位视频内容确定关于第一参考块的第一亚像元偏移量；
对于所述单位视频内容确定关于第二参考块的第二亚像元偏移量；以及
确定插值滤波器集合，以对在用于所述单位视频内容的所述时间预测处理中使用的亚像元像素值集合进行插值，其中，所述插值滤波器集合被设计用于所述第一亚像元偏移量和所述第二亚像元偏移量，并且被用于对关于所述第一参考块的第一亚像元像素值和关于所述第二参考块的第二亚像元值进行插值。
CN201280033120.0A 2011-07-01 2012-07-02 用于时间预测的联合亚像素插值滤波器 Active CN103650506B (zh)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201161504139P 2011-07-01 2011-07-01
US61/504,139 2011-07-01
US201161506586P 2011-07-11 2011-07-11
US61/506,586 2011-07-11
US201161535941P 2011-09-16 2011-09-16
US61/535,941 2011-09-16
US201161538107P 2011-09-22 2011-09-22
US61/538,107 2011-09-22
US201161539420P 2011-09-26 2011-09-26
US61/539,420 2011-09-26
US201161557422P 2011-11-09 2011-11-09
US61/557,422 2011-11-09
PCT/US2012/045297 WO2013006573A1 (en) 2011-07-01 2012-07-02 Joint sub-pixel interpolation filter for temporal prediction
US13/540,270 US9319711B2 (en) 2011-07-01 2012-07-02 Joint sub-pixel interpolation filter for temporal prediction
US13/540,270 2012-07-02

Publications (2)

Publication Number Publication Date
CN103650506A true CN103650506A (zh) 2014-03-19
CN103650506B CN103650506B (zh) 2017-08-15

Family

ID=47390668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280033120.0A Active CN103650506B (zh) 2011-07-01 2012-07-02 用于时间预测的联合亚像素插值滤波器

Country Status (8)

Country Link
US (1) US9319711B2 (zh)
EP (1) EP2727358A1 (zh)
JP (1) JP5727673B2 (zh)
KR (1) KR101590736B1 (zh)
CN (1) CN103650506B (zh)
BR (1) BR112013033743A2 (zh)
MX (1) MX2013015056A (zh)
WO (1) WO2013006573A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112236995A (zh) * 2018-02-02 2021-01-15 苹果公司 多假设运动补偿技术
CN113099231A (zh) * 2021-03-23 2021-07-09 北京百度网讯科技有限公司 确定亚像素插值位置的方法、装置、电子设备和存储介质
WO2022133664A1 (zh) * 2020-12-21 2022-06-30 深圳市大疆创新科技有限公司 像素插值方法、装置、电子设备和计算机可读介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313519B2 (en) 2011-03-11 2016-04-12 Google Technology Holdings LLC Interpolation filter selection using prediction unit (PU) size
US9264725B2 (en) 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
CN103650506B (zh) * 2011-07-01 2017-08-15 谷歌技术控股有限责任公司 用于时间预测的联合亚像素插值滤波器
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
JP7032039B2 (ja) * 2016-06-28 2022-03-08 Tdk株式会社 積層コイル部品
US10116957B2 (en) * 2016-09-15 2018-10-30 Google Inc. Dual filter type for motion compensated prediction in video coding
US10499078B1 (en) * 2017-02-07 2019-12-03 Google Llc Implicit motion compensation filter selection
US11924440B2 (en) * 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
EP3700210A1 (en) 2019-02-21 2020-08-26 Ateme Method and apparatus for image encoding
US11375222B2 (en) * 2019-09-22 2022-06-28 Tencent America LLC Method and device for video encoding and decoding with interpolation filter flag being consistent with MMVD distances

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666429A (zh) * 2002-07-09 2005-09-07 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和***
US20100111182A1 (en) * 2008-10-03 2010-05-06 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
CN102084655A (zh) * 2008-07-07 2011-06-01 高通股份有限公司 通过过滤器选择进行的视频编码

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1335794C (en) 1988-04-07 1995-06-06 Yoshiyuki Okada Process and apparatus for image magnification
DE19730305A1 (de) * 1997-07-15 1999-01-21 Bosch Gmbh Robert Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion
US6252576B1 (en) 1998-08-06 2001-06-26 In-System Design, Inc. Hardware-efficient system for hybrid-bilinear image scaling
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7110459B2 (en) 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter
US7190724B2 (en) 2002-04-12 2007-03-13 Seiko Epson Corporation Method and apparatus for transform domain video processing
JP4120301B2 (ja) 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
US20040076333A1 (en) 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
FR2854259B1 (fr) 2003-04-28 2005-10-21 France Telecom Systeme d'aide a la generation de requetes et procede correspondant
KR100624429B1 (ko) 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
NO319660B1 (no) 2003-11-17 2005-09-05 Tandberg Telecom As Fremgangsmåte for interpolering av pixelverdier
NO319629B1 (no) 2003-11-28 2005-09-05 Tandberg Telecom As Fremgangsmate for korrigering av interpolerte pikselverdier
US7505636B2 (en) 2004-03-04 2009-03-17 Broadcom Corporation System and method for two-pass interpolation for quarter-pel motion compensation
EP1617672A1 (en) 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
US7653132B2 (en) 2004-12-21 2010-01-26 Stmicroelectronics, Inc. Method and system for fast implementation of subpixel interpolation
US7941006B2 (en) 2005-02-25 2011-05-10 Panasonic Corporation Pixel interpolating method and device
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8208564B2 (en) 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
KR20070012201A (ko) 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
EP1761062A1 (en) 2005-09-06 2007-03-07 BRITISH TELECOMMUNICATIONS public limited company Generating and storing image data
US7965177B2 (en) 2005-09-16 2011-06-21 Sharp Kabushiki Kaisha Display system, screen design setting tool, display system program, screen design setting program, and recording medium
US7155213B1 (en) 2005-09-16 2006-12-26 James R. Almeda Remote control system
US7778494B2 (en) 2005-10-13 2010-08-17 Texas Instruments Incorporated FIR-based interpolation in advanced video codecs on VLIW processor
CN1794821A (zh) 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
US20080075165A1 (en) 2006-09-26 2008-03-27 Nokia Corporation Adaptive interpolation filters for video coding
KR100827093B1 (ko) 2006-10-13 2008-05-02 삼성전자주식회사 영상 부호화 방법 및 장치
US7958177B2 (en) 2006-11-29 2011-06-07 Arcsoft, Inc. Method of parallelly filtering input data words to obtain final output data words containing packed half-pel pixels
EP1983759A1 (en) 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
US8509567B2 (en) 2007-07-09 2013-08-13 Analog Devices, Inc. Half pixel interpolator for video motion estimation accelerator
CN101453646B (zh) 2007-12-04 2012-02-22 华为技术有限公司 图像插值方法、装置及插值系数的获取方法
CN101971632B (zh) * 2008-01-08 2013-10-16 艾利森电话股份有限公司 自适应滤波
KR101456487B1 (ko) 2008-03-04 2014-10-31 삼성전자주식회사 부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화방법 및 그 장치
US8971412B2 (en) 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US20090257499A1 (en) 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US20110116546A1 (en) 2009-07-06 2011-05-19 Xun Guo Single pass adaptive interpolation filter
JP5922579B2 (ja) 2009-10-14 2016-05-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 動き情報の適応型符号化方法及び装置
US20110200108A1 (en) 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US9219921B2 (en) 2010-04-12 2015-12-22 Qualcomm Incorporated Mixed tap filters
US20120008686A1 (en) 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
US8792559B2 (en) * 2010-10-26 2014-07-29 Sony Corporation Method to improve accuracy and reliability of motion estimated with phase correlation
US9049454B2 (en) 2011-01-19 2015-06-02 Google Technology Holdings Llc. High efficiency low complexity interpolation filters
US20120224639A1 (en) 2011-03-03 2012-09-06 General Instrument Corporation Method for interpolating half pixels and quarter pixels
US8437581B2 (en) 2011-03-04 2013-05-07 General Instrument Corporation Method and system for interpolating fractional video pixels
US9313519B2 (en) * 2011-03-11 2016-04-12 Google Technology Holdings LLC Interpolation filter selection using prediction unit (PU) size
WO2012177301A1 (en) 2011-06-22 2012-12-27 General Instrument Corporation Fractional pixel interpolation filter for video compression
US9264725B2 (en) * 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
CN103650506B (zh) * 2011-07-01 2017-08-15 谷歌技术控股有限责任公司 用于时间预测的联合亚像素插值滤波器
KR101674777B1 (ko) 2011-11-08 2016-11-09 구글 테크놀로지 홀딩스 엘엘씨 샘플 적응 오프셋 코딩 및/또는 시그널링을 위한 장치들 및 방법들
US20140078394A1 (en) 2012-09-17 2014-03-20 General Instrument Corporation Selective use of chroma interpolation filters in luma interpolation process

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666429A (zh) * 2002-07-09 2005-09-07 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和***
CN102084655A (zh) * 2008-07-07 2011-06-01 高通股份有限公司 通过过滤器选择进行的视频编码
US20100111182A1 (en) * 2008-10-03 2010-05-06 Qualcomm Incorporated Digital video coding with interpolation filters and offsets

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112236995A (zh) * 2018-02-02 2021-01-15 苹果公司 多假设运动补偿技术
WO2022133664A1 (zh) * 2020-12-21 2022-06-30 深圳市大疆创新科技有限公司 像素插值方法、装置、电子设备和计算机可读介质
CN113099231A (zh) * 2021-03-23 2021-07-09 北京百度网讯科技有限公司 确定亚像素插值位置的方法、装置、电子设备和存储介质
CN113099231B (zh) * 2021-03-23 2022-12-20 北京百度网讯科技有限公司 确定亚像素插值位置的方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN103650506B (zh) 2017-08-15
JP5727673B2 (ja) 2015-06-03
WO2013006573A1 (en) 2013-01-10
MX2013015056A (es) 2014-06-23
US9319711B2 (en) 2016-04-19
BR112013033743A2 (pt) 2019-09-24
EP2727358A1 (en) 2014-05-07
KR101590736B1 (ko) 2016-02-01
KR20140024963A (ko) 2014-03-03
US20130003841A1 (en) 2013-01-03
JP2014524198A (ja) 2014-09-18

Similar Documents

Publication Publication Date Title
CN103650506A (zh) 用于时间预测的联合亚像素插值滤波器
US11729420B2 (en) Intra-prediction method using filtering, and apparatus using the method
RU2654525C1 (ru) Способ для интерполяции изображений с использованием асимметричного интерполяционного фильтра и устройство для этого
RU2603541C2 (ru) Способ и устройство для кодирования видео и способ и устройство для декодирования видео
CN106878744B (zh) 确定时间合并候选块的方法
JP4120301B2 (ja) 画像処理装置およびその方法
US20130301941A1 (en) Image processing device and method
EP2704434B1 (en) Method and device for encoding video image, method and device for decoding video image, and program therefor
CN102823250A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
WO2013067440A1 (en) Motion vector scaling for non-uniform motion vector grid
US9667963B2 (en) Method and apparatus for encoding video, method and apparatus for decoding video, and programs therefor
JP2024069438A (ja) イントラ予測を用いた符号化
US20160100187A1 (en) Method for inducing motion information in multilayer structure and apparatus using same
US20140247865A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and program therefor
KR20230110695A (ko) 인트라 예측 방법 및 장치
JP2023519945A (ja) ４：４：４のクロマフォーマット及びシングルツリーの場合のすべてのチャネルに対するｍｉｐ
EP2774373A1 (en) Motion vector scaling for non-uniform motion vector grid

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160407

Address after: American California

Applicant after: Technology Holdings Co., Ltd of Google

Address before: Illinois State

Applicant before: Motorola Mobility, Inc.

GR01 Patent grant
GR01 Patent grant