CN102037732A - 单循环自适应内插滤波器 - Google Patents

单循环自适应内插滤波器 Download PDF

Info

Publication number
CN102037732A
CN102037732A CN2010800015702A CN201080001570A CN102037732A CN 102037732 A CN102037732 A CN 102037732A CN 2010800015702 A CN2010800015702 A CN 2010800015702A CN 201080001570 A CN201080001570 A CN 201080001570A CN 102037732 A CN102037732 A CN 102037732A
Authority
CN
China
Prior art keywords
filter
frame
competition
order
interpolation filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800015702A
Other languages
English (en)
Other versions
CN102037732B (zh
Inventor
郭峋
张凯
黄毓文
傅智铭
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Singapore Pte Ltd
Original Assignee
MediaTek Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Singapore Pte Ltd filed Critical MediaTek Singapore Pte Ltd
Publication of CN102037732A publication Critical patent/CN102037732A/zh
Application granted granted Critical
Publication of CN102037732B publication Critical patent/CN102037732B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种执行单循环自适应内插滤波的方法，用以编码比特流，该方法包括：接收多个视频帧；从竞争滤波器集合中选择内插滤波器；使用该内插滤波器对于该视频帧的当前帧执行运动预测；将该当前帧编码至该比特流；以及更新该竞争滤波器集合。

Description

单循环自适应内插滤波器
技术领域
本发明有关于自适应内插滤波器，更特别地，有关于一种仅使用单循环编码以执行滤波处理的自适应内插滤波器。
背景技术
在运动补偿预测处理中，使用具有分像素(fractional pixel)分辨率(例如1/4像素或1/8像素)的位移向量，用以改善预测精确度。为了估测和补偿这些分像素位移，在视频编码与译码中使用内插滤波器。与传统的固定内插滤波器相比，自适应内插滤波器(AdaptiveInterpolation Filter，AIF)通过对一个序列的不同内部图像提供不同的滤波器，进一步地增强编码效率。基于维纳滤波器(Wiener filter)的AIF是非常流行的一种，滤波之后可有效地减少预测误差。这种类型的AIF对视频信号的一些非平稳统计特性(例如，运动和叠频)进行补偿，并最小化原始像素和预测像素之间的预测误差。
请参考图1，图1为具有自适应内插滤波器的编码器100的示意图。如图1所示，编码器100包括帧间预测单元110和帧内预测单元105两者，并包括产生用于运动估测/补偿和模式决定的分像素的AIF 115。滤波器信息(例如，滤波器切换、滤波器类型和滤波器系数)通过熵编码单元150在比特流中进行编码。相应的译码器从该比特流中撷取该滤波器信息，并将其发送至该译码器的一个AIF。
通常，对于自适应内插滤波器，需要双循环(two-pass)编码处理。在第一循环(pass)中，对于参考图像，使用一个预设内插滤波器用以内插分像素值，并产生预测信号。然后，滤波器参数估测器通过计算该预测信号的自相关矩阵和原始信号与该预测信号之间的互相关向量，构建维纳-霍普夫(Wiener-Hopf)方程。之后，对该维纳-霍普夫方程进行求解，用以为每个子像素(sub-pixel)位置产生最优滤波器系数。第二循环中，在该参考图像的内插处理中，使用最优滤波器系数，用以为运动估测/补偿和模式决定产生分像素。需注意的是，可循环执行第二循环，但执行次数的增长增加了***的延迟和复杂度。
因此，在性能和复杂度之间存在一个折衷。更多循环将产生更精确的运动向量，但也将增加编码延迟和计算能力。此外，AIF的每个循环须串行执行。对于每个循环，也需要从片外存储器(off-chip memory)下载参考帧至片上存储器(on-chip memory)。因此，极大地增加了功耗和存取时间。
发明内容
为改善编码效率，本发明提供一种具有单循环自适应内插滤波器的编码器和译码器。
本发明提供一种执行单循环自适应内插滤波的方法，用以依据本发明的范例实施例编码比特流，该方法包括：接收多个视频帧；对于当前帧的特殊区域，从竞争滤波器集合选择内插滤波器；对于该当前帧的该特殊区域，使用该内插滤波器执行运动预测；将该当前帧编码至该比特流；以及更新该竞争滤波器集合。
本发明另提供一种编码器，以单循环方式对已接收的多个视频帧执行自适应内插滤波，该编码器包括：预测单元，用以依据原始数据和已重构数据，对该已接收的多个视频帧的当前帧执行预测，以产生预测样本；重构单元，耦接该预测单元，用以对该预测样本进行重构以形成该已重构数据；参考帧缓冲器，用以存储该已重构数据；系数缓冲器，用以存储竞争滤波器集合；以及自适应内插滤波器，耦接该参考帧缓冲器与该预测单元之间，对于该当前帧，用以依据选择自该竞争滤波器集合的内插滤波器对该已重构数据进行滤波。
本发明再提供一种译码器，用以将比特流译码至多个视频帧，该译码器包括：用以对该比特流进行解析以产生帧间模式信息、滤波器信息和残差的装置；用以依据预测样本和该残差产生已重构数据的装置；用以存储该已重构数据的装置；用以利用选择自竞争滤波器集合的内插滤波器对该已重构数据进行滤波的装置，其中该内插滤波器系依据该滤波器信息于特殊级选取；以及用以自该熵译码单元接收该帧间模式信息，并自该自适应内插滤波器接收该已滤波的已重构数据，以产生该预测样本的装置。
任何所属技术领域的技术人员在阅读接下来的优选实施例的细节描述之后，可毫无疑问地了解本发明的其他目的，其中以多个附图举例说明这些优选实施例。
附图说明
图1为具有自适应内插滤波器的编码器的示意图；
图2为依据本发明一实施例的具有单循环自适应内插滤波器的编码器的示意图；
图3为依据本发明一实施例的具有单循环自适应内插滤波器的译码器的示意图；
图4为竞争滤波器集合的宏块级滤波器选择的示意图；
图5为依据本发明一实施例的用于单循环2D不可分AIF的子像素内插处理的示意图；
图6为依据本发明一实施例的用于单循环2D可分AIF的子像素内插处理的示意图；
图7为依据本发明一实施例的用于单循环定向AIF的子像素内插处理的示意图；
图8为依据本发明一实施例的用于单循环EAIF的子像素内插处理的示意图。
具体实施方式
如上所述，多循环AIF解决方案造成延迟和计算复杂度。在本发明中，提议在视频编码和译码中使用多个单循环AIF设计。基于维纳滤波器的自适应内插滤波器为单循环AIF的滤波器类型的示例。
当具有单循环AIF的编码器接收输入帧FT时，用于帧FT的特殊区域的竞争滤波器集合(competitive filter set，CFS)已经可供本地滤波器选择。竞争滤波器集合包括用于N个不同内插滤波器的滤波器系数。请注意，N可以是固定数目或可变数目，且对于每个帧在比特流中可自适应地传输。在一些实施例中，在模块级进行滤波器选择，例如，预测分区(prediction partitions)、宏块或超宏块级。输入帧FT的每个模块可执行计算用以自竞争滤波器集合选择一个最佳滤波器。例如，该计算可以为率失真最优化(rate-distortion optimization，RDO)，且该最佳滤波器与竞争滤波器集合的其他滤波器相比，具有最低率失真。竞争滤波器集合可以包括最近的先前帧的最优滤波器以及H.264内插滤波器或其他固定内插滤波器。所选滤波器的信息可被明确地编码至比特流用以通知该译码器。
在一些实施例中，时间延迟单循环AIF产生当前帧FT的最优滤波器系数，然后将该已产生的最优滤波器系数包括至竞争滤波器集合，用于下一个帧FT+1。通常，连续的视频帧非常相似，几乎没有改变，所以，使用当前帧FT的最优滤波器系数对随后的帧进行滤波是足够好的。在本实施例中，当前帧FT的最优滤波器系数在当前帧被完全编码之后获得，且作为随后帧所使用的竞争滤波器集合的一个滤波器的系数进行存储。例如，用于当前帧FT的竞争滤波器集合包括N个滤波器；如果N＝2，竞争滤波器集合中的滤波器为标准H.264滤波器和用于先前帧FT-1的最优滤波器；如果N＝3，则竞争滤波器集合中的滤波器为标准H.264滤波器、用于帧FT-1的最优滤波器和用于帧FT-2的最优滤波器。为了保持比特流的写入顺序，一个帧FT的最优系数可以以编码顺序在其随后的帧FT+1的片段标头(slice header)中传输，并作为帧FT+1的候选系数包含于该竞争滤波器集合中。
连续的帧之间不会存在大幅度变化的事实引导出时间延迟单循环AIF设计中的一个创新性概念，即用于先前帧的最优滤波器也可用于对当前帧进行滤波。利用率失真最优化局部地选择一个最优滤波器可以最小化任何编码损失，其中，该编码损失于使用时间延迟自适应内插滤波器时产生。
与时间延迟单循环AIF类似，在另一实施例中，空间延迟单循环AIF依据当前帧FT的先前已编码模块产生滤波器系数，且为当前帧FT的随后的模块更新该竞争滤波器集合。例如，用于上半部分帧的最优滤波器可被获得并为了下半部分帧而包括至该竞争滤波器集合。在此情形下，该上半部分帧的最优滤波器系数也可与该当前帧一起传输。
如上所述，该竞争滤波器集合选择可在特殊级执行，因为不是一个帧的所有区域都可使用相同的滤波器达到最好的结果。对于先前帧的最优滤波器实际上可为当前帧中大多数模块的最佳滤波器。请参考图4，图4为特殊帧的宏块级滤波器选择的示意图。请注意，图4仅用于举例目的的一个示例。如图4所示，每个宏块从该竞争滤波器集合中选择一个最佳滤波器。在对图4的特殊帧进行编码之后，计算出该帧的一个最优滤波器。对于图4所示的该帧的下一个帧，将使用该已计算的最优滤波器作为该竞争滤波器集合的一个候选滤波器。用于竞争滤波器集合选择的模块分区可与用于视频编码的模块分区相同或不同。滤波器选择信息可在模块级(例如，宏块级)编码或编码至该片段标头，因此，译码器可利用该信息以正确地对已接收的比特流进行译码。请注意，该竞争滤波器集合的滤波器选择信息和滤波器系数可在该比特流的相同或不同区段(segment)进行编码。
请参考图2，图2为依据本发明一实施例的编码器200。该编码器包括系数缓冲器225以对竞争滤波器集合进行缓冲。来自该竞争滤波器集合的滤波器信息，例如用于当前帧的滤波器系数，可通过放置于片段标头而被编码至比特流。编码器200也可包括选择单元260，用以自竞争滤波器集合选择一个滤波器。自该竞争滤波器集合选择一个滤波器的示例为计算率失真最优化并选择具有最低率失真的滤波器。滤波器选择信息也输出至熵编码单元250，用以编码至该比特流。图2的其他模块与图1所示的相同，为简洁在此不赘述。
请参考图3，图3为依据本发明一实施例的译码器300。如图3所示，该编码器300包括熵译码单元305、帧内预测单元(intra prediction)315和帧间预测(inter prediction)单元320、重构单元335、反转换和反量化单元310、解块单元340、参考帧缓冲器330和AIF 325。在一些实施例中，译码器也包括系数缓冲器，用以存储竞争滤波器集合的内插滤波器系数。在译码器300中，熵译码单元305将解析(parse)所有对译码处理有必要的信息，包括直接发送至AIF的滤波器信息。该滤波器信息可包含与每个帧一起传输的自适应内插滤波器系数和用于每个模块的滤波器选择。如上所述，该滤波器信息可包含于每个帧、片段或宏块的标头，该滤波器信息在比特流中编码。这促使熵译码单元305首先对该信息进行译码，因此译码器300可依据编码器200所选择的内插滤波器立即开始进行译码。
需注意的是，对于许多不同类型的AIF可执行单循环自适应内插滤波，包括(但不限于)，2D不可分(non-separable)、2D可分(separable)(SAIF)、定向(directional)(DAIF)和增强(enhanced)(EAIF)。对于上述每种AIF类型，使用于其相应单循环AIF的内插方法和系数计算方法可与其多循环AIF相同。然而，不同类型的AIF的内插方法和系数计算方法不同。
这些不同方法的示例请参考图5-8。单循环AIF也可应用于增强定向(enhanceddirectional)AIF(EDAIF)，其为EAIF的低复杂度版本。通过对对角线上的子像素位置使用一维滤波方法，当维持最大编码增益时，EDAIF比EAIF更简单。该示例并未图示。
图5为用于单循环2D不可分AIF的子像素内插处理的示意图。AIF系数可通过预设固定滤波器系数或来自先前帧的AIF滤波器系数进行预测编码。如图5所示，对于每个子像素位置使用不同数目的系数。
1)对于子像素位置a、c、d和l，使用具有6个系数的6阶滤波器(6-tap filter)。
2)对于子像素位置b和h，使用具有3个系数的6阶对称滤波器(6-tap symmetric filter)。
3)对于子像素位置e、g、m和o，使用具有21个系数的36阶对称滤波器(36-tapsymmetric filter)。
4)对于子像素位置f、i、k和n，使用具有18个系数的36阶对称滤波器。
5)对于子像素位置j，使用具有6个系数的36阶对称滤波器。
图6为用于单循环2D可分AIF的子像素内插处理的示意图。滤波器系数的计算由两个步骤执行：首先执行水平滤波器计算，用以为水平位置的分像素计算滤波器系数：例如，对于滤波器计算，由使用像素C1、C2、C3、C4、C5和C6的6阶滤波器计算a、b和c；然后使用全像素和已计算的子像素a、b和c执行垂直滤波。例如，对于滤波器计算，由使用像素A3、B3、C3、D3、E3和F3的6阶滤波器计算d、h和l。
图7为用于单循环定向AIF的子像素内插处理的示意图。与2D不可分AIF相比，用于中间9个子像素位置e、f、g、i、j、k、m、n和o的内插处理的整像素(integer pixel)已减少。也就是说，至多在两个对角线方向使用12个整像素(A1～F6、F1～A6)。对于e、o、g和m，仅使用6个整像素。对于其他的子像素，使用12个整像素。
图8为用于单循环EAIF的子像素内插处理的示意图。使用求和法(summation)将滤波器偏移(offset)增加至子像素位置。亦增加整像素位置滤波器。然后对于2D子像素(e～o)位置使用一个修改的12阶滤波器，对于1D子像素(a、b、c、d、h和1)位置使用一个修改的6阶滤波器。
在一些实作中，上述的单循环AIF实施例可与双循环或多循环AIF一起操作。在此情形下，需传输语法索引(syntax index)用以表示该单循环AIF是开启或关闭：例如，如果比特流承载的信息表示单循环AIF是关闭的，则使用双循环AIF代替单循环AIF。又例如，可依据比特流中已编码的索引关闭AIF，用以跳过滤波步骤。在宏块、片段或图像级从竞争滤波器集合选择一个滤波器的单循环AIF皆属于本发明所揭露的范围。此外，竞争滤波器集合的更新也可是自适应的，也就是说，依据该比特流中已编码的滤波器信息，该更新可在子像素级、片段级、多片段级或图像级发生。CFS可包括可变数目的滤波器，且该CFS中的滤波器数目可作为滤波器信息在比特流中编码。对于每个图像，也可传输多于一组的AIF系数。为了将AIF的阶数和类型告知译码器，在比特流中置放了相应的语法元素。在片段或多片段级，详细表述AIF系数、CFS信息和AIF滤波器数目的语法元素可放置于片段标头或图像参数集(Picture Parameter Set，PPS)。在图像级，AIF系数可在片段标头或PPS中传输，而其他的语法元素在序列参数集(Sequence Parameter Set，SPS)或PPS中传输。也可在独立的封包(package)中传输AIF系数和传讯比特(signaling bit)，例如，AIF系数参数集(AIF coefficients parameter set，AIFCPS)，其中，传讯比特表示滤波器集合的数目和CFS信息的语法元素。
综上所述，本发明提出一种单循环自适应内插滤波方法，对于运动预测，允许在竞争滤波器集合的多个内插滤波器之间进行切换。滤波器系数和滤波器选择信息可编码至比特流。在一些实施例中，译码器可撷取该滤波器系数、已选择的滤波器或该两者，因此，对于编码器而言，该滤波器信息也许不必编码至该比特流。依据先前帧的最优滤波器系数的自适应内插滤波器的使用允许以单循环的方式执行内插滤波和滤波器系数的产生，从而减少编码单元的编码延迟和存储器存取的间接开销。
任何所属技术领域的技术人员可知晓设备和方法的各种修改和选择，但皆维持本发明的教导。

Claims (30)

1.一种执行单循环自适应内插滤波的方法，用以将多个视频帧编码至比特流，该方法包括：
接收该多个视频帧；
在特殊级，从竞争滤波器集合选择内插滤波器；
在该特殊级，使用该已选择内插滤波器对该多个视频帧的当前帧执行运动预测；
将该当前帧编码至该比特流；以及
更新该竞争滤波器集合。
2.如权利要求1所述的方法，其特征在于，该特殊级包括模块级、片段级、帧级或三者的组合。
3.如权利要求1所述的方法，其特征在于，选择该内插滤波器的步骤进一步包括：：
计算率失真最优化，并选择具有最低率失真的该内插滤波器。
4.如权利要求1所述的方法，进一步包括：：
对于该当前帧，计算最优内插滤波器的多个系数，对于随后帧，将该当前帧的该最优内插滤波器包括至该竞争滤波器集合。
5.如权利要求4所述的方法，进一步包括：
对于该当前帧，将该最优内插滤波器的多个滤波器系数编码至该随后帧的片段标头。
6.如权利要求1所述的方法，进一步包括：
将滤波器信息编码至该比特流。
7.如权利要求6所述的方法，其特征在于，该滤波器信息包括该竞争滤波器集合的多个滤波器系数。
8.如权利要求7所述的方法，其特征在于，将该竞争滤波器集合的该多个滤波器系数编码至片段标头。
9.如权利要求6所述的方法，其特征在于，该滤波器信息包括滤波器选择信息。
10.如权利要求1所述的方法，其特征在于，依据撷取自该当前帧的先前已编码模块的多个滤波器系数，为该当前帧的多个随后模块对该竞争滤波器集合进行更新。
11.如权利要求1所述的方法，其特征在于，该自适应内插滤波器为2D不可分自适应内插滤波器、2D可分自适应内插滤波器、定向自适应内插滤波器、增强自适应内插滤波器或增强定向自适应内插滤波器。
12.如权利要求1所述的方法，其特征在于，对于随后帧，依据撷取自该当前帧的多个滤波器系数对该竞争滤波器集合进行更新。
13.一种编码器，以单循环方式对已接收的多个视频帧执行自适应内插滤波，该编码器包括：
预测单元，用以依据原始数据和已重构数据，对该已接收的多个视频帧的当前帧执行预测，以产生预测样本；
重构单元，耦接该预测单元，用以对该预测样本进行重构以形成该已重构数据；
参考帧缓冲器，用以存储该已重构数据；
系数缓冲器，用以存储竞争滤波器集合；以及
自适应内插滤波器，耦接该参考帧缓冲器与该预测单元之间，对于该当前帧，用以依据选择自该竞争滤波器集合的内插滤波器对该已重构数据进行滤波。
14.如权利要求13所述的编码器，进一步包括：
熵编码单元，用以对该已接收的多个视频帧进行编码，其中，滤波器信息已编码至该比特流。
15.如权利要求14所述的编码器，其特征在于，该滤波器信息包括该竞争滤波器集合的多个滤波器系数。
16.如权利要求15所述的编码器，其特征在于，该竞争滤波器集合的该多个滤波器系数编码至片段标头。
17.如权利要求14所述的编码器，其特征在于，该滤波器信息包括滤波器选择信息。
18.如权利要求13所述的编码器，进一步包括；
选择单元，对于该当前帧，用以在特殊级自该竞争滤波器集合确定该内插滤波器。
19.如权利要求18所述的编码器，其特征在于，该选择单元计算率失真最优化并选择具有最低率失真的该内插滤波器。
20.如权利要求13所述的编码器，进一步包括：
计算单元，对于该当前帧，用以计算最优内插滤波器的多个系数，并对于随后帧，用以将该多个系数发送至该系数缓冲器以包括至该竞争滤波器集合。
21.如权利要求13所述的编码器，其特征在于，该自适应内插滤波器为2D不可分自适应内插滤波器、2D可分自适应内插滤波器、定向自适应内插滤波器、增强自适应内插滤波器或增强定向自适应内插滤波器。
22.一种译码器，用以将比特流译码至多个视频帧，该译码器包括：
熵译码单元，用以对该比特流进行解析以产生帧间模式信息、滤波器信息和残差；
重构单元，用以依据预测样本和该残差产生已重构数据；
参考帧缓冲器，用以存储该已重构数据；
自适应内插滤波器，用以利用选择自竞争滤波器集合的内插滤波器对该已重构数据进行滤波，其中该内插滤波器依据该滤波器信息于特殊级选取；以及
运动补偿单元，用以自该熵译码单元接收该帧间模式信息，并自该自适应内插滤波器接收该已滤波的已重构数据，以产生该预测样本。
23.如权利要求22所述的译码器，其特征在于，该滤波器信息包括该竞争滤波器集合的多个滤波器系数。
24.如权利要求23所述的译码器，其特征在于，该熵译码单元自片段标头对该竞争滤波器集合的该多个滤波器系数进行解析。
25.如权利要求22所述的译码器，其特征在于，该滤波器信息包括用于特殊区域的滤波器选择信息。
26.如权利要求22所述的译码器，其特征在于，该自适应内插滤波器依据该滤波器信息的索引进行关闭，用以跳过该滤波步骤。
27.如权利要求22所述的译码器，其特征在于，该竞争滤波器集合的滤波器数目由该滤波器信息决定。
28.如权利要求22所述的译码器，其特征在于，该自适应内插滤波器依据该滤波器信息，于图像级、片段级或多片段级对该竞争滤波器集合进行更新。
29.如权利要求22所述的译码器，其特征在于，该熵译码单元自序列参数集、图像参数集、自适应内插滤波器系数参数集、片段标头或四者的组合对该滤波器信息进行解析。
30.如权利要求22所述的译码器，进一步包括系数缓冲器，用以存储该竞争滤波器集合的多个系数。
CN2010800015702A 2009-07-06 2010-06-23 一种执行单循环自适应内插滤波的方法、编码器和译码器 Expired - Fee Related CN102037732B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22311609P 2009-07-06 2009-07-06
US61/223,116 2009-07-06
PCT/CN2010/074327 WO2011003326A1 (en) 2009-07-06 2010-06-23 Single pass adaptive interpolation filter

Publications (2)

Publication Number Publication Date
CN102037732A true CN102037732A (zh) 2011-04-27
CN102037732B CN102037732B (zh) 2013-03-27

Family

ID=43428776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800015702A Expired - Fee Related CN102037732B (zh) 2009-07-06 2010-06-23 一种执行单循环自适应内插滤波的方法、编码器和译码器

Country Status (4)

Country Link
US (1) US20110116546A1 (zh)
CN (1) CN102037732B (zh)
TW (1) TWI527441B (zh)
WO (1) WO2011003326A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011140960A1 (en) * 2010-05-10 2011-11-17 Mediatek Inc. Method and apparatus for adaptive loop filtering
CN102857751A (zh) * 2011-07-01 2013-01-02 华为技术有限公司 一种视频编解码方法和装置
CN104012091A (zh) * 2011-11-04 2014-08-27 高通股份有限公司 用于视频译码的自适应性中心频带偏移滤波器
CN109792524A (zh) * 2016-10-05 2019-05-21 高通股份有限公司 切换内插滤波器的***及方法
WO2020098780A1 (en) * 2018-11-16 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Reference size for inter prediction interpolation
CN113261281A (zh) * 2019-01-02 2021-08-13 北京字节跳动网络技术有限公司 交织预测的使用
US11277624B2 (en) 2018-11-12 2022-03-15 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
US11509923B1 (en) 2019-03-06 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
US11930182B2 (en) 2019-01-02 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Motion vector derivation between dividing patterns
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714731A (zh) * 2009-12-22 2012-10-03 索尼公司 图像处理设备和方法及程序
US8849053B2 (en) * 2011-01-14 2014-09-30 Sony Corporation Parametric loop filter
US9049454B2 (en) * 2011-01-19 2015-06-02 Google Technology Holdings Llc. High efficiency low complexity interpolation filters
KR20120090740A (ko) * 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
US9313519B2 (en) 2011-03-11 2016-04-12 Google Technology Holdings LLC Interpolation filter selection using prediction unit (PU) size
EP2724534A2 (en) 2011-06-24 2014-04-30 Motorola Mobility LLC Selection of phase offsets for interpolation filters for motion compensation
BR112013033743A2 (pt) 2011-07-01 2019-09-24 Motorola Mobility Inc filtro de interpolação de subpixel conjunto para predição temporal
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
KR20140022122A (ko) * 2012-08-10 2014-02-21 한국전자통신연구원 율―왜곡 최적화를 이용한 비디오 부호화 방법 및 장치
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
CN114900694A (zh) 2018-06-29 2022-08-12 抖音视界(北京)有限公司 哪个查找表需要更新或不更新
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
JP7137008B2 (ja) 2018-06-29 2022-09-13 北京字節跳動網絡技術有限公司 １つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコーディングに使用する概念
AU2019293670B2 (en) 2018-06-29 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
EP3791585A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Partial/full pruning when adding a hmvp candidate to merge/amvp
CN110662043B (zh) 2018-06-29 2021-12-21 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
WO2020003270A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
EP3791588A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Checking order of motion candidates in lut
CN110677667B (zh) 2018-07-02 2022-06-07 北京字节跳动网络技术有限公司 查找表的使用
WO2020053800A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. How many hmvp candidates to be checked
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的***顺序
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN113647110B (zh) 2019-04-01 2022-11-08 北京字节跳动网络技术有限公司 帧间编码模式中的二分之一像素插值滤波器的指示
JP7359942B2 (ja) 2019-08-20 2023-10-11 北京字節跳動網絡技術有限公司 映像処理における代替の補間フィルタの選択的使用
BR112022001485A2 (pt) * 2019-09-04 2022-05-24 Interdigital Vc Holdings France Sas Filtros de interpolação comutáveis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
CN101208957A (zh) * 2005-06-24 2008-06-25 株式会社Ntt都科摩 使用自适应插值进行视频编解码的方法和设备
US20080175322A1 (en) * 2007-01-22 2008-07-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using adaptive interpolation filter

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106322B2 (en) * 2000-01-11 2006-09-12 Sun Microsystems, Inc. Dynamically adjusting a sample-to-pixel filter to compensate for the effects of negative lobes
EP2320661B8 (en) * 2001-11-29 2015-09-02 Godo Kaisha IP Bridge 1 Coding distortion removal method
MXPA04006814A (es) * 2002-01-14 2004-12-06 Nokia Corp Filtros dinamicos de codificacion.
US20060114995A1 (en) * 2004-12-01 2006-06-01 Joshua Robey Method and system for high speed video encoding using parallel encoders
KR100688510B1 (ko) * 2004-12-20 2007-03-02 삼성전자주식회사 계수 갱신 회로, 이를 포함하는 적응 등화기, 및 적응등화기의 계수 갱신 방법
US8094814B2 (en) * 2005-04-05 2012-01-10 Broadcom Corporation Method and apparatus for using counter-mode encryption to protect image data in frame buffer of a video compression system
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
EP2001239B1 (en) * 2006-03-27 2017-09-13 Sun Patent Trust Picture coding apparatus and picture decoding apparatus
BRPI0714233A2 (pt) * 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
HUE047810T2 (hu) * 2006-11-06 2020-05-28 Qualcomm Inc MIMO érzékelés on-time jelkomponens interferenciájának kioltásával
KR20080040892A (ko) * 2006-11-06 2008-05-09 삼성전자주식회사 적응 등화기 및 적응 등화 방법
US8050320B2 (en) * 2007-02-09 2011-11-01 Ericsson Television, Inc. Statistical adaptive video rate control
US8369411B2 (en) * 2007-03-29 2013-02-05 James Au Intra-macroblock video processing
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
CN101208957A (zh) * 2005-06-24 2008-06-25 株式会社Ntt都科摩 使用自适应插值进行视频编解码的方法和设备
US20080175322A1 (en) * 2007-01-22 2008-07-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using adaptive interpolation filter

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011140960A1 (en) * 2010-05-10 2011-11-17 Mediatek Inc. Method and apparatus for adaptive loop filtering
CN102857751A (zh) * 2011-07-01 2013-01-02 华为技术有限公司 一种视频编解码方法和装置
CN104012091A (zh) * 2011-11-04 2014-08-27 高通股份有限公司 用于视频译码的自适应性中心频带偏移滤波器
CN104012091B (zh) * 2011-11-04 2017-05-24 高通股份有限公司 用于译码视频数据的方法、装置及设备
US10051289B2 (en) 2011-11-04 2018-08-14 Qualcomm Incorporated Adaptive center band offset filter for video coding
CN109792524A (zh) * 2016-10-05 2019-05-21 高通股份有限公司 切换内插滤波器的***及方法
US12041267B2 (en) 2018-10-22 2024-07-16 Beijing Bytedance Network Technology Co., Ltd. Multi-iteration motion vector refinement
US11889108B2 (en) 2018-10-22 2024-01-30 Beijing Bytedance Network Technology Co., Ltd Gradient computation in bi-directional optical flow
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
US11284088B2 (en) 2018-11-12 2022-03-22 Beijing Bytedance Network Technology Co., Ltd. Using combined inter intra prediction in video processing
US11277624B2 (en) 2018-11-12 2022-03-15 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
US11516480B2 (en) 2018-11-12 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11956449B2 (en) 2018-11-12 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
CN111448797B (zh) * 2018-11-16 2022-09-30 北京字节跳动网络技术有限公司 用于帧间预测插值的参考尺寸
CN111448797A (zh) * 2018-11-16 2020-07-24 北京字节跳动网络技术有限公司 用于帧间预测插值的参考尺寸
WO2020098780A1 (en) * 2018-11-16 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Reference size for inter prediction interpolation
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
CN113261281A (zh) * 2019-01-02 2021-08-13 北京字节跳动网络技术有限公司 交织预测的使用
US11930182B2 (en) 2019-01-02 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Motion vector derivation between dividing patterns
US11509923B1 (en) 2019-03-06 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding

Also Published As

Publication number Publication date
TW201127070A (en) 2011-08-01
WO2011003326A1 (en) 2011-01-13
CN102037732B (zh) 2013-03-27
TWI527441B (zh) 2016-03-21
US20110116546A1 (en) 2011-05-19

Similar Documents

Publication Publication Date Title
CN102037732B (zh) 一种执行单循环自适应内插滤波的方法、编码器和译码器
CN102396230B (zh) 图像处理设备和方法
JP5174970B2 (ja) 適応フィルタ
KR101553850B1 (ko) 동영상 부호화/복호화 장치 및 그를 위한 적응적 가중치를 사용하는 적응 중첩 블록 움직임 보상 방법 및 장치
CN102687511B (zh) 运动信息的自适应编解码的方法和装置
CN103416058B (zh) 视频编码和解码
CN104883578B (zh) 对帧内预测模式进行解码的方法
CN102986220B (zh) 视频信号的编解码器及方法和视频编解码器设备
RU2573747C2 (ru) Способ и устройство кодирования видео, способ и устройство декодирования видео и программы для них
CN101790092B (zh) 基于图像块编码信息的智能滤波器设计方法
CN104702950A (zh) 以帧内预测模式解码图像的方法
CN102334337A (zh) 选择性使用离散正余弦转换的编解码装置和方法
WO2011121894A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN101796847A (zh) 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置、程序以及集成电路
CN101828400A (zh) 插补滤波方法、图像编码方法、图像解码方法、插补滤波装置、程序及集成电路
EP2036358A1 (en) Image encoding/decoding method and apparatus
CN101009832A (zh) 方向内插方法和使用该方法的视频编码/解码设备和方法
JP5552092B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
KR20110015625A (ko) 움직임 보상 보간 및 참조 픽쳐 필터링에 대한 국부적 적응형 필터링을 위한 방법 및 장치
CN107211161A (zh) 包括最后阶段处理的扩展空间的视频编码优化
US8170110B2 (en) Method and apparatus for zoom motion estimation
CN104754337B (zh) 视频编码方法
CN105306957A (zh) 自适应环路滤波方法和设备
US8848783B2 (en) Motion picture encoding/decoding apparatus, and apparatus and method for adaptive overlapped block motion compensation by variable unit for same
KR101663235B1 (ko) 화면 내 예측 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20190623