CN103891289A - 插值方法和使用其的预测方法 - Google Patents

插值方法和使用其的预测方法 Download PDF

Info

Publication number
CN103891289A
CN103891289A CN201180073166.0A CN201180073166A CN103891289A CN 103891289 A CN103891289 A CN 103891289A CN 201180073166 A CN201180073166 A CN 201180073166A CN 103891289 A CN103891289 A CN 103891289A
Authority
CN
China
Prior art keywords
sampling
pixel
integer
interpolation
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180073166.0A
Other languages
English (en)
Other versions
CN103891289B (zh
Inventor
全勇俊
贾杰
全柄文
朴胜煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103891289A publication Critical patent/CN103891289A/zh
Application granted granted Critical
Publication of CN103891289B publication Critical patent/CN103891289B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及通过使用当前图片的像素采样和参考图片的像素采样来执行用于在屏幕之间预测的插值的方法、以及使用其的预测方法。按照本发明的插值方法包括:计算用于产生预测块的运动信息;以及基于整数采样集产生部分像素采样,整数采样集包括插值滤波器被应用到其的整数像素采样,在这里,整数采样集包括在当前图片的恢复的整数像素采样之中的用于产生部分像素采样的至少一个当前整数采样,以及部分像素采样对应于在整数像素采样之中的离预先确定的参考像素采样的部分像素单位的偏移位置。

Description

插值方法和使用其的预测方法
技术领域
本发明涉及一种视频压缩技术,并且更具体而言,涉及在图片间预测中的插值方法。
背景技术
近年来,对高分辨率和高质量图像的需要已经在各种应用领域中增长。由于图像具有较高的分辨率和较高的质量,有关图像的数据量增长越来越多。因此,当使用介质,诸如现有的有线或无线宽带线路传送图像数据,或者图像数据存储在现有的存储介质中时,数据的传送成本和存储成本增长。
为了有效地传送、存储和再现有关高分辨率和高质量图像的信息,可以使用高效率的图像压缩技术。
发明内容
技术问题
本发明的一个目的是提供用于有效地执行图片间预测的插值方法和设备。
本发明的另一个目的是提供共同地使用当前图片的重建的像素采样和参考图片的参考像素采样的插值方法和设备。
本发明的再一个目的是提供用于通过将平滑滤波器应用于当前图片的重建的像素采样,以便在通过插值产生的预测的块(预测块)的边界处减少中断,来执行插值的方法和设备。
本发明的再一个目的是提供用于使解码器识别有关用于插值的当前图片的重建的像素采样的信息的方法和设备。
技术的解决方案
按照本发明的一个方面,提供了一种插值方法,包括步骤:计算用于产生预测的块的运动信息;以及基于整数采样集产生分数像素采样,所述整数采样集包括插值滤波器被应用到其的整数像素采样,其中整数采样集包括在当前图片的重建的整数像素采样之中的用于产生分数像素采样的至少一个当前整数采样,以及其中分数像素采样对应于在整数像素采样之中的离预先确定的参考像素采样的以分数像素为单位的偏移位置。
在这个方面中,可以对亮度像素执行插值方法,以及产生分数像素采样的步骤可以包括根据参考像素采样的位置,将预先确定数目的当前整数采样设置为被包括在整数采样集中。
例如,当参考像素采样位于离在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时,三个当前整数采样可以被包括在整数采样集中,当参考像素采样位于离边界的第二整数像素采样列或者行中时,两个当前整数采样可以被包括在整数采样集中,以及当参考像素采样位于离边界的第三整数像素采样列或者行中时,一个当前整数采样可以被包括在整数采样集中。
按照该方面的插值方法可以进一步包括步骤:在产生分数像素采样之前,将使用当前图片的至少一个重建的像素采样和至少一个参考像素采样的平滑滤波器应用于在当前整数采样之中的至少一个当前整数采样。
在这种情况下,在产生分数像素采样之前,平滑滤波器可以应用于最靠近于在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的当前整数采样。
在这个方面中,可以对色度像素执行插值方法,以及产生分数像素采样的步骤可以包括根据参考像素采样的位置,将预先确定数目的当前整数采样设置为被包括在整数采样集中。
例如,当参考像素采样位于离在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时,一个当前整数采样可以被包括在整数采样集中。
当对色度像素执行插值方法时,按照该方面的插值方法可以进一步包括步骤:在产生分数像素采样之前,将使用当前图片的至少一个重建的像素采样和至少一个参考像素采样的平滑滤波器应用于在当前整数采样之中的至少一个当前整数采样。
按照该方面的插值方法可以进一步包括步骤:确定是否从编码器发送隐含的或者明确的命令以使用当前图片的重建的整数像素采样来创建分数像素采样,以及当确定发送命令时,当前图片的重建的整数像素采样用于产生分数像素采样。
在这种情况下,该明确的命令可以是与像素位置信息和有关参考像素采样的阵列的信息一起从编码器发送到解码器的1-比特标记信息。
当在当前预测单元的邻近块的运动矢量和当前预测单元的运动矢量之间的差值等于或者小于预先确定的阈值时,可以确定发送隐含的命令以使用当前图片的重建的整数像素采样来产生分数像素采样。
此外,可以对亮度像素执行插值方法,以及当参考整数采样位于离用于插值的参考图片的参考采样区域的上或者左边界的第三整数采样行/列内时,当前图片的重建的整数像素采样可以用于插值。
可以对色度像素执行插值方法,以及当参考整数采样位于离用于插值的参考图片的参考采样区域的上或者左边界的第一整数采样行/列内时,在不从编码器接收命令的情况下,当前图片的重建的整数像素采样被用于插值。
按照本发明的另一个方面,提供了一种插值设备,包括:预测单元确定模块,该预测单元确定模块确定在当前编译单元中的预测单元;以及插值模块,该插值模块基于整数像素采样来产生分数像素采样,其中插值模块基于像素采样位置信息和有关参考像素采样阵列的信息,通过将插值滤波器应用于预先确定数目的整数像素采样来产生分数像素采样,其中在当前图片的重建的整数像素采样之中的至少一个整数像素采样被包括在插值滤波器被应用到其的整数像素采样中,以及其中分数像素采样对应于在整数像素采样之中的离预先确定的参考像素采样的以分数像素为单位的偏移位置。
假设插值滤波器被应用到其的整数像素采样是亮度像素采样,当参考像素采样位于离用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时,三个当前整数采样可以被包括在整数采样集中,当参考像素采样位于离边界的第二整数像素采样列或者行中时,两个当前整数采样可以被包括在整数采样集中,以及当参考像素采样位于离边界的第三整数像素采样列或者行中时,一个当前整数采样可以被包括在整数采样集中。
假设插值滤波器被应用到其的整数像素采样是色度像素采样,当参考像素采样位于离在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时,一个当前整数采样可以被包括在整数采样集中。
按照本发明的再一个方面,提供了一种间预测方法,包括步骤:计算用于产生预测的块的运动信息;当运动矢量指示子像素位置时,以子像素为单位执行产生像素采样的插值处理;以及基于运动矢量和像素采样以子像素为单位产生预测的块,其中参考图片的像素采样和当前图片的重建的像素采样共同地用于插值处理。
在这个方面中,用于插值的当前图片的重建的像素采样可以位于当前预测单元的上侧或者左侧区域中。
在执行插值处理的步骤之前,可以对当前图片的重建的像素采样来执行使用参考图片的至少一个像素采样和当前图片的重建的像素采样中的至少一个的平滑处理。
按照本发明的再一个方面,提供了一种插值方法,该方法包括步骤:计算用于产生预测的块的运动信息;以及当运动矢量指示子像素位置时,以子像素为单位来执行产生像素采样的插值处理,其中当前图片的重建的像素采样和参考图片的像素采样共同地用于插值处理。
在这个方面中,用于插值的当前图片的重建的像素采样可以位于当前预测单元的上侧或者左侧区域中。
在执行插值处理的步骤之前,可以对当前图片的重建的像素采样执行使用参考图片的至少一个像素采样和当前图片的重建的像素采样中的至少一个的平滑处理。
有益效果
按照本发明的方面,可以通过共同地使用当前图片的重建的像素采样和参考图片的参考像素采样执行插值来提高图片间预测的效率。
按照本发明的方面,可以通过将平滑滤波器应用于当前图片的重建的像素采样执行插值,在通过插值产生的预测的块的边界处减少中断。
按照本发明的方面,可以通过使解码器识别有关用于插值的当前图片的重建的像素采样的信息和执行插值,提高视频编码/解码的精度。
附图说明
图1是示意地图示按照本发明实施例的视频编码器的框图。
图2是示意地图示按照本发明实施例的最大编译单元被分割为至少一个编译单元的示例的示意图。
图3是示意地图示按照本发明实施例的预测模块的概念图。
图4是示意地图示按照预测模式的预测的块的形式的示意图。
图5是示意地图示按照本发明实施例的视频解码器的框图。
图6是示意地图示按照本发明实施例的视频解码器的预测模块的概念图。
图7是示意地图示在间预测中用于参考图片的亮度像素的1/4单位采样插值的分数采样和整数采样的位置的示意图。
图8是示意地图示用于色度像素的1/8单位采样插值的分数采样和整数采样的位置的示意图。
图9是示意地图示按照本发明实施例的共同地使用参考图片和当前图片的采样来执行插值示例的示意图。
图10是示意地图示包括重建的当前图片的像素和参考图片的像素采样的、用于插值的采样阵列的示意图。
图11是示意地图示在对应于预测单元的参考块中根据参考整数采样的位置的示例的示意图。
图12是示意地图示按照本发明实施例的用于亮度像素采样的插值区域的示意图。
图13是示意地图示按照本发明实施例的用于色度像素采样的插值区域的示意图。
图14至18是示意地图示在对应于预测单元的参考块中根据参考整数采样的位置的示例的示意图。
图19是示意地图示按照本发明实施例的在解码器中产生预测的块的方法的流程图。
具体实施方式
本发明可以以各种形式修改,并且可以具有各种实施例,并且其特定的实施例将在附图中图示,并且进行详细描述。但是,这些实施例不意欲限制本发明。在以下的描述中使用的术语仅用于描述特定的实施例,但是,不意欲用于限制本发明的技术精神。单数的表示包括复数的表示,只要其明显读起来不同。在本说明书中,术语,诸如“包括”和“具有”意欲用于指示存在以下的描述中使用的特点、数目、步骤、操作、元件、组件,或者其组合,并且因此,应该理解,不排除存在或者增加一个或多个不同的特点、数目、步骤、操作、元件、组件,或者其组合的可能性。
另一方面,在本发明描述的附图中的元件在图像编码器和图像解码器中为解释不同的特定功能的便利的目的独立地绘制,并且不意味该元件由单独的硬件或者单独的软件实施。例如,在该元件之中的两个或更多个元件可以被组合以形成单个元件,或者一个元件可以被分割分多个元件。不脱离本发明的概念,该元件被组合和/或分割的实施例属于本发明的范围。
在下文中,本发明示例性实施例将参考伴随的附图详细描述。在该附图中相同的元件将由相同的附图标记引用,并且将不会重复对相同的元件的描述。
图1是示意地图示按照本发明实施例的视频编码器的框图。参考图1,视频编码器100包括图片分割模块图片分割模块105、预测模块110、变换模块115、量化模块120、重排模块125、熵编码模块130、去量化模块135、逆变换模块140、去块滤波器145、ALF(适应性环路滤波器)150和存储器155。
图片分割模块105可以将输入图片分割为至少一个处理单元。在这里,处理单元可以是预测单元(在下文中,称为“PU”)、变换单元(在下文中,称为“TU”)、或者编译单元(在下文中,称为“CU”)。如稍后将描述的,视频编码器100由预测单元执行内预测或者间预测、由变换单元变换视频以及由编译单元对视频进行编码。
如稍后将描述的,预测模块110包括执行间预测处理的间预测模块、和执行内预测处理的内预测模块。预测模块110根据预测模式对从图片分割模块105提供的预测单元执行间预测或者内预测,并且产生预测的块(预测块)。在产生的预测块(预测的块)和初始块之间的残留被输入给变换模块115。用于预测的预测模式信息、运动矢量信息等通过熵编码单元130与残留值一起被编码,并且被发送给解码器。
变换模块115可以将当前编译单元分割为至少一个变换单元。此时,变换单元115可以使用用于计算传送成本的预先确定的成本函数选择最佳传送单元。变换模块115可以使用DCT(离散余弦变换)和/或DST(离散正弦变换)变换残留块,残留块包括在初始块和由预测模块110产生的预测的块之间的残留值信息。变换模块115可以基于编译单元确定变换单元。
量化模块120可以量化由变换模块115变换到频率域的残留值,并且可以产生量化系数。由量化模块120计算的值被提供给去量化模块155和重排模块125。
重排模块125可以重排该量化系数。通过重排该量化系数,可以提高在熵编码模块130中的编译效率。重排模块125可以通过使用系数扫描方法以二维块的形式到一维矢量的形式重排该量化系数(残留值)。重排模块125可以基于从量化模块发送的系数的随机统计数据,通过改变系数扫描的顺序提高在熵编码模块130中的熵编码效率。
熵编码模块130可以对通过重排模块125重排的量化系数执行熵编码处理。熵编码方法的示例包括指数golomb方法、CAVLC(上下文适应性可变长度编译)方法和CABAC(上下文适应性二进制运算编译)方法。熵编码模块130可以对各种信息进行编码,诸如从重排模块125和预测模块110发送的编译单元的量化系数信息和块类型信息、预测模式信息、分割单元信息、预测单元信息、传送单元信息、运动矢量信息、参考帧信息、块插值信息,和滤波信息。
例如,熵编码模块130可以使用合并和跳跃方法、预测单元合并方法、AMVP(高级运动矢量预测)方法等以对运动矢量信息进行编码。
该合并和跳跃方法是使用在当前块的邻近块(合并候选块)之中的选择块(合并块)的运动预测信息(诸如,运动矢量和参考图片索引)产生预测的块的方法。在合并和跳跃方法中残留信号是0,但是,在类似地使用候选块的运动预测信息的预测单元合并方法中残留信号不是0。在合并和跳跃方法中有关跳跃、合并块的索引等的信息被编码和发送,并且在预测单元合并方法中残留信号与合并块的索引一起被编码和发送。
在AMVP方法中,运动预测信息可以从AMVP候选块提供。在AMVP方法中,除了在相同图片中的邻近块之外,候选块包括在参考图片中对应于相同位置的共处一地的块。因此,当使用AMVP方法时,除了参考图片索引之外,运动矢量预测器和运动矢量的残留值被编码和被发送给解码器。运动矢量的残留值是在选择的AMVP候选块和当前预测单元之间的运动矢量的差值。
去量化模块135去量化由量化模块120量化的值。逆变换模块140反向地变换由变换模块115去量化的值。由去量化模块135和逆变换模块140产生的残留值可以与由预测模块110预测的预测的块合并以产生重建的块。
滤波器模块145将去块滤波器和/或ALF(适应性环路滤波器)应用于重建的图片。
去块滤波器可以在重建的图片中除去在块之间的边界处产生的块失真。
ALF(适应性环路滤波器)基于(已经由去块滤波器滤波的块)的重建的图片与原始图片比较的结果值执行滤波处理。在亮度信号的情况下,有关是否应用ALF的信息可以由编译单元(CU)发送,并且要应用的ALF的大小和系数可以根据该块而变化。
另一方面,滤波器模块145可以不必对用于间预测的重建的块执行滤波处理。
存储器150可以存储重建的块或者由滤波器模块145计算的图片。可以将存储在存储器150中的重建的块或者图片提供给执行间预测的预测模块110。
在下文中,将更详细地描述由编码器的元件执行的编码视频信息的处理。
首先,将描述图片的编译单元、预测单元和变换单元。作为由视频编码器执行编码处理的单元的编码单元(其是图片的分割单元)可以称为CU。编译单元可以具有诸如64×64、32×32、16×16和8×8的大小。编译单元可以具有基于四树结构的深度,并且可以被分割。具有最大大小的编译单元可以定义为最大编译单元(LCU),并且具有最小大小的编译单元可以定义为最小的编译单元(SCU)。编码器可以将有关LCU和SCU的信息发送给解码器,或者可以将有关LCU的信息和有关SCU的信息以及有关可能的分割次数的信息的任何一个发送给解码器。
基于如上所述的四树结构是否对编译单元进行分割可以由标记信息,诸如分割标记指示。
图2是示意地图示按照本发明实施例的最大编译单元被分割为至少一个编译单元的示例的示意图。编码单元是否被分割可以由深度信息和分割标记指示。
可以基于LCU的大小信息、深度信息和分割标记信息将编译单元分割为多个较小的编译单元。LCU的大小信息、分割深度信息和有关是否分割当前编译单元的信息可以包括比特流的序列参数集(SPS),并且可以将当前编译单元的分割信息发送给视频解码器。
参考图2,当LCU具有65×64的大小时,S200表示在四树结构中具有0深度的块。在S200中的左块表示指示是否被分割的标记是0的情形,并且表示在四树结构中具有0深度的块(最大编译单元)没有被分割。在S200中的右块表示指示是否被分割的标记是1的情形,并且表示具有深度0的块被分割为具有32×32大小的矩形形式的四个编译单元。
S210表示具有深度1的块,当LCU的大小是64×64时,其被分割一次。具有深度1的编译单元的大小是32×32。在S210的左块中,分割标记是0,并且具有32×32大小的编译单元没有被分割,并且被作为单个编译单元进行编码。在S210的右块中,分割标记是1,并且具有32×32大小的编译单元被分割为具有16×16大小的四个编译单元。
以相同的方式,在四树结构中的一个块可以根据深度信息顺序地被分割为具有最小大小的编码单元。例如,S220表示当最大编译单元的大小是64×64,并且最大深度是4(可能的分割次数是4)时,编译单元被分割为具有最小大小的编译单元。在这里,最小的编译单元不能再分割为更小的CU,并且因此不具有分割标记。
为了便利的目的,已经描述最大编译单元和根据其限定可能的分割次数(最大深度),而且,可以如上所述限定最小的编译单元和可能的分割次数(最大深度)。例如,当最小的编译单元被设置为8×8,并且可能的分割次数被设置为4时,最大编译单元(64×64)可以从最小的编译单元(8×8)推导。在这里,已经描述最大编译单元和最小的编译单元分别是64×64和8×8,但是,SCU和LCU可以变得大于或者小于在以上提及的示例中的那些。
图3是示意地图示按照本发明实施例的预测模块的概念图。
参考图3,预测模块300可以包括间预测模块310和内预测模块320。
间预测模块310可以基于当前图片的先前的图片和/或后续的图片的至少一个图片的信息来预测预测单元。内预测单元320可以基于在当前图片中的像素信息预测预测单元。根据预测模式,也就是说,根据是否执行内预测或者间预测,图片分割模块105对预测单元进行分割。此时,编译单元可以是在内预测模式中具有2N×2N或者N×N(这里N是整数)大小的预测单元,编译单元可以是在内预测模式中具有2N×2N、2N×N、N×2N或者N×N大小的预测单元。
图4是示意地图示基于预测模式的预测的块的形式的示意图,这里图示在编码单元400的内预测模式中的可能的预测单元410、以及在其间预测模式中的可能的预测单元420。
间预测模块选择用于以上提及的预测单元的参考图片,并且选择在整数像素采样的单元中具有预测单元的相同大小的参考块。然后,间预测模块产生预测的块,其最类似于当前预测单元,其最小化残留信号,并且其在整数像素采样的单元中,诸如在1/2像素采样和1/4像素采样的单元中最小化要编码的运动矢量的幅值。
在这里,运动矢量可以以小于整数像素的采样为单位表示,并且可以以用于亮度像素的1/4像素为单位标识,并且可以以用于色度像素的1/8像素为单位表示。
已经由间预测模块选择的参考图片的索引和有关运动矢量的信息被编码和被发送给解码器。
图5是示意地图示按照本发明实施例的视频解码器的框图。参考图5,视频解码器500包括熵解码模块510、重排模块515、去量化模块520、逆变换模块525、预测模块530、滤波器模块535和存储器540。
当视频比特流被从编码器输入时,该输入的比特流可以以视频信息由视频编码器处理的顺序相反的顺序解码。
例如,当视频编码器使用可变长度编译(VLC)表以执行熵编码处理时,熵解码模块510可以实现相同的VLC表,并且可以执行熵解码处理。熵解码模块510可以使用计数器,或者类似于熵编码模块的直接交换方法改变码字分配表,并且可以使用改变的码字分配表执行熵解码处理。
可以将在由熵解码模块510解码的信息之中的用于产生预测的块的信息提供给预测模块530,并且由熵解码模块熵解码的残留值可以输入给重排模块515。
重排模块515可以基于在视频编码器中使用的重排方法重排由熵解码模块510熵解码的比特流。重排模块515可以将以一维矢量的形式表示的系数重建和重排为以二维块的形式的系数。重排模块515可以提供有与由视频编码器执行的系数扫描有关的信息,并且可以基于由视频编码器执行的扫描的扫描顺序使用反向地扫描系数的方法执行重排。
该去量化模块520可以基于从编码器提供的量化参数和重排的块的系数值执行去量化。
逆变换模块525可以对来自视频编码器的量化结果执行已经由视频编码器的变换模块执行的DCT和DST的逆DCT和/或逆DST。逆变换可以基于由视频编码器确定的传送单元执行。视频编码器的变换模块可以根据多个信息,诸如预测方法、当前块的大小和预测方向有选择地执行DCT和DST,并且视频解码器的逆变换模块525可以基于有关由视频编码器的变换模块执行的变换的变换信息执行逆变换。
例如,在4×4块的情况下,逆变换模块525可以根据块的内预测模式有选择地使用逆DCT和逆DST执行逆变换处理,或者可以通过DCT和DST的组合有选择地应用1D-DCT+1D-DCT、1D-DCT+1D-DST、1D-DST+1D-DCT或者1D-DST+1D-DST。块的内预测模式信息可以从预测模块提供。逆变换模块525可以基于从视频编码器提供的分割单元信息通过分割单元执行逆变换处理。
预测模块530可以基于从熵解码模块510提供的预测的块产生信息、以及有关从存储器540提供的预先地解码的块或者图片的信息来产生预测的块。可以使用由预测模块530产生的预测的块、以及从逆变换模块625提供的残留块来产生重建的块。
重建的块和/或图片可以提供给滤波器模块535。滤波器模块535对重建的块和/或图片执行去块滤波处理和/或自适应环路滤波处理。例如,滤波器模块535可以包括去块滤波器和/或ALF。
存储器540可以存储用作参考图片或者参考块的重建的图片或者块,并且可以将重建的图片提供给输出模块。
图6是示意地图示按照本发明实施例的视频解码器的预测模块的概念图。
参考图6,预测模块600可以包括间预测模块610和内预测模块620。
当预测单元的预测模式是间预测模式时,间预测模块610可以基于包括当前预测单元的当前图片的先前的图片和后续的图片的至少一个图片的信息,使用为当前预测单元的间预测所必需的信息,例如,有关从视频编码器提供的运动矢量和参考图片索引的信息对当前预测单元执行间预测处理。
在这里,在确认接收到编译单元的跳越标记、合并标记等之后,可以推导运动信息以对应于其。例如,当确认熵解码模块基于跳越标记使用跳跃模式时,运动预测信息,诸如运动矢量和参考图片索引(其被包括在由预测单元的合并索引指示的合并和跳跃候选块中)可以用作当前预测单元的运动信息。可替选地,当确认预测单元是预测单元合并块时,在五个预测单元合并候选块(包括位于预测单元周围的四个空间合并候选块和位于参考图片中的一个时间合并候选块)之中的一个预测单元合并候选块的运动信息可以用作预测单元的运动信息。当确认预测单元是AMVP块时,预测单元的运动信息可以使用在围绕当前预测单元的两个空间AMVP候选块和包括在另一个图片中的时间AMVP候选块之中的有关使用哪个AMVP块的信息以及在使用的AMVP候选块和当前块之间的运动矢量差值信息从视频编码器获得。
当在有关如上所述获得的预测单元的运动信息中的运动矢量不是整数像素单元时,例如,当亮度像素的运动矢量指示1/2或者1/4像素位置,或者色度像素的运动矢量指示1/2、1/4或者1/8像素位置时,间预测模块610可以执行产生小于整数单元的像素采样的插值处理,以便产生预测的块。稍后将描述插值处理的特定细节。
当预测单元的预测模式是内预测模式时,内预测模块620可以基于在当前图片中的像素信息产生预测的块。
图6图示预测模块600包括为解释便利的目的各自的功能元件,但是,本发明不局限于这种配置,并且该预测模块可以作为用于执行以上提及的功能的单个元件实施。
另一方面,在间预测中,预测的块可以使用基于块的运动补偿从一个或多个预先地处理的图片(参考图片)产生。也就是说,当前图片的预测单元可以基于参考图片使用间预测来预测。例如,预测的块是通过使用当前预测单元的运动估算从参考图片中选择出来的,以及计算在当前预测单元的参考位置和预测的块的参考位置之间的运动矢量。
运动矢量(在当前块和参考块之间的差值)可以具有小于整数单元的采样分辨率,例如,对于亮度分量可以具有1/4采样的分辨率,并且对于色度分量可以具有1/8采样的分辨率。因此,更加类似于当前预测单元的预测的块可以通过插值从整数采样(全采样)产生分数采样,诸如1/2单位像素采样、1/4单位像素采样和1/8单位像素采样,并且从包括分数采样的区域选择预测的块来选择。
小于整数单位的分数像素采样可以基于全采样使用插值滤波器产生。如上所述,用于亮度像素的运动矢量的分辨率是1/4像素采样,并且小于整数像素的像素信息可以通过插值以1/4像素为单位产生。为了对亮度像素执行插值处理,可以使用具有不同滤波器系数的8抽头插值滤波器(基于DCT的插值滤波器)。
用于色度像素的运动矢量的分辨率是1/8像素采样,并且小于整数像素的像素信息可以通过插值以1/8像素为单位产生。为了对色度像素执行插值处理,可以使用具有不同滤波器系数的4抽头插值滤波器。
图7是示意地图示在间预测中在参考图片中以亮度像素的1/4单位采样插值的分数采样和整数采样的位置的示意图。在图7图示的像素的位置700之中,阴影线(由大写字母指示的)位置对应于整数采样,并且非阴影线(由小写字母指示的)对应于分数采样。
参考图7,1在区域中基于一个整数像素通过插值采样产生/4像素单元的分数像素采样。在下文中,为了解释便利的目的,将描述在区域710中基于整数像素采样A0,0的分数像素采样通过插值产生的示例。
表1示出在滤波器中根据像素位置的系数的示例,滤波器应用于产生小于亮度像素的整数像素单元的像素信息。
表1
像素位置 滤波器系数
1/4 {-1,4,-10,57,19,-7,3,-1}
2/4 {-1,4,-11,40,40,-11,4,-1}
3/4 {-1,3,-7,19,57,-10,4,-1}
参考表1,在图7中1/4像素单元的采样a0,0、b0,0、c0,0、d0,0、h0,0和n0,0可以通过将8抽头滤波器应用于接近的整数采样,并且对滤波的值执行剪裁(clip)操作由表达式1计算。
表达式1
a0,0=Clip3(0,(1<<14)-1,(-A-3,0+4*A-2,0-10*A-1,0+57*A0,0+19*A1,0-7*A2,0+4*A3,0-A4,0+offset1)>>Shift1)
b0,0=Clip3(0,(1<<14)-1,(-A-3,0+4*A-2,0-10*A-1,0+40*A0,0+40*A1,0-11*A2,0+4*A3,0-A4,0+offset1)>>Shift1)
c0,0=Clip3(0,(1<<14)-1,(-A-3,0+3*A-2,0-7*A-1,0+19*A0,0+57*A1,0-11*A2,0+4*A3,0-A4,0+offset1)>>Shift1)
d0,0=Clip3(0,(1<<14)-1,(-A0,-3+4*A0,-2-10*A0,-1+57*A0,0+19*A0,1-7*A0,2+4*A0,3-A0,4+offset1)>>Shift1)
h0,0=Clip3(0,(1<<14)-1,(-A0,-3+4*A0,-2-10*A0,-1+40*A0,0+40*A0,1-11*A0,2+4*A0,3-A0,4+offset1)>>Shift1)
n0,0=Clip3(0,(1<<14)-1,(-A0,-3+4*A0,-2-7*A0,-1+19*A0,0+57*A0,1-10*A0,2+4*A0,3-A0,4+offset1)>>Shift1)
在这里,剪裁操作如表达式2定义。
表达式2
Figure BDA0000471188200000181
在这里,“x<<y”指示x的两个补充整数算术地向左移二进制单位y的表示,并且“x>>y”指示x的两个补充整数算术地向右移二进制单位y的示例。此外,shift1(移动1)定义为BitDepthy-8,并且指定在亮度像素阵列中采样的位深度。当shift1的值是0时,offset1(偏移1)被设置为0,并且其他情况,其被设置为1<<(shift1-1)。
在图7中1/4像素单元的采样e0,0、f0,0、g0,0、i0,0、j0,0、k0,0、p0,0、q0,0和r0,0可以通过应用8抽头滤波器由表达式3计算。
表达式3
e0,0=Clip3(0,(1<<14)-1,(-d1-3,0+4*d1-2,0-10*d1-1,0+57*d10,0+19*d11,0-7*d12,0+4*d13,0-d14,0+offset2)>>Shift2)
f0,0=Clip3(0,(1<<14)-1,(-d1-3,0+4*d1-2,0-11*d1-1,0+40*d10,0+40*d11,0-11*d12,0+4*d13,0-d14,0+offset2)>>Shift2)
g0,0=Clip3(0,(1<<14)-1,(-d1-3,0+4*d1-2,0-7*d1-1,0+19*d10,0+57*d11,0-10*d12,0+4*d13,0-d14,0+offset2)>>Shift2)
i0,0=Clip3(0,(1<<14)-1,(-h1-3,0+4*h1-2,0-10*h1-1,0+57*h10,0+19*h11,0-7*h12,0+4*h13,0-h14,0+offset2)>>Shift2)
j0,0=Clip3(0,(1<<14)-1,(-h1-3,0+4*h1-2,0-11*h1-1,0+40*h10,0+40*h11,0-11*h12,0+4*h13,0-h14,0+offset2)>>Shift2)
k0,0=Clip3(0,(1<<14)-1,(-h1-3,0+3*h1-2,0-7*h1-1,0+19*h10,0+57*h11,0-7*h12,0+4*h13,0-h14,0+offset2)>>Shift2)
p0,0=Clip3(0,(1<<14)-1,(-n1-3,0+4*n1-2,0-10*n1-1,0+57*n10,0+19*n11,0-7*n12,0+4*n13,0-n14,0+offset2)>>Shift2)
q0,0=Clip3(0,(1<<14)-1,(-n1-3,0+4*n1-2,0-11*n1-1,0+40*n10,0+40*n11,0-11*n12,0+4*n13,0-n14,0+offset2)>>Shift2)
r0,0=Clip3(0,(1<<14)-1,(-n1-3,0+3*n1-2,0-7*n1-1,0+19*n10,0+57*n11,0-10*n12,0+4*n13,0-n14,0+offset2)>>Shift2)
在这里,shift2(移动2)定义为BitDepthy-2,并且offset2(偏移2)被设置为1<<(shift2-1)。图7中图示的中间值d1i,0、h1i,0和n1i,0可以由表达式4计算。
表达式4
dli,0=-Ai,-3+4*Ai,-2-10*Ai,-1+57*Ai,0+19*Ai,1-7*Ai,2+3*Ai,3-Ai,4
hli,0=-Ai,-3+4*Ai,-2-11*Ai,-1+40*Ai,0+40*Ai,1-11*Ai,2+4*Ai,3-Ai,4
nli,0=-Ai,-3+3*Ai,-2-7*Ai,-1+19*Ai,0+57*Ai,1-10*Ai,2+4*Ai,3-Ai,4
在这里,在水平方向中i具有-3、…、4的值,并且Ai,j表示在图15中图示的整数采样阵列中位于行i和列j中的整数采样。
在表达式1、3和4中,{-1、4、-10、57、19、-7、3、-1}的系数在1/4像素位置处应用于采样,{-1、4、-11、40、40、-11、4、-1}的系数在2/4像素位置处应用于采样,以及{-1、3、-7、19、57、-10、4、-1}的系数在3/4像素位置处应用于采样,如在表1中所示。
在邻近于整数位置采样A0,0的区域中计算分数采样的方法可以类似地应用于位于邻近于另一个整数采样Ai,j的区域中的1/4像素单元的分数采样的计算。
以下将描述计算像素采样的位置的方法。在用于亮度像素的参考图片采样阵列中对应于每个亮度采样Ai,j的位置(xAi,j,yAi,j)由表达式5指示。
表达式5
xAi,j=Clip3(0,PieWidthInSamplesL-1,xIntL+i)
yAi,j=Clip3(0,PicHeightInSamplesL-I,yIntL+j)
在这里,PicWidthInSamplesL指定用于亮度像素的参考图片采样阵列的宽度,并且PicHeightInSamplesL指定用于亮度像素的参考图片采样阵列的高度。(xIntL,yIntL)表示由全采样单元表示的亮度像素的位置。(xFracL,yFracL)表示由分数采样单元表示的亮度像素的位置。(xIntL,yIntL)和(xFracL,yFracL)可以计算如下。
表达式6
xIntL=xP+(mvLX[0]>>2)+xL
yIntL=yP+(mvLX[1]>>2)+yL
表达式7
xFracL=mvLX[0]&3
yFracL=mvLX[1]&3
在这里,建立xP=xC+xB和yP=yC+yB。(xC,yC)指定相对于在当前图片的左上角上的亮度像素采样在当前编译单元的左上角处的亮度像素采样的位置,以及(xB,yB)指定相对于在当前编译单元的左上角处的亮度像素采样在当前预测单元的左上角处的亮度像素采样的位置。(xP,yP)表示相对于在参考采样阵列的左上侧上的亮度像素采样的位置在当前预测单元的左上侧上的亮度像素采样的位置。
此外,(xL,yL)表示在预测的亮度采样阵列中的亮度采样的位置,mvLX表示亮度像素的运动矢量,并且“&”表示逐位与运算符。
指示分数采样单元的亮度像素位置的偏移(xFracL,yFracL)指定在哪个分数采样位置处产生的像素采样基于插值被分配给预测的亮度采样值。表2示出亮度像素位置偏移和分数采样单元的预测的亮度采样值的分配的示例。
表2
xFracL 0 0 0 0 1 1 1 1 2 2 2 2 3 3 3 3
yFracL 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3
预测的采样值 A<<shift3(移动3) d h n a e i p b f j q c g k r
在这里,shift3被设置为14-BitDepthy。因此,按照以上提及的插值方法,在表2中示出的预测的亮度采样值可以基于给定的全采样单元的像素位置、分数采样单元的像素位置和参考采样阵列获得。
与亮度像素不同,在色度像素的情况下,运动矢量的分辨率是1/8采样,以及小于整数像素的像素信息可以通过使用插值由1/8像素单元产生。为了对色度像素执行插值处理,可以使用具有不同滤波器系数的基于DCT的4抽头插值滤波器(基于DCT的插值滤波器)。
图8是示意地图示在色度像素的1/8单元采样插值中的分数采样和整数采样的位置的示意图。在图8图示的像素的位置800之中,阴影线(由大写字母指示的)位置对应于整数采样,并且非阴影线(由小写字母指示的)位置对应于分数采样。
参考图8,类似于图7,分数像素采样,具体地,1/8像素单元的分数像素采样基于一个整数像素采样通过插值在一个区域中产生。在下文中,为了解释便利的目的,将描述在区域810中基于整数像素采样B0,0的分数像素采样通过插值产生的示例。
表3示出根据用于产生小于色度像素的整数像素单元的像素信息的像素位置的滤波器系数的示例。
表3
像素位置 滤波器系数
1/8 {-3,60,8,-1}
2/8 {-4,54,16,-2}
3/8 {-5,46,27,-4}
4/8 {-4,36,36,-4}
5/8 {-4,27,46,-5}
6/8 {-2,16,54,-4}
7/8 {-1,8,60,-3}
参考表3,在图8中1/8像素单元的采样ab0,0、ac0,0、ad0,0、ae0,0、af0,0、ag0,0和ah0,0可以通过将4抽头滤波器应用于接近的整数采样,以及对滤波的值执行剪裁操作由表达式8计算。
表达式8
ab0,0=Clip3(0,(1<<14)-1,(-3*,B-1,0+60*B0,0+8*Bi,0-B2,0+offset1)>>shift1)
ac0,0=Clip3(0,(1<<14)-1,(-4*,B-1,0+54*B0,0+16*B1,0-2*B2,0+offset1)>>shift1)
ad0,0=Clip3(0,(1<<14)-1,(-5*,B-1,0+46*B0,0+27*B1,0-4*B2,0+offset1)>>shift1)
ae0,0=Clip3(0,(1<<14)-1,(-4*,B-1,0+36*B0,0+36*B1,0-4*B2,0+offset1)>>shift1)
af0,0=Clip3(0,(1<<14)-1,(-4*,B-1,0+27*B0,0+46*B1,0-5*B2,0+offset1)>>shift1)
ag0,0=Clip3(0,(1<<14)-1,(-2*,B-1,0+16*B0,0+54*B1,0-4*B2,0+offset1)>>shift1)
ah0,0=Clip3(0,(1<<14)-1,(-B-1,0+8*B0,0+60*B1,0-3*B2,0+offset1)>>shift1)
此外,在图8中1/8像素单元的ba0,0、ca0,0、da0,0、ea0,0、fa0,0、ga0,0和ha0,0可以通过将4抽头滤波器应用于接近的整数采样,并且对滤波的值执行剪裁操作由表达式9计算。
表达式9
ba0,0=Clip3(0,(1<<14)-1,(-3*,B0,-1+60*B0,0+8*B0,1-B0,2+offset1)>>shift1)
ca0,0=Clip3(0,(1<<14)-1,(-4*,B0,-1+54*B0,0+16*B0,1-2*B0,2+offset1)>>shift1)
da0,0=Clip3(0,(1<<14)-1,(-5*,B0,-1+46*B0,0+27*B0,1-4*B0,2+offset1)>>shift1)
ea0,0=Clip3(0,(1<<14)-1,(-4*,B0,-1+36*B0,0+36*B0,1-4*B0,2+offset1)>>shift1)
fa0,0=Clip3(0,(1<<14)-1,(-4*,B0,-1+27*B0,0+46*B0,1-5*B0,2+offset1)>>shift1)
ga0,0=Clip3(0,(1<<14)-1,(-2*,B0,-1+16*B0,0+54*B0,1-4*B0,2+offset1)>>shift1)
ha0,0=Clip3(0,(1<<14)-1,(-B0,-1+8*B0,0+60*B0,1-3*B0,2+offset1)>>shift1)
1/8像素单元的采样Xb0,0、Xc0,0、Xd0,0、Xe0,0、Xf0,0、Xg0,0和Xh0,0(这里X是b、c、d、e、f、g或者h)可以通过使用表达式10和将4抽头滤波器应用于接近的整数位置的采样计算中间值bai,0、cai,0、dai,0、eai,0、fai,0、gai,0和hai,0(这里在水平方向i是-1、…、2)获得。
表达式10
bai,0=-3*B0,-1+60*B0,0+8*B0,1-B0,2
cai,0=-4*B0,-1+54*B0,0+16*B0,1-2*B0,2
dai,0=-5*B0,-1+46*B0,0+27*B0,1-4*B0,2
eai,0=-4*B0,-1+36*B0,0+36*B0,1-4*B0,2
fai,0=-4*B0,-1+27*B0,0+46*B0,1-5*B0,2
gai,0=-2*B0,-1+16*B0,0+54*B0,1-4*B0,2
hai,0=-B0,-1+8*B0,0+60*B0,1-3*B0,2
Xb0,0、Xc0,0、Xd0,0、Xe0,0、Xf0,0、Xg0,0和Xh0,0(这里X是b、c、d、e、f、g或者h)可以通过将4抽头滤波器应用于中间值Xai,0(这里在水平方向中i是-1、…、2)由表达式11计算。
表达式11
Xb0,0=Clip3(0,(1<<14)-1,(-3*Xa-1,0+60*Xa0,0+8*Xa1,0-Xa2,0+offset2)>>Shift2)
Xc0,0=Clip3(0,(1<<14)-1,(-4*Xa-1,0+54*Xa0,0+16*Xa1,0-2*Xa2,0+offset2)>>Shift2)
Xd0,0=Clip3(0,(1<<14)-1,(-5*Xa-1,0+46*Xa0,0+27*Xa1,0-4*Xa2,0+offset2)>>Shift2)
Xe0,0=Clip3(0,(1<<14)-1,(-4*Xa-1,0+36*Xa0,0+36*Xa1,0-4*Xa2,0+offset2)>>Shift2)
Xf0,0=Clip3(0,(1<<14)-1,(-4*Xa-1,0+27*Xa0,0+46*Xa1,0-5*Xa2,0+offset2)>>Shift2)
Xg0,0=Clip3(0,(1<<14)-1,(-2*Xa-1,0+16*Xa0,0+54*Xa1,0-4*Xa2,0+offset2)>>Shift2)
Xh0,0=Clip3(0,(1<<14)-1,(-Xa-1,0+8*Xa0,0+60*Xa1,0-3*Xa2,0+offset2)>>Shift2)
在表达式8至11中,{-3、60、8、-1}的系数在1/8像素位置处应用于采样,{-4、54、16、-2}的系数在2/8采样位置处应用于采样,{-5、46、27、-4}的系数在3/8像素位置处应用于采样,{-4、36、36、-4}的系数在4/8像素位置处应用于采样,{-4、27、46、-5}的系数在5/8像素位置处应用于采样,{-2、16、54、-4}的系数在6/8像素位置处应用于采样,以及{-1、8、60、-3}的系数在7/8像素位置处应用于采样,如表3所示。
为了计算运动矢量,必须计算甚至用于色度像素的整数采样和分数采样的位置。在用于色度像素的参考图片采样阵列中对应于色度采样Bi,j的位置(xBi,j,yBi,j)由表达式12表示。
表达式12
xBi,j=Clip3(0,PicWidthtInSamplesC-1,xIntC+i)
yBi,j=Clip3(0,PicHeightInSamplesC-1,yIntC+j)
在这里,PicWidthInSamplesC指定用于色度像素的参考图片采样阵列的宽度,并且PicHeightInSamplesC指定用于色度像素的参考图片采样阵列的高度。(xIntC,yIntC)表示由全采样单元指示的亮度像素的位置。(xFracC,yFracC)表示由分数采样单元指示的色度像素的位置。(xIntC,yIntC)和(xFracC,yFracC)可以计算如下。
表达式13
xIntC=(xp/2)+(mvCLX[0]>>3)+xC
yIntC=(yp/2)+(mvCLX[1]>>3)+yC
表达式14
xFracC=mvLX[0]&7
yFracC=mvLX[1]&7
在这里,(xC,yC)表示在预测的色度采样阵列中色度像素的位置,并且mvCLX是色度像素的运动矢量。
指示分数采样单元的色度像素位置的偏移(xFracC,yFracC)指定在哪个全采样处产生的色度采样,并且分数采样位置基于插值被分配给预测的色度采样值。表4示出分数采样单元的色度像素位置偏移和预测的色度采样值的分配的示例。
表4
xFracC 0 0 0 0 0 0 0 0 X X X X X X X X
yFracC 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7
预测的采样值 B<<shift3 ba ca da ea fa ga ha aY bY cY dY eY fY gY hY
在这里,shift3被设置为14-BitDepthy。(X,Y)可以以(1,b)、(2,c)、(3,d)、(4,e)、(5,f)、(6,g)和(7,h)替换。
按照以上提及的插值方法,在表4中示出的预测的色度采样值可以基于给定的全采样单元的像素位置、分数采样单元的像素位置和参考采样阵列获得。以这种方法,通过使用对应于通过插值产生的预测的采样值的像素位置选择预测的块和计算运动矢量,可以提高预测性能。
另一方面,当用于间预测的预测的块和运动矢量通过如上所述的插值产生时,可以考虑无需仅使用参考图片的像素采样,共同地使用参考图片的像素采样和当前图片的像素采样执行插值。通过使用当前图片的像素采样执行插值处理,可以产生类似于当前块的预测的块。
图9是按照本发明示意地图示共同地使用参考图片和当前图片执行插值处理的示例的示意图。
在图9中,在预测单元935和参考块920之间的位置方面的差值可以由运动矢量MV指示。参考图9,为了产生当前图片930的预测单元935的预测的块,可以基于对应于预测单元935的参考图片910的参考块920、围绕参考块920的像素区域915、以及在当前图片930中围绕预测单元935的重建的像素区域940,执行用于间预测的插值处理。小于整数单元的分数采样,例如,1/2像素或者1/4像素可以通过使用插值产生。
图10是示意地图示包括重建的当前图片的像素和参考图片的像素采样的、用于插值的采样阵列的示意图。图10图示预测单元是8×8块的示例。
参考图10,参考目标块O和右侧块R、参考目标块的左下块BL、底部块,和右下块BR的像素采样(阴影线的)是参考图片的整数采样,并且参考目标块的左侧块L、左上块、上块U,和右上块UR的像素采样(非阴影线的)是当前图片的重建的整数采样。
在下文中,为了解释便利的目的,通过插值产生分数采样的区域,例如,在图7中的区域710和在图8中的区域810称为插值区域。在插值区域中的整数像素采样,例如,对应于在图7中的A0,0和在图8中的B0,0的整数像素采样称为参考整数采样。因此,在给定的参考整数采样的相应的插值区域中的分数像素采样可以通过插值产生。
如上所述,在本发明中,共同地使用当前图片的重建的整数像素采样和参考图片的整数像素采样执行插值。例如,当假设图10图示亮度像素采样的阵列时,分数像素采样可以使用8抽头插值滤波器产生。参考表达式1,在当前图片的整数像素采样之中的最多三个整数像素采样可以被包括在插值滤波器被应用到的整数像素采样1010和1020中。
因此,在亮度像素的情况下,当前图片的重建的整数像素采样可用于将最靠近于参考块O的块边界的三个整数像素采样的任何一个用作参考整数采样来执行插值。也就是说,在亮度像素的情况下,可以用于产生参考块的分数像素采样的插值的当前图片的整数像素采样的最大数是3。
在色度像素的情况下,由于4抽头插值滤波器可用于产生分数采样,参考表达式8,可用于产生参考块的分数像素采样的当前图片的整数像素采样的数目是一个。也就是说,在色度像素的情况下,当前图片的重建的整数像素采样可用于将最靠近于参考块O的块边界的整数像素采样用作参考整数采样来执行插值。
在下文中,将基于使用当前图片的整数像素采样产生的参考整数采样的位置和分数像素采样的位置,详细描述按照本发明的插值方法。为了解释便利的目的,在以下的情形下通用的细节将不重复。
1.产生分数像素采样a、b、c和ab,并且参考整数采样位于参考块的第一整数采样列中的情形
图11是示意地图示用于产生在对应于预测单元1110的参考块中小于整数单元的分数采样的参考整数采样位于离参考块的左侧边界第一整数采样列1120中的示例的示意图。在图11中,P0、…、P7指示整数像素(值),并且P0、…、P7可以是亮度像素或者色度像素。在图11中,假设预测单元是8×8块。
在下文中,将在两个情形下描述在图11中图示的示例,这里将描述按照本发明P0、…、P7是亮度采样和色度像素,并且然后可以在执行插值之前执行预处理。
(1)亮度采样的插值
在亮度像素的情况下,诸如在图7图示的区域710中的a0,0至r0,0的分数像素采样通过在插值区域1130中插值以1/4像素为单位产生。
在色度像素的情况下,可以使用8抽头插值滤波器。为了解释便利的目的,假设在插值滤波器中使用的八个整数像素是P0、P1、P2、P3、P4、P5、P6和P7。由于参考整数采样P3位于在参考块中的第一整数像素采样列中,当前图片的三个重建的像素采样可以用于插值。参考图11,整数像素采样P0、P1和P2用作供插值的当前图片的重建的像素。
图12是图示图11的用于亮度像素采样的插值区域1130,并且示意地图示在插值区域1130A中在分数像素采样和整数像素采样之间的位置关系的示意图。在这个实施例中,参考整数像素是P3,并且在插值区域中的分数像素采样a至r通过插值产生。
用于插值的滤波器的系数可以以各种方法确定。例如,当使用用于推导表达式1的滤波器系数时,分数像素采样的a、b和c可以通过表达式15计算。
表达式15
a=Clip3(0,(1《14)-1,(-P0+4Pl-10P2+57P3+19P4-7P5+3P6-P7+offset1)》shift1)
b=Clip3(0,(1《14)-1,(-P0+4Pl-11P2+40P3+40P4-11P5+4P6-P7+offset1)》shift1)
c=Clip3(0,(1《14)-1,(-P0+3Pl-7P2+19P3+57P4-10P5+4P6-P7+offset1)》shift1)
另一方面,当位于离参考块1110的顶部边界的第三行中的整数像素采样用作参考整数采样时,分数像素采样d、h和n可以使用当前图片的重建的整数像素采样产生。稍后将描述这种情形。当参考整数采样位于离参考块1110的顶部边界第四行内时,参考图片的整数像素采样可用于计算分数像素采样。例如,分数像素采样d、h和n可以通过将表达式1应用于参考图片的整数像素采样产生。
分数像素采样e、f、g、i、j、k、p、q和r可以使用a、b、c、d、h和n的值计算。例如,当应用由表达式3和4表示的滤波器时,滤波器应用于a、b、c、d、h和n以计算其他分数像素采样。对应于计算的分数像素采样值的位置可以例如使用表达式5和表2计算。
(2)色度采样的插值
在色度像素的情况下,在图8图示的区域810中,诸如ab0,0至hh0,0的分数像素采样通过在插值区域1130中插值以1/8像素为单位产生。
在色度采样的情况下,可以使用4抽头插值滤波器。在这种情况下,与亮度像素的情形不同,使用四个整数像素P2、P3、P4和P5对色度像素执行插值。由于参考整数像素P3位于第一整数采样列中,当前图片的重建的像素采样的一个用于插值。
图13是图示用于色度像素采样的图11的插值区域1130的示意图,并且示意地图示在插值区域1130B中在分数像素采样和整数像素采样之间的位置关系。如在附图中图示的,参考整数像素是P3,并且在插值区域中的分数像素采样ab至hh通过插值产生。
用于插值的滤波器的系数可以以各种方法确定。例如,当使用用于推导表达式8的滤波器系数时,分数像素采样的ab、ac、ad、ae、af、ag和ah可以通过表达式16计算。
表达式16
ab=Clip3(0,(1《14)-1,(-3P2+60P3+8P4-P5+offsetl)》shift1)
ac=Clip3(0,(1《14)-1,(-4P2+54P3+16P4-2P5+offsetl)》shift1)
ad=Clip3(0,(1《14)-1,(-5P2+46P3+27P4-4P5+offsetl)》shift1)
ae=Clip3(0,(1《14)-1,(-4P2+36P3+36P4-4P5+offsetl)》shift1)
af=Clip3(0,(1《14)-1,(-4P2+27P3+46p4-5P5+offsetl)》shift1)
ag=Clip3(0,(1《14)-1,(-2P2+16P3+54P4-4P5+offsetl)》shift1)
ah=Clip3(0,(1《14)-1,(-P2+8P3+60p4-3P5+offsetl)》shift1)
另一方面,当位于离参考块1110的顶部边界的第一行中的整数像素采样用作参考整数采样时,分数像素采样ba、ca、da、ea、fa、ga和ha可以使用当前图片的重建的整数像素采样产生。稍后将描述这种情形。当参考整数采样位于离参考块1110的顶部边界第二行内时,参考图片的整数像素采样可用于例如,使用表达式9计算分数像素采样ba、ca、da、ea、fa、ga和ha。
在参考块1110中的其他分数像素采样可以使用ab、ac、ad、ae、af、ag、ah、ba、ca、da、ea、fa、ga、ha的值计算。例如,当使用由表达式10和11表示的滤波器时,滤波器可以应用于以上提及的值来计算其他分数像素采样。对应于所计算的分数像素采样值的位置可以例如使用表达式14和表4计算。
(3)对当前图片的重建的整数采样平滑预处理
为了减少在块边界中产生的中断,可以对用于插值的当前图片的整数采样执行预先确定的预处理,诸如平滑处理。
作为插值预处理的平滑目标是要用于插值的重建的整数像素采样。可以对要用于插值的当前图片的所有重建的整数像素采样(在图19中的P0、P1和P2)执行平滑处理。根据在要用于插值的当前图片的重建的整数像素采样之中的离块边界的距离,可以对预先确定数目的整数像素采样执行平滑处理。例如,可以仅对最靠近于块边界的整数像素采样(在图11中的P2)执行平滑处理,或者可以对离块边界的多达第二列的整数像素采样(在图11中的P1和P2)执行平滑处理。
考虑到在当前图片和参考图片之间的边界中的中断,可以使用当前图片的整数像素采样和参考块的整数像素采样执行平滑处理。
根据要平滑的整数像素的位置,可以应用各种平滑滤波器。例如,当仅对P2执行平滑处理时,可以应用从3抽头滤波器到8抽头滤波器的各种滤波器。当对P1和P2执行平滑处理时,难以使用参考块的整数像素采样将3抽头滤波器应用于P1。因此,相同的4抽头或者更多抽头滤波器可以应用于P1和P2,或者可以分别选择要应用于P1和P2的滤波器,以便排除3抽头滤波器应用于P1。当对P0、P1和P2全部都执行平滑处理时,相同的5抽头或者更多抽头滤波器可以应用于P0、P1和P2的全部,或者可以分别选择要应用于P0、P1和P2的滤波器,以便将5抽头或者更多抽头滤波器应用于P0,并且将4抽头或者更多抽头滤波器应用于P1。在这里,必要时,应用的滤波器及其系数可以被分别地确定,或者可以使用在该***中使用的滤波器和/或系数。例如,当使用8抽头滤波器时,可以使用要应用于亮度像素采样的插值滤波器的系数。当使用4抽头滤波器时,可以使用要应用于色度像素采样的插值滤波器的系数。
当假设仅对P2执行平滑处理,并且使用3抽头滤波器时,经历平滑的P2’可以通过表达式17计算。
表达式17
P2′=(P1+P2+2P3+2)》2
参考图11,在表达式17中P1和P2是当前图片的重建的整数像素采样,并且P3是参考块的整数像素采样。可以通过使用经历平滑的整数像素采样执行插值进一步提高插值效果。另一方面,为了解释便利的目的,引入表达式17的滤波器和系数,并且必要时,在本发明中可以应用各种滤波器和系数。
2.产生分数像素采样a、b和c,并且参考整数采样位于参考块的第二整数采样列中的情形
图14是示意地图示在对应于预测单元1410的参考块中参考整数采样位于离参考块的左侧边界第二整数采样列1420中的示例的示意图。在图14中,P0、…、P7表示整数像素(值),并且P0、…、P7可以是亮度像素或者色度像素。在图14中,与在图11中图示的情形不同,当4抽头滤波器应用于插值色度像素时,当前图片的重建的色度整数像素采样不能用于产生分数像素采样的插值。在图14中,假设预测单元是8×8块。
(1)亮度采样的插值
参考图14,整数像素采样P0和P1是当前图片的重建的像素,并且用于插值。在插值区域1430中,类似于在图12中图示的插值区域1130A,相对于参考整数采样P3通过插值产生分数像素采样a至r。
在图14中,与在图11中图示的情形不同,P0和P1是当前图片的重建的整数像素采样,并且P2至P7是参考块的整数像素采样。
在图14中,分数像素采样可以通过使用当前图片的重建的像素采样P0和P1以及参考图片的像素采样P2至P7插值来计算。用于插值的滤波器的系数可以以各种方法确定。参考图11描述的表达式16可以是可以应用于这种情形的插值滤波器的示例。
(2)对当前图片的重建的整数采样平滑预处理
在图14中,可以对要用于插值的当前图片的所有重建的整数像素采样(图14的P0和P1)执行平滑处理,或者可以仅对最靠近于块边界的像素采样(在图14中的P1)应用平滑处理。
当仅对P1执行平滑处理时,可以应用从3抽头滤波器到8抽头滤波器的各种滤波器。当对P0和P1执行平滑处理时,难以使用参考块的整数像素采样将3抽头滤波器应用于P0。因此,相同的4抽头或者更多抽头滤波器可以应用于P0和P1,或者可以分别选择要应用于P0和P1的滤波器,以便排除3抽头滤波器应用于P1。
要应用的滤波器和系数可以以如上所述的各种方法选择。当假设仅对P1执行平滑处理,并且使用3抽头滤波器时,经历平滑的P1’可以通过表达式18计算。
表达式18
P1′=(P0+P1+2P2+2)》2
参考图14,在表达式18中P0和P1是当前图片的重建的整数像素采样,并且P2是参考块的整数像素采样。另一方面,为了解释便利的目的,引入表达式18的滤波器和系数,并且必要时,在本发明中可以应用各种滤波器和系数。
3.产生分数像素采样a、b和c,并且参考整数采样位于参考块的第三整数采样列中的情形
图15是示意地图示在对应于预测单元1510的参考块中参考整数采样位于离参考块的左侧边界第三整数采样列1520中的示例的示意图。在图15中,P0、…、P7表示整数像素(值),并且P0、…、P7可以是亮度像素或者色度像素。在图15中,与在图14中图示的情形不同,当4抽头滤波器应用于插值色度像素时,当前图片的重建的色度整数像素采样不能用于产生分数像素采样的插值。在图15中,假设预测单元是8×8块。
(1)亮度采样的插值
参考图15,整数像素采样P0和P1是当前图片的重建的像素,并且用于插值。在插值区域1530中,类似于在图12中图示的插值区域1130A,通过相对于参考整数采样P3的插值产生分数像素采样a至r。
在图15中,与在图11和14中图示的情形不同,P0是当前图片的重建的整数像素采样,并且P1至P7是参考块的整数像素采样。
在图15中,分数像素采样可以通过使用当前图片的重建的像素采样P0,和参考图片的像素采样P1至P7插值计算。用于插值的滤波器的系数可以以各种方法确定。参考图11描述的表达式16可以是可以应用于这种情形的插值滤波器的示例。
(2)对当前图片的重建的整数采样平滑预处理
在图15中,可以对要用于插值的当前图片的重建的整数像素采样P0执行平滑处理。在这里,从3抽头滤波器到8抽头滤波器的各种滤波器可以应用于P0。要应用的滤波器和系数可以以如上所述的各种方法选择。当假设3抽头滤波器应用于P0时,经历平滑的P0’可以通过表达式19计算。
表达式19
P0′=(P0B+P0+2P1+2)》2
参考图15,在表达式19中P0是当前图片的重建的整数像素采样,并且P1是参考块的整数像素采样。虽然在图15中未图示,但P0B是位于P0的左侧上的整数像素采样,并且是当前图片的重建的像素采样。另一方面,为了解释便利的目的,引入表达式19的滤波器和系数,并且必要时,在本发明中可以应用各种滤波器和系数。
4.产生分数像素采样a、b、c和ba,并且参考整数采样位于参考块的第一整数采样行中的情形
图16是示意地图示在对应于预测单元1610的参考块中用于产生小于整数单元的分数采样的参考整数采样位于离参考块的顶部边界的第一整数采样行1620中的示例的示意图。在图16中,P0、…、P7表示整数像素(值),并且P0、…、P7可以是亮度像素或者色度像素。在图16中,假设预测单元是8×8块。
(1)亮度采样的插值
在亮度像素的情况下,在图7图示的区域710中的分数像素采样,诸如a0,0至r0,0通过在插值区域1630中使用8抽头滤波器插值以1/4像素为单位产生。
在图16中,由于参考整数采样P3位于在参考块中的第一整数像素采样列中,当前图片的三个重建的像素采样可以用于插值。参考图16,整数像素采样P0、P1和P2用作供插值的当前图片的重建的像素。
在插值区域1630中,类似于在图12中图示的插值区域1130A,通过相对于参考整数采样P3插值产生分数像素采样a至r。
用于插值的滤波器的系数可以以各种方法确定。例如,当使用用于推导表达式1的滤波器系数时,分数像素采样的d、h和n可以通过表达式20计算。
表达式20
d=Clip3(0,(1《14)-1,(-P0+4P1-10P2+57P3+19P4-7P5+3P6-P7+offset1)》shift1)
h=Clip3(0,(1《14)-1,(-P0+4P1-11P2+40P3+40P4-11P5+4P6-P7+offset1)》shift1)
n=Clip3(0,(1《14)-1,(-P0+3P1-7P2+19P3+57P4-10P5+4P6-P7+offset1)》shift1)
另一方面,当位于多达离参考块1610的左侧边界的第三列的列中的整数像素采样用作参考整数采样时,分数像素采样a、b和c可以使用如上所述的当前图片(参见1至3的方法)的重建的整数像素采样产生。当参考整数采样位于离参考块1610的左侧边界的第四列内时,分数像素采样a、b和c可以使用插值滤波器(该插值滤波器使用参考图片的整数像素采样)例如,使用由表达式1指示的插值滤波器计算。
分数像素采样e、f、g、i、j、k、p、q和r可以使用a、b、c、d、h和n的值计算。例如,表达式3和4可以应用于a、b、c、d、h和n以计算其他分数像素采样。对应于计算的分数像素采样值的位置可以例如使用表达式7和表2计算。
(2)色度采样的插值
在色度像素的情况下,在图8图示的区域810中的分数像素采样,诸如ab0,0至hh0,0通过在插值区域1630中使用4抽头滤波器插值以1/8像素为单位产生。因此,与亮度像素的情形不同,使用四个整数像素P2、P3、P4和P5执行插值。由于参考整数像素P3位于第一整数采样行中,当前图片的重建的像素采样的一个P2使用4抽头滤波器用于插值。
在插值区域1630中,类似于在图13中图示的插值区域1130B,通过相对于参考整数采样P3插值产生分数像素采样a至r。
用于插值的滤波器的系数可以以各种方法确定。例如,当使用用于推导表达式9的滤波器系数时,分数像素采样的ba、ca、da、ea、fa、ga和ha可以通过表达式21计算。
表达式21
ba=Clip3(0,(1《14)-1,(-3P2+60P3+8P4-P5+offserl)》shift1)
ca=Clip3(0,(1《14)-1,(-4P2+54P3+16P4-2P5+offserl)》shift1)
da=Clip3(0,(1《14)-1,(-5P2+46P3+27P4-4P5+offserl)》shift1)
ea=Clip3(0,(1《14)-1,(-4P2+36P3+36P4-4P5+offserl)》shift1)
fa=Clip3(0,(1《14)-1,(-4P2+27P3+46P4-5P5+offsetl)》shift1)
ga=Clip3(0,(1《14)-1,(-2P2+16P3+54P4-4P5+offsetl)》shift1)
ha=Clip3(0,(1《14)-1,(-P2+8P3+60P4-3P5+offsetl)》shift1)
另一方面,当位于离参考块1610的左侧边界的第一列中的整数像素采样用作参考整数采样时,分数像素采样ba、ca、da、ea、fa、ga和ha可以使用如上所述的当前图片(参见1的方法)的重建的整数像素采样产生。当参考整数采样位于离参考块1610的左侧边界的第二列内时,参考图片的整数像素采样可用于例如,使用表达式9计算分数像素采样ba、ca、da、ea、fa、ga和ha。
插值区域1630中的其他分数像素采样可以使用ab、ac、ad、ae、af、ag、ah、ba、ca、da、ea、fa、ga、ha的值计算。例如,表达式10和11可以应用于ab、ac、ad、ae、af、ag、ah、ba、ca、da、ea、fa、ga和ha以计算其他分数像素采样。对应于计算的分数像素采样值的位置可以例如使用表达式12和表5计算。
(3)对当前图片的重建的整数采样平滑预处理
作为可应用于在图24中图示的情形的预处理的平滑处理可以类似于参考图11描述的平滑处理执行。与图11的情形不同,当前图片的重建的整数像素采样和在图18中图示的用于插值的参考块的整数像素采样位于与在图18中图示相同的行2420中。
5.产生分数像素采样d、h和n,并且参考整数采样位于参考块的第二整数采样行中的情形
图17是示意地图示在对应于预测单元1710的参考块中参考整数采样位于离参考块的顶部边界第二整数采样行1720中的示例的示意图。在图17中,P0、…、P7指示整数像素(值),以及P0、…、P7可以是亮度像素或者色度像素。在图17中,与在图16中图示的情形不同,当4抽头滤波器应用于插值色度像素时,当前图片的重建的色度整数像素采样不能用于产生分数像素采样的插值。在图17中,假设预测单元是8×8块。
(1)亮度采样的插值
参考图17,整数像素采样P0和P1是当前图片的重建的像素,并且用于插值。在插值区域2530中,类似于在图12中图示的插值区域1130A,通过相对于参考整数采样P3插值产生分数像素采样a至r。
在图17中,与在图16中图示的情形不同,P0和P1是当前图片的重建的整数像素采样,并且P2至P7是参考块的整数像素采样。
在图17中,分数像素采样可以通过使用当前图片的重建的像素采样P0和P1以及参考图片的像素采样P2至P7插值计算。用于插值的滤波器的系数可以以各种方法确定。参考图16描述的表达式20可以是可以应用于这种情形的插值滤波器的示例。
(2)对当前图片的重建的整数采样平滑预处理
作为可应用于在图17中图示的情形的预处理的平滑处理可以类似于参考图14描述的平滑处理执行。与图14的情形不同,当前图片的重建的整数像素采样和在图17中图示的用于插值的参考块的整数像素采样位于与在图17中图示相同的行1720中。
6.产生分数像素采样d、h和n,并且参考整数采样位于参考块的第三整数采样行中的情形
图18是示意地图示在对应于预测单元1810的参考块中的参考整数采样位于离参考块的左侧边界第三整数采样行1820中的示例的示意图。在图18中,P0、…、P7表示整数像素(值),以及P0、…、P7可以是亮度像素或者色度像素。在图18中,与在图17中图示的情形不同,当4抽头滤波器应用于插值色度像素时,当前图片的重建的色度整数像素采样不能用于产生分数像素采样的插值。在图18中,假设预测单元是8×8块。
(1)亮度采样的插值
参考图18,整数像素采样P0和P1是当前图片的重建的像素,并且用于插值。在插值区域1830中,类似于在图12中图示的插值区域1130A,通过相对于参考整数采样P3插值产生分数像素采样a至r。
在图18中,与在图16和17中图示的情形不同,P0是当前图片的重建的整数像素采样,以及P1至P7是参考块的整数像素采样。
在图18中,分数像素采样可以通过使用当前图片的重建的像素采样P0和参考图片的像素采样P1至P7插值来计算。用于插值的滤波器的系数可以以各种方法确定。参考图16描述的表达式20可以是可以应用于这种情形的插值滤波器的示例。
(2)对当前图片的重建的整数采样平滑预处理
作为可应用于在图18中图示的情形的预处理的平滑处理可以类似于参考图15描述的平滑处理执行。与图15的情形不同,当前图片的重建的整数像素采样和在图18中图示的用于插值的参考块的整数像素采样位于与在图18中图示相同的行1820中。
另一方面,当共同地使用如上所述的当前图片的重建的像素采样和参考图片的像素采样执行插值时,编码器可以将相关信息发送给解码器。例如,编码器可以包括在诸如与当前图片(当前目标块,诸如当前编译单元、当前预测单元,和/或当前变换单元)相关的块类型和运动信息的信息中的指示使用当前图片的重建的像素采样执行用于产生预测的块的插值的信息,并且可以共同地发送信息。指示是否使用当前图片的重建的像素采样执行插值的信息可以由1-比特标记指示。
除了明确地发送指示是否使用当前图片的重建的像素采样执行插值的信息的方法之外,该信息可以使用隐含的方法发送给解码器。例如,通过比较相应块和邻近块的运动矢量,并且确定在两个运动矢量之间的差值是否大于预先确定的阈值,解码器可以识别当前图片的重建的像素采样是否用于插值。
虽然在1至6的情形下,8×8块被作为预测单元的例子描述,这仅是本发明的一个示例,并且本发明不局限于这个示例。本发明可以应用于预测块是4×4块、16×16块、32×32块和64×64块的各种情形。
图19是按照本发明示意地图示由解码器执行的产生预测的块的方法的流程图。
参考图19,解码器的预测模块推导运动信息(S1910)。运动信息包括有关相应的预测单元和参考图片索引的运动信息。
然后,预测模块确定运动矢量是否指示整数像素位置(S1920)。如上所述,在亮度像素的情况下,运动矢量可以通过1/4像素单元表示,并且在色度像素的情况下,可以通过1/8像素单元表示。
当运动矢量不指示整数像素位置时,也就是说,当运动矢量指示小于整数像素单元的子像素位置时,该预测模块需要通过分数采样单元执行用于产生像素信息的插值处理,以便产生预测的块。
用于执行插值处理的信息从预先产生的运动信息中推导。例如,插值区域和参考整数采样可以经由这个处理指定。
当运动矢量指示子像素位置时,预测模块使用整数像素采样执行用于产生小于整数单元的分数像素采样的插值处理(S1930)。
在这里,预测模块可以确认插值区域的参考整数采样是否在预先确定的范围之内,也就是说,在当前图片的重建的像素采样可以用于插值的范围之内。例如,当对亮度像素执行插值时,预测模块可以确认参考整数采样是否位于离对应于当前预测单元的参考块的顶部边界第三整数采样行内,或者在离其左侧边界第三整数采样列内。当对色度像素执行插值时,预测模块可以确认参考整数采样是否位于离对应于当前预测单元的参考块的顶部边界第一整数采样行中,或者在离其左侧边界第一整数采样列中。
当确认插值区域的参考整数采样位于预先确定的范围内时,解码器的预测模块可以执行为插值所必需的预处理。
例如,当对亮度像素执行插值,并且参考整数采样位于离对应于当前预测单元的参考块的顶端/左侧边界第三整数采样行/列内时,并且当对色度像素执行插值,并且参考整数采样位于在离对应于当前预测单元的参考块的顶端/左侧边界第一整数采样行/列中时,可以对要用于插值的当前图片的像素采样执行作为插值预处理的平滑处理。作为预处理执行的平滑方法与如上所述的相同。
如上所述,预测模块可以通过对于亮度像素插值以过1/4像素为单位产生分数像素采样,并且可以通过对于色度像素插值以1/8像素为单位产生分数像素采样。
在本发明中,当插值区域的参考整数采样位于预先确定的范围内时,预测模块可以共同地使用当前图片的整数像素采样和参考块的像素采样执行插值。特定的插值方法与如上所述的相同。
预测模块推导预测的块(S1940)。当运动矢量指示整数像素位置时,预测模块基于运动矢量和参考块产生预测的块,并且基于经由插值计算的运动矢量和像素采样产生预测的块。如上所述,对应于由分数采样单元表示的像素位置的预测的块区域像素采样值的像素采样值从参考整数采样偏移。例如,当对亮度像素执行插值时,该偏移可以作为(xFracL,yFracL)给出,并且当对色度像素执行插值时,该偏移可以作为(xFracC,yFracC)给出。在这种情况下,由相对于参考整数采样的偏移指定的预测的像素采样的值可以例如从用于亮度像素的表3获得,并且可以例如从用于色度像素的表5获得。
另一方面,关于当前图片的重建的整数像素采样是否将在图19图示的插值方法中使用,明确的或者隐含的命令可以如上所述从编码器发送给解码器。当参考整数采样位于离对应于当前预测单元的参考块的顶端/左侧边界第三整数采样行/列内时,当前图片的重建的整数像素采样可以被确定为要用于插值。
因此,当有关是否使用当前图片的重建的像素采样的命令被从编码器发送时,确定是否给出该命令和/或命令细节是什么的步骤可以之前执行。在这种情况下,当没有给出使用当前图片的重建的像素采样的命令时,无需使用当前图片的重建的像素采样,可以仅使用参考图片的像素采样执行插值。
虽然在以上提及的示例性***中,已经基于作为一系列的步骤或者模块的流程图描述方法,本发明不局限于该步骤的顺序,并且某个步骤可以以除如上所述以外的或者如上所述同时的顺序执行。以上提及的实施例包括各种示例。因此,本发明包括属于所附权利要求的所有的替换、修正和改进。
当在上面提及元件“连接到”或者“耦合到”另一个元件时,应该理解,再一个元件可以被***在其间,并且该元件可以被直接连接或者耦合到另一个元件。相反地,当提及一个元件“直接连接到”或者“直接耦合到”另一个元件时,应该理解,没有再一个元件***在其间。

Claims (19)

1.一种插值方法,包括步骤:
计算用于产生预测的块的运动信息;以及
基于整数采样集来产生分数像素采样,所述整数采样集包括插值滤波器被应用到其的整数像素采样,
其中,所述整数采样集包括在当前图片的重建的整数像素采样之中的用于产生分数像素采样的至少一个当前整数采样,以及
其中,所述分数像素采样对应于在整数像素采样之中的在离预先确定的参考像素采样以分数像素为单位的偏移位置。
2.根据权利要求1所述的插值方法,其中,对亮度像素执行插值方法,以及
其中,所述产生分数像素采样的步骤包括根据所述参考像素采样的位置,将预先确定数目的当前整数采样设置为被包括在整数采样集中。
3.根据权利要求2所述的插值方法,其中,当所述参考像素采样位于离在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时,三个当前整数采样被包括在所述整数采样集中,
其中,当所述参考像素采样位于离所述边界的第二整数像素采样列或者行中时,两个当前整数采样被包括在所述整数采样集中,以及
其中,当参考像素采样位于离所述边界的第三整数像素采样列或者行中时,一个当前整数采样被包括在所述整数采样集中。
4.根据权利要求3所述的插值方法,进一步包括步骤:在产生所述分数像素采样之前,将使用当前图片的至少一个重建的像素采样和至少一个参考像素采样的平滑滤波器应用于在当前整数采样之中的至少一个当前整数采样。
5.根据权利要求3所述的插值方法,进一步包括步骤:在产生所述分数像素采样之前,将使用当前图片的至少一个重建的像素采样和至少一个参考像素采样的平滑滤波器应用于最靠近在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的当前整数采样。
6.根据权利要求1所述的插值方法,其中,对色度像素执行所述插值方法,以及
其中,所述产生分数像素采样的步骤包括根据所述参考像素采样的位置,将预先确定数目的当前整数采样设置为被包括在所述整数采样集中。
7.根据权利要求6所述的插值方法,其中,当所述参考像素采样位于离在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时,一个当前整数采样被包括在所述整数采样集中。
8.根据权利要求7所述的插值方法,进一步包括步骤:在产生所述分数像素采样之前,将使用当前图片的至少一个重建的像素采样和至少一个参考像素采样的平滑滤波器应用于在所述当前整数采样之中的至少一个当前整数采样。
9.根据权利要求1所述的插值方法,进一步包括步骤:确定是否从编码器发送使用当前图片的重建的整数像素采样以产生所述分数像素采样的隐含的或者明确的命令,
其中,当确定发送所述命令时,使用当前图片的重建的整数像素采样以产生所述分数像素采样。
10.根据权利要求9所述的插值方法,其中,明确的命令是与像素位置信息和有关参考像素采样的阵列的信息一起从编码器发送到解码器的1-比特标记信息。
11.根据权利要求9所述的插值方法,其中,当在当前预测单元的邻近块的运动矢量和当前预测单元的运动矢量之间的差值等于或者小于预先确定的阈值时,确定发送隐含的命令以使用当前图片的重建的整数像素采样来产生所述分数像素采样。
12.根据权利要求1所述的插值方法,其中,对亮度像素执行所述插值方法,以及
其中,当参考整数采样位于离用于插值的参考图片的参考采样区域的上边界或者左边界的第三整数采样行/列内时,当前图片的重建的整数像素采样被用于插值。
13.根据权利要求1所述的插值方法,其中,对色度像素执行所述插值方法,以及
其中,当参考整数采样位于离用于插值的参考图片的参考采样区域的上边界或者左边界的第一整数采样行/列内时,当前图片的重建的整数像素采样被用于插值。
14.一种间预测方法,包括步骤:
计算用于产生预测的块的运动矢量;
当所述运动矢量指示子像素位置时,以子像素为单位执行产生像素采样的插值处理;以及
基于所述运动矢量和像素采样以子像素为单位来产生预测的块,
其中,当前图片的重建的像素采样和参考图片的像素采样被共同地用于所述插值处理。
15.根据权利要求14所述的间预测方法,其中,当前图片的重建的像素采样位于当前预测单元的上侧或者左侧区域中。
16.根据权利要求14所述的间预测方法,其中,在执行所述插值处理的步骤之前,对当前图片的重建的像素采样执行平滑处理,所述平滑处理使用参考图片的至少一个像素采样和当前图片的重建的像素采样中的至少一个。
17.一种插值方法,包括步骤:
计算用于产生预测的块的运动矢量;以及
当所述运动矢量指示子像素位置时,以子像素为单位执行产生像素采样的插值处理,
其中,当前图片的重建的像素采样和参考图片的像素采样被共同地用于所述插值处理。
18.根据权利要求17所述的插值方法,其中,所述当前图片的重建的像素采样位于当前预测单元的上侧或者左侧区域中。
19.根据权利要求17所述的插值方法,其中,在执行所述插值处理的步骤之前,对所述当前图片的重建的像素采样执行平滑处理,所述平滑处理使用所述参考图片的至少一个像素采样和所述当前图片的重建的像素采样中的至少一个。
CN201180073166.0A 2011-06-30 2011-07-28 插值方法和使用其的预测方法 Expired - Fee Related CN103891289B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2011-0065192 2011-06-30
KR1020110065192A KR101956284B1 (ko) 2011-06-30 2011-06-30 보간 방법 및 이를 이용한 예측 방법
PCT/KR2011/005573 WO2013002450A1 (ko) 2011-06-30 2011-07-28 보간 방법 및 이를 이용한 예측 방법

Publications (2)

Publication Number Publication Date
CN103891289A true CN103891289A (zh) 2014-06-25
CN103891289B CN103891289B (zh) 2017-05-10

Family

ID=47424325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180073166.0A Expired - Fee Related CN103891289B (zh) 2011-06-30 2011-07-28 插值方法和使用其的预测方法

Country Status (6)

Country Link
US (1) US9460488B2 (zh)
EP (1) EP2728876B1 (zh)
JP (1) JP5782186B2 (zh)
KR (1) KR101956284B1 (zh)
CN (1) CN103891289B (zh)
WO (1) WO2013002450A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089117A (zh) * 2017-05-11 2018-12-25 联发科技股份有限公司 编码或解码视频数据的方法及装置
CN113475078A (zh) * 2019-01-08 2021-10-01 腾讯美国有限责任公司 用于小帧间块的存储器带宽减小的方法和装置
CN113556566A (zh) * 2018-12-21 2021-10-26 华为技术有限公司 用于预测译码的插值滤波的方法及装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119935B (zh) * 2010-07-09 2016-05-04 三星电子株式会社 图像插值方法和设备
US9554128B2 (en) * 2011-09-13 2017-01-24 Hfi Innovation Inc. Method and apparatus for reduction of deblocking filter
US9398300B2 (en) * 2011-10-07 2016-07-19 Texas Instruments Incorporated Method, system and apparatus for intra-prediction in video signal processing using combinable blocks
US9978156B2 (en) * 2012-10-03 2018-05-22 Avago Technologies General Ip (Singapore) Pte. Ltd. High-throughput image and video compression
EP2983367A4 (en) 2013-04-05 2016-11-16 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING AND DECODING VIDEO CONTENT IN RELATION TO THE POSITION OF ALL-NUMBER PIXELS
CN105828080B (zh) * 2015-01-26 2020-02-14 同济大学 图像编解码方法及装置
EP3632108B1 (en) 2017-06-30 2023-08-02 Huawei Technologies Co., Ltd. Search region for motion vector refinement
US11218694B2 (en) * 2018-09-24 2022-01-04 Qualcomm Incorporated Adaptive multiple transform coding
CN113615203A (zh) * 2019-03-11 2021-11-05 华为技术有限公司 视频译码中的子图像配置指示
KR20220020268A (ko) 2019-06-14 2022-02-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 유닛 경계들 및 가상 경계들의 처리
WO2020249124A1 (en) * 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
WO2021004491A1 (en) 2019-07-09 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
WO2021004542A1 (en) 2019-07-11 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
EP3984219A4 (en) 2019-07-15 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. CLASSIFICATION IN AN ADAPTIVE LOOP FILTERING
WO2021052508A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Padding process in adaptive loop filtering
EP4035350A4 (en) * 2019-09-24 2023-11-01 Alibaba Group Holding Limited MOTION COMPENSATION METHOD FOR VIDEO CODING
KR20220063177A (ko) 2019-09-27 2022-05-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 상이한 비디오 유닛들 간의 적응적 루프 필터링
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
US20210176486A1 (en) * 2019-12-09 2021-06-10 Alibaba Group Holding Limited Methods and apparatuses for motion compensation
EP4085631A4 (en) * 2019-12-30 2023-03-22 Beijing Dajia Internet Information Technology Co., Ltd. CROSS COMPONENT DETERMINATION OF CHROMA AND LUMA COMPONENTS OF VIDEO DATA
CN113687601B (zh) * 2020-05-18 2022-11-29 联华电子股份有限公司 设备的自动调整方法及应用其的智能调整装置
US11831920B2 (en) * 2021-01-08 2023-11-28 Tencent America LLC Method and apparatus for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694495A (zh) * 2004-04-30 2005-11-09 松下电器产业株式会社 采用自适应时间预测的运动向量估计
US7224733B1 (en) * 1997-07-15 2007-05-29 Robert Bosch Gmbh Interpolation filtering method for accurate sub-pixel motion assessment
CN101641960A (zh) * 2007-01-22 2010-02-03 三星电子株式会社 使用自适应内插滤波器对图像编码与解码的方法和设备
KR20100042542A (ko) * 2008-10-16 2010-04-26 에스케이 텔레콤주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69420221T2 (de) * 1993-05-05 2000-07-06 Koninklijke Philips Electronics N.V., Eindhoven Übertragungssystem, das mindestens einen kodierer enthält
EP2293579B1 (en) 2001-09-12 2012-01-25 Panasonic Corporation Picture coding method
US7170937B2 (en) * 2002-05-01 2007-01-30 Texas Instruments Incorporated Complexity-scalable intra-frame prediction technique
WO2004030369A1 (en) * 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
CN100584024C (zh) * 2003-01-10 2010-01-20 汤姆森特许公司 为编码图像中的错误掩蔽定义内插滤波器
JP2005318297A (ja) 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化・復号方法及び装置
EP1605706A2 (en) * 2004-06-09 2005-12-14 Broadcom Corporation Advanced video coding (AVC) intra prediction scheme
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
TWI256776B (en) 2005-10-25 2006-06-11 Novatek Microelectronics Corp Method and apparatus for calculating cost functions and the interpolation method thereof
JP2007129370A (ja) 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 動きベクトル検出装置及び方法
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR100800761B1 (ko) * 2006-10-19 2008-02-01 삼성전자주식회사 계산량을 최소화하는 색차 신호의 보간 방법 및 장치
US8509316B2 (en) * 2007-01-09 2013-08-13 Core Wireless Licensing, S.a.r.l. Adaptive interpolation filters for video coding
JP2009118303A (ja) 2007-11-08 2009-05-28 Hitachi Ltd 画像符号化装置、画像符号化方法、画像復号化装置及び画像復号化方法
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
WO2010007719A1 (ja) 2008-07-16 2010-01-21 株式会社日立製作所 画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法
KR101853811B1 (ko) * 2010-01-15 2018-05-03 삼성전자주식회사 예측 부호화를 위해 가변적인 파티션을 이용하는 비디오 부호화 방법 및 장치, 예측 부호화를 위해 가변적인 파티션을 이용하는 비디오 복호화 방법 및 장치
KR20110090781A (ko) * 2010-02-02 2011-08-10 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
US20110188571A1 (en) * 2010-02-04 2011-08-04 Sony Corporation Recursive adaptive interpolation filters (raif)
KR101681303B1 (ko) * 2010-07-29 2016-12-01 에스케이 텔레콤주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
CN102387360B (zh) 2010-09-02 2016-05-11 乐金电子(中国)研究开发中心有限公司 视频编解码帧间图像预测方法及视频编解码器
KR101452861B1 (ko) * 2010-09-30 2014-10-27 삼성전자주식회사 평활화 보간 필터를 이용하여 영상을 보간하는 방법 및 그 장치
KR20120095611A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오 부호화/복호화 방법 및 장치
RU2627110C2 (ru) * 2011-04-25 2017-08-03 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ внутреннего предсказания и кодер и декодер, использующие его

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224733B1 (en) * 1997-07-15 2007-05-29 Robert Bosch Gmbh Interpolation filtering method for accurate sub-pixel motion assessment
CN1694495A (zh) * 2004-04-30 2005-11-09 松下电器产业株式会社 采用自适应时间预测的运动向量估计
CN101641960A (zh) * 2007-01-22 2010-02-03 三星电子株式会社 使用自适应内插滤波器对图像编码与解码的方法和设备
KR20100042542A (ko) * 2008-10-16 2010-04-26 에스케이 텔레콤주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089117A (zh) * 2017-05-11 2018-12-25 联发科技股份有限公司 编码或解码视频数据的方法及装置
CN109089117B (zh) * 2017-05-11 2021-05-07 联发科技股份有限公司 编码或解码视频数据的方法及装置
US11259025B2 (en) 2017-05-11 2022-02-22 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
CN113556566A (zh) * 2018-12-21 2021-10-26 华为技术有限公司 用于预测译码的插值滤波的方法及装置
US11877013B2 (en) 2018-12-21 2024-01-16 Huawei Technologies Co., Ltd. Method and apparatus of interpolation filtering for predictive coding
CN113475078A (zh) * 2019-01-08 2021-10-01 腾讯美国有限责任公司 用于小帧间块的存储器带宽减小的方法和装置

Also Published As

Publication number Publication date
JP5782186B2 (ja) 2015-09-24
EP2728876A4 (en) 2014-12-03
US9460488B2 (en) 2016-10-04
JP2014523696A (ja) 2014-09-11
US20140153844A1 (en) 2014-06-05
WO2013002450A1 (ko) 2013-01-03
KR20130003706A (ko) 2013-01-09
KR101956284B1 (ko) 2019-03-08
CN103891289B (zh) 2017-05-10
EP2728876B1 (en) 2018-09-12
EP2728876A1 (en) 2014-05-07

Similar Documents

Publication Publication Date Title
CN103891289A (zh) 插值方法和使用其的预测方法
CN109997363B (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质
CN107105279B (zh) 用于引导合并候选块的方法和使用该方法的设备
CN108540811B (zh) 使用亮度采样的色度块的内部预测方法以及使用其的装置
KR20180028513A (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
CN116320496A (zh) 用于滤波的方法和装置
CN108141588A (zh) 图像编码***中的帧间预测方法和装置
WO2011125256A1 (ja) 画像符号化方法及び画像復号化方法
KR20100074137A (ko) 영상 부호화 방법 및 영상 복호 방법
CN108353176A (zh) 在图像编译***中的基于amvr的图像编译方法和装置
CN104067622A (zh) 图像编码方法、图像解码方法、图像编码器及图像解码器
CN108271030A (zh) 设置运动矢量列表的方法及使用其的装置
CN112806014B (zh) 图像编码/解码方法和装置
CN113615194B (zh) 使用抽取预测块的dmvr
CN104967851A (zh) 用于运动补偿预测的方法和设备
US11812031B2 (en) Image encoding/decoding method and device
JP5367161B2 (ja) 画像符号化方法、装置、及びプログラム
JP5649701B2 (ja) 画像復号化方法、装置、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170510

Termination date: 20200728