CN106464863B - 视频编码中自适应内插滤波的方法 - Google Patents

视频编码中自适应内插滤波的方法 Download PDF

Info

Publication number
CN106464863B
CN106464863B CN201580013066.7A CN201580013066A CN106464863B CN 106464863 B CN106464863 B CN 106464863B CN 201580013066 A CN201580013066 A CN 201580013066A CN 106464863 B CN106464863 B CN 106464863B
Authority
CN
China
Prior art keywords
interpolation
current
reference sample
filter
motion compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580013066.7A
Other languages
English (en)
Other versions
CN106464863A (zh
Inventor
陈庆晔
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN201910516048.0A priority Critical patent/CN110225360A/zh
Publication of CN106464863A publication Critical patent/CN106464863A/zh
Application granted granted Critical
Publication of CN106464863B publication Critical patent/CN106464863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭露了一种用于运动补偿的具有分数像素精度的自适应内插滤波器的方法及装置。本发明的实施例基于参考块中现存的参考样本,通过根据像素位置和/或像素特性适应性地使用内插滤波器组,于非整数位置产生内插的参考样本。接着,当前块使用包括内插参考样本的时间预测子被编码或解码。自适应内插滤波器可被应用于预测单元。在一个实施例中,内插滤波器组包括具有不同滤波器长度的内插滤波器。具有较长抽头长度的内插滤波器被应用以产生离边界较远的内插参考样本,以及具有较短抽头长度的内插滤波器被应用以产生接近块边界的内插参考样本。

Description

视频编码中自适应内插滤波的方法
【相关申请的交叉引用】
本发明主张申请于2014年4月1日,序列号为61/973,407的美国临时专利申请的优先权。本发明也相关于2014年12月5日,序列号为PCT/CN2014/093148的PCT专利申请。将以上美国临时专利申请以及PCT专利申请以参考的方式并入本文中。
【技术领域】
本发明涉及视频信号处理。特别地,本发明涉及视频编码中用于运动补偿的自适应内插滤波。
【背景技术】
于使用具有分数像素精度(fractional pixel accuracy)的运动估计(MotionEstimation,ME)/运动补偿(Motion Compensation,MC)的视频编码***中,需要内插(interpolation)来导出分数像素位置的参考像素。例如,用于分数运动补偿的基于DCT(Discrete Cosine Transform based)的8抽头以及4抽头内插滤波器组已经被采用于H.265/HEVC视频编码标准中,以分别用于亮度以及色度分量。图1所示为用于运动补偿的8抽头内插滤波器的示例。粗线框110对应于当前8x8块。8x8块的8抽头滤波需要由图案区域(patterned area)来指示的相邻样本以执行8抽头滤波。用于位置A、B、以及C的样本的水平内插由粗线小方块所指示。当允许分数运动向量时,生成与每个现存的样本(即,整数像素位置)相关联的一组分数样本。例如,如果1/4像素精度被用于运动向量,则于1/4像素(pel)、1/2像素、以及3/4像素位置内插的样本将生成。内插可通过在垂直方向以及水平方向使用两个单独的一维滤波器来实现。对于1/4像素、1/2像素以及3/4像素位置,具有单独滤波器系数的三个滤波器被使用。如图1所示,样本的总数包括当前块,且与内插滤波相关的相邻样本为15x15=225。而固定的内插滤波器组可由较低计算复杂性或者更低硬件成本来实现,然而,编码性能不太好。
为了提高与分数像素运动补偿的内插滤波器相关的编码效率,一种自适应内插滤波器(adaptive interpolation filter,AIF)的方法已经于HEVC标准的发展过程中被揭露。基于区域的AIF(region-based AIF,RNAIF)已经由Matsu等作者(Matsu,et al.)于JCTVC-B051(Region-based adaptive interpolation filter,Joint CollaborativeTeam on Video Coding(JCT-VC),of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11,2ndMeeting:Geneva,CH,21-28July,2010.Document:JCTVC-B051)中揭露。根据JCTVC-B051,图片被分为多个区域,且滤波器系数以逐区域为基础被优化。已经发现基于区域的内插滤波器能在BD率上提高5%到6%的性能。
虽然各种AIF方法已经显示了显著的性能改进,但还是希望能进一步提高编码效率,而不增加所需的带宽。
【发明内容】
本发明揭露了一种用于运动补偿的具有分数像素精度的自适应内插滤波器的方法及装置。本发明的实施例基于参考块的现存的参考样本,通过根据像素位置和/或像素特性适应性地使用内插滤波器组于非整数位置产生内插的参考样本。接着,当前块使用包括内插参考样本的时间预测子被编码或解码。自适应内插滤波器可被应用于预测单元(prediction unit,PU)。
在一个实施例中,内插滤波器组包括较长抽头滤波器(longer-tap filter)以及较短抽头滤波器(shorter-tap filter)。在一个示例中,较长抽头滤波器被应用以产生第一内插参考样本,较短抽头滤波器被应用以产生第二内插参考样本,且第一内插参考样本与相关块边界的距离大于第二内插参考样本。于另一示例中,当前块对应于用于重叠运动补偿(overlapped motion compensation,OBMC)的两个邻近块,且较短抽头滤波器可被用于产生两个邻近块之间重叠区域(overlapped area)的内插参考样本,以及较长抽头滤波器可被用于产生两个邻近块的非重叠区域的内插参考样本。此外,较短抽头滤波器可对应于4抽头滤波器,且较长抽头滤波器可对应于8抽头滤波器。于又一示例中,一个或多个当前块可对应于用于运动边界增强(motion boundary enhancement,MBE)的一个当前块。较短抽头滤波器可被应用以产生当前块的边界内插参考样本,且较长抽头滤波器可被应用以产生当前块的内插参考样本。
当前图片可被分区为多个区域,且单独内插滤波器组被决定以用于每个区域。区域可对应于一个条带、一个区块、一个编码树单元、一个编码树块、一个编码单元、或一个预测单元。与用于每个区域的单独内插滤波器组相关的信息被显式地传送或于解码器侧被隐式地导出。在显式传送的情况下,与用于每个区域的单独内插滤波器组相关的语法元素可被传送以指示被选择用于当前区域的单独内插滤波器组。在隐式导出的情况下,于解码器侧,基于编码单元大小、预测单元大小、参考像素的特性、预测模式、运动向量、或任何其组合,与用于每个区域的单独内插滤波器组相关的信息可被导出。
【附图说明】
图1所示为用于8x8块的分数像素运动补偿的8抽头内插滤波器的示例。
图2所示为结合本发明实施例的自适应内插滤波器的示例,其中,滤波器抽头长度被增加以产生离块边界较远的内插样本,以提高编码性能。
图3所示为结合本发明实施例的自适应内插滤波器的另一示例,其中,滤波器抽头长度被缩短以产生更接近块边界的内插样本,以减少所需的参考数据。
图4A所示为用于2NxN预测单元的示范性重叠块运动补偿。
图4B所示为用于Nx2N预测单元的示范性重叠块运动补偿。
图5所示为根据本发明实施例的用于产生重叠块运动补偿中重叠区域的内插参考样本的内插的示例。
图6所示为根据本发明实施例的用于产生用于运动边界增强的边界区域的边界内插参考样本的内插的示例。
图7所示为结合根据本发明的实施例的自适应内插滤波器的示范性流程图,其中,内插滤波器组基于像素位置和/或像素特性被适应性地应用到块。
【具体实施方式】
对于内插,具有较长抽头长度的滤波器通常可以取得更佳的性能。然而,具有较长滤波器抽头的滤波器需要更多计算以及更多的数据存储/访问。例如,如果4抽头内插滤波器被应用于8x8块,则相关的样本总数将为11x11=121。另一方面,对于8抽头滤波器,样本的总数将变为225(=15x15)。本发明的实施例可在不增加数据存储/访问的情况下增加性能,或在不会导致显著性能影响的情况下减少数据存储/访问。用于内插的较大数据存储意味着较大的缓冲器将被需要。另一方面,更多的数据访问意味着数据访问需要更高的***带宽。
对于如图1所示的现有方法,由HEVC标准使用的8抽头内插滤波器组需要(3+8+4)x(3+8+4)的参考块来执行一个8x8当前块110上的运动补偿。对于当前块的每个像素,8x1像素行或1x8像素列被用于执行8抽头水平或垂直内插。然而,如图1所示,多于8个像素可被用于当前块的这些内部像素(即,非块边界像素)的内插过程。作为如图2所示的示例,对于8x8当前块210,10抽头内插滤波器可被用于当前块中的样本C,且12抽头内插滤波器可被用于当前块中的样本B。如果像素离当前块的块边界较远,更多的像素可被用于内插过程,而不需要比现有方法中那些已经可用的参考样本更多的参考样本。因此,本发明的实施例对这些像素应用具有较长滤波器抽头的内插滤波器组,以提高编码性能。
如先前所提及的,内部像素具有更多像素以使用于内插,而不需要比现有方法中那些已经可用的参考样本更多的参考样本。因此,以上实施例虽然增加了用于内部样本的滤波器抽头长度,但是没有增加所需的带宽。如图3所示,另一实施例利用此特性来减少运动补偿中所需的带宽。对于当前块中接近块边界310的那些像素,具有较短滤波器抽头的内插滤波器组被应用以执行内插过程。例如,8抽头内插滤波器组被应用于样本B,6抽头内插滤波器组被应用于样本C,且4抽头内插滤波器组被应用于样本A。因此,访问一个8x8当前块所需的像素的总数从(3+8+4)x(3+8+4)=225减少到(1+8+2)x(1+8+2)=121,其中,当前块外部的参考像素是由图3中的斜线来指示。换句话说,通过将具有较短滤波器抽头的内插滤波器组应用到接近块边界的那些像素,对于8x8块的运动补偿可获得46%的带宽减小。
内插滤波器的适应(adaptation)还可基于像素特性。与一个或多个像素相关联的特性可被决定,且一个或多个内插滤波器可根据已导出的特性被选择。特性可对应于方差(variance)、边缘方向、或文献中已知的其它已知像素特性。此外,内插滤波器的适应可基于像素的位置以及特性两者。
于HEVC的发展过程中,除了固定内插滤波器组,切换内插滤波器以及偏置(switching interpolation filters and offset,SIFO)也已经被提出。于SIFO中,多个内插滤波器组可于条带头被使用以及被切换。此适应可获得一些区域化(localization)以适应视频序列的特性且提供更佳的编码效率。然而,所需的带宽以及计算复杂性是取决于所选择的内插滤波器组。因为并不是一个图片中所有纹理都是类似的,所以根据SIFO的适应可能并不充分。因此,本发明的另一实施例于区域水平应用自适应内插滤波器组。区域可对应于图片、编码树单元、编码树块、叶编码单元、或预测单元的一部分。内插滤波器组的选择可被隐式地导出或被显式地传送至解码器。对于显式地传送,用于每个区域的语法元素可被编码以指示被选择用于当前区域的内插滤波器组。对于隐式地导出,内插滤波器组的选择可根据块大小、参考像素的特性、预测模式、由解码器导出的信息、或以上任何组合来决定。
以上提到的多系数组内插(multi-coefficient-set interpolation)可与其他内插技术相结合以进一步提高性能或降低数据访问/***带宽要求。例如,于HEVC发展过程中,重叠块运动补偿技术于JCTVC-C251(Chen,et al,“Overlapped block motioncompensation in TMuC”,in Joint Collaborative Team on Video Coding(JCT-VC),ofITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11 3rd Meeting:Guangzhou,CN,7-15October,2010,Document:JCTVC-C251)中被揭露,其中,OBMC被应用于几何形状分区。另一个于HEVC标准发展过程中的OBMC提议于JCTVC-F299(Guo,et al,“CE2:Overlapped Block MotionCompensation for 2NxN and Nx2N Motion Partitions”,in Joint Collaborative Teamon Video Coding(JCT-VC),of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11,6thMeeting:Torino,14-22July,2011,Document:JCTVC-F299)中被揭露,其中,OBMC被应用于对称运动分区。根据JCTVC-F299,如果编码单元(coding unit,CU)被分区为两个2NxN或Nx2N分区单元,OBMC被应用于两个2NxN预测块的水平边界,以及两个Nx2N预测块的垂直边界。
图4A至图4B所示为用于2NxN(图4A)以及Nx2N块的(图4B)示范性OBMC。阴影区域的像素属于分区0,空白区域的像素属于分区1。亮度分量的重叠区域被定义为水平(或垂直)PU边界的每个侧的2行(或列)像素。对于离分区边界1行(或列)的像素,即,图4A至图4B中被标注为A的像素,OBMC权重因子为(3/4、1/4)。对于离分区边界2行(或列)的像素,即,图4A至图4B中被标注为B的像素,OBMC权重因子为(7/8、1/8)。对于色度分量,重叠区域被定义为水平(或垂直)PU边界的每个侧的1行(或列)像素,且权重因子为(3/4、1/4)。
在与OBMC过程结合的编码***中,由于重叠区域的像素需要额外的处理,因此与数据访问相关的***带宽将增加。图5所示为用于具有OBMC的***的自适应内插滤波器的示例。框510表示左侧的块,框520表示右侧的块。如果其不重叠,线530对应于重叠块之间的原始边界。当左侧块510被处理时,原始边界的区域(即,边界530的左侧区域)可使用8抽头内插滤波器组被处理。另一方面,块510与块520重叠的区域(即,块510中且位于边界530右侧的区域)可使用4抽头内插滤波器组被内插。类似地,8抽头内插滤波器组可被应用于块520的非重叠区域,且4抽头内插滤波器组可被应用于块520的重叠区域。由于重叠区域使用更短的滤波器,对附加参考样本的需求可减小。
于还在审理中的申请于2014年12月5日,序列号为PCT/CN2014/093148,相同受让人受让的PCT专利申请中,揭露了运动边界处理,其中,根据与对应于当前运动向量以及两个相邻运动向量的三个运动向量相关联的三个预测子的权重和,来计算用于当前块的边界像素的时间预测子。再次说明,运动边界处理需要更多处理的样本并会导致***带宽的增加。可应用上述的自适应内插滤波器组来减少额外的带宽要求。图6所示为用于产生边界区域中内插像素的内插过程的示例。邻近当前块610右侧的两列相邻像素620必须被重建及内插以用于分数运动向量。用于样本D的水平滤波将需要来自相邻块的两个附加参考样本622以及624。因此,附加参考样本的两个列630将被需要以用于处理当前块右侧的重叠区域。自适应内插滤波器可被应用于减少额外的带宽。例如,4抽头滤波器可被应用于重叠区域中的像素(例如,样本E),以取代现有方法中的8抽头滤波器。因此,除了现有***中所需的参考像素外,用于样本E的内插不需要任何附加的参考像素。
本发明不限于水平方向的滤波器。在其它实施例中,内插滤波器组可对应于垂直方向或倾斜方向的滤波器。
图7所示为根据本发明的一个实施例的自适应内插滤波器的示范性流程图。如步骤710所示,***接收与当前图片中一个或多个当前块相关联的输入数据。当前块可以从存储器(例如,计算机存储器,缓冲器(RAM或DRAM)或其它媒体)或处理器中得到。于步骤720中,决定与所述一个或多个当前块相关联的一个或多个当前运动向量(motion vector,MV)。于步骤730中,根据所述一个或多个当前MV定位参考图片中的一个或多个参考块。于步骤740中,对于所述一个或多个当前MV中的每个MV,测试是关于当前MV是否对应于分数像素位置。如果结果为“是”,则执行步骤750以及760。如果结果为“否”,则步骤750以及760被略过。于步骤750中,基于参考块中现存的参考样本,通过根据像素位置和/或像素特性适应性地使用内插滤波器组产生非整数位置的内插参考样本。内插滤波器组包括多个内插滤波器。接着,于步骤760中,使用包括内插参考样本的时间预测子编码或解码当前块。当运动向量对应于像素间位置(inter-pixel location),不需要产生分数像素位置的内插参考样本。整数像素位置的参考样本可用作时间预测子,而不需要内插过程。
根据本发明的实施例,以上所示的流程图旨在说明自适应内插滤波器的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤,重新排列所述步骤,分割步骤,或合并步骤来实施本发明。
以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说,对所描述的实施例的各种修改是显而易见的,且本文定义的一般原理可被应用于其它实施例。因此,本发明并非意在限定于以上所示及所描述的特定实施例,而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中,各种具体细节被示出以便提供本发明的彻底理解。然而,本领域技术人员应知晓本发明是可被实践的。
如上所述,本发明的实施例可以由各种硬件,软件代码,或两者的组合来实现。例如,本发明的实施例可以对应于被集成到视频压缩芯片的一个或多个电子电路,或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码,以执行本文所描述的处理过程。本发明还可包含由计算机处理器,数字信号处理器,微处理器,或现场可编程门阵列执行的多个功能。根据本发明,通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码,这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而,根据本发明的不同的软件代码的代码格式、风格及语言,以及用于配置代码以执行任务的其他方式,均不会背离本发明的精神以及范围。
在不脱离其精神或本质特征的情况下,本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此,本发明的范围是由其所附的权利要求来指示的,而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (14)

1.一种视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,所述方法包括:
接收与当前图片中一个或多个当前块相关联的输入数据;
决定与所述一个或多个当前块相关联的一个或多个当前运动向量;
根据所述一个或多个当前运动向量定位参考图片中的一个或多个参考块;以及
对于所述一个或多个当前运动向量中的每个运动向量,如果所述运动向量对应于分数像素位置:
基于一个参考块中现存的参考样本通过根据像素位置和/或像素特性适应性地使用内插滤波器组于非整数位置产生内插参考样本,其中,所述内插滤波器组包括多个内插滤波器;
其中,所述内插滤波器组包括较长抽头滤波器以及较短抽头滤波器;所述一个或多个当前块对应于用于重叠运动补偿的两个邻近块,且所述较短抽头滤波器被应用以产生所述两个邻近块之间的重叠区域的所述内插参考样本;以及
使用包括所述内插参考样本的时间预测子编码或解码一个当前块。
2.如权利要求1所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,所述一个或多个当前块以及所述一个或多个参考块对应于预测单元。
3.如权利要求1所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,所述较长抽头滤波器被应用以产生第一内插参考样本,所述较短抽头滤波器被应用以产生第二内插参考样本,且所述第一内插参考样本与相关块边界的距离长于所述第二内插参考样本。
4.如权利要求1所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,所述较短抽头滤波器对应于4抽头滤波器。
5.如权利要求4所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,所述较长抽头滤波器对应于8抽头滤波器,且所述较长抽头滤波器被应用以产生所述两个邻近块的非重叠区域的所述内插参考样本。
6.如权利要求1所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,所述一个或多个当前块对应于用于运动边界增强的一个当前块,且所述较短抽头滤波器被应用以产生所述一个当前块的边界内插参考样本。
7.如权利要求6所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,所述较短抽头滤波器对应于4抽头滤波器。
8.如权利要求7所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,所述较长抽头滤波器对应于8抽头滤波器,且所述较长抽头滤波器被应用以产生所述一个当前块的所述内插参考样本。
9.如权利要求1所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,所述当前图片被分区为多个区域,且单独的内插滤波器组被决定以用于每个区域。
10.如权利要求9所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,每个区域对应于一个条带、一个区块、一个编码树单元、一个编码树块、一个编码单元、或一个预测单元。
11.如权利要求9所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,与用于每个区域的所述单独内插滤波器组相关的信息被显式地传送或于解码器侧被隐式地导出。
12.如权利要求11所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,与用于每个区域的所述单独内插滤波器组相关的语法元素被传送以指示被选择用于当前区域的所述单独内插滤波器组。
13.如权利要求11所述的视频编码***中用于具有分数像素精度的运动补偿的内插方法,其特征在于,于所述解码器侧,基于编码单元大小、预测单元大小、参考像素的特性、预测模式、运动向量、或任何其组合导出与用于每个区域的所述单独内插滤波器组相关的所述信息。
14.一种于视频编码***中用于具有分数像素精度的运动补偿的装置,其特征在于,所述装置包括:
接收与当前图片中一个或多个当前块相关联的输入数据的电路;
决定与所述一个或多个当前块相关联的一个或多个当前运动向量的电路;
根据所述一个或多个当前运动向量定位参考图片中的一个或多个参考块的电路;以及
对于所述一个或多个当前运动向量中的每个运动向量,如果所述运动向量对应于分数像素位置:
基于一个参考块中现存的参考样本通过根据像素位置和/或像素特性适应性地使用内插滤波器组于非整数位置产生内插参考样本的电路,其中,所述内插滤波器组包括多个内插滤波器;其中,所述内插滤波器组包括较长抽头滤波器以及较短抽头滤波器;所述一个或多个当前块对应于用于重叠运动补偿的两个邻近块,且所述较短抽头滤波器被应用以产生所述两个邻近块之间的重叠区域的所述内插参考样本;以及
使用包括所述内插参考样本的时间预测子编码或解码一个当前块的电路。
CN201580013066.7A 2014-04-01 2015-04-01 视频编码中自适应内插滤波的方法 Active CN106464863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910516048.0A CN110225360A (zh) 2014-04-01 2015-04-01 视频编码中自适应内插滤波的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461973407P 2014-04-01 2014-04-01
US61/973,407 2014-04-01
PCT/CN2015/075649 WO2015149699A1 (en) 2014-04-01 2015-04-01 Method of adaptive interpolation filtering in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910516048.0A Division CN110225360A (zh) 2014-04-01 2015-04-01 视频编码中自适应内插滤波的方法

Publications (2)

Publication Number Publication Date
CN106464863A CN106464863A (zh) 2017-02-22
CN106464863B true CN106464863B (zh) 2019-07-12

Family

ID=54239404

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580013066.7A Active CN106464863B (zh) 2014-04-01 2015-04-01 视频编码中自适应内插滤波的方法
CN201910516048.0A Withdrawn CN110225360A (zh) 2014-04-01 2015-04-01 视频编码中自适应内插滤波的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910516048.0A Withdrawn CN110225360A (zh) 2014-04-01 2015-04-01 视频编码中自适应内插滤波的方法

Country Status (4)

Country Link
US (2) US10321151B2 (zh)
EP (1) EP3111643B1 (zh)
CN (2) CN106464863B (zh)
WO (1) WO2015149699A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107534767A (zh) * 2015-04-27 2018-01-02 Lg电子株式会社 用于处理视频信号的方法及其装置
ES2853700T3 (es) 2016-04-15 2021-09-17 Magic Pony Tech Limited Compensación de movimiento utilizando interpolación de imagen temporal
WO2017195554A1 (ja) * 2016-05-13 2017-11-16 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置。
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
WO2018131986A1 (ko) * 2017-01-16 2018-07-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
US10499078B1 (en) * 2017-02-07 2019-12-03 Google Llc Implicit motion compensation filter selection
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
CN111316649B (zh) * 2017-11-01 2024-06-11 Vid拓展公司 重叠块运动补偿
KR102207258B1 (ko) * 2018-01-15 2021-01-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2019158812A1 (en) * 2018-02-16 2019-08-22 Nokia Technologies Oy A method and an apparatus for motion compensation
WO2019201203A1 (en) * 2018-04-16 2019-10-24 Mediatek Inc. Methods and apparatuses of video processing with overlapped block motion compensation in video coding systems
WO2020073928A1 (en) * 2018-10-09 2020-04-16 Huawei Technologies Co., Ltd. Inter prediction method and apparatus
CN113228637A (zh) * 2018-12-17 2021-08-06 北京字节跳动网络技术有限公司 依赖于形状的插值滤波器
WO2020200236A1 (en) * 2019-04-01 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Using interpolation filters for history based motion vector prediction
KR20220027157A (ko) * 2019-08-05 2022-03-07 엘지전자 주식회사 움직임 정보 후보를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
EP3997881A4 (en) 2019-08-20 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. SELECTIVE USE OF ALTERNATIVE INTERPOLATION FILTERS IN VIDEO PROCESSING

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547354A (zh) * 2008-03-26 2009-09-30 联发科技股份有限公司 实现运动估计的视频编码器与其运动估计方法
CN101641960A (zh) * 2007-01-22 2010-02-03 三星电子株式会社 使用自适应内插滤波器对图像编码与解码的方法和设备
CN102804779A (zh) * 2009-06-09 2012-11-28 索尼公司 图像处理装置和方法
CN103119940A (zh) * 2010-09-30 2013-05-22 日本电信电话株式会社 视频编码方法、视频解码方法、视频编码装置、视频解码装置以及它们的程序
CN103238320A (zh) * 2010-09-30 2013-08-07 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN103339939A (zh) * 2011-01-05 2013-10-02 高通股份有限公司 具有自适应分接头大小的低复杂性内插滤波

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1530829B1 (en) * 2002-07-09 2018-08-22 Nokia Technologies Oy Method and apparatus for selecting interpolation filter type in video coding
WO2004064406A1 (en) * 2003-01-10 2004-07-29 Thomson Licensing S.A. Defining interpolation filters for error concealment in a coded image
US8213515B2 (en) * 2008-01-11 2012-07-03 Texas Instruments Incorporated Interpolated skip mode decision in video compression
JPWO2011078002A1 (ja) * 2009-12-22 2013-05-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011135184A (ja) * 2009-12-22 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
CN101778280B (zh) * 2010-01-14 2011-09-28 山东大学 一种基于avs运动补偿亮度插值运算的电路及方法
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
US20130044814A1 (en) * 2010-05-10 2013-02-21 Thomson Licensing Methods and apparatus for adaptive interpolative intra block encoding and decoding
US8934552B2 (en) * 2011-03-31 2015-01-13 Qualcomm Incorporated Combined reference picture list construction and mapping
US9883203B2 (en) * 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
WO2013183657A1 (ja) * 2012-06-07 2013-12-12 東洋製罐株式会社 深絞り成形方法及びその成形金型
CN103037219B (zh) 2012-10-22 2016-08-10 北京航空航天大学 一种基于分形和h.264的视频压缩与解压缩方法
CN105165011A (zh) * 2013-02-25 2015-12-16 三星电子株式会社 用于考虑存储器带宽和计算量的可伸缩视频编码的装置和方法以及用于可伸缩视频解码的装置和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641960A (zh) * 2007-01-22 2010-02-03 三星电子株式会社 使用自适应内插滤波器对图像编码与解码的方法和设备
CN101547354A (zh) * 2008-03-26 2009-09-30 联发科技股份有限公司 实现运动估计的视频编码器与其运动估计方法
CN102804779A (zh) * 2009-06-09 2012-11-28 索尼公司 图像处理装置和方法
CN103119940A (zh) * 2010-09-30 2013-05-22 日本电信电话株式会社 视频编码方法、视频解码方法、视频编码装置、视频解码装置以及它们的程序
CN103238320A (zh) * 2010-09-30 2013-08-07 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
CN103339939A (zh) * 2011-01-05 2013-10-02 高通股份有限公司 具有自适应分接头大小的低复杂性内插滤波

Also Published As

Publication number Publication date
WO2015149699A1 (en) 2015-10-08
US20170085913A1 (en) 2017-03-23
EP3111643A4 (en) 2017-10-25
US20190253731A1 (en) 2019-08-15
US10321151B2 (en) 2019-06-11
CN106464863A (zh) 2017-02-22
CN110225360A (zh) 2019-09-10
EP3111643B1 (en) 2019-09-25
US10986365B2 (en) 2021-04-20
EP3111643A1 (en) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106464863B (zh) 视频编码中自适应内插滤波的方法
US11115681B2 (en) Hybrid video coding supporting intermediate view synthesis
KR101846762B1 (ko) 3d 비디오 코딩에서의 서브-pu 움직임 정보 상속 방법
WO2018054269A1 (en) Method and apparatus for video coding using decoder side intra prediction derivation
CN105981385B (zh) 帧内预测编码方法及其装置
CN105324996B (zh) 三维视频编码的视图间候选推导的方法及其装置
TW202031045A (zh) 使用具有鄰近取樣縮減的線性或仿射變換的內預測
WO2016115981A1 (en) Method of video coding for chroma components
CN107005695B (zh) 用于视频编码的替代变换的方法及装置
KR102342870B1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20170002460A (ko) 임베디드 블록 파티셔닝을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
EP3806472A1 (en) Merge mode-based inter-prediction method and apparatus
CN113273192A (zh) 使用mpm列表的基于帧内预测的视频编码方法及装置
CN110832854B (zh) 利用插值进行帧内预测的方法和装置
US20150264356A1 (en) Method of Simplified Depth Based Block Partitioning
CN112204980B (zh) 视频编码***中用于帧间预测的方法和装置
CN105359529B (zh) 用于三维或多视图视频编码的方法及装置
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
KR20130098121A (ko) 적응적 보간 필터를 이용하는 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
WO2023116716A1 (en) Method and apparatus for cross component linear model for inter prediction in video coding system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220424

Address after: Hsinchu County, Taiwan, China

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu China Dusing 1

Patentee before: MEDIATEK Inc.