CN103004200A - 使用扩展的块滤波对视频编码和解码的方法和设备 - Google Patents

使用扩展的块滤波对视频编码和解码的方法和设备 Download PDF

Info

Publication number
CN103004200A
CN103004200A CN2011800346606A CN201180034660A CN103004200A CN 103004200 A CN103004200 A CN 103004200A CN 2011800346606 A CN2011800346606 A CN 2011800346606A CN 201180034660 A CN201180034660 A CN 201180034660A CN 103004200 A CN103004200 A CN 103004200A
Authority
CN
China
Prior art keywords
expansion
relevant block
pixel
filter
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800346606A
Other languages
English (en)
Inventor
陈建乐
韩宇镇
尼古拉·斯利亚科夫
范迪姆·谢廖金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103004200A publication Critical patent/CN103004200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

对视频编码和解码的方法和设备。对视频编码的方法包括:通过将用于当前块的运动补偿的参考画面的相应块扩展到预定尺寸来产生扩展的相应块;通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块;通过将预定第二滤波器应用到滤波扩展的相应块来以子像素为单位执行插值;通过使用以子像素为单位插值的参考画面来执行运动预测和补偿。

Description

使用扩展的块滤波对视频编码和解码的方法和设备
技术领域
本发明涉及一种对用于运动预测和补偿的参考图像进行插值的插值滤波器,更具体地讲,涉及这样一种对视频编码和解码的方法和设备,该方法和设备扩展参考画面的相应块,通过应用无限脉冲响应(IIR)滤波器对扩展的相应块执行滤波,并且随后以子像素为单位对IIR滤波扩展的相应块执行插值。
背景技术
在图像压缩方法(诸如,运动图像专家组(MPEG)-1、MPEG-2、MPEG-4或H.264/MPEG-4先进视频编码(AVC))中,为了对图像编码,画面被划分为宏块。以可用于帧间预测或帧内预测的所有的编码模式对宏块的每一个编码,随后以选择的编码模式进行编码,所述选择的编码模式根据用于对宏块编码的比特率以及基于原始宏块的解码的宏块的失真程度而被选择。
在帧间预测中,通过搜索与将通过使用位于当前编码的画面的前面或后面的至少一个参考画面被编码的当前块类似的参考画面中的区域,来产生运动矢量,通过使用产生的运动矢量执行运动补偿来产生当前块的预测块。
为了增加预测精确性,以比整数像素分辨率更精确的子像素分辨率为单位来执行运动补偿。例如,通过产生参考画面的整数像素之间的子像素(诸如,1/2像素(半像素)、1/4像素(四分之一像素)和1/8像素(八分之一像素))来对参考画面进行插值,并且随后通过使用插值的参考画面来执行运动补偿。
发明内容
技术问题
本发明提供用于对视频编码和解码的方法和设备,其中,通过扩展在运动补偿期间使用的参考画面的相应块并且随后经由基于块的无限脉冲响应滤波和有限脉冲响应滤波产生插值的参考画面,来在视频的运动补偿期间提高预测效率。
本发明还提供用于对视频编码和解码的方法和设备,其中,通过将无限脉冲响应滤波器仅应用于参考画面的预定区域来提高预测效率而没有显著地增加运算复杂度。
技术方案
根据本发明的实施例,在扩展用于当前块的运动补偿的参考画面的相应块并且将具有无限脉冲响应特性的滤波器应用到扩展的相应块之后,执行插值。
有益效果
根据本发明,在视频的运动预测和补偿期间可提高压缩效率。
附图说明
图1是根据本发明实施例的用于对视频编码的设备的结构的框图;
图2是图1的参考画面插值器的详细结构的框图;
图3是用于描述根据本发明实施例的产生扩展的相应块的处理的参考示图;
图4是用于描述根据本发明实施例的在行方向上通过第一滤波单元执行的滤波操作的参考示图;
图5是用于描述根据本发明实施例的在列方向上通过第一滤波单元执行的滤波操作的参考示图;
图6是用于描述图2的第二滤波单元执行的插值处理的参考示图;
图7是示出根据本发明实施例的对视频编码的方法的流程图;
图8是根据本发明实施例的用于对视频解码的设备的框图;
图9是示出根据本发明实施例的对视频解码的方法的流程图。
最佳方式
根据本发明的一方面,提供了一种对视频编码的方法,所述方法包括:通过将用于当前块的运动补偿的参考画面的相应块扩展到预定尺寸来产生扩展的相应块;通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块;通过将预定第二滤波器应用到滤波扩展的相应块以子像素为单位执行插值;通过使用以子像素为单位插值的参考画面来执行运动预测和补偿。
根据本发明的另一方面,提供了一种对视频解码的方法,所述方法包括:从接收的比特流提取关于将被解码的当前块的运动矢量的信息;通过将由运动矢量指示的参考画面的相应块扩展到预定尺寸来产生扩展的相应块;通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块;通过将预定第二滤波器应用到滤波扩展的相应块以子像素为单位执行插值;通过使用以子像素为单位插值的参考画面来执行运动补偿。
根据本发明的另一方面,提供了一种用于对视频编码的设备,所述设备包括:块扩展器,用于通过将用于当前块的运动补偿的参考画面的相应块扩展到预定尺寸来产生扩展的相应块;第一滤波单元,通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块;第二滤波单元,通过将预定第二滤波器应用到滤波扩展的相应块以子像素为单位执行插值;运动预测器和补偿器,通过使用以子像素为单位插值的参考画面来执行运动预测和补偿。
根据本发明的另一方面,提供了一种用于对视频解码的设备,所述设备包括:熵解码器,用于从接收的比特流提取关于将被解码的当前块的运动矢量的信息;块提取器,通过将由运动矢量指示的参考画面的相应块扩展到预定尺寸来产生扩展的相应块;第一滤波单元,通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块;第二滤波单元,通过将预定第二滤波器应用到滤波扩展的相应块以子像素为单位执行插值;运动补偿器,通过使用以子像素为单位插值的参考画面来执行运动补偿。
具体实施方式
下文中,将参照显示本发明示例性实施例的附图来更加充分地描述本发明。
图1是根据本发明实施例的用于对视频编码的设备100的结构的框图。
参照图1,根据本发明实施例的设备100包括运动估计器110、运动补偿器120、减法器130、编码器140、恢复器150、存储单元160和参考画面插值器170。
运动补偿器110通过使用参考画面的数据执行运动预测来产生当前块的运动矢量。详细地,运动估计器110搜索参考画面中的与将被编码的当前画面的当前块最类似的相应块,并且基于当前块与相应块之间的位置差来产生运动矢量。这里,运动估计器110通过在初始运动预测期间使用存储在存储单元160中的以整数像素为单位的参考画面,来产生以整数像素为单位的运动矢量。另外,运动估计器110不仅可通过使用以整数像素为单位的参考画面执行运动预测,而且可通过使用通过参考画面插值器170以子像素(诸如,1/2像素或1/4像素)的分辨率插值的参考画面执行运动预测。
参考画面插值器170通过基于当前块的以整数像素为单位的运动矢量扩展由以整数像素为单位的运动矢量指示的参考画面的相应块,来产生扩展的相应块,并且通过将具有无限脉冲响应(IIR)特性的第一滤波器应用到扩展的相应块,来产生滤波扩展的相应块。另外,参考画面插值器170通过将具有有限脉冲响应(FIR)特性的第二滤波器应用到滤波扩展的相应块来产生以子像素的分辨率插值的参考画面。稍后将对参考画面插值器170的详细操作进行描述。
运动补偿器120通过从插值的参考画面获得由当前块的运动矢量指示的当前块的运动补偿值,来产生当前块的预测块。如果确定的最佳运动矢量是以整数像素为单位,则运动补偿器120可通过使用没有插值的参考画面来代替插值的参考画面,来执行运动补偿。
减法器130计算作为预测块和原始输入块之间的差的残余块。编码器140通过对残余块变换、量化和熵编码来产生比特流。另外,编码器140可将预定标志信息连同关于当前块的运动矢量的信息***产生的比特流的预定区域,预定标志信息指示是否通过使用由参考画面插值器170经由扩展的相应块的滤波插值的参考画面执行运动补偿。换句话说,当根据一般技术对参考画面进行插值时,具有值“0”的一比特标记被***比特流,而当根据本发明实施例使用经由扩展的相应块的滤波插值的参考画面时,具有值“1”的一比特标记被***比特流,从而解码单元确定经由扩展的相应块的滤波插值的参考画面是否被产生。这种预定的标志信息可被设置在条带或序列单元中并且包括在条带或序列头中。
图2是图1的参考画面插值器170的详细结构的框图。
参照图2,参考画面插值器200包括块扩展器210、第一滤波单元220和第二滤波单元230。
块扩展器210通过将由确定的当前块的运动矢量指示的参考画面的相应块扩展到预定尺寸来产生扩展的相应块。
第一滤波单元220通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块。第二滤波单元230通过将预定第二滤波器应用到滤波扩展的相应块来执行以子像素为单位的插值。
图3是用于描述根据本发明实施例的产生扩展的相应块的处理的参考示图。
参照图2和图3,块扩展器210可通过使用当前画面310的当前块311的以整数像素为单位的运动矢量MV_INT来确定参考画面320的相应块321。换句话说,当由于运动估计器110以整数像素为单位执行运动预测,以整数像素为单位的运动矢量MV_INT被确定时,块扩展器210通过将由确定的运动矢量MV_INT指示的参考画面320的相应块321的边界扩展到预定像素尺寸,来产生扩展的相应块322。详细地,当当前块311的尺寸是X×Y(其中,X和Y均是整数)时,块扩展器210通过将参考画面320的相应块321的边界在水平方向上扩展a个像素并在垂直方向上扩展b个像素,来产生具有尺寸(X+2a)×(Y+2b)的扩展的相应块322。这里,块扩展器210可根据将被编码的当前块311的尺寸来确定相应块321扩展多少。例如,a和b的值可以均是与当前块311的尺寸成比例的1、3或6。换句话说,当当前块311具有16×16、8×8或4×4的尺寸时:当当前块311的尺寸是16×16时,块扩展器210可通过将相应块321的上边界、下边界、左边界和右边界分别扩展6个像素单元来产生具有尺寸28×28的扩展的相应块322,当当前块311的尺寸是8×8时,块扩展器210可通过将相应块321的上边界、下边界、左边界和右边界分别扩展3个像素单元来产生具有尺寸14×14的扩展的相应块322,或者当当前块311的尺寸是4×4时,块扩展器210可通过将相应块321的上边界、下边界、左边界和右边界分别扩展1个像素单元来产生具有尺寸6×6的扩展的相应块322。
第一滤波单元220通过将具有IIR特性的第一滤波器应用到扩展的相应块322来产生滤波扩展的相应块。当输入信号的值和输出信号的值被递归应用时,IIR滤波器执行滤波,并且IIR滤波器是具有作为特征函数的脉冲响应的无限长度的滤波器。由于不可能实际执行计算IIR滤波器的输出值的无限计算,因此IIR滤波器通常被应用在图像处理期间的帧单元内。然而,当IIR滤波器被应用在帧单元中时,由于IIR滤波器被应用到整个帧,因此图像的压缩效率可被提高,而运算复杂度增加。因此,在本发明实施例中,基于扩展的相应块应用IIR滤波器,以便在维持IIR滤波器的效率的同时减小运算复杂度。
根据实施例,可经由以下在z区域中具有如等式1所示的传递函数特性的滤波器来实现第一滤波单元220。
[等式1]
H ( z ) = c 1 ( 1 1 - z 1 z - 1 ) ( - z 1 1 - z 1 z )
在等式1中,c1和z1均是预定常数。当使用递归算法表达等式1时获得以下的等式2。
[等式2]
c+(k)=s(k)+z1·c+(k-1)
c-(k)=z1·(c-(k+1)-c+(k))
在等式2中,s(k)表示将在行方向上或在列方向上滤波的第k采样值。参照等式2,c+(k)是使用在当前正被滤波的第k采样值之前的第(k-1)结果值的临时滤波器(casual filter),c-(k)是使用在当前正被滤波的第k采样值之后的第(k+1)结果值的非临时滤波器(non-casual filter)。第一滤波单元220通过使用递归运算表达式(诸如等式2)在行方向上和列方向上对扩展的相应块322执行一维滤波来产生滤波扩展的相应块。在以上实施例中,第一滤波单元220使用具有传递函数特性(诸如等式1和等式2)的IIR滤波器,但是通过详细描述,本领域的普通技术人员将理解,可经由另一递归算法来实现由第一滤波单元220使用的IIR滤波器的传递函数。
图4是用于描述根据本发明实施例的在行方向上通过第一滤波单元220执行的滤波操作的参考示图,图5是用于描述根据本发明实施例的在列方向上通过第一滤波单元220执行的滤波操作的参考示图。
参照图4,当扩展的相应块400的尺寸是N×M(其中,N和M均是整数),z1表示预定常数,s1(k)表示位于扩展的相应块400的预定行410的第k整数像素的像素值(其中,k是从0到N-1的整数)时,第一滤波单元220通过用基于以上的等式2使用等式c1(k)=s1(k)+z1*c1(k-1)和c2(k)=z1*(c2(k+1)-c1(k))计算的c2(k)的值替换s1(k)的值,在行方向上对扩展的相应块400执行一维滤波。第一滤波单元220对扩展的相应块400的所有行在行方向上执行一维滤波。
参照图5,当s2(k)表示位于在行方向上滤波的扩展的相应块500的预定列510的第k整数像素的像素值时,第一滤波单元220通过用通过使用等式c3(k)=s2(k)+z1*c3(k-1)和c4(k)=z1*(c4(k+1)-c3(k))计算的c4(k)的值替换s2(k)的值,在列方向上对扩展的相应块500执行一维滤波。这样,第一滤波单元220通过再次将具有相同的滤波特性的IIR滤波器应用到通过在行方向上应用IIR滤波器滤波的结果值在列方向上执行滤波,来最终输出具有滤波的整数像素的扩展的相应块。
参照回图2,当第一滤波单元220通过将IIR滤波器应用到扩展的相应块来完成包括在扩展的相应块中的每个整数像素的滤波时,第二滤波单元230通过使用IIR滤波的整数像素的值使用预定抽头系数的FIR滤波器和平均值滤波器以子像素为单位执行插值。
图6是用于描述图2的第二滤波单元230执行的插值处理的参考示图。图6显示以子像素为单位插值的信号与由第一滤波单元220滤波的整数像素之间的位置关系。
参照图6,大写字母A至U表示由第一滤波单元220滤波的整数像素。中央的小写字母a至s表示具有1/2或1/4像素精度的插值的像素。
第二滤波单元230通过将具有预定抽头系数的FIR滤波器应用到由第一滤波单元220滤波的整数像素来产生具有1/2像素精度的预测信号。例如,第二滤波单元230通过将具有抽头系数{(1,-5,20,20,-5,1)/32}的6抽头FIR滤波器应用到由第一滤波单元220滤波的整数像素,来对具有1/2像素精度的像素插值,并通过使用2抽头平均值滤波器对具有1/4像素精度的像素插值。例如,第二滤波单元230通过将水平方向6抽头滤波应用到由第一滤波单元220滤波的整数像素E、F、G、H、I和J,根据等式b=(E-5F+20G+20H-5I+J)/32来产生具有1/2像素精度的1/2像素b的值。另外,第二滤波单元230通过在垂直方向上执行6抽头滤波产生位于两个整数像素的垂直方向的1/2像素。例如,第二滤波单元230通过使用等式h=(A-5C+20G+20M-5R+T)/32来产生1/2像素h。第二滤波单元230通过在水平方向和垂直方向应用6抽头滤波来产生位于四个整数像素之间的1/2像素。根据1/2像素j的示例,第二滤波单元230经由水平方向6抽头滤波来首先产生1/2像素信号aa、bb、b、j、s、gg和hh,随后通过应用垂直方向6抽头滤波(即等式j=(aa-5bb+20b+20s-5gg+hh)/32)来产生1/2像素j。可选择地,第二滤波单元230可经由垂直方向滤波来首先产生1/2像素cc、dd、h、m、ee和ff,随后经由水平方向滤波(诸如等式j=(cc-5dd+20h+20m-5ee+ff)/32)来产生1/2像素j。
第二滤波单元230可通过使用平均值滤波器来产生具有1/2像素精度的子像素,并且随后产生1/4像素。通过对相邻整数像素或1/2像素使用水平方向平均值滤波器来产生1/4像素a、c、I和k。例如,第二滤波单元230通过根据等式a=(G+b)使用平均值滤波器来产生1/4像素a。类似地,通过对相邻整数像素或1/2像素使用垂直方向平均值滤波器来产生1/4像素d、f、n和q。例如,第二滤波单元230通过根据等式f=(b+j)/2使用平均值滤波器来产生1/4像素f。对角线方向平均滤波器可用于1/4像素e、g、p和r。例如,第二滤波单元230通过根据等式r=(m+s)/2使用平均值滤波器产生1/4像素r。
如上所述,当第二滤波单元230产生以子像素为单位插值的参考画面时,运动估计器110可通过使用插值的参考画面搜索与当前块最类似的参考画面区域来确定具有子像素精度的运动矢量。当通过比较根据运动矢量的每一个的率失真(R-D)成本来确定最终运动矢量时,关于最终运动矢量的信息以及预定标志信息可作为编码信息被***到编码比特流中,预定标志信息指示是否通过使用经由扩展的相应块的滤波插值的参考画面来执行运动补偿。
图7是示出根据本发明实施例的对视频编码的方法的流程图。
在操作710,块扩展器210通过将用于当前块的运动补偿的参考画面的相应块扩展到预定尺寸来产生扩展的相应块。如上所述,块扩展器210可基于由运动估计器110确定的以整数像素为单位的运动矢量来确定参考画面的相应块,并且随后与当前块的尺寸成比例地扩展参考画面的相应块。
在操作720,第一滤波单元220通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块。如上所述,第一滤波单元220通过基于包括在扩展的相应块中的每个整数像素使用IIR滤波器执行滤波,来输出具有改变的像素值的扩展的相应块。
在操作730,第二滤波单元230通过将预定第二滤波器应用到滤波扩展的相应块以子像素为单位执行插值。如上所述,第二滤波单元230通过基于由第一滤波单元220滤波的扩展的相应块的整数像素应用具有预定抽头系数的FIR滤波器和平均值滤波器产生具有1/2或1/4像素精度的子像素的值,来产生插值的参考画面。
在操作740,运动估计器110和运动补偿器120基于插值的参考画面以子像素为单位执行运动估计和补偿。
图8是根据本发明实施例的用于对视频解码的设备800的框图。
参照图8,设备800包括熵解码器810、重新排列器815、反量化器820、逆变换器825、加法器830、参考画面插值器835、运动补偿器840和帧内预测器845。
根据本发明实施例,熵解码器810在接收压缩的比特流时,在提取关于将被解码的当前块的运动矢量的信息以及预定标志信息的同时,通过执行熵解码来产生量化的系数,该预定标志信息指示是否通过使用经由扩展的相应块的滤波插值的参考画面执行运动补偿。重新排列器815对量化的系数进行重新排列,反量化器820和逆变换器825通过对量化的系数执行反量化和逆变换来恢复残余块。
参考画面插值器835如上述的图1和图2的参考画面插值器170和200那样,对参考画面进行插值以用于将被解码的当前块的运动补偿。详细地,当当前块的运动矢量是以整数像素为单位时,预先恢复的参考画面可被使用,而无需单独的插值处理,因此参考画面插值器170不执行插值。然而,当当前块的运动矢量包括以子像素为单位(诸如1/2或1/4像素)的运动并且预定标志信息指示通过使用经由扩展的相应块的滤波插值的参考画面执行运动补偿时,参考画面插值器835通过使用当前块的运动矢量的整数像素单元分量来首先确定参考画面的相应块。例如,当当前块的运动矢量是(4.25,0.75)时,参考画面插值器835通过使用以整数像素为单位的运动矢量(即(4,0))来确定参考画面的相应块。另外,参考画面插值器835通过将用于当前块的运动补偿的参考画面的相应块扩展到预定尺寸来产生扩展的相应块。另外,如上述图2的参考画面插值器200那样,设备800的参考画面插值器835通过将IIR滤波器应用到扩展的相应块来产生滤波扩展的相应块,并且随后通过根据当前块的子像素分辨率将具有预定抽头系数的FIR滤波器和平均值滤波器应用到IIR滤波扩展的相应块,以子像素为单位执行插值。
运动补偿器840通过使用以子像素为单位插值的参考画面来执行运动补偿。加法器830通过将经由当前块的运动补偿获得的值与恢复的残余块相加来恢复当前块。当当前块被帧内预测时,由于恢复的残余块和由帧内估计器845预测的预测块被加到一起,因此当前块被恢复。
图9是示出根据本发明实施例的对视频解码的方法的流程图。
在操作910,熵解码器810从接收的比特流提取关于将被解码的当前块的运动矢量的信息。关于运动矢量的信息可包括将被解码的当前块的运动矢量的值以及预定标志值,该预定标志值指示是否通过使用经由扩展的相应块的滤波插值的参考画面执行运动补偿。
在操作920,参考画面插值器835通过将由运动矢量指示的参考画面的相应块扩展到预定尺寸,来产生扩展的相应块。如上所述,参考画面插值器835可通过使用以整数像素为单位的运动矢量来确定参考画面的相应块。
在操作930,参考画面插值器835通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块。预定第一滤波器是IIR滤波器并且被应用到上述的扩展的相应块而非帧单元内。
在操作940,参考画面插值器835通过将预定第二滤波器应用到滤波扩展的相应块以子像素为单位执行插值。这里,预定第二滤波器可以是6抽头滤波器或4抽头滤波器或者是2抽头滤波器,6抽头滤波器或4抽头滤波器是具有预定抽头系数的FIR滤波器,2抽头滤波器是平均值滤波器。
在操作950,运动补偿器840通过对以子像素为单位插值的参考画面执行运动补偿来产生当前块的预测块。
尽管已经参照其实施例具体显示和描述了本发明,但是本领域的普通技术人员将理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可在其中做出形式和细节上的各种改变。实施例应被认为仅是描述意义而非限制的目的。因此,本发明的范围不是由本发明的详细描述限定而是由权利要求限定,并且此范围内的所有差别将被解释为包括在本发明中。本发明还可被实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可由计算机***读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质还可分布在联网的计算机***上,从而计算机可读代码可以以分布式方式存储和执行。

Claims (15)

1.一种对视频编码的方法,所述方法包括:
通过将用于当前块的运动补偿的参考画面的相应块扩展到预定尺寸来产生扩展的相应块;
通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块;
通过将预定第二滤波器应用到滤波扩展的相应块以子像素为单位执行插值;
通过使用以子像素为单位插值的参考画面来执行运动预测和补偿。
2.如权利要求1所述的方法,其中,产生扩展的相应块的步骤包括:
确定参考画面的与以整数像素为单位的当前块最类似的相应块;
通过将相应块的上边界、下边界、左边界和右边界扩展预定像素尺寸来产生扩展的相应块。
3.如权利要求1所述的方法,其中,预定第一滤波器是无限脉冲响应IIR滤波器,预定第二滤波器是有限脉冲响应FIR滤波器。
4.如权利要求1所述的方法,其中,产生滤波扩展的相应块的步骤包括:
通过将一维的预定第一滤波器在行方向上应用到扩展的相应块,来改变包括在扩展的相应块中的整数像素的像素值;
通过将一维的预定第一滤波器在列方向上应用到具有改变的像素值的扩展的相应块,来改变包括在扩展的相应块中的整数像素的像素值。
5.如权利要求1所述的方法,其中,产生滤波扩展的相应块的步骤包括:
当扩展的相应块的尺寸是N×M时,其中,N和M均是整数,z1表示预定常数,s1(k)表示位于扩展的相应块的预定行的第k整数像素的像素值,其中,k是从0到N-1的整数,通过用根据等式c1(k)=s1(k)+z1*c1(k-1)和c2(k)=z1*(c2(k+1)-c1(k))计算的c2(k)的值替换s1(k)的值,在行方向上对扩展的相应块执行一维滤波;
当s2(k)表示位于在行方向上一维滤波的扩展的相应块的预定列的第k整数像素的像素值时,其中,k是从0到M-1的整数,通过用根据等式c3(k)=s2(k)+z1*c3(k-1)和c4(k)=z1*(c4(k+1)-c3(k))计算的c4(k)的值替换s2(k)的值,在列方向上对扩展的相应块执行一维滤波。
6.如权利要求1所述的方法,其中,以子像素为单位执行插值的步骤包括:通过使用将***值的子像素周围的整数像素的像素值的加权总和使用预定抽头系数的FIR滤波器和平均值滤波器,以子像素为单位执行插值。
7.如权利要求1所述的方法,还包括:对预定标志信息进行编码,该预定标志信息指示是否通过使用滤波扩展的相应块执行运动预测和补偿。
8.一种对视频解码的方法,所述方法包括:
从接收的比特流提取关于将被解码的当前块的运动矢量的信息;
通过将由运动矢量指示的参考画面的相应块扩展到预定尺寸来产生扩展的相应块;
通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块;
通过将预定第二滤波器应用到滤波扩展的相应块以子像素为单位执行插值;
通过使用以子像素为单位插值的参考画面来执行运动补偿。
9.如权利要求8所述的方法,其中,产生扩展的相应块的步骤包括:
通过使用运动矢量的整数像素单元的分量来确定参考画面的与当前块最类似的相应块;
通过将相应块的上边界、下边界、左边界和右边界扩展预定像素尺寸来产生扩展的相应块。
10.如权利要求8所述的方法,其中,预定第一滤波器是无限脉冲响应IIR滤波器,预定第二滤波器是有限脉冲响应FIR滤波器。
11.如权利要求8所述的方法,其中,产生滤波扩展的相应块的步骤包括:
通过将一维的预定第一滤波器在行方向上应用到扩展的相应块来改变包括在扩展的相应块中的整数像素的像素值;
通过将一维的预定第一滤波器在列方向上应用到具有改变的像素值的扩展的相应块来改变包括在扩展的相应块中的整数像素的像素值。
12.如权利要求8所述的方法,其中,产生滤波扩展的相应块的步骤包括:
当扩展的相应块的尺寸是N×M时,其中,N和M均是整数,z1表示预定常数,s1(k)表示位于扩展的相应块的预定行的第k整数像素的像素值,其中,k是从0到N-1的整数,通过用根据等式c1(k)=s1(k)+z1*c1(k-1)和c2(k)=z1*(c2(k+1)-c1(k))计算的c2(k)的值替换s1(k)的值,在行方向上对扩展的相应块执行一维滤波;
当s2(k)表示位于在行方向上一维滤波的扩展的相应块的预定列的第k整数像素的像素值时,其中,k是从0到M-1的整数,通过用根据等式c3(k)=s2(k)+z1*c3(k-1)和c4(k)=z1*(c4(k+1)-c3(k))计算的c4(k)的值替换s2(k)的值,在列方向上对扩展的相应块执行一维滤波。
13.如权利要求8所述的方法,其中,以子像素为单位执行插值的步骤包括:通过使用将***值的子像素周围的整数像素的像素值的加权总和使用预定抽头系数的FIR滤波器和平均值滤波器,以子像素为单位执行插值。
14.一种用于对视频编码的设备,所述设备包括:
块扩展器,用于通过将用于当前块的运动补偿的参考画面的相应块扩展到预定尺寸来产生扩展的相应块;
第一滤波单元,通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块;
第二滤波单元,通过将预定第二滤波器应用到滤波扩展的相应块以子像素为单位执行插值;
运动预测器和补偿器,通过使用以子像素为单位插值的参考画面来执行运动预测和补偿。
15.一种用于对视频解码的设备,所述设备包括:
熵解码器,用于从接收的比特流提取关于将被解码的当前块的运动矢量的信息;
块提取器,通过将由运动矢量指示的参考画面的相应块扩展到预定尺寸来产生扩展的相应块;
第一滤波单元,通过将预定第一滤波器应用到扩展的相应块来产生滤波扩展的相应块;
第二滤波单元,通过将预定第二滤波器应用到滤波扩展的相应块以子像素为单位执行插值;
运动补偿器,通过使用以子像素为单位插值的参考画面来执行运动补偿。
CN2011800346606A 2010-05-14 2011-05-16 使用扩展的块滤波对视频编码和解码的方法和设备 Pending CN103004200A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US33464010P 2010-05-14 2010-05-14
US61/334,640 2010-05-14
KR10-2011-0045837 2011-05-16
PCT/KR2011/003606 WO2011142644A2 (ko) 2010-05-14 2011-05-16 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
KR1020110045837A KR101462959B1 (ko) 2010-05-14 2011-05-16 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
CN103004200A true CN103004200A (zh) 2013-03-27

Family

ID=45395328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800346606A Pending CN103004200A (zh) 2010-05-14 2011-05-16 使用扩展的块滤波对视频编码和解码的方法和设备

Country Status (5)

Country Link
EP (1) EP2571273A4 (zh)
KR (1) KR101462959B1 (zh)
CN (1) CN103004200A (zh)
MY (1) MY157090A (zh)
WO (1) WO2011142644A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196777A (zh) * 2018-12-17 2021-07-30 北京字节跳动网络技术有限公司 用于运动补偿的参考像素填充
CN113785572A (zh) * 2019-05-02 2021-12-10 北京字节跳动网络技术有限公司 使用多个参考滤波器的帧内视频编解码
CN115278228A (zh) * 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139562B (zh) * 2011-11-30 2016-05-04 富士通株式会社 运动估计方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US20050196072A1 (en) * 2004-03-04 2005-09-08 Sheng Zhong Method and system for polyphase filtering by combining IIR and FIR filters and its applications in video scaling
US20090225844A1 (en) * 2008-03-06 2009-09-10 Winger Lowell L Flexible reduced bandwidth compressed video decoder

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050018948A (ko) * 2002-07-09 2005-02-28 노키아 코포레이션 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
KR101407748B1 (ko) * 2004-10-13 2014-06-17 톰슨 라이센싱 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법 및 장치
EP2559254B1 (en) * 2010-04-13 2019-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interpolation filter in a hybrid video decoder and encoder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US20050196072A1 (en) * 2004-03-04 2005-09-08 Sheng Zhong Method and system for polyphase filtering by combining IIR and FIR filters and its applications in video scaling
US20090225844A1 (en) * 2008-03-06 2009-09-10 Winger Lowell L Flexible reduced bandwidth compressed video decoder

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTIN WINKEN ET AL: "Description of video coding technology proposal by Fraunhofer HHI", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST MEETING》 *
ULRICH BENZLER: "Block Boundary Mirroring for Motion Interpolation", 《JOINT VIDEO TEAN(JVT) OF ISO/IEC MPEG&ITU-T VCEG》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278228A (zh) * 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法
US12003761B2 (en) 2015-11-11 2024-06-04 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for encoding video
CN113196777A (zh) * 2018-12-17 2021-07-30 北京字节跳动网络技术有限公司 用于运动补偿的参考像素填充
CN113196777B (zh) * 2018-12-17 2024-04-19 北京字节跳动网络技术有限公司 用于运动补偿的参考像素填充
CN113785572A (zh) * 2019-05-02 2021-12-10 北京字节跳动网络技术有限公司 使用多个参考滤波器的帧内视频编解码
CN113785572B (zh) * 2019-05-02 2022-12-16 北京字节跳动网络技术有限公司 使用多个参考滤波器的帧内视频编解码

Also Published As

Publication number Publication date
MY157090A (en) 2016-04-29
EP2571273A4 (en) 2013-12-11
KR20110126075A (ko) 2011-11-22
WO2011142644A2 (ko) 2011-11-17
KR101462959B1 (ko) 2014-11-20
WO2011142644A3 (ko) 2012-03-08
EP2571273A2 (en) 2013-03-20

Similar Documents

Publication Publication Date Title
US20200296408A1 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
CN101816183B (zh) 使用子像素运动估计对图像进行帧间预测编码/解码的方法和设备
RU2654525C1 (ru) Способ для интерполяции изображений с использованием асимметричного интерполяционного фильтра и устройство для этого
CN102165774B (zh) 视频编码器、视频解码器与其方法
JP6776276B2 (ja) 画像予測方法および画像予測装置
CN103430545B (zh) 用于高效视频编码的内容适应性运动补偿滤波
CN101595735B (zh) 对视频进行编码和解码的方法和设备
CA2797569C (en) Method and device for video predictive encoding
CN101682752B (zh) 使用残差块的修改对图像编码和解码的方法和设备
JP2014014169A (ja) 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法
US20220046268A1 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
EP1766992A1 (en) Motion compensation method
CN111464815B (zh) 一种基于神经网络的视频编码方法及***
CN102598670A (zh) 参考多个帧对图像进行编码/解码的方法和设备
CN102934443A (zh) 用于对视频进行编码和解码的方法和设备
CN101765011B (zh) 缩放运动估计的方法和装置
CN102263951A (zh) 一种快速的分形视频压缩与解压缩方法
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
CN101888546A (zh) 一种运动估计的方法及装置
US20130177081A1 (en) Method and apparatus for encoding and decoding video using expanded block filtering
CN103004200A (zh) 使用扩展的块滤波对视频编码和解码的方法和设备
KR101690253B1 (ko) 영상 처리 장치 및 그 방법
JP2006101440A (ja) 情報処理装置及び情報処理方法
JP2012120108A (ja) 補間画像生成装置及びプログラム、並びに、動画像復号装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130327