CN101778280B - 一种基于avs运动补偿亮度插值运算的电路及方法 - Google Patents

Abstract

一种基于AVS运动补偿亮度插值运算的电路及方法，属音视频数字编解码技术领域，电路包括整数像素存储器I和II、bh和j类像素存储器、存储器接口模块、1/2和1/4像素插值滤波器、多路选择器和调整限幅器，整数像素存储器I和II、bh和j类像素存储器的输出接到存储器接口模块的输入；存储器接口模块输出分别连到1/2和1/4像素插值滤波器的输入；1/2和1/4像素插值滤波器的输出分别接到多路选择器的输入；1/2像素插值滤波器输出分别接到bh和j类像素存储器的输入；多路选择器输出接到调整限幅器的输入，插值结果由调整限幅器输出。本发明采用提高***并行度的手段进行插值运算，有效地提高了***的性能。

Description

一种基于AVS运动补偿亮度插值运算的电路及方法

所属技术领域

本发明涉及音视频数字编解码技术领域，尤其涉及一种基于AVS(数字音视频编解码技术标准)运动补偿亮度插值运算的电路及方法。

背景技术

AVS(Audio Video Coding Standard)即音视频编解码标准，是我国具有自主知识产权的国家标准，其视频部分已于2006年2月份被信产部颁布为国家标准，于2006年3月1日起实施。该标准主要面向高清晰度和高质量数字电视广播、数字存储媒体和其他相关应用。运动估计和运动补偿是AVS编解码过程中去除时间冗余的主要方法。由于自然运动物体具有连续性，在视频序列两帧之间只使用整数像素预测不能有效的使运动补偿后的预测残差最小，因此需要使用分数像素的插值预测。采用“分数像素”精度运动矢量带来的问题是运动矢量可能指向参考图像整数像素之间的位置，为了得到这些位置的像素值，需要参考与这些位置相邻的像素进行插值滤波。

AVS标准中使用非整数像素运动估计与补偿，其中亮度信息采用1/4像素精度插值，色度信息采用1/8像素精度插值。AVS定义了两种四抽头滤波器——预测二分之一样本位置的四抽头F1滤波器(-1，5，5，-1)和预测四分之一样本位置的四抽头F2滤波器(1，7，7，1)，使用插值滤波的方法计算1/2像素位置和1/4像素位置的亮度插值。求半像素通过对同行/列相邻的4个整数像素使用四抽头F1滤波器进行滤波得到，求1/4像素通过对相邻的4个整数像素或者半像素使用四抽头F2滤波器进行滤波得到。求半像素点时，有一个特殊位置的点-对角半像素点，需要再次使用四抽头F1滤波器对相邻的4个半像素点进行滤波才能得到。具体细节可参考AVS标准文档。因此，进行AVS运动补偿亮度插值时，数据都是按照像素显示的位置来选取。目前AVS插值运算电路一般采用片外的SDRAM等大容量的存储单元来存储插值所用的参考帧，内部采用基于FIFO或者SRAM的缓冲器，通过选择SDRAM或SRAM内相应点的像素值输入到片内插值器来计算分数像素点的值。Chen Guanghua等人在SignalProcessing，2008.ICSP 2008.9th International Conference(一个信号处理领域的国际会议)上所发表的“An Efficient VLSI Architecture of Sub-pixel Interpolator forAVS Encoder”(Signal Processing，2008.ICSP 2008.9th International Conference on第1255页)中，采用的就是这种外部使用大容量存储器，内部采用输入缓冲器的结构。大容量的外部存储器可以减少成本，但是直接通过访问SDRAM来获取每个插值点的相关数据会产生两方面不足：

1. SDRAM内存储像素一般按光栅扫描的方式顺序存放，数据按地址的增加顺序存储在大容量存储器内，不再按照显示的位置成二维分布。在进行插值计算时，选取相邻位置点像素时需要频繁的计算各个位置对应的地址。并且计算不同位置点的插值时，可能使用到某些相同位置的点，造成取数据时的冗余。因此存储器的存取压力巨大，成为提高插值运算性能的瓶颈。

2.由于SDRAM存取端口的限制，插值运算的并行度不高，AVS插值运算电路性能的调高主要是依靠增加流水线的级数来实现。然而，当流水线的级数达到一定程度，增加流水线对性能的改善效果就变得非常有限。并且随着***频率的升高，***功耗也会随之变大。

众所周知，提高***的并行度是显著提高***性能的最有效手段之一，因此如果能够提高插值运算的并行度，即可有效地提高***的性能。

发明内容

为了克服现有技术的缺陷和不足，本发明提供了一种基于AVS运动补偿亮度插值运算的电路及方法，以减少对外部存储器的访问压力，同时能够提高***的并行度以加快插值运算的处理速度，保证高清视频的实时解码。

本发明的技术解决方案如下：

一种基于AVS运动补偿亮度插值运算的电路，包括整数像素存储器I、整数像素存储器II、bh类像素存储器、j类像素存储器、存储器接口模块、1/2像素插值滤波器、1/4像素插值滤波器、多路选择器(MUX)和调整限幅器，其特征在于整数像素存储器I、整数像素存储器II、bh类像素存储器和j类像素存储器的输出端连接到存储器接口模块的输入端；存储器接口模块的输出端分别连接到1/2像素插值滤波器和1/4像素插值滤波器的输入端；1/2像素插值滤波器和1/4像素插值滤波器的输出端分别连接到多路选择器的输入端；同时1/2像素插值滤波器的输出端分别连接到bh类像素存储器和j类像素存储器的输入端；多路选择器的输出端连接到调整限幅器的输入端，插值结果最终通过调整限幅器输出。

上面所述的整数像素存储器I和整数像素存储器II存储来自外部SDRAM的待插值的整数像素块，当使用其中一个存储器中的像素块进行插值运算时，另一个存储器接收下一个待插值的像素块；

上述的bh类像素存储器存储插值运算过程中产生的bh类像素位置中间值；

上述的j类像素存储器存储插值运算过程中产生的bh类像素位置中间值；

上述的存储器接口模块控制存储器的选择，选择每次运算所需的数据存储器；

上述的1/2像素插值滤波器实现四抽头插值滤波器F1(-1，5，5，-1)的功能；

上述的1/4像素插值滤波器实现四抽头插值滤波器F2(1，7，7，1)的功能；

上述的多路选择器(MUX)选择1/2像素插值滤波器的输出或者1/4像素插值滤波器的输出送到调整限幅器；

上述的调整限幅器调整并限制插值运算得到的中间值，使其大小在0-255之间。

所述整数像素存储器I、整数像素存储器II、bh类像素存储器和j类像素存储器采用基于移位寄存器的存储阵列按照像素的显示位置来存储像素块。

所述基于移位寄存器的存储阵列，包括存储阵列输入控制器、存储单元阵列和存储阵列输出控制器；存储阵列输入控制器与存储单元阵列相连，控制存储单元阵列的存储过程；存储单元阵列与存储阵列输出控制器相连，输出控制器控制存储单元阵列的读取过程。基于移位寄存器的存储阵列能够从外部SDRAM读入扩展后的整个待插值块的数据，并按照显示顺序放置于内部的各个存储单元内。在输出数据到插值运算模块时，可以根据插值的要求，按照行或者列输出。对于12×12阵列的基于移位寄存器的存储阵列，一次能够输出1-12行/列。本发明所提供的插值电路一次输出4行/列；

所述基于移位寄存器的存储阵列的存储单元阵列由存储单元构成，存储单元阵列内部存储数据按照像素的显示位置成二维分布，存储单元由一组多路选择器、一个或门和一组D触发器来构成；多路选择器的输出连接到D触发器的输入端；或门的输出连接到D触发器的使能端。多路选择器根据行列选择信号选择行数据输入或者列数据输入连接到D触发器的输入端。行使能信号与列使能进行“逻辑或”操作后连接到D触发器的使能端。D触发器的个数与存储的像素的位数相同，本实例中为8位；

所述1/2像素插值滤波器包括4个并行放置的四抽头F1滤波器(-1，5，5，-1)，这四个四抽头滤波器并行连接，能同时处理四路输入数据；

所述四抽头F1滤波器由4个处理单元(简写为PE)级联而成，构成输入广播、结果移动、权重保持的一维脉动阵列结构；每个处理单元由乘法器、加法器和D触发器组成，其中乘法器的输出连接至加法器的输入端，加法器的输出连接至D触发器的输出端。

所述1/4像素插值滤波器包括4个并行放置的四抽头F2滤波器(1，7，7，1)，这四个四抽头滤波器并行连接，能同时处理四路输入数据；

所述调整限幅器包括4个并行放置的调整限幅单元，这个四个调整限幅单元并行连接，能同时对4路插值后的像素中间值进行调整限幅处理。

一种利用上述电路进行基于AVS运动补偿亮度插值运算的方法，步骤如下：

(1)将待插值的像素块送到整数像素存储器I/II；

(2)对整数像素存储器I/II内的像素值使用1/2像素插值滤波器求水平、垂直半像素点；

(3)对bh类像素存储器内的像素值使用1/2像素插值滤波器求对角半像素点；对步骤(2)得到垂直或水平半像素点中间值，使用滤波器F1，选择同行/列最近的4个半像素值进行滤波，得到中间值j′；

(4)使用1/4像素插值滤波器对整数像素或半像素进行滤波求1/4像素点；对于AVS标准中的a，c，d，n，i，k，f，q位置点，使用滤波器F2，对最近的4个整数像素与半像素点进行滤波，得到中间值  a′，c′，d′，n′，i′，k′，f′，q′；对于AVS标准中的e，g，p，r位置点，将对角整数像素调整值与对角半像素j′相加，得到中间值e′，g′，p′，r′；

(5)使用调整限幅器将所要求的插值点的中间值进行如下处理：

Interpolation＝Clip1((Interpolation′+NUMB)＞＞numb)

其中Interpolation为要求的分数像素点，Interpolation′为所求的插值点的中间值，MUMB为4、32、64或512，具体值由所求分数像素点的位置确定，numb为移位数，值为3、6、7或10，具体值由所求分数像素点的位置确定；若求水平或垂直1/2像素点，进行步骤(1)、(2)和(4)的计算；若求对角1/2像素，进行步骤(1)、(2)、(3)和(4)的计算；若求1/4像素，则进行步骤(1)、(2)、(3)、(4)和(5)的计算，上述处理后的最终结果由调整限幅器输出。

本发明的特征在于：利用对应的硬件电路从外部SDRAM取出待插值的亮度块，存入整数像素存储器I的同时，整数像素存储器II被存储器接口模块选择进行插值运算；同样，当整数像素存储器II接收外部SDRAM待插值块时，整数像素存储器I进行插值运算。存储器接口模块选择整数像素存储器I，整数像素存储器II，bh类像素存储器，j类像素存储器这四个存储器中相应存储器输出数据到1/2像素插值滤波或者1/4像素插值滤波器。插值的结果根据插值位置的不同选择暂存到bh类像素存储器、j类像素存储器，或者输出给调整限幅模块进行调整限幅处理。本发明所对应的硬件电路采用基于移位寄存器的存储阵列，对待插值像素块进行多行/列的并行处理，能够同时处理一个块中的4行或列数据，进行4路并行处理。

本发明的电路和方法采用外部SDRAM加内部基于移位寄存器的存储阵列，相对于现有技术具有存储容量大，成本低的优点，从而提高了硬件电路的性能。每次从外部SDRAM取出一个较大的块，减轻了对存储器的访问压力，同时减少了地址产生单元地址译码的复杂度。双整数存储器减少了插值运算对数据传输的等待时间。基于移位寄存器的存储阵列，插值运算每次能够对4行/列进行插值滤波，有效提高了电路的并行度，调高了插值效率。对于图像格式为4:2:0、图像大小为1920×1080、帧频为30fps的高清视频，完成一个宏块的插值运算仅需40-90个时钟周期，而现有技术则需200个以上周期。

附图说明

图1为本发明电路的结构示意图；

其中：1、整数像素存储器I，2、整数像素存储器II，3、bh类像素存储器，4、j类像素存储器，5、存储器接口模块，6、1/4像素插值滤波器，7、1/2像素插值滤波器，8、多路选择器，9、调整限幅器。

图2为图1中所示的1/4像素插值滤波器、1/2像素插值滤波器和调整限幅器的结构示意图；

其中：10、F2滤波器，11、F1滤波器，12、调整限幅单元。

1/4像素插值滤波器6包括四个并行放置的四抽头F2滤波器10，这四个四抽头F2滤波器10并行连接，能同时处理四路输入数据；

1/2像素插值滤波器7包括四个并行放置的四抽头F1滤波器11，这四个四抽头F1滤波器11并行连接，能同时处理四路输入数据；

调整限幅器9包括四个并行放置的调整限幅单元12，这四个调整限幅单元12并行连接，能同时对四路插值后的像素中间值进行调整限幅处理。

图3为图1中所示的整数像素存储器I、整数像素存储器II、bh类像素存储器和j类像素存储器中基于移位寄存器的存储阵列结构示意图；

其中：13、存储阵列输入控制器，14、存储单元阵列，15、存储阵列输出控制器，16、存储单元，存储单元阵列14由存储单元16构成。

图4为图3中所示的存储单元阵列14中的存储单元16的结构示意图；

其中：17、多路选择器，18、或门，19、D触发器。多路选择器17的输出连接到D触发器19的输入端；或门18的输出连接到D触发器19的使能端。

图5为图2中所示的四抽头F1滤波器11中的一维脉动阵列结构示意图。

其中：20、处理单元(PE)。四抽头F1滤波器11由四个处理单元(PE)20级联而成。

图6为图5中所示的处理单元(PE)20的结构示意图。

其中：21、乘法器，22、加法器，23、D触发器。乘法器21的输入连接到加法器22的输入；加法器22的输出连接到D触发器23的输入。

图7为AVS中亮度分数像素的位置分布。

其中：含字母A、B、C、D、E、F、G、H、I、J、K、L的正方形代表整数像素所在的位置；含字母aa、ff、hh、ee、b、bb、gg、h、j、m、cc、s、dd的圆形代表1/2像素所在的位置；含字母a、c、d、e、f、g、i、k、n、p、q、r的圆形代表1/4像素所在的位置；

图8为本发明插值运算的方法的流程方框示意图。其中(1)-(5)为其各个步骤。

具体实施方式

下面结合附图与实施例对本发明作进一步说明，但不限于此。

实施例1：

一种基于AVS运动补偿亮度插值运算的电路，如图1所示，包括整数像素存储器I1、整数像素存储器II2、bh类像素存储器3、j类像素存储器4、存储器接口模块5、1/2像素插值滤波器6、1/4像素插值滤波器7、多路选择器(MUX)8和调整限幅器9，其特征在于整数像素存储器I1、整数像素存储器II2、bh类像素存储器3和j类像素存储器4的输出端连接到存储器接口模块5的输入端；存储器接口模块5的输出端分别连接到1/2像素插值滤波器6和1/4像素插值滤波器7的输入端；1/2像素插值滤波器6和1/4像素插值滤波器7的输出端分别连接到多路选择器8的输入端；同时1/2像素插值滤波器6的输出端分别连接到bh类像素存储器3和j类像素存储器4的输入端；多路选择器8的输出端连接到调整限幅器9的输入端，插值结果最终通过调整限幅器9输出。

上面所述的整数像素存储器II和整数像素存储器II2存储来自外部SDRAM的待插值的整数像素块，当使用其中一个存储器中的像素块进行插值运算时，另一个存储器接收下一个待插值的像素块。

所述整数像素存储器I1、整数像素存储器II2、bh类像素存储器3和j类像素存储器4采用基于移位寄存器的存储阵列按照像素的显示位置来存储像素块。

所述基于移位寄存器的存储阵列，如图3所示，包括存储阵列输入控制器13、存储单元阵列14和存储阵列输出控制器15；存储阵列输入控制器13与存储单元阵列14相连，控制存储单元阵列14的存储过程；存储单元阵列14与存储阵列输出控制器15相连，输出控制器控制存储单元阵列14的读取过程。基于移位寄存器的存储阵列能够从外部SDRAM读入扩展后的整个待插值块的数据，并按照显示顺序放置于内部的各个存储单元内。在输出数据到插值运算模块时，可以根据插值的要求，按照行或者列输出。对于12×12阵列的基于移位寄存器的存储阵列，一次能够输出1-12行/列。本发明所提供的插值电路一次输出4行/列；

所述基于移位寄存器的存储阵列的存储单元阵列由存储单元构成，如图3-4所示，存储单元阵列14内部存储数据按照像素的显示位置成二维分布，存储单元16由一组多路选择器、一个或门和一组D触发器来构成；多路选择器的输出连接到D触发器的输入端；或门的输出连接到D触发器的使能端。多路选择器根据行列选择信号选择行数据输入或者列数据输入连接到D触发器的输入端。行使能信号与列使能进行“逻辑或”操作后连接到D触发器的使能端。D触发器的个数与存储的像素的位数相同，本实例中为8位；

如图2所示，所述1/2像素插值滤波器7包括4个并行放置的四抽头F1滤波器11(-1，5，5，-1)，这四个四抽头滤波器并行连接，能同时处理四路输入数据；

如图5所示，所述四抽头F1滤波器11由4个处理单元20级联而成，构成输入广播、结果移动、权重保持的一维脉动阵列结构；如图6所示，每个处理单元20由乘法器21、加法器22和D触发器23组成，其中乘法器21的输出连接至加法器22的输入端，加法器22的输出连接至D触发器23的输出端。

如图2所示，所述1/4像素插值滤波器6包括4个并行放置的四抽头F2滤波器10(1，7，7，1)，这四个四抽头滤波器并行连接，能同时处理四路输入数据；

如图2所示，所述调整限幅器9包括4个并行放置的调整限幅单元，这个四个调整限幅单元并行连接，能同时对4路插值后的像素中间值进行调整限幅处理。

实施例2：

一种利用上述电路进行基于AVS运动补偿亮度插值运算的方法如图8所示，步骤如下：

(1)将待插值的像素块送到整数像素存储器I/II；

(2)对整数像素存储器I/II内的像素值使用1/2像素插值滤波器求水平、垂直半像素点；

(3)对bh类像素存储器内的像素值使用1/2像素插值滤波器求对角半像素点；对步骤(2)得到垂直或水平半像素点中间值，使用滤波器F1，选择同行/列最近的4个半像素值进行滤波，得到中间值j′；

(4)使用1/4像素插值滤波器对整数像素或半像素进行滤波求1/4像素点；对于AVS标准中的a，c，d，n，i，k，f，q位置点，使用滤波器F2，对最近的4个整数像素与半像素点进行滤波，得到中间值  a′，c′，d′，n′，i′，k′，f′，q′；对于AVS标准中的e，g，p，r位置点，将对角整数像素调整值与对角半像素j′相加，得到中间值e′，g′，p′，r′；

(5)使用调整限幅器将所要求的插值点的中间值进行如下处理：

Interpolation＝Clip1((Interpolation′+NUMB)＞＞numb)

其中Interpolation为要求的分数像素点，Interpolation′为所求的插值点的中间值，MUMB为4、32、64或512，具体值由所求分数像素点的位置确定，numb为移位数，值为3、6、7或10，具体值由所求分数像素点的位置确定；若求水平或垂直1/2像素点，进行步骤(1)、(2)和(4)的计算；若求对角1/2像素，进行步骤(1)、(2)、(3)和(4)的计算；若求1/4像素，则进行步骤(1)、(2)、(3)、(4)和(5)的计算，上述处理后的最终结果由调整限幅器输出。

Claims (9)

1.一种基于AVS运动补偿亮度插值运算的电路，包括整数像素存储器I、整数像素存储器II、bh类像素存储器、j类像素存储器、存储器接口模块、1/2像素插值滤波器、1/4像素插值滤波器、多路选择器(MUX)和调整限幅器，其特征在于整数像素存储器I、整数像素存储器II、bh类像素存储器和j类像素存储器的输出端连接到存储器接口模块的输入端存储器接口模块的输出端分别连接到1/2像素插值滤波器和1/4像素插值滤波器的输入端；1/2像素插值滤波器和1/4像素插值滤波器的输出端分别连接到多路选择器的输入端；同时1/2像素插值滤波器的输出端分别连接到bh类像素存储器和j类像素存储器的输入端；多路选择器的输出端连接到调整限幅器的输入端，插值结果最终通过调整限幅器输出。

2.如权利要求1所述的一种基于AVS运动补偿亮度插值运算的电路，其特征在于所述整数像素存储器I、整数像素存储器II、bh类像素存储器和j类像素存储器采用基于移位寄存器的存储阵列按照像素的显示位置来存储像素块。

3.如权利要求2所述的一种基于AVS运动补偿亮度插值运算的电路，其特征在于所述基于移位寄存器的存储阵列包括存储阵列输入控制器、存储单元阵列和存储阵列输出控制器；存储阵列输入控制器与存储单元阵列相连，控制存储单元阵列的存储过程；存储单元阵列与存储阵列输出控制器相连，输出控制器控制存储单元阵列的读取过程。

4.如权利要求3所述的一种基于AVS运动补偿亮度插值运算的电路，其特征在于所述基于移位寄存器的存储阵列的存储单元阵列由存储单元构成，存储单元阵列内部存储数据按照像素的显示位置成二维分布；存储单元由一组多路选择器、一个或门和一组D触发器来构成；多路选择器的输出连接到D触发器的输入端；或门的输出连接到D触发器的使能端；多路选择器根据行列选择信号选择行数据输入或者列数据输入连接到D触发器的输入端；行使能信号与列使能信号进行“逻辑或”操作后连接到D触发器的使能端。

5.如权利要求1所述的一种基于AVS运动补偿亮度插值运算的电路，其特征在于所述1/2像素插值滤波器包括4个并行放置的四抽头F1滤波器(-1，5，5，-1)，这四个四抽头F1滤波器并行连接，能同时处理四路输入数据。

6.如权利要求5所述的一种基于AVS运动补偿亮度插值运算的电路，其特征在于所述四抽头F1滤波器由4个处理单元级联而成，构成输入广播、结果移动、权重保持的一维脉动阵列结构；每个处理单元由乘法器、加法器和D触发器组成，其中乘法器的输出连接至加法器的输入端，加法器的输出连接至D触发器的输出端。

7.如权利要求1所述的一种基于AVS运动补偿亮度插值运算的电路，其特征在于所述1/4像素插值滤波器包括4个并行放置的四抽头F2滤波器(1，7，7，1)，这四个四抽头F2滤波器并行连接，能同时处理四路输入数据。

8.如权利要求1所述的一种基于AVS运动补偿亮度插值运算的电路，其特征在于所述调整限幅器包括4个并行放置的调整限幅单元，这个四个调整限幅单元并行连接，能同时对4路插值后的像素中间值进行调整限幅处理。

9.一种利用权利要求1所述电路进行基于AVS运动补偿亮度插值运算的方法，步骤如下：

(1)将待插值的像素块送到整数像素存储器I或II；

(2)对整数像素存储器I或II内的像素值使用1或2像素插值滤波器求水平、垂直半像素点；

(3)对bh类像素存储器内的像素值使用1或2像素插值滤波器求对角半像素点；对步骤(2)得到垂直或水平半像素点中间值，使用1/2像素插值滤波器F1，选择同行或列最近的4个半像素值进行滤波，得到中间值j′；

(4)使用1/4像素插值滤波器对整数像素或半像素进行滤波求1/4像素点；对于AVS标准中的a，c，d，n，i，k，f，q位置点，使用1/4像素插值滤波器F2，对最近的4个整数像素与半像素点进行滤波，得到中间值a′，c′，d′，n′，i′，k′，f′，q′；对于AVS标准中的e，g，p，r位置点，将对角整数像素调整值与中间值j′相加，得到中间值e′，g′，p′，r′；

(5)使用调整限幅器将所要求的插值点的中间值进行如下处理：

Interpolation＝Clipl((Interpolation′+NUMB)>>numb)

其中Interpolation为要求的分数像素点，Interpolation′为所求的插值点的中间值，MUMB为4、32、64或512，具体值由所求分数像素点的位置确定，numb为移位数，值为3、6、7或10，具体值由所求分数像素点的位置确定；若求水平或垂直1/2像素点，按步骤(1)、(2)和(4)的顺序计算；若求对角1/2像素，按步骤(1)、(2)、(3)和(4)的顺序计算；若求1/4像素，则按步骤(1)、(2)、(3)、(4)和(5)的顺序计算，上述处理后的最终结果由调整限幅器输出。

Images