CN105915835A - 一种可硬件实现的帧频提升方法 - Google Patents

Abstract

本发明公开了一种可硬件实现的帧频提升方法。它首先利用双向运动估计得到运动矢量预测值；然后结合时域和空域相关性，进行小菱形搜索和局部全搜索相结合的运动搜索得到运动矢量估计值；其次对该运动矢量估计值进行平滑和补偿；接着利用图像信息对平滑和补偿后的运动矢量进行修正，得到终止运动矢量；最后根据帧频提升的要求，得到插值帧的运动矢量，根据该插值运动矢量的可靠性判断，确定是否滤波，当可靠性低时，以该插值帧的运动矢量和滤波后的插值帧运动矢量结果加权的方法得到最终插值结果，生成插值帧。本发明的帧频提升方法采用可硬件实现的***构架，提高了算法的效率，提高了运动矢量的准确性和可靠性，并且得到的最终插值结果准确性高。

Description

一种可硬件实现的帧频提升方法

技术领域

本发明涉及一种电视屏幕显示的领域，具体涉及一种可硬件实现的帧频提升方法。

背景技术

近年来，消费者对于液晶显示器LCD电视的画质要求逐年提高，因此LCD电视屏幕的尺寸不断地增大的同时也开始出现高清甚至超清电视信号。但是LCD电视由于其响应过慢的缺点，造成了运动图像的模糊现象。目前，基于运动估计和运动补偿的插值方法被用来实现高清视频的帧频提升，以解决运动物体模糊的问题。

由于基于像素点的帧频提升方法计算量过大，因此常采用基于宏块匹配的方法来实现帧频提升。帧频提升包括运动估计和运动补偿两个部分。传统的基于宏块匹配的运动估计包括单向运动估计和双向运动估计。单向运动估计会产生重叠和空洞的问题；双向运动估计则会受到搜索范围的影响。因此一般的方法得到运动矢量可靠性不高。

对于运动补偿，一般采用运动估计得到的运动矢量来进行前后帧的宏块匹配，并利用匹配得到的像素进行插帧。一般的运动补偿所得到的像素值精度不高，特别是对运动复杂的物体很难得到准确的插值结果。

发明内容

[要解决的技术问题]

本发明的目的是解决上述现有技术问题，提供一种可硬件实现的帧频提升方法。该方法旨在硬件可实现的情况下高效并且高精度的达到帧频提升，以满足高刷新率下高分辨率LCD电视屏幕的显示效果。

[技术方案]

为了达到上述的技术效果，本发明采取以下技术方案：

一种可硬件实现的帧频提升方法，它包括以下步骤：运动矢量估计、运动矢量平滑、运动补偿和插值帧的生成，并且整个步骤均通过块匹配的方式来实现，它的具体步骤如下：

(1)将每一帧分成许多互不重叠的宏块，对相邻两帧的每个宏块进行双向运动估计，得到前一帧和当前帧每个宏块的运动矢量预测值；

(2)结合时域和空域相关性，根据前一帧和当前帧相同坐标位置宏块的运动矢量预测值，进行小菱形搜索和局部全搜索相结合的运动搜索，以不同的运动估计匹配准则得到运动矢量估计值；

(3)对得到的运动矢量估计值进行运动矢量的平滑和补偿；

(4)利用前一帧和当前帧的图像信息对平滑和补偿后的运动矢量做进一步的修正，得的终值运动矢量；

(5)根据帧频提升的要求，得到插值帧的运动矢量，根据该插值帧运动矢量的可靠性判断，确定是否滤波；当可靠性高时，以该插值帧运动矢量进行插值帧的生成；当可靠性低时，以该插值帧的运动矢量和滤波后的插值帧运动矢量结果加权的方法得到最终插值结果，生成插值帧；当可靠性介于高低之间时，对该插值帧运动矢量进行滤波处理后进行插值帧的生成。

根据本发明跟进一步的技术方案，所述不同的运动估计匹配准则为SAD匹配准则、VOD匹配准则、MAD匹配准则、MSE匹配准则或NCCF匹配准则。

根据本发明跟进一步的技术方案，所述小菱形搜索和局部全搜索相结合的运动搜索是指当前一帧与当前帧相同坐标位置宏块的运动矢量预测值相等且可靠性高时，用该运动矢量预测值的结果为中心做小菱形搜索，得到运动矢量估计值；当前一帧与当前帧相同坐标位置宏块的运动矢量预测值不相等或可靠性低时，分别以前一帧的运动矢量预测值的结果为中心、以当前帧的运动矢量预测值的结果为中心和以当前帧的目标宏块为中心进行三个小菱形搜索；当得到的值小于预先设定的阈值时，以该值为运动矢量估计值；当得到的值均不小于预先设定的阈值时，启用局部全搜索，在给定范围内通过逐像素点双向运动估计，得到运动矢量估计值。

根据本发明跟进一步的技术方案，运动矢量和运动矢量预测值可靠性的判定均是根据相对应宏块对应像素点像素值所属范围，确定阈值th_low和th_high；然后利用对应像素之差blk_dif与阈值的关系进行可靠性的判断；当blk_dif≤th_low，可靠性高；当blk_dif≥th_high，可靠性低。

根据本发明跟进一步的技术方案，所述运动矢量的平滑和补偿是运用中值滤波和均值滤波进行滤波运算。

根据本发明跟进一步的技术方案，对得到的运动矢量估计值进行了运动矢量的平滑和补偿后，还可以进行运动矢量拆分运算和全局矢量统计。

根据本发明跟进一步的技术方案，所述利用图像信息是指利用对应宏块对应像素点的像素值判断对应宏块终值运动矢量的可靠性；可靠性低的终值运动矢量需要进行修正。

根据本发明跟进一步的技术方案，所述插值帧的运动矢量是由插值相位计算前向运动矢量MV_P和后向运动矢量MV_N；所述MV_P与MV_N的计算公式如下：

MV_P＝MV*phase/32

MV_N＝MV*(64-phase)/32

其中，所述运动矢量为终值运动矢量；phase为插值相位。

下面将详细地说明本发明。

对相邻两帧的每个宏块进行双向运动估计，对前一帧以目标宏块为中心统计一定范围内宏块的标准差，根据求得的标准差划分运动模式，最后以窗内同一运动模式宏块运动矢量的均值作为目标宏块的运动矢量预测值；而对于当前帧的目标宏块，将其周围已经计算出的运动矢量的中值作为目标宏块的运动矢量预测值。

本发明的优选实施方案是以16*16的像素宏块为基本单元进行运动矢量的预测。对前一帧的双向运动估计是以目标宏块为中心的3*3的窗内统计运动矢量的标准差，计算前一帧运动矢量预测值。

所述进行小菱形搜索和局部全搜索相结合的运动搜索，是值通过得到的前一帧和当前帧运动矢量预测值的结果和可靠性，进行一系列小菱形搜索得到的运动矢量，再根据该运动矢量结果确定是否进行局部全搜索，所述小菱形搜索和局部全搜索是并列的过程。这样的组合方法既保证了算法的可靠性又尽可能的减少了算法的计算复杂度，使得算法实用性更高。

本发明的优选实施方式是以SAD匹配准则进行运动估计，利用得到的SAD值进行下一步的计算和判断。

本发明为了对运动矢量估计值进行运动矢量的平滑和补偿，进行了一个滤波运算。以水平方向X为例，取当前块和周围8个块组成一个3*3的运动矢量块，计算这9个X方向上运动矢量分量的均值，并同时统计9个分量为零的个数；然后计算9个分量的平均差，以平均差为门限，和当前块的X分量和9分量均值差做比较，如果这个差值比门限大，那么就认为当前块的X分量属于奇异值；同理判断当前块的垂直方向Y分量的奇异性。最后判断条件，如果当前块的水平或垂直分量有一个属于奇异值，那么就对当前块的运动矢量进行滤波。如果需要对该块滤波，再判断当前块所在的3*3邻域内水平或垂直方向分量为零的个数是否大于3，如果水平或垂直方向分量有一个满足这个条件，那么滤波后当前块运动矢量的输出为水平和垂直分量的均值；如果条件不满足，那么滤波输出为3*3滤波水平和垂直分量的中值。

为了进一步提高运动矢量的准确度，还可以进行运动矢量的拆分运算和全局矢量统计。所述拆分运算方法如下：当前已求得的运动矢量均是针对于16*16的像素宏块，为了提高精度，将其拆分为8*8的宏块进行处理。先将其均分为具有相同矢量的4个块，然后每一个子块进行一次领域比较判断滤波，具体做法是比较该子块矢量和最相邻的3个子块矢量再加上零矢量对应数据块的SAD，最小SAD对应该子块最终的运动矢量。全局统计是指对全场所有的运动矢量进行统计，判断是否多数运动矢量是相同的，如果是那么认为整场都具有这样的运动状态，称为静态运动。

本发明根据输入视频帧数和目标帧数，查表得到插值帧的组织方式，由插值相位(phase)计算前向运动矢量MV_P和后向运动矢量MV_N。其中每个插值区间均被分为64份，每份对应一度相位，所以称为64度相位精度插值。因此，当相位为32度时运动矢量无需调整；当相位为0度时原始帧无需插值运算。

若blk_dif<＝th_low，则认为匹配块中相应位置为可靠性高，即设置运动矢量高低可靠性加权值alpha＝0，若blk_dif>＝th_high，则认为匹配块中相应位置为可靠性低，即设置运动矢量高低可靠性加权值alpha＝1。当其介于两者之间，加权值的计算方式，即图3中所述的Alpha＝阈值？该处阈值的计算方法为：

$alpha=\frac{|blk\_dif|-th\_low}{th\_high-th\_low}$

本发明中，当运动矢量可靠性低时，需要对运动矢量的修正方式如下：

按照图4的方法进行分区：把位于中心的8*8块分割为A、B、C和D四个区域。中心的8*8块为当前块，N1～N8为邻居块。其中A、B、C和D四个4*4的子块的运动矢量为其最相邻的四个宏块运动矢量均值滤波的结果。例如，对于子块A，其最相邻的四个宏块为N1、N2、N3和N4；对于子块C，其最相邻的四个宏块为N4、N6、N7和N8。

[有益效果]

本发明与现有技术相比，具有以下的有益效果：

本发明对比现有的帧频提升算法具有如下的有益效果：本发明提供的帧频提升方法，采用可硬件实现的***构架，提高了算法的效率；运动矢量估计中，综合考虑了时域特性和空间特性，提高了运动矢量的准确性。此外，使用均值滤波和中值滤波做了运动补偿，更进一步提高了运动矢量的可靠性。在算法的插值部分，运用插值帧的运动矢量和滤波后的插值帧运动矢量结果加权的方法得到最终插值结果，最终得到了更准确的内插帧。

附图说明

图1是本发明可硬件实现的帧频提升方法的流程示意图；

图2是本发明可硬件实现的帧频提升方法中双向运动估计可硬件实现的算法框图示意图；

图3是本发明可硬件实现的帧频提升方法中运动矢量的平滑和补偿和插值模块生成的算法框图示意图；

图4是本发明可硬件实现的帧频提升方法中运动补偿的运动矢量修正说明图示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

如图1～图3所示，一种可硬件实现的帧频提升方法，它包括以下步骤：

(1)将每一帧分成许多互不重叠的宏块，对相邻两帧的每个宏块进行双向运动估计，得到前一帧和当前帧每个宏块的运动矢量预测值；对前一帧以目标宏块为中心的3*3的窗内统计运动矢量的标准差，根据求得的标准差划分运动模式，最后以窗内同一运动模式宏块的运动矢量的均值作为目标宏块的运动矢量预测值。而对于当前帧的目标宏块，将其周围已经计算出运动矢量的中值作为目标宏块的运动矢量预测值。

(2)结合时域和空域相关性，根据前一帧和当前帧相同坐标位置宏块的运动矢量预测值，进行小菱形搜索和局部全搜索相结合的运动搜索，以SAD匹配准则得到运动矢量估计值；当前一帧与当前帧相同坐标位置宏块的运动矢量预测值相等且可靠性高时，用该运动矢量预测值的结果为中心做小菱形搜索，得到运动矢量估计值；当前一帧与当前帧相同坐标位置宏块的运动矢量预测值不相等或可靠性低时，分别以前一帧的运动矢量预测值的结果为中心、以当前帧的运动矢量预测值的结果为中心和以当前帧的目标宏块为中心进行三个小菱形搜索；当得到的值小于预先设定的阈值时，以该值为运动矢量估计值；当得到的值均不小于预先设定的阈值时，启用局部全搜索，在给定范围内通过逐像素点双向运动估计，得到运动矢量估计值。

其中，运动矢量和运动矢量预测值可靠性的判定均是根据相对应宏块对应像素点像素值所属范围，确定阈值th_low和th_high；然后利用对应像素之差blk_dif与阈值的关系进行可靠性的判断；当blk_dif≤th_low，可靠性高；当blk_dif≥th_high，可靠性低。

(3)对得到的运动矢量估计值进行运动矢量的平滑和补偿；是运用中值滤波和均值滤波进行滤波运算。

(4)利用前一帧和当前帧的图像信息对平滑和补偿后的运动矢量做进一步的修正，得的终值运动矢量；

(5)根据帧频提升的要求，得到插值帧的运动矢量，根据该插值帧运动矢量的可靠性判断，确定是否滤波；当可靠性高时，以该插值帧运动矢量进行插值帧的生成；当可靠性低时，以该插值帧的运动矢量和滤波后的插值帧运动矢量结果加权的方法得到最终插值结果，生成插值帧；当可靠性介于高低之间时，对该插值帧运动矢量进行滤波处理后进行插值帧的生成。

本发明另一个实施方案，对得到的运动矢量估计值进行了运动矢量的平滑和补偿后，还可以进行运动矢量拆分运算和全局矢量统计。所述拆分运算方法如下：当前已求得的运动矢量均是针对于16*16的像素宏块，为了提高精度，将其拆分为8*8的宏块进行处理。先将其均分为具有相同矢量的4个块，然后每一个子块进行一次领域比较判断滤波，具体做法是比较该子块矢量和最相邻的3个子块矢量再加上零矢量对应数据块的SAD，最小SAD对应该子块最终的运动矢量。全局统计是指对全场所有的运动矢量进行统计，判断是否多数运动矢量是相同的，如果是那么认为整场都具有这样的运动状态，称为静态运动。

所述利用图像信息是指利用对应宏块对应像素点的像素值判断对应宏块终值运动矢量的可靠性；可靠性低的终值运动矢量需要进行修正。

所述插值帧的运动矢量是由插值相位计算前向运动矢量MV_P和后向运动矢量MV_N；所述MV_P与MV_N的计算公式如下：

MV_P＝MV*phase/32

MV_N＝MV*(64-phase)/32

其中，所述运动矢量为终值运动矢量；phase为插值相位。

本发明根据输入视频帧数和目标帧数，查表得到插值帧的组织方式，由插值相位(phase)计算前向运动矢量MV_P和后向运动矢量MV_N。其中每个插值区间均被分为64份，每份对应一度相位，所以称为64度相位精度插值。因此，当相位为32度时运动矢量无需调整；当相位为0度时原始帧无需插值运算。

若blk_dif<＝th_low，则认为匹配块中相应位置为可靠性高，即设置运动矢量高低可靠性加权值alpha＝0，若blk_dif>＝th_high，则认为匹配块中相应位置为可靠性低，即设置运动矢量高低可靠性加权值alpha＝1。当其介于两者之间，加权值的计算方式，即图3中所述的Alpha＝阈值？该处阈值的计算方法为：

$alpha=\frac{|blk\_dif|-th\_low}{th\_high-th\_low}$

本发明中，当运动矢量可靠性低时，需要对运动矢量的修正方式如下：

按照图4的方法进行分区：把位于中心的8*8块分割为A、B、C和D四个区域。中心的8*8块为当前块，N1～N8为邻居块。其中A、B、C和D四个4*4的子块的运动矢量为其最相邻的四个宏块运动矢量均值滤波的结果。例如，对于子块A，其最相邻的四个宏块为N1、N2、N3和N4；对于子块C，其最相邻的四个宏块为N4、N6、N7和N8。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (8)

1.一种可硬件实现的帧频提升方法，其特征在于它包括以下步骤：运动矢量估计、运动矢量平滑、运动补偿和插值帧的生成，并且整个步骤均通过块匹配的方式来实现，它的具体步骤如下：

(1)将每一帧分成许多互不重叠的宏块，对相邻两帧的每个宏块进行双向运动估计，得到前一帧和当前帧每个宏块的运动矢量预测值；

(2)结合时域和空域相关性，根据前一帧和当前帧相同坐标位置宏块的运动矢量预测值，进行小菱形搜索和局部全搜索相结合的运动搜索，以不同的运动估计匹配准则得到运动矢量估计值；

(3)对得到的运动矢量估计值进行运动矢量的平滑和补偿；

(4)利用前一帧和当前帧的图像信息对平滑和补偿后的运动矢量做进一步的修正，得的终值运动矢量；

(5)根据帧频提升的要求，得到插值帧的运动矢量，根据该插值帧运动矢量的可靠性判断，确定是否滤波；当可靠性高时，以该插值帧运动矢量进行插值帧的生成；当可靠性低时，以该插值帧的运动矢量和滤波后的插值帧运动矢量结果加权的方法得到最终插值结果，生成插值帧；当可靠性介于高低之间时，对该插值帧运动矢量进行滤波处理后进行插值帧的生成。

2.根据权利要求1所述的可硬件实现的帧频提升方法，其特征在于所述不同的运动估计匹配准则为SAD匹配准则、VOD匹配准则、MAD匹配准则、MSE匹配准则或NCCF匹配准则。

3.根据权利要求1所述的可硬件实现的帧频提升方法，其特征在于所述小菱形搜索和局部全搜索相结合的运动搜索是指当前一帧与当前帧相同坐标位置宏块的运动矢量预测值相等且可靠性高时，用该运动矢量预测值的结果为中心做小菱形搜索，得到运动矢量估计值；当前一帧与当前帧相同坐标位置宏块的运动矢量预测值不相等或可靠性低时，分别以前一帧的运动矢量预测值的结果为中心、以当前帧的运动矢量预测值的结果为中心和以当前帧的目标宏块为中心进行三个小菱形搜索；当得到的值小于预先设定的阈值时，以该值为运动矢量估计值；当得到的值均不小于预先设定的阈值时，启用局部全搜索，在给定范围内通过逐像素点双向运动估计，得到运动矢量估计值。

4.根据权利要求3所述的可硬件实现的帧频提升方法，其特征在于运动矢量和运动矢量预测值可靠性的判定均是根据相对应宏块对应像素点像素值所属范围，确定阈值th_low和th_high；然后利用对应像素之差blk_dif与阈值的关系进行可靠性的判断；当blk_dif≤th_low，可靠性高；当blk_dif≥th_high，可靠性低。

5.根据权利要求1所述的可硬件实现的帧频提升方法，其特征在于所述运动矢量的平滑和补偿是运用中值滤波和均值滤波进行滤波运算。

6.根据权利要求5所述的可硬件实现的帧频提升方法，其特征在于对得到的运动矢量估计值进行了运动矢量的平滑和补偿后，还可以进行运动矢量拆分运算和全局矢量统计。

7.根据权利要求4所述的可硬件实现的帧频提升方法，其特征在于所述利用图像信息是指利用对应宏块对应像素点的像素值判断对应宏块终值运动矢量的可靠性；可靠性低的终值运动矢量需要进行修正。

8.根据权利要求1所述的可硬件实现的帧频提升方法，其特征在于所述插值帧的运动矢量是由插值相位计算前向运动矢量MV_P和后向运动矢量MV_N；所述MV_P与MV_N的计算公式如下：

MV_P＝MV*phase/32

MV_N＝MV*(64-phase)/32

其中，所述MV为终值运动矢量；phase为插值相位。