CN102857728B - 基于sad和vod匹配准则的视频数据帧频提升方法 - Google Patents

Abstract

本发明基于SAD和VOD匹配准则的视频数据帧频提升方法，在对视频数据中两个相邻的参考帧进行内插针处理时，先基于SAD匹配准则，采用双向运动估计方法在两个参考帧中进行匹配块搜索处理，确定待定匹配块对，用于判断各个区块是否具有亮度敏感性；然后，对亮度敏感性的区块，基于VOD匹配准则，再次采用双向运动估计方法进行匹配块搜索处理而确定其对应的最终匹配块对；而对于非亮度敏感性的区块，则直接将待定匹配块对作为其对应的最终匹配块对；最后再根据各个区块对应的最终匹配块对确定运动矢量、进行运动补偿；该方法减小了视频图像中相邻帧因照明变化引起的块匹配误差，能够更加准确的估计运动矢量，从而帮助得到更高质量的待插帧。

Description

基于SAD和VOD匹配准则的视频数据帧频提升方法

技术领域

本发明涉及计算机技术和视频处理技术领域，尤其涉及一种基于SAD和VOD匹配准则的视频数据帧频提升方法。

背景技术

随着人民生活水平的逐渐改善以及数字电视领域的技术提高，人们对数字电视的清晰度和画面尺寸也提出了更高的要求，具体表现为要求更大的显示尺寸、更快的屏幕刷新速度，更绚丽真实的色彩等。液晶显示器(Liquid Crystal Display，LCD)具有体积轻巧、外形美观等优点，已成为当今世界平板显示器中的主流器件，逐渐替代了老式的CRT显示设备，在数字电视和通讯设备的显示终端中得到广泛的应用。不过液晶面板本身也具有一些缺点，如响应时间长、残影、运动模糊等问题，这些问题随着液晶尺寸的增大而显得更为突出，尤其在显示快速运动场景时尤为严重，其主要原因是液晶显示保持时间较长和响应时间较慢。液晶显示的保持时间长及人眼沿显示运动方向将来自不同位置像素的亮度信号进行积分，产生模糊。

为了解决大尺寸液晶面板在显示快速运动场景时产生的残影、运动模糊等现象，液晶面板制造商和数字电视芯片解决方案提供商从各自的角度付出了很多努力。液晶面板制造商通过液晶材料工艺的提高去尽量降低液晶分子的响应时间，但是响应时间是不可能无限度降低，这种方法也存在着一定的瓶颈；数字电视芯片解决方案提供商通过开发出帧频提升***提高图像显示频率来降低大屏幕液晶显示器的保持时间。帧频提升(frame rate upconversion，FRUC)通过提高LCD液晶显示屏刷新率的方法，比如从50Hz提高到100Hz，从60Hz提高到120Hz(或者更高)，来减少液晶面板的保持时间。

帧频提升(FRUC)也称作时间内插(Temporal interpolation)，是视频处理技术中的一个重要分支。提升帧频的方法，有采用重复插帧的方法将每一帧重复一次输入至120Hz面板，但是这样显示效果与60Hz相当，还会出现运动闪烁。也有在两帧之间***黑帧提高帧频，这样的结果是整体视频显示效果会变暗。为了解决帧频提升技术的这些问题，业界内开始涌现出基于运动估计和运动补偿的帧频提升方法，该方法考虑到了像素点的运动情况，在线性插帧的基础上根据运动估计的结果做出运动补偿，同时兼顾到了静止物体和运动物体，即能消除运动抖动问题又能有效的解决运动物体边缘模糊问题，从而大大提高了插帧效果，因此被广泛采用。基于运动估计和运动补偿的帧频提升方法中，运动估计的准确性以及运动补偿处理的优化是影响内插帧质量的重要因素，因此，如何估计出准确的运动矢量以及如何对运动补偿处理进行优化，成为业界研究者共同努力的方向。

关于运动补偿处理的优化方案，现有技术中已经提供了较多的选择，本领域技术人员都可以根据实际的应用情况来选择适用的运动补偿处理方案，已达到较理想的运动补偿效果。而运动矢量需要根据适宜的运动估计方法和估计判别准则而获得，因此运动矢量的估计准确性对内插帧质量的影响更加直接。

在运动估计方法中，从估计匹配对象上划分，主要分为基于像素匹配、基于块匹配和基于区域匹配的三种运动估计方法。其中，最直接的方法是为每个像素都指定运动矢量，这就是基于像素匹配的运动估计方法，该方法虽然匹配结果准确，但因其需要估计每个像素的运动矢量而计算量非常巨大；基于区域匹配的运动估计方法，是把视频帧中具备相同运动模式的像素点划分在同一个区域，使得在每个区域中的运动可以用一个参数化模型表示，然而，由于事先并不知道哪些像素具有相同的运动模式，因而往往需要利用迭代算法对图像进行分割，这也需要很大的计算量；基于块匹配的运动估计，其基本思想是将视频图像帧分为互不重叠的若干个区块，并假定区块内所有像素点的运动矢量都相同，然后在相邻两视频帧中某一给定搜索范围内根据一定的匹配准则找出最相似的一对匹配区块，根据该最相似的一对匹配区块的相对位置计算出运动位移，即区块的运动矢量；基于区域匹配的运动估计方法在精确性和复杂性之间提供了一个很好的折中，因此应用也最为广泛。从匹配方向上划分，运动估计方法又主要分为单向估计方法和双边估计方法两种。双向运动估计方法因其以待插帧为镜像中心，保证了运动补偿处理时内插帧不会产生重叠和漏洞，从而得到更加普遍的应用。基于块匹配的双向运动估计，则成为了业界内应用普遍、研究较多的运动估计方案。

为了得到比较准确的运动矢量，很多研究者对基于块匹配的双向运动估计方法做了改进。例如，文献“Suk-Ju Kang,Kyoung-Rok Cho,Young Hwan Kim.Motion CompensatedFrame Rate Up-ConversionUsing Extended Bilateral Motion Estimation.IEEE Transactions onConsumer Electronics，Nov.2007，53(4):1759-1761.”中采用的扩展双向运动估计(EBME)，其假设补偿块尺寸大小为n×n，首先将内插帧划分为2n×2n的块进行双向运动估计，按最小SAD准则得到大块运动矢量；然后下滑匹配窗n行像素，估计新窗口运动矢量，此时新窗口与原匹配窗有2个n×n的重复单元，比较前后两次匹配的SAD值，选最小的SAD值对应的运动矢量作为重复单元的运动矢量。此方法在运动估计过程中仅采用了SAD准则，对于一般的视频数据的帧频提升处理可以得到较准确运动矢量，然而对于图像中因光照变化引起部分像素区域存在前后亮度差异的视频数据，由于SAD准则对亮度变化的敏感性导致计算出的最佳匹配块可能差强人意，进而影响到运动估计的准确性。

发明内容

针对现有技术中存在的上述问题，本发明的目的在于提供一种基于SAD和VOD匹配准则的视频数据帧频提升方法，该方法通过结合SAD匹配准则和VOD匹配准则进行基于快匹配的双向运动估计，能够更加准确的估计运动矢量，帮助提高运动补偿的精确度，从而得到更高质量的待插帧，更好的保证视频数据帧频提升后的画面质量。

为实现上述目的，本发明采用了如下技术手段：

基于SAD和VOD匹配准则的视频数据帧频提升方法，包括如下步骤：

1)从视频数据中提取出当前帧F_N和当前帧的前一帧F_P作为当前的两个参考帧，即参考帧F_P和参考帧F_N；

2)建立与视频图像像素尺寸相同的空白待插帧，将空白待插帧分为互不重叠的若干个m行n列像素的区块；

3)采用双向运动估计方法，分别以空白待插帧中的各个区块为镜像中心，在当前的两个参考帧中进行匹配块搜索，将当前的两个参考帧中以空白待插帧的同一区块为镜像中心的各对匹配块之中SAD值最小的一对匹配块作为空白待插帧中相应区块对应的待定匹配块对，从而得到空白待插帧中各个区块对应的待定匹配块对；

其中，当前的两个参考帧中以空白待插帧的任意的第k个区块为镜像中心的一对匹配块的SAD值SAD_k的计算公式为：

${\mathrm{SAD}}_k=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|{\mathrm{Blk}}_P{(i,j)}_k-{\mathrm{Blk}}_N{(i,j)}_k|;$

Blk_P(i,j)_k表示参考帧F_P中以空白待插帧的第k个区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Blk_N(i,j)_k表示参考帧F_N中以空白待插帧的第k个区块为镜像中心的匹配块中第i行第j列像素位置的像素值，其中，i∈{1,2,…,m}，j∈{1,2,…,n}；

4)分别将空白待插帧中各个区块对应的待定匹配块对的SAD值与预先设定的SAD阈值SAD₀进行比较；将对应的待定匹配块对的SAD值小于SAD阈值SAD₀的区块判定为非亮度敏感性的区块，执行步骤5；将对应的待定匹配块对的SAD值大于或等于SAD阈值SAD₀的区块判定为亮度敏感性的区块，执行步骤6；

5)对于空白待插帧中每一个非亮度敏感性的区块，将该非亮度敏感性的区块对应的待定匹配块对直接作为其对应的最终匹配块对；

6)对于空白待插帧中每一个亮度敏感性的区块，再次采用双向运动估计方法，以该亮度敏感性的区块为镜像中心，在当前的两个参考帧中进行匹配块搜索，将当前的两个参考帧中以该亮度敏感性的区块为镜像中心的各对匹配块之中VOD值最小的一对匹配块作为该亮度敏感性的区块对应的最终匹配块对；

其中，当前的两个参考帧中以空白待插帧的任意的第r个亮度敏感性的区块为镜像中心的一对匹配块的VOD值VOD_r的计算公式为：

${\mathrm{VOD}}_r=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left|\right[{\mathrm{Blk}}_P{(i,j)}_r-{\mathrm{Bir}}_P{\left(\mathrm{Avg}\right)}_r]-[{\mathrm{Blk}}_N{(i,j)}_r-{\mathrm{Bir}}_N{\left(\mathrm{Avg}\right)}_r\left]\right|;$

Blk_P(i,j)_r表示参考帧F_P中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Bir_P(Avg)_r表示参考帧F_P中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中各像素的平均亮度值；Blk_N(i,j)_r表示参考帧F_N中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Bir_N(Avg)_r表示参考帧F_N中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中各像素的平均亮度值；其中，i∈{1,2,…,m}，j∈{1,2,…,n}；

7)通过步骤4～6确定空白待插帧中各个区块对应的最终匹配块对，进而根据空白待插帧中各个区块对应的最终匹配块对分别确定各个区块的运动矢量；

8)根据当前的两个参考帧以及空白待插帧各个区块的运动矢量进行像素值运动补偿处理，得到空白待插帧中各个像素的像素值及亮度值信息，从而生成待插帧，并将待插帧***到当前的两个参考帧之间；

9)重复执行步骤1～8，实现对视频数据的帧频提升。

上述基于SAD和VOD匹配准则的视频数据帧频提升方法中，作为优化方案，所述步骤3具体为：

3a)预先设定双向运动估计的搜索扩展范围P_SAD；

3b)对于空白待插帧中任意的第k个区块，以空白待插帧中第k个区块正投影在当前的两个参考帧中的图像区域分别作为当前的两个参考帧的匹配位置中心S_SAD-k，并以该匹配位置中心S_SAD-k及其周围的搜索扩展范围P_SAD所覆盖的区域作为匹配块搜索范围R_SAD-k，采用双向运动估计方法，以空白待插帧中的第k个区块为镜像中心，在当前的两个参考帧中的匹配块搜索范围R_SAD-k内进行匹配块搜索，将当前的两个参考帧中以空白待插帧的第k个区块为镜像中心的各对匹配块之中SAD值最小的一对匹配块作为空白待插帧中第k个区块对应的待定匹配块对；

其中，当前的两个参考帧中以空白待插帧的第k个区块为镜像中心的一对匹配块的SAD值SAD_k的计算公式为：

${\mathrm{SAD}}_k=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|{\mathrm{Blk}}_P{(i,j)}_k-{\mathrm{Blk}}_N{(i,j)}_k|;$

Blk_P(i,j)_k表示参考帧F_P中以空白待插帧的第k个区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Blk_N(i,j)_k表示参考帧F_N中以空白待插帧的第k个区块为镜像中心的匹配块中第i行第j列像素位置的像素值，其中，i∈{1,2,…,m}，j∈{1,2,…,n}；

3c)对于空白待插帧中的各个区块分别按步骤3b进行处理，得到空白待插帧的中各个区块对应的待定匹配块对。

上述基于SAD和VOD匹配准则的视频数据帧频提升方法中，作为优化方案，所述步骤6具体为：

6a)预先设定双向运动估计的搜索扩展范围P_VOD；

6b)对于空白待插帧中任意的第r个亮度敏感性的区块，以空白待插帧中第r个亮度敏感性的区块在当前的两个参考帧中对应的待定匹配块对所在区域作为当前的两个参考帧的匹配位置中心S_VOD-r，并以该匹配位置中心及其周围的搜索扩展范围P_VOD所覆盖的区域作为匹配块搜索范围R_VOD-r，采用双向运动估计方法，以空白待插帧中的第r个亮度敏感性的区块为镜像中心，在当前的两个参考帧中的匹配块搜索范围R_VOD-r内进行匹配块搜索，将当前的两个参考帧中以空白待插帧的第r个亮度敏感性的区块为镜像中心的各对匹配块之中VOD值最小的一对匹配块作为空白待插帧中第r个亮度敏感性的区块对应的最终匹配块对；

其中，当前的两个参考帧中以空白待插帧的第r个亮度敏感性的区块为镜像中心的一对匹配块的VOD值VOD_r的计算公式为：

${\mathrm{VOD}}_r=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left|\right[{\mathrm{Blk}}_P{(i,j)}_r-{\mathrm{Bir}}_P{\left(\mathrm{Avg}\right)}_r]-[{\mathrm{Blk}}_N{(i,j)}_r-{\mathrm{Bir}}_N{\left(\mathrm{Avg}\right)}_r\left]\right|;$

Blk_P(i,j)_r表示参考帧F_P中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Bir_P(Avg)_r表示参考帧F_P中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中各像素的平均亮度值；Blk_N(i,j)_r表示参考帧F_N中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Bir_N(Avg)_r表示参考帧F_N中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中各像素的平均亮度值；其中，i∈{1,2,…,m}，j∈{1,2,…,n}；

6c)对于空白待插帧中的各个亮度敏感性的区块分别按步骤6b进行处理，得到空白待插帧的中各个亮度敏感性的区块对应的最终匹配块对。

相比于现有技术，本发明具有如下有益效果：

1、本发明基于SAD和VOD匹配准则的视频数据帧频提升方法，在对视频数据中两个相邻的参考帧进行内插针处理时，先基于SAD匹配准则，采用基于块匹配的双向运动估计方法在两个参考帧中搜索到各个区块对应的SAD值最小的一对匹配块作为待定匹配块对，并根据各个区块对应的待定匹配块对及其SAD值，来判断各个区块是否具有亮度敏感性；对亮度敏感性的区块基于VOD匹配准则再次采用基于块匹配的双向运动估计方法在两个参考帧中搜索到VOD值最小的一对匹配块作为其对应的最终匹配块对；而对于非亮度敏感性的区块，则直接将待定匹配块对作为其对应的最终匹配块对；最后再根据各个区块对应的最终匹配块对确定运动矢量、进行运动补偿。由此以来，对于视频图像中具有亮度敏感性的区块，就通过VOD匹配准则进行运动估计，减小了视频图像中相邻帧因照明变化引起的块匹配误差，找出与亮度敏感性的区块真正最匹配的一对匹配块进行运动估计和运动补偿，从而能够更加准确的估计运动矢量，帮助提高运动补偿的精确度，得到更高质量的待插帧，便可以更好的保证视频数据帧频提升后的画面质量。

2、在本发明基于SAD和VOD匹配准则的视频数据帧频提升方法，中通过判断各个区块是否具有亮度敏感性，进而对亮度敏感性的区块和非亮度敏感性的区块分别进行区分处理，避免了对非亮度敏感性的区块再次进行不必要的运动估计处理，在提高运动估计准确性的同时，避免了处理过程过于复杂、运算量过大，使得该方法具有较高的鲁棒性。

附图说明

图1为本发明基于SAD和VOD匹配准则的视频数据帧频提升方法的流程框图；

图2为对比实验实例中，采用现有帧频提升方法以“foreman”视频数据中第50帧和51帧作为参考帧而处理得到的待插帧；

图3为对比实验实例中，采用本发明方法以“foreman”视频数据中第50帧和51帧作为参考帧而处理得到的待插帧；

图4为对比实验实例中，采用现有帧频提升方法以“foreman”视频数据中第94帧和95帧作为参考帧而处理得到的待插帧；

图5为对比实验实例中，采用本发明方法以“foreman”视频数据中第94帧和95帧作为参考帧而处理得到的待插帧。

具体实施方式

本发明基于SAD和VOD匹配准则的视频数据帧频提升方法的处理流程如图1所示，包括如下步骤：

S1)从视频数据中提取出当前帧F_N和当前帧的前一帧F_P作为当前的两个参考帧，即参考帧F_P和参考帧F_N。可见，参考帧F_P和参考帧F_N也即为原始的视频数据中的两个相邻帧。

S2)建立与视频图像像素尺寸相同的空白待插帧，将空白待插帧分为互不重叠的若干个m行n列像素的区块。该步骤中，在通常的应用环境下，所分的区块的行、列尺寸是相同的，即m＝n；但如果是针对一些图像像素尺寸较为特殊的视频数据，所分的区块的行列尺寸也可以不相同，即可以为m≠n。

前面两个步骤是针对基于块匹配的双向运动估计处理而进行的前期准备处理，此后，则基于当前的两个参考帧，进行区块的运动矢量估计处理。

S3)采用双向运动估计方法，分别以空白待插帧中的各个区块为镜像中心，在当前的两个参考帧中进行匹配块搜索，将当前的两个参考帧中以空白待插帧的同一区块为镜像中心的各对匹配块之中SAD值最小的一对匹配块作为空白待插帧中相应区块对应的待定匹配块对，从而得到空白待插帧中各个区块对应的待定匹配块对；

其中，当前的两个参考帧中以空白待插帧的任意的第k个区块为镜像中心的一对匹配块的SAD值SAD_k的计算公式为：

${\mathrm{SAD}}_k=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|{\mathrm{Blk}}_P{(i,j)}_k-{\mathrm{Blk}}_N{(i,j)}_k|;$

Blk_P(i,j)_k表示参考帧F_P中以空白待插帧的第k个区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Blk_N(i,j)_k表示参考帧F_N中以空白待插帧的第k个区块为镜像中心的匹配块中第i行第j列像素位置的像素值，其中，i∈{1,2,…,m}，j∈{1,2,…,n}。

对于本领域不同的技术人员而言，可能会采用其熟悉、不同的的处理方案去执行步骤S3的处理过程。作为优选，可以采用如下过程执行步骤S3的处理：

s3a)预先设定双向运动估计的搜索扩展范围P_SAD。

搜索扩展范围P_SAD，可以是基于像素行列限定的矩形扩展范围(例如上下扩展a行、左右扩展b列的扩展范围)，也可以是基于中心像素点的周向扩展范围(例如距离中心像素点的像素距离为c的扩展范围)，具体根据实际应用情况确定。

s3b)对于空白待插帧中任意的第k个区块，以空白待插帧中第k个区块正投影在当前的两个参考帧中的图像区域分别作为当前的两个参考帧的匹配位置中心S_SAD-k，并以该匹配位置中心S_SAD-k及其周围的搜索扩展范围P_SAD所覆盖的区域作为匹配块搜索范围R_SAD-k，采用双向运动估计方法，以空白待插帧中的第k个区块为镜像中心，在当前的两个参考帧中的匹配块搜索范围R_SAD-k内进行匹配块搜索，将当前的两个参考帧中以空白待插帧的第k个区块为镜像中心的各对匹配块之中SAD值最小的一对匹配块作为空白待插帧中第k个区块对应的待定匹配块对；

其中，当前的两个参考帧中以空白待插帧的第k个区块为镜像中心的一对匹配块的SAD值SAD_k的计算公式为：

${\mathrm{SAD}}_k=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|{\mathrm{Blk}}_P{(i,j)}_k-{\mathrm{Blk}}_N{(i,j)}_k|;$

Blk_P(i,j)_k表示参考帧F_P中以空白待插帧的第k个区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Blk_N(i,j)_k表示参考帧F_N中以空白待插帧的第k个区块为镜像中心的匹配块中第i行第j列像素位置的像素值，其中，i∈{1,2,…,m}，j∈{1,2,…,n}。

正投影，是投影线垂直于投影面的平行投影。步骤s3b中，以空白待插帧中第k个区块正投影在当前的两个参考帧中的图像区域分别作为当前的两个参考帧的匹配位置中心S_SAD-k，并以该匹配位置中心S_SAD-k及其周围的搜索扩展范围P_SAD所覆盖的区域作为匹配块搜索范围R_SAD-k，即相当于暂且认为初始的运动矢量为零，在参考帧F_P和参考帧F_N对应的同一位置区块的周边范围进行匹配块搜索；这样处理起来比较简单，也能保证较好的匹配效果。由于在基于块匹配的双向运动估计方法中，匹配块与空白待插帧中区块的像素行列尺寸相同，都为m行n列像素，因此有i∈{1,2,…,m}，j∈{1,2,…,n}。

s3c)对于空白待插帧中的各个区块分别按步骤s3b进行处理，得到空白待插帧的中各个区块对应的待定匹配块对。

步骤S3的目的，是为了处理得到空白待插帧中各个区块对应的待定匹配块对，同时也相应的得到了空白待插帧中各个区块对应的待定匹配块对的SAD值。通过对现有技术中所存在问题的分析可以知道，由于SAD准则对亮度变化具有敏感性，如果在视频数据的前后帧中因光照变化引起部分像素区域存在前后亮度差异，采用SAD准则就可能影响最佳匹配块的计算，进而影响到运动估计的准确性。因此，步骤S3中将SAD值最小的一对匹配块作为空白待插帧中相应区块对应的待定匹配块对，并得到各个区块对应的待定匹配块对的SAD值，用以在后续步骤中根据各个区块对应的待定匹配块对的SAD值的大小对其匹配准确性进行进一步的判断。

S4)分别将空白待插帧中各个区块对应的待定匹配块对的SAD值与预先设定的SAD阈值SAD₀进行比较；将对应的待定匹配块对的SAD值小于SAD阈值SAD₀的区块判定为非亮度敏感性的区块，执行步骤S5；将对应的待定匹配块对的SAD值大于或等于SAD阈值SAD₀的区块判定为亮度敏感性的区块，执行步骤S6。

如果某一区块原本最匹配的一对匹配块对因光照变化而存在亮度差异，由于SAD值对亮度敏感，从而会导致其SAD值增大，因此可能会造成以最小的SAD值最小判断出的一对匹配块并非真正最匹配的。对此，步骤S4通过设定的SAD阈值SAD₀进行比较，如果空白待插帧中某个区块对应的待定匹配块对的SAD值大于SAD阈值SAD₀，则可以认为在针对该区块进行匹配块搜索的过程中因存在亮度差异而使得SAD值整体增大，导致了最小的SAD值都大于SAD阈值SAD₀，因此将这种区块判定为亮度敏感性的区块；相反，对于对应的待定匹配块对的SAD值小于SAD阈值SAD₀的区块，则判定为非亮度敏感性的区块；由此进行区分处理。对于非亮度敏感性的区块，可以认为由最小的SAD值而确定的待定匹配块已经匹配得足够精确，因此按步骤S5处理确定其对应的最终匹配块对。而对于亮度敏感性的区块，则还需要按步骤S6再次进行双向运动估计处理，以得到匹配更加准确的一对匹配块作为其对应的最终匹配块对。

S5)对于空白待插帧中每一个非亮度敏感性的区块，将该非亮度敏感性的区块对应的待定匹配块对直接作为其对应的最终匹配块对。

对于非亮度敏感性的区块，可以认为由最小的SAD值而确定的待定匹配块已经匹配得足够精确，因此将非亮度敏感性的区块对应的待定匹配块对直接作为其对应的最终匹配块对。

S6)对于空白待插帧中每一个亮度敏感性的区块，再次采用双向运动估计方法，以该亮度敏感性的区块为镜像中心，在当前的两个参考帧中进行匹配块搜索，将当前的两个参考帧中以该亮度敏感性的区块为镜像中心的各对匹配块之中VOD值最小的一对匹配块作为该亮度敏感性的区块对应的最终匹配块对。

其中，当前的两个参考帧中以空白待插帧的任意的第r个亮度敏感性的区块为镜像中心的一对匹配块的VOD值VOD_r的计算公式为：

${\mathrm{VOD}}_r=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left|\right[{\mathrm{Blk}}_P{(i,j)}_r-{\mathrm{Bir}}_P{\left(\mathrm{Avg}\right)}_r]-[{\mathrm{Blk}}_N{(i,j)}_r-{\mathrm{Bir}}_N{\left(\mathrm{Avg}\right)}_r\left]\right|;$

Blk_P(i,j)_r表示参考帧F_P中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Bir_P(Avg)_r表示参考帧F_P中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中各像素的平均亮度值；Blk_N(i,j)_r表示参考帧F_N中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Bir_N(Avg)_r表示参考帧F_N中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中各像素的平均亮度值；其中，i∈{1,2,…,m}，j∈{1,2,…,n}。

在步骤S6中，由于在VOD值的计算过程中，去除了匹配块中各像素的平均亮度值，因此VOD值对像素亮度变化不敏感，从而减小了视频图像中相邻帧因照明变化引起的块匹配误差，找出与亮度敏感性的区块真正最匹配的一对匹配块。对于本领域不同的技术人员而言，可能会采用其熟悉、不同的的处理方案去执行步骤S6的处理过程。作为优选，可以采用如下过程执行步骤S6的处理：

6a)预先设定双向运动估计的搜索扩展范围P_VOD。

搜索扩展范围P_VOD，可以是基于像素行列限定的矩形扩展范围(例如上下扩展a’行、左右扩展b’列的扩展范围)，也可以是基于中心像素点的周向扩展范围(例如距离中心像素点的像素距离为c’的扩展范围)，具体根据实际应用情况确定。当然，这里的搜索扩展范围P_VOD也可以与前面的搜索扩展范围P_SAD相同；但在通常的应用环境中，搜索扩展范围P_VOD最好小于搜索扩展范围P_SAD。

6b)对于空白待插帧中任意的第r个亮度敏感性的区块，以空白待插帧中第r个亮度敏感性的区块在当前的两个参考帧中对应的待定匹配块对所在区域作为当前的两个参考帧的匹配位置中心S_VOD-r，并以该匹配位置中心及其周围的搜索扩展范围P_VOD所覆盖的区域作为匹配块搜索范围R_VOD-r，采用双向运动估计方法，以空白待插帧中的第r个亮度敏感性的区块为镜像中心，在当前的两个参考帧中的匹配块搜索范围R_VOD-r内进行匹配块搜索，将当前的两个参考帧中以空白待插帧的第r个亮度敏感性的区块为镜像中心的各对匹配块之中VOD值最小的一对匹配块作为空白待插帧中第r个亮度敏感性的区块对应的最终匹配块对；

其中，当前的两个参考帧中以空白待插帧的第r个亮度敏感性的区块为镜像中心的一对匹配块的VOD值VOD_r的计算公式为：

${\mathrm{VOD}}_r=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left|\right[{\mathrm{Blk}}_P{(i,j)}_r-{\mathrm{Bir}}_P{\left(\mathrm{Avg}\right)}_r]-[{\mathrm{Blk}}_N{(i,j)}_r-{\mathrm{Bir}}_N{\left(\mathrm{Avg}\right)}_r\left]\right|;$

Blk_P(i,j)_r表示参考帧F_P中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Bir_P(Avg)_r表示参考帧F_P中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中各像素的平均亮度值；Blk_N(i,j)_r表示参考帧F_N中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Bir_N(Avg)_r表示参考帧F_N中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中各像素的平均亮度值；其中，i∈{1,2,…,m}，j∈{1,2,…,n}。

值得注意的是，在步骤s6b中，并没有如步骤s3b那样以空白待插帧的第r个亮度敏感性的区块正投影在当前的两个参考帧中的图像区域分别作为当前的两个参考帧的匹配位置中心，而是以空白待插帧中第r个亮度敏感性的区块在当前的两个参考帧中对应的待定匹配块对所在区域作为当前的两个参考帧的匹配位置中心S_VOD-r，并以该匹配位置中心及其周围的搜索扩展范围P_VOD所覆盖的区域作为匹配块搜索范围R_VOD-r；这是因为，虽然由于亮度敏感性使得SAD值增大，但此前获得的最小SAD值依然具有参考意义，因为排除亮度敏感性因素后最匹配的一对匹配块往往出现在最小SAD值所对应区域的周围；而第r个亮度敏感性的区块在当前的两个参考帧中对应的待定匹配块的SAD值正是此前对比获得的最小SDA值，因此以待定匹配块对所在区域作为当前的两个参考帧的匹配位置中心，在其周围扩展进行匹配块搜索；最终，以当前的两个参考帧中以空白待插帧的第r个亮度敏感性的区块为镜像中心的各对匹配块之中VOD值最小的一对匹配块作为空白待插帧中第r个亮度敏感性的区块对应的最终匹配块对。相应地，由于基于块匹配的双向运动估计方法中匹配块与空白待插帧中区块的像素行列尺寸相同，都为m行n列像素，因此同样有i∈{1,2,…,m}，j∈{1,2,…,n}。

6c)对于空白待插帧中的各个亮度敏感性的区块分别按步骤6b进行处理，得到空白待插帧的中各个亮度敏感性的区块对应的最终匹配块对。

步骤S6的目的，是为了对亮度敏感性的区块以VOD准则再次进行匹配块搜索，以排除亮度差异对匹配块搜索结果的影响，进一步获得最佳匹配块，进而帮助提高运动估计的准确性。

S7)通过步骤S4～S6确定空白待插帧中各个区块对应的最终匹配块对，进而根据空白待插帧中各个区块对应的最终匹配块对分别确定各个区块的运动矢量。

从步骤S4～S6的处理过程可以看到，根据步骤S3中处理得到的空白待插帧中各个区块对应的待定匹配块对及其SAD值，来判断各个区块是否具有亮度敏感性；对于亮度敏感性的区块，按步骤S6再次进行双向运动估计处理，以得到匹配更加准确的一对匹配块作为其对应的最终匹配块对；而对于非亮度敏感性的区块，则无需再次进行运动估计处理，直接按步骤S5确定其对应的最终匹配块对。通过这种区分处理，避免了对非亮度敏感性的区块再次进行不必要的运动估计处理，在提高运动估计准确性的同时，避免了处理过程过于复杂、运算量过大，使得该方法具有较高的鲁棒性。得到各个区块对应的最终匹配块对之后，则根据空白待插帧中各个区块对应的最终匹配块对分别确定各个区块的运动矢量，由于最终匹配块对的匹配精度得到了提高，从而由此获得的各个区块的运动矢量也更加准确。

S8)根据当前的两个参考帧以及空白待插帧各个区块的运动矢量进行像素值运动补偿处理，得到空白待插帧中各个像素的像素值及亮度值信息，从而生成待插帧，并将待插帧***到当前的两个参考帧之间。步骤S8中的运动补偿处理过程可以采用现有技术中的运动补偿方法。与现有技术中其它的运动估计方法相比，在采用相同的运动补偿方法的情况下，本发明的帧频提升方法由于前期处理步骤中获得的各个区块的运动矢量也更加准确，从而在运动补偿处理后能够得到更高质量的待插帧，更好的保证视频数据帧频提升后的画面质量。

S9)重复执行步骤S1～S8，实现对视频数据的帧频提升。

综上所述，本发明基于SAD和VOD匹配准则的视频数据帧频提升方法，在对视频数据中两个相邻的参考帧进行内插针处理时，先基于SAD匹配准则，采用基于块匹配的双向运动估计方法在两个参考帧中搜索到各个区块对应的SAD值最小的一对匹配块作为待定匹配块对，并根据各个区块对应的待定匹配块对及其SAD值，来判断各个区块是否具有亮度敏感性；对亮度敏感性的区块基于VOD匹配准则再次采用基于块匹配的双向运动估计方法在两个参考帧中搜索到VOD值最小的一对匹配块作为其对应的最终匹配块对；而对于非亮度敏感性的区块，则直接将待定匹配块对作为其对应的最终匹配块对；最后再根据各个区块对应的最终匹配块对确定运动矢量、进行运动补偿。由此以来，对于视频图像中具有亮度敏感性的区块，就通过VOD匹配准则进行运动估计，减小了视频图像中相邻帧因照明变化引起的块匹配误差，找出与亮度敏感性的区块真正最匹配的一对匹配块进行运动估计和运动补偿，从而能够更加准确的估计运动矢量，帮助提高运动补偿的精确度，得到更高质量的待插帧，便可以更好的保证视频数据帧频提升后的画面质量。并且，在本发明基于SAD和VOD匹配准则的视频数据帧频提升方法，中通过判断各个区块是否具有亮度敏感性，进而对亮度敏感性的区块和非亮度敏感性的区块分别进行区分处理，避免了对非亮度敏感性的区块再次进行不必要的运动估计处理，在提高运动估计准确性的同时，避免了处理过程过于复杂、运算量过大，使得该方法具有较高的鲁棒性。

下面通过对比试验的示例，更加直观的体现本发明方法的帧频提升效果。该对比试验采用现有技术方法以及本发明方法分别对名为“foreman”的一段视频数据进行帧频提升处理。“foreman”视频数据中的内容，是一名头戴工作帽的工人在阳关照射环境下的动态画面，动态画面中该工人又多次转动头部的动作，由于该工人头戴工作帽，并由于阳关照射角度(为45度左右)的原因，工人的头部转动到不同角度时，其脸部、鼻部、嘴部等部位会因工作帽的阴影而发生光照变化，从而引起其脸部、鼻部、嘴部等区域存在前后亮度差异。作为对比的现有中，仅采用SAD准则进行基于块的双向运动估计，进而根据估计的运动矢量进行运动补偿后得到待插帧；而本发明发明方法则采用了基于SAD和VOD匹配准则相结合的方式，通过本发明方法步骤处理得到待插帧。采用现有帧频提升方法对“foreman”视频数据进行帧频提升，其中由两处工人的头部转动动态画面而得到的两个待插帧如图2和图4所示，图2是以“foreman”视频数据中第50帧和51帧作为参考帧而处理得到的待插帧，图4以“foreman”视频数据中第94帧和95帧作为参考帧而处理得到的待插帧；而采用本发明方法对“foreman”视频数据进行帧频提升，其中由相同的两处工人的头部转动动态画面而得到的两个待插帧则如图3和图5所示，图3是以“foreman”视频数据中第50帧和51帧作为参考帧而处理得到的待插帧，图5以“foreman”视频数据中第94帧和95帧作为参考帧而处理得到的待插帧。通过对比可以看到，由于“foreman”视频数据中头戴工作帽的工人头部转动，导致了其脸部、鼻部、嘴部等区域因工作帽的阴影而发生光照变化从而存在前后帧亮度差异，在图2和图4所示的采用现有帧频提升方法得到的待插帧中，由于SAD准则对亮度差异敏感，使得其对工人的脸部、鼻部、嘴部等图像区块进行块匹配的匹配精度受到影响，进而所得到的运动矢量不够准确，运动补偿后得到的待插帧中在工人的脸部、鼻部、嘴部等区域就出现了模糊、重影的现象；而在如图3和图5所示的采用本发明方法得到的待插帧中，由于在基于SAD准则进行初始匹配后，该进一步基于VOD准则对工人的脸部、鼻部、嘴部等亮度敏感性的区块进行了再次的块匹配搜索，提高了这些亮度敏感性的区块的匹配精度，能够更加准确的估计运动矢量，从而运动补偿后的的待插帧中在工人的脸部、鼻部、嘴部等区域画面更加清晰，没有出现模糊或重影的现象。通过该对比试验可以看出，本发明基于SAD和VOD匹配准则的视频数据帧频提升方法有效地减小了视频图像中相邻帧因照明变化引起的块匹配误差，能够得到更高质量的待插帧，更好的保证了视频数据帧频提升后的画面质量。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.基于SAD和VOD匹配准则的视频数据帧频提升方法，其特征在于，包括如下步骤：

1)从视频数据中提取出当前帧F_N和当前帧的前一帧F_P作为当前的两个参考帧，即参考帧F_P和参考帧F_N；

2)建立与视频图像像素尺寸相同的空白待插帧，将空白待插帧分为互不重叠的若干个m行n列像素的区块；

3)采用双向运动估计方法，分别以空白待插帧中的各个区块为镜像中心，在当前的两个参考帧中进行匹配块搜索，将当前的两个参考帧中以空白待插帧的同一区块为镜像中心的各对匹配块之中SAD值最小的一对匹配块作为空白待插帧中相应区块对应的待定匹配块对，从而得到空白待插帧中各个区块对应的待定匹配块对；

所述步骤3具体为：

3a)预先设定双向运动估计的搜索扩展范围P_SAD；

3b)对于空白待插帧中任意的第k个区块，以空白待插帧中第k个区块正投影在当前的两个参考帧中的图像区域分别作为当前的两个参考帧的匹配位置中心S_SAD-k，并以该匹配位置中心S_SAD-k及其周围的搜索扩展范围P_SAD所覆盖的区域作为匹配块搜索范围R_SAD-k，采用双向运动估计方法，以空白待插帧中的第k个区块为镜像中心，在当前的两个参考帧中的匹配块搜索范围R_SAD-k内进行匹配块搜索，将当前的两个参考帧中以空白待插帧的第k个区块为镜像中心的各对匹配块之中SAD值最小的一对匹配块作为空白待插帧中第k个区块对应的待定匹配块对；

其中，当前的两个参考帧中以空白待插帧的第k个区块为镜像中心的一对匹配块的SAD值SAD_k的计算公式为：

${\mathrm{SAD}}_k=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|{\mathrm{Blk}}_P{(i,j)}_k-{\mathrm{Blk}}_N{(i,j)}_k|;$

Blk_P(i,j)_k表示参考帧F_P中以空白待插帧的第k个区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Blk_N(i,j)_k表示参考帧F_N中以空白待插帧的第k个区块为镜像中心的匹配块中第i行第j列像素位置的像素值，其中，i∈{1,2,…,m}，j∈{1,2,…,n}；

3c)对于空白待插帧中的各个区块分别按步骤3b进行处理，得到空白待插帧的中各个区块对应的待定匹配块对；

4)分别将空白待插帧中各个区块对应的待定匹配块对的SAD值与预先设定的SAD阈值SAD₀进行比较；将对应的待定匹配块对的SAD值小于SAD阈值SAD₀的区块判定为非亮度敏感性的区块，执行步骤5；将对应的待定匹配块对的SAD值大于或等于SAD阈值SAD₀的区块判定为亮度敏感性的区块，执行步骤6；

5)对于空白待插帧中每一个非亮度敏感性的区块，将该非亮度敏感性的区块对应的待定匹配块对直接作为其对应的最终匹配块对；

6)对于空白待插帧中每一个亮度敏感性的区块，再次采用双向运动估计方法，以该亮度敏感性的区块为镜像中心，在当前的两个参考帧中进行匹配块搜索，将当前的两个参考帧中以该亮度敏感性的区块为镜像中心的各对匹配块之中VOD值最小的一对匹配块作为该亮度敏感性的区块对应的最终匹配块对；

所述步骤6具体为：

6a)预先设定双向运动估计的搜索扩展范围P_VOD；

6b)对于空白待插帧中任意的第r个亮度敏感性的区块，以空白待插帧中第r个亮度敏感性的区块在当前的两个参考帧中对应的待定匹配块对所在区域作为当前的两个参考帧的匹配位置中心S_VOD-r，并以该匹配位置中心及其周围的搜索扩展范围P_VOD所覆盖的区域作为匹配块搜索范围R_VOD-r，采用双向运动估计方法，以空白待插帧中的第r个亮度敏感性的区块为镜像中心，在当前的两个参考帧中的匹配块搜索范围R_VOD-r内进行匹配块搜索，将当前的两个参考帧中以空白待插帧的第r个亮度敏感性的区块为镜像中心的各对匹配块之中VOD值最小的一对匹配块作为空白待插帧中第r个亮度敏感性的区块对应的最终匹配块对；

其中，当前的两个参考帧中以空白待插帧的第r个亮度敏感性的区块为镜像中心的一对匹配块的VOD值VOD_r的计算公式为：

${\mathrm{VOD}}_r=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left|\right[{\mathrm{Blk}}_P{(i,j)}_r-{\mathrm{Bir}}_P{\left(\mathrm{Avg}\right)}_r]-[{\mathrm{Blk}}_N{(i,j)}_r-{\mathrm{Bir}}_N{\left(\mathrm{Avg}\right)}_r\left]\right|;$

Blk_P(i,j)_r表示参考帧F_P中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Bir_P(Avg)_r表示参考帧F_P中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中各像素的平均亮度值；Blk_N(i,j)_r表示参考帧F_N中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中第i行第j列像素位置的像素值，Bir_N(Avg)_r表示参考帧F_N中以空白待插帧的第r个亮度敏感性的区块为镜像中心的匹配块中各像素的平均亮度值；其中，i∈{1,2,…,m}，j∈{1,2,…,n}；

6c)对于空白待插帧中的各个亮度敏感性的区块分别按步骤6b进行处理，得到空白待插帧的中各个亮度敏感性的区块对应的最终匹配块对；

7)通过步骤4～6确定空白待插帧中各个区块对应的最终匹配块对，进而根据空白待插帧中各个区块对应的最终匹配块对分别确定各个区块的运动矢量；

8)根据当前的两个参考帧以及空白待插帧各个区块的运动矢量进行像素值运动补偿处理，得到空白待插帧中各个像素的像素值及亮度值信息，从而生成待插帧，并将待插帧***到当前的两个参考帧之间；

9)重复执行步骤1～8，实现对视频数据的帧频提升。