CN107483960B - 一种基于空间预测的运动补偿帧率上转换方法 - Google Patents

Abstract

本发明公开了一种基于空间预测的运动补偿帧率上转换方法，涉及视频处理技术领域。该方法包括：对待插帧按照模板进行块分割，划分为A类块和B类块；对A类块进行全搜索运动估计得到运动矢量，其中，采用连续消除方法降低计算复杂度；结合A类块的运动矢量信息，依据空间相关性和最小误差匹配原则，计算B类块的运动矢量；将所求的A、B两类块的运动矢量组合成待插帧的运动矢量场、并依据参考帧f_t与f_t+1的信息，采用重叠块运动补偿技术插值得到待插帧f_t+0.5。本发明有效利用全搜索运动估计和空间相关性各自的优点，既保证了运动估计的准确程度，又有效降低了运算复杂度，节约了计算成本。

Description

一种基于空间预测的运动补偿帧率上转换方法

技术领域

本发明涉及视频处理技术领域，更具体的涉及一种基于空间预测的运动补偿帧率上转换方法。

背景技术

随着多媒体技术的发展和硬件设备的更新，以及为了获取更优的视觉体验，人们对视频的分辨率和帧率提出了更高的要求。但是，由于带宽的限制，在视频传输之前，会采用跳帧策略，实现快速传输。因此，在接收端，需要利用已有帧信息，复原丢弃帧，尽可能恢复原始视频的质量。在这种需求下，帧率上转换(Frame Rate Up-Conversion，FRUC)受到了视频处理领域研究者的关注。这是因为，作为一种后处理技术，FRUC可以通过在两个解码帧中间***中间帧的方式，将视频从一个较低的帧率上转换到一个较高的帧率。

帧率上转换的方法有多种，从是否考虑物体运动的角度划分，可分为非运动补偿插帧法和运动补偿插帧法。前者较为简单，主要包括帧复制和帧平均，这两种方式不考虑帧间物体运动，直接利用相邻两帧信息以复制或求平均方式进行补偿内插。相反，运动补偿插帧法则需考量图像中物体的运动情况：通过计算物体的运动矢量，根据运动轨迹推算出物体在待插帧的位置，然后进行像素值的补偿。对比两类方法，当视频序列包含较少运动时，帧复制或帧平均是迅速而有效的，但在物体运动较多的视频序列中，采用非运动补偿插帧法会导致画面的抖动与模糊。这种情况下，需要采用运动补偿插帧法，通过考虑帧间运动情况，有效减少运动模糊现象。现实生活中，视频序列多为包含大量运动或是动静态画面相结合的情形，因而对运动补偿插帧法的研究和运用就显得尤为重要。

运动补偿帧率上转换方法主要步骤有两个：运动估计与运动补偿插值。其中，运动估计用于计算相邻帧间的运动矢量场，运动补偿插值则是依据运动矢量场内插出中间帧。由此可以看出，运动估计的精确与否，直接影响着复原视频的质量。因此，FRUC技术的研究重点在于提出高效的运动估计方法。为了抑制模糊效应，在运动补偿插值过程中，一些经典方法普遍采用了重叠块补偿技术。在现有文献中，多采用双向运动估计的方式，以待插帧为出发点，计算到前后两帧的运动矢量场，例如，文献“Dual motion estimation for framerate up-conversion”(Suk-Ju Kang,Sungjoo Yoo and Young Hwan Kim,IEEETransactions on Circuits and Systems for Video Technology,vol.20,no.12,pp.1909-1914,2010)针对单向运动估计产生的“空洞”和“重叠块”问题，提出了直接计算待插帧运动矢量场的方法。这种方式促使待插帧中不再存在无运动矢量或有多个运动矢量的像素，提高了运动估计高效性和可靠性。但是，这种方法不具备空间相关性的特征，因而大大增加了计算复杂度。为进一步提高运动矢量的精确度，在双向运动估计的基础上，一些学者又提出了混合运动估计的方式，例如，文献“Direction-Select Motion Estimation forMotion-Compensated Frame Rate Up-Conversion”(Yoo Dong-Gon,Kang Suk-Ju,and KimYoung Hwan,Journal of Display Technology,vol.9,no.10,pp.840-850,2013)首先计算参考帧的单向运动矢量场，再以此估计出待插帧的双向运动矢量场，这种增加候选矢量的方式，提高了运动估计的准确度。但是，这种方法仅仅利用相邻块的信息去推算待插块的运动矢量，会导致不正确的运动矢量信息逐块传递，这种误差的传递反而降低了运动估计的准确度。为减少计算量，文献“A Multilevel Successive Elimination Algorithm forBlock Matching Motion Estimation”(X.Q.Gao,C.J.Duanmu and C.R.Zou,IEEETransactions on Image Processing,vol.9,no.3,pp.501-504,2000)针对候选匹配块过多导致计算量大的问题，提出了连续消除方法，通过计算匹配过的亮度累加和，并设定阈值，大量删减候选匹配块，有效减少运算时间。但是，在这篇文献中并没有考虑到空间相关性的问题，因而未能进一步降低计算量。

现有帧率上转换技术需要在计算精度和计算复杂度之间寻求平衡，有些方法通过采用全搜索策略，提升了运动矢量的估计精度，但却耗损了大量运行时间；有些方法虽然利用相邻块的信息推算出待插块的运动矢量，但是初始运动矢量的不精确会造成误差的传递，进而降低运动矢量的估计精度。

综上所述，现有技术中的运动补偿帧率上转换方法，存在无法兼顾计算精度与计算复杂度的问题。

发明内容

本发明实施例提供一种基于空间预测的运动补偿帧率上转换方法，用以解决现有技术中存在无法兼顾计算精度与计算复杂度的问题。

本发明实施例提供一种基于空间预测的运动补偿帧率上转换方法，包括：

步骤a，对待插帧进行块分割，划分为A类块和B类块；

步骤b，对A类块进行基于连续消除方法的全搜索运动估计，确定A类块的运动矢量；

步骤c，结合A类块的运动矢量信息，根据空间相关性和最小误差匹配原则，计算B类块的运动矢量；

步骤d，将所求的A类块的运动矢量和B类块的运动矢量组合成待插帧的运动矢量场，并依据参考帧f_t与f_t+1的信息，采用重叠块运动补偿方法插值得到待插帧f_t+0.5；其中，f_t、f_t+1和f_t+0.5分别为第t帧、第t+1帧和第t+0.5帧的亮度值。

较佳地，步骤a，具体包括：

设待插帧f_t+0.5的空间分辨率为M×N，分块尺寸为s，则每一帧待插帧包含M×N/s²个标准块；其中，奇数行与奇数列、偶数行与偶数列的交叉块划分为A类块，其余为B类块，且M和N被s整除。

较佳地，步骤b，具体包括：

以分块的左上角像素坐标(i,j)为参照，计算第t帧和第t+1帧的坐标为(i,j)块的亮度累加和如下：

其中，f_t(i+m,j+n)、f_t+1(i+m,j+n)分别为第t帧、第t+1帧在坐标(i+m,j+n)的亮度值，(m,n)为块内像素坐标；

设当前A类块的左上像素坐标p＝(i,j),遍历搜索窗口内的候选块，参考帧f_t+1第n个候选块相对(i,j)的偏移量v′_n＝(x,y)，参考帧f_t第n个候选块相对(i,j)的偏移量为-v′_n；设定搜索窗口半径为r，则x,y∈[-r,r]；令初始偏移量v′₀＝(r,r)，计算当前A类块的初始差值D₀，公式如下：

D₀＝||B_t(p-v'₀)-B_t+1(p+v'₀)||₁

其中，B_t(i-r,j-r)为第t帧左上角坐标为(i-r,j-r)块内所有像素按行排列而成的向量，||·||₁为向量的l₁范数；将

更新为搜索窗口内的下一个候选块的坐标偏移量，若满足下列不等式

|P_t(i-x,j-y)-P_t+1(i+x,j+y)|<D₀

则计算第n个候选块的差值D_n如下：

D_n＝||B_t(p-v'_n)-B_t+1(p+v'_n)||₁

按下式更新当前A类块的运动矢量v_s：

v_s＝v'_n＝(x,y)

并更新D₀＝min{D_n,D₀}；反之，v_s保持不变；按照上述过程直至遍历完搜索窗口内的所有候选块为止。

较佳地，步骤c，具体包括：

依照全搜索运动估计求出A类块的运动矢量后，选取与B类块相邻的四个A类块的运动矢量v_a1、v_a2、v_a3与v_a4作为候选矢量，组成如下候选矢量集合V_c：

V_c＝{v_a1,v_a2,v_a3,v_a4}

设当前B类块左上像素坐标为p，则B类块的运动矢量v_p依据最小误差匹配原则计算：

其中，B_t(p-v)为第t帧左上角坐标为p-v的块内所有像素按行排列而成的向量，||·||₁为向量的l₁范数，v为候选矢量。

较佳地，步骤d，具体包括：

将所有A类块和B类块的运动矢量集合为待插帧f_t+0.5的运动向量场V_t+0.5；采用下式计算待插帧f_t+0.5在像素位置p＝(i,j)处的取值：

其中，v_i,j为V_t+0.5在p处的运动矢量；k代表块的类型，取1时为不重叠部分，取2时为两个块的重叠部分，取3时，为四个块的重叠部分；系数ω则根据k的值取对应值。

本发明实施例中，提供一种基于空间预测的运动补偿帧率上转换方法，与现有技术相比，其有益效果为：本发明提出了一种基于空间预测的低复杂度运动补偿方法，根据既定模板，对指定待插块进行全搜索运动估计，其余块运动矢量由空间预测得出，即为了在精度和复杂度之间建立平衡，需要兼顾全搜索策略与空间相关性的优势，首先对一部分待插块进行全搜索运动估计，利用所得的精确运动矢量场，再结合空间相关性，推算出剩余块的运动矢量，这样既保证了运动矢量的精确度，又大大减少了运算时间。本发明有效利用全搜索运动估计和空间相关性各自的优点，既保证了运动估计的准确程度，有显著降低运算复杂度，降低计算成本，利用本发明提升9组CIF格式视频序列，由峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)与结构相似性(Structural SIMilarity，SSIM)评估内插质量，与普通双向运动估计方法和简单利用空间相邻关系的方法相比，本发明能以较低的计算复杂度换取内插质量的显著提升，由此可知，本发明采用空间预测的方式估算运动向量场，在降低计算量的同时，改善了内插质量。

附图说明

图1为本发明实施例提供的一种基于空间预测的运动补偿帧率上转换方法流程图；

图2为本发明实施例提供的一种基于空间预测的运动补偿帧率上转换方法中两类块的划分方式；

图3为本发明实施例提供的一种基于空间预测的运动补偿帧率上转换方法简化流程框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种基于空间预测的运动补偿帧率上转换方法流程图；图3为本发明实施例提供的一种基于空间预测的运动补偿帧率上转换方法简化流程框图。如图1和图3所示，本发明实施例方法包括：

步骤a，输入视频序列，提取相邻两帧，并对待插帧进行块分割和块分类。

设待插帧f_t+0.5的空间分辨率是M×N，分块尺寸为s(M和N必须都能被s整除)，则待插帧将包含M×N/s²个标准块。如图2所示，奇数行与奇数列、偶数行与欧数列的交叉块划分为A类，其余为B类。

步骤b，采用基于连续消除方法的全搜索运动估计获取A类块的运动矢量，具体包括：

步骤b1：以分块的左上角像素坐标(i,j)为参照，计算第t帧和第t+1帧的坐标为(i,j)块的亮度累加和如下：

其中，f_t(i+m,j+n)、f_t-1(i+m,j+n)分别为第t帧、第t+1帧在坐标(i+m,j+n)的亮度值，(m,n)为块内像素坐标。

步骤b2：设当前A类块的左上像素坐标p＝(i,j),遍历搜索窗口内的候选块，参考帧f_t+1第n个候选块相对(i,j)的偏移量v′_n＝(x,y)，参考帧f_t第n个候选块相对(i,j)的偏移量为-v′_n。设定搜索窗口半径为r，则x,y∈[-r,r]。令初始偏移量v′₀＝(r,r)，计算当前A类块的初始差值D₀，公式如下：

D₀＝||B_t(p-v'₀)-B_t+1(p+v'₀)||₁ (3)

其中，B_t(i-r,j-r)为第t帧左上角坐标为(i-r,j-r)块内所有像素按行排列而成的向量，||·||₁为向量的l₁范数。

步骤b3：将

更新为搜索窗口内的下一个候选块的坐标偏移量，若满足下列不等式

|P_t(i-x,j-y)-P_t+1(i+x,j+y)|<D₀ (4)

则计算第n个候选块的差值D_n如下：

D_n＝||B_t(p-v'_n)-B_t+1(p+v'_n)||₁ (5)

接着，按下式更新当前A类块的运动矢量v_s：

v_s＝v'_n＝(x,y) (6)

并更新D₀＝min{D_n,D₀}。若不等式(4)不成立，v_s保持不变。

步骤b4：转至步骤b3，直至遍历完搜索窗口内的所有候选块为止。

步骤c，计算B类块运动矢量；具体过程包括：

步骤c1：设当前B类块左上像素坐标为p，选取与B类块相邻的四个A类块的运动矢量v_a1、v_a2、v_a3与v_a4作为候选矢量，组成如下候选矢量集合V_c：

V_c＝{v_a1,v_a2,v_a3,v_a4} (7)

步骤c2：依据最小误差匹配原则计算B类块的运动矢量v_p：

步骤d，采用重叠块技术内插中间帧。

步骤d1：将所有A类块和B类块的运动矢量集合为待插帧f_t+0.5的运动向量场V_t+0.5:；

步骤d2：采用下式计算待插帧f_t+0.5在像素位置(i,j)处的取值：

其中，p＝(i,j)，v_i,j为V_t+0.5在p处的运动矢量，上标k代表块的类型：取1时，为不重叠部分；取2时，为两个块的重叠部分；取3时，为四个块的重叠部分。系数ω则根据k的值取对应值。

仿真结果

采用CIF格式的9组测试视频序列评估本发明提出方法。对比方法分别是：

1)由文献“Dual motion estimation for frame rate up-conversion”(Suk-JuKang,Sungjoo Yoo and Young Hwan Kim,IEEE Transactions on Circuits and Systemsfor Video Technology,vol.20,no.12,pp.1909-1914,2010)提出的双向运动估计帧率上转换技术，简称为Dual_ME方法；2)由“Direction-Select Motion Estimation forMotion-Compensated Frame Rate Up-Conversion”(Dong-Gon Yoo,Suk-Ju Kang,andYoung Hwan Kim,Journal of Display Technology,vol.9,no.10,pp.840-850,2013)提出的混合运动估计帧率上转换技术，简称为DS_ME方法。评价性能指标采用可反映客观质量的峰值信噪比、结构相似性和平均单帧处理时间。硬件平台为主频3.60GHz、内存8GB的酷睿i7CPU计算机，软件平台为Windows 7 64位操作***和Matlab R2014b仿真实验软件。

表1不同帧率上转换技术的PSNR值对比

表2不同帧率上转换技术的SSIM值对比

表3不同帧率上转换技术内插一帧所需时间(单位s/帧)对比

表1列出了不同帧率上转换技术的PSNR值。针对9组测试序列，对比Dual_ME方法，本发明提出的方法显著提升了PSNR值，最高可达2.72dB，达到了复原视频质量提升的目的；对比DS_ME方法，相对静态或包含少量运动的视频序列，如foreman和mother，这种方法相对较好，但对于包含大量运动的视频，如bus、city、football、mobile以及stefan，采用本发明的方法，能估计物体的运动轨迹，且最高提升PSNR值3.21dB。由表2列出了不同帧率上转换技术的SSIM值，相较之下，本发明提出的方法显著好于两种对比方法，仅在运动较少的视频处理略低于DS_ME方法。由表3可看出，本发明的运行时间均低于DS_ME方法与Dual_ME方法，体现出了较低的运算复杂度。由此可知，相比于对比技术，本发明的计算资源配置更有效，通过划分块类别，结合全搜索运动估计和空间相关性的优势，在确保精确度的前提下，又节约了运算时间。

以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (1)

1.一种基于空间预测的运动补偿帧率上转换方法，其特征在于，包括：

步骤a，对待插帧进行块分割，划分为A类块和B类块；

步骤b，对A类块进行基于连续消除方法的全搜索运动估计，确定A类块的运动矢量；

步骤c，结合A类块的运动矢量信息，根据空间相关性和最小误差匹配原则，计算B类块的运动矢量；

步骤d，将所求的A类块的运动矢量和B类块的运动矢量组合成待插帧的运动矢量场，并依据参考帧f_t与f_t+1的信息，采用重叠块运动补偿方法插值得到待插帧f_t+0.5；其中，f_t、f_t+1和f_t+0.5分别为第t帧、第t+1帧和第t+0.5帧的亮度值；

步骤a，具体包括：

设待插帧f_t+0.5的空间分辨率为M×N，分块尺寸为s，则每一帧待插帧包含M×N/s²个标准块；其中，奇数行与奇数列、偶数行与偶数列的交叉块划分为A类块，其余为B类块，且M和N被s整除；

步骤b，具体包括：

以分块的左上角像素坐标(i,j)为参照，计算第t帧和第t+1帧的坐标为(i,j)块的亮度累加和如下：

其中，f_t(i+m,j+n)、f_t+1(i+m,j+n)分别为第t帧、第t+1帧在坐标(i+m,j+n)的亮度值，(m,n)为块内像素坐标；

设当前A类块的左上像素坐标p＝(i,j),遍历搜索窗口内的候选块，参考帧f_t+1第n个候选块相对(i,j)的偏移量v′_n＝(x,y)，参考帧f_t第n个候选块相对(i,j)的偏移量为-v′_n；设定搜索窗口半径为r，则x,y∈[-r,r]；令初始偏移量v′₀＝(r,r)，计算当前A类块的初始差值D₀，公式如下：

D₀＝||B_t(p-v'₀)-B_t+1(p+v'₀)||₁

其中，B_t(i-r,j-r)为第t帧左上角坐标为(i-r,j-r)块内所有像素按行排列而成的向量，||·||₁为向量的l₁范数；将v′_n更新为搜索窗口内的下一个候选块的坐标偏移量，若满足下列不等式

|P_t(i-x,j-y)-P_t+1(i+x,j+y)|<D₀

则计算第n个候选块的差值D_n如下：

D_n＝||B_t(p-v'_n)-B_t+1(p+v'_n)||₁

按下式更新当前A类块的运动矢量v_s：

v_s＝v'_n＝(x,y)

并更新D₀＝min{D_n,D₀}；反之，v_s保持不变；按照上述过程直至遍历完搜索窗口内的所有候选块为止；

步骤c，具体包括：

依照全搜索运动估计求出A类块的运动矢量后，选取与B类块相邻的四个A类块的运动矢量v_a1、v_a2、v_a3与v_a4作为候选矢量，组成如下候选矢量集合V_c：

V_c＝{v_a1,v_a2,v_a3,v_a4}

设当前B类块左上像素坐标为p，则B类块的运动矢量v_p依据最小误差匹配原则计算：

其中，B_t(p-v)为第t帧左上角坐标为p-v的块内所有像素按行排列而成的向量，||·||₁为向量的l₁范数，v为候选矢量；

步骤d，具体包括：

将所有A类块和B类块的运动矢量集合为待插帧f_t+0.5的运动向量场V_t+0.5；采用下式计算待插帧f_t+0.5在像素位置p＝(i,j)处的取值：

其中，v_i,j为V_t+0.5在p处的运动矢量；k代表块的类型，取1时为不重叠部分，取2时为两个块的重叠部分，取3时，为四个块的重叠部分；系数ω则根据k的值取对应值。

Images