CN109788297B - 一种基于元胞自动机的视频帧率上转换方法 - Google Patents

Abstract

本发明公开了一种基于元胞自动机的视频帧率上转换方法，涉及视频编码技术领域，该基于元胞自动机的视频帧率上转换方法，包括：根据待插帧f_t+Δt的前向帧f_t和后向帧f_t+1对待插帧f_t+Δt进行双向运动估计，生成待插帧f_t+Δt的初始运动向量场V_t+Δt,0；将待插帧f_t+Δt的初始运动向量场V_t+Δt,0利用元胞自动机控制运动向量平滑算法，获取待插帧f_t+Δt的最终运动向量场V_t+Δt；根据相邻参考帧f_t、f_t+1及待插帧f_t+Δt的最终运动向量场V_t+Δt进行重叠块运动补偿方法，获取待插帧f_t+Δt。本发明通过构造元胞自动机，利用设计的演化规则，提高了甄别异常运动向量的能力，有效抑制了过平滑运动向量的问题，显著提升了上转视频的视觉质量。

Description

一种基于元胞自动机的视频帧率上转换方法

技术领域

本发明涉及视频编码技术领域，更具体的涉及一种基于元胞自动机的视频帧率上转换方法。

背景技术

帧率是决定视频视觉质量的重要指标。落后的成像技术、行业标准造成低帧率普及于各视觉媒体之中。信息技术的飞速发展激发了人们对画面真实感的强烈需求，高帧率成为电影、电视及视频行业共同的追逐目标。帧率上转换(Frame Rate Up-Conversion，FRUC)作为一种视频后处理技术，通过在相邻帧间***中间帧的方式，实现将视频从一个较低的帧率上转换到一个较高的帧率。对由普通摄像头输出的低帧率视频，可由FRUC处理生成高帧率视频，克服因低帧率带来的运动模糊、画面卡顿等不良效应。由此可知，为了提升视频的视觉质量，亟待需要提出高性能的FRUC方法。FRUC可分为两类方法：(1)不考虑物体运动情况，称作非运动补偿类方法；(2)追踪物体运动轨迹，称作运动补偿类方法。非运动补偿类方法有三种常见方式，包括***黑帧、帧平均、帧重复，这三种方式操作简单、快捷，但适用范围较窄，仅当视频中的画面较为静止或包含极少量运动时，可采用非运动补偿类方法，然而，当视频中含有大量运动时，若采用此类方法，会产生画面模糊、场景变换不连贯等问题。针对非运动补偿类方法未能有效考虑物体运动的问题，提出了运动补偿FRUC(Motion-Compensated FRUC，MC-FRUC)方法。

MC-FRUC由运动估计(Motion Estimation，ME)和运动补偿内插(Motion-Compensated Interpolation，MCI)组成。ME输出内插帧的运动向量场，而MCI则利用该运动向量场预测内插像素。上述两个组成部分，ME更为重要，只要输出的运动向量场尽可能准确，才能使MCI的预测性能大幅提升。为了避免内插帧中出现像素重叠和空洞，现有技术常采用双向ME(Bi-directional ME，BME)，然而，BME假设内插帧各像素运动向量具有双向对称性，对不具备运动对称条件的遮挡区、纹理区，这就造成出现异常运动向量。为了减少运动异常，运动向量平滑(Motion Vector Smoothing，MVS)成为MC-FRUC的必要组成部分，是提升ME准确度的关键技术步骤。中值滤波是更成熟的MVS方法，其采用8个邻近运动向量的中值向量作为当前运动向量，与均值滤波相比，其提高了纠错性能的稳健性，然而，中值滤波常会造成过平滑，即在物体边缘区域无法保证准确性，常将正确的运动向量误判为异常。解决误判问题的方法是在在平滑过程中加入一定先验知识，目前，现有技术常利用空间相关性、时间相关性作为先验知识，例如，文献“New Frame Rate Up-Conversion Using Bi-directional Motion Estimation(Byung-Tae Choi,Sung-Hee Lee,and Sung-Jea Ko,IEEE Transactions on Consumer Electronics,2000,vol.46,no.3,pp.603-609.)”利用运动向量间的空间相关性，将当前块的8个空域邻接运动向量作为候选运动向量，选择其中可靠性更高的运动向量作为最终输出，文献“Direction-Select Motion Estimation forMotion-Compensated Frame Rate Up-Conversion(Dong-Gon Yoo,Suk-Ju Kang,andYoung Hwan Kim,Journal of Display Technology,2013,vol.9,no.10,pp.840-850.)”利用运动向量间的时间相关性，将当前块的若干时域邻近运动向量作为候选运动向量，以匹配误差最小为准则输出最终的运动向量。尽管基于先验知识的MVS方法有更好的纠错性能，但是它们需要投入更多的计算量，由于运动异常出现频次有限，过多计算量的投入往往是得不偿失的，甚至个别正确运动向量会被先验知识误导，造成过平滑。

综上所述，提升FRUC技术的性能，有待于设计更高效的MVS方法，而现有FRUC技术采用的MVS方法存在易过平滑运动向量场的问题，而造成内插帧中存在运动向量异常数量增加，严重影响内插帧的预测质量。

发明内容

本发明实施例提供一种基于元胞自动机的视频帧率上转换方法，用以解决现有技术中易过平滑运动向量场，而造成内插帧中存在运动向量异常数量增加，严重影响内插帧的预测质量的问题。

本发明实施例提供一种基于元胞自动机的视频帧率上转换方法，包括

步骤a、根据待插帧f_t+Δt的前向帧f_t和后向帧f_t+1对待插帧f_t+Δt进行双向运动估计，生成待插帧f_t+Δt的初始运动向量场V_t+Δt,0；所述待插帧f_t+Δt是位于参考帧f_t、f_t+1之间，且位于帧号t右侧Δt位置处的帧；

步骤b、将待插帧f_t+Δt的初始运动向量场V_t+Δt,0利用元胞自动机控制运动向量平滑算法，获取待插帧f_t+Δt的最终运动向量场V_t+Δt；

步骤c、根据相邻参考帧f_t、f_t+1及待插帧f_t+Δt的最终运动向量场V_t+Δt进行重叠块运动补偿方法，获取待插帧f_t+Δt。

较佳地，所述根据待插帧f_t+Δt的前向帧f_t和后向帧f_t+1对待插帧f_t+Δt进行双向运动估计，生成待插帧f_t+Δt的初始运动向量场V_t+Δt,0；：

根据参考帧f_t、f_t+1以及双向运动估计将待插帧f_t+Δt划分为尺寸为B×B的互不重叠块，按照公式(1)逐一计算各块的运动向量，形成尺寸为R×C的初始运动向量场V_t+Δt,0；

其中，公式(1)中s为像素坐标，B_r,c为视频帧内第r行、第c列块的像素坐标集合，v为候选运动向量，S_r,c为块B_r,c的候选运动向量搜索区域，f_t(s+v)、f_t+1(s-v)分别代表f_t、f_t+1位于像素坐标s+v、s-v的亮度值。

较佳地，所述将待插帧f_t+Δt的初始运动向量场V_t+Δt,0进行元胞自动机控制运动向量平滑，获取待插帧f_t+Δt的最终运动向量场V_t+Δt包括：

步骤b1、设置迭代变量i为0，令

步骤b2、逐一对

中各运动向量按照公式(2)进行异常检测，并将异常检测后的各运动向量的标记E[r,c]生成

的异常分布图E；

其中，

其中，公式(2)中，E[r,c]用于标记

中第r行、第c列的运动向量

是否为异常，1表示为异常，0表示为正常，v₀代表

为

的8个邻接运动向量的中值向量，0代表零向量，median{·}代表计算输入向量集合的中值向量，

代表计算v₀与

的夹角余弦值，T代表转置运算，&代表逻辑与，|代表逻辑或，所有向量均为列向量；

步骤b3、构造元胞自动机；

其中，将二维异常分布图E中的任一元素视作元胞，元胞具有两种状态0、1，且第r行、第c列的元胞为E[r,c]，则其Moore邻域定义如下：

定义VonNeuman邻域如下：

步骤b4、元胞自动机中各元胞状态根据下述公式(8)进行演化；其中，所述各元胞状态演化之后二维异常分布图E演化为新的异常分布图

其中，公式(8)中，Λ_k代表Λ的第k个元素，k＝1,2,…,8，Ω_l代表Ω的第l个元素，l＝1,2,3,4；

步骤b5、根据异常分布图

以及公式(9)对

作平滑；

步骤b6、按照公式(10)计算

与

间的残差值；

其中，公式(10)中，||·||₁为计算输入列向量的1范数，且定义如下：

步骤b7、若ε值大于3，则令i＝i+1，并转至步骤b2进行下一次迭代，否则，退出循环迭代，且令待插帧f_t+Δt的最终运动向量场V_t+Δt为

本发明实施例中，提供的一种基于元胞自动机的视频帧率上转换方法，对比现有技术有益效果为：

本发明通过将待插帧f_t+Δt的初始运动向量场V_t+Δt,0利用元胞自动机控制运动向量平滑算法，获取待插帧f_t+Δt的最终运动向量场V_t+Δt；根据相邻参考帧f_t、f_t+1及待插帧f_t+Δt的最终运动向量场V_t+Δt进行重叠块运动补偿方法，获取待插帧f_t+Δt，也即，对初始运动向量场V_t+Δt,0利用元胞自动机控制运动向量平滑算法，获取待插帧f_t+Δt的最终运动向量场V_t+Δ时可通过构造元胞自动机，利用设计的演化规则，提高了甄别异常运动向量的能力，有效抑制了过平滑运动向量的问题。且采用本发明提供的方法测试23组CIF格式视频序列，由峰值信噪比与结构相似性评估内插视频帧质量，分别与采用基于中值滤波的运动向量平滑方法、以时空相关性为先验的运动向量平滑方法的视频帧率上转换技术相比，本发明提升内插视频帧质量效果显著。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法提升帧率的实施示例图；

图2为本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法生成单个视频帧的实施流程图；

图3为本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法中双向运动估计模块的实施示例图；

图4为本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法中元胞自动机控制运动向量平滑模块的实施流程图；

图5为本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法中重叠块运动补偿模块实施示例图；

图6为本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法与对比方法内插生成CIF格式的foreman测试视频序列第33帧的主观质量对比图；

图7为本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法与对比方法内插生成CIF格式的mobile测试视频序列第57帧的主观质量对比图。

具体实施方式

下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

图1为本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法提升帧率的实施示例图。如图1所示，将待上转视频序列拆成若干视频帧，视作参考帧，再将相邻参考帧输入本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法，在相邻参考帧间的某位置出生成待插帧。如图2所示，本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法利用输入的两个相邻参考帧f_t、f_t+1，经过双向运动估计、由元胞自动机控制的运动向量平滑及重叠块运动补偿，生成待插帧f_t+Δt。图3至图5分别是本发明实施例提供的一种基于元胞自动机的视频帧率上转换方法中双向运动估计模块的实施示例图、元胞自动机控制运动向量平滑模块的实施流程图以及重叠块运动补偿模块实施示例图。结合图3至图5，描述本发明实施例执行过程如下：

步骤a，设待上转视频序列中各帧的空间分辨率为M×N，根据第t帧、第t+1帧参考帧f_t、f_t+1，双向运动估计将待插帧f_t+Δt划分为尺寸为B×B的互不重叠块，如图3所示，计算第r行、第c列块B_r,c的初始运动向量V_t+Δt,0[r,c]如下：

其中，公式(1)中，s为像素坐标，B_r,c为视频帧内第r行、第c列块的像素坐标集合，v为候选运动向量，S_r,c为块B_r,c的候选运动向量搜索区域，f_t(s+v)、f_t+1(s-v)分别代表f_t、f_t+1位于像素坐标s+v、s-v的亮度值。逐块按式(1)计算各块的初始运动向量，形成尺寸为R×C的初始运动向量场V_t+Δt,0。

步骤b，将待插帧f_t+Δt的初始运动向量场V_t+Δt,0输入由元胞自动机控制的运动向量平滑模块，如图4所示，执行以下步骤：

步骤b1，设置迭代变量i为0，令

步骤b2，逐一对

中各运动向量按下式(2)实施异常检测，对

中各运动向量实施完异常检测后，由各运动向量的E[r,c]标记生成

的异常分布图E。

其中，

其中，式(2)中，E[r,c]用于标记

中第r行、第c列的运动向量

是否为异常，1表示为异常，0表示为正常，v₀代表

为

的8个邻接运动向量的中值向量，0代表零向量，median{·}代表计算输入向量集合的中值向量，

代表计算v₀与

的夹角余弦值，T代表转置运算，&代表逻辑与，|代表逻辑或，所有向量均为列向量。

另外，根据异常检测公式(2)可知，当v₀、

不全是零向量且

小于

则

为异常，标记E[r,c]为1，而当v₀、

全是零向量或者

大于等于

则

为正常，标记E[r,c]为0。

步骤b3，构造元胞自动机，将二维异常分布图E中的任一元素视作元胞，具有两种元胞状态0、1。设第r行、第c列的元胞为E[r,c]，则其Moore邻域定义如下：

定义VonNeuman邻域如下：

步骤b4、元胞自动机中各元胞状态根据下述公式(8)进行演化；其中，所述各元胞状态演化之后二维异常分布图E演化为新的异常分布图

其中，式(8)中Λ_k代表Λ的第k个元素，k＝1,2,…,8，Ω_l代表Ω的第l个元素，l＝1,2,3,4。通过元胞自动机，二维异常分布图E演化为新的异常分布图

步骤b5，根据异常分布图

按下式(9)对

作平滑。

步骤b6，按照公式(10)计算

与

间的残差值。

其中，公式(10)中||·||₁为计算输入列向量的1范数，定义如下：

步骤b7、若ε值大于3，则令i＝i+1，并转至步骤b2进行下一次迭代，否则，退出循环迭代，且令待插帧f_t+Δt的最终运动向量场V_t+Δt为

步骤c，根据待插帧f_t+Δt的最终运动向量场V_t+Δt，利用参考帧f_t、f_t+1，实施重叠块运动补偿生成待插帧f_t+Δt。如图5所示，对于f_t+Δt中任一块B₄，其与左上角3个相邻块B₁、B₂、B₃重叠，而B₁、B₂、B₃、B₄各自具有运动向量v₁、v₂、v₃、v₄。对于O₁区域，B₁、B₂、B₃、B₄四个块在此重叠，则该区域执行内插公式：

对于O₂区域，B₃、B₄两个块在此重叠，则该区域执行内插公式：

对于O₃区域，其完全包含在B₄块内，则执行内插公式：

其中，式(12)-(14)中s为像素坐标，f_t(s)、f_t+1(s)、f_t+Δt(s)分别代表f_t、f_t+1、f_t+Δt位于像素坐标s处的亮度值。对于B₄与右上角、左下角、右下角相邻块的四块重叠区域按式(12)计算，而两块重叠区域按式(13)计算。

实施例二、进行仿真结果的说明

本发明实施例二中，采用CIF格式的23组测试视频序列评估本发明提出技术。对比方法分别是：

1)文献“New Frame Rate Up-Conversion Using Bi-directional MotionEstimation(Byung-Tae Choi,Sung-Hee Lee,and Sung-Jea Ko,IEEE Transactions onConsumer Electronics,2000,vol.46,no.3,pp.603-609.)”提出的采用空间相关运动向量平滑的帧率上转换技术，记作SC-MVS；2)文献“Direction-Select Motion Estimation forMotion-Compensated Frame Rate Up-Conversion(Dong-Gon Yoo,Suk-Ju Kang,andYoung Hwan Kim,Journal of Display Technology,2013,vol.9,no.10,pp.840-850.)”提出的采用时间相关运动向量平滑的帧率上转换技术，记作TC-MVS；3)采用基于中值滤波运动向量平滑的帧率上转换技术，记作MF-MVS。采用本发明方法和对比方法从测试视频序列前100帧中的偶数帧内插出奇数帧，计算内插奇数帧与原始奇数帧间的峰值信噪比(PeakSignal-to-Noise Ratio，PSNR)、结构相似性(Structural SIMilarity，SSIM)，作为内插帧的客观质量评价性能指标。硬件平台为主频3.10GHz、内存4GB的酷睿i5CPU计算机，软件平台为Windows 764位操作***和Matlab R2014b仿真实验软件。

表1列出了不同帧率上转换技术内插视频帧的平均PSNR值。对比TC-MVS和SC-MVS方法，本发明提出方法明显提升了PSNR值，最高可达9.49dB，提升插值帧质量效果显著。对于静态或包含少量运动的视频序列，如akiyo、news、waterfall，采用MF-MVS方法相对较好，PSNR值较本发明方法平均提升约0.81dB。然而，对于包含大量运动的视频序列，如bus、city、mobile，对比于MF-MVS方法，本发明方法可提供更好的内插质量，最高PSNR值增益为4.02dB。表2列出了不同帧率上转换技术内插视频帧的平均SSIM值。由表2可看出，本发明方法的SSIM值显著高于TC-MVS和SC-MVS方法，仅对于hall、highway视频序列的处理略低于MF-MVS方法。综合表1、2的结果可知，相比于对比方法，本发明提升内插视频帧的客观质量效果显著。

表1不同帧率上转换技术内插视频帧的平均PSNR值对比

表2不同帧率上转换技术内插视频帧的平均SSIM值对比

进一步地，图6、7分别显示了本发明方法与对比方法内插生成CIF格式的foreman测试视频序列第33帧、mobile测试视频序列第57帧的主观质量对比图。可看出，对比方法均存在由异常运动向量造成的内插块错配，尤其是对于TC-MVS、SC-MVS方法，在foreman序列的嘴部、眼部均出现了明显的块错位。对于mobile序列，不仅TC-MVS、SC-MVS方法无法抑制台历数字区域的运动向量异常，MF-MVS方法的内插帧中台历数字区域也出现了混乱。然而，本发明方法的内插结果产生了令人满意的主观视觉效果，没有块错位现象，同时台历数字区域复原基本准确。由此可知，本发明采用元胞自动机控制运动向量平滑，可有效抑制过平滑，显著改善内插质量。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (2)

1.一种基于元胞自动机的视频帧率上转换方法，其特征在于，包括：

步骤a、根据待插帧f_t+Δt的前向帧f_t和后向帧f_t+1对待插帧f_t+Δt进行双向运动估计，生成待插帧f_t+Δt的初始运动向量场V_t+Δt,0；所述待插帧f_t+Δt是位于参考帧f_t、f_t+1之间，且位于帧号t右侧Δt位置处的帧；

步骤b、将待插帧f_t+Δt的初始运动向量场V_t+Δt,0利用元胞自动机控制运动向量平滑，获取待插帧f_t+Δt的最终运动向量场V_t+Δt；

步骤c、根据相邻参考帧f_t、f_t+1及待插帧f_t+Δt的最终运动向量场V_t+Δt进行重叠块运动补偿方法，获取待插帧f_t+Δt；

所述将待插帧f_t+Δt的初始运动向量场V_t+Δt,0进行元胞自动机控制运动向量平滑，获取待插帧f_t+Δt的最终运动向量场V_t+Δt包括：

步骤b1、设置迭代变量i为0，令

步骤b2、逐一对

中各运动向量按照公式(2)进行异常检测，并将异常检测后的各运动向量的标记E[r,c]生成

的异常分布图E；

其中，

其中，公式(2)中，E[r,c]用于标记

中第r行、第c列的运动向量

是否为异常，1表示为异常，0表示为正常，v₀代表

为

的8个邻接运动向量的中值向量，0代表零向量，median{·}代表计算输入向量集合的中值向量，

代表计算v₀与

的夹角余弦值，T代表转置运算，&代表逻辑与，|代表逻辑或，所有向量均为列向量；

步骤b3、构造元胞自动机；

其中，将二维异常分布图E中的任一元素视作元胞，元胞具有两种状态0、1，且第r行、第c列的元胞为E[r,c]，则其Moore邻域定义如下：

定义VonNeuman邻域如下：

步骤b4、元胞自动机中各元胞状态根据下述公式(8)进行演化；其中，所述各元胞状态演化之后二维异常分布图E演化为新的异常分布图

其中，公式(8)中，∧_k代表∧的第k个元素，k＝1,2,…,8，Ω_l代表Ω的第l个元素，l＝1,2,3,4；

步骤b5、根据异常分布图

以及公式(9)对

作平滑；

步骤b6、按照公式(10)计算

与

间的残差值；

其中，公式(10)中，B×B是待插帧f_t+Δt划分为互不重叠块的尺寸，||·||₁为计算输入列向量的1范数，且定义如下：

步骤b7、若ε值大于3，则令i＝i+1，并转至步骤b2进行下一次迭代，否则，退出循环迭代，且令待插帧f_t+Δt的最终运动向量场V_t+Δt为

2.如权利要求1所述的基于元胞自动机的视频帧率上转换方法，其特征在于，所述根据待插帧f_t+Δt的前向帧f_t和后向帧f_t+1对待插帧f_t+Δt进行双向运动估计，生成待插帧f_t+Δt的初始运动向量场V_t+Δt,0包括：

根据参考帧f_t、f_t+1以及双向运动估计将待插帧f_t+Δt划分为尺寸为B×B的互不重叠块，按照公式(1)逐一计算各块的运动向量，形成尺寸为R×C的初始运动向量场V_t+Δt,0；

其中，公式(1)中s为像素坐标，B_r,c为视频帧内第r行、第c列块的像素坐标集合，v为候选运动向量，S_r,c为块B_r,c的候选运动向量搜索区域，f_t(s+v)、f_t+1(s-v)分别代表f_t、f_t+1位于像素坐标s+v、s-v的亮度值。

Images