CN104243991B - 一种边信息生成方法及装置 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种边信息生成方法及装置，以提高生成的边信息的准确度。一种边信息生成方法，包括：获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧；获取所述关键帧中相邻两关键帧的前向运动矢量；对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息。

Description

一种边信息生成方法及装置

技术领域

本发明涉及图像处理技术，特别是涉及一种边信息生成方法及装置。

背景技术

分布式视频编码框架是一种全新的非对称的视频压缩框架，该***在编码端对各视频帧进行独立编码，即帧内编码，在解码端对各视频帧进行联合解码，即帧间解码。

在分布式视频编码***中，经过有损信源编码(Wyner-Ziv编码)得到的信息称之为主信息，边信息(Side information)是在解码端产生的对于主信息的一个估计。边信息在主信息的解码过程中给解码器以帮助，辅助解码器进行解码。

***要获得优异的率失真性能和压缩效率，最有效的方法就是使产生的边信息尽量接近当前欲解码帧的真实值，因此，边信息的产生是分布式视频编码的一个研究重点。但是，在实现本发明的过程中发明人发现，通过一般的边信息生成方法所获得的边信息会使得所求得的边信息帧中很多块的运动矢量出现偏差。因而，边信息的准确度不高。

发明内容

本发明要解决的技术问题是提供一种边信息生成方法及装置，以提高生成的边信息的准确度。

一种边信息生成方法，包括：

获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧；

获取所述关键帧中相邻两关键帧的前向运动矢量；

对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息。

其中，所述获取所述关键帧中相邻两关键帧的前向运动矢量包括：

分别将相邻两关键帧划分成预定大小的块；

计算所述相邻两关键帧中对应块之间的绝对差和；

若所述对应块之间的绝对差和小于第一预设值，将所述相邻两关键帧中的前向关键帧中的像素块作为备选像素块，用于替代所述相两关键帧中间的插值帧的对应像素块；

若所述对应块之间的绝对差和大于第二预设值，对所述对应块进行运动补偿；

若对应块之间的绝对差和大于所述第一预设值且小于第二预设值，保持所述对应块。

其中，所述根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息包括：

将物体的运动轨迹进行水平和竖直方向上进行分解，利用所述插值帧前两关键帧间的前向运动矢量以及所述插值帧的后两关键帧间的前向运动矢量，采用二次函数对物体的运动轨迹进行模拟；

根据模拟结果，计算所述插值帧的匹配块相对于所述插值帧的前关键帧和后关键帧的距离，并根据所述距离调整所述前关键帧和所述后关键帧在和成插值帧的权值，生成边信息。

其中，在所述获取编码端输出的视频图像中时域毗邻的各关键帧后，所述方法还包括：

对所述各关键帧进行低通滤波。

其中，所述方法还包括：

对生成的边信息进行图像质量评价。

一种边信息生成装置，包括：

帧获取单元，用于获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧；

矢量获取单元，用于获取所述关键帧中相邻两关键帧的前向运动矢量；

生成单元，用于对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息。

其中，所述矢量获取单元包括：

块划分模块，用于分别将相邻两关键帧划分成预定大小的块；

计算模块，用于计算所述相邻两关键帧中对应块之间的绝对差和；

处理模块，若所述对应块之间的绝对差和小于第一预设值，将所述相邻两关键帧中的前向关键帧中的像素块作为备选像素块，用于替代所述相两关键帧中间的插值帧的对应像素块；若所述对应块之间的绝对差和大于第二预设值，对所述对应块进行运动补偿；若对应块之间的绝对差和大于所述第一预设值且小于第二预设值，保持所述对应块。

其中，所述生成单元包括：

模拟模块，用于将物体的运动轨迹进行水平和竖直方向上进行分解，利用所述插值帧前两关键帧间的前向运动矢量以及所述插值帧的后两关键帧间的前向运动矢量，采用二次函数对物体的运动轨迹进行模拟；

生成模块，用于根据模拟结果，计算所述插值帧的匹配块相对于所述插值帧的前关键帧和后关键帧的距离，并根据所述距离调整所述前关键帧和所述后关键帧在和成插值帧的权值，生成边信息。

其中，所述帧获取单元还用于对所述视频图像进行低通滤波，获取所述各关键帧。

其中，所述装置还包括：

质量评价单元，对生成的边信息进行图像质量评价。

本发明取得的有益技术成果是：

本发明首先获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧，然后获取所述关键帧中相邻两关键帧的前向运动矢量，并对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，进而生成边信息。由于本发明中采用基于人眼特征获取的关键帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，进而生成边信息，因此，利用本发明的方法和装置所获得的边信息准确度较高。

附图说明

图1为本发明的边信息生成方法的流程图；

图2是本方法中运动矢量选取图；

图3是本方法中空间平滑滤波示意图；

图4是本方法中重叠块运动补偿示意图；

图5是双向运动估计中本发明算法和传统算法对比示意图；

图6是本方法中结构相似法(SSIM)方法框图；

图7是本发明的边信息生成装置的示意图；

图8是本发明的边信息生成装置的结构图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

在分布式视频编码中，视频序列X由奇数帧X_2k±1(k为整数)和偶数帧X_2k(k为整数)组成。在本发明中，假设奇数帧为关键帧，偶数帧为WZ帧(插值帧)。同样可假设偶数帧为关键帧，奇数帧为WZ帧，只需保证WZ帧前后均存在关键帧即可。则边信息主要是通过对时域毗邻关键帧X_2k±1进行运动补偿内插来产生。

如图1所示，本发明的边信息生成方法包括：

步骤11、获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧。

在本步骤中，获取编码端输出的视频图像中时域毗邻的各关键帧后，还可对所述各关键帧进行低通滤波。

首先，结合人眼的视觉特性HVS(Human Visual System，人类视觉***)，对输入关键帧进行低通滤波处理。人类的视觉有着独特的亮度特性、空间频率特性及时间频率特性，根据视觉的空间频率特性，图像中频率越高的成分代表图像的细节越小，人眼探测能力越低，其中人眼对3～6CPD的空间频率分量最为敏感)。其中，低通滤波可以平滑图像，去除图像噪声，增强运动矢量的可靠性，使得到的运动矢量更加接近真实的矢量场。基本实现过程如下：首先对经二维离散富里叶变换(2-DDFT)的原图像和目标图像频谱,依据HVS分别予以子带分割，并对获取的低频子带频谱进行二维富里叶反变换(2-DIDFT),建立低频子带的图像。

步骤12、获取所述关键帧中相邻两关键帧的前向运动矢量。

在此步骤中，通过对步骤11中建立的低频子带的图像进行前向运动估计。在本发明实施例中主要是利用块匹配算法在前后关键帧之间进行运动估计。

如图2所示，设定搜索窗口为8×8的矩形，搜索范围为12×12的矩形，步长为1。其中搜索窗口是执行运动估计的基本单位，搜索范围指的是在参考帧X2k-1(k为整数)内进行搜索的区域的尺寸，在其范围内搜索和X2k+1(k为整数)帧上当前块最相近的块，步长是在关键帧中进行搜索时前后两个匹配块之间的距离。其中，步长可以降低框架的计算复杂度并且提供一个真实矢量场的粗略估计。

块匹配方法有很多准则,本发明使用SAD(Sum of absolute differences，绝对差值和)。其基本原理是：对于一个m×n块，使用下式(1)作为运动矢量失真函数

式中，X_2k-1(i，j)是前一参考帧中宏块的像素值，X_2k+1(i+dx，j+dy)是后一参考帧中相应宏块的像素值，(dx，dy)为两宏块之间的运动矢量。取SAD值的最小值对应的那个块为最佳匹配的块。将得到的运动矢量作为WZ帧中各个非重叠块的候选运动矢量。其中，每一个候选运动矢量会与WZ帧交于一点，交点离欲求运动矢量的块中心最近的运动矢量选为此最佳匹配块的运动矢量。

在本发明中，对块匹配算法做出优化。首先将前后两相邻关键帧分割成预定大小，例如8×8的小块，计算对应块的求和绝对误差值(SAD)。同时，根据实际经验设定第一预设值T1和第二预设值T2。对各组SAD值分析判断。若SAD小于阈值T1，其运动变化程度较小，对运动内插估计的影响不大，为简化解码过程，忽略掉其变化，将所述相邻两关键帧中的前向关键帧中的像素块作为备选像素块，WZ帧中的像素块由前向关键帧中的对应像素块直接替代。若SAD>T2，说明像素块之间的运动变化较剧烈，将各像素块的大小再划分为4×4的子块，再对其运动补偿。若SAD值介于T1和T2之间，则像素块在运动补偿中大小保持不变。在此步骤中，在块匹配过程中依据对应块的SAD值的大小调整搜索块的大小，可明显减轻重影现象。

通过上述方式，获得相邻两关键帧的前向运动矢量。

步骤13、对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息。

在此步骤中，主要是进行双向运动估计，包括：将物体的运动轨迹进行水平和竖直方向上进行分解，利用所述插值帧前两关键帧间的前向运动矢量以及所述插值帧的后两关键帧间的前向运动矢量，采用二次函数对物体的运动轨迹进行模拟。根据模拟结果，计算所述插值帧的匹配块相对于所述插值帧的前关键帧和后关键帧的距离，并根据所述距离调整所述前关键帧和所述后关键帧在和成插值帧的权值，生成边信息。

以下详细描述上述过程。

在得到最终的运动矢量场后，插值帧可以通过标准视频编码框架中的双向运动补偿得到。本发明将物体运动轨迹进行水平和竖直方向上进行分解，依据插值帧前面两帧及后一关键帧间的两次运动矢量，采用二次函数作为块运动的矫正准则，以匹配物体的不规则运动。

假设插值帧前两帧的前向运动矢量为(x₁,y₁)，插值帧前后两关键帧间前向运动矢量为(x₂,y2)，(x为水平方向的运动，y为竖直方向上的运动)，关键帧间时间为t，则经过计算，在这段时间内物体水平方向和竖直方向上的加速度分别为a_x，a_y：

插值帧相对于前一关键帧的水平位移和竖直位移分别为(s_x，s_y)：

本发明利用插值帧前后三帧的信息，采用二次函数对物体的运动轨迹进行模拟，可有效匹配物体的加速及曲线运动。此外，采用加权补偿内插技术，利用二次函数运动轨迹计算前后关键帧的权重，省去了编码端的相关性计算，简洁有效。

此外，在本步骤中，在得到欲解码帧的双向运动矢量之后，如果某一块的运动矢量的方向和周围块的运动方向不一致的时候，经过运动补偿后的帧就会出现很强的块效应。这时可以通过空域平滑技术来调整运动矢量。邻域平均法是空域平滑技术中的一种，在该方法中，逐个对估计出的视频帧中的所有像素取一个邻域，然后对邻域内所有像素值取平均，所得的值用来代替原来的像素值。

其中，S代表邻域的大小；(m,n)为邻域内的像素点；M为邻域中所有像素的个数。在这里也可以对不同的像素点设置不同的权值，如图3，可将待调整的像素点B5的权值可以设为70％，邻域内的其他像素值求和平均后权值设为030％，这样可以使均值以后的像素值更加的精确，符合真实情况。

采用一种重叠块运动补偿技术减轻方块效应的影响。如图4所示，假设要插值的8×8的宏块为B，在进行重叠块运动补偿之前，先将其从8×8扩展到12×12，与其临近的宏块将出现重叠区域，设其运动矢量为MV₄＝(i₄,j₄)，其余三个8×8块的运动矢量分别为MV₁＝(i₁,j₁)、MV₂＝(i₂,j₂)、MV₃＝(i₃,j₃)。对于要插5值的宏块中的不同区域，重建的参数要根据重叠块的数目决定。

如图5所示，对于与4个块均有重叠的区域1中的像素值，其计算公式为：

对于与2个块有重叠的区域2中的像素值，其计算公式为：

对于与其它块均不重叠的区域3中的像素值，其计算公式为：

由于本发明中采用基于人眼特征获取的关键帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，进而生成边信息，因此，利用本发明的方法所获得的边信息准确度较高。

此外，在图1所示的方法的基础上，所述方法还可包括：对生成的边信息进行图像质量评价。其中，传统的方式是利用PSNR(Peak Signal to Noise Ratio，峰值信噪比)进行图像质量评价，该方法虽然具有简单、易于实现等优点,但并不考虑人类的视觉和心理感受,与人的主观评价脱节。本发明利用改进的结构相似性算法对生成的WZ帧进行质量评价，其过程如图6所示。

最后，这三部分联合起来构成整体的结构相似度：

SSIM的值越接近1，边信息生成质量越高。

如图7所示，本发明的边信息生成装置，包括：

帧获取单元51，用于获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，在所述两相邻关键帧中间具有插值帧；矢量获取单元52，用于获取所述关键帧中相邻两关键帧的前向运动矢量；生成单元53，用于对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息。

其中，所述帧获取单元51具体用于对所述视频图像进行低通滤波，获取所述各关键帧。

其中，所述矢量获取单元52包括：

块划分模块，用于分别将相邻两关键帧划分成预定大小的块；计算模块，用于计算所述相邻两关键帧中对应块之间的绝对差和；处理模块，若所述对应块之间的绝对差和小于第一预设值，将所述相邻两关键帧中的前向关键帧中的像素块作为备选像素块，用于替代所述相两关键帧中间的插值帧的对应像素块；若所述对应块之间的绝对差和大于第二预设值，对所述对应块进行运动补偿；若对应块之间的绝对差和大于所述第一预设值且小于第二预设值，保持所述对应块。

其中，所述生成单元53包括：

模拟模块，用于将物体的运动轨迹进行水平和竖直方向上进行分解，利用所述插值帧前两关键帧间的前向运动矢量以及所述插值帧的后两关键帧间的前向运动矢量，采用二次函数对物体的运动轨迹进行模拟；生成模块，用于根据模拟结果，计算所述插值帧的匹配块相对于所述插值帧的前关键帧和后关键帧的距离，并根据所述距离调整所述前关键帧和所述后关键帧在和成插值帧的权值，生成边信息。

如图8所示，所述装置还可包括：

质量评价单元54，对生成的边信息进行图像质量评价。

本发明的装置的工作原理可参照前述方法实施例的描述。

由于本发明中采用基于人眼特征获取的关键帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，进而生成边信息，因此，利用本发明的装置所获得的边信息准确度较高。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种边信息生成方法，其特征在于，包括：

获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，结合人眼的视觉特性HVS，对输入关键帧进行低通滤波处理，所述低通滤波处理实现过程包括：对经二维离散富里叶变换(2-DDFT)的原图像和目标图像频谱，依据HVS分别予以子带分割，并对获取的低频子带频谱进行二维富里叶反变换(2-DIDFT)，建立低频子带的图像；在所述两相邻关键帧中间具有插值帧；

获取所述关键帧中相邻两关键帧的前向运动矢量；

对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息；

所述获取所述关键帧中相邻两关键帧的前向运动矢量包括：

分别将相邻两关键帧划分成预定大小的块；

计算所述相邻两关键帧中对应块之间的绝对差和；

若所述对应块之间的绝对差和小于第一预设值，将所述相邻两关键帧中的前向关键帧中的像素块作为备选像素块，用于替代所述相两关键帧中间的插值帧的对应像素块；

若所述对应块之间的绝对差和大于第二预设值，将各像素块划分为子块，再对所述对应块进行运动补偿；

若对应块之间的绝对差和大于所述第一预设值且小于第二预设值，保持所述对应块；

在此过程中，在块匹配过程中依据对应块的SAD值的大小调整搜索块的大小；

所述对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息包括：

将物体的运动轨迹进行水平和竖直方向上进行分解，利用所述插值帧前两关键帧间的前向运动矢量以及利用所述插值帧的前后两关键帧间的前向运动矢量，采用二次函数对物体的运动轨迹进行模拟；

根据模拟结果，计算所述插值帧的匹配块相对于所述插值帧的前关键帧和后关键帧的距离，并根据所述距离调整所述前关键帧和所述后关键帧在和成插值帧的权值，生成边信息；

对生成的边信息进行图像质量评价，通过以下公式计算解码得到的图像和原图像之间的像素偏差：

其中，

式中，fk(x,y)和fk-1(x,y)分别为原始帧和解码帧中像素点的灰度值，M×N为图像的大小。

2.根据权利要求1所述的方法，其特征在于，在所述获取编码端输出的视频图像中时域毗邻的各关键帧后，所述方法还包括：

对所述各关键帧视频图像进行低通滤波。

3.一种边信息生成装置，其特征在于，包括：

帧获取单元，用于获取编码端输出的视频图像中时域毗邻的各关键帧，其中，所述关键帧是在所述图像中基于人眼特征获取的，结合人眼的视觉特性HVS，对输入关键帧进行低通滤波处理，所述低通滤波处理实现过程包括：对经二维离散富里叶变换(2-DDFT)的原图像和目标图像频谱，依据HVS分别予以子带分割，并对获取的低频子带频谱进行二维富里叶反变换(2-DIDFT)，建立低频子带的图像；在所述两相邻关键帧中间具有插值帧；

矢量获取单元，用于获取所述关键帧中相邻两关键帧的前向运动矢量；

生成单元，用于对于任一插值帧，根据所述插值帧的信息以及所述插值帧的相关关键帧的前向运动矢量进行运动补偿，生成边信息；

所述矢量获取单元包括：

块划分模块，用于分别将相邻两关键帧划分成预定大小的块；

计算模块，用于计算所述相邻两关键帧中对应块之间的绝对差和；

处理模块，若所述对应块之间的绝对差和小于第一预设值，将所述相邻两关键帧中的前向关键帧中的像素块作为备选像素块，用于替代所述相两关键帧中间的插值帧的对应像素块；若所述对应块之间的绝对差和大于第二预设值，将各像素块划分为子块，再对所述对应块进行运动补偿；若对应块之间的绝对差和大于所述第一预设值且小于第二预设值，保持所述对应块；在此过程中，在块匹配过程中依据对应块的SAD值的大小调整搜索块的大小；

所述生成单元包括：

模拟模块，用于将物体的运动轨迹进行水平和竖直方向上进行分解，利用所述插值帧前两关键帧间的前向运动矢量以及利用所述插值帧的前后两关键帧间的前向运动矢量，采用二次函数对物体的运动轨迹进行模拟；

生成模块，用于根据模拟结果，计算所述插值帧的匹配块相对于所述插值帧的前关键帧和后关键帧的距离，并根据所述距离调整所述前关键帧和所述后关键帧在和成插值帧的权值，生成边信息；

质量评价单元，对生成的边信息进行图像质量评价，所述质量评价单元通过以下公式计算解码得到的图像和原图像之间的像素偏差：

其中，

式中，fk(x,y)和fk-1(x,y)分别为原始帧和解码帧中像素点的灰度值，M×N为图像的大小。

4.根据权利要求3所述的装置，其特征在于，所述帧获取单元还用于对所述视频图像进行低通滤波，获取所述各关键帧。