CN107454418B - 基于运动注意力模型的360度全景视频编码方法 - Google Patents

Abstract

本发明涉及基于运动注意力模型的360度全景视频编码方法,包括：提取运动矢量得到运动矢量场，计算每个运动矢量的可靠度；根据可靠度进行可靠度的加权滤波预处理，以降低噪声；将运动矢量场进行全局运动补偿；构建运动注意力模型，得到编码块的运动注意力；根据得到编码块的运动注意力，自适应分配码字。本发明有益效果：运动注意力的计算是在运动矢量场的基础上进行,不需要额外的计算复杂度,减少噪声的影响,综合考虑了运动矢量强度、空域运动矢量对比度和时域运动矢量对比度构建运动注意力模型,对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，以此来提高运动关注场景的视频质量同时减少无用区域的编码码字。

Description

基于运动注意力模型的360度全景视频编码方法

技术领域

本发明涉及360度全景视频编码技术领域，具体地说是一种基于运动注意力模型的360度全景视频编码方法。

背景技术

传统直播方式能够给观众带来实时的赛事享受，加入360度全景直播技术以后，除了能够营造出更具有现场感的观赛氛围，还突破了空间座位的限制，大大拓宽了收视群体。360度全景直播技术的发展不仅仅能够用于如演唱会、体育赛事等事件型直播，还能应用于医疗领域、房地产现场看房销售等。一般情况下，都为户外直播。在这种环境下，本身采集端网络极不稳定，影响用户观看360度全景直播时的质量。即使是室内直播，网络传输中所面临的卡顿，也是360度全景直播必须克服的问题。

随着用户对虚拟现实的真实性要求越来越高，目前普通的视频编码方案已无法满足在保证相同主观质量下减少360度全景视频的压缩码率。由于网络带宽条件有限，只能使用较低码流传输视频，但又希望看清关键目标时，视频感兴趣区域编码技术可以牺牲非感兴趣区域图像质量，对感兴趣区域进行集中资源编码，从而实现在不提高码流的条件下，获得关键目标信息，这样可以有效的避免了存储和带宽成本的增加。视频感兴趣区域变质量传输特性在监控领域非常实用，360度全景摄像机所采集到的画面都或多或少存在无用区域，同样占用传输带宽和存储，因此，只对关注区域的视频信息高质量传输，对不变化的视频少传或不传，以此来提高关注场景的视频质量及减少无用区域的编码码字。

发明内容

本发明的目的在于提供一种基于运动注意力模型的360度全景视频编码方法，可以复用编码中的运动矢量信息进行运动注意力区域的提出，并在编码时对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，从而实现在保证相同主观质量下有效的节省360度全景视频传输的带宽。

本发明采用的技术方案包括如下步骤：

步骤1：提取运动矢量得到运动矢量场，计算每个运动矢量的可靠度；

步骤2：根据可靠度进行可靠度的加权滤波预处理，以降低噪声；

步骤3：将步骤2修正后的运动矢量场进行全局运动补偿；

步骤4：构建运动注意力模型，得到编码块的运动注意力；

步骤5：根据步骤5得到编码块的运动注意力，自适应分配码字。

进一步地，在步骤1中，运动矢量可靠度定义如下：

其中v是当前块的运动矢量，MAD是当前块与匹配块的平均绝对差，μ_v是当前块8邻域块的平均运动矢量。

进一步地，在步骤2中进行可靠度加权滤波：若g(v)大于0.1，表示当前块运动矢量可靠，则不用做任何处理；若g(v)小于0.1，表示当前块运动矢量不可靠，则对不可靠运动矢量做可靠度加权向量中值滤波，使其周围可靠的运动矢量代替当前不可靠运动矢量。

进一步地，在步骤3中：将步骤3修正后的运动矢量场进行全局运动补偿，即统计当前帧中所有SKIP模式的运动矢量的均值，并对当前帧所有运动矢量减去该均值，得到全局运动补偿后运动矢量场。

进一步地，在步骤4中：运动注意力模型包括三方面的内容：运动矢量强度，空域运动矢量对比度和时域运动矢量对比度；

运动矢量强度定义如下：

其中v_x和v_y分别为运动矢量v的x和y轴方向的分量，NF是规一化因子。空域运动矢量对比度定义如下：

其中v表示当前块运动矢量，v_i表示空间8邻域块运动矢量。时域运动矢量对比度定义如下：

其中v_t表示当前块运动矢量，v_t-i表示时域相邻块运动矢量。每个编码块的运动注意力计算如下：

MA＝MI+MC_s+MC_t。

进一步地，在步骤5中：根据步骤4得到编码块的运动注意力来自适应分配码字，即对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，以此来提高运动关注场景的视频质量同时减少无用区域的编码码字，

由此第n个编码块分配的码字计算如下：

其中MA_n表示第n个编码块的运动注意力，R_frame表示整帧的总码字。

和现有技术相比，本发明的有益效果为：

1)运动注意力的计算是在运动矢量场的基础上进行，运动矢量场直接从编码器中获得，因此不需要额外的计算复杂度；

2)其次提出了基于运动矢量可靠度加权的中值滤波方法对矢量场进行滤波处理，减少噪声的影响；

3)根据注意力形成的机理，综合考虑了运动矢量强度、空域运动矢量对比度和时域运动矢量对比度构建运动注意力模型。

4)最后根据得到的每个编码块的运动注意力自适应分配每个编码块的码字，对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，以此来提高运动关注场景的视频质量同时减少无用区域的编码码字。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的流程说明图；

图2是编码器中得到的原始运动矢量场；

图3是经过可靠度加权滤波后运动矢量场；

图4是经过全局运动补偿后运动矢量场；

图5是通过运动注意力模型得到的显著图。

具体实施方式

现结合附图对本发明作进一步地说明。

参见图1，图1展示的是本发明的一个实施例的HEVC编码框，本实施例的目的在于提供一种基于运动注意力模型的360度全景视频编码方法，将注意力模型加入其中，主要包括如下步骤：

步骤1：提取运动矢量得到运动矢量场，计算每个运动矢量的可靠度。

运动矢量从本实施例所采用的HEVC的参考编码器HM16.0中来进行提取，并获得运动矢量场。参见图2，图2中所显示的单个箭头即为运动矢量，为编码块相对于参考帧在一定搜索范围内的相对位移；由密布于视频的运动矢量共同构成了运动矢量场。

步骤2：根据可靠度进行可靠度的加权滤波预处理，以降低噪声。

由于物体的运动在时间和空间上都有连续性，所以运动矢量图各点之间并不是独立的，而是相互关联和约束的。在空间域，物体所对应的若干相连分块之间应该有相近的运动矢量。在时域，同一物体在不同时刻所在位置处也应该有相近的运动矢量。基于此，本发明提出了一种运动矢量可靠性的概念，计算运动矢量的可靠度；根据得到的运动矢量的可靠度，对不可靠运动矢量做运动矢量场的可靠度加权向量中值滤波，使周围可靠的运动矢量代替当前不可靠运动矢量。

运动矢量可靠度g(v)定义如下：

其中v是当前块的运动矢量，MAD是当前块与匹配块的平均绝对差，μ_v是当前块8邻域块的平均运动矢量。

HEVC的参考编码器HM16.0中获得的运动矢量是使得编码最优的运动矢量，并不是真实运动矢量(编码器中大多数的运动矢量与真实运动矢量是相近的)。因此步骤2中对运动矢量场进行滤波预处理，以减少噪声影响——若g(v)越大，表示当前块运动矢量越可靠，则不用做任何处理；若g(v)小于0.1，表示当前块运动矢量不可靠，则对不可靠运动矢量做可靠度加权向量中值滤波，使其周围可靠的运动矢量代替当前不可靠运动矢量。

参见图3，图3是经过可靠度加权滤波后运动矢量场；在图2的五处画圈部分中的运动矢量被判定为不可靠，而其圈周围的运动矢量被判定为可靠，则在经过步骤2之后由其周围可靠的运动矢量代替了圈中不可靠运动矢量。同时，在圈外其他地方的运动矢量被判定为可靠，则不作任何处理予以保留。

步骤3：将步骤2修正后的运动矢量场进行全局运动补偿；

当视频源由于摄像头运动而引入全局运动时，提取得到的运动矢量会因此受到影响。当全局运动程度不高时，全局运动所附加的效果对运动矢量影响较小；但当全局运动程度较高时，全局运动对运动矢量的影响便不能忽略不计。因此，需要对运动矢量图进行去全局运动补偿。本实施例采用的方法是统计当前帧中所有SKIP模式的运动矢量的均值，并对当前帧所有运动矢量减去该均值。参见图4，由于图像中背景内容大多为静止状态，则其运动矢量被判定为SKIP模式；在统计该SKIP模式的运动矢量的均值后，在整个图像中所有的运动矢量减去该均值，则获得了图4。在图4中可见，原本密布于画面上的大部分运动矢量由于被均值减去成为了不显眼的“点”或者“短箭头”；所留下的运动矢量(在三个有移动的人体上的运动矢量)由于全局运动补偿反而得到了显著的提升，这样便形成了进一步地差异，有明显对比。

步骤4：构建运动注意力模型，得到编码块的运动注意力；在上述全局运动补偿的处理之后，根据修正后运动矢量进行运动视觉模型的构建，包括三方面的内容：运动矢量强度，空域运动矢量对比度和时域运动矢量对比度。运动矢量强度定义如下：

其中v_x和v_y分别为运动矢量v的x和y轴方向的分量，NF是规一化因子。空域运动矢量对比度定义如下：

其中v表示当前块运动矢量，v_i表示空间8邻域块运动矢量。时域运动矢量对比度定义如下：

其中v_t表示当前块运动矢量，v_t-i表示时域相邻块运动矢量。每个编码块的运动注意力计算如下：

MA＝MI+MC_s+MC_t。

上述内容中，运动矢量强度MI较大的区域将会更多的引起人们的注意。当运动强度较小时，时空域运动矢量MC_s对比度将补偿这种不足。一方面采用运动矢量空间邻域内的运动矢量空域对比度MC_t来描述局部运动注意力程度，另一方面由于时域运动矢量对低能量的运动非常敏感，所以它对运动矢量强度是很好的补偿。

步骤5：根据步骤4得到编码块的运动注意力，自适应分配码字。最后根据得到的每个编码块的运动注意力自适应分配每个编码块的码字，对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字。以此来提高运动关注场景的视频质量同时减少无用区域的编码码字。因此，第n个编码块分配的码字计算如下：

其中MA_n表示第n个编码块的运动注意力，R_frame表示整帧的总码字。

参见图5，图中越白的区域表示计算得到的运动注意力越大，譬如移动的人体的轮廓边缘，这些范围人眼越关注，编码时分配的码字越多；越黑表示计算得到的运动注意力越小，譬如绝大部分的背景图像，由于处于静止状态因而人眼不太敏感，编码时分配的码字相对较少。

经验证，本实施例在HEVC的参考编码器HM16.0下，针对多个视频序列，相同主观质量情况下的码率减少11％。实施例可以复用编码中的运动矢量信息进行运动注意力区域的提出，并在编码时对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，从而实现在保证相同主观质量下有效的节省360度全景视频传输的带宽。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

Claims (5)

1.一种基于运动注意力模型的360度全景视频编码方法，其特征在于包括如下步骤：

步骤1：提取运动矢量得到运动矢量场，计算每个运动矢量的可靠度；

步骤2：根据可靠度进行可靠度的加权滤波预处理，以降低噪声；

步骤3：将步骤2修正后的运动矢量场进行全局运动补偿；

步骤4：构建运动注意力模型，得到编码块的运动注意力；运动注意力模型包括三方面的内容：运动矢量强度，空域运动矢量对比度和时域运动矢量对比度；运动矢量强度定义如下：

其中v_x和v_y分别为运动矢量v的x和y轴方向的分量，NF是规一化因子；空域运动矢量对比度定义如下：

其中v表示当前块运动矢量，v_i表示空间8邻域块运动矢量；

时域运动矢量对比度定义如下：

其中v_t表示当前块运动矢量，v_t-i表示时域相邻块运动矢量；

每个编码块的运动注意力计算如下：

MA＝MI+MC_s+MC_t；

步骤5：根据步骤4得到编码块的运动注意力，自适应分配码字。

2.根据权利要求1所述的一种基于运动注意力模型的360度全景视频编码方法，其特征在于：步骤1中，运动矢量可靠度定义如下：

其中v是当前块的运动矢量，MAD是当前块与匹配块的平均绝对差，μv是当前块8邻域块的平均运动矢量。

3.根据权利要求2所述的一种基于运动注意力模型的360度全景视频编码方法，其特征在于：步骤2中进行可靠度加权滤波：若g(v)大于0.1，表示当前块运动矢量可靠，则不用做任何处理；若g(v)小于0.1，表示当前块运动矢量不可靠，则对不可靠运动矢量做可靠度加权向量中值滤波，使其周围可靠的运动矢量代替当前不可靠运动矢量。

4.根据权利要求1所述的一种基于运动注意力模型的360度全景视频编码方法，其特征在于：步骤3中：将步骤2修正后的运动矢量场进行全局运动补偿，即统计当前帧中所有SKIP模式的运动矢量的均值，并对当前帧所有运动矢量减去该均值，得到全局运动补偿后运动矢量场。

5.根据权利要求1所述的基于运动注意力模型的360度全景视频编码方法，其特征在于，步骤5中：根据步骤4得到编码块的运动注意力来自适应分配码字，即对运动关注区域的分配较多码字，对不变化的视频区域分配较少码字，以此来提高运动关注场景的视频质量同时减少无用区域的编码码字，由此第n个编码块分配的码字计算如下：

其中MA_n表示第n个编码块的运动注意力，R_frame表示整帧的总码字。