CN104079934A - 一种实时视频通信中的感兴趣区域提取方法 - Google Patents

Abstract

本发明公开了一种实时视频通信中的感兴趣区域提取方法，本发明首先对视频图像中的运动区域和亮度区域进行提取，同时将视频图像划分为结构化纹理，平滑纹理，随机纹理三个区域。根据人眼对运动的区域，亮度较高的区域以及结构化纹理区域较为感兴趣的特点，对运动信息，亮度信息和纹理信息设置不同的权重，最终综合得出人眼对各个区域的感兴趣程度。本发明基于人眼的视觉特性，根据人眼对视频图像中不同区域感兴趣程度的不同，对视频中感兴趣区域进行分级提取，从而使提取的感兴趣区域更为细致准确，有利于对不同的区域采用不同的编码方式，提高视频的压缩率。

Description

一种实时视频通信中的感兴趣区域提取方法

技术领域

本发明属于数字视频技术领域，涉及一种实时视频通信中的感兴趣区域提取方法，具体而言，基于本发明方法可以提取视频中的人眼感兴趣区域，以达到为视频不同区域选择不同压缩率的编码，缓解视频压缩率和视频质量之间矛盾的目的。

背景技术

随着科学技术的高速发展，视频作为视觉信息的主要载体已经深入到人们生活的方方面面。再加上近年来通信领域的高速发展，人们在进行通信时不再停留于语言信号的传输，而是希望能够通过视频通信来获取更多的信息。然而在实时视频通信中，网络的带宽是有限的，因此平衡视频质量和视频压缩率十分重要。由于人们在观看视频的过程中往往只对视频中较小部分的关注度较高，而对大多数视频区域的关注度较小，因此可以有选择性的提取那些人眼关注度较高的区域，即感兴趣区域。在对视频进行编码的过程中，对感兴趣区域进行更精细化的编码，而对人眼不太感兴趣的区域进行相对粗略的编码，这样可以很好的缓解在视频编解码过程中视频质量与视频压缩率的矛盾。因此，怎样更准确的提取视频中的感兴趣区域成为亟待解决的问题。

目前感兴趣区域提取方法主要分为三类：

(1)基于运动目标的感兴趣区域提取方法，即将人眼较为关注运动区域作为感兴趣区域进行提取；

(2)基于图像分割的感兴趣区域提取方法，即将图像分割为若干具有独特性质的区域，并从中提取出感兴趣的区域；

(3)基于视觉特征的感兴趣区域提取方法，即将观察者能从中获取更多信息的区域作为感兴趣区域。

以上方法均存在各自的局限性，例如感兴趣区域提取不准确，易受光照变化影响，计算复杂度高等问题。

发明内容

为了解决上述的技术问题，本发明的目的在于提供一种实时视频通信中感兴趣区域的提取方法。该方法可以更准确的从视频中提取人眼感兴趣区域，达到平衡视频质量和视频压缩率的目的。

本发明所采用的技术方案是：一种实时视频通信中的感兴趣区域提取方法，用于从视频中提取人眼感兴趣区域，其特征在于，包括以下步骤：

步骤1：从第一帧视频图像开始，依次获取一帧视频图像；

步骤2：将该帧图像转换成灰度图像，并分成若干宏块；

步骤3：从第一个宏块开始，依次获取一个宏块；

步骤4：检测该宏块是否属于运动区域，得到该宏块的运动状态信息并记录结果；

步骤5：检测该宏块是否属于亮度区域，得到该宏块的亮度状态信息并记录结果；

步骤6：检测该宏块的纹理类型，得到该宏块的纹理类型信息并记录结果；

步骤7：根据该宏块的运动状态信息、亮度状态信息和纹理类型信息，计算人眼对该宏块的感兴趣程度，从而进行感兴趣区域划分；

步骤8：判断，步骤7所述的宏块是否是最后一个宏块；

若否，则获取下一个宏块，并回转执行所述的步骤4；

若是，则顺序执行下述步骤9；

步骤9：判断，步骤8所述的视频图像是否是最后一帧；

若否，则获取下一帧，并回转执行所述的步骤2；

若是，则感兴趣区域划分完毕。

作为优选，步骤2中所述的将该帧图像转换成灰度图像并分成若干宏块，其为16×16大小的宏块。

作为优选，步骤4中所述的检测该宏块是否属于运动区域，其具体实现是利用HEXAGON搜索模式及迭代最小二乘法得出该宏块的运动向量，利用算式

$M_F(x,y)=\left\{\begin{array}{ccc}3,& \mathrm{if}& \left|{\mathrm{MV}}_x(x,y)\right|+\left|{\mathrm{MV}}_y(x,y)\right|=0\\ 0,& \mathrm{if}& \left|{\mathrm{MV}}_x(x,y)\right|+\left|{\mathrm{MV}}_y(x,y)\right|\≠0\end{array}\right.$

检测该宏块是否属于运动区域并记录结果，其中x，y标识该宏块的坐标，M_F(x,y)表示运动状态信息，MV_x(x,y)表示该宏块x方向上的运动向量，MV_y(x,y)表示该宏块y方向上的运动向量。

作为优选，步骤5中所述的检测该宏块是否属于亮度区域，其具体实现是基于图像熵得出判断该宏块是否属于亮度区域的阈值，利用算式

$E(x,y)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_{\mathrm{MBA}}(x,y)\&GreaterEqual;T^{,}(x,y)\\ 0,& \mathrm{if}& L_{\mathrm{MBA}}(x,y)<T^{,}(x,y)\end{array}\right.$

检测该宏块是否属于亮度区域并记录结果，其中x，y标识该宏块的坐标，E(x,y)表示亮度状态信息，L_MBA(x,y)表示该宏块的平均亮度，T’(x,y)表示判断阈值。

作为优选，步骤6中所述的检测该宏块的纹理类型，其具体实现是利用模版卷积的方法判断该宏块的纹理类型，利用算式

$T_c(x,y)=\left\{\begin{array}{ccc}1,& \mathrm{if}& C_d=0\\ 2,& \mathrm{if}& C_d=1\\ 2-C_e,& \mathrm{if}& C_d=2\\ 1-C_e,& \mathrm{if}& C_d=3\\ 0,& & \mathrm{other}\end{array}\right.$

判断该宏块的纹理类型并记录结果，其中x，y标识该宏块的坐标，T_C(x,y)表示纹理信息，Ce表示边缘复杂因素，若被判断为边缘像素点的像素数大于设定的阈值，Ce＝1，反之，Ce＝0；Cd表示方向复杂因素，初始值设为0，若被判断为属于某个方向的像素点数大于设定的阈值，则Cd＝Cd+1。

作为优选，步骤7中所述的计算人眼对该宏块的感兴趣程度，其具体实现是利用算式

$V_s(x,y)=\left\{\begin{array}{ccc}{T}_c(x,y),& \mathrm{if}& 0\&le;\mathrm{VP}(x,y)\&le;t_1\\ 3,& \mathrm{if}& t_1\&le;\mathrm{VP}(x,y)\&le;t_2\\ 4& \mathrm{if}& \mathrm{VP}(x,y)>t_2\end{array}\right.$

计算人眼对该宏块的感兴趣程度，其中x，y标识该宏块的坐标，Vs(x,y)表示综合考虑前景运动物体、亮度信息及纹理信息后，人眼对该宏块的关注程度，T_C(x,y)表示纹理信息，t₁、t₂为设定的阈值，VP(x,y)表示人眼对该宏块区域所关注的程度，VP(x,y)由下式得出：

VP(x，y)＝max{T_c(x，y)+ξE(x，y)，T_c(x，y)+ξM_F(x，y)}

其中x，y标识该宏块的坐标，T_C(x,y)表示该宏块的纹理类型信息，E(x,y)表示该宏块的亮度状态信息，M_F(x,y)表示该宏块的运动状态信息，ξ代表该宏块的亮度信息在人眼关注度中所占的权重。

由人眼的视觉特性可知，人眼对图像中不同区域感兴趣程度由大到小依次为：运动区域、亮度区域、纹理区域。本发明首先对视频图像中的运动区域和亮度区域进行提取，同时将视频图像划分为结构化纹理，平滑纹理，随机纹理三个区域。根据人眼对运动的区域，亮度较高的区域以及结构化纹理区域较为感兴趣的特点，对运动信息，亮度信息和纹理信息设置不同的权重，最终综合得出人眼对各个区域的感兴趣程度。本发明基于人眼的视觉特性，根据人眼对视频图像中不同区域感兴趣程度的不同，对视频中感兴趣区域进行分级提取，从而使提取的感兴趣区域更为细致准确，有利于对不同的区域采用不同的编码方式，提高视频的压缩率。

本发明具有以下优点和积极效果：

1)本发明将三种感兴趣区域提取方法有效结合在一起，弥补了使用单一方法进行感兴趣区域提取时的不足，例如易受光照影响，计算复杂度高等；

2)本发明根据人眼感兴趣程度的不同将视频图像区域分为五个等级，比其他的感兴趣区域提取方法分级更为精细，有利于更灵活的为不同区域选择不同的编码方式，提高视频的压缩率。

附图说明

图1：本发明实施例的方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明所采用的技术方案是：一种实时视频通信中的感兴趣区域提取方法，包括以下步骤：

步骤1：从第一帧视频图像开始，依次获取一帧视频图像。

步骤2：将该帧图像转换成灰度图像，并分成16×16大小的宏块。

步骤3：从第一个宏块开始，依次获取一个宏块。

步骤4：检测该宏块是否属于运动区域，得到该宏块的运动状态信息并记录结果；其中检测该宏块是否属于运动区域，具体实现是利用HEXAGON搜索模式及迭代最小二乘法得出该宏块的运动向量，利用算式

$M_F(x,y)=\left\{\begin{array}{ccc}3,& \mathrm{if}& \left|{\mathrm{MV}}_x(x,y)\right|+\left|{\mathrm{MV}}_y(x,y)\right|=0\\ 0,& \mathrm{if}& \left|{\mathrm{MV}}_x(x,y)\right|+\left|{\mathrm{MV}}_y(x,y)\right|\&NotEqual;0\end{array}\right.$

检测该宏块是否属于运动区域并记录结果，其中x，y标识该宏块的坐标，M_F(x,y)表示运动状态信息，MV_x(x,y)表示该宏块x方向上的运动向量，MV_y(x,y)表示该宏块y方向上的运动向量，即当该宏块处于运动状态时，M_F(x,y)赋值为3，此处3表示设置的人眼对运动区域的感兴趣程度，当该宏块不处于运动状态时，M_F(x,y)赋值为0；

步骤5：检测该宏块是否属于亮度区域，得到该宏块的亮度状态信息并记录结果；其中检测该宏块是否属于亮度区域，具体实现是基于图像熵得出判断该宏块是否属于亮度区域的阈值，利用算式

$E(x,y)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_{\mathrm{MBA}}(x,y)\&GreaterEqual;T^{,}(x,y)\\ 0,& \mathrm{if}& L_{\mathrm{MBA}}(x,y)<T^{,}(x,y)\end{array}\right.$

检测该宏块是否属于亮度区域并记录结果，其中x，y标识该宏块的坐标，E(x,y)表示亮度状态信息，L_MBA(x,y)表示该宏块的平均亮度，T’(x,y)表示判断阈值，即当该宏块属于亮度区域时，E(x,y)赋值为1，当该宏块不属于亮度区域时，E(x,y)赋值为0；步骤S52保存亮度信息E(x,y)。

步骤6：检测该宏块的纹理类型，得到该宏块的纹理类型信息并记录结果；其中检测该宏块的纹理类型，具体实现是利用模版卷积的方法判断该宏块的纹理类型，将每一个像素点通过不同方向的滤波器，若某一个像素点通过各个方向的滤波器的值都小于设定的阈值，该像素点就被判定为平滑像素点，否则，该像素点就为边缘像素点，该边缘像素点所处纹理的方向与通过滤波器值最大的滤波器的方向一致。利用算式

$T_c(x,y)=\left\{\begin{array}{ccc}1,& \mathrm{if}& C_d=0\\ 2,& \mathrm{if}& C_d=1\\ 2-C_e,& \mathrm{if}& C_d=2\\ 1-C_e,& \mathrm{if}& C_d=3\\ 0,& & \mathrm{other}\end{array}\right.$

判断该宏块的纹理类型并记录结果，其中x，y标识该宏块的坐标，T_C(x,y)表示纹理信息，C_e表示边缘复杂因素，若被判断为边缘像素点的像素数大于设定的阈值，C_e＝1，反之，C_e＝0。C_d表示方向复杂因素，初始值设为0，若被判断为属于某个方向的像素点数大于设定的阈值，C_d＝C_d+1。保存纹理信息T_C(x,y)，其取值范围为0、1、2，分别对应随机纹理、平滑纹理、结构化纹理，表示人眼对纹理信息的感兴趣程度。

步骤7：根据该宏块的运动状态信息、亮度状态信息和纹理类型信息，计算人眼对该宏块的感兴趣程度，从而进行感兴趣区域划分；其中计算人眼对该宏块的感兴趣程度，具体实现是利用算式

$V_s(x,y)=\left\{\begin{array}{ccc}{T}_c(x,y),& \mathrm{if}& 0\&le;\mathrm{VP}(x,y)\&le;t_1\\ 3,& \mathrm{if}& t_1\&le;\mathrm{VP}(x,y)\&le;t_2\\ 4& \mathrm{if}& \mathrm{VP}(x,y)>t_2\end{array}\right.$

计算人眼对该宏块的感兴趣程度，其中x，y标识该宏块的坐标，Vs(x,y)表示综合考虑前景运动物体、亮度信息及纹理信息后，人眼对该宏块的关注程度，Vs(x,y)的值越大，表明人眼对其关注度越高，T_C(x,y)表示纹理信息，t₁、t₂为设定的阈值，VP(x,y)表示人眼对该宏块区域所关注的程度，VP(x,y)由下式得出：

VP(x，y)＝max{T_c(x，y)+ξE(x，y)，T_c(x，y)+ξM_F(x，y)}

其中x，y标识该宏块的坐标，T_C(x,y)表示该宏块的纹理类型信息，E(x,y)表示该宏块的亮度状态信息，M_F(x,y)表示该宏块的运动状态信息，ξ代表该宏块的亮度信息在人眼关注度中所占的权重。

步骤8：判断，步骤7中处理的宏块是否是最后一个宏块；

若否，则获取下一个宏块，并回转执行步骤4；

若是，则顺序执行下述步骤9；

步骤9：判断，步骤8中处理的视频图像是否是最后一帧；

若否，则获取下一帧，并回转执行步骤2；

若是，则感兴趣区域划分完毕。

本发明将视频感兴趣区域进行分级提取，有效避免了采取单一方式进行感兴趣区域提取的不足，使提取的感兴趣区域更为准确，分级更为精细，有利于更灵活的为视频不同区域选择不同的编码方式，提高视频的压缩率。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种实时视频通信中的感兴趣区域提取方法，用于从视频中提取人眼感兴趣区域，其特征在于，包括以下步骤：

步骤1：从第一帧视频图像开始，依次获取一帧视频图像；

步骤2：将该帧图像转换成灰度图像，并分成若干宏块；

步骤3：从第一个宏块开始，依次获取一个宏块；

步骤4：检测该宏块是否属于运动区域，得到该宏块的运动状态信息并记录结果；

步骤5：检测该宏块是否属于亮度区域，得到该宏块的亮度状态信息并记录结果；

步骤6：检测该宏块的纹理类型，得到该宏块的纹理类型信息并记录结果；

步骤7：根据该宏块的运动状态信息、亮度状态信息和纹理类型信息，计算人眼对该宏块的感兴趣程度，从而进行感兴趣区域划分；

步骤8：判断，步骤7所述的宏块是否是最后一个宏块；

若否，则获取下一个宏块，并回转执行所述的步骤4；

若是，则顺序执行下述步骤9；

步骤9：判断，步骤8所述的视频图像是否是最后一帧；

若否，则获取下一帧，并回转执行所述的步骤2；

若是，则感兴趣区域划分完毕。

2.根据权利要求1所述的实时视频通信中的感兴趣区域提取方法，其特征在于：步骤2中所述的将该帧图像转换成灰度图像并分成若干宏块，其为16×16大小的宏块。

3.根据权利要求1所述的实时视频通信中的感兴趣区域提取方法，其特征在于：步骤4中所述的检测该宏块是否属于运动区域，其具体实现是利用HEXAGON搜索模式及迭代最小二乘法得出该宏块的运动向量，利用算式

$M_F(x,y)=\left\{\begin{array}{ccc}3,& \mathrm{if}& \left|{\mathrm{MV}}_x(x,y)\right|+\left|{\mathrm{MV}}_y(x,y)\right|=0\\ 0,& \mathrm{if}& \left|{\mathrm{MV}}_x(x,y)\right|+\left|{\mathrm{MV}}_y(x,y)\right|\&NotEqual;0\end{array}\right.$

检测该宏块是否属于运动区域并记录结果，其中x，y标识该宏块的坐标，M_F(x,y)表示运动状态信息，MV_x(x,y)表示该宏块x方向上的运动向量，MV_y(x,y)表示该宏块y方向上的运动向量。

4.根据权利要求1所述的实时视频通信中的感兴趣区域提取方法，其特征在于：步骤5中所述的检测该宏块是否属于亮度区域，其具体实现是基于图像熵得出判断该宏块是否属于亮度区域的阈值，利用算式

$E(x,y)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_{\mathrm{MBA}}(x,y)\&GreaterEqual;T^{,}(x,y)\\ 0,& \mathrm{if}& L_{\mathrm{MBA}}(x,y)<T^{,}(x,y)\end{array}\right.$

检测该宏块是否属于亮度区域并记录结果，其中x，y标识该宏块的坐标，E(x,y)表示亮度状态信息，L_MBA(x,y)表示该宏块的平均亮度，T’(x,y)表示判断阈值。

5.根据权利要求1所述的实时视频通信中的感兴趣区域提取方法，其特征在于：步骤6中所述的检测该宏块的纹理类型，其具体实现是利用模版卷积的方法判断该宏块的纹理类型，利用算式

$T_c(x,y)=\left\{\begin{array}{ccc}1,& \mathrm{if}& C_d=0\\ 2,& \mathrm{if}& C_d=1\\ 2-C_e,& \mathrm{if}& C_d=2\\ 1-C_e,& \mathrm{if}& C_d=3\\ 0,& & \mathrm{other}\end{array}\right.$

判断该宏块的纹理类型并记录结果，其中x，y标识该宏块的坐标，T_C(x,y)表示纹理信息，Ce表示边缘复杂因素，若被判断为边缘像素点的像素数大于设定的阈值，Ce＝1，反之，Ce＝0；Cd表示方向复杂因素，初始值设为0，若被判断为属于某个方向的像素点数大于设定的阈值，则Cd＝Cd+1。

6.根据权利要求1所述的实时视频通信中的感兴趣区域提取方法，其特征在于：步骤7中所述的计算人眼对该宏块的感兴趣程度，其具体实现是利用算式

$V_s(x,y)=\left\{\begin{array}{ccc}{T}_c(x,y),& \mathrm{if}& 0\&le;\mathrm{VP}(x,y)\&le;t_1\\ 3,& \mathrm{if}& t_1\&le;\mathrm{VP}(x,y)\&le;t_2\\ 4& \mathrm{if}& \mathrm{VP}(x,y)>t_2\end{array}\right.$

计算人眼对该宏块的感兴趣程度，其中x，y标识该宏块的坐标，Vs(x,y)表示综合考虑前景运动物体、亮度信息及纹理信息后，人眼对该宏块的关注程度，T_C(x,y)表示纹理信息，t₁、t₂为设定的阈值，VP(x,y)表示人眼对该宏块区域所关注的程度，VP(x,y)由下式得出：

VP(x，y)＝max{T_c(x，y)+ξE(x，y)，T_c(x，y)+ξM_F(x，y)}

其中x，y标识该宏块的坐标，T_C(x,y)表示该宏块的纹理类型信息，E(x,y)表示该宏块的亮度状态信息，M_F(x,y)表示该宏块的运动状态信息，ξ代表该宏块的亮度信息在人眼关注度中所占的权重。