CN108921857A - 一种面向监视场景的视频图像焦点区域分割方法 - Google Patents

Abstract

本发明公开了一种面向监视场景的视频图像焦点区域分割方法，该面向监视场景的视频图像焦点区域分割方法包括：通过视频图像中与焦点区域特性匹配的底层像素特征，分割出候选区域；对候选区域进行运动检测，确定静态区域和动态区域，以及通过颜色特征和局部熵对静态区域处理，并对动态区域进行消影处理，从而从候选区域中提取监视视频焦点区域。

Description

一种面向监视场景的视频图像焦点区域分割方法

技术领域

本发明涉及检测技术领域，具体涉及一种面向监视场景的视频图像焦点区域分割方法。

背景技术

监视视频中包含了很多信息，但并非所有信息都是需要关注的，视频中可能只有部分区域具有较高的价值和重要性。

目前，在图像压缩和检索等领域应用较多的感兴趣区域(region of interest，ROI)提取技术，能将图像中人们感兴趣的区域提取出来。常用的基于ROI的视频图像分割方法可以分为半自动分割和自动分割，半自动分割方法需要通过人机交互指定初始分割区域，分割质量较好，但是该方法依赖于人机交互，主观性较强，应用局限性较大；自动分割方法采用计算机视觉算法实现视频图像分割，然而面向视频的ROI提取在监视视频领域的应用研究较少，且往往只针对特定的场景(如特定的街道等)，大部分把有先验知识的预先指定目标(如人脸、车辆等)作为感兴趣区域或本质上就是运动对象的检测。所以ROI提取方法以人为先决条件，其目标类型因人而异，主观性很强，不适用于大部分监视场景。

发明内容

本发明的目的在于提供一种面向监视场景的视频图像焦点区域分割方法，用以解决现有技术中存在的问题。

为实现上述目的，本发明的技术方案为一种面向监视场景的视频图像焦点区域分割方法，该面向监视场景的视频图像焦点区域分割方法包括：通过视频图像中与焦点区域特性匹配的底层像素特征，分割出候选区域；对候选区域进行运动检测，确定静态区域和动态区域，以及通过颜色特征和局部熵对静态区域处理，并对动态区域进行消影处理，从而从候选区域中提取监视视频焦点区域。

可选的，对候选区域进行运动检测，确定静态区域和动态区域，以及通过颜色特征和局部熵对静态区域处理，并对动态区域进行消影处理，从而从候选区域中提取监视视频焦点区域，包括；提取候选区域中的N帧视频图像，根据帧间差分法构建背景；对候选区域根据背景减除法确定动态区域和静态区域；在静态区域，根据颜色特征，提取静态区域中的前景颜色区域R1，以及根据局部熵检测，提取静态区域的局部熵值超过自适应阈值的区域R2，并将区域R2映射到前景颜色区域中，计算前景颜色区域R1中与区域R2重叠的像素数目SumL与不重叠的像素数目SumN，并计算它们的比值β；其中，自适应阈值是根据最大类间方差法获得；在动态区域，根据动态区域的边缘检测二值图、运动点的灰度值和在HSV颜色空间的饱和度S分量对动态区域进行消影；将动态区域与静态区域分割结果组成视频图像分割算法，从候选区域中提取视频图像焦点区域。

可选的，提取候选区域中的N帧视频图像，根据帧间差分法构建背景，包括：获取N帧视频图像中第i帧视频图像和第(i-1)帧视频图像在像素点(x,y)的灰度值；计算像素点(x,y)在p个灰度类中的每一灰度类的平均值；若第i帧视频图像在像素点(x,y)的平均灰度值与第(i-1)帧视频图像在像素点(x,y)的平均灰度值的差值的绝对值小于阈值，则将第i帧视频图像在像素点(x,y)的灰度类和第(i-1)帧视频图像在像素点(x,y)的灰度类合并为灰度值一致区间，并计算灰度值一致区间的平均灰度值；选择像素数最大的灰度值一致区间，将像素数最大的灰度值一致区间的平均灰度值最为像素点(x,y)的背景灰度值。

可选的，根据背景减除法确定动态区域和静态区域，包括：将第i帧视频图像和背景图像进行差分，得到差分图像，并差分图像进行二值化得到二值图像T_i；当差分图像的像素值大于判定阈值t_i时，确定像素点(x,y)为运动像素点，当差分图像的像素值小于或等于判定阈值t_i时，确定像素点(x,y)为静态像素点。

可选的，根据动态区域的边缘检测二值图、运动点的灰度值和在HSV颜色空间的饱和度S分量对动态区域进行消影，包括：对动态区域进行灰度梯度的边缘检测，并形成边缘二值图G_i；将二值图像T_i映射到边缘二值图中G_i，将在边缘二值图G_i轮廓内的二值图像T_i亮点为运动像素点；当像素点(x,y)在边缘二值图G_i轮廓外的二值图像T_i亮点区域中，且像素点(x,y)的饱和度低于饱和度阈值，以及像素点(x,y)的灰度值I_i(x,y)比背景值小，确定像素点(x,y)属于运动目标的阴影像素点。

可选的，该面向监视场景的视频图像焦点区域分割方法，还包括：更新背景图像B_i+1：

其中，a为更新系数，变化范围从0～1。

可选的，在静态区域，该面向监视场景的视频图像焦点区域分割方法，还包括：当每一个前景颜色区域R1中与区域R2重叠的像素数目SumL与不重叠的像素数目SumN的比值β大于设定的阈值Th_β，则将前景颜色区域R1、区域R2合并为R3。

可选的根据颜色特征，提取静态区域中的前景颜色区域R1，包括：利用S分量和V分量将第i帧视频图像分割成灰色区域和彩色区域；将灰色区域中的每一灰度点的V分量进行模糊C均值聚类FCM；根据彩色区域中的每一彩色点对应七彩色在光谱中的波长，采用H分量的非均匀量化方法，将H分量按照区间：H∈(330,22]；H∈(22,45]；H∈(45,70]；H∈(70,155]；H∈(155,186]；H∈(186,278]；H∈(278,330]分成七类颜色，分别对应红、橙、黄、绿、青、蓝、紫；通过像素点(x,y)对应的颜色类别l_i(x,y)，提取静态区域中的前景颜色区域R1；其中，第i帧视频图像中的像素点(x,y)包括L＝C_i+7种颜色类，l_i(x,y)∈{1,2,L,C_i+7}。

本发明具有如下优点：

本发明实施例提供的一种面向监视场景的视频图像焦点区域分割方法，通过运动特征、颜色特征、纹理特征和形状特征的提取分析和多特征融合，把对视频监视和分析有用的信息量较大的焦点区域识别出来。

附图说明

图1为本发明实施例提供了一种面向监视场景的视频图像焦点区域分割方法的流程图。

图2为本发明实施例提供的视频图像分割算法的流程图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

图1为本发明实施例提供了一种面向监视场景的视频图像焦点区域分割方法的流程图。如图1所示，该面向监视场景的视频图像焦点区域分割方法包括以下步骤：

步骤S101：通过视频图像中与焦点区域特性匹配的底层像素特征，分割出候选区域。

在步骤S101之前，还可对视频图像进行预处理，例如降噪处理，然后根据焦点区域特性匹配的底层像素特征(颜色特征、动态区域、静态区域和图像局部熵)，从视频图像中分割颜色特征、动态区域、静态区域和图像局部熵对应的候选区域。

步骤S102：对候选区域进行运动检测，确定静态区域和动态区域，以及通过颜色特征和局部熵对静态区域处理，并对动态区域进行消影处理，从而从候选区域中提取监视视频焦点区域。

具体包括：

步骤S1021：提取候选区域中的N帧视频图像，根据帧间差分法构建背景。

步骤S1021，具体包括：第一步：提取N帧视频图像中第i帧视频图像和第(i-1)帧视频图像，并进行差分运算；通过下式得到图像中的动态区域和静态区域：

其中，ξ为判定是否为动态区域和静态区域的阈值，I_i(x,y)表示在这N帧图像中第i帧像素点(x,y)处的灰度值。当a_i(x,y)＝1时，I_i(x,y)与I_i-1(x,y)灰度不一致，将其灰度值归为两类；当a_i(x,y)＝0时，I_i(x,y)与I_i-1(x,y)灰度一致，将其灰度值归为一类。

第二步：计算点(x,y)各灰度值类的平均值。则第s个灰度类的平均值为：

其中，p为灰度类的个数，(w₁,w₂,K,w_p)为每一灰度类包括的像素数，s为第s个灰度类。

第三步：将平均灰度值相近的灰度类合为一类，称为灰度值一致区间，并计算区间平均灰度值。若有：

则第h个和第d个灰度类合并为灰度值一致区间。

假设一共得到q个灰度值一致区间，各区间所含像素数记为(v₁,v₂,...,v_q)，若第k个灰度值一致区间是第h个与第d个灰度类合并组成的，即v_k＝w_h+w_dv_k＝w_h+w_d。则第k个灰度值一致区间的平均灰度值为：

第四步：选择像素数最大的灰度值一致区间，将该区间的平均灰度值作为该像素点的背景灰度值。

步骤S1022：对候选区域根据背景减除法确定候选区域的类型，候选区域类型包括动态区域和静态区域；

本发明实施例采用基于视频灰度信息的背景减除法确定动态区域和静态区域，还可以采用其他的方法，只要能确定候选区域的动态区域和静态区域即可。背景减除法能较为完整地将运动目标从背景中提取出来，但需要一个准确的背景图像。背景的构建，请详见步骤S1011中的描述。

步骤S1022，具体包括：

在第四步中获得背景之后，对当前帧I_i和背景图像进行差分获得差分图像，并进行二值化得到二值图像T_i，即

其中，t_i为判定阈值，B(x，y)B(x，y)为在(x,y)处的背景像素值。若差分图像像素值大于阈值t_i，则是该像素为运动像素点，从而得到动态区域；则差分图像像素值小于或等于阈值，则该像素点为静态像素点，从而得到静态区域。

由于光照原因，背景减除法会将监视场景下运动目标的影子一并提取出来，所以需要对提取出的动态区域进行消影。阴影的亮度比背景低，多为灰黑色区域，并且阴影与背景分界处灰度值变化较小，而运动目标与背景分界处灰度值则变化显著。本发明实施例通过采用动态区域的边缘检测二值图、运动点的灰度值和在HSV颜色空间的S分量(饱和度)对动态区域进行消影。

可选的，对背景进行消影步骤包括：

第一步:对动态区域进行灰度梯度的边缘检测，并形成边缘二值图G_i；

第二步:将二值图像T_i映射到边缘二值图G_i中，在边缘二值图G_i轮廓以内的二值图像T_i亮点为运动像素点；

第三步:对在边缘二值图G_i轮廓以外的二值图像T_i亮点区域，按照下式进行判定：

其中，S_i(x,y)为点(x,y)的饱和度，t_s为饱和度阈值。当点(x,y)的饱和度低于阈值，且灰度值比背景值小，则判定该像素属于运动目标的阴影像素。

由于光线变化等干扰，背景图像不能一成不变，需要对图像进行实时更新。利用每一帧的变化区域来及时更新背景图像B_i+1，即

其中，a为更新系数，变化范围从0～1。

需要说明的是，每一帧的变化区域是指静态区域由于光线等原因会发生变化，需要通过乘以一个系数a，对原先的背景图像进行更新，进而补偿光线对背景图像造成的影响。

本发明实施例通过对动态区域的检测，弥补了静态图像只表现物体空间域信息的缺陷，能够反映监视场景中物体的时间域信息。时间域信息是区分动态区域物体与场景中其它区域物体的本质特征。监视视频中的动态区域是场景监控很关心的部分。因此动态区域的确定是基于监视场景ROF的视频图像分割算法的重要环节。

步骤S1023：在静态区域，利用颜色特征分割结果，将面积超过静态区域总面积一定比例的颜色类视为背景色区域，其余颜色类区域作为前景颜色区域提取出来，这类区域记为R1，其中，一定比值是可以根据监视场景进行设置，可以根据具体的监视场景进行设置，故在此不再赘述；在静态区域，利用局部熵检测结果，采用最大类间方差法获得自适应阈值，将局部熵值超过阈值的区域提取出来，这类区域记为R2；将区域R2映射到前景颜色区域R1中，计算前景颜色区域R1中与区域R2重叠的像素数目(SumL)与不重叠的像素数目(SumN)，并计算它们的比值β；在动态区域，根据动态区域的边缘检测二值图、运动点的灰度值和在HSV颜色空间的饱和度S分量对动态区域进行消影。

如果高于某一设定的阈值Th_β，我们就判定R1、R2这两个区域为同一区域，以予合并，合并后的区域记为R3。R1、R2和R3共同作为静态区域分割结果。

细节丰富的纹理区域可能是对视频分析十分关键的区域。由于很多监视摄像机的成像质量较低或监视场景太大，显示小目标或暗目标时会出现辨认不清许、特征丢失等现象。但这些区域的纹理比较丰富。图像熵可以用来描述纹理的丰富程度和复杂度，大场景的背景的灰度变化一般不大，熵值不是很高，当场景中有某部分区域的局部熵较高时，其内容可能很有价值，如车站中遗留的小包。同时，某块区域的局部熵越大，则此区域的信息量越丰富，灰度变化越剧烈也越复杂，因此对人产生主观感觉的影响也就越大。此外，局部熵还反映了图像的形状特征。所以本发明实施例将视频灰度图像局部熵的检测应用到视频图像的分割中。

香农(Shannon)将整个事件集的平均信息量定义为熵：

其中，p_f表示第f件事件发生的概率。

图像由像素组成，不同灰度的像素出现次数概率的不同，故而可以用引用熵来描述图像的灰度信息。图像熵反映了图像灰度分布的统计特性，它体现了图像信息量的大小。图像的熵定义为图像中不同灰度的熵的累加和：

其中，p_m表示具有灰度m(0≤m≤255)的像素在图像中出现的概率。

图像熵的大小只与图像中各灰度出现的概率有关，由于没有考虑灰度的空间分布，具有相同信息熵的图像可能在视觉上是完全不同的。而图像局部熵不仅能描述区域灰度分布的统计特征，并且能体现图像的空间分布特性。

本发明实施例通过计算以图像中某像素点(x,y)为中心的n×n的窗口的图像熵，来表示该点的局部熵。通过在整个画面中滑动该窗口计算每一个像素点的局部熵。设窗口中像素灰度值分别为该窗口内的局部熵定义为：

其中，图像灰度局部熵运算是一种非线性的空域滤波器，且经过了归一化处理，即0≤H(x,y)≤1，n为窗口的像素长度。

将像素点(x,y)的局部熵值H(x,y)表示该点，形成该帧图像的局部熵图像。该图像中像素点值越高，说明该点处于的区域纹理细节越丰富，灰度对比复杂度越高。高亮点集中的区域也就是图像中需要关注的重要区域。

图像局部熵检测是在分析视频图像灰度信息的基础上进行的。而颜色特征是视频图像中非常重要的特征，许多灰度图像中不明显或忽略的信息，能从颜色特征中体现出来。所以还需利用视频图像的颜色特征对图像进行区域分割。

HSV颜色空间模型用色调H、饱和度S、亮度V表示颜色，将色调与灰度值独立出来。而且色调分量对于一定类型的高光，遮挡和阴影，都具有不变性。而且利用H分量分割的计算复杂度比利用RGB三个分量分割要小得多。但是HSV空间有两个缺陷：第一，在R,G,B取值相近的情况下，色调值是不稳定的，即使R,G,B分量的值有微小的变化，色调值可能变化很大，这种现象又称为奇异性问题；第二，当亮度很高或很低时，色调分量也是不稳定的。当R,G,B取值接近时，在图像中表现为灰白黑的颜色，这类情况可以表述为饱和度S分量较低；亮度很高或很低，可以用亮度V分量过高或过低表示。所以本发明实施例利用S分量和V分量将第i帧视频图像分割成灰色区域和彩色区域：

其中，Th_s为饱和度阈值，Th_vb为亮度下限阈值，Th_vw为亮度上限阈值。当W_i(x,y)＝0时，该像素点被视为灰色点；当W_i(x,y)＝1时，该像素点被视为彩色点。S_i(x，y)为在像素点(x，y)处的饱和度值，V_i(x，y)为在像素点(x，y)处的亮度值。

对于第i帧内所有灰色点组成的灰色区域，对亮度V分量进行模糊C均值聚类(FCM)。FCM根据图像中像素和聚类中心之间的加权相似度测度，对目标函数进行迭代优化以确定最佳聚类。

具体为：将样本V＝V₁，V₂，...，V_N分为C_i类，V中任意样本V_K对第D类的隶属度为V_DK，表示像素属于某一类的可能性的大小，满足：

分类结果用一个模糊隶属矩U＝{u_DK}表示，聚类中心为X＝{x₁,x₂,...,x_C}，FCM的目标函数为：

其中，d_DK＝||V_K-V_D||为样本和聚类中心x_j的欧氏空间距离。FCM通过迭代优化寻找聚类中心x_j与隶属度V_DK，使目标函数取最小值。当目标函数最小时，就意味着当像素值与聚类中心的强度接近时被赋予的隶属度值高；当像素值与聚类中心远离时被赋予的隶属度值低。M为加权聚类值，从1到正无穷。

聚类个数C_i由灰色区域面积来确定，面积越大聚类个数越多，这样将灰色区域分成C_i个颜色类型。对于所有彩色点组成的彩色区域，根据对应七彩色在光谱中的波长，采用对H分量的非均匀量化方法，将H分量按照区间：H∈(330,22]；H∈(22,45]；H∈(45,70]；H∈(70,155]；H∈(155,186]；H∈(186,278]；H∈(278,330]分成七类颜色，分别对应红、橙、黄、绿、青、蓝、紫。

这样第i帧场景图像中所有像素点可以分为L＝C_i+7种颜色类。每个像素点(x,y)所属的颜色类由l_i(x,y)表示，l_i(x,y)∈{1,2,L,C_i+7}。

步骤S1024：将动态区域与静态区域分割结果组成视频图像分割算法，从候选区域中提取视频图像焦点区域。

本发明实施例，面向复杂监视场景的监测领域，监视视频数据中包含很多信息，需要关注的不仅仅是动态区域，而是所有对视频监视和分析有价值的区域，把对视频监视和分析有用的信息量较大的区域自动分割出来对场景监视和分析有重大意义。这些重要区域称为焦点区域，焦点区域是客观存在于监视场景中的，不因人的主观意愿而改变。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种面向监视场景的视频图像焦点区域分割方法，其特征在于，所述方法包括：

通过视频图像中与焦点区域特性匹配的底层像素特征，分割出候选区域；

对所述候选区域进行运动检测，确定静态区域和动态区域，以及通过颜色特征和局部熵对静态区域处理，并对动态区域进行消影处理，从而从所述候选区域中提取监视视频焦点区域。

2.根据权利要求1所述的方法，其特征在于，所述对所述候选区域进行运动检测，确定静态区域和动态区域，以及通过颜色特征和局部熵对静态区域处理，并对动态区域进行消影处理，从而从所述候选区域中提取监视视频焦点区域，包括；

提取所述候选区域中的N帧视频图像，根据帧间差分法构建背景；

对所述候选区域根据背景减除法确定动态区域和静态区域；

在静态区域，根据颜色特征，提取所述静态区域中的前景颜色区域R1，以及根据局部熵检测，提取所述静态区域的局部熵值超过自适应阈值的区域R2，并将区域R2映射到所述前景颜色区域中，计算前景颜色区域R1中与区域R2重叠的像素数目SumL与不重叠的像素数目SumN，并计算它们的比值β；其中，所述自适应阈值是根据最大类间方差法获得；在动态区域，根据动态区域的边缘检测二值图、运动点的灰度值和在HSV颜色空间的饱和度S分量对动态区域进行消影；

将动态区域与静态区域分割结果组成视频图像分割算法，从所述候选区域中提取视频图像焦点区域。

3.根据权利要求2所述的方法，其特征在于，所述提取所述候选区域中的N帧视频图像，根据帧间差分法构建背景，包括：

获取N帧视频图像中第i帧视频图像和第(i-1)帧视频图像在像素点(x,y)的灰度值；

计算像素点(x,y)在p个灰度类中的每一灰度类的平均值；

若第i帧视频图像在像素点(x,y)的平均灰度值与第(i-1)帧视频图像在像素点(x,y)的平均灰度值的差值的绝对值小于阈值，则将第i帧视频图像在像素点(x,y)的灰度类和第(i-1)帧视频图像在像素点(x,y)的灰度类合并为灰度值一致区间，并计算灰度值一致区间的平均灰度值；

选择像素数最大的灰度值一致区间，将像素数最大的灰度值一致区间的平均灰度值最为像素点(x,y)的背景灰度值。

4.根据权利要求3所述的方法，其特征在于，根据背景减除法确定动态区域和静态区域，包括：

将第i帧视频图像和背景图像进行差分，得到差分图像，并所述差分图像进行二值化得到二值图像T_i；当差分图像的像素值大于判定阈值t_i时，确定像素点(x,y)为运动像素点，当差分图像的像素值小于或等于判定阈值t_i时，确定像素点(x,y)为静态像素点。

5.根据权利要求2所述的方法，其特征在于，所述根据动态区域的边缘检测二值图、运动点的灰度值和在HSV颜色空间的饱和度S分量对动态区域进行消影，包括：

对动态区域进行灰度梯度的边缘检测，并形成边缘二值图G_i；

将二值图像T_i映射到边缘二值图中G_i，将在边缘二值图G_i轮廓内的二值图像T_i亮点为运动像素点；

当像素点(x,y)在边缘二值图G_i轮廓外的二值图像T_i亮点区域中，且像素点(x,y)的饱和度低于饱和度阈值，以及像素点(x,y)的灰度值I_i(x,y)比背景值小，确定像素点(x,y)属于运动目标的阴影像素点。

6.根据权利要求5所述的方法，其特征在于，所述方法，还包括：更新背景图像B_i+1：

其中，a为更新系数，变化范围从0～1。

7.根据权利要求2所述的方法，其特征在于，在静态区域，所述方法，还包括：

当每一个前景颜色区域R1中与区域R2重叠的像素数目SumL与不重叠的像素数目SumN的比值β大于设定的阈值Th_β，则将前景颜色区域R1、区域R2合并为R3。

8.根据权利要求2所述的方法，其特征在于，所述根据颜色特征，提取所述静态区域中的前景颜色区域R1，包括：

利用S分量和V分量将第i帧视频图像分割成灰色区域和彩色区域；

将灰色区域中的每一灰度点的V分量进行模糊C均值聚类FCM；

根据彩色区域中的每一彩色点对应七彩色在光谱中的波长，采用H分量的非均匀量化方法，将H分量按照区间：H∈(330,22]；H∈(22,45]；H∈(45,70]；H∈(70,155]；H∈(155,186]；H∈(186,278]；H∈(278,330]分成七类颜色，分别对应红、橙、黄、绿、青、蓝、紫；

通过像素点(x,y)对应的颜色类别l_i(x,y)，提取所述静态区域中的前景颜色区域R1；其中，第i帧视频图像中的像素点(x,y)包括L＝C_i+7种颜色类，l_i(x,y)∈{1,2,L,C_i+7}。