CN104463165A - 一种融合Canny算子与Vibe算法的目标检测方法 - Google Patents

Abstract

本发明公开了一种融合Canny算子与Vibe算法的目标检测方法，该方法包括以下步骤：利用ViBe算法的得到运动的前景；利用改进Canny算子进行前景边缘提取；将提取出的运动前景和边缘进行融合，并进行进一步提取。本发明中采用的ViBe算法不仅减少了背景模型建立的过程，还可以处理背景突然变化的情况，而且检测到背景突然变化明显时，只需要舍弃原始的模型，重新利用变化后的首帧图像建立背景模型。同时改进Canny算法弥补了ViBe产生拖影区域的缺点。最后，将完整的结果输出。通过在通用KTH人体行为数据库的实验表明，本发明可以有效地提高前景提取率。

Description

一种融合Canny算子与Vibe算法的目标检测方法

技术领域

本发明涉及一种目标检测方法，特别涉及一种融合Canny算子与Vibe算法的目标检测方法。

背景技术

近年来，随着各项重大国际赛事会议在国内举办，各类场所视频监控的安放需求不断加大。但是传统的视频监控***功能相当单一，需要花费大量的人力持续地监视屏幕，然后做出相应的决策。再加上在一些特殊情况下(如：监视人员情绪不稳定、身体不适等因素的影响)，不可避免的会产生漏报和误报等情况。所以，智能监控***就应运而生。同时由于中国逐渐进入老龄化社会，导致了劳动力成本越来越高，从而使监控***的维护成本也在不断增长。这就导致智能视频监控***数量在成指数级增长。

智能监控***的特殊是具有分析功能，既能监控场景发生异常行为，并发出通知或者警报。采用智能化的方式分析处理监控视频是十分必要的，智能化的方式可以减少***的运行维护成本。因此，智能视频监控***中的目标检测、目标跟踪和行为分析成为近来的计算机视觉领域研究的一个重要方向。

近年来，目标检测方法得到研究者的普遍关注，出现了一系列的目标检测方法。现阶段常用的运动目标检测方法大致可分为两类：一类根据视频的时序属性来分割运动目标，主要有光流法、相邻帧差法和背景差分法。运动目标检测的另一类算法以空间属性为分割依据，主要根据图像的区域或边缘信息来分割运动目标，主要有活动轮廓模型、边缘检测算子等。但目前现有方法，在提权只有部分身体运动的前景目标时，效果往往不是很理想。

传统的Canny算子可能需要反复几次实验来寻找合适的阀值，然后再依据先验经验来选取高低阀值的比例。但是该比例是固定的。可是实际情况中光照、行人等不确定因素都有可能影响到图像。因此，不同图像的最佳高低阀值的比例也不一样。这就导致了传统的Canny算子不具有适应性。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于克服现有目标检测方法的不足，提供一种融合Canny算子与Vibe算法的目标检测方法，该方法采用的ViBe算法不仅减少了背景模型建立的过程，还可以处理背景突然变化的情况，而且检测到背景突然变化明显时，只需要舍弃原始的模型，重新利用变化后的首帧图像建立背景模型。同时改进的Canny算法弥补了ViBe产生拖影区域的缺点。最后，将完整的结果输出。通过在通用KTH人体行为数据库的实验表明，本发明能够有效地提高前景提取率。

本发明解决其技术问题所采取的技术方案是：一种融合Canny算子与Vibe算法的目标检测方法，该方法包括以下步骤：

步骤1、利用ViBe算法的得到运动的前景；

步骤2、利用改进Canny算子进行前景边缘提取；

步骤3、将提取出的运动前景和边缘进行融合，并进行进一步提取。

本发明首先利用ViBe算法得到输入视频序列的初始前景目标，但是该前景目标结果可能会存在大量的空洞。然后，通过改进的Canny算法得到较完善的前景目标边缘。最后，将出初始前景目标与上一步的前景目标的边缘进行融合。对融合后的结果进一步进行优化，以求得更为准确的前景目标。

视频序列中往往掺杂了大量的噪声，噪声的存在对阀值的选取有很大的影响。本发明为了解决该问题，引入了迭代算法找到最佳阀值。这样一方面降低了噪声的影响，另一方面又能提高Canny算子的自适应性。算法描述如下：

①通过直方统计图得出最小灰度值和最大灰度值的平均值作为初始阀值。

T₀＝{T_K|K＝0}

$T_0=\frac{Z_{\max }+Z_{\min }}{2}$

其中K是迭代次数；Zmin、Zmax分别代表当前帧的最小和最大灰度值。

②根据第一步所得的初始阀值，将所有灰度值分为两个部分：比初始阀值小的和比初始阀值大的。然后再分别对两部分求平均值，再将2个平均值求平均，得到经过一次迭代的阀值。

H₁＝{f(x,y)|f(x,y)≥T_K}

H₂＝{f(x,y)|f(s,y)≤T_K}

其中H1是大于阀值的像素部分，H2是小于阀值的像素部分；

${\stackrel{\‾}{H}}_1=\frac{\underset{H_1}{\mathrm{\Σ}}f(i,j)}{\underset{H_1}{\mathrm{\Σ}}{N}_H(i,j)}$

${\stackrel{\‾}{H}}_2=\frac{\underset{H_2}{\mathrm{\Σ}}f(i,j)}{\underset{H_2}{\mathrm{\Σ}}{N}_L(i,j)}$

其中，f(i,j)是图像(i,j)点的灰度值；NL(i,j)、NH(i,j)分别为

$N_H(i,j)=\left\{\begin{array}{cc}1& f(i,j)\≥T_K\\ 0& \mathrm{otherwise}\end{array}\right.$

$N_L(i,j)=\left\{\begin{array}{cc}1& f(i,j)<T_K\\ 0& \mathrm{otherwise}\end{array}\right.$

计算新阀值

$T_{K+1}=\frac{{\stackrel{\&OverBar;}{H}}_1+{\stackrel{\&OverBar;}{H}}_2}{2}$

③将这个新阀值与初始阀值进行比较，如果两个阀值满足一定的关系，迭代结束，将新阀值输出，该新阀值就是最佳阀值T；否则，就将用这次产生的阀值去分割所有灰度值，重复以上步骤。

④当迭代结束后，由当前帧的灰度直方图计算出当前帧的平均灰度Ave。

⑤确定Canny算子的最佳高阀值和最佳低阀值。最佳高阀值Tmax为最佳阀值加上平均值Ave,最佳低阀值Tmin就是最佳阀值T。

T_max＝T+Ave

T_min＝T

通过多次的迭代计算后，最佳阀值要比初始阀值好很多，大大提高了正确分割图像像素点的概率。并且具备了传统的Canny算子所不具有的自适性。

最后阶段对提取出的前景进行目标优化。本发明选择的目标优化方法是扫描线填充法。该方法是区域填充法的一种，它的本质就是种子填充。这种方法在填充内定义区域是会取得很好的效果。扫描线填充法是将特定区域内部的所有像素置为新值，当到达边缘或者找到特定区域内所有像素时停止。由于在本发明中该算法处理的图像像素较少，所以选择使用扫描线填充法。该方法的有点事不需要指定种子，适合计算机自动填充图形。

有益效果：

1、本发明融合Canny算子与Vibe算法对视频序列进行前景提取，可以有效地提高目标识别率。

2、通过在通用KTH人体行为数据库的实验表明，本发明提出的方案可以有效地提高前景提取率。

3、本发明大大提高了正确分割图像像素点的概率，并且具备了传统的Canny算子不具有的自适性。

附图说明

图1为扫描线填充法示意图。

图2为Boxing运动的检测结果示意图。

图3为Jogging运动的检测结果示意图。

图4为Hand waving运动的检测结果示意图。

图5为本发明的方法流程图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明提供一种融合Canny算子与ViBe算法的目标检测方法，其实现思路为：首先，利用ViBe算法得到输入视频序列的初始前景目标，但是该前景目标结果可能会存在大量的空洞。然后，通过改进的Canny算法得到较完善的前景目标边缘。最后，将出初始前景目标与上一步的前景目标的边缘进行融合。对融合后的结果进一步进行优化，以求得更为准确的前景目标。

如图5所示，本发明的一种融合Canny算子与Vibe算法的目标检测方法，该方法具体包括以下步骤：

步骤1、利用ViBe算法的得到运动的前景；

ViBe算法是像素级算法，具有内存占用少，处理速度快等其他算法所不具有的优点，该算法是一种基于概率统计的背景建模方法，它为每个像素点存储一个样本集，该样本集存储的是该像素点之前的像素值和其附近邻居点的像素值，然后根据该样本集来判断新像素是否属于背景点。该算法主要包括三个核心部分分别为：初始化模型，前景检测和更新模块。

初始化模块

ViBe算法的初始化模块其实就是填充像素样本集的过程。由于一帧图像中的像素无法包含其时空分布信息，所以该算法就利用其领域像素点具有相似的时空分布特性。具体方法如下：对于每个像素点，随机选择它的八领域中点的像素值作为它的模型样本值。

M₀(x)＝{v₀(y|y∈N(x))}                        (1)

其中t＝0表示初始时刻，N(x)为邻居点。

前景检测

从第二帧开始，就要进行前景提取。前景检测包括两个方面：一方面是根据样本集中的N个样本判断当前像素是否匹配背景模型；另一方面是对样本的个数进行统计和匹配。

①从第二帧开始，首先设定一个匹配值R。然后，将同一位置的每个像素值分别和之前一帧的像素值的ViBe模型中的N个样本进行比较，对灰度值求差并且求绝对值。最后将所求得的匹配值和阀值R进行比较，倘若小于该阀值，就表示该像素点匹配。

其中N_n(x,y)(n＝1,2,3,.....,N)是(x,y)位置样本模型。

②统计匹配像素N_i(x,y)的数目Num。将(2)式计算N次，得到匹配像素的数目Num，然后将统计得到的匹配像素数目与之前设定的最少匹配数目阀值#min进行比较，如果该阀值大于匹配像素数目，则判定该像素点是前景点；如果该阀值小于匹配像素数目，则判定该像素点是背景点。

t时刻时，N_i(x,y)＝1表示点(x,y)是前景点，N_i(x,y)＝0表示点(x,y)是背景点。所以最终得到的是一个二值化的前景检测结果,如式(3)所示。

$N_i(x,y)=\left\{\begin{array}{cc}1& \#\min \&GreaterEqual;\mathrm{Num}\\ 0& \#\min <\mathrm{Num}\end{array}\right.---\left(3\right)$

更新模块

由于日常生活中光照变化，背景物体的变更等等问题，所以更新模块就是为了使该算法能够适应背景的不断变化。具体更新方法：设每个背景点有1/α的概率去更新邻居点模型样本，并且也有1/α的概率去更新它的本身模型样本。除此之外当前景点的计数达到预设的临界值时将其改为背景，同时有1/α的概率去更新自己模型样本。更新过程如下：

①为了实现时间随机，在背景模型中的P帧里面随机选取一帧Q。假设N(x,y)为背景，用它来进行Q帧中相对位置(x,y)的像素值。

②在Q帧相对位置(x,y)的八邻域随机取一个像素点,然后用N(x,y)替换原来的像素值,这就是空间随机的模型更新。上述更新实质就是使用N(x,y)来更新N_Q(x,y)的八邻域中随机选取的任意一个像素值。

在实际情况中由于天气等特殊原因会让图像发生突变。为了解决该问题，该算法设置了一个特定阀值，当满足一定条件时就判定需要对背景模型进行重新初始化。一般情况下，由于背景的变化不是很大，所以每次背景模型更新的个数Num_update应该是比较接近的。因此，本发明可以根据每次更新的个数，来确定是否需要重新初始化。假设第一帧的更新个数为Sum_update，然后依次将每次的更新个数Num_update，进行比较。如下式：

|Num_update-Sum_update|＞0.3Sum_update                 (4)

当差值满足上式时，就可以重新初始化了。当完成初始化后的第二帧后，又继续可以进行目标提取。该方法由于其快速，有效的特点得到越来越多的重视。

步骤2、利用改进Canny算子进行前景边缘提取；

Canny边缘检测器是高斯函数的一阶导数，其边缘检测具有3个优点：(1)最优检测；(2)最优定位准则；(3)检测点与边缘点一一对应。

Canny算法的实现步骤：①对当前帧图像进行预处理，去除图像中的噪声。一般使用特定方差的高斯函数G(x)和当前帧图像f(x,y)进行卷积计算，得到平滑图像I(x,y)。

$G\left(x\right)=\frac{\exp (-x^2/2{\mathrm{\&sigma;}}^2)}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}---\left(5\right)$

I(x,y)＝[G(x)G(y)]*f(x,y)                     (6)

其中，σ是特定的高斯函数标准差，用来控制平滑度。

②Canny算法分别使用fx，fy使用4个掩膜来检测垂直、对角线以及水平方向的边缘，来解决图像中不同方向的边缘。将当前帧图像与每个掩膜进行卷积处理。并将当前帧图像上每个点的最大值和边缘方向进行存储。这样就得到了当前帧图像中每个点亮度梯度图和亮度梯度方向。通过如下公式求得高斯滤波后当前帧的梯度幅度和方向：

$f_x=\left[\begin{array}{cc}-0.5& 0.5\\ -0.5& 0.5\end{array}\right],f_y=\left[\begin{array}{cc}0.5& 0.5\\ -0.5& -0.5\end{array}\right]---\left(7\right)$

式(8)求高斯滤波后当前帧的梯度幅值：

$G=\sqrt{G_x^2+G_y^2}---\left(8\right)$

式(9)求高斯滤波后当前帧的方向。

Θ＝atan2(G_y，G_x)                      (9)

其中，Gx和Gy分别是当前帧图像I(x,y)被滤波器fx和fy沿行、列作用结果。

③双阀值方法检测和连接边缘。使用高阀值Hth和低阀值Lth对上一步得到的图像进行梯度幅值处理。将小于低阀值Lth的像素灰度值变为0,。通过Hth和Lth分割，得到2个阀值边缘图像H(i,j)和L(i,j)。首先在H(i,j)图像中连接边缘轮廓，当连接到端点时，然后在L(i,j)中寻找弱边缘点来填充H(i,j)图像的边缘空隙。

由此可见，Canny算子的关键是选择合适的高低阀值。但是传统的Canny算子可能需要反复几次实验来找到合适的阀值，然后在人为地根据先验经验来选取高低阀值的比例。但是该比例是固定的。可是实际情况中光照、行人等不确定因素都有可能影响到图像。因此，不同图像它们的最佳高低阀值的比例也不一样。这就导致了传统的Canny算子不具有适应性。考虑到传统的Canny算子的缺点，本发明提出了一种对Canny算子的改进。

视频序列中往往掺杂了大量的噪声，噪声的存在对阀值的选取有很大的影响。本发明为了解决该问题，本发明引入了迭代算法找到最佳阀值。这样一方面降低了噪声的影响，另一方面又能提高Canny算子的自适应性。算法描述如下：

①通过直方统计图得出最小灰度值和最大灰度值的平均值作为初始阀值。

T₀＝{T_K|K＝0}

$T_0=\frac{Z_{\max }+Z_{\min }}{2}---\left(10\right)$

其中K是迭代次数；Zmin、Zmax分别代表当前帧的最小和最大灰度值。

②根据第一步所得的初始阀值，将所有灰度值分为两个部分：比初始阀值小的和比初始阀值大的。然后再分别对两部分求平均值，再将2个平均值求平均，得到经过一次迭代的阀值。

$\left\{\begin{array}{c}{H}_1=\left\{(x,y)\right|f(x,y)\&GreaterEqual;T_K\}\\ H_2=\left\{f(x,y)\right|f(s,y)\&le;T_K\}\end{array}\right.---\left(11\right)$

其中H1是大于阀值的像素部分，H2是小于阀值的像素部分；

$\left\{\begin{array}{c}{\stackrel{\&OverBar;}{H}}_1=\frac{\underset{H_1}{\mathrm{\&Sigma;}}f(x,y)}{\underset{H_1}{\mathrm{\&Sigma;}}{N}_H(x,y)}\\ {\stackrel{\&OverBar;}{H}}_2=\frac{\underset{H_2}{\mathrm{\&Sigma;}}f(x,y)}{\underset{H_2}{\mathrm{\&Sigma;}}{N}_L(x,y)}\end{array}\right.---\left(12\right)$

其中，f(i,j)是图像(i,j)点的灰度值；NL(i,j)、NH(i,j)分别为:

$\left\{\begin{array}{c}{N}_H(i,j)=\left\{\begin{array}{cc}1& f(i,j)\&GreaterEqual;T_K\\ 0& \mathrm{otherwise}\end{array}\right.\\ N_L(i,j)=\left\{\begin{array}{cc}1& f(i,j)<T_K\\ 0& \mathrm{otherwise}\end{array}\right.\end{array}\right.---\left(13\right)$

计算新阀值:

$T_{K+1}=\frac{{\stackrel{\&OverBar;}{H}}_1+{\stackrel{\&OverBar;}{H}}_2}{2}---\left(14\right)$

③将这个新阀值与初始阀值进行比较，如果两个阀值满足一定的关系，迭代结束，将新阀值输出，该新阀值就是最佳阀值T；否则，就将用这次产生的阀值去分割所有灰度值，重复以上步骤。

④当迭代结束后，由当前帧的灰度直方图计算出当前帧的平均灰度Ave。

⑤确定Canny算子的最佳高阀值和最佳低阀值。最佳高阀值Tmax为最佳阀值加上平均值Ave,最佳低阀值Tmin就是最佳阀值T:

$\left\{\begin{array}{c}{T}_{\max }=T+\mathrm{Ave}\\ T_{\min }=T\end{array}\right.---\left(15\right)$

通过多次的迭代计算后，最佳阀值要比初始阀值好很多，大大提高了正确分割图像像素点的概率。并且具备了传统的Canny算子所不具有的自适性。

步骤3、将提取出的运动前景和边缘进行融合，并进行进一步提取。

当ViBe算法自身的缺点，有可能会在特定情况下引入空洞区域，当通过边缘提取出来的前景边缘叠加到，提取出的前景，引入会存在空洞区域。这样会影响到目标的提取或者后期的目标检测。为了解决该问题，本发明在最后阶段提取出的前景进行目标优化。本发明选择的目标优化方法是扫描线填充法。

该方法是区域填充法的一种，它的本质就是种子填充。这种方法在填充内定义区域是会取得很好的效果。扫描线填充法是将特定区域内部的所有像素置为新值，当到达边缘或者找到特定区域内所有像素时停止。由于在本发明中该算法处理的图像像素较少，所以选择使用扫描线填充法。该方法的有点事不需要指定种子，适合计算机自动填充图形。

如图1所示，假设本发明每次都是按照正常的线段进行求交然后运算，这样会增大计算机处理数据的负担，并且降低效率，具体包括如下：

①每次只有相关的几条边可能一扫描线有交点，所有没有必要对所有边进行求交计算。

②相邻的扫描线与同一直线的交点存在步进关系，这个关系与直线所在直线的斜率有关。

第一点显而易见，可以用来降低处理数据的负荷。

第二点可以进一步证明。如果当前扫描线与多边形的某条边的交点已经通过直线线段求交计算出来，得到交点坐标(x,y),则下一条扫描线与多边形的某边的交点不需要再求交计算，通过步进关系可以直接得到新交点坐标为(x+△x,y+1)。前面提到过，步进关系△x是个常量，与直线的斜率有关，△x的推导如下：

式16表示多边形的某边直线方程:

ax+by+c＝0                            (16)

扫描线y_i和下一条扫描线y_i+1与该边的两个交点分别是(x_i,y_i)和(x_i+1,y_i+1)可得一下等式，式17：

$\left\{\begin{array}{c}{\mathrm{ax}}_i+{\mathrm{by}}_i+c=0\\ {\mathrm{ax}}_{i+1}+{\mathrm{by}}_{i+1}+c=0\end{array}\right.---\left(17\right)$

由式17可推出:

x_i+1-x_i＝-b(y_i+1-y_i)/a                         (18)

同时由于扫面线存在y_i+1＝y_i+1的关系，将带入式18既可得到：

x_i+1-x_i＝-b/a                            (19)

即△x＝-b/a，是个常量(直线斜率的倒数)。

综合上述两点，该算法的基本思想如下：

①求交点，计算出多边形与各个扫描线的交点；

②排序，将由①得到的各个交点，按照横坐标(x)值从小到大进行排序；

③填充颜色，对通过②处理后的交点两两为一组，进行连线，形成一条条水平线，以画线段的方式进行颜色填充；

④判断是否结束多边形扫描，如果是就结束算法，否则就改变扫描线，然后跳到步骤①。

由此，通过该方法完成了对目标的完整提取，并能够清晰的显示出前景目标。

Claims (5)

1.一种融合Canny算子与Vibe算法的目标检测方法，其特征在于，所述方法包括如下步骤：

步骤1：利用ViBe算法的得到运动的前景；

步骤2：利用改进Canny算子进行前景边缘提取；

步骤3：将提取出的运动前景和边缘进行融合，并进行进一步提取。

2.根据权利要求1所述的一种融合Canny算子与Vibe算法的目标检测方法，其特征在于：所述方法首先利用ViBe算法得到输入视频序列的初始前景目标；然后，通过改进的Canny算法得到较完善的前景目标边缘；最后，将得到的初始前景目标与上一步的前景目标的边缘进行融合，对融合后的结果进一步进行优化。

3.根据权利要求1所述的一种融合Canny算子与Vibe算法的目标检测方法，其特征在于：所述方法在前景目标边缘检测过程中应用了一种改进的Canny算子。

4.根据权利要求1所述的一种融合Canny算子与Vibe算法的目标检测方法，其特征在于：所述方法引入了迭代算法找到最佳阀值，包括：

①通过直方统计图得出最小灰度值和最大灰度值的平均值作为初始阀值；

T₀＝{T_K|K＝0}

$T_0=\frac{Z_{\max }+Z_{\min }}{2}$

其中K是迭代次数；Zmin、Zmax分别代表当前帧的最小和最大灰度值；

②根据第一步所得的初始阀值，将所有灰度值分为两个部分：比初始阀值小的和比初始阀值大的，然后再分别对两部分求平均值，再将2个平均值求平均，得到经过一次迭代的阀值；

H₁＝{f(x,y)|f(x,y)≥T_K}

H₂＝{f(x,y)|f(s,y)≤T_K}

其中H1是大于阀值的像素部分，H2是小于阀值的像素部分；

${\stackrel{\&OverBar;}{H}}_1=\frac{\underset{H_1}{\mathrm{\&Sigma;}}f(i,j)}{\underset{H_1}{\mathrm{\&Sigma;}}{N}_H(i,j)}$

${\stackrel{\&OverBar;}{H}}_2=\frac{\underset{H_2}{\mathrm{\&Sigma;}}f(i,j)}{\underset{H_2}{\mathrm{\&Sigma;}}{N}_L(i,j)}$

其中，f(i,j)是图像(i,j)点的灰度值；NL(i,j)、NH(i,j)分别为

$N_H(i,j)=\left\{\begin{array}{cc}1& f(i,j)\&GreaterEqual;T_K\\ 0& \mathrm{otherwise}\end{array}\right.$

$N_L(i,j)=\left\{\begin{array}{cc}1& f(i,j)<T_K\\ 0& \mathrm{otherwise}\end{array}\right.$

计算新阀值

$T_{K+1}=\frac{{\stackrel{\&OverBar;}{H}}_1+{\stackrel{\&OverBar;}{H}}_2}{2}$

③将这个新阀值与初始阀值进行比较，如果两个阀值满足一定的关系，迭代结束，将新阀值输出，该新阀值就是最佳阀值T；否则，就将用这次产生的阀值去分割所有灰度值，重复上述步骤；

④当迭代结束后，由当前帧的灰度直方图计算出当前帧的平均灰度Ave；

⑤确定Canny算子的最佳高阀值和最佳低阀值，最佳高阀值Tmax为最佳阀值加上平均值Ave,最佳低阀值Tmin就是最佳阀值T；

T_max＝T+Ave

T_min＝T

通过多次的迭代计算后，最佳阀值要比初始阀值好。

5.根据权利要求1所述的一种融合Canny算子与Vibe算法的目标检测方法，其特征在于：所述方法选择的目标优化方法是扫描线填充法；扫描线填充法是将特定区域内部的所有像素置为新值，当到达边缘或者找到特定区域内所有像素时停止。