CN101561932A - 一种动态复杂背景下的实时运动目标检测方法和装置 - Google Patents

Abstract

一种动态复杂背景下的实时运动目标检测方法和装置，它的方案为：从视频中获取帧图像，确定当前帧图像中颜色的协方差，并获得所述帧图像的灰度图像；获得所述灰度图像中像素点的灰度值和梯度值，根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值，判断所述像素点值是否小于前一帧图像中确定的颜色的协方差的预定倍数，若是，则所述像素点为背景点，若否，则所述像素点为前景点，所述前景点的集合为实时运动目标。本发明实施例通过将视频图像转换为灰度图像来抑制光照的突然变化对检测结果的影响，从而更准确的检测运动目标。

Description

一种动态复杂背景下的实时运动目标检测方法和装置

技术领域

本发明涉及视频分析与监测技术，具体涉及一种动态复杂背景下的实时运动目标检测方法和装置。

背景技术

运动目标的检测是数字视频分析及视频监视***的基础，运动目标的准确检测能够为后续工作带来十分有益的效果。目前运动目标的检测方法主要有帧差法、光流法和背景差法三种，其中背景差法是目前最通用也最有效的方法，它是利用场景信息，建立一个没有运动目标的背景模型，并将其与当前帧进行比较从而检测运动目标，它不能适应光照的突然变化，若背景光照突然发生变化，则大部分背景点的颜色会发生变化从而被认定为前景点；它还无法识别如摇摆的树枝或水流等无规律的背景运动目标。

发明内容

本发明实施例提供了一种动态复杂背景下的实时运动目标检测方法和装置，它能够适应光照的突然变化，能更准确的检测运动目标。

本发明实施例提供的一种动态复杂背景下的实时运动目标检测方法，包括：

从视频中获取帧图像，确定当前帧图像中颜色的协方差，并获得所述帧图像的灰度图像；

获得所述灰度图像中像素点的灰度值和梯度值，根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值，判断所述像素点值是否小于前一帧图像中确定的颜色的协方差的预定倍数，若是，则确定所述像素点为背景点，若否，则确定所述像素点为前景点，所述前景点的集合为实时运动目标。

本发明实施例提供的一种动态复杂背景下的实时运动目标检测装置，包括：

协方差获取模块，用于从视频中获取帧图像，确定当前帧图像中颜色的协方差；

像素点获取模块，用于将协方差获取模块中所述帧图像转换为灰度图像，并获得所述灰度图像中像素点的灰度值和梯度值，灰度图像获取模块中所述灰度图像中像素点的灰度值和梯度值，并根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值；

第一动态目标确定模块，用于判断像素点获取模块所确定的所述像素点值是否小于前一帧图像中协方差获取模块确定的颜色的协方差的预定倍数，若是，则确定所述像素点为背景点，若否，则确定所述像素点为前景点，所述前景点的集合为实时运动目标。

本发明实施例提供的一种动态复杂背景下的实时运动目标检测方法和装置，它通过将视频图像转换为灰度图像来抑制光照的突然变化对检测结果的影响，能更准确的检测运动目标。

附图说明

图1是本发明实施例提供的所述的一种动态复杂背景下的实时运动目标检测装置的结构示意图；

图2是本发明实施例提供的所述的一种动态复杂背景下的实时运动目标检测装置在实施例中进一步描述的结构示意图。

具体实施方式

本发明实施例提供的一种动态复杂背景下的实时运动目标检测方法的方案中，首先，从视频中获取帧图像，确定当前帧图像中颜色的协方差，并获得所述帧图像的灰度图像；然后，获得所述灰度图像中像素点的灰度值和梯度值，根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值，判断所述像素点值是否小于前一帧图像中确定的颜色的协方差的预定倍数，若是，则确定所述像素点为背景点，若否，则确定所述像素点为前景点，所述前景点的集合为实时运动目标。

在上述方案中，进一步可以包括根据前一帧图像中确定的前景点对当前帧中确定的前景点进行调整，具体的调整过程可以为：提取出前一帧图像中为前景点的当前帧的像素点值，根据提取出的所述当前帧的像素点值和前一帧图像中所述像素点的邻域点确定当前帧的像素点为真正前景点的概率，若所确定的概率小于指定值，则将所述当前帧中确定的前景点调整为背景点，若所确定的概率大于等于指定值，则不对确定的前景点进行调整。

综合上述方案，具体的过程可以为：

步骤S1、从视频中获取帧图像；

步骤S2、确定所述帧图像中颜色k的权重w_k、均值μ_k和协方差σ_k ²，其中k为预设的自然数，一般选取5或3；

步骤S3、将所述帧图像转换为灰度图像，获得所述灰度图像中像素点的灰度值A_ij，根据获得的所述灰度图像中像素点的灰度值A_ij得到像素点的梯度值 $M_{\mathrm{ij}}=\sqrt{{(A_{\mathrm{ij}}-A_{i+1,j})}^2+{(A_{\mathrm{ij}}-A_{i,j+1})}^2}$ 及梯度方向R_ij＝ac tan 2(A_ij-A_i+1，j，A_ij-A_i，j+1)，其中i为横坐标，j为纵坐标，并根据得到的所述像素点的灰度值A_ij、梯度值M_ij和预定参数λ确定像素点值X_ij＝(λA_ij，(1-λ)M_ij)，其中预定参数λ是[0，1]内的值，它是根据图像的颜色信息确定的。根据上述数据建立混合高斯模型： $P\left(X_t\right)=w_k\×\frac{1}{{\left(2\mathrm{\π}\right)}^{n/2}{\left|{\mathrm{\Σ}}_k\right|}^{1/2}}{e}^{-\frac{1}{2}{(X_{\mathrm{ij}}-{\mathrm{\μ}}_k)}^T{{\mathrm{\Σ}}_k}^{-1}(X_{\mathrm{ij}}-{\mathrm{\μ}}_k)},$ 其中∑_k是标准协方差σ_k与单位矩阵相乘得到的，(X_ij-μ_k)^T表示(X_ij-μ_k)的转置；

步骤S4、判断所述当前帧像素点值X_t+1是否小于前一帧图像中确定的颜色k的标准协方差σ_t的预定倍数，其中预定倍数一般选为2.5，也就是判断所述当前帧像素点值X_t+1是否与前一帧图像的颜色k的混合高斯模型匹配，若是，则执行步骤S5，若否，则执行步骤S6；

步骤S5、确定所述像素点为背景点，并根据前一帧图像中颜色k的权重w_t、均值μ_t和协方差σ_t ²以及当前帧的梯度值M_t+1和像素点值X_t+1更新当前帧图像中颜色的权重w_t+1、均值μ_t+1和协方差σ_t+1 ²，具体更新过程可以包括： $\begin{array}{c}{w}_{t+1}=(1-\mathrm{\α})w_t+\mathrm{\α}{M}_{t+1}\\ {\mathrm{\μ}}_{t+1}=(1-\mathrm{\ρ}){\mathrm{\μ}}_t+\mathrm{\ρ}{X}_{t+1}\\ {{\mathrm{\σ}}_{t+1}}^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_t^2+\mathrm{\ρ}{(X_{t+1}-{\mathrm{\μ}}_{t+1})}^T(X_{t+1}-{\mathrm{\μ}}_{t+1})\end{array},$ 其中α为预定值，它是根据前一帧图像与当前帧图像的变化程度确定的，ρ＝α/w_t+1，并根据上述数据更新混合高斯模型P(X_t+1)；

步骤S6、确定所述像素点为前景点，并按照预定的值更新当前帧图像中颜色的权重w_t+1′、均值μ_t+1′和标准协方差σ_t+1′，具体过程可以包括：令权重w_t+1′等于预定的值，一般选取0.05，令标准协方差σ_t+1′等于预定的值，一般选取30，令均值μ_t+1′＝X_t+1，并根据上述数据更新混合高斯模型P(X_t+1)；

步骤S7、根据前一帧图像中步骤S5和步骤S6确定的前景点和背景点，对当前帧中确定的前景点进行调整，具体的调整过程包括：提取出前一帧图像中像素点为前景点的当前帧的像素点X_t+1，根据前一帧图像中像素点的邻域点Y_ij确定当前帧的像素点X_t+1为真正前景点的概率

其中a为正数，k和l分别为横纵坐标的变化量，k和l取为整数，d取奇数，表示邻域宽度，b为前一帧图像中所述像素点与所述像素点的邻域点之间的距离，它可以替换为一个d×d的对称矩阵的高斯模板，所述对称矩阵的元素值符合高斯分布，可以用高斯核函数计算得到，例如n＝3的高斯模板为： $\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right),$ 如果用256级的灰度值表示像素的颜色，那么

可以是一个预先被计算好的大小为256的数组，若所确定的概率小于指定值，则执行步骤S8，若所确定的概率

大于等于指定值，则执行步骤S9，所述的指定值是根据视频图像的场景确定的，若场景复杂，则指定值可以选取[0.5，0.7]内的值，若场景简单，则指定值可以选取[0.3，0.5]内的值；

步骤S8、将所述当前帧中确定的前景点调整为背景点，并执行步骤S10；

步骤S9、不对确定的前景点进行调整，并执行步骤S10；

步骤S10、当前帧图像数据替换前一帧图像数据，并重新执行步骤S1直到视频中的最后一帧图像。

本发明实施例还提供了一种动态复杂背景下的实时运动目标检测装置，如图1所示，包括：

协方差获取模块1，用于从视频中获取帧图像，确定当前帧图像中颜色的协方差；

像素点获取模块2，用于将协方差获取模块1中所述帧图像转换为灰度图像，并获得所述灰度图像中像素点的灰度值和梯度值，灰度图像获取模块中所述灰度图像中像素点的灰度值和梯度值，并根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值；

第一动态目标确定模块3，用于判断像素点获取模块2所确定的所述像素点值是否小于前一帧图像中协方差获取模块1确定的颜色的协方差的预定倍数，若是，则确定所述像素点为背景点，若否，则确定所述像素点为前景点，所述前景点的集合为实时运动目标。

上述装置中，像素点获取模块2中根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值的过程可以包括：

像素点值X_ij＝(λA_ij，(1-λ)M_ij)，其中，A_ij和M_ij分别为所述像素点的灰度值和梯度值，其中i为横坐标，j为纵坐标，λ为预定参数。

上述装置中，第一动态目标确定模块3还可以包括：

第一协方差更新模块，用于确定所述像素点为背景点后，更新当前帧图像中颜色的协方差，具体过程可以包括：

所述协方差σ_t+1 ²＝(1-ρ)σ_t ²+ρ(X_t+1-μ_t+1)^T(X_t+1-μ_t+1)，其中α为预定值，ρ＝α/w_t+1，w_t+1和μ_t+1分别为当前帧图像中颜色的权重和均值。

第二协方差更新模块，用于确定所述像素点为前景点后，更新当前帧图像中颜色的标准协方差σ_t+1′等于预定的值。

根据前一帧图像中确定的前景点对当前帧中确定的前景点进行调整，如图2所示，上述装置中，还可以包括：

提取模块4，用于根据前一帧图像中第一动态目标确定模块3确定的前景点与背景点，提取出前一帧图像中为前景点的当前帧的像素点值X_t+1；

概率生成模块5，用于根据提取模块4中获得的所述当前帧的像素点值X_t+1和前一帧图像中所述像素点的邻域点Y_ij确定当前帧的像素点为真正前景点的概率其中a为正数，k和l分别为横纵坐标的变化量，k和l取为整数，d取奇数，表示邻域宽度，b为前一帧图像中所述像素点与所述像素点的邻域点之间的距离，它可以替换为一个d×d的对称矩阵的高斯模板，所述对称矩阵的元素值符合高斯分布，可以用高斯核函数计算得到，例如n＝3的高斯模板为： $\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right),$ 如果用256级的灰度值表示像素的颜色，那么

可以是一个预先被计算好的大小为256的数组；

第二动态目标确定模块，用于将概率生成模块所确定的概率与指定值进行比较，若所确定的概率

小于指定值，则将所述当前帧中确定的前景点调整为背景点，若所确定的概率

大于等于指定值，则不对确定的前景点进行调整，若场景复杂，则指定值可以选取[0.5，0.7]内的值，若场景简单，则指定值可以选取[0.3，0.5]内的值。

本发明实施例提供的方法和装置，通过将视频图像转换为灰度图像来抑制光照的突然变化对检测结果的影响，并通过提取前一帧图像中确定的前景点进一步确定当前帧的前景点与背景点，能够去除一些无规律的背景运动目标，从而能够更准确的检测运动目标。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1、一种动态复杂背景下的实时运动目标检测方法，其特征在于，包括，

从视频中获取帧图像，确定当前帧图像中颜色的协方差，并获得所述帧图像的灰度图像；

获得所述灰度图像中像素点的灰度值和梯度值，根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值，判断所述像素点值是否小于前一帧图像中确定的颜色的协方差的预定倍数，若是，则确定所述像素点为背景点，若否，则确定所述像素点为前景点，所述前景点的集合为实时运动目标。

2、根据权利要求1所述的方法，其特征在于，所述根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值的过程包括：

像素点值X_ij＝(λA_ij，(1-λ)M_ij)，其中，A_ij和M_ij分别为所述像素点的灰度值和梯度值，其中i为横坐标，j为纵坐标，λ为预定参数。

3、根据权利要求1所述的方法，其特征在于，确定所述像素点为背景点后，更新当前帧图像中颜色的协方差，具体过程包括：

所述协方差σ_t+1 ²＝(1-ρ)σ_t ²+ρ(X_t+1-μ_t+1)^T(X_t+1-μ_t+1)，其中α为预定值，ρ＝α/w_t+1，w_t+1和μ_t+1分别为当前帧图像中颜色的权重和均值。

4、根据权利要求1所述的方法，其特征在于，确定所述像素点为前景点后，更新当前帧图像中颜色的标准协方差σ_t+1′等于预定的值。

5、根据权利要求1至4中任一项所述的方法，其特征在于，还包括根据前一帧图像中确定的前景点对当前帧中确定的前景点进行调整，具体的调整过程包括：

提取出前一帧图像中为前景点的当前帧的像素点值X_t+1，根据提取出的所述当前帧的像素点值X_t+1和前一帧图像中所述像素点的邻域点Y_ij确定当前帧的像素点为真正前景点的概率：

其中a为正数，k和l分别为横纵坐标的变化量，d为邻域宽度，b为前一帧图像中所述像素点与所述像素点的邻域点之间的距离，若所确定的概率

小于指定值，则将所述当前帧中确定的前景点调整为背景点，若所确定的概率

大于等于指定值，则不对确定的前景点进行调整。

6、一种动态复杂背景下的实时运动目标检测装置，其特征在于，包括：

协方差获取模块，用于从视频中获取帧图像，确定当前帧图像中颜色的协方差；

像素点获取模块，用于将协方差获取模块中所述帧图像转换为灰度图像，并获得所述灰度图像中像素点的灰度值和梯度值，灰度图像获取模块中所述灰度图像中像素点的灰度值和梯度值，并根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值；

第一动态目标确定模块，用于判断像素点获取模块所确定的所述像素点值是否小于前一帧图像中协方差获取模块确定的颜色的协方差的预定倍数，若是，则确定所述像素点为背景点，若否，则确定所述像素点为前景点，所述前景点的集合为实时运动目标。

7、根据权利要求6所述的装置，其特征在于，所述像素点获取模块中根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值的过程包括：

像素点值X_ij＝(λA_ij，(1-λ)M_ij)，其中，A_ij和M_ij分别为所述像素点的灰度值和梯度值，其中i为横坐标，j为纵坐标，λ为预定参数。

8、根据权利要求6所述的装置，其特征在于，所述第一动态目标确定模块还包括：第一协方差更新模块，用于确定所述像素点为背景点后，更新当前帧图像中颜色的协方差，具体过程包括：

所述协方差σ_t+1 ²＝(1-ρ)σ_t ²+ρ(X_t+1-μ_t+1)^T(X_t+1-μ_t+1)，其中α为预定值，ρ＝α/w_t+1，w_t+1和μ_t+1分别为当前帧图像中颜色的权重和均值。

9、根据权利要求6所述的装置，其特征在于，所述第一动态目标确定模块还包括：第二协方差更新模块，用于确定所述像素点为前景点后，更新当前帧图像中颜色的标准协方差σ_t+1′等于预定的值。

10、根据权利要求6至9中任一项所述的装置，其特征在于，还包括

提取模块，用于根据前一帧图像中第一动态目标确定模块确定的前景点，提取出前一帧图像中为前景点的当前帧的像素点值X_t+1；

概率生成模块，用于根据提取模块中获得的所述当前帧的像素点值X_t+1和前一帧图像中所述像素点的邻域点Y_ij确定当前帧的像素点为真正前景点的概率

其中a为正数，k和l分别为横纵坐标的变化量，d为邻域宽度，b为前一帧图像中所述像素点与所述像素点的邻域点之间的距离；

第二动态目标确定模块，用于将概率生成模块所确定的概率

与指定值进行比较，若所确定的概率

小于指定值，则将所述当前帧中确定的前景点调整为背景点，若所确定的概率大于等于指定值，则不对确定的前景点进行调整。

Images