CN107871315B - 一种视频图像运动检测方法和装置 - Google Patents

Abstract

本发明提出一种视频图像目标检测方法，包括：通过两层混合高斯模型对视频输入的图像进行背景建模，得到所述视频输入图像的视频图像背景，其中第二次混合高斯模型的输入是第一次混合高斯模型建模后的结果；将所述视频图像背景与所述视频输入图像逐帧做差处理，得到视频图像的视频图像前景；对所述视频图像前景依次基于大津阈值的二值化处理、基于形态学腐蚀与膨胀运算消除联通区域和基于像素值大小的小区域消除，形成所述输入视频图像的前景目标。此外本发明还提出一种视频图像目标检测装置和***。

Description

一种视频图像运动检测方法和装置

技术领域

本发明涉及一种视频图像运动目标检测方法和装置，属于人工智能领域。

背景技术

随着我国城镇化建设步伐不断的加快，城镇安全管理成为不可忽视的问题，智能视频监控***被越来越广泛地应用于城市安全管理，规模也不断扩大。作为视频监控的核心技术之一，视频图像中运动目标的检测技术也格外受到关注，如何在实践中进一步提高运动目标检测的稳定性和准确性成为国内外大批专家和学者研究的重点。传统运动目标检测方法包括帧间差分、光流法、混合高斯模型等等，其中，作为一种经典的自适应背景建模方法，混合高斯模型对复杂背景有较好适应性，实际表现也相对较好，因此一直得到研究者的关注。

现有技术1中国专利ZL201410090199.1公开了一种基于混合高斯与边缘检测的运动目标检测方法，从摄像头拍摄的视频中读取当前图像帧；利用混合高斯模型，初始化背景，并不断更新背景，同时分离出运动目标并二值化；利用canny边缘检测方法提取运功目标；将得到的运动目标进行或运算并填补空洞；阴影消除；进行必要的后处理，得到最后结果；循环处理直至所有图像帧处理结束。本发明利用混合高斯模型提取的运动目标与canny算子提取的运动目标的或运算，解决了常规方法在运动目标与背景颜色相似情况下提取的运动目标严重缺失的问题。虽然专利ZL对于运动目标与背景颜色相似情况下进行了处理，但受限于单层混合高斯模型的性能，对于视频图像背景建模的能力不足，部分前景可能误判为背景。

现有技术2中国专利ZL200710304222.2公开了一种基于扩展混合高斯模型的运动目标检测方法，通过一级模型构建模块，基于扩展混合高斯模型，构造阴影背景、和前景的概率密度函数；通过二级模型构建模块，基于上述三类的模型，构造运动目标和非运动目标的概率密度函数；通过分类模块，应用MAP-MRF(Maximum a Posteriori-Markov RandomField)方法进行分类；应用跟踪的反馈信息，进一步精确前景模型。本发明通过将高斯混合模型融合空间信息可以克服因背景运动造成的前景误检测；通过在一个概率框架中融合背景建模、前景检测和阴影去除可以克服阴影所造成的不利影响，从而提高运动目标的检测效果。虽然现有技术2对运动目标的背景建模效果较好，但基于马尔科夫随机场的算法，计算复杂度较高，对于实际视频监控图像的实时性要求较难达到。

本发明针对现有技术的上述缺陷，本发明提出了一种视频图像运动目标检测方法和装置。

发明内容

本发明的目的是克服现有技术存在的缺陷，提供一种视频图像运动目标检测方法和装置。此外，本发明另一目的是提供了一种稳定的视频图像目标检测方法

本发明另一目的实现了两层高斯建模算法。

本发明另一目的是实现了对处理图像的后处理算法。

为实现本发明的上述目的，本发明提出了一种视频图像运动目标检测方法，包括：S1.通过两层混合高斯模型对视频输入的图像进行背景建模，得到所述视频输入图像的视频图像背景，其中第二次混合高斯模型的输入是第一次混合高斯模型建模后的结果；S2.将所述视频图像背景与所述视频输入图像逐帧做差处理，得到视频图像的视频图像前景；S3.对所述视频图像前景依次基于大津阈值的二值化处理、基于形态学腐蚀与膨胀运算消除联通区域和基于像素值大小的小区域消除，形成所述输入视频图像的前景目标。

此外，本发明还提出了一种视频图像目标检测装置，包括：背景建模单元，通过两层混合高斯模型对视频输入的图像进行背景建模，得到所述视频输入图像的视频图像背景，其中第二次混合高斯模型的输入是第一次混合高斯模型建模后的结果；背景消除单元，将所述背景建模单元输出的视频图像背景与所述视频输入图像逐帧做差处理，得到视频图像的视频图像前景；后处理单元，对所述背景消除单元输出的视频图像前景依次基于大津阈值的二值化处理、基于形态学腐蚀与膨胀运算消除联通区域和基于像素值大小的小区域消除，形成所述输入视频图像的前景目标。

另外，本发明还提出了一种视频图像目标检测装置，包括：一个或多个处理器；存储一个或多个指令的非临时性计算机可读存储介质，所述处理器执行所述一个或多个指令时，其配置为：通过两层混合高斯模型对视频输入的图像进行背景建模，得到所述视频输入图像的视频图像背景，其中第二次混合高斯模型的输入是第一次混合高斯模型建模后的结果；将所述视频图像背景与所述视频输入图像逐帧做差处理，得到视频图像的视频图像前景；对所述视频图像前景依次基于大津阈值的二值化处理、基于形态学腐蚀与膨胀运算消除联通区域和基于像素值大小的小区域消除，形成所述输入视频图像的前景目标。

本发明的有益效果是：一、本发明提供的两层混合高斯模型建模的方式可以在计算速度和背景建模的准确度方面达到相对平衡的效果，效果稳定。二、算法通过多种图像后处理操作，包括二值化、形态学运算，避免小目标的干扰。三、算法可有效实现对于视频连续图像的背景建模，从而有效检测运动目标。

附图说明

图1示出了基于两层高斯混合模型的视频图像运动目标检测示意图；

图2示出了基于两层高斯混合模型的视频图像运动目标检测方法流程图；

图3示出了视频图像目标检测装置的组成框图；

图4示出了后处理单元的组成框图；

图5示出了另一种视频图像目标检测装置的组成框图；

图6示出了视频图像检测方法处理后的效果图。

具体实施方式

在图像和适配处理中，所谓视频，实际上是由具有时间序列特征的一系列图像，也是序列图像。对于常见的监控视频而言，由于摄像头相对稳定，因此在序列图像中将会有一个相对稳定的场景不变化，也就是背景。在背景中变化的物体，即运动目标，因为具有价值信息，需要被检测出来，即所谓前景信息。背景和前景实际上也是图像，但背景一般不变，前景作为运动目标，是实时变化的。

图1是本发明提出的基于两层高斯混合模型的视频图像运动目标检测示意图，输入的视频图像经过两层高斯混合模型处理101后，得到视频背景，然后进行背景消除102，将背景消除后的结果进行图像后处理103，得到运动目标的前景图像。

图2为本发明提出的基于两层高斯混合模型的视频图像运动目标检测方法流程图，主要分为两层混合高斯模型背景建模S1、背景做差消除S2、图像后处理S3三个步骤。

1)背景建模S1：从输入监控视频逐帧输入图像，通过两层混合高斯模型对背景进行建模，其中第二次混合高斯模型的输入是第一次建模的结果。经过两层模型建模，最终形成视频图像的背景。

其中单个混合高斯模型建模的步骤如下：

初始化背景模型μ，初始背景均值为μ₀，初始标准差σ₀，初始差分阈值T(设置为20)，I_x，y为像素点(x，y)处的像素值：

μ(x，y)＝I_x，y

σ(x，y)＝T

其中，T为图像的像素值，其仅有灰度级，没有量纲，可人为依据环境来设定。

i.检查像素I_x，y属于前景还是背景，其中为λ阈值参数，判断均值μ(x，y)是否在一定范围内：

如果|I_x，y-μ(x，y)|＜λ*σ(x，y)，I_x，y为背景

否则，I_x，y为前景

ii.对背景进行学习更新，更新公式如下，其中α为学习速率，一般可设置为1e-4：

μ(x，y)＝(1-α)*μ(x，y)+α*I_x，y

iii.重复步骤ii，iii直到算法停止，即当

时停止，这里ε也是一个常值小量，可取1e-5。

2)背景消除S2：利用第一步建立的视频背景，与视频图像逐帧做差，消除背景，经过做差处理的结果，即为视频图像的前景，也是视频序列图像的运动目标；

做差处理公式为：

D_x，y＝I_x，y-μ(x，y)

其中，I_x，y表示原图，μ(x，y)为计算所得背景。

3)图像后处理S3：对做差处理后的图像，进行图像后处理操作，最终形成图像的前景目标。这些后处理操作依次进行，具体包括：基于大津阈值的二值化处理、基于形态学腐蚀与膨胀运算消除联通区域、基于像素值大小的小区域消除。

其中，基于大津阈值的二值化处理为：

大津阈值假设图像直方图为双峰分布，其基本假定是设置能够将图像G前景和背景分开的阈值，应当使得前景和背景像素的类间方差最大。数学上，大津阈值t应当满足如下最优表达式：

其中，ω₀＝N₀/N，ω₁＝N₁/N，

这里，N₀，N₁和N分别代表前景、背景和总像素个数。p_i表示灰度级i的频率。μ₀，μ₁和

分别表示前景、背景和全图像素的灰度均值。对于RGB图像而言，t的值范围为0-255。因此，得到t后，通过阈值化，可以得到分割图像R^seg如下：

在分割图像R^seg中，代表前景的像素都被标记为1，而背景像素标记为0。

其中，基于形态学腐蚀与膨胀运算消除联通区域的步骤为：

设有两幅图象B，A，若A是被处理的对象，即基于大津阈值的二值化处理后的数据，而B是用来处理A的，则称B为结构元素，又被形象地称做刷子。结构元素通常都是一些比较小的图象。对基于大津阈值的二值化处理后的数据先进行腐蚀操作，然后进行膨胀操作，也就是形态学的开运算。

其中腐蚀(Erosion)操作为：

X用S腐蚀的结果是所有使S平移x后仍在X中的x的集合。换句话说，用S来腐蚀X得到的集合是S完全包括在X中时S的原点位置的集合。

其中膨胀(Dilation)操作为：

膨胀可以看做是腐蚀的对偶运算，其定义是：把结构元素B平移a后得到Ba，若Ba击中X，记下这个a点。所有满足上述条件的a点组成的集合称做X被B膨胀的结果。

对基于形态学腐蚀与膨胀运算消除联通区域后的数据进行基于像素值大小的小区域消除，其中，基于像素值大小的小区域消除方为：

设得到图像G中联通区域为{A₁，A₂，…，A_N}，对应的联通区域像素值个数分别为{n₁，n₂，…，n_N}，则若n_i＜ε，其中ε人工设定，可取为30，则该区域舍去，判定为非目标；若n_i＞ε，则为目标，即为前景。

图3是本发明提出的一种视频图像目标检测装置300，包括：背景建模单元301，通过两层混合高斯模型对视频输入的图像进行背景建模，得到所述视频输入图像的视频图像背景，其中第二次混合高斯模型的输入是第一次混合高斯模型建模后的结果；背景消除单元302，将所述背景建模单元输出的视频图像背景与所述视频输入图像逐帧做差处理，得到视频图像的视频图像前景；后处理单元303，对所述背景消除单元输出的视频图像前景依次基于大津阈值的二值化处理、基于形态学腐蚀与膨胀运算消除联通区域和基于像素值大小的小区域消除，形成所述输入视频图像的前景目标。

其中所述背景建模单元中两层混合高斯模型中的每一层建模方法如上述对图1视频图像目标检测方法中建模方法所述。

如图4所示，其中所述后处理单元303包括基于大津阈值的二值化处理模块304、基于形态学腐蚀与膨胀运算消除联通区域模块305和基于像素值大小的小区域消除模块306，所述图像前景依次经过所述三个模块处理后得到输入视频图像的前景目标。

图5是本发明提出了另一视频图像目标检测装置400，其包括：一个或多个处理器401；

存储一个或多个指令402的非临时性计算机可读存储介质403，其中所述计算机可读存储介质403还可存储待处理的数据，所述数据也可存储在其他存储介质中，所述处理器执行所述一个或多个指令时，其配置为：通过两层混合高斯模型对视频输入的图像进行背景建模，得到所述视频输入图像的视频图像背景，其中第二次混合高斯模型的输入是第一次混合高斯模型建模后的结果；将所述视频图像背景与所述视频输入图像逐帧做差处理，得到视频图像的视频图像前景；对所述视频图像前景依次基于大津阈值的二值化处理、基于形态学腐蚀与膨胀运算消除联通区域和基于像素值大小的小区域消除，形成所述输入视频图像的前景目标。

图6是以室内结果为例给出本发明方法和装置得到的结果，城市视频与室内视频处理形式除位置不同，其余均一致。

总之，本发明提供的基于两层混合高斯模型的建模形式，可以有效避免视频图像运动目标检测中干扰点的影响，在计算速度和背景建模的准确度方面达到相对平衡的效果。多种图像后处理的操作，如二值化、形态学运算等，可以避免小目标的干扰。总体而言，对于视频图像中运动目标的检测方法，可以实现对城市监控视频的自动分析与研判，对于处理违章停车、乱占道等城市问题可以起到有效的辅助支撑作用。

Claims (15)

1.一种视频图像目标检测方法，包括：

S1.通过两层混合高斯模型对视频输入的图像进行背景建模，得到所述视频输入图像的视频图像背景，其中第二次混合高斯模型的输入是第一次混合高斯模型建模后的结果；

S2.将所述视频图像背景与所述视频输入图像逐帧做差处理，得到视频图像的视频图像前景；

S3.对所述视频图像前景依次基于大津阈值的二值化处理、基于形态学腐蚀与膨胀运算消除联通区域和基于像素值大小的小区域消除，形成所述输入视频图像的前景目标；

所述两层混合高斯模型中的每一层建模为：

S11.对图像背景模型进行初始化，

其中,初始背景均值为μ₀，初始标准差σ₀，初始差分阈值T,I_x,y为像素点(x,y)处的像素值；

S12.通过判断均值μ(x,y)是否在一定范围内,来检查像素I_x,y属于前景还是背景，如果|I_x,y-μ(x,y)|<λ*σ(x,y)，I_x,y为背景,否则，I_x,y为前景,其中为λ阈值参数；

S13.通过μ(x,y)＝(1-α)*μ(x,y)+α*I_x,y对背景进行学习更新，并重复步骤S12，直到μ(x,y)满足条件，其中

其中α为学习速率。

2.如权利要求1所述的方法，其中学习速率α取1e-4。

3.如权利要求1所述的方法，其中基于大津阈值的二值化处理为：设定图像直方图为双峰分布，并设置将图像前景和背景分开的大津阈值，使得前景和背景像素的类间方差最大。

4.如权利要求3所述的方法，其中所述大津阈值t满足以下表达式，

其中，ω₀＝N₀/N，ω₁＝N₁/N，

N₀，N₁和N分别代表前景、背景和总像素个数，p_i表示灰度级i的频率，μ₀,μ₁和

分别表示前景、背景和全图像素的灰度均值。

5.如权利要求1所述的方法，其中基于形态学腐蚀与膨胀运算消除联通区域为：设置结构元素B，对基于大津阈值的二值化处理后的结果先进行腐蚀操作，然后进行膨胀操作。

6.如权利要求1所述的方法，其中基于像素值大小的小区域消除为：将联通区域表示为{A₁,A₂,…,A_N}，对应的联通区域像素值个数分别为{n₁，n₂，…,n_N}，则若n_i<ε,其中ε为人工设定，则该区域舍去，判定为非目标；若n_i>ε，则为目标，即为前景。

7.如权利要求6所述的方法，其中所述ε为30。

8.如利要求1述的方法，其中T取值20。

9.一种视频图像目标检测装置，包括：

背景建模单元，通过两层混合高斯模型对视频输入的图像进行背景建模，得到所述视频输入图像的视频图像背景，其中第二次混合高斯模型的输入是第一次混合高斯模型建模后的结果；

背景消除单元，将所述背景建模单元输出的视频图像背景与所述视频输入图像逐帧做差处理，得到视频图像的视频图像前景；

后处理单元，对所述背景消除单元输出的视频图像前景依次基于大津阈值的二值化处理、基于形态学腐蚀与膨胀运算消除联通区域和基于像素值大小的小区域消除，形成所述输入视频图像的前景目标；

其中所述背景建模单元中两层混合高斯模型中的每一层建模为：

对图像背景模型进行初始化，

其中,初始背景均值为μ₀，初始标准差σ₀，初始差分阈值T,I_x,y为像素点(x,y)处的像素值；

通过判断均值μ(x,y)是否在一定范围内,来检查像素I_x,y属于前景还是背景，如果|I_x,y-μ(x,y)|<λ*σ(x,y)，I_x,y为背景,否则，I_x,y为前景,其中为λ阈值参数；

通过μ(x,y)＝(1-α)*μ(x,y)+α*I_x,y对背景进行学习更新，并重复步骤S12，直到μ(x,y)满足条件，其中

其中α为学习速率。

10.如权利要求9所述装置，其中所述后处理单元包括基于大津阈值的二值化处理模块、基于形态学腐蚀与膨胀运算消除联通区域模块和基于像素值大小的小区域消除模块，所述图像前景依次经过三个模块处理后得到输入视频图像的前景目标。

11.如权利要求10所述的装置，其中基于大津阈值的二值化处理模块设定图像直方图为双峰分布，并设置将图像前景和背景分开的大津阈值，使得前景和背景像素的类间方差最大。

12.如权利要求11所述的装置，其中所述大津阈值t满足以下表达式，

其中，ω₀＝N₀/N，ω₁＝N₁/N，

N₀，N₁和N分别代表前景、背景和总像素个数，p_i表示灰度级i的频率，μ₀,μ₁和

分别表示前景、背景和全图像素的灰度均值。

13.如权利要求10所述的装置，其中所述基于形态学腐蚀与膨胀运算消除联通区域和基于像素值大小的小区域消除模块用于：设置结构元素B，对基于大津阈值的二值化处理后的结果先进行腐蚀操作，然后进行膨胀操作。

14.如权利要求10所述的装置，其中基于像素值大小的小区域消除为：将联通区域表示为{A₁,A₂,…,A_N}，对应的联通区域像素值个数分别为{n₁，n₂，…,n_N}，则若n_i<ε,其中ε为人工设定，则该区域舍去，判定为非目标；若n_i>ε，则为目标，即为前景。

15.一种视频图像目标检测装置，包括：

一个或多个处理器；

存储一个或多个指令的非临时性计算机可读存储介质，所述处理器执行所述一个或多个指令时，其配置为：

通过两层混合高斯模型对视频输入的图像进行背景建模，得到所述视频输入图像的视频图像背景，其中第二次混合高斯模型的输入是第一次混合高斯模型建模后的结果；

将所述视频图像背景与所述视频输入图像逐帧做差处理，得到视频图像的视频图像前景；

对所述视频图像前景依次基于大津阈值的二值化处理、基于形态学腐蚀与膨胀运算消除联通区域和基于像素值大小的小区域消除，形成所述输入视频图像的前景目标。

Images