CN101389004A - 一种基于在线学习的运动目标分类方法 - Google Patents

Abstract

本发明基于在线学习的运动目标自动分类方法，对图像序列背景建模和运动目标检测，检测场景变化、覆盖视角、分割场景，提取并聚类特征向量，对区域类别标注；子区域的运动目标个数到某个阈值，根据经过该子区域的所有运动目标区域的特征向量，初始化高斯分布和先验概率，完成分类器初始化；对该子区域的运动目标分类，在线迭代优化分类器参数；将运动目标跟踪过程中的分类结果融合，输出在线学习的运动目标分类结果。用于监控场景中异常检测，对不同类别目标建立规则，提高监控***安全性能。用于监控场景物体识别，降低识别算法复杂度，提高识别率。用于监控场景语义化理解，识别运动目标的类别，帮助理解场景中发生的行为事件。

Description

一种基于在线学习的运动目标分类方法

技术领域

本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，特别是涉及智能视觉监控的运动目标分类方法。

背景技术

随着技术的发展以及硬件设备价格的逐渐降低，大量的监控摄像头被安装到各种场合，特别是那些对安全要求敏感的场合，如机场、社区、银行、停车场、军事基地等。动态场景的视觉监控是近年来备受关注的前沿研究方向，它从摄像机捕捉的图像序列中检测、识别、跟踪目标并对其行为进行理解。尽管目前作为人类视觉延伸的监控摄像机在商业应用中已经普遍存在，但目前的监控***一般只能录相用于事后取证，而不能实时地分析视频数据并实时报警。因此，开发出具有实际意义的自动性、智能性的视觉监控***日益变得迫切和必要。这就要求不仅能用摄像机代替人眼，而且能用计算机协助人、代替人，以完成监视或控制任务。

类别是世间万物的一个基本属性，同一类别的事物在形状，行为等方面具有相似的特性，而不同类别的物体则往往具有较大的差异。对于计算机而言，如何自动地从监控视频中判断出运动目标的类别是一个很具挑战性的问题。

目前已经有很多算法对监控场景内的运动目标分类进行了研究，但是往往都存在着一定的缺点。由于不同的监控场景视角差异很大，一些分类算法在某些特定的视角下可以取得很好的性能，却往往在其他的视角条件下无法适用。通过大样本训练分类器的方法在一定程度上可以弥补这一缺陷。然而，这类算法往往需要建立包括不同条件，不同场景的大样本数据库，同时需要对数据库中的数据进行手工标记，从而带来了巨大的工作量和诸多不便。

发明内容

现有技术在进行运动目标分类问题上往往有需要手动建立大数据库，对这些数据进行离线训练，单数据库样本受视角，环境等因素的影响比较大的问题，本发明的目的是能够有效、便捷、自动地判断运动目标的类别，为此，提供一种基于在线学习的运动目标分类方法。

为了实现所述的目的，本发明提供一种基于在线学习的运动目标分类方法，可以避免大样本数据库的离线训练，实时有效地判断出运动目标的类别，基于视频通过在线学习训练分类器，包括如下步骤：

步骤S1：对读入的一段时间的图像序列，进行背景建模和运动目标检测；

步骤S2：检测运动目标所在场景是否变化，如果运动目标所在场景发生变化，执行步骤S3；如果运动目标所在场景没有发生变化，执行步骤S7；

步骤S3：根据运动目标所在场景覆盖视角大小，将整个运动目标所在场景分割成若干个子区域；

步骤S4：对每个子区域中的运动目标区域提取特征向量；

步骤S5：通过对特征向量的聚类算法对每个运动目标区域的类别进行粗略标注；

步骤S6：每个子区域的运动目标个数达到某个阈值时，根据已经经过该子区域的所有运动目标区域的特征向量，初始化高斯分布和先验概率，完成该子区域对应分类器初始化；

步骤S7：对经过该子区域的运动目标进行分类，并在在线分类基础上不断迭代优化分类器参数；

步骤S8：将运动目标跟踪过程中的分类结果融合，输出在线学习的运动目标分类结果。

根据本发明的实施例，所述检测步骤包括如下：对图像序列背景建模获取相对于光照变化鲁棒的背景模型与前一时刻获得的背景模型进行比较来判断是否发生场景变化。

根据本发明的实施例，所述背景建模是提取运动目标图像序列的每一帧的反射分量，对反射分量进行混合高斯背景建模来去除光照产生阴影对运动目标形状的影响和去除光照剧烈变化对运动目标区域形状的影响。

根据本发明的实施例，所述通过求取图像序列当前帧获得的背景模型和以前获得背景模型的差异值来判断场景是否发生变化。

根据本发明的实施例，所述特征向量提取包括：提取每一个运动目标区域的速度、面积、紧密度，即紧密度指面积和运动目标区域轮廓周长平方的比值，面积随时间的导数，速度方向与运动目标区域轮廓主轴方向的夹角特征；在聚类阶段使用：紧密度、面积随时间的导数、速度方向与运动目标区域轮廓主轴方向夹角这三个特征；在初始和迭代优化分类器阶段使用：速度、面积、紧密度这三个特征。

根据本发明的实施例，根据运动目标所在场景中运动目标区域的平均面积大小和整个场景面积大小的比值，对所述运动目标所在场景进行分割，使分类在每个子区域中独立操作，用于弥补大场景广视角投影变形。

根据本发明的实施例，所述标注使用K均值聚类和规则融合对运动目标区域的类别进行自动标注。

根据本发明的实施例，根据所述每个子区域内运动区域内的自动标注值，假设高斯分布，估计每个类别对应的高斯分布的参数；根据所述子区域内经过的被标注为同一类别的运动目标个数和经过该子区域的所有运动目标个数的比值，求取每一类别的先验概率。

根据本发明的实施例，所述分类分两种情况，如果通过子区域的运动目标个数达到阈值，已初始化高斯分布和先验概率，则利用贝叶斯准则对运动目标区域进行精细分类，如果没有达到阈值，则比较该区域的特征到三个聚类中心的距离，将其分类为最近的那个类别。

根据本发明的实施例，所述分类是用新分类的运动目标区域对原来的高斯分布和先验概率进行更新。

根据本发明的实施例，所述运动目标进行跟踪，通过对不同帧，同一运动目标的分类结果进行融合，用于准确分类。

本发明的方法不需要进行数据库的采集标注，通过在线学习的方法实现运动目标的自动分类。本发明的方法对光照鲁棒，算法高效，实时。解决了现有技术运动目标分类需要手工建立大数据库，对数据离线训练，单数据库样本受视角，环境等因素影响的问题，本发明能够有效、便捷、自动地判断运动目标的类别，本发明对运动目标的分类可以应用在如下方面：

(1)用于智能监控***中的异常行为检测，帮助监控***判断运动目标的类别，通过制定相应类别的规则，检测异常行为。

(2)用于计算机视觉领域的物体识别，首先对目标进行粗分类，缩小搜索空间，提高识别效率和准确率。

(3)用于智能监控***中的语义化理解，提供其语义化中的主体类别，帮助***理解场景中发生的事件。

附图说明

图1示出本发明基于在线学习方法的运动目标分类的流程框图。

图2a示出本发明运动视频中的一帧实例示意图。

图2b示出本发明背景建模方法实例获得背景图。

图2c示出本发明前景检测实例获得的运动区域。

图3a、图3b示出本发明在线分类的结果实例示意图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

基于在线学习的运动目标分类方法对于提高监控***对监控场景的理解能力，提高物体识别的识别性能具有重要意义。利用在线学习方法，本发明实现了一个交通场景下的运动目标自动分类***，将场景中的运动目标分类为人，车，自行车。如图1示出基于在线学习方法的目标分类方法的流程框图。

本发明的方法需要的硬件最低配置为：P4 3.0G CPU，512M内存的计算机；最低分辨率为320×240的监控摄像头；帧率为25帧每秒的视频采集卡。在此配置水平的硬件上，采用C++语言编程实现本方法，可以达到实时识别的效果。

下面对本发明的方法涉及的关键步骤进行逐一详细说明，具体形式如下所述：

首先，是场景建模和运动目标的提取：

要对运动目标进行自动分类，第一步就需要将运动目标从背景中分离出来，这是很关键的一步。这里由于运动目标的分类往往是用于室外场景，所以需要其检测算法对光照的剧烈变化鲁棒，同时能够有效地去除阴影。这里本发明改进了传统的混合高斯建模方法，对运动目标的所在的每个象素值首先进行同态滤波，背景建模是提取出运动目标图像序列的每一帧的反射分量，并对反射分量进行混合高斯背景建模。通过这样的改进，可以去除光照产生阴影区域对运动目标形状的影响和去除光照剧烈变化对运动目标区域形状的影响，获得准确的前景目标。

通过混合高斯模型方法得到的前景图像中，往往有一些噪声点以及一些空洞。使用形态学操作来过滤噪声点，通过一次腐蚀操作和一次膨胀操作，可以消除噪声点和小的空洞。如附图2a示出本发明运动视频中的一帧场景图像实例示意图，如图2b示出本发明背景建模方法实例的获得的背景，如图2c示出本发明用混合高斯模型检测的前景实例获得的运动区域。如图2a示出为运动视频中的某一帧图像；通过对视频序列利用本发明方法进行背景建模，可以求出干净背景图片，即没有任何运动目标出现的图片，通过对每个象素的高斯模型进行判断，可以求出该象素在当前帧中是属于前景，还是属于背景，属于前景的象素点设其象素值为255，属于背景的象素点设其象素值为0，这样就可以得出提取前景结果如图2c所示。对于当前帧每个象素点提取其权重最大的那个高斯的均值作为该象素点的象素值，就可以得到干净的背景图片如图2b所示。

其二，是场景变化检测

摄像机的运动，变焦，或者视频切换往往会导致场景发生较大程度的变化。在这种情况下，以前训练的分类器往往对于该场景就不再有效。所以，有必要检测这种场景变化，从而重置算法流程，重新进行在线学习。对图像序列背景建模获取相对于光照变化鲁棒的背景模型与前一时刻获得的背景模型进行比较来判断是否发生场景变化。即对于每一帧利用前述背景建模方法获得的背景B_t(x，y)，将其与前一帧的背景B_t-1，(x，y)进行差分，当两者之间的差分结果大于某个阈值T时，认为场景变化发生：

∑_x，y(|B_t(x，y)-B_t-1(x，y)|)>T              (1)

其三，是场景分割

由于监控场景中的摄像头都安放在较高位置，整个场景覆盖的视角范围比较大，从而使得运动目标的速度，面积等特征发生较为显著的投影变形，使得这些特征不能够有效地应用于目标分类。通过将整个场景分割成若干子区域，我们可以对每个子区域中的运动目标分别进行分类，并利用不同子区域之间分类结果的融合，提高分类准确率。这里，我们采用运动目标的平均大小与场景大小之间的比值作为指标进行场景划分。如比值在0.05左右，可将场景分成2×2的子区域；比值在0.01左右，可以将场景分成4×4的子区域。如图3a所示的场景，根据比值，需将场景划分成4×4的子区域，图片中的虚蓝线将整个场景划分成16个子区域，然后针对每个子区域求取分类器。同样如图3b所示场景，根据比值，只需要将场景分成2×2的子区域。

其四，是基于K均值的运动目标自动标记

这里我们使用特征向量中的紧密度，面积随时间的导数和运动方向和运动目标区域轮廓主轴方向角度三个特征利用K均值算法聚成3类。这是因为这三个特征相对对视角变化具有一定的鲁棒性。由于人，车，自行车对于这三个特征都有其较为直观的意义。如，紧密度从大到小分别为车，自行车，人；面积随时间的导数从大到小分别是车，自行车，人；运动方向和运动目标区域轮廓主轴方向的夹角则可以较好地区分人和车。这样，我们利用决策级融合的方法将这三个聚类和类别对应起来。

其融合规则如下：

(1)紧密度可以有效地将车从人和自行车中区分出来。

(2)面积随时间的导数可以有效地将人从自行车和车中区分出来。

(3)运动方向与运动目标区域轮廓主轴方向的夹角可以有效地将人和车区分出来。

标注使用对这三个特征所对应的特征向量的K均值聚类和规则融合对运动目标区域进行自动标注。根据所述运动区域内的自动标注值，假设高斯分布，估计高斯分布的参数；根据所述运动区域内自动标注值个数，求取每一类别的先验概率。

其五，是分类器初始化和优化

当经过子区域的样本个数达到阈值N时，对于每个子区域中已经聚类出来的标记样本，对每一类的面积，速度和紧密度三个特征分别估计一个高斯分布P_i(v)＝η(v，μ_i，∑_i)和先验出现概率p(i)，i＝1，2，3为对应的类别，v为面积，速度和紧密度三个特征所构成的特征向量：

${\widehat{\mathrm{\μ}}}_i=\frac{1}{N}\underset{r=1}{\overset{N}{\mathrm{\Σ}}}(v_{i,r}-{\widehat{\mathrm{\μ}}}_i)(v_{j,r}-{\widehat{\mathrm{\μ}}}_j)i,j=\mathrm{1,2,3}---\left(2\right)$

$\widehat{{\mathrm{\σ}}_{i,j}^2}=\frac{1}{N}\underset{r=1}{\overset{N}{\mathrm{\Σ}}}(v_{i,r}-{\widehat{\mathrm{\μ}}}_i)(v_{j,r}-{\widehat{\mathrm{\μ}}}_j)i,j=\mathrm{1,2,3}---\left(3\right)$

这样就可以通过贝叶斯准则对运动目标进行分类：

P(category＝i|v)∝P_i(v)·p_ii＝1，2，3      (4)

在利用贝叶斯准则对运动目标进行分类的同时，我们利用新的个体特征值对分类器进行优化，用新分类的样本对原来的高斯分布和先验概率进行更新；对于出现在子区域中的新的运动目标，假设其特征向量为v_t，则分类器按照如下规则进行更新：

p_k，new＝(1-β)p_k，old+β(M_k，t)k＝1，2，3        (5)

${\widehat{\mathrm{\μ}}}_{\mathrm{new}}=(1-\mathrm{\γ}){\widehat{\mathrm{\μ}}}_{\mathrm{old}}+{\mathrm{\γv}}_{t}k=\mathrm{1,2,3}---\left(6\right)$

$\widehat{{\mathrm{\σ}}_{i,j,\mathrm{new}}^2}=(1-\mathrm{\γ})\widehat{{\mathrm{\σ}}_{i,j,\mathrm{old}}^2}+\mathrm{\γ}(v_{i,r}-{\widehat{\mathrm{\μ}}}_i)(v_{j,r}-{\widehat{\mathrm{\μ}}}_j)k=\mathrm{1,2,3}---\left(7\right)$

这里的β和γ为更新率参数，M_k，t在该目标被判断为第k类情况下为1，其他情况下为0。

其六，是跟踪过程中的分类结果优化

对于同一个运动目标随着时间贯序进行跟踪，通过对同一运动目标的分类后验概率求和的方式进行融合，提高分类正确率。所述运动目标进行跟踪，通过对不同帧，同一运动目标的分类结果进行融合，用于准确分类。这里为将跟踪过程中每一帧所判别的相应类别的后验概率值求和，如果该时刻所对应运动目标区域的子区域已经完成分类器初始化，后验概率则通过贝叶斯准则获得，如果该时刻所对应运动目标区域的子区域还没有完成分类器初始化，则根据其特征到三个聚类中心的距离求取后验概率，使后验概率与其到三个聚类中心的距离成反比，以后验概率和最大的那个类别作为运动目标区域的类别。

实例如下：

为了详细说明该发明的具体实施方式，以交通场景下的运动目标分类为例进行说明，将交通场景里的运动目标分为人，车，自行车，并在每个目标附近位置自动显示其类别，这里p表示人，c表示车，b表示自行车。

由于交通场景中的摄像头平时是固定不动的，但是在特殊情况下，需要移动或者变焦。这样场景变化检测步骤就是用来检测这个场景的变化。在这种变化被检测到时，即重置***，进行新一轮的在线学习。其具体步骤如下：

步骤S1：读入一段时间的图像序列，利用对象素值的反射分量进行背景建模的方法有效去除阴影，光照突然变化对运动目标区域形状的影响。

步骤S2：利用步骤S1所述背景建模方法获得对阴影，光照变化鲁棒的背景，将其与前一帧的背景进行比较，如果差异小于阈值，则认为没有发生变化，如果差异大于阈值，则认为发生变化。如果发生变化，则进行步骤S3，如果没有发生变化，则进行步骤S7。

场景分割步骤S3：根据场景整个图像的面积和场景中前景运动区域平均面积的比值判断场景覆盖视角大小，将整个运动目标场景分割成若干子区域。对所述运动目标所在场景的分割，使分类可以在每个子区域中独立操作，用于弥补大场景广视角投影变形。

步骤S4：对每个子区域中的运动目标区域提取特征向量，包括面积，速度，紧密度，即紧密度指面积和运动目标区域轮廓周长平方的比值，面积随时间的导数，运动速度方向与运动目标区域轮廓主轴方向的夹角；

自动标注步骤S5：对一段时间场景中所有的运动目标区域的紧密度，面积随时间的导数，运动速度方向与运动目标区域轮廓主轴方向的夹角，这三个特征进行K均值聚为三类，并根据以下三条融合准则得出每一个聚类和每一个类别之间的对应：

1.紧密度可以有效地将车从人和自行车中区分出来。

2.面积随时间的导数可以有效地将人从自行车和车中区分出来。

3.运动方向与运动目标区域轮廓主轴方向的夹角可以有效地将人和车区分出来。

步骤S6：根据步骤S5中的自动标注方法，每个子区域的运动目标个数达到某个阈值时，对每个子区域中分别对被粗分类为同一类别的所有运动目标区域的速度，面积，紧密度这三个特征初始化高斯分布和先验概率，初始化分类器；

步骤S7：如果通过子区域的运动目标个数达到阈值，已初始化高斯分布和先验概率，则利用贝叶斯准则对运动目标区域进行精细分类，如果没有达到阈值，则比较该区域的特征到三个聚类中心的距离，将其分类为最近的那个类别。

步骤S8：将运动目标跟踪过程中的分类结果融合，输出在线学习的运动目标分类结果。这里为将跟踪过程中每一帧所判别的相应类别的后验概率值求和，如果该时刻所对应运动目标区域的子区域已经完成分类器初始化，后验概率则通过贝叶斯准则获得，如果该时刻所对应运动目标区域的子区域还没有完成分类器初始化，则根据其特征到三个聚类中心的距离求取后验概率，使后验概率与其到三个聚类中心的距离成反比，以后验概率和最大的那个类别作为运动目标区域的类别。

总之，本发明提出了一种简单有效的基于在线学习和场景分割的运动目标自动分类方法。在自动化大厦门前的交通场景应用中，其人的分类正确率为98.2％，自行车的分类正确率为90.4％，车的分类正确率为97.3％。本发明易于实现、性能稳定。本发明能够提高智能监控***对监控场景的理解能力，是下一代智能监控***里的关键技术。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于在线学习的运动目标自动分类方法，其特征在于：基于视频通过在线学习训练分类器，包括如下步骤：

步骤S1：对读入的一段时间的图像序列，进行背景建模和运动目标检测；

步骤S2：检测运动目标所在场景是否变化，如果运动目标所在场景发生变化，执行步骤S3；如果运动目标所在场景没有发生变化，执行步骤S7；

步骤S3：根据运动目标所在场景覆盖视角大小，将整个运动目标所在场景分割成若干个子区域；

步骤S4：对每个子区域中的运动目标区域提取特征向量；

步骤S5：通过对特征向量的聚类算法对每个运动目标区域的类别进行粗略标注；

步骤S6：每个子区域的运动目标个数达到某个阈值时，根据已经经过该子区域的所有运动目标区域的特征向量，初始化高斯分布和先验概率，完成该子区域对应分类器初始化；

步骤S7：对经过该子区域的运动目标进行分类，并在在线分类基础上不断迭代优化分类器参数；

步骤S8：将运动目标跟踪过程中的分类结果融合，输出在线学习的运动目标分类结果。

2.按权利要求1所述的基于在线学习的运动目标自动分类方法，其特征在于：所述检测步骤包括如下：

对图像序列背景建模获取相对于光照变化鲁棒的背景模型与前一时刻获得的背景模型进行比较来判断是否发生场景变化。

3.按权利要求1所述的运动目标自动分类方法，其特征在于：所述背景建模是提取运动目标图像序列的每一帧的反射分量，对反射分量进行混合高斯背景建模来去除光照产生阴影对运动目标形状的影响和去除光照剧烈变化对运动目标区域形状的影响。

4.按权利要求1所述的运动目标自动分类方法，其特征在于，所述特征向量提取包括：提取每一个运动目标区域的速度、面积、紧密度，即紧密度指面积和运动目标区域轮廓周长平方的比值，面积随时间的导数，速度方向与运动目标区域轮廓主轴方向的夹角特征；在聚类阶段使用：紧密度、面积随时间的导数、速度方向与运动目标区域轮廓主轴方向夹角这三个特征；在初始和迭代优化分类器阶段使用：速度、面积、紧密度这三个特征。

5.按权利要求1所述的运动目标自动分类方法，其特征在于：根据运动目标所在场景中运动目标区域的平均面积大小和运动目标所在场景面积大小的比值，对所述运动目标所在场景进行分割，使分类在每个子区域中独立操作，用于弥补大场景广视角投影变形。

6.按权利要求1所述的运动目标自动分类方法，其特征在于：所述标注使用对特征向量的K均值聚类和规则融合对运动目标区域的类别进行自动标注。

7.按权利要求1所述的运动目标自动分类方法，其特征在于：根据所述运动区域内的自动标注值，假设高斯分布，估计每一个类别对应的高斯分布的参数；根据所述子区域内经过的被自动标注为同一类别的运动目标个数和经过该子区域的所有运动目标个数的比值，求取每一类别的先验概率。

8.按权利要求1所述的运动目标自动分类方法，其特征在于：在所述分类是用新分类的运动目标区域对原来的高斯分布和先验概率进行更新。

9.按权利要求1所述的运动目标自动分类方法，其特征在于：所述分类分两种情况，如果通过子区域的运动目标个数达到阈值，已初始化高斯分布和先验概率，则利用贝叶斯准则对运动目标区域进行精细分类，如果没有达到阈值，则比较该区域的特征到三个聚类中心的距离，将其分类为最近的那个类别。

10.按权利要求1所述的运动目标自动分类方法，其特征在于：所述运动目标进行跟踪，通过对不同帧，同一运动目标的分类结果进行融合，用于准确分类。

Images