CN105389829A - 一种基于嵌入式处理器的低复杂度动态目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于嵌入式处理器的低复杂度动态目标检测与跟踪方法，采用第一帧图像抽取其样本集的方法建立背景模型，减少了背景模型建立时的计算量，也帧数的减少提高了算法的实时性；由于结合了背景模型更新当中的保守策略和较为主动的策略，提升了其检测的效率，降低了错误检测的概率，提高嵌入式处理器进行视频目标跟踪的效率，增强整个视频传感器网络的效率。本发明通过对于背景模型更新当中的保守策略和较为主动的策略的使用，采用多个节点的对比检测方式联动，共享信息参与计算，均衡了各个节点的负担；能够获得较好的跟踪效果和较高的实时性，同时能够在运算能力较低的嵌入式处理器上运行，显示了较好的鲁棒性、实时性和低复杂度。

Description

一种基于嵌入式处理器的低复杂度动态目标检测与跟踪方法

技术领域

本发明涉及动态目标检测与跟踪领域，特别涉及使用运算能力有限的嵌入式处理器来进行视频动态目标跟踪的方法。

背景技术

随着计算机视觉在嵌入式领域研究的不断深入，视频处理在最近十几年中取得了巨大的成果，作为其重要的分支之一，视频跟踪在智能视频监控、基于视频的人机交互、医学图像等领域有着广泛的应用前景。近年来，嵌入式图像处理器以其高效，低能耗的特点引起人们的关注。因此，在嵌入式图像处理器上实现视频处理算法具有极高的应用价值。与此同时，多个嵌入式图像处理装置组成的监控网络，通过信息交互可以极大地提高跟踪效率，并且降低监控成本，为推广智能监控打下了良好的基础，从而满足低碳环保的要求。

近年来，通信技术、嵌入式技术和传感器技术的快速发展让具有感知能力、计算能力和通信能力的微型传感器开始进入人们的视野。这些传感器组成网络后能够协调地感知、采集和处理网络覆盖区域内的各种环境或监测对象信息，并发布给需要的用户。传感器网络将数字信息与现实世界融合在一起，深刻地改变了人与自然的交互方式。同时，这种传感器在军事、工农业控制、生物医疗、环境监测等诸多领域有着广泛的应用。相比单一的温度，湿度等传感器，多种传感器构成的传感器网络可以接收，分析更丰富的信息，也更加能反映区域内的实际情况。所以基于视频传感器网络的技术在未来将是一个很好的研究方向，发展前景十分广阔。

使用视频传感器进行目标跟踪是一个重要的方向，从2003年起，国内外研究机构和相关组织陆续开始对视频传感器在内的多媒体传感器展开研究。如美国加利福尼亚大学、波特兰州立大学、***·梅隆大学等著名学府均开始成立视频传感器网络研究小组并启动了与之相关的科研计划。与此同时，我国学者也对视频传感器网络方面的研究给予了高度重视，北京邮电大学智能通信软件与多媒体北京市重点实验室、哈尔滨工业大学、中国科学院计算技术研究所也对该领域开始进行探索。

近年来，随着嵌入式处理器的处理能力的不断提高，让使用更复杂信息作为源头的视频传感器成为可能。视频传感器相比传统传感器，其信息量大，可以监控的范围更加宽广，能对过去不能监测的多种目标进行检测、跟踪。同时，可以方便部署也是视频传感器的一大优点。部署灵活，监控范围广，信息量大是其主要优点。

然而，由于节点的计算能力有限，加之节点的能量供应极度匮乏，同时大量的信息无法直接通过网络进行传输，需要节点进行一定程度的计算后方可发送。这限制了视频传感器的发展。

视频跟踪技术当中根据跟踪方式的不同，大致可以分为以下四类：

第一类是基于区域的跟踪。该类算法需要先确定包含待跟踪目标的模板，模板通常为长方形或者不规则形状；然后运用相关准则跟踪目标，最常用的相关准则是SSD。它可以结合Kalman滤波预测等算法来估计目标在每帧视频中的位置。它的优点是未发生目标遮挡时，跟踪效果佳。缺点主要是耗时大；其次算法要求目标变形不大，而且不能出现严重遮挡。

第二类是基于特征的跟踪。这类算法主要利用直线、曲线、角点等特征来进行相关算法，它相关的对象是目标的一个或者几个局部特征。该类算法一般采用Canny算子获得目标的边缘特征或者采用SUSAN算子获得目标的角点信息。该类算法的优点在于对目标发生遮挡比较迟钝，只要还包含有局部特征，就可以成功跟踪。算法的难点在于怎样解决目标跟踪过程中的运动初始化问题。

第三类是基于活动轮廓的跟踪。活动轮廓模型是基于Snake模型的，使用一条能量最小的参数化曲线来表示，通过极小化以曲线函数为参数的能量来进行动态迭代，使得轮廓能够自动更新。这类算法的计算量不大，如果初期能恰当地分离各个运动目标并初始化目标轮廓，那么即使部分被遮挡，也能连续地进行跟踪，但是往往很难初始化轮廓。

第四类是基于模型的跟踪。该算法是利用特定对象的外观和形状的先验知识建立目标模型，然后在后续的视频帧中进行匹配和实时更新模型。通常有线图法、二维轮廓、三维模型三种方法对目标建立模型。但是实际上很难精确地获得所有运动目标的几何模型，这就限制了基于模型的跟踪算法的使用，同时由于需要计算的参数多、计算量大，这会耗费大量的时间，难以满足跟踪的实时性。

从以上可以看出，在需要进行视频跟踪的应用中，尤其是采用运算能力较低的嵌入式处理器来完成的应用当中，对算法的实时性要求较高，而第二类和第三类方法是满足要求的。然而，这两种方法都存在初始化困难的问题。如果不能很好地解决初始化的问题，跟踪就无从谈起。初始化方面，现有的方式多半是用多帧图像中的特征完成整个模型的初始化，这样一来对实时性的影响很大。处理多帧数据对于嵌入式处理器来说是不利的，尤其是在需要频繁切换的视频传感器网络当中。因此，现有技术中上没有一种效果和实时性兼具的跟踪方法。

在需要进行视频跟踪的应用中，尤其是采用运算能力较低的嵌入式处理器来完成的应用当中，对算法的实时性要求较高，而第二类和第三类方法是满足要求的。然而，这两种方法都存在初始化困难的问题。如果不能很好地解决初始化的问题，跟踪就无从谈起。初始化方面，现有的方式多半是用多帧图像中的特征完成整个模型的初始化，这样一来对实时性的影响很大。处理多帧数据对于嵌入式处理器来说是不利的，尤其是在需要频繁切换的视频传感器网络当中。因此，本领域的技术人员致力于开发一种基于运算能力较低的嵌入式处理器的效果和实时性兼具的跟踪方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何找到基于运算能力较低的嵌入式处理器的效果和实时性兼具的跟踪方法。

为实现上述目的，本发明提供了一种基于嵌入式处理器的低复杂度动态目标检测与跟踪方法，包括以下步骤：

A.视频输入；

B.视频帧预处理；

C.建立背景模型；

D.更新背景模型；

E.获取目标中心坐标；

F.定位跟踪。

进一步地，所述步骤A包括：

A1.视频设备初始化，完成对视频输入设备的使能；

A2.处理器端初始化图像输入，准备进行图像的获取；

A3.处理器对视频输入设备发出指令，开始捕捉图像。

进一步地，所述步骤C包括：

C1.对每个像素点建立其背景模型样本集。

进一步地，所述步骤D包括：

D1.对下一帧图像的每一个像素点同背景模型中的像素点进行比较，如果大

于给定阈值，则认为是一个匹配，同时匹配数增加，而对于背景模型中的每

个元素比较之后，计算其匹配数，若小于给定阈值，则认为其是动态的前景，

若大于给定阈值，则认为其是背景。

进一步地，所述步骤E包括：

E1.对于每一帧当中的前景，取其中心位置，作为目标的中心坐标。

进一步地，所述步骤F包括：

F1.对获得的坐标进行处理，同时将处理的结果发送给同时观测到目标的下一个节点，当节点完成计算之后，返回相关数值完成最终坐标计算，实现跟踪。

本发明的目的在于提供一种适用于嵌入式处理器的低复杂度视频跟踪方法，采用该方法可以提高嵌入式处理器进行视频目标跟踪的效率，从而增强整个视频传感器网络的效率。

本发明所提供的基于嵌入式处理器的低复杂度动态目标检测与跟踪方法，采用第一帧图像抽取其样本集的方法建立背景模型。一方面减少了背景模型建立时的计算量，另一方面帧数的减少提高了算法的实时性；本发明提供的基于嵌入式处理器的低复杂度动态目标检测与跟踪方法，由于结合了背景模型更新当中的保守策略和较为主动的策略，从而提升了其检测的效率，降低了错误检测的概率。

本发明所述方法具有如下技术效果：

1、本发明通过对于背景模型更新当中的保守策略和较为主动的策略的使用，减少了动态目标检测当中的错误率，提高了检测的实时性；

2、采用多个节点的对比检测方式联动，共享信息参与计算，均衡了各个节点的负担。

3、仿真和实验结果表明，本发明能够获得较好的跟踪效果和较高的实时性，同时能够在运算能力较低的嵌入式处理器上运行，显示了较好的鲁棒性、实时性和低复杂度。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的流程图；

图2是本发明的一个较佳实施例的关于视频输入格式的说明；

图3是本发明的一个较佳实施例的针对典型室内场景设计的环境示意图；

图4是本发明的一个较佳实施例的关于角度计算的示意图。

具体实施方式

在嵌入式端设计算法限制较多，最大的问题在于用有限的计算资源达成目的。PC端可以使用的视频跟踪算法尽管有足够精简的，但对于嵌入式来说仍然无法直接使用，需要针对嵌入式处理器特性进行改进。因此，如何利用有限的计算资源来完成跟踪与定位的目的就成了最大的挑战。

100.视频跟踪算法

使用嵌入式处理器进行动态目标跟踪可以分为三大部分。图像输入，目标检测及动态跟踪。具体流程如图1所示。

图像的输入部分，需要从摄像头导入逐帧的数据，同时完成对于原始数据的预处理，如高斯平滑，以减少图像噪点及模糊对于后续处理的干扰。

目标检测部分，首先要建立背景模型，用第一帧即可完成背景模型的建立，随后可以逐帧导入检测。第二帧输入开始，可以更新背景模型，更新的过程当中动态的前景就可以被检测出来

动态跟踪部分，根据前景的信息可以获取动态目标的中心坐标，从而在屏幕上显示，完成处理后导入下一帧即可实现循环动态跟踪。

110.图像输入

图像输入部分需要考虑之后的处理需要的信号源问题。具体来说就是提供大小合适，稳定清晰的图像源。模拟视频输入设备捕获的视频格式一般为YUV422格式，这是一种颜色编码格式，其采集的格式如图2所示。

其中，每个像素大小为16位，Y为亮度分量，UV为色差分量，每一个字当中，第一个字节存储第一帧的亮度信息Y0，第二个字节中存储第一帧的色差信息U0，第三个字节中存储第二帧的亮度信息Y1，最后一个字节中存储第一帧的色差信息V0，以此类推。进行目标跟踪的时候，对于颜色部分无需关心，即只需要提取每一帧的亮度信息就可以完成。因此，针对YUV422的编码，采用间隔取样的方式就可以把每一帧的亮度信息提取出来。也就是对于每个字的第一字节和第三字节提取信息即可。

对于提取之后的图像，进行高斯滤波以减少噪点的干扰。本算法中采用7×7的高斯核进行平滑。

120.目标检测

目标检测的过程中需要对检测环境建立背景模型，之后对于背景模型进行更新，达到检测动态目标的目的。

在建立背景模型的阶段，对ViBe算法进行改进。原算法中需要对第一帧当中的每个像素建立样本集。而本文算法当中，在建立样本集时，采用每个像素20个样本的数量进行。样本的选择为当前样本的8邻域随机选择。需要注意的是，OpenCV当中有内置的随机数生成函数，这方便了ViBe的使用，而嵌入式处理器上没有类似的函数可以选择，如果使用C语言内置的随机种子进行随机数计算则会大大拖累***的运行速度。基于此，本文算法采用随机数表的方式进行随机采样。具体来说，就是将预先生成好的随机数以数组形式存储于嵌入式处理器中，当需要随机取样时，顺序选择随机数表中的元素作为图像矩阵样本集中的下标，即可达到随机选择的目的。而随机数表的长度应当满足长时间选择的随机性，不宜过短，同时太长也会增加***的存储压力，应当根据需要进行调节。

在背景模型的更新阶段，分为检测模型匹配状况和对匹配模型的次数进行统计两个步骤。检测模型匹配状况是对当前像素与背景模型，即当前像素的样本集进行比较，结果是否匹配模型。统计匹配数是统计匹配的样本个数。初始化完成之后，从第二帧开始，对每个像素注意扫描，将其和同一位置像素的背景模型中，也就是对比背景样本集当中的N个样本值。方法是对其像素灰度值作差求绝对值，将所得的结果同预先设定的匹配阈值R进行比较。如果结果小于该阈值R，表示该像素存在一个匹配，同时匹配数增加。之后对匹配像素数目n₀(x,y)进行统计，再将结果同预先设定的最少匹配数目阈值#min进行比较。如果最终匹配数目之和小于该最少匹配数目阈值#min，就表示该像素是前景点；相应地，若最终匹配数目大于该最少匹配数目阈值#min，则表示该像素是背景点，如下式所示。

$M_0\left(x,y\right)=\left\{\begin{array}{c}1,n_0\left(x,y\right)<\#\min \\ 0,n_0\left(x,y\right)\&GreaterEqual;\#\min \end{array}\right.$

其中M₀(x,y)＝1表示第t帧(x，y)点被认为是前景点，M₀(x,y)＝0表示t帧(x，y)点被认为是背景点，从而最终产生结果M₀(x,y)，这是一个二值化的前景检测图像。

值得注意的是，在确定样本集中要替换的样本值时，ViBe算法随机选取一个样本值进行更新，这样可以使两个不同样本值之间的平滑过渡。因为更新是随机的，当前像素的一个样本值在t时刻不被更新的概率是(N-1)/N。假定时间连续的情况下，经过dt的时间后，该样本值仍然不被更新的概率是

$P(t,t+dt)={\left(\frac{N-1}{N}\right)}^{(t+dt)-t}$

即

$P(t,t+dt)=e^{-\ln \left(\frac{N}{N-1}\right)dt}$

130.动态跟踪

当检测出动态目标之后，就可以得到前景的位置信息，即所有M₀(x,y)＝1的点。假定目标的质心在目标内部，对所有的M₀(x,y)＝1的点进行统计，分别求其像素横坐标及纵坐标的算术平均值。

$cx=\frac{{\mathrm{\&Sigma;}}_{i=0}^N{x}_i}{N}$

$cy=\frac{{\mathrm{\&Sigma;}}_{i=0}^N{y}_i}{N}$

其中，x,y满足：

M₀(x,y)＝1

这样即可完成对单一目标的跟踪与检测。

300.双传感器定位算法

针对室内场景，可以搭建如图3所示的视频传感器网络，为方便起见，以两部视频传感器为例。图中所示的场景为房间中的俯视图，两个相同图像传感器分别放置于房间的角落，即传感器1放置于B点，传感器2放置于C点。同时每个摄像头的像场中有一边重合，即等腰梯形BCHG为可视区域。当目标出现在两个摄像头像场同时覆盖的区域内，只需要计算出目标深度，就可以对目标进行定位。具体步骤分为参数标定，计算初始数据，传输参数，继续计算和校验。

310.标定参数

为了使嵌入式处理器能够计算出正确的结果，需要对传感器的放置位置及像场数据进行标定，保证***的误差最小。整个***中需要标定的数据有摄像头像场大小∠GBC和∠HCB，两部传感器之间的距离i，目标在现实世界中投影到摄像头CCD所在平面的坐标和视频传感器中图像坐标的映射关系(即每个像素在对应到现实世界中的位置)。

320.计算初始数据

为了得到目标在现实世界中的坐标，需要计算目标深度，具体来说就是计算线段BF的长度l。为此需要解三角形BFC。根据已有数据，摄像头像场大小∠GBC和∠HCB，两部传感器之间的距离i为已知量，三角形BFC中三个角度α1、α2和β以及边长l、k需要求解。

其中，对于传感器1来说，α1可以很快计算得到，而α2则需要传感器2计算之后传输过来，如图4所示。

由图4所示，扇形BCG为摄像头1的视野范围，线段为摄像头CCD平面长边，即整个图像的长边，F点为目标位置，L为线段与弧MN交点，K为线段与线段交点，即目标在CCD上的像。根据几何原理，可得：

$\frac{\mathrm{\&alpha;}1}{\&angle;GBC}=\frac{ML}{MN}$

即弧ML与弧MN之比就是α1和∠GBC弧度之比。由于实际情况当中CCD长度很小，于是有：

$\frac{ML}{MN}\&ap;\frac{MK}{MN}$

因此，α1可以由目标在图像上的位置近似得到。

$\mathrm{\&alpha;}1=\frac{MK}{MN}\&CenterDot;\&angle;GBC$

同理可由传感器2计算出α2。

330.传递参数

将两部视频传感器之间的参数α1、α2进行传递，供对方继续使用。

340.计算结果

根据传递之后的参数继续进行计算，可以得到最终的结果。对于传感器1来说，由正弦定理可得到：

$l=\frac{i}{sin\mathrm{\&beta;}}\&CenterDot;sin\mathrm{\&alpha;}1$

由此可以计算出目标在世界坐标系中的位置，而目标的绝对位置也就唯一确定了。同理可以得到传感器2的结果：

$k=\frac{i}{sin\mathrm{\&beta;}}\&CenterDot;sin\mathrm{\&alpha;}1$

对于传感器2来说目标的位置也可以确定了。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于嵌入式处理器的低复杂度动态目标检测与跟踪方法，其特征在于，包括以下步骤：

A.视频输入；

B.视频帧预处理；

C.建立背景模型；

D.更新背景模型；

E.获取目标中心坐标；

F.定位跟踪。

2.根据权利要求1所述的基于嵌入式处理器的低复杂度动态目标检测与跟踪方法，其特征在于，所述步骤A包括：

A1.视频设备初始化，完成对视频输入设备的使能；

A2.处理器端初始化图像输入，准备进行图像的获取；

A3.处理器对视频输入设备发出指令，开始捕捉图像。

3.根据权利要求1所述的基于嵌入式处理器的低复杂度动态目标检测与跟踪方法，其特征在于，所述步骤C包括：

C1.对每个像素点建立其背景模型样本集。

4.根据权利要求1所述的基于嵌入式处理器的低复杂度动态目标检测与跟踪方法，其特征在于，所述步骤D包括：

D1.对下一帧图像的每一个像素点同背景模型中的像素点进行比较，如果大于给定阈值，则认为是一个匹配，同时匹配数增加，而对于背景模型中的每个元素比较之后，计算其匹配数，若小于给定阈值，则认为其是动态的前景，若大于给定阈值，则认为其是背景。

5.根据权利要求1所述的基于嵌入式处理器的低复杂度动态目标检测与跟踪方法，其特征在于，所述步骤E包括：

E1.对于每一帧当中的前景，取其中心位置，作为目标的中心坐标。

6.根据权利要求1所述的基于嵌入式处理器的低复杂度动态目标检测与跟踪方法，其特征在于，所述步骤F包括：

F1.对获得的坐标进行处理，同时将处理的结果发送给同时观测到目标的下一个节点，当节点完成计算之后，返回相关数值完成最终坐标计算，实现跟踪。