CN101425128A - 基于激光传感器深度图像的人流检测方法 - Google Patents

Abstract

本发明首先通过激光传感摄像机拍摄多帧在检测区域空置时的深度图像，得到检测区域地面的地形图，接着在实际人流检测环境下，得到检测区域各检测点的实际高度。将检测区域各点高度点阵图像分成多个图层，对每一个图层分别采用自迭代组织分析技术对点阵图像进行聚类，分割出每一个图层中的目标。从第一个图层开始，采用自上而下的方式对每一个图层中的目标进行累加或者合并，检测出每一帧深度图像中的行人目标。对多帧图像目标进行跟踪，最终达到对检测区域内行人流的密度、速度和流量等信息实时检测的目的。当外在检测环境发生改变时该方法依然能够对行人流进行有效检测，还具有计算简便、实时性好、同步实现人流的监控功能等优点。

Description

基于激光传感器深度图像的人流检测方法

技术领域

本发明属于图像处理、模式识别技术领域，涉及可广泛用于火车站、机场、地铁站、大型会展中心和人行道等大型公共场合的人流检测方法。

背景技术

随着经济增长，城市化进程的加快以及城内或城区之间大规模的人口流动，导致一些大型的公共场所如火车站、机场、地铁站，人行道等地方人流密度急剧增加，为这些公众服务场所的有效公共管理带来了巨大的压力。随着实时监控技术、电子检测技术、通讯技术以及信息科学技术的日趋成熟，实时人流信息监测与管理***的开发和应用在公众管理领域正日益受到重视，并显示出巨大的经济和社会效益。公共区域实时人流信息监测与管理***为公众管理提供了重要的技术支撑和信息平台；它实时、动态地反映监测人流和公共场所行人交通流的状态，为公共场所人流监控和动态引导，人流拥堵原因分析，行人交通流诱导决策，行人通道的合理规划提供了重要依据。公共场所人流信息(流量、密度等)的检测是公共区域实时人流信息监测和管理***中的一项关键技术，它的获取可为公共区域公众管理提供最直接、最可靠的依据。然而对公共场所实时人流信息的检测与检测手段息息相关，不同的人流检测手段决定了信息获取的不同的方法、精度和适宜条件。

经对现有技术的文献检索发现，Halvorson，G.A等在其硕士论文(“Automated Real-Time Dimension，Measurement of Moving Vehicles UsingInfrare，Laser Rangefinders”)(“自动实时尺度：红外、激光测距仪在移动车辆检测的应用”)一文中指出，目前目标物体检测手段主要依靠视频检测和红外检测两种技术，这两种技术广泛应用于各种特定目标的跟踪和检测，其最大的优点是能够实时、直观、精确地对检测区域内的物体进行有效、快速的检测，目前相关算法的研究也比较成熟，普适性较强。其不足之处在于对于密集行人这种个体面积比较小，而且运动又无规律性的目标物体有效检测性能较差，此外，这两种方法严重依赖天气和光照等外在条件，一旦外在允许检测条件变化，检测效果将大打折扣，成为制约这两种方法在一些特定环境使用的重要瓶颈。

发明内容

本发明的目的在于针对现有技术的不足，提出了一种基于激光传感器深度图像的人流检测方法。在实际人流信息检测中，该方法根本解决了在视频检测和红外检测中检测手段对天气、光照和检测对象大小依赖的问题，当外在检测环境发生改变时该方法依然能够对行人流进行有效检测。此外，该方法还具有计算简便、实时性好、同步实现人流的监控功能等优点。

为达到以上目的，本发明所采用的解决方案是：

一种基于激光传感器深度图像的人流检测方法，包括：首先通过激光传感摄像机拍摄多帧在检测区域空置时的深度图像，通过地形制图的方式得到检测区域地面的地形图，接着在实际人流检测环境下，使用实际场景中人流的深度图像减去地形图中各地面的实际高度，得到检测区域各检测点的实际高度。接下来，按照检测区域各点的实际高度范围，通过多个阈值将检测区域各点高度点阵图像分成多个图层，对每一个图层分别采用自迭代组织分析技术对点阵图像进行聚类，分割出每一个图层中的目标。然后从第一个图层开始，采用自上而下的方式对每一个图层中的目标进行累加或者合并，检测出每一帧深度图像中的行人目标。最后通过卡尔曼滤波对多帧图像目标进行跟踪，最终达到对检测区域内行人流的密度、速度和流量等信息实时检测的目的。

进一步，安装采集设备：使用的激光传感摄像头包括传感头、控制单元和人机交互部件。传感头就是检测单元，其三维尺寸是W550mm*D155mm*H150mm，一旦固定在监测点上，传感头可以在水平、垂直两个方向进行旋转，水平最大允许角度是150度，垂直最大允许角度是30度。当对三维物体扫描时，传感器检测数据包括扫描角度、摆动角度和深度数据。此外，因为检测变量是极坐标***，因此原始数据必须经过必要的处理转化为笛卡尔坐标***。

地形制图：因为聚类分类方法中需要的是人流个体的高度，所以必须采用地形制图的方式得到检测区域的地形高度信息。因为工作机制的原因，激光传感摄像头的扫描线不像普通的CCD摄像头那样固定在一个长方形的网格点内，因此需要对空置区域进行多次扫描，累计检测区域每个点的高度值，均衡地分配到预设的网格点上得到真实的地面高度图像，最后采用函数拟和的方法得到检测区域地形图。

多阈值分割、聚类：通过对原始深度图像进行地形制图滤波处理，可得检测区域人流各检测个体表面的高度图像，图像中每个像素的灰度等级表示了该检测个体表面某点的高度。本发明采用多个高度阈值对密集点阵进行分割，得到多个高度等级图层，对每一个图层中的点阵分别采用自迭代组织分析算法进行聚类，识别出每一个图层中物体，然后从第一个图层开始，对所有图层中的目标进行累加或者合并处理，最终得到每一帧深度图像中的行人目标。

行人个体跟踪：检测到每一帧深度图像中的行人目标后，接着就要进行目标跟踪，已获得人流平均速度、流量等信息。本发明采用卡尔曼滤波器跟踪方式对检测个体进行相应的跟踪识别，卡尔曼滤波器是一组方程，用有效的迭代方法来使过程均方误差最小来估计过程的状态。为了准确的跟踪行人，对每个行人建了3个卡尔曼滤波器，其中两个是x方向上和y方向上在网格中的信息，另外一个是图像中行人个体方框缩放比例。

由于采用了上述方案，本发明具有以下特点：本发明采用基于激光传感器深度图像的人流检测方法具有很多优点。首先本发明采用的是激光传感摄像头，该设备可以不受天气、光线等外在条件的限制持续工作，克服了传统的视频和红外检测手段受天气、光照等因素影响的缺点；其次，本发明使用了基于函数拟合的地形制图方式，节约了存储资源，且在运算时只增加一个滤波处理，提高了数据处理速度；再次，本发明对检测到的深度图像采用的是多阈值分割的方法，该方法消除了单阈值分割中存在的阈值选择难、检测目标不全等问题，大大提高了检测目标的准确性；最后，本发明***易于管理和维护，整个基于激光深度图像的人流检测主要由架设在行人通道顶部的激光传感摄像头及辅助电子设备组成、集成度高、图像传输可利用有线或无线信道。这样整个***是模块化结构、体积小、易于安装、使用，而维护也不会影响行人通道的正常交通运行。

附图说明

图1是本发明实施例的流程示意图

图2是本发明实施例的多阈值分割示意图。

图3是本发明实施例的图层聚类流程示意图。

具体实施方式

以下结合附图所示实施例对本发明作进一步的说明。

本发明采用激光传感摄像头、识别和跟踪行人流。本发明首先通过激光传感摄像机拍摄多帧空置检测区域的深度图像，通过地形制图的方式得到检测区域地面的地形图，接着在实际人流检测环境下，使用实际场景中人流的深度图像减去地形图中各地面的实际高度，得到检测区域各检测点的实际高度。接下来，按照检测区域各点的实际高度范围，通过多个阈值将检测区域各点高度点阵图像分成多个图层，对每一个图层分别采用自迭代组织分析技术对点阵图像进行聚类，分割出每一个图层中的目标。然后从第一个图层开始，采用自上而下的方式对每一个图层中的目标进行累加或者合并，检测出每一帧深度图像中的行人目标。最后通过卡尔曼滤波对多帧图像目标进行跟踪，最终达到对检测区域内行人流的密度、速度和流量等信息实时检测的目的。

本发明方法包括以下几个步骤：

1、激光传感器摄像头采集深度图像：

激光传感器摄像头不同于常见的CCD摄像头，它采集的图像是深度图像而不是常见的灰度图像。一幅深度图像上的像素值和摄像头镜头中心到检测目标的距离成正比。当脉冲激光束直接照射在被测物体的表面，从物体表面散射的光线被安装在激光传感器上的图像检测器检测到，数字时间计数器可以实时测量光线从激光二极管发出到被图像检测器检测到的时间，并将它转化为到被测物体点的距离，从而获得被检测物体点的深度图像。激光传感摄像头不仅拥有常用的CCD摄像头采集图像时的良好的鲁棒性，而且不受外部天气和光照等条件限制，实用性较强。当对三维物体扫描时，传感器检测数据包括扫描角度、摆动角度和深度数据。此外，因为检测数据表示是极坐标***，因此原始数据必须经过必要的处理转化为笛卡尔坐标***。

2、地形制图：

按照检测机制原理，激光传感摄像头检测到的是被检物体点距离激光摄像头镜心的深度，而对人流的检测分类中，需要的是每个检测个体距离地面的高度，每个个体距离地面的高度可以由该检测物体点的深度减去地面的深度得到，所以被检区域的地形深度信息是得到各检测个体高度信息的先决条件，特别是那种不平坦的地面，这个过程就是地形制图。

虽然可以通过扫描空置检测区深度图像，并且将检测数据存储起来形式进行地形制图，但是该方式浪费存储资源，在实际操作中，函数拟合是一种非常适用的不仅简便而且快速的地形制图方式，而且，该方法在计算检测个体高度时，可以将拟合函数作为一种滤波器使用，非常方便。

地形函数拟合的方法描述如下，如果函数y有n个独立变量，通过m个试验点(x_j1，x_j2，x_j3，....，x_jn)，j＝1，2，...m，这样则有

$\left[\begin{array}{ccccc}1& x_{11}& x_{12}& \·& x_{1n}\\ 1& x_{21}& x_{22}& \·& x_{2n}\\ \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·\\ 1& x_{m1}& x_{m2}& \·& x_{\mathrm{mn}}\end{array}\right]\left[\begin{array}{c}{u}_0\\ u_1\\ \·\\ \·\\ u_n\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ \·\\ \·\\ y_m\end{array}\right]$

其中u是拟合因子，其计算方式可变为：

$\left[\begin{array}{c}{u}_0\\ u_1\\ \·\\ \·\\ u_n\end{array}\right]={\left[\begin{array}{ccccc}m& \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}& \·& \·& \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}\\ \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}& \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}^2& \·& \·& \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}{x}_{\mathrm{in}}\\ \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·\\ \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}& \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}{x}_{\mathrm{in}}& \·& \·& \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}^2\end{array}\right]}^{-1}*\left[\begin{array}{c}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{y}_i\\ \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}{y}_i\\ \·\\ \·\\ \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}{y}_i\end{array}\right]$

一般情况下，地形制图一般采用2次拟合函数，因此地形函数H_地面(x，y)＝u₀+u₁x+u₂y+u₃x²+u₄y²+u₅xy，u_j是拟和因子。x，y，x²，y²，xy是5个独立变量，通过前述拟合方法，得到拟和的地形地图。

3、多阈值分割、聚类：

通过对原始深度图像进行地形制图滤波处理，可得检测区域人流各检测个体表面的高度图像，图像中每个像素的灰度等级表示了该检测个体表面某点的高度。通过统计可得到检测区域目标物体点阵的高度的最大值和最小值。如果对该图像只采用单一高度阈值进行分割，存在阈值选择困难的问题，如果选得过大，将会丢失检测目标，但是如果选择过小，检测点阵将密集分布，将严重加大目标物体聚类算法的难度。目前密集点阵的聚类算法依然是一个很难解决的问题，因此本发明采用多个高度阈值对密集点阵进行分割，得到多个高度等级图层，对每一个图层中的点阵分别采用自迭代组织分析算法进行聚类，识别出每一个图层中物体，然后从第一个图层开始，对所有图层中的目标进行累加或者合并处理，最终得到每一帧深度图像中的行人目标。

4、行人个体跟踪算法

在人流监控***中，目标跟踪起着至关重要的作用。检测到每一帧深度图像中的行人目标后，接着就要进行目标跟踪，已获得人流平均速度、流量等信息。本发明采用卡尔曼滤波器跟踪方式对检测个体进行相应的跟踪识别，卡尔曼滤波器是一组方程，用有效的迭代方法来使过程均方误差最小来估计过程的状态。为了准确的跟踪行人，对每个行人建了3个卡尔曼滤波器，其中两个是x方向上和y方向上在网格中的信息，另外一个是图像中行人个体方框缩放比例。

本实施例采用图1所示的基于激光传感器深度图像的人流检测方案，具体实施步骤如下：

1、安装硬件采集设备

本发明使用的激光传感摄像头包括传感头、控制单元和人机交互部件(监视器、键盘和鼠标)。传感头就是检测单元，其三维尺寸是W550mm*D155mm*H150mm，一旦固定在监测点上，传感头可以在水平、垂直两个方向进行旋转，水平最大允许角度是150度，垂直最大允许角度是30度。当对三维物体扫描时，传感器检测数据包括扫描角度、摆动角度和深度数据。此外，因为检测变量是极坐标***，因此原始数据必须经过必要的处理转化为笛卡尔坐标***。

2、地形制图

正如前面所述的，因为聚类分类方法中需要的是人流个体的高度，所以必须采用地形制图的方式得到检测区域的地形高度信息。因为工作机制的原因，激光传感摄像头的扫描线不像普通的CCD摄像头那样固定在一个长方形的网格点内，因此需要对空置区域进行多次扫描，累计检测区域每个点的高度值，均衡地分配到预设的网格点上得到真实的地面高度图像，最后采用函数拟和的方法得到检测区域地形图。

3、多阈值分割、聚类

当对检测区域人流深度图像进行地形滤波后，就可得到检测区域人流的高度密集点阵，对于每一帧高度密集点阵，本发明选取多个高度阈值对密集点阵进行分割，得到多张不同高度等级范围的点阵图层，对每个图层的点阵采用自迭代组织分析算法进行聚类，识别出每一个图层中行人个体(如图2、图3)。在此之后，本发明从第1个图层开始，设定识别出的行人个体为中间结果，并且将这个中间结果和第二层中识别出的物体进行比较，如果在相同位置出现的目标物体同时出现在两个图层上，则表明是同一行人；如果在同样位置第一图层没有出现而第二图层中存在，说明是一个新的目标，加入中间结果；如果在第一图层出现，但在第二图层没有发现，说明是一个误检目标，从中间结果中删除；如果在第一图层出现的多个行人目标，在第二图层上变为一个行人目标，就将检测目标融合为一个，并在中间结果中进行删减处理。重复上述过程直到最后一个图层结束，最终得到单帧高度图像中的所有识别个体。

4、行人个体跟踪

在人流监控***中，目标跟踪起着至关重要的作用。检测到每一帧深度图像中的行人目标后，接着就要进行目标跟踪，已获得人流平均速度、流量等信息。本发明采用卡尔曼滤波器跟踪方式对检测个体进行相应的跟踪识别，卡尔曼滤波器是一组方程，用有效的迭代方法来使过程均方误差最小来估计过程的状态。为了准确的跟踪行人，对每个行人建了3个卡尔曼滤波器，其中两个是x方向上和y方向上在网格中的信息，另外一个是图像中行人个体方框缩放比例。

从以上使用实例中可以发现，本实施例有效地克服了传统的视频、红外检测手段对天气和光照条件的依赖，将检测设备换成了激光传感摄像头，架设在行人通过的通道上放就可实现对人流的动态识别和检测，此外，该检测手段还具有计算简便、运算速度快、易于维护、实时监控等优点。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1、一种基于激光传感器深度图像的人流检测方法，其特征在于：

通过激光传感摄像机拍摄多帧在检测区域空置时的深度图像，通过地形制图的方式得到检测区域地面的地形图；

在实际人流检测环境下，使用实际场景中人流的深度图像减去地形图中各地面的实际高度，得到检测区域各检测点的实际高度；

按照检测区域各点的实际高度范围，通过多个阈值将检测区域各点高度点阵图像分成多个图层，对每一个图层分别采用自迭代组织分析技术对点阵图像进行聚类，分割出每一个图层中的目标；从第一个图层开始，采用自上而下的方式对每一个图层中的目标进行累加或者合并，检测出每一帧深度图像中的行人目标；

通过卡尔曼滤波对多帧图像目标进行跟踪，最终达到对检测区域内行人流的密度、速度和流量等信息实时检测的目的。

2、根据权利要求1所述的基于激光传感器深度图像的人流检测方法，其特征在于：使用的激光传感摄像头包括传感头、控制单元和人机交互部件；传感头是检测单元，一旦固定在监测点上，传感头可以在水平、垂直两个方向进行旋转。

3、根据权利要求2所述的基于激光传感器深度图像的人流检测方法，其特征在于：该传感头水平旋转最大允许角度是150度，垂直旋转最大允许角度是30度。

4、根据权利要求1所述的基于激光传感器深度图像的人流检测方法，其特征在于：当对三维物体扫描时，传感器检测数据包括扫描角度、摆动角度和深度数据；将极坐标***下检测到的原始数据转化为笛卡尔坐标***下数据。

5、根据权利要求1所述的基于激光传感器深度图像的人流检测方法，其特征在于：采用地形制图的方式得到检测区域的地形高度信息；对空置区域进行多次扫描，累计检测区域每个点的高度值，均衡地分配到预设的网格点上得到真实的地面高度图像，最后采用函数拟和的方法得到检测区域地形图。

6、根据权利要求1所述的基于激光传感器深度图像的人流检测方法，其特征在于：通过对原始深度图像进行地形制图滤波处理，可得检测区域人流各检测个体表面的高度图像，图像中每个像素的灰度等级表示了该检测个体表面某点的高度；采用多个高度阈值对密集点阵进行分割，得到多个高度等级图层，对每一个图层中的点阵分别采用自迭代组织分析算法进行聚类，识别出每一个图层中物体，然后从第一个图层开始，对所有图层中的目标进行累加或者合并处理，最终得到每一帧深度图像中的行人目标。

7、根据权利要求1所述的基于激光传感器深度图像的人流检测方法，其特征在于：检测到每一帧深度图像中的行人目标后，接着进行目标跟踪以获得人流平均速度、流量等信息。

8、根据权利要求7所述的基于激光传感器深度图像的人流检测方法，其特征在于：对检测个体进行相应的跟踪识别，用有效的迭代方法来使过程均方误差最小来估计过程的状态。

9、根据权利要求8所述的基于激光传感器深度图像的人流检测方法，其特征在于：采用卡尔曼滤波器跟踪方式对检测个体进行相应的跟踪识别。

10、根据权利要求9所述的基于激光传感器深度图像的人流检测方法，其特征在于：对每个行人建3个卡尔曼滤波器，其中两个是x方向上和y方向上在网格中的信息，另外一个是图像中行人个体方框缩放比例。

Images