CN103325115A - 一种基于头顶摄像头的监控行人计数的方法 - Google Patents

Abstract

本发明公开一种基于头顶摄像头的监控行人计数的方法，首先将行人通过前景检测的方法提取出，然后累积画面中判别直线上的前景像素坐标，最后通过聚类这些坐标达到计数的目的。区别于目前的已有方法，本发明将计数的空间由当前摄像得到的画面，转移到了一个时间累积的平面。通过对时间累积平面中前景点的聚类，可以根据聚类得到的类别数目得到行人数目。实验证明本发明提出的方法，不仅在行人密度较大，场景较拥挤时效果良好，同时在行人稀疏时也可以取得令人满意的计数效果。

Description

一种基于头顶摄像头的监控行人计数的方法

技术领域

本发明属于计算机视觉与模式识别领域，具体地，涉及一种基于头顶摄像头的拥挤场景的行人监控计数新方法。

背景技术

在计算机视觉领域，视频监控计数的应用场合不断增加。特别是在智能交通领域，需要统计一定时间内通过某一区域的具体人数，以便合理安排公共交通。公共区域的行人数量一般都很大，人工计数成本很高，而且在人流量大的时候不能保证计数的精度，所以需要使用视频监控技术来实现行人的统计分析。

目前已经有很多种监控计数的***，使用各种方法，但是多数是使用跟踪等方法，对少量行人进行计数。对每个行人同时进行跟踪计算量很大，实时性不好。对于拥挤场景下的行人计数，一般以一群人为计数单位，而非精确区分每一个行人。近年来论文中的方法主要有：

Borislav Antic等人在2009年用聚类的方法得到前景中的每个人，聚类是针对当前帧进行，得到当前帧图像中的人数；Shizuka Fujisawa等人在2013年提出计算当前帧的光流，通过对光流聚类，得到当前帧内的行人数量；SenemVelipasalar等人在2006年提出根据前景区域的大小估计其中包含的人数；Jun-Wei Hsieh等人在2007年使用场景中不同位置不同的行人模板，通过与得到的前景进行匹配来估计人数；于海滨等在2007年通过提取头部特征以计算场景中行人的数量。顾德军等人在2009年提出用人头的椭圆特征与视频的前景进行匹配来寻找行人从而实现监控计数。

专利方面，申请号为CN201210274839.5的中国发明专利申请通过发色特征获取头部分割，得到人头区域并计数；申请号为CN201110089154.9的中国发明专利使用光流法获得稠密光流场，分类后进行计数；申请号为CN201210064543.0的中国发明专利提出了通过提取图像的加速稳健特征，聚类后跟踪计数的方法。申请号为201110201983.1的中国发明专利建立相邻图像帧的群组距离矩阵，利用群组上下文掩模统计场景中的人数；申请号为201210317785.6的中国发明专利使用双目摄像机获取深度信息，利用聚类信息检测和分割人体来计数；申请号为201110288334.X的中国发明专利申请通过对行人的前景进行团块分析以计算行人数量。

在已有的监控计数方法中，通常是基于跟踪每个行人，而在拥挤场景下，跟踪单个目标将会变得非常困难。也有基于当前帧的聚类的方法，但是若每一帧都要进行聚类运算，***将会耗费大量时间，影响实时性。本发明放弃了对目标进行跟踪的想法，而是估计周期内行人的数量，这样既避免了由跟踪带来的大量计算，又不会影响计数的准确性。

发明内容

针对现有技术存在的上述不足，本发明的目的是提供一种基于头顶摄像头的适用于拥挤场景的监控行人计数的方法，统计监控视频中行人的数量。本发明使用一种宏观的方法，而非精确定位每一个行人，以实现拥挤场景中大量行人的计数。

为实现上述目的，本发明所述的基于头顶摄像头的监控行人计数的方法，包括如下步骤：

第一步，安装摄像头。

本发明基于头顶摄像头，因此摄像头应安装在走廊或者过道的顶部，方向竖直向下。竖直向下安装的摄像头，拍摄到的行人之间的遮挡较少，这样就可以避免因为行人间遮挡而造成的计数错误。

第二步，设定两条判别直线，获得两直线上每一帧的前景坐标。

本发明采用减首帧法来得到前景，即先记录没有行人的情况下的第一帧，以后的每一帧与第一帧做比较，判断是否是前景。而首帧，以及以后的每一帧的数据，都只需在两条预先设定好的判别直线上计算。另外，本发明使用的减首帧法，首先把当前帧判别直线上每点的像素值转换为灰度值（大小为0到255），比较其与第一帧中该位置点灰度值的大小，若值大于阈值（本发明将阈值定位20），则判断为前景点；若值小于预设的阈值，则比较当前帧与首帧图像彩色图像中红绿蓝三个通道，只要有一个通道的像素值的差小于阈值（20），也判断该点为前景点，否则就标记为背景点。

本步骤中，无需对画面上每一个点进行分析是否是前景，而只需计算两条直线上的点，极大地减小了计算量并提高了***运行的效率。

第三步，记录时间-空间矩阵。

本发明通过借助使用时间-空间矩阵来估计预设的时间区间内场景中通过的行人的数量。在每一个时刻，由第二步可以得到两条判别直线对应的两个行向量，其长度为视频的宽，其元素的值为0或255，分别表示当时该点为背景或前景。在预设的计数周期T内，按照每一帧的次序组合这些行向量，可以得到时间-空间矩阵z1和z2。

本步骤中，生成了两个时间-空间矩阵z1和z2，该矩阵的行所在的方向表示视频中判别直线所在的行，该矩阵的列所在方向表示时间，该矩阵可以认为是判别直线上的各点的值对时间的积分。该矩阵元素的值为0或255，值为0表示该点在当时时刻为背景，值为255表示为前景。

第四步，获取时间-空间矩阵中前景的坐标。

本步骤中，从时间-空间矩阵的第一个元素开始判别，若值为255，则记录其坐标于相应二维矩阵zz1或zz2中。

时间-空间矩阵是一个行数为计数周期T，列数为视频宽度的矩阵，其元素的值为0或255。接下来遍历z1和z2，记录下矩阵中值为255的所有元素的坐标，分别存储在zz1和zz2向量中。zz1和zz2每一列都表示前景点在时间-空间矩阵中的坐标，总的列数为时间-空间矩阵中前景点的个数。

第五步，对时间-空间矩阵zz1中元素进行聚类。

时间-空间矩阵zz1中前景点组成的区域表示行人，而要计算场景中的行人，就要统计时间-空间矩阵中前景点聚成的类的类别数。由于类别数未知，因此采用均值漂移（Mean Shift）聚类方法。该方法随机取一个初始点，然后取该点为圆心，半径为所选阈值（bandwidth）的圆，计算圆内所有点的平均坐标位置，为新的圆心。如此循环到圆心不再变化为止，则最后的圆心就是一个聚类中心，圆内的点就属于这个中心的一类。当矩阵内所有的点都能够归到某一类之后，均值漂移聚类结束。记录每一个聚类中心的坐标。

第六步，对时间-空间矩阵zz2中元素进行聚类。

本步骤中，不使用类别数已知的聚类方法，以防止聚类中心不一致的情况。虽然zz2与zz1一样同为时间-空间矩阵，但是其聚类方法与zz1完全不同。时间-空间矩阵zz2的作用是辅助判断行人的行走方向，因此行人数目视为已知。但是此处不适用类别数已知的其他聚类方法，因为得到的聚类中心可能会与zz1的聚类中心偏差很大。本发明假设时间-空间矩阵zz2的聚类中心就在zz1的聚类中心附近，于是对zz2中的每一个前景点，计算其与zz1的所有聚类中心的聚类，并取最小距离的中心，归于该中心一类。这样将zz2中所有点聚类后，可以得到新的聚类中心。

第七步，判断行人行走的方向。

本步骤中，计算由聚类得到的每一对聚类中心在时间轴上的差，以此判断聚类中心，也即行人的移动方向。

根据第五步和第六步得到的两个聚类中心，可以判断行人的行走方向。聚类中心的纵坐标，在时间-空间矩阵中表示时间，因此聚类中心的纵坐标的大小表示该行人出现在该判别直线上的时间。根据两条判别直线上聚类中心的纵坐标大小，计算出总人数中进入和走出的数目。

第八步，人数统计及输出。

根据计数周期T内聚类中心的数目和移动方向，可以计算进入和走出该区域的人数。当一个周期T时间过去后，输出进出区域的人数，将其加到该周期之前的出入人数总数上，以实现周期性刷新人数显示。

本发明引入了时间-空间矩阵这一概念，从而计算周期时间内场景中的人数。首先将行人通过前景检测的方法提取出，然后累积画面中判别直线上的前景像素坐标，最后通过聚类这些坐标达到计数的目的。区别于目前的已有方法，本发明将计数的空间由当前摄像得到的画面，转移到了一个时间累积的平面。通过对时间累积平面中前景点的聚类，可以根据聚类得到的类别数目得到行人数目。

与现有技术相比，本发明具有如下的有益效果：

首先，本发明的实现只需要使用单个摄像头，安装方便且对监控环境影响很小；

其次，本发明对于行人拥挤场景和行人稀疏场景均能进行监控计数，具有很高的实际应用价值；

再次，本发明有效的避免了行人间的遮挡对计数造成的影响，提高了监控计数的准确性；

最后，本发明仅在两条直线上进行前景检测，极大的减少了运算量，提高了***的效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为摄像头的安装位置要求。

图2为时间-空间矩阵zz1经聚类后的结果。

图3为时间-空间矩阵zz2经聚类后的结果。

图4为测试视频前200帧经***运行后的结果，在下一个周期的显示。

图5为测试视频前200帧图像每隔10帧采样的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明提供一种基于头顶摄像头的拥挤场景监控计数方法，该方法首先计算一个周期内场景中前景在判别直线上的累积，再使用聚类的方法估计累积得到的时间-空间矩阵中所含的行人数量，从而实现了对拥挤场景行人的准确计数。

如图1所示，展示了摄像头的安装位置要求。首先要合理地安装监控摄像头。测试视频的拍摄地点是一个过道的上方，摄像机放置在监控场景的上方可以有效的避免因行人之间遮挡带来的影响。另外，摄像机的安装高度不能太低，否则行人在视频中出现的时间就会相对较短，若采样频率不高，就会使目标在视频中的连续性变差。

为了提取场景中的运动目标，本发明采用减首帧法。拍摄的视频的第一帧需要避免出现行人，然后以第一帧的图像作为背景。为了避免噪声的干扰，背景检测可以在判别直线及其上下一个像素，也就是共三个像素宽度的直线上进行。得到前景的位置后，可以在这三个像素宽度的区域进行形态学的操作以减少噪声的干扰。这一步得到的是一个行向量，长度是视频的宽度，每个元素的值是0或者255，分别表示当前时刻该位置是背景或者前景。

接下来获取时间-空间矩阵。将上一步得到的行向量，按周期T的顺序组合，可以得到一个矩阵z1。同样对判别直线附近的另一直线做同样的计算，可以得到另一个矩阵z2。两条判别直线之间的距离不能太大，一般取10到20像素为宜。如果距离太大会导致两个时间-空间矩阵之间的差异太大，不利于行人聚类的对应；如果距离太小，则同一个行人的位置差别会不明显，难以判断行进的方向。

在得到了时间-空间矩阵之后，接下来分析其中所含有的行人的数量。首先计算z1，z2矩阵中前景点，也就是值为255的点的位置，分别存在两个矩阵zz1，zz2中，下面对zz1与zz2中的列向量，也就是前景的坐标聚类。

对于zz1矩阵，由于聚类的类别数未知，本发明选择用均值漂移聚类方法：首先随机取zz1中的一个列向量，然后计算所有其他向量与第一个向量的欧氏距离，将距离小于预设的阈值bandwidth的点归为第一类，同时计算第一类的中心，将这个中心作为初始向量，重复上一步，如此循环直到中心的位置不变了为止。对剩下的未归类的向量继续以上的循环算法，直到所有的向量，也就是前景的坐标都聚类到某一类为止。这样就完成了zz1的聚类，且可以得到类别数。图2为zz1矩阵经均值漂移聚类运算后的结果。

接下来对zz2进行聚类。由于zz2矩阵的主要作用是判断行人行走的方向，所以类别数应该和zz1聚类的结果相同。因此要进行类别数已知的聚类。为了避免聚类中心和zz1的结果不一致，本发明直接以zz1的聚类中心近似zz2的聚类中心。分别计算zz2中的所有向量到近似的聚类中心的距离，归到距离最小的一类，然后计算每一类的新的中心。如果因为行人的前景处于时间-空间矩阵的边缘，造成在zz1中有前景而zz2中没有前景的话，zz2的聚类结果会显示聚类中心仍然和zz1的聚类中心相同，这样的情况，该行人在前一个周期应该计算过了，所以计数的时候可以定为零。图3为zz2经聚类后的结果。

在得到了两条判别直线上的时间-空间矩阵及其前景的聚类结果之后，进行行人行走的方向的判断。上两步聚类得到的中心是一一对应的，聚类中心的横坐标表示目标在场景中横向的位置，纵坐标表示在预设的周期T内，目标经过判别直线的时刻。所以根据同一个目标在两条判别直线上出现的时刻，就可以判断越线的先后，从而得到该目标行走的方向。

最后，***需要设置四个变量，up和down，res_up和res_down分别表示一个周期内向上走和向下走的行人数量，总的向上走和向下走的行人数量。***运行时，这四个变量每个周期刷新一次，up和down分别输出上个周期的计算结果，而res_up和res_down的值由其先前的值加上上个周期up和down的值，以得到最新的总的计数结果。图4为测试视频前200帧经***运行后的结果，在下一个周期的显示。在前200帧中，聚类得到11个中心，比较两条判别直线上的聚类中心的纵坐标值，发现左上角的一个中心位置不变，故记为0，所以总计有8个人向上走，2个人向下走。图片在第二个周期的第67帧，也即总的第267帧截取，故视频帧数显示为67。

为了证明本发明的有效性，提供拍摄各种可能情况下的视频，其中包含行人比较密集和行人比较稀疏两种场景，结果均非常准确，测试视频中一些典型的场景见图5。

区别于目前的已有方法，本发明累积计算一个周期内由前景组成的时间-空间矩阵，对该矩阵进行聚类分析以求得周期内场景中通过的行人数量；同时比较由两相邻判别直线的矩阵求得的聚类中心的位置，估计行人行走的方向，经过实验测试，可以取得令人满意的计数效果。

实验证明本发明提出的方法，不仅在行人密度较大，场景较拥挤时效果良好，同时在行人稀疏时也可以取得令人满意的计数效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于头顶摄像头的监控行人计数的方法，其特征在于，所述方法利用视频场景中某一判定直线上，时间累积的前景矩阵来估计场景中的人数，具体包括如下步骤：

第一步，安装摄像头，摄像头方向竖直向下；

第二步，设定两条判别直线，获得两直线上每一帧的前景坐标，采用减首帧法，即先记录没有行人的情况下的第一帧，以后的每一帧与第一帧做比较，判断是否是前景；

第三步，分别记录下设定的时间区间T内，两直线上每一帧背景与前景的数据，背景记为0，前景记为255，分别存储在两个矩阵z1，z2中，即两个时间-空间矩阵z1，z2；

第四步，分别遍历两个矩阵z1，z2，用两个二维矩阵zz1，zz2记录下z1，z2中前景点的坐标；

第五步，对二维矩阵zz1中元素进行聚类，得到类别数n和类别中心的坐标；

第六步，在二维矩阵zz2中，计算每个坐标与二维矩阵zz1聚类得到的每个中心的距离，与每个中心距离最小的所有坐标认为是一类，同时计算每一类的中心的坐标；

第七步，计算由聚类得到的每一对聚类中心在时间轴上的差，以此判断聚类中心，也即行人的移动方向；

第八步，人数统计及输出：根据每一段计数周期T内聚类中心的数目和移动方向，计算进入和走出该区域的人数，并输出显示。

2.根据权利要求1所述的基于头顶摄像头的监控行人计数的方法，其特征在于，所述第二步，具体为：采用减首帧法来得到前景，即先记录没有行人的情况下的第一帧，以后的每一帧与第一帧做比较，判断是否是前景，而首帧，以及以后的每一帧的数据，都只需在两条预先设定好的判别直线上计算；所述减首帧法，首先把当前帧判别直线上每点的像素值转换为灰度值，灰度值大小为0到255），比较其与第一帧中该位置点灰度值的大小，若值大于阈值，则判断为前景点；若值小于预设的阈值，则比较当前帧与首帧图像彩色图像中红绿蓝三个通道，只要有一个通道的像素值的差小于阈值，也判断该点为前景点，否则就标记为背景点。

3.根据权利要求2所述的基于头顶摄像头的监控行人计数的方法，其特征在于，所述第二步，两条判别直线之间的距离取10到20像素。

4.根据权利要求1所述的基于头顶摄像头的监控行人计数的方法，其特征在于，所述第三步中，生成了两个时间-空间矩阵z1和z2，该矩阵的行所在的方向表示视频中判别直线所在的行，该矩阵的列所在方向表示时间，该矩阵认为是判别直线上的各点的值对时间的积分，该矩阵元素的值为0或255，值为0表示该点在当时时刻为背景，值为255表示为前景。

5.根据权利要求1所述的基于头顶摄像头的监控行人计数的方法，其特征在于，所述第四步中，具体为：从时间-空间矩阵的第一个元素开始判别，若值为255，则记录其坐标于相应二维矩阵zz1或zz2中。

6.根据权利要求1所述的基于头顶摄像头的监控行人计数的方法，其特征在于，所述第五步中，使用均值漂移聚类方法对zz1进行聚类，均值漂移算法中的阈值bandwidth根据场景中行人的大小改变，也即根据摄像头安装的高度和摄像机的焦距改变。

7.根据权利要求1所述的基于头顶摄像头的监控行人计数的方法，其特征在于，所述第六步中，采用二维矩阵zz2中数据点与二维矩阵zz1的所有聚类中心的欧式距离为判别依据，与某一中心距离最小的点聚为一类，若视频的采样频率有变，则在聚类中心坐标的横纵坐标值上附加上权值，修正由采样频率变化带来的z1与z2矩阵的变形。

8.根据权利要求1-7任一项所述的基于头顶摄像头的监控行人计数的方法，其特征在于，所述第七步中，比较对应两个聚类中心点在时间坐标上的大小，据此判断行人过两条判定直线的先后，从而得出行人的行走方向。

9.根据权利要求1-7任一项所述的基于头顶摄像头的监控行人计数的方法，其特征在于，所述第八步中，行人数量的显示以T为周期，刷新显示。

Images