CN109344690A - 一种基于深度相机的人数统计方法 - Google Patents

Abstract

本发明公开了一种基于深度相机的人数统计方法，首先使用深度相机实时获取监控区域的深度图像，构建三维空间背景模型；利用深度信息分层搜索，识别不同距离的运动目标以及分割重叠的运动目标；再利用垂直与水平投影对运动目标定位以及分割同一深度层存在多个运动目标；然后根据运动目标深度与高度的映射关系，计算不同深度区的运动目标的形态学密度比例判定行人；最后根据检测到的最近一帧行人头部特征区域的中心坐标以及行人速度，对当前帧中的头部区域进行搜索和匹配进行人数统计,本发明相较于传统方式的人数统计方法更加稳定、准确，不会受到光照变化以及光照产生的阴影的干扰，可有效地提高室内外公共区域内的人数实时统计效率与准确度。

Description

一种基于深度相机的人数统计方法

技术领域

本发明涉及实时视频图像处理及识别技术领域，具体为一种基于深度相机的人数统计方法。

背景技术

在信息化管理水平日益提高的今天，对于超市、商场、车站、银行等人流量巨大的场所进行人数统计实时估计、客流分布分析、拥挤程度估计等人数统计资料成为为公共区域管理提供第一手资料的有效途径，当前客流检测监控主要采用三类技术即：红外检测技术、压力检测技术及图像处理技术。

(1)红外检测技术比较成熟，被广泛应用与车站、码头、商店、书店等人口流动频繁，有人工辅助监控的地方。其特点是能对有一定距离间隔的人流做出正确有效的判断，但对于前后拥挤、接踵而至的人流效果较差。

(2)压力检测，其原理是通过检测人体的重量，来感知人的存在，鉴于客流检测，统计的是人的数量，通常做法是采用踏板式压力传感器技术，在客流通过时，通过对踏板的踩踏，引起传感器内部应变片的变化，从而影响传感器内电流的变化，对电流变化进行采样，统计客流信息，应用压力监测的前提是任何人都必须踩到每块踏板，对于多只脚同时踩上的情况以及正有人在踏板上，紧接着又有人踩到踏板上的情况难以进行有效的检测。

(3)而在图像处理的方法中，目前应用最多的是基于二维图像处理的人数统计，中国专利CN102855466A，名称为“一种基于视频图像处理的人数统计方法”的发明专利公开了一种基于二维视频图像处理的人数统计方法，但该发明容易受光照变化以及光照产生的阴影的干扰，使得行人子区域分割不准确，影响人流量统计效果，同时受目标物遮挡、变形等的影响因素大，所以这种计数技术并不能满足公共区域各种环境中对不断变化的人流量的统计需求。

有鉴于此，有必要对现有技术中公共区域内的人数统计方法予以改进，以解决上述问题。

发明内容

针对背景技术中存在的问题，本发明提供了一种基于深度相机的人数统计方法，该发明解决了现有技术中公共区域内的人数统计方法对应用环境的鲁棒性差、运动目标跟踪准确率低的技术问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度相机的人数统计方法，该方法包括以下步骤：

S1：搭建深度相机机器视觉平台，使用深度相机实时获取监控区域的深度图像；

S2：使用深度相机采集应用场所空旷时的深度图像，采用多帧图像平均法构建三维空间背景模型；

S3：利用背景差分法，得出运动目标的前景图像，并对前景图像做二值化处理，获得运动目标的二值图像；

S4：利用深度信息分层搜索，识别不同距离的运动目标以及分割重叠的运动目标；再利用垂直与水平投影对运动目标定位以及分割同一深度层存在多个运动目标，由此精确划分出各个包含运动物体的小区域，进一步分割出遮挡目标；

S5：根据运动目标深度与高度的映射关系，对不同深度的划分区域分别处理，计算不同深度区的运动目标的形态学密度比例，再结合模板匹配法判定行人；

S6：根据S5中所检测到的最近一帧的行人头部区域的中心坐标，以及由前几帧算出的行人的速度，对当前帧中的头部区域进行搜索和匹配；

S7：根据所匹配人员的运动轨迹进行人数统计。

作为本发明一种优选的技术方案，所述步骤S4包括以下步骤：

步骤S41：将监测区域按照距离远近进行分层，搜索出位于不同深度层的运动目标；

步骤S42：对各个深度层内检测出的运动目标分别进行水平投影与垂直投影，获得各个深度层的运动目标的上下边界；根据波峰波谷点，对同一距离层存在的多个运动目标进行分割。

作为本发明一种优选的技术方案，所述步骤S5判断行人的算法包含以下步骤：

步骤S51：假设检测到的运动目标为行人，根据运动目标深度与图像中高度的映射关系，对不同深度的运动目标分别进行处理：计算不同深度区的运动目标的形态学密度比例，根据比例结果对运动目标进行第一次行人判断；记满足形态学密度比例的运动目标为目标A，不满足形态学密度比例的运动目标为目标B；

步骤S52：对S51步骤中运动目标A进行第二次形态学密度判断，若形态学密度比例符合要求，则最终判断为行人；对运动目标B采用模板匹配方式进行行人判断，若模板匹配结果符合要求，则也最终判断为行人。

作为本发明一种优选的技术方案，所述步骤S6中：结合S5中所检测到的最近一帧的行人头部特征区域的中心坐标，以及由前几帧算出的行人的速度，对当前帧中的行人头部特征区域进行搜索和匹配，其包括以下计算过程：

在视频图像中，相邻两帧的时间间隔很短且行人在相邻两帧间的运动状态不会变化太快，所以可以认为相邻两帧之间的同一行人的运动是匀速的，且将同一行人的头部特征区域中心在两帧间的运动距离上限记为Th；

设由深度相机拍摄到的一组图像序列为P＝(p₁,p₂,...p_n...)，其中在第n帧图像p_n中检测到m个目标s_1,n,s_2,n,...,s_m,n；记运动目标s_i,n(1＜i＜m)的头部中心坐标为第n-1帧检测到k个目标m_1,n-1,m_2,n-1,m_3,n-1,...m_k,n-1，运动目标m_i,n-1(1＜i＜k)的头部中心坐标为设T_i为第n-1帧内k个检测目标的运动情况，其中，v_x,v_y表示第n-1帧中的第i个目标的速度，它由该目标点两次检测到的位置计算得到；

匹配算法过程如下：

(1)位置预测，由最近一帧检测到的行人目标的头部区域的中心坐标的位置、速度等信息来预测该目标在当前帧的位置；以第n-1帧中的目标m_j,n-1为例(1<j<k)，其状态描述预测其在第n帧的位置为：

(2)计算d＝||S_i,n-S_p||

(3)对目标链中所有的目标T_j(j＝1,2,...k)计算目标的测度值D＝(d₁,d₂,...d_k)，求得d_j＝min(D)，若d_j＜Th，则匹配成功，判定s_i,n为T_j(j＝1,2,...k)在第n帧出现的新位置，执行(4)，否则s_i,n为一个新目标，执行(5)；

(4)更新T_j， 为s_i,n的中心坐标，速度v′_x和v′_y由s_i,n中心坐标和更新前T_j中心坐标计算得到；

(5)在目标尾链加入目标T_k+1， 为s_i,n的中心坐标，速度v′_x和v′_y为新目标的初始速度，设为0。

与现有技术相比，本发明的有益效果是：本发明对定位到的运动物体，根据深度信息投影进行分割，根据人体头部比例特征进行筛选，筛选出的物体作为我们追踪的目标，相较于传统基于二维图像的人数方法更加稳定、准确，不会受到光照变化以及光照产生的阴影的干扰，可有效地提高公共区域内的人数实时统计的效率与准确度。

附图说明

图1为本发明基于深度相机的人数统计方法的流程图；

图2为本发明基于深度相机的人数统计方法深度相机安装与采集空间模型的示意图；

图3为本发明基于深度相机的人数统计方法的行人判别示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参图1所示，图1为本发明一种基于深度相机的人数统计方法的具体实施方式中的流程示意图。

在本实施方式中，所述人数统计方法包括以下步骤：

S1：搭建深度相机机器视觉平台，使用深度相机实时获取监控区域的深度图像；

参图2所示，本发明一种基于深度相机的人数统计方法基于摄像机向下倾斜30度拍摄并适用于室外情况和室内情况。在本实施方式中，该步骤S1具体为：通过深度摄像机01获取监控区域03的视频图像作为输入图像，所述监控区域位于摄像机的斜下方，02为出入口，行人按照04所指示的方向出入门。

具体的，深度摄像机设置在出入口附近的正上方，摄像机所获取的监控区域可完全覆盖出入口的全部区域。

S2：使用深度相机采集应用场所空旷时的深度图像，采用多帧图像平均法构建三维空间背景模型；

采用多帧图像平均法按下方公式计算出初始三维空间背景模型D(x,y)。

其中，d_k(x,y,k)表示第k帧图像在点(x,y)处的深度值，N为统计的帧数。在本实施方案中，取N＝3。

S3：利用背景差分法，得出运动目标的差值图像，并对差值图像做二值化处理，得到运动目标的二值图像；

背景差分法以及对差值图像二值化处理按下列公式表示：

B(x,y,i)＝d(x,y,i)-D(x,y)

其中，d(x,y,i)为监控视频中第i帧原图像，B(x,y,i)为监控视频中第i帧图像与背景模板图像之间的差分图像，T(x,y,i)为二值化后的目标图像。

S4：对目标图像进行定位与分割，划分出可能为人的区域；

利用深度信息分层搜索，识别不同距离的运动目标以及分割重叠的运动目标。再利用垂直与水平投影对运动目标定位以及分割同一深度层存在多个运动目标，由此精确划分出各个包含运动物体的小区域；

步骤S5计算不同深度区的运动目标的形态学密度比例，再结合模板匹配法判定行人，具体方法可以分为两大步骤S51与S52：

步骤S51：假设检测到的动态物体为行人如图3所示，根据经验，在2m至6m的深度范围内，区域的上部长度15个像素点的区域为人的头部区域，如图3中的红线框出的区域05。

统计区域05内的黑点数，即为假定的人的头部面积。再计算区域05的整体面积，得出人的头部面积占整个小区域面积的比例。

根据经验值，若比例满足在0.2至0.5之间，则视为满足行人判断的第一个条件，需对其进行第二次形态学密度判断，将此处的运动目标记为目标A。若比例不满足在0.2至0.5之间，可能是行人戴上帽子或者撑着伞等情况，此时判断此运动目标暂不满足行人条件，需再进行模板匹配判断，将此处的运动目标记为目标B。

步骤S52对第一步判断后筛选出来的区域进行第二次判断。

对于运动目标A，将区域05按宽度等分为三小块。每一小块的面积都为15*(width/3)，如图3中的区域051,052,053。分别统计区域051,052,053内的黑点总数与区域051,052,053面积的比例，记为z1,z2,z3，设置阈值t1＝0.21，t2＝0.75，t3＝0.21，当满足((z1&lt;＝t1)||(z3<＝t3))&&(z2>＝t2)时，判定动态物体为行人。

对于运动物体B，截取其上半部分，采用人形模板匹配法进行判断。若截取后的上半部分满足一定的形态比例，且该运动物体处于正常运动状态，则判断此动态物体为行人。

S6：根据S5中所检测到的最近一帧的行人头部特征区域的中心坐标，以及由前几帧算出的行人的速度，对当前帧中的头部区域进行搜索和匹配；

因为在视频图像中，相邻两帧的时间间隔很短且行人在相邻两帧间的运动状态不会变化太快，所以可以认为相邻两帧之间的同一行人的运动是匀速的，且将同一行人的头部特征区域中心在两帧间的运动距离上限记为Th。

设由深度相机拍摄到的一组图像序列为P＝(p₁,p₂,...p_n...)，其中在第n帧图像p_n中检测到m个目标s_1,n,s_2,n,...,s_m,n。记运动目标s_i,n(1＜i＜m)的头部中心坐标为第n-1帧检测到k个目标m_1,n-1,m_2,n-1,m_3,n-1,...m_k,n-1，运动目标m_i,n-1(1＜i＜k)的头部中心坐标为设T_i为第n-1帧内k个检测目标的运动情况。其中，v_x,v_y表示第n-1帧中的第i个目标的速度，它由该目标点两次检测到的位置计算得到。

匹配算法过程如下：

(1)位置预测，由最近一帧检测到的行人目标的头部区域的中心坐标的位置、速度等信息来预测该目标在当前帧的位置。以第n-1帧中的目标m_j,n-1为例(1&lt;j&lt;k)，其状态描述预测其在第n帧的位置为：

(2)计算d＝||S_i,n-S_p||

(3)对目标链中所有的目标T_j(j＝1,2,...k)计算目标的测度值D＝(d₁,d₂,...d_k)，求得d_j＝min(D)，若d_j＜Th，则匹配成功，判定s_i,n为T_j(j＝1,2,...k)在第n帧出现的新位置，执行(4)，否则s_i,n为一个新目标，执行(5)。

(4)更新T_j。 为s_i,n的中心坐标，速度v′_x和v′_y由s_i,n中心坐标和更新前T_j中心坐标计算得到。

(5)在目标尾链加入目标T_k+1。 为s_i,n的中心坐标，速度v′_x和v′_y为新目标的初始速度，设为0。

S7、根据所匹配人员的运动轨迹进行人数统计。根据所述人员及人员的运动轨迹进行人数统计的方法为：若检测到一个人员向室内移动，则将室内人数加一，若检测到一个人员向室外移动，则将室内人数减一。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度相机的人数统计方法，其特征在于该方法包括以下步骤：

S1：搭建深度相机机器视觉平台，使用深度相机实时获取监控区域的深度图像；

S2：使用深度相机采集应用场所空旷时的深度图像，采用多帧图像平均法构建三维空间背景模型；

S3：利用背景差分法，得出运动目标的前景图像，并对前景图像做二值化处理，获得运动目标的二值图像；

S4：利用深度信息分层搜索，识别不同距离的运动目标以及分割重叠的运动目标；再利用垂直与水平投影对运动目标定位以及分割同一深度层存在多个运动目标，由此精确划分出各个包含运动物体的小区域，进一步分割出遮挡目标；

S5：根据运动目标深度与高度的映射关系，对不同深度的划分区域分别处理，计算不同深度区的运动目标的形态学密度比例，再结合模板匹配法判定行人；

S6：根据S5中所检测到的最近一帧的行人头部区域的中心坐标，以及由前几帧算出的行人的速度，对当前帧中的头部区域进行搜索和匹配；

S7：根据所匹配人员的运动轨迹进行人数统计。

2.根据权利要求1所述的一种基于深度相机的人数统计方法，其特征在于：所述步骤S4包括以下步骤：

步骤S41：将监测区域按照距离远近进行分层，搜索出位于不同深度层的运动目标；

步骤S42：对各个深度层内检测出的运动目标分别进行水平投影与垂直投影，获得各个深度层的运动目标的上下边界；根据波峰波谷点，对同一距离层存在的多个运动目标进行分割。

3.根据权利要求1所述的一种基于深度相机的人数统计方法，其特征在于：所述步骤S5判断行人的算法包含以下步骤：

步骤S51：假设检测到的运动目标为行人，根据运动目标深度与图像中高度的映射关系，对不同深度的运动目标分别进行处理：计算不同深度区的运动目标的形态学密度比例，根据比例结果对运动目标进行第一次行人判断；记满足形态学密度比例的运动目标为目标A，不满足形态学密度比例的运动目标为目标B；

步骤S52：对S51步骤中运动目标A进行第二次形态学密度判断，若形态学密度比例符合要求，则最终判断为行人；对运动目标B采用模板匹配方式进行行人判断，若模板匹配结果符合要求，则也最终判断为行人。

4.根据权利要求1所述的一种基于深度相机的人数统计方法，其特征在于：所述步骤S6中：结合S5中所检测到的最近一帧的行人头部特征区域的中心坐标，以及由前几帧算出的行人的速度，对当前帧中的行人头部特征区域进行搜索和匹配，其包括以下计算过程：

在视频图像中，相邻两帧的时间间隔很短且行人在相邻两帧间的运动状态不会变化太快，所以可以认为相邻两帧之间的同一行人的运动是匀速的，且将同一行人的头部特征区域中心在两帧间的运动距离上限记为Th；

设由深度相机拍摄到的一组图像序列为P＝(p₁,p₂,...p_n...)，其中在第n帧图像p_n中检测到m个目标s_1,n,s_2,n,...,s_m,n；记运动目标s_i,n(1＜i＜m)的头部中心坐标为第n-1帧检测到k个目标m_1,n-1,m_2,n-1,m_3,n-1,...m_k,n-1，运动目标m_i,n-1(1＜i＜k)的头部中心坐标为设T_i为第n-1帧内k个检测目标的运动情况，其中，v_x,v_y表示第n-1帧中的第i个目标的速度，它由该目标点两次检测到的位置计算得到；

匹配算法过程如下：

(1)位置预测，由最近一帧检测到的行人目标的头部区域的中心坐标的位置、速度等信息来预测该目标在当前帧的位置；以第n-1帧中的目标m_j,n-1为例(1&lt;j&lt;k)，其状态描述预测其在第n帧的位置为：

(2)计算d＝||S_i,n-S_p||

(3)对目标链中所有的目标T_j(j＝1,2,...k)计算目标的测度值D＝(d₁,d₂,...d_k)，求得d_j＝min(D)，若d_j＜Th，则匹配成功，判定s_i,n为T_j(j＝1,2,...k)在第n帧出现的新位置，执行(4)，否则s_i,n为一个新目标，执行(5)；

(4)更新T_j， 为s_i,n的中心坐标，速度v′_x和v′_y由s_i,n中心坐标和更新前T_j中心坐标计算得到；

(5)在目标尾链加入目标T_k+1， 为s_i,n的中心坐标，速度v′_x和v′_y为新目标的初始速度，设为0。