CN108280402B - 一种基于双目视觉的客流量统计方法及*** - Google Patents
一种基于双目视觉的客流量统计方法及*** Download PDFInfo
- Publication number
- CN108280402B CN108280402B CN201711446898.5A CN201711446898A CN108280402B CN 108280402 B CN108280402 B CN 108280402B CN 201711446898 A CN201711446898 A CN 201711446898A CN 108280402 B CN108280402 B CN 108280402B
- Authority
- CN
- China
- Prior art keywords
- target
- targets
- group
- image
- acquisition module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于客流量统计领域,公开了一种基于双目视觉的客流量统计方法及***,所述方法包括获得第一图像和第二图像,根据所述第一图像和所述第二图像建立目标立体模型;根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度,根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群,并根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群;通过目标跟踪算法跟踪所述B目标群中的目标获得运动目标;对所述运动目标进行计数,获得所述客流量。所述***包括图像获取模块、目标立体模型建立模块、A目标群获取模块、B目标群获取模块、运动目标获取模块以及客流量统计模块。
Description
技术领域
本发明属于客流量统计领域,更具体地,涉及一种基于双目视觉的客流量统计方法及***。
背景技术
目前客流量统计主要分为以下3种技术:
1)客流量人工调查
客流量人工调查一般可包括随车客流量调查和驻站问卷调查等,其优点是调查资料全面,但是调查过程耗时长,调查数据严重滞后,无法实现客流量的实时统计。
2)IC卡客流量信息采集
在公交***中,IC卡能存储大量乘客信息量,使用它进行客流量调查成本很低。目前,国内特大型和大型城市的普通居民已经广泛使用了公交卡,但相对的,中、小城市以及县级市等乘客IC卡拥有、使用比例并不太高,同时,目前IC卡的使用并非实时网络统计,也并没有无线联网,大多数时候,都是要车到总站后利用其它设备进行客流量统计,所以可能不能很好地用于在我国的公交客流信息实时采集与处理上。此外,因无法对下车人数统计,所以,对于车载实时客流也无法完整的统计。
3)自动乘客计数***(Automatic Passenger Counting System,APCS)
在公交***中,自动乘客计数***利用先进的客流信息采集技术并与车辆定位、无线信息传输等技术相配合,可完成公交车辆的乘客上下车人数、上下车时间、相应站点等数据统计工作。已投入商用的APC***,根据技术实现方式的不同,大致可以分为:视频图像检测技术,红外线检测技术,脚印识别技术和压力检测技术等几种类型。
红外线检技术的局限在于当乘客数量较多且无序经过时,精度不高。
压力检测技术由于使用压力传感器件,在没有台阶的公交车辆上使用时,存在着计数不可靠的问题。另外,***部件易损坏、可维护性差,由于合适的设备安装位置对于准确计数至关重要,所以安装调试费用也较高。
脚印识别技术对于拥挤无不完全脚印与多于两个脚印情况的处理。这种方法同样对于拥挤无序的情况容易发生误差,并且由于乘客踩踏的原因,设备很容易老化。
相对而言,图像信息的容量更大,更丰富,图像处理技术的兴起于发展为解决公交客流统计提供了很多新方法。单目识别技术和双目识别技术是目前客流统计的主流技术。但由于公交车复杂的光线,人员,配置环境。单目客流统计技术无法解决光纤干扰,拥挤,台阶等问题。双目识别技术是目前公交客流统计的主流技术,中国智能交通产业联盟推出的视频客流采集设备技术标准也是推荐采用的双目客流统计技术。目前市场上的双目客流技术未能很好的解决拥挤,台阶,背包等问题。
中国专利申请号为201120123467.7(专利名称为:一种基于双目视觉的客流统计装置,公开日为:2011.04.25)提出了一种通过特征点匹配融合致密匹配的立体匹配技术,获取到准确的目标视差图像,通过聚类算法获得目标视差图像的连通区域的位置及面积信息,同时计算得到各连通区域重心位置,根据重心位置结合视差信息来定位目标以获得目标的统计数据,其是基于距离图像的公交车辆客流量统计***。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于双目视觉的客流量统计方法及***,其目的在于通过双目视觉原理以及目标跟踪算法对通过统计线的运动目标进行计数,且运动目标经过双重筛选得来的运动目标,从而实现客流量的精确统计,由此解决目前客流量统计成本高、统计不精确的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种基于双目视觉的客流量统计方法,包括以下步骤:
S1、获得第一图像和第二图像,根据所述第一图像和所述第二图像建立目标立体模型;所述目标立体模型包括多个目标;所述第一图像与所述第二图像存在公共区域,所述区域为所述第一图像与所述第二图像的内容;
S2、根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度,根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群,并根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群;
S3、通过目标跟踪算法跟踪所述B目标群中的目标获得运动目标;
S4、对所述运动目标进行计数,获得所述客流量。
优选地,所述根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度具体为:
判断是否存在台阶,是则判定所述目标立体模型中每个目标的目标高度为所述目标立体模型中每个目标的最高点的高度与所述台阶的高度之和,否则判定所述目标立体模型中每个目标的目标高度为所述目标立体模型中每个目标的最高点的高度。
优选地,在所述根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群之前还包括:
获得目标高度阈值;
所述根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群具体为:
判断所述目标立体模型中每个目标的目标高度是否大于等于所述目标高度阈值,是则判定目标立体模型中目标高度大于等于所述目标高度阈值的目标为所述A目标群中的一个目标。
优选地,在所述根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群之前还包括:
获得单目标范围;
所述根据所述A目标群中目标之间的边缘相交关系选取目标具体为:
判断所述A目标群中的每一个目标在所述单目标范围内是否存在其他目标,否则判定A目标群中在单目标范围内不存在其他目标的目标为所述B目标群中的一个目标,是则判断A目标群中在单目标范围内存在其他目标的目标边缘是否与这其他目标中一个或多个目标的目标边缘相交,是则判定与该目标的边缘相交的目标与该目标为所述B目标群中的一个目标;否则直接判定该目标为所述B目标群中的一个目标。
优选地,在所述步骤S4之前还包括:
获得开关门信号;获得第一统计线、第二统计线和计数时间阈值;
所述步骤S4具体包括以下子步骤:
S41、判断所述开关门信号为开门信号或关门信号;若所述开关门信号为开门信号,则进入步骤S42,否则进入步骤S43;
S42、判断所述运动目标是否通过所述第二统计线,是则对通过所述第二统计线且运动方向相同的运动目标分别进行计数,直至获得关门信号后的计数时间阈值;否则不对运动目标进行计数;
S43、判断所述运动目标是否通过所述第一统计线,是则在计数时间阈值内对通过所述第一统计线且运动方向相同的运动目标分别进行计数,并在计数时间阈值后对未通过所述第一统计线的第二目标进行计数或在计数时间阈值后对通过所述第二统计线且未通过所述第一统计线的第二目标进行计数,否则不对运动目标进行计数。
作为进一步优选地,所述计数时间阈值为10s以下。
作为进一步优选地,所述获得开关门信号在所述步骤S1之前完成。
按照本发明的另一个方面,提供了一种基于双目视觉的客流量统计***,包括图像获取模块、目标立体模型建立模块、A目标群获取模块、B目标群获取模块、运动目标获取模块以及客流量统计模块;
所述图像获取模块的输出端连接所述目标立体模型建立模块的输入端,所述目标立体模型建立模块的输出端连接所述A目标群获取模块的第一输入端,所述A目标群获取模块的输出端连接所述B目标群获取模块的第一输入端,所述B目标群获取模块的输出端连接所述运动目标获取模块的输入端,所述运动目标获取模块的输出端连接所述客流量统计模块的第一输入端;
所述图像获取模块用于获得第一图像和第二图像,所述第一图像与所述第二图像存在公共区域,所述区域为所述第一图像与所述第二图像的内容;
所述目标立体模型建立模块用于根据所述第一图像和所述第二图像建立目标立体模型;所述目标立体模型包括多个目标;
所述A目标群获取模块用于根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度,根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群;
所述B目标群获取模块用于根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群;
所述运动目标获取模块用于通过目标跟踪算法跟踪所述B目标群中的目标获得运动目标;
所述客流量统计模块用于对所述运动目标进行计数,获得所述客流量。
优选地,所述基于双目视觉的客流量统计***还包括目标高度阈值获取模块、单目标范围获取模块、统计线获取模块以及计数时间阈值获取模块;
所述目标高度阈值获取模块的输出端连接所述A目标群获取模块的第二输入端,所述单目标范围获取模块的输出端连接所述B目标群获取模块的第二输入端,所述计数时间阈值获取模块的输出端连接所述客流量统计模块的第二输入端;
所述目标高度阈值获取模块用于获得目标高度阈值,所述单目标范围获取模块用于获得单目标范围,所述统计线获取模块用于获得第一统计线以及第二统计线,所述计数时间阈值获取模块用于获得计数时间阈值。
优选地,所述基于双目视觉的客流量统计***还包括开关门检测模块,所述开关门检测模块的输出端连接所述图像获取模块的输入端;所述开关门检测模块用于判断是否存在开关门信号,是则获得开关门信号,否则继续检测是否存在开关门信号。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,由于本发明通过双重筛选、基于双目视觉原理以及目标跟踪算法实现了客流量的精确统计,能够取得下列有益效果。
1、本发明通过第一图像与第二图像建立目标立体模型,可以实时还原场景图像,可以通过目标立体模型判断目标是否为人,从而可以进一步精确统计客流量;
本发明先根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群,这样可以筛选出高度符合要求的目标,例如在公交***中,身高低于120cm的乘客不需要收费,也就不需要统计其数量,然后根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群,这样当一个目标携带背包或者抱着小孩时不会误统计目标数量,最后再通过目标跟踪算法跟踪所述B目标群中的目标获得运动目标,这样可以统计出运动目标的客流量,这种通过双重筛选以及目标跟踪算法获得的运动目标以统计客流量的方法更加精确;
2、本发明所述的方法还包括判断是否存在台阶,这样可以防止在存在台阶且目标站立于台阶上造成的因目标高度不准确从而导致客流量统计不准确的问题;
3、本发明通过A目标群中目标之间的边缘关系选取目标组成B目标群,也就是在单目标范围内将边缘粘合的目标看作为单个目标,这样方法有效解决了背包、抱小孩、携带物品所造成的客流量的误计;
4、本发明所述的方法中客流量统计是在开关门信号之后进行,以开关门信号作为客流量统计的触发点可以保证客流量的实时统计;
5、本发明在步骤S1之前获得开关门信号可以减轻***运动负担,当且仅当在获得开关门信号之后再根据所述第一图像和所述第二图像建立目标立体模型以及进行目标筛选;
6、本发明中所述计数时间阈值为10s以下,可以确保在获得关门信号后部分目标未通过第二统计线以及第一统计线造成其未被统计的情况发生,且可以在确保客流量统计精确的情况下降低***运行负担。
附图说明
图1是本发明所述方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明提供了一种基于双目视觉的客流量统计方法,包括以下步骤:
S1、获得第一图像和第二图像,根据所述第一图像和所述第二图像建立目标立体模型;所述目标立体模型包括多个目标;所述第一图像与所述第二图像存在公共区域,所述区域为所述第一图像与所述第二图像的内容;所述第一图像和所述第二图像可以通过双目摄像机获得,所述第一图像相当于是左图像,所述第二图像相当于是右图像;
S2、根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度,根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群,并根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群;所述目标立体模型中每个目标的最高点为根据第一图像、第二图像以及双目摄像机的参数值获得的目标深度值;
S3、通过目标跟踪算法跟踪所述B目标群中的目标获得运动目标;
S4、对所述运动目标进行计数,获得所述客流量。
所述根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度具体为:
判断是否存在台阶,是则判定所述目标立体模型中每个目标的目标高度为所述目标立体模型中每个目标的最高点的高度与所述台阶的高度之和,否则判定所述目标立体模型中每个目标的目标高度为所述目标立体模型中每个目标的最高点的高度。
所述根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度还可以为:
获得台阶高度值,所述目标立体模型中每个目标的目标高度为所述目标立体模型中每个目标的最高点的高度与所述台阶的高度之和;所存在台阶,则台阶高度值不为0,否则台阶高度值为0。
在所述根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群之前还包括:
获得目标高度阈值;
所述根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群具体为:
判断所述目标立体模型中每个目标的目标高度是否大于等于所述目标高度阈值,是则判定目标立体模型中目标高度大于等于所述目标高度阈值的目标为所述A目标群中的一个目标。
在所述根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群之前还包括:
获得单目标范围;
所述根据所述A目标群中目标之间的边缘相交关系选取目标具体为:
判断所述A目标群中的每一个目标在所述单目标范围内是否存在其他目标,否则判定A目标群中在单目标范围内不存在其他目标的目标为所述B目标群中的一个目标,是则判断A目标群中在单目标范围内存在其他目标的目标边缘是否与这其他目标中一个或多个目标的目标边缘相交,是则判定与该目标的边缘相交的目标与该目标为所述B目标群中的一个目标;否则直接判定该目标为所述B目标群中的一个目标。
在所述步骤S1之前还包括:
获得开关门信号;
在所述步骤S4之前还包括:
获得第一统计线、第二统计线和计数时间阈值;
所述步骤S4具体包括以下子步骤:
S41、判断所述开关门信号为开门信号或关门信号;若所述开关门信号为开门信号,则进入步骤S42,否则进入步骤S43;
S42、判断所述运动目标是否通过所述第二统计线,是则对通过所述第二统计线且运动方向相同的运动目标分别进行计数,直至获得关门信号后的计数时间阈值;否则不对运动目标进行计数;
S43、判断所述运动目标是否通过所述第一统计线,是则在计数时间阈值内对通过所述第一统计线且运动方向相同的运动目标分别进行计数,并在计数时间阈值后对未通过所述第一统计线的第二目标进行计数或在计数时间阈值后对通过所述第二统计线且未通过所述第一统计线的第二目标进行计数,否则不对运动目标进行计数。
所述计数时间阈值为10s以下。
本发明所述的基于双目视觉的客流量统计方法可以应用于公交***中,在本发明的具体实施例中,所述基于双目视觉的客流量统计方法包括以下步骤:
(1)在公交的前后门上方分别安装双目摄像机,并预先设置好所需参数,所述参数包括双目摄像机拍摄参数、台阶高度值、目标高度阈值、单目标范围、计数时间阈值、第一统计线以及第二统计线;在公交车中:前后门处可能存在台阶,也可能不存在台阶,若存在台阶,则台阶高度值为台阶高度,若不存在台阶,则可设置台阶高度为0;目标高度阈值一般设置为120cm,单目标范围一般设置为40cm,计数时间阈值一般设置为5s,第一统计线一般设置在双目摄像机获得的图像的纵向1/2处,第二统计线一般设置在双目摄像机获得的图像的纵向靠下边缘3/4处或者是台阶所在位置处;前门的第一统计线和第二统计线可分别称作前门第一统计线和前门第二统计线,后门的第一统计线和第二统计线可分别称作后门第一统计线和后门第二统计线;双目摄像机实时进行监控拍摄;双目摄像机带有定位装置,可以实时获知公交所在地理位置,且将获知的公交所在地理位置与公交***中站点设置位置进行对比;公交车前后门上方双目摄像机的安装参数如下表所示:
镜头焦距 | 最小安装高度 | 最大安装高度 | 检测宽度 | 盲区 |
2.1mm | 185cm | 195cm | 120cm | 10cm |
2.3mm | 193cm | 200cm | 120cm | 12cm |
2.5mm | 195cm | 205cm | 120cm | 14cm |
2.8mm | 200cm | 215cm | 120cm | 16cm |
3.6mm | 210cm | 226cm | 120cm | 22cm |
4mm | 225cm | 240cm | 120cm | 25cm |
6mm | 239cm | 260cm | 140cm | 35cm |
8mm | 250cm | 280cm | 140cm | 45cm |
(2)判断定位装置获知的公交所在地理位置与公交***中站点设置是否一致,是则进入步骤(3);否则返回步骤(2);此步骤可以确保是在站点统计客流量,且可以确定具体是在哪一个统计客流量,通过站点和定位数据的结合,避免了非站点上下车的误计和漏记,从而可以提高客流量统计的准确率;
(3)判断是否存在开关门信号,是则获得开关门信号,进入步骤(4),否则返回步骤(3);所述开关门信号包括开门信号和关门信号;此步骤说明客流量统计是在获得开关门信号后开始,即如果没有获得开关门信号,就不会进行客流量统计,从而可以减轻***运行负担;
(4)前后门分别获得双目摄像机拍摄的第一图像和第二图像,根据所述第一图像、第二图像的视差以及双目摄像机拍摄参数值获得目标深度值,根据目标深度值建立目标立体模型,所述目标立体模型包括多个目标;所述第一图像与所述第二图像存在公共区域,所述区域为所述第一图像与所述第二图像的内容;在所述根据所述第一图像、第二图像以及双目摄像机拍摄参数值获得目标深度值之前还包括对所述第一图像以及第二图像分别预处理,所述预处理包括对所述第一图像和第二图像进行滤波、去噪;目标立体模型的建立通过还原现场公交出入口环境,可以方便准确识别目标是否为人,从而保证目标统计的准确性,目标立体模型的建立还可以有效的去除光线、非乘客运动物体的干扰,提高客流统计的准确率;
(5)根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度,具体可以为:判断是否存在台阶,是则判定所述目标立体模型中每个目标的目标高度为所述目标立体模型中每个目标的最高点的高度与所述台阶的高度之和,否则判定所述目标立体模型中每个目标的目标高度为所述目标立体模型中每个目标的最高点的高度;通过判断是否存在台阶,可以获得目标的准确高度,确保不会因为台阶的存在造成目标的漏计;
(6)根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群,具***:判断所述目标立体模型中每个目标的目标高度是否大于等于所述目标高度阈值,是则判定目标立体模型中目标高度大于等于所述目标高度阈值的目标为所述A目标群中的一个目标;通过目标高度阈值对目标进行初次筛选,在公交***中,对身高未超过120cm的乘客不进行收费,也就不需要进行计数;
(7)根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群,具体包括:判断所述A目标群中的每一个目标在所述单目标范围内是否存在其他目标,否则判定A目标群中在单目标范围内不存在其他目标的目标为所述B目标群中的一个目标,是则判断A目标群中在单目标范围内存在其他目标的目标边缘是否与这其他目标中一个或多个目标的目标边缘相交,是则判定与该目标的边缘相交的目标与该目标为所述B目标群中的一个目标;否则直接判定该目标为所述B目标群中的一个目标,从而组成B目标群;通过目标之间的边缘关系,可以将抱小孩的乘客以及小孩看作为一个目标,将带有背包或物品的乘客以及背包或物品看作为一个目标,从而可以确保运动目标统计的准确性;
(8)通过目标跟踪算法跟踪所述B目标群中的目标获得运动目标;
(9)判断所述开关门信号位开门信号或关门信号,若所述开关门信号位开门信号,则进入步骤(10),否则进入步骤(11);
(10)判断所述运动目标是否通过所述第二统计线,是则对通过所述第二统计线且运动方向相同的运动目标分别进行计数,直至获得关门信号后的计数时间阈值;否则不对运动目标进行计数;具体为:在前门处,判断所述运动目标是否通过所述前门第二统计线,是则对通过所述前门第二统计线的运动目标进行计数,直至获得关门信号后5s,否则不对运动目标进行计数;在后门处,判断所述运动目标是否通过所述后门第二统计线,是则对通过所述后门第二统计线的运动目标进行计数,直至获得关门信号后5s,否则不对运动目标进行计数;在公交***中,若乘客在开门后且关门后5s内通过前门第二统计线,则认为乘客已成功上车,即可以对该乘客进行计数,若乘客通过后门第二统计线,则认为乘客已准备下车,即可以对准备下车的乘客进行计数;
(11)判断所述运动目标是否通过所述第一统计线,是则在计数时间阈值内对通过所述第一统计线且运动方向相同的运动目标分别进行计数,并在计数时间阈值后对未通过所述第一统计线的第二目标进行计数或在计数时间阈值后对通过所述第二统计线且未通过所述第一统计线的第二目标进行计数,否则不对运动目标进行计数;具体为:在前门处,判断所述运动目标是否通过所述前门第一统计线,是则在5s内对通过所述前门第一统计线的运动目标进行计数,并且在5s后对未通过所述前门第一统计线的第二目标进行计数;在后门处,判断所述运动目标是否通过所述后门第一统计线,是则在5s内对通过所述后门第一统计线的运动目标进行计数,并且在5s后对通过所述后门第二统计线且未通过所述后门第一统计线的第二目标进行计数;在后门处或者是,在获得关门信号5s后直接对通过所述后门第二统计线的第二目标进行计数;在公交***中,若乘客在关门后5s内通过前门第一统计线,则认为该乘客已成功上车,即可以对该乘客进行计数,若乘客在关门5s后未通过前门第一统计线,但是该乘客确实已成功上车,则可以通过统计前门第一统计线及前门之间区域的第二目标对乘客进行计数;若乘客在关门后5s内通过后门第一统计线,则说明该乘客未成功下车,即统计通过后门第一统计线但未下车的乘客,并且统计通过后门第二统计线且未通过后门第一统计线的第二目标,就可以统计出通过第二统计线但未下车的乘客的数量,从而可以根据在开门后通过后门第二统计线的人数以及在关门后通过后门第二统计线但未下车的人数获得成功下车的乘客的数量;
(12)结束此次客流量统计,获得客流量统计数量并上传至远程服务器,返回步骤(2)。
本发明还提供了一种基于双目视觉的客流量统计***,包括图像获取模块、目标立体模型建立模块、A目标群获取模块、B目标群获取模块、运动目标获取模块以及客流量统计模块;所述图像获取模块的输出端连接所述目标立体模型建立模块的输入端,所述目标立体模型建立模块的输出端连接所述A目标群获取模块的第一输入端,所述A目标群获取模块的输出端连接所述B目标群获取模块的第一输入端,所述B目标群获取模块的输出端连接所述运动目标获取模块的输入端,所述运动目标获取模块的输出端连接所述客流量统计模块的第一输入端。
所述图像获取模块用于获得第一图像和第二图像,所述第一图像与所述第二图像存在公共区域,所述区域为所述第一图像与所述第二图像的内容;
所述目标立体模型建立模块用于根据所述第一图像和所述第二图像建立目标立体模型;所述目标立体模型包括多个目标;
所述A目标群获取模块用于根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度,根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群;所述根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群具体为:判断所述目标立体模型中每个目标的目标高度是否大于等于所述目标高度阈值,是则判定目标立体模型中目标高度大于等于所述目标高度阈值的目标为所述A目标群中的一个目标。
所述B目标群获取模块用于根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群;所述根据所述A目标群中目标之间的边缘相交关系选取目标具体为:判断所述A目标群中的每一个目标在所述单目标范围内是否存在其他目标,否则判定A目标群中在单目标范围内不存在其他目标的目标为所述B目标群中的一个目标,是则判断A目标群中在单目标范围内存在其他目标的目标边缘是否与这其他目标中一个或多个目标的目标边缘相交,是则判定与该目标的边缘相交的目标与该目标为所述B目标群中的一个目标;否则直接判定该目标为所述B目标群中的一个目标。
所述运动目标获取模块用于通过目标跟踪算法跟踪所述B目标群中的目标获得运动目标;
所述客流量统计模块用于对所述运动目标进行计数,获得所述客流量;具体包括以下步骤:
S41、判断所述开关门信号为开门信号或关门信号;若所述开关门信号为开门信号,则进入步骤S42,否则进入步骤S43;
S42、判断所述运动目标是否通过所述第二统计线,是则对通过所述第二统计线且运动方向相同的运动目标分别进行计数,直至获得关门信号后的计数时间阈值;否则不对运动目标进行计数;
S43、判断所述运动目标是否通过所述第一统计线,是则在计数时间阈值内对通过所述第一统计线且运动方向相同的运动目标分别进行计数,并在计数时间阈值后对未通过所述第一统计线的第二目标进行计数或在计数时间阈值后对通过所述第二统计线且未通过所述第一统计线的第二目标进行计数,否则不对运动目标进行计数。
所述图像获取模块可以为双目摄像机。
所述基于双目视觉的客流量统计***还包括目标高度阈值获取模块、单目标范围获取模块、统计线获取模块以及计数时间阈值获取模块,所述目标高度阈值获取模块的输出端连接所述A目标群获取模块的第二输入端,所述单目标范围获取模块的输出端连接所述B目标群获取模块的第二输入端,所述计数时间阈值获取模块的输出端连接所述客流量统计模块的第二输入端。
所述目标高度阈值获取模块用于获得目标高度阈值,所述单目标范围获取模块用于获得单目标范围,所述统计线获取模块用于获得第一统计线以及第二统计线,所述计数时间阈值获取模块用于获得计数时间阈值。
所述基于双目视觉的客流量统计***还包括开关门检测模块,所述开关门检测模块的输出端连接所述图像获取模块的输入端;所述开关门检测模块用于判断是否存在开关门信号,是则获得开关门信号,否则继续检测是否存在开关门信号。
本发明所述的一种基于双目视觉的客流量统计方法及***不仅适用于公交车、地铁、火车、高铁等公共交通的前后门客流量的统计,也适用于商店、酒店等大门处客流量的统计。
本发明所述的一种基于双目视觉的客流量统计方法及***可以还原场景中出入口实时三维立体模型,判断三维立体模型判断运动物体是否为人,根据运动物体最高点运动位置结合区域判别、场景位置等信息获得场景客流统计数据,还可以完美地解决拥挤、台阶、背包等复杂环境下人数误计严重的问题,即本发明能够对背包、抱小孩、携带物品的目标进行准确统计,能够对上下台阶的目标进行准确统计,能够对拥挤情况下未进入统计线的目标进行准确统计。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于双目视觉的客流量统计方法,其特征在于,包括以下步骤:
S1、获得第一图像和第二图像,根据所述第一图像和所述第二图像建立目标立体模型;所述目标立体模型包括多个目标;所述第一图像与所述第二图像存在公共区域,所述区域为所述第一图像与所述第二图像的内容;
S2、根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度,根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群,并根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群;
其中,在所述根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群之前还包括:
获得单目标范围;所述根据所述A目标群中目标之间的边缘相交关系选取目标具体为:
判断所述A目标群中的每一个目标在所述单目标范围内是否存在其他目标,否则判定A目标群中在单目标范围内不存在其他目标的目标为所述B目标群中的一个目标,是则判断A目标群中在单目标范围内存在其他目标的目标边缘是否与这其他目标中一个或多个目标的目标边缘相交,是则判定与该目标的边缘相交的目标与该目标为所述B目标群中的一个目标;否则直接判定该目标为所述B目标群中的一个目标;
S3、通过目标跟踪算法跟踪所述B目标群中的目标获得运动目标;
S4、对所述运动目标进行计数,获得所述客流量。
2.如权利要求1所述的基于双目视觉的客流量统计方法,其特征在于,所述根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度具体为:
判断是否存在台阶,是则判定所述目标立体模型中每个目标的目标高度为所述目标立体模型中每个目标的最高点的高度与所述台阶的高度之和,否则判定所述目标立体模型中每个目标的目标高度为所述目标立体模型中每个目标的最高点的高度。
3.如权利要求1所述的基于双目视觉的客流量统计方法,其特征在于,在所述根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群之前还包括:
获得目标高度阈值;
所述根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群具体为:
判断所述目标立体模型中每个目标的目标高度是否大于等于所述目标高度阈值,是则判定目标立体模型中目标高度大于等于所述目标高度阈值的目标为所述A目标群中的一个目标。
4.如权利要求1所述的基于双目视觉的客流量统计方法,其特征在于,在所述步骤S4之前还包括:
获得开关门信号;获得第一统计线、第二统计线和计数时间阈值;
所述步骤S4具体包括以下子步骤:
S41、判断所述开关门信号为开门信号或关门信号;若所述开关门信号为开门信号,则进入步骤S42,否则进入步骤S43;
S42、判断所述运动目标是否通过所述第二统计线,是则对通过所述第二统计线且运动方向相同的运动目标分别进行计数,直至获得关门信号后的计数时间阈值;否则不对运动目标进行计数;
S43、判断所述运动目标是否通过所述第一统计线,是则在计数时间阈值内对通过所述第一统计线且运动方向相同的运动目标分别进行计数,并在计数时间阈值后对未通过所述第一统计线的第二目标进行计数或在计数时间阈值后对通过所述第二统计线且未通过所述第一统计线的第二目标进行计数,否则不对运动目标进行计数。
5.如权利要求4所述的基于双目视觉的客流量统计方法,其特征在于,所述计数时间阈值为10s以下。
6.一种基于双目视觉的客流量统计***,其特征在于,包括图像获取模块、目标立体模型建立模块、A目标群获取模块、B目标群获取模块、运动目标获取模块以及客流量统计模块;
所述图像获取模块的输出端连接所述目标立体模型建立模块的输入端,所述目标立体模型建立模块的输出端连接所述A目标群获取模块的第一输入端,所述A目标群获取模块的输出端连接所述B目标群获取模块的第一输入端,所述B目标群获取模块的输出端连接所述运动目标获取模块的输入端,所述运动目标获取模块的输出端连接所述客流量统计模块的第一输入端;
所述图像获取模块用于获得第一图像和第二图像,所述第一图像与所述第二图像存在公共区域,所述区域为所述第一图像与所述第二图像的内容;
所述目标立体模型建立模块用于根据所述第一图像和所述第二图像建立目标立体模型;所述目标立体模型包括多个目标;
所述A目标群获取模块用于根据所述目标立体模型中每个目标的最高点获得每个目标的目标高度,根据所述目标立体模型中每个目标的目标高度从目标立体模型的多个目标中选取目标组成A目标群;
所述B目标群获取模块用于根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群;
其中,在所述根据所述A目标群中目标之间的边缘相交关系选取目标组成B目标群之前还包括:
获得单目标范围;所述根据所述A目标群中目标之间的边缘相交关系选取目标具体为:
判断所述A目标群中的每一个目标在所述单目标范围内是否存在其他目标,否则判定A目标群中在单目标范围内不存在其他目标的目标为所述B目标群中的一个目标,是则判断A目标群中在单目标范围内存在其他目标的目标边缘是否与这其他目标中一个或多个目标的目标边缘相交,是则判定与该目标的边缘相交的目标与该目标为所述B目标群中的一个目标;否则直接判定该目标为所述B目标群中的一个目标;
所述运动目标获取模块用于通过目标跟踪算法跟踪所述B目标群中的目标获得运动目标;
所述客流量统计模块用于对所述运动目标进行计数,获得所述客流量。
7.如权利要求6所述的基于双目视觉的客流量统计***,其特征在于,还包括目标高度阈值获取模块、单目标范围获取模块、统计线获取模块以及计数时间阈值获取模块;
所述目标高度阈值获取模块的输出端连接所述A目标群获取模块的第二输入端,所述单目标范围获取模块的输出端连接所述B目标群获取模块的第二输入端,所述计数时间阈值获取模块的输出端连接所述客流量统计模块的第二输入端;
所述目标高度阈值获取模块用于获得目标高度阈值,所述单目标范围获取模块用于获得单目标范围,所述统计线获取模块用于获得第一统计线以及第二统计线,所述计数时间阈值获取模块用于获得计数时间阈值。
8.如权利要求6所述的基于双目视觉的客流量统计***,其特征在于,还包括开关门检测模块,所述开关门检测模块的输出端连接所述图像获取模块的输入端;所述开关门检测模块用于判断是否存在开关门信号,是则获得开关门信号,否则继续检测是否存在开关门信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711446898.5A CN108280402B (zh) | 2017-12-27 | 2017-12-27 | 一种基于双目视觉的客流量统计方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711446898.5A CN108280402B (zh) | 2017-12-27 | 2017-12-27 | 一种基于双目视觉的客流量统计方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108280402A CN108280402A (zh) | 2018-07-13 |
CN108280402B true CN108280402B (zh) | 2021-09-24 |
Family
ID=62802440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711446898.5A Active CN108280402B (zh) | 2017-12-27 | 2017-12-27 | 一种基于双目视觉的客流量统计方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108280402B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666879A (zh) * | 2020-06-05 | 2020-09-15 | 安徽达尔智能控制***股份有限公司 | 一种基于大数据框架的公交客流分析与规划***和方法 |
CN116704447B (zh) * | 2023-08-08 | 2023-12-08 | 江苏魔视智能科技有限公司 | 交通工具中出入行为的识别方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101714293A (zh) * | 2009-12-16 | 2010-05-26 | 上海交通投资信息科技有限公司 | 基于立体视觉的公交客流拥挤度采集方法 |
CN102222265A (zh) * | 2010-04-13 | 2011-10-19 | 上海申腾三盛信息技术工程有限公司 | 基于双目视觉和侧安装摄像机的客流计数方法 |
CN104952056A (zh) * | 2014-03-26 | 2015-09-30 | 株式会社理光 | 一种基于立体视觉的目标检测方法和*** |
CN105512720A (zh) * | 2015-12-15 | 2016-04-20 | 广州通达汽车电气股份有限公司 | 一种公交车辆客流统计方法和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10587858B2 (en) * | 2016-03-14 | 2020-03-10 | Symbol Technologies, Llc | Device and method of dimensioning using digital images and depth data |
-
2017
- 2017-12-27 CN CN201711446898.5A patent/CN108280402B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101714293A (zh) * | 2009-12-16 | 2010-05-26 | 上海交通投资信息科技有限公司 | 基于立体视觉的公交客流拥挤度采集方法 |
CN102222265A (zh) * | 2010-04-13 | 2011-10-19 | 上海申腾三盛信息技术工程有限公司 | 基于双目视觉和侧安装摄像机的客流计数方法 |
CN104952056A (zh) * | 2014-03-26 | 2015-09-30 | 株式会社理光 | 一种基于立体视觉的目标检测方法和*** |
CN105512720A (zh) * | 2015-12-15 | 2016-04-20 | 广州通达汽车电气股份有限公司 | 一种公交车辆客流统计方法和*** |
Non-Patent Citations (2)
Title |
---|
Research on People Counting Based on Stereo Vision;Zhang Y Z 等;《Applied Mechanics & Materials》;20130831;第619-623页 * |
基于区域视差提取的视觉客流统计方法;于海滨 等;《传感技术学报》;20070731;第20卷(第7期);第1546-1550页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108280402A (zh) | 2018-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9875392B2 (en) | System and method for face capture and matching | |
CN108351967A (zh) | 一种多人脸检测方法、装置、服务器、***及存储介质 | |
CN104303193B (zh) | 基于聚类的目标分类 | |
CN104902258A (zh) | 一种基于立体视觉的多场景人流量统计方法、***以及双目相机 | |
CN105608450A (zh) | 基于深度卷积神经网络的异质人脸识别方法 | |
KR101307234B1 (ko) | 객체인식 기반의 주차관리 시스템 | |
US12039803B2 (en) | Techniques for automatically identifying secondary objects in a stereo-optical counting system | |
CN103440475A (zh) | 一种自动取款机使用者人脸可见性判断***及方法 | |
CN106844492A (zh) | 一种人脸识别的方法、客户端、服务器及*** | |
CN107315993A (zh) | 一种基于人脸识别的门镜***及其人脸识别方法 | |
CN108280402B (zh) | 一种基于双目视觉的客流量统计方法及*** | |
CN107145819A (zh) | 一种公交车拥挤度确定方法和装置 | |
CN103150552B (zh) | 一种基于人头计数的驾驶培训管理方法 | |
CN205608812U (zh) | 基于人脸识别和位置定位的公交客流量检测*** | |
CN109508586A (zh) | 一种客流统计方法、装置及设备 | |
CN107590431B (zh) | 一种基于图像识别的数量统计方法及装置 | |
CN111126411B (zh) | 一种异常行为识别方法及装置 | |
CN102867214B (zh) | 区域范围内人数统计管理方法 | |
CN202121706U (zh) | 智能人员卡口*** | |
US20210133491A1 (en) | System and method for detecting, tracking and counting human objects of interest with an improved height calculation | |
CN110287957A (zh) | 一种低慢小目标的定位方法及定位装置 | |
CN108280387A (zh) | 车辆客流量统计方法及*** | |
CN110930432A (zh) | 一种视频分析方法、装置及*** | |
CN108664954A (zh) | 一种结合公交底站区域判别的客流计数设备以及优化方法 | |
CN113743212A (zh) | 扶梯出入口拥堵或有遗留物的检测方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |