CN110222673B - 一种基于头部检测的客流统计方法 - Google Patents
一种基于头部检测的客流统计方法 Download PDFInfo
- Publication number
- CN110222673B CN110222673B CN201910542458.2A CN201910542458A CN110222673B CN 110222673 B CN110222673 B CN 110222673B CN 201910542458 A CN201910542458 A CN 201910542458A CN 110222673 B CN110222673 B CN 110222673B
- Authority
- CN
- China
- Prior art keywords
- path
- head
- frame
- paths
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于头部检测的客流统计方法,包括:步骤1.基于One‑Stage的目标检测算法,结合Tiny‑yolo的网络结构与SSH中的SSH语境模块对输入的初始帧图片进行检测,得到一个或多个人头框坐标;为每一个人头框创建一条路径,用来保存该人头框中心点在后续帧中的位置信息,每一条路径分配一个id号;步骤2.输入当前帧图片进行人头检测得到当前帧人头框坐标;步骤3.以oks距离作为度量方式,以欧氏距离作为补充度量方式,用人头框的中心点坐标来计算目前存活的所有路径与当前帧检测出的所有人头框的oks距离矩阵与欧氏距离矩阵;步骤4.关联存活的所有路径与当前帧检测出的人头框;步骤5.进出客流量统计。
Description
技术领域
本发明属于客流统计领域,具体是一种基于头部检测的客流统计方法。
背景技术
现阶段国内外客流统计技术主要包括以下四种:
红外线客流统计:依据人体的经过阻断红外线之间的对射从而统计客流,使用方便,数据传输量小,成本较低,安装方便,对于光线要求不高。但这种方法对于比较宽的门口,多人同时经过时易产生漏统计现象。
视频客流统计:主要依据人头计数,其精度较高,还可以根据图像分析追踪消费者在店内行动轨迹,同时可以和人脸识别***相结合,进行CRM管理,成本不算高。但是这种算法较复杂,数据传输任务较重,共包括检测、跟踪和统计三个算法,人头检出率、多目标跟踪的精度以及统计过程的技巧都对客流统计准确率有重要的影响;
WIFI客流统计:采取智能手机mac地址进行人数统计,可以根据手机对店内的消费者的数量进行统计,且根据手机的IP进行消费者在店内行动轨迹的追踪以及判断新老顾客。但是,由于借助手机,存在一个人带多个手机、手机关闭无线信号或者关机等因素的影响,这种方法的统计数据会存在不准确的情况。
3D 传感客流计数器:图像识别与前两种相比要显得较为高端一些,同样是通过传感器检测,不同的是扫描人体轮廓进而得出立体的人体数据,再参照立体反射面的驼峰形状,进而用单片机计算,从而判断出人数。技术较为精确,但过高的成本限制了该方法的发展。
发明内容
为了解决现有技术中存在的上述技术问题,本发明提供了一种基于头部检测的客流统计方法,包括如下步骤:
步骤1.基于One-Stage的目标检测算法,结合Tiny-yolo的网络结构与SSH中的SSH语境模块对输入的初始帧图片进行检测,得到一个或多个人头框坐标;为每一个人头框创建一条路径,用来保存该人头框中心点在后续帧中的位置信息,每一条路径分配一个id号;
步骤2.输入当前帧图片进行人头检测得到当前帧人头框坐标;
步骤3.以oks距离作为度量方式,以欧氏距离作为补充度量方式,用人头框的中心点坐标来计算目前存活的所有路径与当前帧检测出的所有人头框的oks距离矩阵与欧氏距离矩阵;
步骤4.关联存活的所有路径与当前帧检测出的人头框;
步骤5. 进出客流量统计。
进一步的,步骤4具体包括如下步骤:
(1)关联操作:向融合匹配法输入距离矩阵,将当前帧检测出的人头框与路径进行匹配;
(2)对匹配上人头框的路径进行更新:存入被匹配上的人头框中心点坐标;每条路径最多匹配上一个人头框,假设第n条路径匹配上了第m个人头框,向第n条路径存入第m个人头框的中心点坐标;
(3)对当前帧中没有被匹配上的人头框进行初始化,创建新路径,并分配id号;假设当前帧中第k个与第q个人头框没有被任何一条路径匹配上,那么,初始化两条路径,分别用来存放这两个人头框中心点在后续帧中的坐标,并分配两个不同的id号,此时,总路径中新增了两条路径;
(4)删除连续n帧没有匹配上人头框的路径,未被删除的路径即为存活的路径。
进一步的,步骤4中所用融合匹配方法具体为:
(1)按照连续断帧的帧数对人头轨迹进行分类,优先考虑连续断帧次数少的路径与检测目标的关联关系;
(2)采用贪婪法分别在oks距离矩阵横向、纵向方向上得到系列匹配对,对于剩余的没有建立匹配关系的路径与检测目标,用欧氏距离作为补充,在欧氏距离矩阵横向、纵向方向上得到补充匹配对;
(3)分别选出产生交集的系列匹配对与补充匹配对,每次排除一个可能性相对低的匹配对;
(4)重新执行步骤(2)与(3),直到不再产生有交集的匹配对为止;
(5)输出最终的匹配对。
进一步的,所述步骤5具体为:
(1)进出人员计数:在路径连续s帧没有匹配上检测出的人头框时,s<100,分析该路径的历史运动轨迹,根据该路径人头框中心点运动距离长度、运动轨迹是否覆盖活跃区域来判断其是否满足计数要求,达到计数要求时根据其运动方向判断人员进或出的状态;
(2)判断活跃区域内同一路径是否因为断裂而被计数2次:查找路径是否在活跃区内消失了而另一条路径在满足一定的帧差范围条件下在活跃区域内进行了初始化步骤,并且两条路径运动方向的差异满足一定范围,在计数上也同为进或同为负;如果同时满足上述条件,便减去多余的一次计数;
(3)对已经计数过的路径进行标记,标记结束时重新初始化路径,并将该路径的起始坐标更新为标记结束时的坐标,id保持不变;每隔m帧分析一次该路径运动方向,当该条路径运动方向与被标记之前的运动方向相反时,重复步骤(1)和(2)。
本发明有益效果如下:
1.改进了Tiny-yolo的网络结构,检测速度快;利用PyramidBox中的数据增强策略以及SSH(Single Stage Headless Face Detector)中的SSH context module提高人头检测的检出率;
2.联合采用oks距离矩阵与欧氏距离矩阵互补法,通过融合匹配方法实现人头跟踪,相比以单独的直线距离或oks距离作为度量方式的方法结果更为准确;
3.匈牙利匹配法是基于全局最优的策略,贪心匹配法是基于局部最优的策略,本发明使用融合级联、贪心、循环排除法的匹配法,是基于局部综合性最优的策略,其跟踪效果优于匈牙利匹配法与贪心匹配法;
4.基于人头运动轨迹分析的客流统计方法能够还原出人的运动位置与方向信息,多种测试场景下统计结果的准确率能达95%以上。
附图说明
图1是本发明的基于头部检测的客流统计方法流程图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,本发明的基于头部检测的客流统计方法,包括如下步骤:
1.基于One-Stage的目标检测算法,结合Tiny-yolo的网络结构与SSH(SingleStage Headless Face Detector)中的SSH 语境模块对输入的初始帧图片进行检测,得到一个或多个人头框坐标;为每一个人头框创建一条路径,用来保存该人头框中心点在后续帧中的位置信息,每一条路径分配一个id号;
2.输入当前帧图片进行人头检测得到当前帧人头框坐标;
3.以oks距离作为度量方式,以欧氏距离作为补充度量方式,用人头框的中心点坐标来计算目前存活的所有路径与当前帧检测出的所有人头框的oks距离矩阵与欧氏距离矩阵;
4.存活的所有路径与当前帧检测出的人头框之间的关联,具体包括如下步骤:
(1)关联操作:向融合匹配法输入距离矩阵,将当前帧检测出的人头框与路径进行匹配;(2)对匹配上人头框的路径进行更新:存入被匹配上的人头框中心点坐标。每条路径最多匹配上一个人头框,假设第n条路径匹配上了第m个人头框,向第n条路径存入第m个人头框的中心点坐标;(3)对当前帧中没有被匹配上的人头框进行初始化,创建新路径,并分配id号。假设当前帧中第k个与第q个人头框没有被任何一条路径匹配上,那么,初始化两条路径,分别用来存放这两个人头框中心点在后续帧中的坐标,并分配两个不同的id号。此时,总路径中新增了两条路径;(4)删除连续n帧没有匹配上人头框的路径,未被删除的路径即为存活的路径;
所用匹配方法是基于级联、贪心、循环排除法的多融合方法,是一种局部综合性最优的策略。融合匹配方法具体为:(1)按照连续断帧的帧数对人头轨迹进行分类,优先考虑连续断帧次数少的路径与检测目标的关联关系;(2)采用贪婪法分别在oks距离矩阵横向、纵向方向上得到系列匹配对,对于剩余的没有建立匹配关系的路径与检测目标,用欧氏距离作为补充,在欧氏距离矩阵横向、纵向方向上得到补充匹配对;(3)分别选出产生交集的系列匹配对与补充匹配对,每次排除一个可能性相对低的匹配对;(4)重新执行(2)与(3)步骤,直到不再产生有交集的匹配对为止;(5)输出最终的匹配对。
5.进出客流量统计:(1)进出人员计数:在路径连续s(s<100)帧没有匹配上检测出的人头框时,分析该路径的历史运动轨迹,根据该路径人头框中心点运动距离长度、运动轨迹是否覆盖活跃区域来判断其是否满足计数要求,达到计数要求时根据其运动方向判断人员进或出的状态;(2)判断活跃区域内同一路径是否因为断裂而被计数2次:查找路径是否在活跃区内消失了而另一条路径在满足一定的帧差范围条件下在活跃区域内进行了初始化步骤,并且两条路径运动方向的差异满足一定范围,在计数上也同为进或同为负。如果同时满足上述条件,便减去多余的一次计数;(3)对已经计数过的路径进行标记,标记结束时重新初始化路径,并将该路径的起始坐标更新为标记结束时的坐标,id保持不变。每隔m帧分析一次该路径运动方向,当该条路径运动方向与被标记之前的运动方向相反时,重复步骤(1)和步骤(2)实现客流进出统计功能。
以上所述及图中所示的仅是本发明的优选实施方式。应当指出,对于本领域的普通技术人员来说,在不脱离本发明的原理的前提下,还可以作出若干变型和改进,这些也应视为属于本发明的保护范围。
Claims (4)
1.一种基于头部检测的客流统计方法,包括如下步骤:
步骤1.基于One-Stage的目标检测算法,结合Tiny-yolo的网络结构与SSH中的SSH语境模块对输入的初始帧图片进行检测,得到一个或多个人头框坐标;为每一个人头框创建一条路径,用来保存该人头框中心点在后续帧中的位置信息,每一条路径分配一个id号;
步骤2.输入当前帧图片进行人头检测得到当前帧人头框坐标;
步骤3.以oks距离作为度量方式,以欧氏距离作为补充度量方式,用人头框的中心点坐标来计算目前存活的所有路径与当前帧检测出的所有人头框的oks距离矩阵与欧氏距离矩阵,其中,所述目前存活的所有路径包括所述当前帧的前一帧中的所有人头框坐标;
步骤4.关联存活的所有路径与当前帧检测出的人头框;
步骤5.进出客流量统计。
2.如权利要求1所述的基于头部检测的客流统计方法,其特征在于:
步骤4具体包括如下步骤:
(1)关联操作:向融合匹配法输入距离矩阵,将当前帧检测出的人头框与路径进行匹配;
(2)对匹配上人头框的路径进行更新:存入被匹配上的人头框中心点坐标;每条路径最多匹配上一个人头框,假设第n条路径匹配上了第m个人头框,向第n条路径存入第m个人头框的中心点坐标;
(3)对当前帧中没有被匹配上的人头框进行初始化,创建新路径,并分配id号;假设当前帧中第k个与第q个人头框没有被任何一条路径匹配上,那么,初始化两条路径,分别用来存放这两个人头框中心点在后续帧中的坐标,并分配两个不同的id号,此时,总路径中新增了两条路径;
(4)删除连续n帧没有匹配上人头框的路径,未被删除的路径即为存活的路径。
3.如权利要求2所述的基于头部检测的客流统计方法,其特征在于:步骤4中所用融合匹配方法具体为:
(1)按照连续断帧的帧数对人头轨迹进行分类,优先考虑连续断帧次数少的路径与检测目标的关联关系;
(2)采用贪婪法分别在oks距离矩阵横向、纵向方向上得到系列匹配对,对于剩余的没有建立匹配关系的路径与检测目标,用欧氏距离作为补充,在欧氏距离矩阵横向、纵向方向上得到补充匹配对;
(3)分别选出产生交集的系列匹配对与补充匹配对,每次排除一个可能性相对低的匹配对;
(4)重新执行步骤(2)与(3),直到不再产生有交集的匹配对为止;
(5)输出最终的匹配对。
4.如权利要求1所述的基于头部检测的客流统计方法,其特征在于:所述步骤5具体为:
(1)进出人员计数:在路径连续s帧没有匹配上检测出的人头框时,s<100,分析该路径的历史运动轨迹,根据该路径人头框中心点运动距离长度、运动轨迹是否覆盖活跃区域来判断其是否满足计数要求,达到计数要求时根据其运动方向判断人员进或出的状态;
(2)判断活跃区域内同一路径是否因为断裂而被计数2次:查找路径是否在活跃区内消失了而另一条路径在满足一定的帧差范围条件下在活跃区域内进行了初始化步骤,并且两条路径运动方向的差异满足一定范围,在计数上也同为进或同为负;如果同时满足上述条件,便减去多余的一次计数;
(3)对已经计数过的路径进行标记,标记结束时重新初始化路径,并将该路径的起始坐标更新为标记结束时的坐标,id保持不变;每隔m帧分析一次该路径运动方向,当该条路径运动方向与被标记之前的运动方向相反时,重复步骤(1)和(2)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910542458.2A CN110222673B (zh) | 2019-06-21 | 2019-06-21 | 一种基于头部检测的客流统计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910542458.2A CN110222673B (zh) | 2019-06-21 | 2019-06-21 | 一种基于头部检测的客流统计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110222673A CN110222673A (zh) | 2019-09-10 |
CN110222673B true CN110222673B (zh) | 2021-04-06 |
Family
ID=67814083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910542458.2A Active CN110222673B (zh) | 2019-06-21 | 2019-06-21 | 一种基于头部检测的客流统计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110222673B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560557A (zh) * | 2019-09-25 | 2021-03-26 | 虹软科技股份有限公司 | 人数检测方法、人脸检测方法、装置及电子设备 |
CN111353377A (zh) * | 2019-12-24 | 2020-06-30 | 浙江工业大学 | 一种基于深度学习的电梯乘客数检测方法 |
CN111126325B (zh) * | 2019-12-30 | 2023-01-03 | 哈尔滨工程大学 | 一种基于视频的智能人员安防识别统计方法 |
CN111382694A (zh) * | 2020-03-06 | 2020-07-07 | 杭州宇泛智能科技有限公司 | 人脸识别方法、装置及电子设备 |
CN111950507B (zh) * | 2020-08-25 | 2024-06-11 | 北京猎户星空科技有限公司 | 数据处理和模型训练方法、装置、设备及介质 |
CN112633096A (zh) * | 2020-12-14 | 2021-04-09 | 深圳云天励飞技术股份有限公司 | 客流的监测方法、装置、电子设备及存储介质 |
CN115994925B (zh) * | 2023-02-14 | 2023-09-29 | 成都理工大学工程技术学院 | 一种基于关键点检测的多行人快速跟踪方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543648A (zh) * | 2018-11-30 | 2019-03-29 | 公安部交通管理科学研究所 | 一种过车图片中人脸提取方法 |
CN109583355A (zh) * | 2018-11-23 | 2019-04-05 | 江南大学 | 一种基于边界选择的人流统计的装置和方法 |
CN109858389A (zh) * | 2019-01-10 | 2019-06-07 | 浙江新再灵科技股份有限公司 | 基于深度学习的直梯人数统计方法及*** |
-
2019
- 2019-06-21 CN CN201910542458.2A patent/CN110222673B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109583355A (zh) * | 2018-11-23 | 2019-04-05 | 江南大学 | 一种基于边界选择的人流统计的装置和方法 |
CN109543648A (zh) * | 2018-11-30 | 2019-03-29 | 公安部交通管理科学研究所 | 一种过车图片中人脸提取方法 |
CN109858389A (zh) * | 2019-01-10 | 2019-06-07 | 浙江新再灵科技股份有限公司 | 基于深度学习的直梯人数统计方法及*** |
Non-Patent Citations (2)
Title |
---|
Pedestrian Detection and Tracking for Counting Applications in Metro Station;Chen Yan-yan et al.;《Discrete Dynamics in Nature and Society 》;20140227;第2014卷;第1-11页 * |
基于计算机视觉的行人检测与人数统计算法研究;秦方;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180915;第2018年卷(第9期);第I138-223页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110222673A (zh) | 2019-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110222673B (zh) | 一种基于头部检测的客流统计方法 | |
CN112041848B (zh) | 人数统计和跟踪***及方法 | |
CN110692083B (zh) | 用于动态视觉传感器的块匹配光流和立体视觉 | |
CN108536851B (zh) | 一种基于移动轨迹相似度比较的用户身份识别方法 | |
CN112883819A (zh) | 多目标跟踪方法、装置、***及计算机可读存储介质 | |
US11704782B2 (en) | Computerized image analysis for automatically determining wait times for a queue area | |
CN108388879A (zh) | 目标的检测方法、装置和存储介质 | |
CN110399835B (zh) | 一种人员停留时间的分析方法、装置及*** | |
CN112445929B (zh) | 视觉定位方法及相关装置 | |
CN105629196B (zh) | 基于计算机视觉及动态指纹的定位***及相应方法 | |
CN103150552B (zh) | 一种基于人头计数的驾驶培训管理方法 | |
CN112347933A (zh) | 一种基于视频流的交通场景理解方法及装置 | |
CN105357496A (zh) | 一种多源大数据融合的视频监控行人身份识别方法 | |
US11871125B2 (en) | Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor | |
CN106934324A (zh) | 基于简化多假设算法的雷达数据关联方法 | |
CN111178161A (zh) | 一种基于fcos的车辆追踪方法及*** | |
CN101872414A (zh) | 可去除虚假目标的人流量统计的方法及*** | |
CN107145819A (zh) | 一种公交车拥挤度确定方法和装置 | |
CN110533693A (zh) | 一种目标跟踪方法及目标跟踪装置 | |
CN110033430A (zh) | 一种行人数量统计方法和装置 | |
CN111899279A (zh) | 一种目标对象的运动速度检测方法及装置 | |
WO2022134916A1 (zh) | 身份特征生成方法、设备及存储介质 | |
CN111368770A (zh) | 基于骨骼点检测与跟踪的手势识别方法 | |
CN111159475A (zh) | 基于多摄像头视频图像的行人再识别路径生成方法 | |
CN112130137B (zh) | 确定车道级轨迹的方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210917 Address after: 313200 room 703, 704, floor 7, building 2, No. 10, Keyuan Road, Wuyang street, Deqing County, Huzhou City, Zhejiang Province Patentee after: Huzhou Yufan Intelligent Technology Co.,Ltd. Address before: 13 / F, building a, it park, Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province Patentee before: UNIVERSAL UBIQUITOUS TECHNOLOGY Co.,Ltd. |