CN110674672B - 一种基于tof相机的多场景人数统计方法 - Google Patents
一种基于tof相机的多场景人数统计方法 Download PDFInfo
- Publication number
- CN110674672B CN110674672B CN201910621363.XA CN201910621363A CN110674672B CN 110674672 B CN110674672 B CN 110674672B CN 201910621363 A CN201910621363 A CN 201910621363A CN 110674672 B CN110674672 B CN 110674672B
- Authority
- CN
- China
- Prior art keywords
- people
- target
- point
- counting
- queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于tof相机的多场景人数统计方法,包括但不限于旅游景点、商场、公交车、图书馆等具有固定进出通道的场所,通过tof相机,结合后端处理器,统计上述公共区域内的人数;从而可以适应多种光照条件,光照条件较差甚至夜晚无灯情况下也可以有效统计人数,整个统计过程除tof相机模组与树莓派(兼容多种嵌入式开发板)及相关线缆外,无需其他额外设备,具有设备精简、安装方便等优点,而且,整个统计方法除可以统计人数之外,还可以识别行人的身高,以适应特殊场景需求。
Description
技术领域
本发明涉及公共区域内人数统计技术领域,具体为一种基于tof相机的多场景人数统计方法。
背景技术
近几年的对于旅游景点、商场、公交车、图书馆等具有固定进出通道的场所客流量统计***主要均采用非接触的方式,其对应的主流传感器大体分为单目摄像头,双目摄像头,红外光幕传感器等这三类。
在已有的相关专利中,申请号为201210413969.2的发明专利中描述了一种基于单目的摄像头智能化视频客流分析方法及***,其原理是基于机器视觉理论,首先对监控视频的人体目标初步检测并跟踪目标,最后判断客流轨迹得到客流数据;申请号为201310363318.1的发明专利描述了一种基于双目摄像头的视频分析方法,其原理是获取摄像头采集的两张原始二维图,利用深度图算法对两张原始二维图进行重建及背景过滤,获得3D深度图,然后利用图像分割算法得到目标位置,并跟踪目标,最后判断客流轨迹得到客流数据;申请号为201320379173.X的专利中描述了一种基于红外光幕传感器的客流统计分析及***,原理是利用红外发射模块将红外光发射出去,同时红外接收模块来接收自身发射出去的红外光,与此同时,如果人体目标经过该区域,其辐射出来的红外线会导致人体热释电红外探头检测到微弱的信号变化,经信号处理电路后传送给客流微控制器,并判断单人或者双人通过,最终得到客流数据。
上述市面的三种人流量统计***存在以下不足:单、双目普通相机:a.对环境光照条件要求较高,较暗调条件下无法准确检测识别人数;b.戴帽子等特殊人群无法识别;基于电子感应设备:需要安装检测门,影响正常进出,降低效率。基于其他设备:一些需要区分行人身高的场景如车、船等,无法有效的区分行人的身高。
发明内容
本发明的目的在于提供一种基于tof相机的多场景人数统计方法,可以适应多种光照条件,光照条件较差甚至夜晚无灯情况下也可以有效统计人数,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于tof相机的多场景人数统计方法,包括以下步骤:
S1:根据场景需求,在场景适当位置安装tof相机获取当前区域图像;
S2:通过公式把TOF_camera相机获取的3D点云数据转化为二维深度图像:
S3:相邻两帧图像进行帧差处理,并对帧差结果进行阈值判定,选取测试用模板,满足下列方程即可判定为匹配模板:
S4:当前图像与匹配模板进行帧差处理,不存在则取***中匹配模板,获取预处理图像,消除背景带来的干扰信息;
S5:选取5*5滤波算子,进行腐蚀操作,去除tof图像中噪点;
S6:选取7*7滤波算子,进行膨胀操作,并循环三次,以降低因tof相机因未返回结构光造成的成像黑洞对检测结果的影响;
S7:目标检测:
S701:对ai,j进行二值化处理,灰度值阈值是20-45;对二值化进行连通区域检测,当角点检测检测到目标时,对目标特征进行分析,数据点小于300舍去,数据点大于300的统计目标特征中心坐标,用于检测1.4M以下身高;
S702:对ai,j进行二值化处理,灰度值阈值是20-75;对二值化进行连通区域检测,当角点检测检测到目标时,对目标特征进行分析,数据点小于300舍去,大于300的统计目标特征中心坐标,用于检测1.4M以上身高;
S8:目标跟踪:针对检测出的行人目标特征点,进行进出人数统计,点m1(a,b)、m2(a,b)、、、mn(a,b)为当前检测目标点,具体的:
S801:上一帧不存在目标监测点:(1)人数统计队列为空:当a<180时,判定为初始进入,启动进入人数队列统计;当a>460时,判定为初始离开,启动离开人数队列统计;(2)人数统计队列不为空:若初始点a0<180,结束点an>460,则统计此时进入一人;若初始点a0>460,结束点an<180,则判定此时离开一人;
S802:当上一帧存在目标点时,对当前存在的目标点进行遍历分类,把当前检测的目标点与上一帧中队列中最后坐标点进行比较,若当前点坐标与下一点坐标m1(a1,b1)、m1'(a1',b1')满足以下关系:
(2)若a0<180,则a1-a1'>5
若a0>460,则a1-a1'<5
则当前点加入上一帧人数统计队列,否则当a<180时,判定为初始进入,启动人数队列统计;当a>460时,判定为初始离开,启动人数队列统计;
S803:当队列人数不再增加时,判定人数队列数据,如果初始点a0<180,且结束点an>460,则统计此时进入一人;若初始点a0>460,结束点an<180,则判定此时离开一人;
S804:重复上述S801、S802、S803则可以进行不间断的人数统计;
S9:数据统计与传输。
更进一步地,多场景:包括但不限于旅游景点、商场、公交车、图书馆或具有固定进出通道的场所。
更进一步地,上述S1-S9中m,n为图像长宽方向大小,i,j为具体像素点坐标,a,b为前后两帧相邻图像。
与现有技术相比,本发明的有益效果是:
本发明提供的一种基于tof相机的多场景人数统计方法,可以适应多种光照条件,光照条件较差甚至夜晚无灯情况下也可以有效统计人数,整个统计过程除tof相机模组与树莓派(兼容多种嵌入式开发板)及相关线缆外,无需其他额外设备,具有设备精简、安装方便等优点,而且,整个统计方法除可以统计人数之外,还可以识别行人的身高,以适应特殊场景需求。
具体实施方式
以下将详细说明本发明实施例,然而,本发明实施例并不以此为限。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中:提供一种基于tof相机的多场景人数统计方法,包括以下步骤:
步骤一:根据场景需求,在场景适当位置安装tof相机获取当前区域图像,其中,多场景:包括但不限于旅游景点、商场、公交车、图书馆等具有固定进出通道的场所,以满足更广泛的应用需求;
步骤二:通过公式把TOF_camera相机获取的3D点云数据转化为二维深度图像:
步骤三:相邻两帧图像进行帧差处理,并对帧差结果进行阈值判定,选取测试用模板,满足下列方程即可判定为匹配模板:
步骤四:当前图像与匹配模板进行帧差处理,不存在则取***中匹配模板,获取预处理图像,消除背景带来的干扰信息;
步骤五:选取5*5滤波算子,进行腐蚀操作,去除tof图像中噪点;
步骤六:选取7*7滤波算子,进行膨胀操作,并循环三次,以降低因tof相机因未返回结构光造成的成像黑洞对检测结果的影响;
步骤七:目标检测:
S701:对ai,j进行二值化处理,灰度值阈值是20-45;对二值化进行连通区域检测,当角点检测检测到目标时,对目标特征进行分析,数据点小于300舍去,数据点大于300的统计目标特征中心坐标,用于检测1.4M以下身高;
S702:对ai,j进行二值化处理,灰度值阈值是20-75;对二值化进行连通区域检测,当角点检测检测到目标时,对目标特征进行分析,数据点小于300舍去,大于300的统计目标特征中心坐标,用于检测1.4M以上身高;
步骤八:目标跟踪:针对检测出的行人目标特征点,进行进出人数统计,点m1(a,b)、m2(a,b)、、、mn(a,b)为当前检测目标点,具体的:
S801:上一帧不存在目标监测点:(1)人数统计队列为空:当a<180时,判定为初始进入,启动进入人数队列统计;当a>460时,判定为初始离开,启动离开人数队列统计;(2)人数统计队列不为空:若初始点a0<180,结束点an>460,则统计此时进入一人;若初始点a0>460,结束点an<180,则判定此时离开一人;
S802:当上一帧存在目标点时,对当前存在的目标点进行遍历分类,把当前检测的目标点与上一帧中队列中最后坐标点进行比较,若当前点坐标与下一点坐标m1(a1,b1)、m1'(a1',b1')满足以下关系:
(2)若a0<180,则a1-a1'>5
若a0>460,则a1-a1'<5
则当前点加入上一帧人数统计队列,否则当a<180时,判定为初始进入,启动人数队列统计;当a>460时,判定为初始离开,启动人数队列统计;
S803:当队列人数不再增加时,判定人数队列数据,如果初始点a0<180,且结束点an>460,则统计此时进入一人;若初始点a0>460,结束点an<180,则判定此时离开一人;
S804:重复上述S801、S802、S803则可以进行不间断的人数统计;
步骤九:数据统计与传输,其采用与上述已公开专利相同的实施方式,在此不作赘述。
在上述步骤中m,n为图像长宽方向大小,i,j为具体像素点坐标,a,b为前后两帧相邻图像。
综上所述:本发明提供的一种基于tof相机的多场景人数统计方法,可以适应多种光照条件,光照条件较差甚至夜晚无灯情况下也可以有效统计人数,整个统计过程除tof相机模组与树莓派(兼容多种嵌入式开发板)及相关线缆外,无需其他额外设备,具有设备精简、安装方便等优点,而且,整个统计方法除可以统计人数之外,还可以识别行人的身高,以适应特殊场景需求。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (1)
1.一种基于tof相机的多场景人数统计方法,其特征在于,包括以下步骤:
S1:根据场景需求,在场景适当位置安装tof相机获取当前区域图像;
S2:把TOF_camera相机获取的3D点云数据转化为二维深度图像a:
S3:选取测试用模板b,满足下列方程即可判定为匹配模板:
S4:当前图像与匹配模板进行帧差处理,不存在则取***中匹配模板,获取预处理图像,消除背景带来的干扰信息;
S5:选取5*5滤波算子,进行腐蚀操作,去除tof图像中噪点;
S6:选取7*7滤波算子,进行膨胀操作,并循环三次,以降低因tof相机因未返回结构光造成的成像黑洞对检测结果的影响;
S7:目标检测:
S701:对步骤S6处理结果进行二值化处理,灰度值阈值是45;对二值化进行连通区域检测,当检测到目标时,对目标特征进行分析,数据点小于300舍去,数据点大于300的统计目标特征中心坐标,用于检测1.4M以下身高;
S702:对步骤S6处理结果进行二值化处理,灰度值阈值是75;对二值化进行连通区域检测,当检测到目标时,对目标特征进行分析,数据点小于300舍去,大于300的统计目标特征中心坐标,用于检测1.4M以上身高;
S8:目标跟踪:针对检测出的行人目标特征点,进行进出人数统计,点m1(i,j)、m2(i,j)...mn(i,j)为当前检测目标点,具体的:
S801:上一帧不存在目标点:(1)人数统计队列为空:当i<180时,判定为初始进入,启动进入人数队列统计;当i>460时,判定为初始离开,启动离开人数队列统计;(2)人数统计队列不为空:若目标初始点i0<180,结束点in>460,则统计此时进入一人;若目标初始点i0>460,结束点in<180,则判定此时离开一人;
S802:当上一帧存在目标点时,对当前存在的目标点进行遍历分类,把当前检测的目标点与上一帧中队列中目标的最后坐标点进行比较,若当前检测的目标点m(i,j)与上一帧中队列中目标的最后坐标点m'(i',j')满足以下关系:
(2)若i0<180,则i-i'>5
若i0>460,则i-i'<5
则当前点加入上一帧人数统计队列,否则当i<180时,判定为初始进入,启动人数队列统计;当i>460时,判定为初始离开,启动人数队列统计;
S803:当队列人数不再增加时,判定队列人数数据,如果初始点i0<180,且结束点in>460,则统计此时进入一人;若初始点i0>460,结束点in<180,则判定此时离开一人;
S804:重复上述S801、S802、S803则可以进行不间断的人数统计;
S9:数据统计与传输;
多场景:包括但不限于旅游景点、商场、公交车、图书馆或具有固定进出通道的场所;上述S1-S9中m,n分别为图像长宽方向大小,i,j为具体像素点坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910621363.XA CN110674672B (zh) | 2019-07-10 | 2019-07-10 | 一种基于tof相机的多场景人数统计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910621363.XA CN110674672B (zh) | 2019-07-10 | 2019-07-10 | 一种基于tof相机的多场景人数统计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110674672A CN110674672A (zh) | 2020-01-10 |
CN110674672B true CN110674672B (zh) | 2020-10-27 |
Family
ID=69068864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910621363.XA Active CN110674672B (zh) | 2019-07-10 | 2019-07-10 | 一种基于tof相机的多场景人数统计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110674672B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111310643B (zh) * | 2020-02-12 | 2023-08-29 | 北京师范大学 | 一种基于点云数据的车辆计数方法、装置及电子设备 |
CN112509184A (zh) * | 2020-12-02 | 2021-03-16 | 海南华晟瑞博科技有限公司 | 一种特定人群出入房屋监测方法、***及存储介质 |
CN112477707B (zh) * | 2020-12-15 | 2022-05-10 | 四川长虹电器股份有限公司 | 一种基于tof的可自动调节的汽车座椅控制***及方法 |
CN112634270B (zh) * | 2021-03-09 | 2021-06-04 | 深圳华龙讯达信息技术股份有限公司 | 一种基于工业互联网的成像检测***及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344690A (zh) * | 2018-08-09 | 2019-02-15 | 上海青识智能科技有限公司 | 一种基于深度相机的人数统计方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9247211B2 (en) * | 2012-01-17 | 2016-01-26 | Avigilon Fortress Corporation | System and method for video content analysis using depth sensing |
CN102867177B (zh) * | 2012-09-19 | 2015-07-29 | 无锡慧眼电子科技有限公司 | 一种基于图像灰度匹配的人数统计方法 |
CN103455792A (zh) * | 2013-08-20 | 2013-12-18 | 深圳市飞瑞斯科技有限公司 | 一种客流量统计方法及*** |
CN106339687A (zh) * | 2016-08-30 | 2017-01-18 | 吉林大学 | 基于视频的行人过街信号自适应计算方法 |
CN108195841A (zh) * | 2017-12-06 | 2018-06-22 | 浙江大学 | 基于gfv-sift特征的振动环境注塑模具异常缺陷检测方法 |
CN108520528B (zh) * | 2018-03-29 | 2021-05-11 | 中山大学新华学院 | 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法 |
CN108596938A (zh) * | 2018-04-25 | 2018-09-28 | 杭州光珀智能科技有限公司 | 一种客流统计方法及装置 |
KR101961891B1 (ko) * | 2018-07-23 | 2019-03-25 | (주)넥스리얼 | 자동출입심사대에 진입하는 사람 및 물건 중 사람을 자동 계수하는 방법 및 장치 |
-
2019
- 2019-07-10 CN CN201910621363.XA patent/CN110674672B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344690A (zh) * | 2018-08-09 | 2019-02-15 | 上海青识智能科技有限公司 | 一种基于深度相机的人数统计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110674672A (zh) | 2020-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110674672B (zh) | 一种基于tof相机的多场景人数统计方法 | |
CN107253485B (zh) | 异物侵入检测方法及异物侵入检测装置 | |
JP3816887B2 (ja) | 車両待機行列の長さ測定装置及びその方法 | |
CN101944267B (zh) | 基于视频的烟火检测装置 | |
US8538082B2 (en) | System and method for detecting and tracking an object of interest in spatio-temporal space | |
CN111462128B (zh) | 一种基于多模态光谱图像的像素级图像分割***及方法 | |
CN102509090B (zh) | 一种基于天网工程中公共安全视频图像的车辆特征识别装置 | |
US8019157B2 (en) | Method of vehicle segmentation and counting for nighttime video frames | |
Chen et al. | People counting system for getting in/out of a bus based on video processing | |
O'malley et al. | Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions | |
US20200250840A1 (en) | Shadow detection method and system for surveillance video image, and shadow removing method | |
CN107990878B (zh) | 基于微光双目相机的测距***和测距方法 | |
CN111965636A (zh) | 一种基于毫米波雷达和视觉融合的夜间目标检测方法 | |
CN111582253B (zh) | 基于事件触发的车牌跟踪识别方法 | |
US10984264B2 (en) | Detection and validation of objects from sequential images of a camera | |
CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
US11455710B2 (en) | Device and method of object detection | |
CN109887276B (zh) | 基于前景提取与深度学习融合的夜间交通拥堵检测方法 | |
Sharma | Human detection and tracking using background subtraction in visual surveillance | |
Fregin et al. | Three ways of using stereo vision for traffic light recognition | |
CN111723778A (zh) | 基于MobileNet-SSD的车辆测距***及方法 | |
CN101930540A (zh) | 基于视频的多特征融合的火焰检测装置和方法 | |
Stec et al. | Using time-of-flight sensors for people counting applications | |
CN103453890A (zh) | 一种基于尾灯检测的夜间车距测量方法 | |
JP2005156199A (ja) | 車両検知方法及び車両検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |