CN109969891A - 一种基于深度学习的电梯乘客重识别分析*** - Google Patents
一种基于深度学习的电梯乘客重识别分析*** Download PDFInfo
- Publication number
- CN109969891A CN109969891A CN201910226225.1A CN201910226225A CN109969891A CN 109969891 A CN109969891 A CN 109969891A CN 201910226225 A CN201910226225 A CN 201910226225A CN 109969891 A CN109969891 A CN 109969891A
- Authority
- CN
- China
- Prior art keywords
- elevator
- information
- personage
- image
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B3/00—Applications of devices for indicating or signalling operating conditions of elevators
- B66B3/002—Indicators
- B66B3/008—Displaying information not related to the elevator, e.g. weather, publicity, internet or TV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0012—Devices monitoring the users of the elevator system
Landscapes
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
本发明公开了一种基于深度学习的电梯乘客重识别分析***,包括监控设备、图像采集单元、目标检测分析单元、重识别分析模块、去重后信息分析模块、画像模块、信息播放模块;本发明提供实时对电梯监控中采集到的一定时间内的所有乘客进行去重,可以在总人数统计的基础上,完善电梯所属范围内所有居民人数信息的一种基于深度学习的电梯乘客重识别分析***。
Description
技术领域
本发明涉及电梯领域,更具体的说,它涉及一种基于深度学习的电梯乘客重识别分析***。
背景技术
目前市场上极度缺乏电梯信息资源的利用,最接近的现有技术是CN201811105728.5一种电梯自动识别住户楼层装置,公开了一种电梯自动识别住户楼层装置,所述灯光设备包括常亮灯和工作灯,所述电梯轿厢箱体顶部的四角分别设置有常亮灯,所述工作灯设置在箱体顶部的中央;所述监控设备包括监控摄像头和人像采集摄像头,所述监控摄像头和人像采集摄像头对正电梯轿厢的开门侧,且人像采集摄像头处于监控摄像头的左右两侧;所述称重设备为设置在电梯轿厢底部的称重板,所述称重板铺设在电梯轿厢的底板上;所述楼层的进出楼层设置有向上按钮和向下按钮,楼宇的地下层只设置有向上按钮,且进出楼层以上的楼层只设置有向下按钮。该方案通过自动识别住户,并将住户送至其居住的楼层,加强了电梯的智能化,减少住户的其他操作,提高住户的居住舒适度。
该方案主要目的在于通过安装在电梯内监控设备与其他安全设备,自动识别出住户所住楼层并自动将住户送至其居住的楼层,但无法通过安装在电梯内的监控设备实现对住户的人数统计,从而无法获得住户的整体画像,也无法在电梯内快速准确的投放广告从而最大化电梯的经济效益,因此在电梯应用领域具有诸多局限性。
发明内容
本发明克服了现有技术的不足,提供了一种基于深度学习的电梯乘客重识别分析***。
为了解决上述技术问题,本发明的技术方案如下:
一种基于深度学习的电梯乘客重识别分析***,包括监控设备、图像采集单元、目标检测分析单元、重识别分析模块、去重后信息分析模块、画像模块、信息播放模块;
监控设备安装在电梯厢内顶部或电梯内显示屏上,保证摄像头以最大的视野角对电梯轿厢实时进行拍摄,采集电梯内的监控视频;
图像采集单元将监控设备抓到的图片数据进行预处理后用于后续目标检测分析分类单元分析,对图片数据的预处理方式包括图像裁剪、补边、翻转操作;
目标检测分析单元包括深度学习目标检测方法,通过对经过预处理后的电梯监控视频图片数据进行分析,获取图片数据中人物在原图中的具***置,再通过相应调用方法获取具有人物的图像,并保存至图像数据库;
重识别分析模块包括深度学习行人重识别方法,基于目标检测分析单元提取到的具有人物的图像,提取256维或128维特征,再通过聚类方法,有效获取人物的编号信息;
去重后信息分析模块根据图像数据库中的人物位置和重识别分析模块获取的人物编号信息,通过对一个完整乘梯过程中所有人物的去重,获得每个乘梯过程的人物信息库,其中每个乘梯过程指一个完整的电梯上行过程或下降过程;
画像模块根据去重后信息分析模块获取的人物信息库,进而获取固定地点在一段时间内的人物画像;
信息播放模块包括电梯内的显示屏或小区物业的相关通讯与显示设备,根据画像模块配合广告投放***,获取更精准的广告投放信息与安防信息。
本发明相比现有技术优点在于:
本发明通过基于深度学习的电梯乘客重识别网络,实时对电梯监控中采集到的一定时间内的所有乘客进行去重,可以在总人数统计的基础上,完善电梯所属范围内所有居民人数信息,再配合电梯内广告推荐***,从而有效实现电梯内广告的精准投放。
附图说明
图1为本发明的***框图;
图2为本发明的基于深度学习目标检测方法模块图;
图3为本发明的重识别分析模块图。
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明。
如图1至图3所示,一种基于深度学习的电梯乘客重识别分析***,包括监控设备、图像采集单元、目标检测分析单元、重识别分析模块、去重后信息分析模块、画像模块、信息播放模块。
监控设备安装在电梯厢内顶部或电梯内显示屏上,保证摄像头以最大的视野角对电梯轿厢实时进行拍摄,采集电梯内的监控视频。
图像采集单元将监控设备抓到的图片数据进行预处理后用于后续目标检测分析分类单元分析,对图片数据的预处理方式包括图像裁剪、补边、翻转操作。
目标检测分析单元包括深度学习目标检测方法,通过对经过预处理后的电梯监控视频图片数据进行分析,获取图片数据中人物在原图中的具***置,再通过相应调用方法获取具有人物的图像,并保存至图像数据库。
重识别分析模块包括深度学习行人重识别方法,基于目标检测分析单元提取到的具有人物的图像,提取256维或128维特征,再通过聚类方法,有效获取人物的编号信息。
去重后信息分析模块根据图像数据库中的人物位置和重识别分析模块获取的人物编号信息,通过对一个完整乘梯过程中所有人物的去重,获得每个乘梯过程的人物信息库,其中每个乘梯过程指一个完整的电梯上行过程或下降过程。例如:电梯从-1楼上升至3楼停一次,再到10楼停一次(则该过程即为一次完整乘梯过程),电梯再从10楼直接到1楼也为一个完整的乘梯过程。
画像模块根据去重后信息分析模块获取的人物信息库,进而获取固定地点在一段时间内的人物画像。例如可以得到某小区24小时内所有出现的总人数,以及各个具体时间点的峰值人数,可以为小区物业提供更为丰富的安防信息,同时配合电梯显示屏内的广告推荐***,可以做到更精准的广告投放。
信息播放模块包括电梯内的显示屏或小区物业的相关通讯与显示设备,根据画像模块配合广告投放***,获取更精准的广告投放信息与安防信息。
具体的电梯运作处理如下:
101)预处理步骤:根据监控设备获得各台电梯内人物的各自视频的图片数据,并通过图像采集单元进行预处理;预处理包括图像裁剪、补边、翻转等操作。
102)人物信息处理步骤:将预处理的图像数据送至目标检测分析单元进行人物目标检测。利用深度学习目标检测方法,如yolov3、SSD等方法对人物进行目标进行检测。各人物的位置坐标信息(x1,y1,x2,y2…),再基于opencv等方法获取各乘梯人的图像数据送至重识别分析模块。
103)信息分析步骤:在获得电梯乘梯人具***置信息与含有人物的图像数据后,通过重识别分析模块中的基于深度学习行人重识别方法,提取电梯中人物的256维或128维特征,再利用聚类算法,例如kmeans等,可以较为准确的获取每个乘梯过程中的人物编号信息,其中基于深度学习与聚类算法的乘梯人重识别分析模块,具体流程如下:
301)特征提取步骤:利用基于常见的例如Resnet34或Resnet50等深度学习网络实现特征提取,先将输入图片(即截取到的所有符合条件的乘梯人的图像数据)图像大小resize调节到为256*128或384*128,输入到Resnet34或Resnet50等深度学习网络后得到每张图片的最后256维或128维特征,保存到指定的数据库中,通过数据库保存好的所有图片的有效特征数据(256维或128维)。
302)通过对每个完整的乘梯过程进行数据预处理,获取每个乘梯过程中监控设备摄像头截到的原图,根据基于深度学习目标检测方法返回的具***置信息获得每个乘梯过程的全部乘梯人数与最多原图人数,其中最多原图人数作为聚类方法(例如kmeans)的聚类核心数。
303)聚类步骤:使用kmeans等聚类方法对每个乘梯过程的全部乘梯人特征图进行聚类,计算所有乘梯人特征图中的多维特征的欧式距离进行计算,其可以分别计算出每对多维特征图之间的距离,其中A、B分别代表数据库中任意一对乘客图片特征数据,ai、bi为A、B特征数据中的每一维特征,n为有效特征数据量,采用欧式距离作为kmeans等聚类方法变量之间的聚类函数,从而实现对所有特征图的聚类,聚类完成后,每个聚类堆中的所有乘梯人即认为是同一个人,不同聚类堆中的即为不同乘梯人。
从而获得每个乘梯过程的乘梯人信息库,包含乘梯人数量、出现频率、重复比例等信息。
304)终端应用步骤:根据聚类方法求得的乘梯人编号信息,配合小区的安防***可以提供更好的小区安防,或者配合电梯内的广告推送***,可以进行更准确有效的广告推送。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。
Claims (1)
1.一种基于深度学习的电梯乘客重识别分析***,其特征在于,包括监控设备、图像采集单元、目标检测分析单元、重识别分析模块、去重后信息分析模块、画像模块、信息播放模块;
监控设备安装在电梯厢内顶部或电梯内显示屏上,保证摄像头以最大的视野角对电梯轿厢实时进行拍摄,采集电梯内的监控视频;
图像采集单元将监控设备抓到的图片数据进行预处理后用于后续目标检测分析分类单元分析,对图片数据的预处理方式包括图像裁剪、补边、翻转操作;
目标检测分析单元包括深度学习目标检测方法,通过对经过预处理后的电梯监控视频图片数据进行分析,获取图片数据中人物在原图中的具***置,再通过相应调用方法获取具有人物的图像,并保存至图像数据库;
重识别分析模块包括深度学习行人重识别方法,基于目标检测分析单元提取到的具有人物的图像,提取256维或128维特征,再通过聚类方法,有效获取人物的编号信息;
去重后信息分析模块根据图像数据库中的人物位置和重识别分析模块获取的人物编号信息,通过对一个完整乘梯过程中所有人物的去重,获得每个乘梯过程的人物信息库,其中每个乘梯过程指一个完整的电梯上行过程或下降过程;
画像模块根据去重后信息分析模块获取的人物信息库,进而获取固定地点在一段时间内的人物画像;
信息播放模块包括电梯内的显示屏或小区物业的相关通讯与显示设备,根据画像模块配合广告投放***,获取更精准的广告投放信息与安防信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910226225.1A CN109969891A (zh) | 2019-03-25 | 2019-03-25 | 一种基于深度学习的电梯乘客重识别分析*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910226225.1A CN109969891A (zh) | 2019-03-25 | 2019-03-25 | 一种基于深度学习的电梯乘客重识别分析*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109969891A true CN109969891A (zh) | 2019-07-05 |
Family
ID=67080244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910226225.1A Pending CN109969891A (zh) | 2019-03-25 | 2019-03-25 | 一种基于深度学习的电梯乘客重识别分析*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109969891A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401196A (zh) * | 2020-03-10 | 2020-07-10 | 珠海全志科技股份有限公司 | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 |
CN111476600A (zh) * | 2020-03-23 | 2020-07-31 | 浙江新再灵科技股份有限公司 | 直梯广告受众人数统计分析方法 |
CN112257615A (zh) * | 2020-10-26 | 2021-01-22 | 上海数川数据科技有限公司 | 一种基于聚类的顾客数量统计方法 |
CN115072510A (zh) * | 2022-06-08 | 2022-09-20 | 上海交通大学 | 基于门开关的电梯轿厢乘客智能识别与分析方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012017167A (ja) * | 2010-07-07 | 2012-01-26 | Nec Embedded Products Ltd | エレベータの防犯システム及びエレベータの制御方法 |
CN103093274A (zh) * | 2012-12-30 | 2013-05-08 | 信帧电子技术(北京)有限公司 | 基于视频的行人计数的方法 |
CN103530652A (zh) * | 2013-10-23 | 2014-01-22 | 北京中视广信科技有限公司 | 一种基于人脸聚类的视频编目方法、检索方法及其*** |
CN107464135A (zh) * | 2017-07-11 | 2017-12-12 | 浙江新再灵科技股份有限公司 | 一种基于人体特征识别的电梯广告投放***及方法 |
CN107758454A (zh) * | 2017-11-24 | 2018-03-06 | 安徽奥里奥克科技股份有限公司 | 基于智能终端的人梯信息交互*** |
-
2019
- 2019-03-25 CN CN201910226225.1A patent/CN109969891A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012017167A (ja) * | 2010-07-07 | 2012-01-26 | Nec Embedded Products Ltd | エレベータの防犯システム及びエレベータの制御方法 |
CN103093274A (zh) * | 2012-12-30 | 2013-05-08 | 信帧电子技术(北京)有限公司 | 基于视频的行人计数的方法 |
CN103530652A (zh) * | 2013-10-23 | 2014-01-22 | 北京中视广信科技有限公司 | 一种基于人脸聚类的视频编目方法、检索方法及其*** |
CN107464135A (zh) * | 2017-07-11 | 2017-12-12 | 浙江新再灵科技股份有限公司 | 一种基于人体特征识别的电梯广告投放***及方法 |
CN107758454A (zh) * | 2017-11-24 | 2018-03-06 | 安徽奥里奥克科技股份有限公司 | 基于智能终端的人梯信息交互*** |
Non-Patent Citations (1)
Title |
---|
袁烨: "面向智能监控的人流量计数及人群密度检测研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401196A (zh) * | 2020-03-10 | 2020-07-10 | 珠海全志科技股份有限公司 | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 |
CN111476600A (zh) * | 2020-03-23 | 2020-07-31 | 浙江新再灵科技股份有限公司 | 直梯广告受众人数统计分析方法 |
CN111476600B (zh) * | 2020-03-23 | 2023-09-19 | 浙江新再灵科技股份有限公司 | 直梯广告受众人数统计分析方法 |
CN112257615A (zh) * | 2020-10-26 | 2021-01-22 | 上海数川数据科技有限公司 | 一种基于聚类的顾客数量统计方法 |
CN112257615B (zh) * | 2020-10-26 | 2023-01-03 | 上海数川数据科技有限公司 | 一种基于聚类的顾客数量统计方法 |
CN115072510A (zh) * | 2022-06-08 | 2022-09-20 | 上海交通大学 | 基于门开关的电梯轿厢乘客智能识别与分析方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109969891A (zh) | 一种基于深度学习的电梯乘客重识别分析*** | |
CN106998444B (zh) | 一种大数据人脸监控*** | |
CN108062809B (zh) | 一种实现人员大数据采集分析的住宅门禁*** | |
CN110084292A (zh) | 基于DenseNet和多尺度特征融合的目标检测方法 | |
CN108171184A (zh) | 基于Siamese网络的用于行人重识别的方法 | |
CN102346847B (zh) | 一种支持向量机的车牌字符识别方法 | |
CN102610102B (zh) | 一种嫌疑车辆查控方法及*** | |
CN109871799B (zh) | 一种基于深度学习的驾驶员玩手机行为的检测方法 | |
CN101980242B (zh) | 人脸面相判别方法、***及公共安全*** | |
CN110378236A (zh) | 基于深度学习的车辆身份识别模型构建、识别方法和*** | |
CN106650693A (zh) | 一种用于人脸比对的多特征融合识别算法 | |
CN107180234A (zh) | 基于人脸表情识别和人脸特征提取的信用风险预测方法 | |
CN104504408A (zh) | 一种人脸识别比对方法和实现该方法的*** | |
CN107992855A (zh) | 一种基于人脸识别的机场安检三重验证方法 | |
CN101329735A (zh) | 一种手写签名鉴定设备及其方法 | |
CN105787466A (zh) | 一种车辆类型的精细识别方法及*** | |
CN103871077A (zh) | 一种道路车辆监控视频中的关键帧提取方法 | |
CN107483894A (zh) | 基于场景判断实现客运管理的高铁车站视频监控*** | |
CN112634561A (zh) | 基于图像识别的安全报警方法和*** | |
CN106156695A (zh) | 出口和/或入口区域识别方法和装置 | |
CN106096553A (zh) | 一种基于多特征的行人流量统计方法 | |
CN104820829A (zh) | 一种新的基于深度数据的人脸识别算法及其在智能权限分配***中的应用 | |
CN108345878A (zh) | 基于视频的公共交通工具客流量监测方法及*** | |
CN109614927A (zh) | 基于前后帧差异及特征降维的微表情识别 | |
CN111881890A (zh) | 一种智能身份识别安检***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190705 |