CN111259855A - 基于深度学习的移动式安全帽佩戴检测方法 - Google Patents

基于深度学习的移动式安全帽佩戴检测方法 Download PDF

Info

Publication number
CN111259855A
CN111259855A CN202010083323.7A CN202010083323A CN111259855A CN 111259855 A CN111259855 A CN 111259855A CN 202010083323 A CN202010083323 A CN 202010083323A CN 111259855 A CN111259855 A CN 111259855A
Authority
CN
China
Prior art keywords
safety
safety helmet
training
wearing
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010083323.7A
Other languages
English (en)
Inventor
柳建新
张钢
张宏帆
李轩
邱利文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Boyt Science & Technology Co ltd
Original Assignee
Tianjin Boyt Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Boyt Science & Technology Co ltd filed Critical Tianjin Boyt Science & Technology Co ltd
Priority to CN202010083323.7A priority Critical patent/CN111259855A/zh
Publication of CN111259855A publication Critical patent/CN111259855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种基于深度学习的移动式安全帽佩戴检测方法。本发明的皮带机巡检机器人在轨道上运行，通过分析云台摄像头转送回来的视频图像，利用SDD模型进行目标识别，通过图中所检测人体数、未戴安全帽人头数、戴安全帽人头数，利用当前与之前三帧所检测图像的人体数，判定视频中是否存在人员变化，当存在人员变化时，则利用所检测对象关系，判定巡检机器人沿途中是否有人及人员是否佩戴安全帽，同时，对未戴安全帽的一帧视频图像进行存储，如此，则实现当现场出现未戴安全帽现象时，只是保存一帧违规图像。本发明通过采用深度学习算法，在数据集上得到了一种具备安全帽检测的神经网络模型，该模型在构建的测试集上达到了良好的检测效果。

Description

基于深度学习的移动式安全帽佩戴检测方法
技术领域
本发明涉及人工智能目标检测领域，更具体地说，是涉及一种基于深度学习的移动式安全帽佩戴检测方法。
背景技术
在煤矿、电厂、变电站、建筑工地等实际场景中，佩戴安全帽能够有效保护操作人员的头部安全，是一种必须执行的安全措施。但由于部分人员缺乏安全意识，不按规定佩戴安全帽，带来了巨大的安全风险。目前，主要管理办法是进行施工现场视频监控，采用人工监督是否佩戴安全帽。但是这种人工监管办法，一方面，因为现场场地众多，监控屏幕较大，监控人员容易疲劳，导致监控疏漏；另一方面，需要大量人力，造成资源浪费。
近年来人工智能快速发展，计算机视觉作为人工智能的一个重要研究方向,也迎来了第三次热潮。目标检测作为计算机视觉领域的一个研究热点,大量的基于卷积神经网络的优秀目标检测算法取得了巨大的成功，激励着越来越多的学者开始致力于深度学习目标检测算法的研究。因安全帽作为安全防护用品，其主要作用是保护施工现场人员的头部，防高空物体坠落，防物体打击、碰撞，对安全生产起到重要价值，视频图像的安全帽检测受到重视。
目前，主要管理办法是进行施工现场视频监控，采用人工监督是否佩戴安全帽。即使存在视频检测，也是固定摄像头，多用于建筑工地、电厂入口，对现场监管力度不够。
人工监管办法，一方面，因为现场场地众多，监控屏幕较大，监控人员容易疲劳，导致监控疏漏；另一方面，需要大量人力，造成资源浪费；固定点检测因视角有限，只能对局部区域进行监视，不能排除其它未被覆盖区域人员操作规范情况。
发明内容
本发明所要解决的技术问题是，克服现有技术中存在的不足，提供一种基于深度学习的移动式安全帽佩戴检测方法。
煤炭、电厂皮带机巡检机器人在轨道上运行，通过分析云台摄像头转送回来的视频图像，利用SDD模型进行目标识别，通过图中所检测人体数、未戴安全帽人头数、戴安全帽人头数，利用当前与之前三帧所检测图像的人体数，判定视频中是否存在人员变化，当存在人员变化时，则利用所检测对象关系，判定巡检机器人沿途中是否有人及人员是否佩戴安全帽，同时，对未戴安全帽的一帧视频图像进行存储，减少数据冗余，防止相同违规行为，多次存储的现象。如此，则实现当现场出现未戴安全帽现象时，只是保存一帧违规图像。
本方法采用Tensorflow深度学***台，也是目前最受欢迎的用来实现神经网络的机器学习框架。
Tensorflow广泛支持包括计算机视觉、语音识别、人机对弈和自然语言处理等大量功能。据此，本方法在以往研究的基础上，提出一种基于深度学习的移动式安全帽佩戴检测方法。过程包括样本收集、模型训练、检测。并通过巡检机器人云台摄像头实现对周围环境的检测、识别，验证算法对于现场工人安全帽佩戴检测的可行性和有效性。并对未按标准佩戴安全的现象进行警报、违规图像存储。
本发明一种基于深度学习的移动式安全帽佩戴检测方法，煤炭、电厂皮带机巡检机器人在轨道上运行，通过分析云台摄像头转送回来的视频图像，具体检测方法步骤如下：
1.样本采集：就是获取所监视现场含有人的图片，其需包括带安全帽人体(施工现场)、未带安全人体(可用其它场所)；
2.模型训练：利用获取的样本，通过labelImg软件进行训练目标坐标的提取，经一系列转化获取训练所需要的数据，并将其送入目标识别模型进行训练；
3.检测部分：
a.进行一帧视频图像的采集；
b.启动图像目标检测；
c.对检测结果进行统计及标注，统计包括戴安全帽人头数、未戴安全帽人头数、人体数；
d.判定是否取消判定，若不取消则启动判定是否有人未戴安全帽，若取消判定则不做任何处理，关闭检测标志；
e.根据当前与之前三帧人数，判定是否开启检测标志；
f.更新存储相邻三种中所检测的人体数，最后将带有识别结果图像显示。
所述样本采集，基于Tensorflow框架对施工现场图像中佩戴安全帽和未佩戴安全帽的工作人员进行识别；首先采集一定数量的工人图像作为模型的训练和测试集，目前，由于没有一个完整的关于工人个人安全设备检测的数据集，需要自行开发设计一个数据集以训练和测试ssd_mobilenet_v2模型。本研究需要检测未戴安全帽人头部图像、戴安全帽头部图像、人体图像。为了节省人力，使用Tensorflow框架下ssd_mobilenet_v2_coco预训练模型进行人体的采集，采集2000张现场人员戴安全帽人体图像，然后收集2000张未带安全帽人体图像(可其它场所)。
所述模型训练，下载labelImg软件，标注所收集的样本，其包括：戴安全帽人头部、未戴安全帽人头部、人体，标注标签后数据会自动保存为xml格式；然后，把xml数据集分为了训练集占90％，test为测试集10％。之后，把xml转换成csv文件，再将csv文件转换成训练需要的tfrecord格式；在工程文件目录下创建标签分类的配置文件(label_map.pbtxt)，需要检测几种目标，将创建几个id；配置管道配置文件，最后，根据配置好的文件启动训练。
与现有技术相比，本发明的有益效果是：
本发明通过收集现场图片信息和人工标注的方法，构建了训练集和测试集。通过采用深度学习算法，在数据集上得到了一种具备安全帽检测的神经网络模型。经验证，该模型在构建的测试集上达到了良好的检测效果。
附图说明
图1是本发明流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
煤炭、电厂皮带机巡检机器人在轨道上运行，通过分析云台摄像头转送回来的视频图像，检测方法如图1所示，启动***后，首先进行程序相关参数设置，包括：网络摄像头的设置；检测存储的未带戴安全帽图像的文件夹是否存在，若不存在，则重新建立；检测训练模型的加载，因模型加载数据量比较大，所以需要较长时间等待。
完成初始化后，***进行一帧视频图像采集，因原图像分辨率一般在200万以上，为了减轻检测带来的运行压力，这里讲图像处理成960*540。
读取一帧视频后，便进行图像识别算法的运行，检测结果分为三类。而后，对检测结果进行统计及标注，统计戴安全帽人头数、未带安全帽人头数、人体数。
根据统计结果，判定是否取消判定，判定标准是检测人体数或人体数与戴安全帽数是否相等。若人体为零或人体数等于戴安全帽人头数，则说明不存在未戴安全帽现象，检测标志关闭。否者启动检测判定是否有人未戴安全帽，判断的标准：未戴安全帽的人体大于零且检测标志被开启，若满足条件，则判定存在未戴安全帽的现象，进行输出警报及存储未戴安全帽图像，最后将检测标志关闭。
判定检测人数是否变化，判定的标志，依据当前检测与存储的三次人体数，当同时满足以下条件者将启动检测标志：当前图像人体数与存储第三个帧中的人体数相同；2.当前帧人体数与第一、二帧人体数都不同；3.目前人体数不为零；4.当前帧人体数大于所检测戴安全帽人头数。
最后，更新存储相邻三种中所检测的人体数，并图像上显示识别结果。

Claims (3)

1.一种基于深度学习的移动式安全帽佩戴检测方法，其特征是，皮带机巡检机器人在轨道上运行，通过分析云台摄像头转送回来的视频图像，检测方法按照下述步骤进行：
1)样本采集：就是获取所监视现场含有人的图片，其需包括带安全帽人体图片用于施工现场，未带安全帽的人体图片用于其它场所；所述样本采集，是基于Tensorflow框架对施工现场图像中佩戴安全帽和未佩戴安全帽的工作人员进行识别，采集一定数量的工人图像作为模型的训练和测试集；
2)模型训练：利用获取的样本，通过labelImg软件进行训练目标坐标的提取，经一系列转化获取训练所需要的数据，并将其送入目标识别模型进行训练；
3)检测部分：
a.进行一帧视频图像的采集；
b.启动图像目标检测；
c.对检测结果进行统计及标注，统计包括戴安全帽人头数、未戴安全帽人头数、人体数；
d.判定是否取消判定，若不取消则启动判定是否有人未戴安全帽，若取消判定则不做任何处理，关闭检测标志；
e.根据当前与之前三帧人数，判定是否开启检测标志；
f.更新存储相邻三种中所检测的人体数，最后将带有识别结果图像显示。
2.根据权利要求所述的基于深度学习的移动式安全帽佩戴检测方法，其特征是，所述样本采集，设计一个数据集以训练和测试ssd_mobilenet_v2模型，采集2000张现场人员戴安全帽人体图像，然后收集2000张未带安全帽人体图像。
3.根据权利要求所述的基于深度学习的移动式安全帽佩戴检测方法，其特征是，所述模型训练，下载labelImg软件，标注所收集的样本，其包括：戴安全帽人头部、未戴安全帽人头部、人体，标注标签后数据会自动保存为xml格式；然后，把xml数据集分为了训练集占90％，test为测试集10％；之后，把xml转换成csv文件，再将csv文件转换成训练需要的tfrecord格式；在工程文件目录下创建标签分类的配置文件label_map.pbtxt，检测几种目标，将创建几个id；配置管道配置文件，最后，根据配置好的文件启动训练。
CN202010083323.7A 2020-02-09 2020-02-09 基于深度学习的移动式安全帽佩戴检测方法 Pending CN111259855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010083323.7A CN111259855A (zh) 2020-02-09 2020-02-09 基于深度学习的移动式安全帽佩戴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010083323.7A CN111259855A (zh) 2020-02-09 2020-02-09 基于深度学习的移动式安全帽佩戴检测方法

Publications (1)

Publication Number Publication Date
CN111259855A true CN111259855A (zh) 2020-06-09

Family

ID=70948235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010083323.7A Pending CN111259855A (zh) 2020-02-09 2020-02-09 基于深度学习的移动式安全帽佩戴检测方法

Country Status (1)

Country Link
CN (1) CN111259855A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860242A (zh) * 2020-07-07 2020-10-30 北京海益同展信息科技有限公司 一种机器人巡检方法、装置和计算机可读介质
CN111914773A (zh) * 2020-08-07 2020-11-10 杭州微胜智能科技有限公司 一种抓拍违法上下客的设备、方法
CN112911255A (zh) * 2020-11-10 2021-06-04 泰州程顺制冷设备有限公司 建筑工地安全状态检测***
CN113553963A (zh) * 2021-07-27 2021-10-26 广联达科技股份有限公司 安全帽的检测方法、装置、电子设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049787A (zh) * 2011-10-11 2013-04-17 汉王科技股份有限公司 一种基于头肩特征的人数统计方法和***
CN104902227A (zh) * 2015-05-06 2015-09-09 南京第五十五所技术开发有限公司 一种变电站安全帽情况佩戴视频监控***
CN105469069A (zh) * 2015-12-09 2016-04-06 上海工业自动化仪表研究院 面向生产线数据采集终端的安全帽视频检测方法
CN106372662A (zh) * 2016-08-30 2017-02-01 腾讯科技（深圳）有限公司 安全帽佩戴的检测方法和装置、摄像头、服务器
CN108596111A (zh) * 2018-04-26 2018-09-28 四川隧唐科技股份有限公司 安全帽识别方法以及装置
CN110008804A (zh) * 2018-12-12 2019-07-12 浙江新再灵科技股份有限公司 基于深度学习的电梯监控关键帧获取及检测方法
CN110602449A (zh) * 2019-09-01 2019-12-20 天津大学 一种基于视觉的大场景下施工安全智能监控***方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049787A (zh) * 2011-10-11 2013-04-17 汉王科技股份有限公司 一种基于头肩特征的人数统计方法和***
CN104902227A (zh) * 2015-05-06 2015-09-09 南京第五十五所技术开发有限公司 一种变电站安全帽情况佩戴视频监控***
CN105469069A (zh) * 2015-12-09 2016-04-06 上海工业自动化仪表研究院 面向生产线数据采集终端的安全帽视频检测方法
CN106372662A (zh) * 2016-08-30 2017-02-01 腾讯科技（深圳）有限公司 安全帽佩戴的检测方法和装置、摄像头、服务器
CN108596111A (zh) * 2018-04-26 2018-09-28 四川隧唐科技股份有限公司 安全帽识别方法以及装置
CN110008804A (zh) * 2018-12-12 2019-07-12 浙江新再灵科技股份有限公司 基于深度学习的电梯监控关键帧获取及检测方法
CN110602449A (zh) * 2019-09-01 2019-12-20 天津大学 一种基于视觉的大场景下施工安全智能监控***方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
樊钰: "基于深度学习的安全帽检测***设计与实现", 《中国优秀硕士学位论文全文数据库工程科技I辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860242A (zh) * 2020-07-07 2020-10-30 北京海益同展信息科技有限公司 一种机器人巡检方法、装置和计算机可读介质
CN111860242B (zh) * 2020-07-07 2024-05-21 京东科技信息技术有限公司 一种机器人巡检方法、装置和计算机可读介质
CN111914773A (zh) * 2020-08-07 2020-11-10 杭州微胜智能科技有限公司 一种抓拍违法上下客的设备、方法
CN112911255A (zh) * 2020-11-10 2021-06-04 泰州程顺制冷设备有限公司 建筑工地安全状态检测***
CN112911255B (zh) * 2020-11-10 2021-12-07 江苏国兴建设项目管理有限公司 建筑工地安全状态检测***
CN113553963A (zh) * 2021-07-27 2021-10-26 广联达科技股份有限公司 安全帽的检测方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN111259855A (zh) 基于深度学习的移动式安全帽佩戴检测方法
CN110110613B (zh) 一种基于动作识别的轨道交通异常人员检测方法
CN108319926A (zh) 一种工地现场的安全帽佩戴检测***及检测方法
CN111598040B (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及***
CN111191586B (zh) 一种施工现场人员安全帽佩戴情况巡检方法及***
CN112183317A (zh) 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法
CN111920129A (zh) 一种智能安全帽***
CN114665608B (zh) 用于变电站的智能感知巡检***及方法
CN111257507A (zh) 一种基于无人机的气体浓度检测及事故预警***
CN108566538A (zh) 基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控***及方法
CN115393566A (zh) 电力设备的故障识别与预警方法、装置、存储介质、设备
CN113206978A (zh) 油气管道站场安防智能监控预警***及方法
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN114565845A (zh) 一种地下隧道智能巡检***
CN114187542A (zh) 一种电力场景下的绝缘手套检测方法及***
CN115223249A (zh) 一种基于机器视觉的井下人员不安全行为快速分析与识别方法
CN116071708A (zh) 一种用于火灾风险安防的图像识别分析方法
CN116665419B (zh) 电力生产作业中基于ai分析的故障智能预警***及方法
CN104574729A (zh) 一种报警方法、装置及***
CN111652128B (zh) 一种高空电力作业安全监测方法、***和存储装置
CN115829324A (zh) 一种人员安全风险静默监视方法
CN110751125A (zh) 穿戴检测方法及装置
CN116433029A (zh) 电力作业风险评估方法、***、设备及存储介质
CN115909191A (zh) 一种加气站操作人员气体泄露检测行为的分析方法
CN112926488B (zh) 基于电力杆塔结构信息的作业人员违章识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200609

WD01 Invention patent application deemed withdrawn after publication