CN112036321A - 一种基于ssd-roi级联神经网络的安全帽检测方法 - Google Patents
一种基于ssd-roi级联神经网络的安全帽检测方法 Download PDFInfo
- Publication number
- CN112036321A CN112036321A CN202010903678.6A CN202010903678A CN112036321A CN 112036321 A CN112036321 A CN 112036321A CN 202010903678 A CN202010903678 A CN 202010903678A CN 112036321 A CN112036321 A CN 112036321A
- Authority
- CN
- China
- Prior art keywords
- neural network
- safety helmet
- ssd
- human body
- roi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000003062 neural network model Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000005065 mining Methods 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000012804 iterative process Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000009466 transformation Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于SSD‑ROI级联神经网络的安全帽检测方法，其特征在于，包括如下步骤：获取并制作数据集；建立SSD‑ROI级联神经网络模型，其中的人体检测子模型提取原始图片中人体的位置框，并将位置框输入安全帽检测子模型，在位置框内进行安全帽和头部的类别识别与位置定位，最后在原始图像中输出两个模型检测出的人体、安全帽和头部的类别信息和位置信息；将训练集输入模型中，结合难负样本挖掘策略训练模型；将测试集输入到训练好的SSD‑ROI级联神经网络模型中，输出检测结果。本发明只检测人体范围内的安全帽，不对孤立的安全帽进行检测，缩小了检测范围，降低了运算复杂度，且检测效果和检测速度方面都有所改善。
Description
技术领域
本发明属于计算机视觉技术领域，特别涉及一种基于SSD-ROI级联神经网络的安全帽检 测方法。
背景技术
随着社会基础设施不断的发展，工程项目的数量也随之增多。因此需要更多的施工人员 来进行项目的实施。但是目前企业的安全防护措施仍然还处在较为落后的阶段，仍有许多企 业通过原始的人工监管方式进行安防管理。目前安防***的主要功能大多数为门禁、监控等， 但是仅有这些功能仍然不能满足高危工作区域工作人员的人生安全。
同时，现实中发生了许多由于工作人员缺乏安全意识而进入高危区域或未佩戴安全帽， 导致发生安全事故。因此，为了最大程度上减少安全风险，在提高工作人员安全意识的同时， 对施工现场的安防监管和预警也是刻不容缓的。
近年来，随着深度学习的不断发展，计算机视觉更是替代人工成为趋势。通过计算机视 觉技术与视频相结合，实现对视频的自动监控，当视频中出现行为异常时自动警报起到提醒 人员的作用，同时可以大大降低人的劳动强度。当工作人员进入高危区域工作时，首先需要 进行门禁人脸识别，判断进入时是否正确佩戴安全帽，若未正确佩戴安全帽，门禁不会开启。 当进去到施工场地后，每个场地会有摄像头对施工人员进行实时检测，若检测到工作人员进 入场地后佩戴安全帽不符合规定，则会有语音警报工作人员。两个过程都需要检测安全帽， 最关键的是如何保证安全帽检测的精度和速度。
传统的SSD网络模型融合了Faster RCNN回归的思想和YOLO锚盒的思想，能够在检测 精度和检测速度之间取得较好的平衡。但是，佩戴安全帽的人员始终处于一个动态的运动过 程中，当远离摄像头时，安全帽在视频帧中成像小，分辨率低，不容易被检测到；而且安全 帽自身表面光滑，形状固定，颜色单一，所以经常会受到噪声的干扰，产生严重的失真，更 增加了检测难度。
安全帽检测属于小目标物体检测，存在难以识别的问题。提高小目标的检测效果通常有 两种解决方法：一种是图像金字塔的方法，通过对训练图像进行上采样操作，输出多尺度图 像，优点是能够增强小目标的特征，但是该方法对计算机的计算能力和存储空间要求很高， 因此难以实际应用；另一种是逐层预测的方法，综合卷积神经网络中某些卷积层输出的特征 图的预测结果，但是该方法对硬件性能要求高，因此不能实现实时检测。
发明内容
发明目的：针对现有技术中存在的问题，本发明公开了一种基于SSD-ROI级联神经网络 的安全帽检测方法，通过搭建级联神经网络在人体区域内检测安全帽和头部，提高小目标的 检测精度，相较于传统的SSD检测算法，小目标安全帽的平均精确值和准确值都有了一定的 提升，十分适合工程环境。
技术方案：本发明采用如下技术方案：一种基于SSD-ROI级联神经网络的安全帽检测方 法，其特征在于，包括如下步骤：
S1、获取数据：将自制数据集和网上下载的人体公共数据集、安全帽公共数据集进行混 合得到混合数据集，并将混合数据集分为训练集、验证集和测试集；
S2、制作数据集：将混合数据集统一重命名，进行标注后转化为统一格式；
S3、建立模型：建立SSD-ROI级联神经网络模型，包括人体检测子模型和安全帽检测子 模型，人体检测子模型提取原始图片中人体的位置框，并将此位置框输入安全帽检测子模型， 在人体的位置框内进行安全帽和头部的类别识别与位置定位，最后在原始图像中输出两个模 型检测出人体、安全帽和头部的类别信息和位置信息；
S4、训练模型：将训练集和验证集输入SSD-ROI级联神经网络模型中，结合难负样本挖 掘策略对SSD-ROI级联神经网络模型进行训练；
S5、测试模型：将测试集输入到训练好的SSD-ROI级联神经网络模型中，输出检测结果。
优选地，步骤S4中模型的训练过程如下：
S41、以训练集中的样本为输入，样本对应的标签为目标输出，对SSD-ROI级联神经网络 模型进行训练；
S42、采集难负样本，将难负样本加入训练集中，重新对SSD-ROI级联神经网络模型进行 训练；
S43、执行步骤S41和步骤S42至少一次后，将验证集输入SSD-ROI级联神经网络模型中进 行训练；回到步骤S41。
优选地，SSD-ROI级联神经网络模型包括主干卷积神经网络、池化层和网络头，人体检 测子模型包括第一主干卷积神经网络、第一池化层和第一网络头，安全帽检测子模型包括第 二主干卷积神经网络、第二池化层和第二网络头；其中，
原始图片输入第一主干卷积神经网络，输出原始图片的特征图；
原始图片的特征图依次输入第一池化层和第一网络头，输出人体检测的结果和人体的位 置框；
根据人体的位置框从原始图片中裁剪出人体部分图片，人体部分图片输入第二主干卷积 神经网络，输出人体部分图片的特征图；
人体部分图片的特征图依次输入第二池化层和第二网络头，输出安全帽检测的结果和安 全帽或头部的位置框。
优选地，网络头采用SSD网络结构。
优选地，步骤S4中，原始图片经过尺度变换后输入第一主干卷积神经网络，人体部分图 片经过尺度变换后输入第二主干卷积神经网络。
优选地，步骤S4中，在每次训练后，将输出置信度大于0.7、与标签中真实目标框的IOU 值小于0.5的矩形框的样本定义为难负样本。
优选地，步骤S4中，SSD-ROI级联神经网络模型训练的迭代过程为20000次，训练的学习 率为0.001，训练的批尺寸为16。
优选地，步骤S1中，将混合数据集按7:3的比例分成训练集与测试集，再随机从训练集中 抽出20％的样本作为验证集，验证集是训练集的一部分。
优选地，步骤S2中，混合数据集的重命名规则为：在混合数据集中样本的序列号前补0 至六位数字。
优选地，步骤S2中，用LabelImg对混合数据集中的样本进行标注，并将样本由xml格式转 化为TFRecord Format格式。
有益效果：本发明具有如下有益效果：
1、本发明只检测人体范围内的安全帽，不对孤立的安全帽进行检测，缩小了检测范围， 降低了运算复杂度，且检测效果和检测速度方面都有所改善；
2、本发明首先检测人体目标，人体的尺寸比安全帽大得多，更容易被检测到，不容易受 到噪声的干扰，与背景的区分度较大；
3、本发明在训练过程加入了难负样本挖掘策略，提高了检测精度。
附图说明
图1是本发明采用的级联神经网络结构图；
图2是本发明训练方法采用的流程图；
图3为本发明中SSD网络的结构示意图；
图4为本发明中边界回归的示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
本发明公开了一种基于SSD-ROI级联神经网络的安全帽检测方法，包括以下步骤：
步骤一：数据获取，从网上下载人体公共数据集和安全帽公共数据集以及自制数据集作 为本发明所用的数据集。
本发明采用IRINA行人数据库作为人体公共数据集，其中，IRINA行人数据库的训练集 包括正样本614张，负样本1218张；IRINA行人数据库的测试集包括正样本288张，负样本 453张。
本发明采用AI研习社联合天数智芯推出的安全帽数据集作为安全帽公共数据集，包含工 地照片、某大学监控视频图片和普通场景图片，覆盖范围较广，适合用来进行安全帽检测。
本发明采用工业摄像机进行数据采集，以俯视角度为主，模拟实验中实验人员围绕摄像 头以不同的角度前进，可采集不同实验人员在摄像头下的行为信息，从这些模拟实验中可以 得到大量的人体样本作为自制数据集。
步骤一中获取到的数据集中需考虑到目标与背景区分度不高、摄像头的角度与光照问题， 以保证数据集中图片样本的多样性。
本发明将人体公共数据集、安全帽公共数据集和自制数据集进行混合，得到混合数据集， 将混合数据集按7：3的比例分成训练集与测试集两个部分，再随机从训练集中抽出20％的样 本作为验证集，抽出的验证集依旧是训练集的一部分。
步骤二：数据集制作，将混合数据集按照格式统一重命名，用LabelImg进行标注，并将 xml转化为TFRecord Format格式。
首先对混合数据集进行统一命名：在图片样本的序列号前面补0至六位数字，例如第1 个图片样本命名为000001。
然后使用图像标注工具LabelImg对混合数据集中的图片样本进行标注：标注人、正确佩 戴安全帽和未正确佩戴安全帽三类，分别用person、wearing和unwearing表示，文件后缀名 为“xml”。其中，若图片样本中存在人体，对人体建立标签并标注为人；若图片样本中安全 帽佩戴于人体头部，对安全帽和头部一起建立标签并标注为正确佩戴安全帽；若图片样本中 安全帽未佩戴于人体头部，对头部建立标签并标注为未正确佩戴安全帽。
利用python程序将人工标注后的混合数据集进行格式转换：将标注后的“xml”文件统 一记录在csv文件中，然后在csv表格中创建TFRecord。
步骤三：将训练集和其对应的标签输入SSD-ROI级联神经网络进行训练，得到模型参数， 并用验证集进行验证。
以SSD作为检测模型，训练人体检测子模型，对人体进行检测。
以SSD作为检测模型，训练安全帽检测子模型，确定安全帽是否佩戴于头部，并将头部 区域信息传输到后台，方便安全员及时对危险作业的人员做出处理。
本发明中首先进行人体检测子模型的训练，然后将人体检测子模型训练得到的人***置 区域输入给安全帽检测子模型，在该区域内进行安全帽与头部的检测。
本发明以SSD作为检测模型搭建如图1所示的2级SSD-ROI级联神经网络，其中I表示 原始图片；Conc1和Conc2分别表示人体检测子模型和安全帽检测子模型中提取图片特征的 主干卷积神经网络；Pool1和Pool2分别表示人体检测子模型和安全帽检测子模型的池化层， 进行区域特征提取；H1和H2分别表示人体检测子模型和安全帽检测子模型的网络头，本发 明中网络头采用SSD网络结构，SSD网络包括基础网络VGG16和金字塔网络；B0、B1和 B2分别表示锚框，其中B0是网络预设的人体的位置框，是根据人工标注的图片样本用K-means聚类得到的，B1是人体检测子模型检测输出的人体的位置框，B2是安全帽检测子模型输出的安全帽与头部共同的位置框或者是头部单独的位置框；C1和C2分别表示人体检测和安全帽检测的分类结果，即：C1表示人体检测子模型检测到的人体的置信度，C2表示安全帽检测子模型检测到的安全帽的置信度，若正确佩戴安全帽时，C2为同时检测到安全帽 和头部的置信度，未正确佩戴安全帽时，C2为单独检测到头部的置信度。
人体检测子模型包括第一主干卷积神经网络Conc1、第一池化层Pool1和第一网络头H1； 安全帽检测子模型包括第二主干卷积神经网络Conc2、第二池化层Pool2和第二网络头H2。 其中：
原始图片I输入第一主干卷积神经网络Conc1，第一主干卷积神经网络Conc1输出原始 图片的特征图到第一池化层Pool1，第一池化层Pool1还输入有网络预设的人体锚框B0，输 出区域特征图到第一网络头H1，第一网络头H1输出人体检测的置信度C1和人体的位置框 B1；
利用人体的位置框B1对原始图片I进行裁剪得到人体部分图片，将人体部分图片输入第 二主干卷积神经网络Conc2，第二主干卷积神经网络Conc2输出人体部分图片的特征图到第 二池化层Pool2，第二池化层Pool2输出区域特征图到第二网络头H2，第二网络头H2输出检 测到的安全帽或头部的位置框B2和置信度C2。
如图3所示，将一幅300×300的图像进行预处理后输入SSD网络。设目标检测的类别为 class，在基础网络VGG16中的Conv4_3层上得到38×38×512个卷积输出，该层共设置了4 个纵横比，因此共有(38×38)×4个默认框，将这些特征图通过4×(class+4)个卷积核进行卷积 操作，设置填充为1，步长为1，最后得到(38×38)×4×(class+4)个输出。其中，confidence 是置信度，4是指4个位置偏移量。基础网络VGG16中的FC7层得到19×19×1024个卷积输 出，该层的默认框设置了6个纵横比，所以有(19×19)×6个默认框，最后共有(19×19)×6×(class+4)个卷积输出。对剩余的卷积层做相同的操作，从图3中可以看出，只 有最后3个卷积层有合适的目标输出，对这些输出进行非极大值抑制，得到目标的置信度分 数和位置偏移量，最后通过边框回归得到检测效果最好的预测框。
SSD网络通过基础网络和金字塔网络输出特征图，选取特定卷积层输出的特征图，在特 征图上设置不同尺寸和宽高比的默认框。设在m个不同大小的特征图中进行预测，对于第k 个特征图中默认框比例的计算公式如下：
其中，Smin的值一般取0.2，Smax的值一般取0.95，它们分别代表默认框占特征图面积比例 的最小值和最大值。
为了使默认框能够适应各种形状的物体，对于同一特征图中的默认框设置了不同的宽高 比。设宽高比αr＝{1,2,3,1/2,1/3}，当默认框的尺寸为Sk时，高度
和宽度
的计 算公式如下：
对于αr＝1的默认框，增加了尺寸为
的附加默认框；此刻特征图的每个 单元格包含6个默认框。每个默认框的中心坐标的计算公式为：
其中，|fk|表示第k个特征图的尺寸，(i,j)表示特征图上的位置坐标，i,j∈[0,|fk|)。由 此，便可得到所有默认框。
特征图中的每个单元格都会设置一定数目的默认框，因此默认框的数目一般会是特征图 数量的数倍。采用非极大值抑制(Non-maximum suppression，NMS)的方法来消除多余的默 认框，非极大值抑制有如下几个步骤：
1、将全部默认框的置信度分数按照高低顺序进行排序，将其中分数最高的默认框添加到 最终的输出列表；
2、遍历剩余的默认框，计算剩余的默认框与置信度分数最高的默认框之间的交并比(即 重叠程度)，如果大于阈值，删除此默认框；
3、从剩余的默认框中再次选出置信度分数最高的默认框，重复上述步骤，直到没有多余 的默认框，输出最终列表中的默认框。
但是通常经过非极大值抑制后的预测框与真实框还存在一定的误差，因此还需要采用边 框回归来调整所有预测框的中心坐标和宽高比。边框回归示意图如图4所示。
图4中，P是原始的预测框，G是真实框，
是边框回归后的预测框，边框回归过程中原始的预测框P经过映射得到更加接近真实框G的边框回归后的预测框
框用四维向量(x,y,w,h)表示，其中(x,y)表示中心点的位置坐标，(w,h)表示框的长和宽，则有：
且有
为使上式成立，先对原始的预测框P的中心点(x,y)进行平移操作(Δx,Δy)，再对预测框 P的长宽(w,h)做尺度缩放(Sw,Sh)，则有
然后根据线性回归公式：
Y≈WX
优化目标：
基于边框回归方法候选区域属于主流目标检测算法的一类，一类是two_stage算法，一类 是one_stage算法，本发明属于one_stage算法，直接产生物体的类别概率和位置坐标值。
对于类别预测还将应用到softmax层，将类别和预测框链接到一个大型预测向量，如果 是训练阶段，预测结果会进入损失函数，计算误差，更新模型，如果是预测阶段，模型会被 解码，调整参数，从预测框中输出我们要的值。
本发明通过人体检测子模型检测人体目标，将该模型输出的人***置区域作为ROI区域， 输入到下一级的安全帽检测子模型中，安全帽检测子模型在该ROI区域内检测安全帽和头部， 确定安全帽是否被正确佩戴于头部，若在人***置区域内检测到头部和安全帽共同的目标框， 则正确佩戴安全帽；若在人***置区域内检测到头部单独的目标框，则未正确佩戴安全帽。 本发明所述的方法只检测人体范围内的安全帽，不对孤立的安全帽进行检测，缩小了检测范 围，降低了运算复杂度；且人体目标不像安全帽那么容易受到噪声的干扰，与背景的区分度 较大，在同一视频帧中，人体的尺寸比安全帽大得多，更容易被检测到。
本发明对原始图片进行尺度变换，相当于对图片重新调整大小，比如一张原来608*608 大小的图片尺度变换为300*300大小的图片。将原始图片输入第一主干卷积神经网络Conc1 前对其进行尺度变换，对原始图片进行尺度变换后将其送入人体检测子模型中检测人体，输 出人体的位置框，然后根据人体的位置框将人体部分图片从原始图片中裁剪出来，将人体部 分图片输入第二主干卷积神经网络Conc2前对其进行尺度变换，对人体部分图片进行尺度变 换后将其送入安全帽检测子模型，检测人体范围内的头部和安全帽。最后在原始图片中，用 黄色矩形框标记人体的位置，用绿色矩形框标记安全帽或头部的位置。
为了解决负样本(背景)占据图像的比例大，正样本目标(人、安全帽和头部)占据图 像的比例小的问题，本发明在训练过程中还加入难负样本挖掘策略。图2为训练方法改进后 的流程图。首先对训练集进行训练，得到本次训练过后没有正样本目标却输出矩形框的负样 本，将置信度大于0.7但与真实框的IOU值小于0.5的矩形框输出定义为难负样本；然后将 收集到的难负样本加入训练集，重新对网络进行训练，提高网络的检测精度。虽然难负样本 挖掘策略在训练网络时会增加一定的运算量，但是它只在网络训练时使用，当利用训练完成 的网络进行目标检测时，运算复杂度与原模型一样。
整个训练过程总共进行20000次，训练的学习率λ＝0.001，每次训练的批大小batch_size＝16。为了调整网络参数，当所有训练集完成一次或几次训练后，将验证集输入SSD-ROI级联神经网络中验证网络的效果。
步骤四：对训练得到的SSD-ROI训练参数用测试集进行测试。
将测试集输入到步骤三得到的SSD-ROI级联神经网络模型中，进行快速性和准确性检测。
SSD-ROI级联神经网络检测完成后，输出图片中人体和安全帽的置信度和名称类别，输 出黄色矩形框为人体的位置，绿色矩形框为安全帽的位置。
本发明通过搭建SSD-ROI级联神经网络在人体区域内检测安全帽和头部，提高小目标的 检测精度，与传统的SSD安全帽检测算法相比，SSD-ROI安全帽检测算法的总体的检测效果 和检测速度方面都有所改善，基本满足***需求。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说， 在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发 明的保护范围。
Claims (10)
1.一种基于SSD-ROI级联神经网络的安全帽检测方法，其特征在于，包括如下步骤：
S1、获取数据：将自制数据集和网上下载的人体公共数据集、安全帽公共数据集进行混合得到混合数据集，并将混合数据集分为训练集、验证集和测试集；
S2、制作数据集：将混合数据集统一重命名，进行标注后转化为统一格式；
S3、建立模型：建立SSD-ROI级联神经网络模型，包括人体检测子模型和安全帽检测子模型，人体检测子模型提取原始图片中人体的位置框，并将此位置框输入安全帽检测子模型，在人体的位置框内进行安全帽和头部的类别识别与位置定位，最后在原始图像中输出两个模型检测出人体、安全帽和头部的类别信息和位置信息；
S4、训练模型：将训练集和验证集输入SSD-ROI级联神经网络模型中，结合难负样本挖掘策略对SSD-ROI级联神经网络模型进行训练；
S5、测试模型：将测试集输入到训练好的SSD-ROI级联神经网络模型中，输出检测结果。
2.根据权利要求1所述的一种基于SSD-ROI级联神经网络的安全帽检测方法，其特征在于，步骤S4中模型的训练过程如下：
S41、以训练集中的样本为输入，样本对应的标签为目标输出，对SSD-ROI级联神经网络模型进行训练；
S42、采集难负样本，将难负样本加入训练集中，重新对SSD-ROI级联神经网络模型进行训练；
S43、执行步骤S41和步骤S42至少一次后，将验证集输入SSD-ROI级联神经网络模型中进行训练；回到步骤S41。
3.根据权利要求1所述的一种基于SSD-ROI级联神经网络的安全帽检测方法，其特征在于，SSD-ROI级联神经网络模型包括主干卷积神经网络(Conc1、Conc2)、池化层(Pool1、Pool2)和网络头(H1、H2)，人体检测子模型包括第一主干卷积神经网络(Conc1)、第一池化层(Pool1)和第一网络头(H1)，安全帽检测子模型包括第二主干卷积神经网络(Conc2)、第二池化层(Pool2)和第二网络头(H2)；其中，
原始图片输入第一主干卷积神经网络(Conc1)，输出原始图片的特征图；
原始图片的特征图依次输入第一池化层(Pool1)和第一网络头(H1)，输出人体检测的结果和人体的位置框；
根据人体的位置框从原始图片中裁剪出人体部分图片，人体部分图片输入第二主干卷积神经网络(Conc2)，输出人体部分图片的特征图；
人体部分图片的特征图依次输入第二池化层(Pool2)和第二网络头(H2)，输出安全帽检测的结果和安全帽或头部的位置框。
4.根据权利要求3所述的一种基于SSD-ROI级联神经网络的安全帽检测方法，其特征在于，网络头(H1、H2)采用SSD网络结构。
5.根据权利要求3所述的一种基于SSD-ROI级联神经网络的安全帽检测方法，其特征在于，步骤S4中，原始图片经过尺度变换后输入第一主干卷积神经网络(Conc1)，人体部分图片经过尺度变换后输入第二主干卷积神经网络(Conc2)。
6.根据权利要求1所述的一种基于SSD-ROI级联神经网络的安全帽检测方法，其特征在于，步骤S4中，在每次训练后，将输出置信度大于0.7、与标签中真实目标框的IOU值小于0.5的矩形框的样本定义为难负样本。
7.根据权利要求1所述的一种基于SSD-ROI级联神经网络的安全帽检测方法，其特征在于，步骤S4中，SSD-ROI级联神经网络模型训练的迭代过程为20000次，训练的学习率为0.001，训练的批尺寸为16。
8.根据权利要求1所述的一种基于SSD-ROI级联神经网络的安全帽检测方法，其特征在于，步骤S1中，将混合数据集按7:3的比例分成训练集与测试集，再随机从训练集中抽出20％的样本作为验证集，验证集是训练集的一部分。
9.根据权利要求1所述的一种基于SSD-ROI级联神经网络的安全帽检测方法，其特征在于，步骤S2中，混合数据集的重命名规则为：在混合数据集中样本的序列号前补0至六位数字。
10.根据权利要求1所述的一种基于SSD-ROI级联神经网络的安全帽检测方法，其特征在于，步骤S2中，用LabelImg对混合数据集中的样本进行标注，并将样本由xml格式转化为TFRecord Format格式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010903678.6A CN112036321A (zh) | 2020-09-01 | 2020-09-01 | 一种基于ssd-roi级联神经网络的安全帽检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010903678.6A CN112036321A (zh) | 2020-09-01 | 2020-09-01 | 一种基于ssd-roi级联神经网络的安全帽检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112036321A true CN112036321A (zh) | 2020-12-04 |
Family
ID=73591900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010903678.6A Pending CN112036321A (zh) | 2020-09-01 | 2020-09-01 | 一种基于ssd-roi级联神经网络的安全帽检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036321A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710913A (zh) * | 2018-05-21 | 2018-10-26 | 国网上海市电力公司 | 一种基于深度学习的开关柜图像开关状态自动识别方法 |
| CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
| CN109583324A (zh) * | 2018-11-12 | 2019-04-05 | 武汉大学 | 一种基于单点多盒检测器的指针仪表读数自动识别方法 |
| CN109886153A (zh) * | 2019-01-30 | 2019-06-14 | 四川电科维云信息技术有限公司 | 一种基于深度卷积神经网络的实时人脸检测方法 |
| CN109934181A (zh) * | 2019-03-18 | 2019-06-25 | 北京海益同展信息科技有限公司 | 文本识别方法、装置、设备和计算机可读介质 |
| CN110288646A (zh) * | 2019-06-21 | 2019-09-27 | 北京邮电大学 | 一种基于图像的人体尺寸计算方法及装置 |
| CN110334574A (zh) * | 2019-04-26 | 2019-10-15 | 武汉理工大学 | 一种自动提取交通视频中交通事故关键帧的方法 |
| US20200042825A1 (en) * | 2018-08-02 | 2020-02-06 | Veritone, Inc. | Neural network orchestration |
-
2020
- 2020-09-01 CN CN202010903678.6A patent/CN112036321A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710913A (zh) * | 2018-05-21 | 2018-10-26 | 国网上海市电力公司 | 一种基于深度学习的开关柜图像开关状态自动识别方法 |
| CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
| US20200042825A1 (en) * | 2018-08-02 | 2020-02-06 | Veritone, Inc. | Neural network orchestration |
| CN109583324A (zh) * | 2018-11-12 | 2019-04-05 | 武汉大学 | 一种基于单点多盒检测器的指针仪表读数自动识别方法 |
| CN109886153A (zh) * | 2019-01-30 | 2019-06-14 | 四川电科维云信息技术有限公司 | 一种基于深度卷积神经网络的实时人脸检测方法 |
| CN109934181A (zh) * | 2019-03-18 | 2019-06-25 | 北京海益同展信息科技有限公司 | 文本识别方法、装置、设备和计算机可读介质 |
| CN110334574A (zh) * | 2019-04-26 | 2019-10-15 | 武汉理工大学 | 一种自动提取交通视频中交通事故关键帧的方法 |
| CN110288646A (zh) * | 2019-06-21 | 2019-09-27 | 北京邮电大学 | 一种基于图像的人体尺寸计算方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王菲菲 等: "基于SSD-MobileNet的安全帽检测算法研究", 《信息化研究》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657592B (zh) | 一种智能挖掘机的人脸识别方法 | |
| CN110188807B (zh) | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 | |
| CN113903081A (zh) | 一种水电厂图像视觉识别人工智能报警方法及装置 | |
| CN107133569A (zh) | 基于泛化多标记学习的监控视频多粒度标注方法 | |
| CN112560745B (zh) | 一种电力作业现场人员甄别方法及相关装置 | |
| CN111582129A (zh) | 一种盾构机司机工作状态实时监测报警方法及装置 | |
| CN112287827A (zh) | 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及*** | |
| CN107688830B (zh) | 一种用于案件串并的现勘视觉信息关联图层生成方法 | |
| CN114241522B (zh) | 现场作业安全穿戴识别方法、***、设备及存储介质 | |
| CN113553977A (zh) | 一种基于改进yolo v5的安全帽检测方法和*** | |
| CN112819068A (zh) | 一种基于深度学习的船舶作业违章行为实时侦测方法 | |
| Rentao et al. | Indoor smoking behavior detection based on yolov3-tiny | |
| CN112184773A (zh) | 一种基于深度学习的安全帽佩戴检测方法及*** | |
| CN106886745A (zh) | 一种基于实时在线地图生成的无人机侦察方法 | |
| CN114565891A (zh) | 一种基于图形生成技术的烟火监测方法及*** | |
| CN117173791A (zh) | 一种基于动作识别的配网施工人员违规检测方法及*** | |
| CN117726991B (zh) | 一种高空吊篮安全带检测方法及终端 | |
| CN115830533A (zh) | 基于K-means聚类改进YOLOv5算法的安全帽佩戴检测方法 | |
| CN114997279A (zh) | 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 | |
| CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
| CN114067268A (zh) | 一种电力作业现场安全帽检测及身份识别方法及装置 | |
| CN113221667A (zh) | 一种基于深度学习的人脸口罩属性分类方法及*** | |
| CN113469938A (zh) | 基于嵌入式前端处理服务器的管廊视频分析方法及*** | |
| CN113179389A (zh) | 一种输电线路危险车辆吊车扬臂识别***及识别方法 | |
| CN115311458B (zh) | 基于多任务学习的实时高速公路行人闯入事件检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201204 |