CN117671589A - 一种基于新型视频分析方法的矿工排队秩序异常报警*** - Google Patents

一种基于新型视频分析方法的矿工排队秩序异常报警*** Download PDF

Info

Publication number
CN117671589A
CN117671589A CN202311652990.2A CN202311652990A CN117671589A CN 117671589 A CN117671589 A CN 117671589A CN 202311652990 A CN202311652990 A CN 202311652990A CN 117671589 A CN117671589 A CN 117671589A
Authority
CN
China
Prior art keywords
queuing
miner
network
area
analysis method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202311652990.2A
Other languages
English (en)
Inventor
赵作鹏
闵冰冰
高宇蒙
缪小然
胡建峰
刘营
雅可
徐珊珊
胡帅
赵强
亢永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanyuan Intelligent Technology Xuzhou Co ltd
China University of Mining and Technology CUMT
Original Assignee
Yanyuan Intelligent Technology Xuzhou Co ltd
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanyuan Intelligent Technology Xuzhou Co ltd, China University of Mining and Technology CUMT filed Critical Yanyuan Intelligent Technology Xuzhou Co ltd
Priority to CN202311652990.2A priority Critical patent/CN117671589A/zh
Publication of CN117671589A publication Critical patent/CN117671589A/zh
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于新型视频分析方法的矿工排队秩序异常报警***,涉及计算机视觉技术领域,通过视频监控***获取矿工排队视频数据,提取排队图像并标注矿工排队数据集,进行深度学***台,满足安全生产的实际要求。本发明针对煤矿井下特殊的生产环境,通过新的视频分析算法实现人员排队秩序异常报警,检测效率和可靠性高,实用性强,适用于煤矿安全生产管理。

Description

一种基于新型视频分析方法的矿工排队秩序异常报警***
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于新型视频分析方法的矿工排队秩序异常报警***。
背景技术
在煤矿等工业环境中,矿工的安全管理是一个至关重要的问题。矿工在进入或离开矿井时通常需要排队进行安全检查,该过程的效率和秩序直接影响到整个矿区的安全与运营效率。而传统的监控方法依赖于人工观察,不仅耗费人力资源,且由于监控人员的注意力分散或疲劳,易出现监管盲点,存在安全隐患。
为了提高监控的准确性和效率,基于计算机视觉技术的自动化视频监控***被提出用于替代或辅助人工监控。然而,现有的自动化监控***在矿工排队检测方面仍面临诸多挑战。例如,由于矿工服装的相似性、复杂的背景以及光照变化等因素,现有***在矿工检测和排队行为分析方面的准确性有限。
其中,基于特征金字塔网络的目标检测模型,在应用于矿工排队检测中存在信息流单向传递的局限性,导致多尺度特征融合不够充分。此外,传统的固定阈值标签分配方法在处理复杂场景下的矿工排队检测任务时,难以有效区分正负样本,影响模型的泛化能力和检测性能。
发明内容
本发明的目的在于提供一种基于新型视频分析方法的矿工排队秩序异常报警***,可通过监控视频自动检测矿工在是否在候罐、候车、等候矿山架空乘人索道和上下班行进途中等场景下是否有序排队,并现场输出异常报警提示信息,上传井上监控平台,便于统计分析和管理,且提高监控效能和工作安全性。
为实现上述目的,本发明所采用的技术方案是:一种基于新型视频分析方法的矿工排队秩序异常报警***,包括具有智能检测功能的监控摄像仪、异常报警装置及井上监控平台;
所述监控摄像仪安装于煤矿井下现场,用以实时获取井下矿工排队视频;
所述监控摄像仪中内嵌有深度学习算法,所述深度学习算法用以对视频进行实时分析;
检测到排队秩序异常后,监控摄像仪将信息输出至异常报警装置进行报警;
并将检测到的异常视频通过网络上传至井上监控平台,便于统计分析和考核管理;
所述深度学习算法的检测分析方法包括以下步骤:
S1:提取排队图像并标注矿工排队数据集,利用深度学习算法建立矿工人脸检测模型,通过数据集对矿工人脸检测模型进行训练和验证;矿工人脸检测模型包括双向交叉特征金字塔网络和动态标签分配策略;
S2:矿工人脸检测模型通过划分矿工排队区域,利用半平面交法计算人脸框与排队区域的相交面积,将相交面积与阈值对比,判断矿工是否有序排队。
进一步,所述双向交叉特征金字塔网络以YOLOv5模型的特征金字塔网络为基础,若网络中一个节点只有一个输入边,则删除该节点;若网络中输入到输出节点处于同一级别,则添加一条额外的边;每个自上而下和自下而上的双向路径作为一个特征网络层,并多次重复同一层;
所述矿工人脸检测模型的标签分配策略采用自适应训练样本选择策略,并引入动态标签分配策略,动态设置阈值,以更合理评估候选样本的质量。
进一步,所述排队检测模型包括骨干网络、特征网络、分类网络和边界回归网络,利用数据集对骨干网络进行预训练,将设计的双向交叉特征金字塔网络作为特征网络,从骨干网络中获取3-7级特征,反复进行自上而下和自下而上的双向交叉特征融合,融合的特征被输入分类网络和边界框回归网络,进行类别预测和边界框参数回归。
进一步,所述数据集中的正样本判定方法包括以下步骤;
a:结合分类结果和定位结果评估候选样本的质量t;
t=S+λIoU;
其中,S为网络预测的该候选样本与真实目标对应的类别得分;IoU为网络预测的回归框与真实框的交并比;λ为平衡因子;
b:使用自适应训练样本选择策略中的动态指定阈值T;
T=tmean+tstd
其中,tmean代表t的平均值;tstd代表t的方差;
c:在所有候选样本中选取t值大于T的样本作为正样本。
进一步,所述步骤S2中划分的矿工排队区域为多边形;
当排队区域为凸多边形时,使用半平面交法计算人脸框与排队区域的相交面积;
当排队区域为凹多边形时,先将凹多边形分解成多个凸多变形,然后使用半平面交法计算与人脸框的相交面积。
进一步,所述步骤S2中的排队是否有序的判断公式为:
其中,Y表示是否有序排队,1代表有序排队,0代表无序排队,f代表人脸框与排队区域的相交面积,q代表人脸框面积,Q代表阈值。
本发明的有益效果:
1、联动报警***:***通过语音提示、声音效果或振动提示等方式,联动输出报警信息,提高监控人员对异常情况的关注度,使其能够及时采取行动。
2、高效的排队判断:通过深度学习架构的优化,采用双向交叉特征金字塔网络(BCrFPN)和引入动态标签分配策略,***能够智能地识别和分析排队情况,减少误报率,提高监控效能。
3、远程管理和统计分析:检测到的异常视频能够通过网络上传至井上监控平台,便于管理团队进行远程管理、统计分析和考核管理,使得排队异常的处理更为全面和***化。
4、实时性和准确性:借助先进的视频分析算法,***能够实时检测井下人员排队秩序异常,确保异常情况得以及时发现和处理,提高安全性。
附图说明
图1是本发明的工作原理示意图。
图2是本发明中深度学习算法识别部分的工作原理示意图。
图3是本发明中双向交叉特征金字塔网络的网络结构图。
具体实施方式
以下结合附图对本发明作进一步详细的说明。
本发明公开一种基于新型视频分析方法的矿工排队秩序异常报警***。
参照图1至图3,一种基于新型视频分析方法的矿工排队秩序异常报警***包括具有智能检测功能的监控摄像仪、异常报警装置及井上监控平台。
监控摄像仪安装于煤矿井下现场,用以实时获取井下矿工排队视频;本实施例中,监控摄像仪采用KBA矿用云台防爆摄像仪,对高温、尘土和湿气具有较高的耐受能力,确保设备在井下条件下长时间可靠运行;同时,摄像仪的视频输出具备高分辨率,以清晰捕捉群体人员排队的场景。
监控摄像仪中内嵌有深度学习算法,深度学习算法用以对视频进行实时分析。检测到排队秩序异常后,监控摄像仪将信息输出至异常报警装置进行报警;为了提高语音提示的注意度,添加紧急情况的声音效果或者振动提示,以便在噪声较大的场景下具有更显著的效果。在本实施例中,使用语音合成技术,例如文本转语音(TTS),将异常报警信息转化为自然语言的语音提示。采用预先录制的语音或者实时合成,以确保语音信息的准确传达。为了提高语音提示的注意度,添加紧急情况的声音效果或者振动提示,以在便在噪声较大的场景下具有更显著的效果。
并将检测到的异常视频通过网络上传至井上监控平台,在本实施例中,井上监控平台包括数据接收、存储、解析和索引等功能,以便后续的统计分析和考核管理。
通过网络上传异常视频,建立历史异常数据的数据库,综合分析各个井下区域的异常情况,为数据分析和管理提供更全面的支持。在传输过程中对异常视频进行压缩,减小传输的数据量,并采用加密技术确保传输过程中的数据安全性,包括但不限于标准的压缩算法(如H.264)和加密协议(如TLS)。
深度学习算法的检测分析方法包括以下步骤:
S1:提取排队图像并标注矿工排队数据集,利用深度学习算法建立矿工人脸检测模型,通过数据集对矿工人脸检测模型进行训练和验证;矿工人脸检测模型包括双向交叉特征金字塔网络(BCrFPN)和动态标签分配策略(ATSS_PLUS)。
在本实施例中,每段视频中都包含正确排队和插队的情况。在这些视频中提取10000张图片,并使用Labelimg进行人工标注。选取8000张作为训练集,2000张作为测试集。
为了优化检测器性能,除了使用常用的数据增强手段如图像平移、图像缩放、剪切及翻转外,本发明还使用了数据增强方法Mosaic,随机将4幅训练图像按一定的比例拼接成一幅新的图像,以丰富训练数据集,避免过拟合。
在一些实施方式中,利用Python脚本实现暗光增强技术,对自建井下矿工人脸检测数据集中图片的暗光区域进行亮度增强,提高模型的检测效率。
矿工人脸检测模型由pytorch框架搭建,其框架搭建也可以使用当前其他流行的框架,包含但不限于TensorFlow、Keras等深度学习框架。
其中,双向交叉特征金字塔网络以YOLOv5模型的特征金字塔网络为基础,若网络中一个节点只有一个输入边,不利于多尺度特征融合,因此删除该节点;若网络中输入到输出节点处于同一级别,则添加一条额外的边;使其在不增加太多成本的情况下融合更多特征;最后,与PANet只有一个自上而下和一个自下而上的路径不同,本发明每个自上而下和自下而上的双向路径作为一个特征网络层,并多次重复同一层,以实现更高级的特征融合。
排队检测模型包括骨干网络、特征网络、分类网络和边界回归网络,利用数据集对骨干网络进行预训练,将设计的双向交叉特征金字塔网络作为特征网络,从骨干网络中获取3-7级特征,反复进行自上而下和自下而上的双向交叉特征融合,融合的特征被输入分类网络和边界框回归网络,进行类别预测和边界框参数回归。
矿工人脸检测模型的标签分配策略采用自适应训练样本选择策略,并引入动态标签分配策略,动态设置阈值,以更合理评估候选样本的质量。
数据集中的正样本判定方法包括以下步骤;
a:结合分类结果和定位结果评估候选样本的质量t;
t=S+λIoU;
其中,S为网络预测的该候选样本与真实目标对应的类别得分;IoU为网络预测的回归框与真实框的交并比;λ为平衡因子;
b:使用自适应训练样本选择策略中的动态指定阈值T;
T=tmean+tstd
其中,tmean代表t的平均值;tstd代表t的方差;
c:在所有候选样本中选取t值大于T的样本作为正样本。并由于这种标签分配方式对预定义的锚框数量不敏感,所以对于每个网格,本发明只设置一个预定义锚框。
S2:矿工人脸检测模型通过划分矿工排队区域,利用半平面交法计算人脸框与排队区域的相交面积,将相交面积与阈值对比,判断矿工是否有序排队。
本实施例中划分的矿工排队区域为多边形;具体形状可依据矿下不同场景的排队需求而定。
当排队区域为凸多边形时,使用半平面交法计算人脸框与排队区域的相交面积;当排队区域为凹多边形时,先将凹多边形分解成多个凸多变形,然后使用半平面交法计算与人脸框的相交面积。
半平面交法即先把每个凸多边形的点按照逆时针排序,再将每个凸多边形的边放入边集L,求边集L的半平面交,再求半平面交的面积。
排序之后的线段是有序的,可以在双端队列里进行操作,再按顺序遍历每条线段,取左边区域,删右边区域,然后加入最后一条线段,保留左边区域,删除右边区域。
使用叉积来求出两平面的交点,通过叉积公式来判断直线X是否处于直线Y的逆时针方向。通过叉积法使凸多边形能够按逆时针方向排序,以便求解半平面交。
叉积公式为X×Y=|X|×|Y|sinθ;
其中,X、Y代表任意直线,θ代表X和Y之间的夹角。
排队是否有序的判断公式为:
其中,Y表示是否有序排队,1代表有序排队,0代表无序排队,f代表人脸框与排队区域的相交面积,q代表人脸框面积,Q代表阈值。
阈值的确定依赖于卷积神经网络在特定排队场景下的检测精度,选取能够实现最高精度的阈值,准确度的计算公式为其中,m代表准确度;r代表分类正确的图片;a代表图片总数。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

Claims (6)

1.一种基于新型视频分析方法的矿工排队秩序异常报警***,其特征在于:包括具有智能检测功能的监控摄像仪、异常报警装置及井上监控平台;
所述监控摄像仪安装于煤矿井下现场,用以实时获取井下矿工排队视频;
所述监控摄像仪中内嵌有深度学习算法,所述深度学习算法用以对视频进行实时分析;
检测到排队秩序异常后,监控摄像仪将信息输出至异常报警装置进行报警;
并将检测到的异常视频通过网络上传至井上监控平台,便于统计分析和考核管理;
所述深度学习算法的检测分析方法包括以下步骤:
S1:提取排队图像并标注矿工排队数据集,利用深度学习算法建立矿工人脸检测模型,通过数据集对矿工人脸检测模型进行训练和验证;矿工人脸检测模型包括双向交叉特征金字塔网络和动态标签分配策略;
S2:矿工人脸检测模型通过划分矿工排队区域,利用半平面交法计算人脸框与排队区域的相交面积,将相交面积与阈值对比,判断矿工是否有序排队。
2.根据权利要求1所述的一种基于新型视频分析方法的矿工排队秩序异常报警***,其特征在于:所述双向交叉特征金字塔网络以YOLOv5模型的特征金字塔网络为基础,若网络中一个节点只有一个输入边,则删除该节点;若网络中输入到输出节点处于同一级别,则添加一条额外的边;每个自上而下和自下而上的双向路径作为一个特征网络层,并多次重复同一层;
所述矿工人脸检测模型的标签分配策略采用自适应训练样本选择策略,并引入动态标签分配策略,动态设置阈值,以更合理评估候选样本的质量。
3.根据权利要求2所述的一种基于新型视频分析方法的矿工排队秩序异常报警***,其特征在于:所述排队检测模型包括骨干网络、特征网络、分类网络和边界回归网络,利用数据集对骨干网络进行预训练,将设计的双向交叉特征金字塔网络作为特征网络,从骨干网络中获取3-7级特征,反复进行自上而下和自下而上的双向交叉特征融合,融合的特征被输入分类网络和边界框回归网络,进行类别预测和边界框参数回归。
4.根据权利要求1所述的一种基于新型视频分析方法的矿工排队秩序异常报警***,其特征在于:所述数据集中的正样本判定方法包括以下步骤;
a:结合分类结果和定位结果评估候选样本的质量t;
t=S+λIoU;
其中,S为网络预测的该候选样本与真实目标对应的类别得分;IoU为网络预测的回归框与真实框的交并比;λ为平衡因子;
b:使用自适应训练样本选择策略中的动态指定阈值T;
T=tmean+tstd
其中,tmean代表t的平均值;tstd代表t的方差;
c:在所有候选样本中选取t值大于T的样本作为正样本。
5.根据权利要求1所述的一种基于新型视频分析方法的矿工排队秩序异常报警***,其特征在于:所述步骤S2中划分的矿工排队区域为多边形;
当排队区域为凸多边形时,使用半平面交法计算人脸框与排队区域的相交面积;
当排队区域为凹多边形时,先将凹多边形分解成多个凸多变形,然后使用半平面交法计算与人脸框的相交面积。
6.根据权利要求1所述的一种基于新型视频分析方法的矿工排队秩序异常报警***,其特征在于:所述步骤S2中的排队是否有序的判断公式为:
其中,Y表示是否有序排队,1代表有序排队,0代表无序排队,f代表人脸框与排队区域的相交面积,q代表人脸框面积,Q代表阈值。
CN202311652990.2A 2023-12-04 2023-12-04 一种基于新型视频分析方法的矿工排队秩序异常报警*** Withdrawn CN117671589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311652990.2A CN117671589A (zh) 2023-12-04 2023-12-04 一种基于新型视频分析方法的矿工排队秩序异常报警***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311652990.2A CN117671589A (zh) 2023-12-04 2023-12-04 一种基于新型视频分析方法的矿工排队秩序异常报警***

Publications (1)

Publication Number Publication Date
CN117671589A true CN117671589A (zh) 2024-03-08

Family

ID=90083980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311652990.2A Withdrawn CN117671589A (zh) 2023-12-04 2023-12-04 一种基于新型视频分析方法的矿工排队秩序异常报警***

Country Status (1)

Country Link
CN (1) CN117671589A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898416A (zh) * 2022-01-21 2022-08-12 北方工业大学 一种人脸识别方法、装置、电子设备及可读存储介质
US20230089026A1 (en) * 2020-06-09 2023-03-23 Annalise-Ai Pty Ltd Systems and methods for automated analysis of medical images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230089026A1 (en) * 2020-06-09 2023-03-23 Annalise-Ai Pty Ltd Systems and methods for automated analysis of medical images
CN114898416A (zh) * 2022-01-21 2022-08-12 北方工业大学 一种人脸识别方法、装置、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郝明月等: "基于改进 YOLOv5s 的矿工排队检测方法", 工况自动化, 30 November 2023 (2023-11-30), pages 1 - 2 *

Similar Documents

Publication Publication Date Title
CN110059631B (zh) 接触网非接触式监测缺陷识别方法
CN110738127B (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN112115927B (zh) 一种基于深度学习的机房设备智能识别方法及***
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及***
CN111598040A (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及***
CN111080963A (zh) 施工现场告警方法、装置、计算机设备和存储介质
CN110674790A (zh) 一种视频监控中异常场景处理方法及***
CN112733819B (zh) 一种基于深度学习图像处理的多模式安保监测方法
CN110910360A (zh) 电网图像的定位方法和图像定位模型的训练方法
CN112164227A (zh) 违停车辆告警方法、装置、计算机设备和存储介质
CN108156406A (zh) 行车记录仪的信息处理方法和装置
CN116563762A (zh) 一种油气站火灾检测方法、***、介质、设备及终端
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及***
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法
CN115082813A (zh) 检测方法、无人机、检测***及介质
CN117671589A (zh) 一种基于新型视频分析方法的矿工排队秩序异常报警***
CN117593689A (zh) 一种基于计算机视觉的矿山人员危险行为识别方法及***
CN115965625A (zh) 一种基于视觉识别的仪表检测装置及其检测方法
CN112990350B (zh) 目标检测网络训练方法及基于目标检测网络煤矸识别方法
CN114387564A (zh) 一种基于YOLOv5的磕头机停抽检测方法
CN113779125A (zh) 一种施工安全信息管理方法及***
CN114119531A (zh) 应用于校园智慧平台的火灾检测方法、装置及计算机设备
CN112036214A (zh) 低画质视频中的小目标实时识别方法
CN116486347B (zh) 基于尺度不变特征变换图像识别的团雾监测捕获方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20240308

WW01 Invention patent application withdrawn after publication