CN115034280A - 矿井下人员不安全行为检测*** - Google Patents
矿井下人员不安全行为检测*** Download PDFInfo
- Publication number
- CN115034280A CN115034280A CN202210258914.2A CN202210258914A CN115034280A CN 115034280 A CN115034280 A CN 115034280A CN 202210258914 A CN202210258914 A CN 202210258914A CN 115034280 A CN115034280 A CN 115034280A
- Authority
- CN
- China
- Prior art keywords
- personnel
- unsafe
- person
- point
- underground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006399 behavior Effects 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 27
- 238000013500 data storage Methods 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 238000001931 thermography Methods 0.000 claims abstract description 4
- 210000000689 upper leg Anatomy 0.000 claims description 33
- 238000010586 diagram Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 18
- 210000002414 leg Anatomy 0.000 claims description 17
- 230000009194 climbing Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 210000002411 hand bone Anatomy 0.000 claims description 6
- 210000000610 foot bone Anatomy 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 229910052596 spinel Inorganic materials 0.000 claims description 2
- 239000011029 spinel Substances 0.000 claims description 2
- 210000001930 leg bone Anatomy 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 230000036544 posture Effects 0.000 description 8
- 230000008034 disappearance Effects 0.000 description 4
- 239000003245 coal Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002817 coal dust Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种矿井下人员不安全行为检测***，所述***包括数据采集单元、后端处理单元、控制单元、数据存储与优化单元；数据采集单元包括红外热成像相机，红外热成像相机用于采集被检测区域的红外视频；后端处理单元，用于提取红外视频中每一人体各自的关键骨骼点，并根据每一人体各自的关键骨骼点，确定矿井下人员是否具有不安全行为；控制单元，用于接收矿井下人员是否具有不安全行为的确定结果，并根据确定结果对矿井下的设备进行联动控制；数据存储与优化单元，用于接收原始数据以及矿井下人员是否具有不安全行为的确定结果，并对原始数据和人员的不安全行为数据进行存储。如此，对矿井下人员不安全行为的检测准确度高且检测稳定性高。
Description
技术领域
本发明涉及计算机领域，具体地，涉及一种矿井下人员不安全行为检测***。
背景技术
煤矿生产大部分是地下作业，地质及开采条件复杂多变，不安全因素多，经常受到瓦斯、煤尘、火水及顶板等实害的威胁。因此，为确保井下作业人员的安全和保证矿井正常生产，必须把煤矿安全工作放在各项工作的首位。目前，近几年，因为井下人员不安全行为，井下人员受伤事件频发，如何使用智能技术保证井下工作人员安全是重中之重。相关技术存在着人员行为识别准确率不高、容易受井下复杂环境影响而导致算法稳定性不高等问题。
发明内容
本发明的目的是提供一种矿井下人员不安全行为检测***，能够及时准确地检测到矿井下人员的不安全行为并予以提示，从而保护矿井下人员的安全。
为了实现上述目的，本发明提供一种矿井下人员不安全行为检测***，所述***包括数据采集单元、后端处理单元、控制单元、数据存储与优化单元；
所述数据采集单元，用于采集矿井下的原始数据，并将所述原始数据发送给所述数据存储与优化单元，所述数据采集单元包括红外热成像相机，所述红外热成像相机安装于矿井下被检测区域的上方，用于采集所述被检测区域的红外视频，并将所述红外视频发送给所述后端处理单元；
所述后端处理单元，用于接收所述红外视频，采用人体姿态检测模型对所述红外视频中的人体姿态进行估计，以提取所述红外视频中每一人体各自的关键骨骼点，并根据每一人体各自的所述关键骨骼点，确定矿井下人员是否具有不安全行为，并将确定结果发送给所述控制单元和所述数据存储与优化单元，其中，所述人体姿态检测模型为轻量级OpenPose网络模型，所述轻量级OpenPose网络模型采用ResNet作为预处理网络；
所述控制单元，用于接收矿井下人员是否具有不安全行为的确定结果，并根据所述确定结果对矿井下的设备进行联动控制，以及在所述确定结果表征矿井下人员具有不安全行为的情况下，向监控平台输出报警信号；
所述数据存储与优化单元，用于接收所述数据采集单元发送的原始数据以及所述后端处理单元发送的矿井下人员是否具有不安全行为的确定结果，并对原始数据和人员的不安全行为数据进行存储。
可选地，在所述红外视频中有一个人员的情况下，所述后端处理单元用于通过如下方式确定矿井下人员是否具有摔倒的不安全行为：
根据所述红外视频的当前帧中该人员的颈部骨骼点坐标（x 1，y 1）、左腰骨骼点坐标（x 8，y 8）、右腰骨骼点坐标（x 11，y 11），确定该人员的人体躯干长度D body；
根据颈部骨骼点坐标（x 1，y 1）、以及在所述当前帧之前的第10帧中该人员的颈部骨骼点坐标（x’1，y’1），确定该人员的移动距离h；
根据移动距离h和人体躯干长度D body，得到移动距离h的归一化数据；
将移动距离h的归一化数据除以摔倒过程时间△t，得到当前帧对应的归一化速度v 1；
对在所述当前帧之前的10帧红外图像各自对应的归一化速度进行均值滤波，得到滤波处理后的速度v 1f ；
在滤波处理后的速度v 1f 超过速度阈值的情况下，确定矿井下人员具有摔倒的不安全行为。
可选地，通过如下公式确定该人员的人体躯干长度D body：
通过如下公式确定归一化速度v 1：
通过如下公式确定滤波处理后的速度v 1f ：
其中，j表示当前帧之前的第j帧红外图像，v 1j 表示第j帧对应的归一化速度。
可选地，在所述红外视频中有两个以上人员的情况下，所述后端处理单元用于通过如下方式分别确定矿井下每一人员是否具有摔倒的不安全行为：
确定所述红外视频的当前帧中人员的左腰骨骼点坐标（x 8，y 8）和右腰骨骼点坐标（x 11，y 11）之间的中心点C；
将该人员的颈部骨骼点坐标（x 1，y 1）与中心点C连成的直线作为脊椎直线l；
将该人员的左腰骨骼点坐标（x 8，y 8）和左腿骨骼点（x 9，y 9）连成的直线作为大腿直线l 1 ；
将该人员的右腰骨骼点坐标（x 11，y 11）和右腿骨骼点（x 12，y 12）连成的直线作为大腿直线l 2 ；
将脊椎直线l与水平方向之间的夹角作为γ，将大腿直线l 1 与水平方向之间的夹角作为γ1，将大腿直线l 2 与水平方向之间的夹角作为γ2；
在夹角γ＜γ a 且γ1＜γ b ，或者γ＜γ a 且γ2＜γ b 的情况下，确定矿井下该人员具有摔倒的不安全行为，其中，γ a 和γ b 均为预设角度。
可选地，所述后端处理单元用于通过如下方式确定矿井下人员是否具有攀爬的不安全行为：
将该人员的左腰骨骼点坐标（x 8，y 8）和左腿骨骼点（x 9，y 9）连成的直线作为大腿直线l 1 ，将该人员的左腿骨骼点（x 9，y 9）和左脚骨骼点（x 10，y 10）连成的直线作为小腿直线l 3 ，将大腿直线l 1 和小腿直线l 3 内侧的夹角记为α A ；
将该人员的右腰骨骼点坐标（x 11，y 11）和右腿骨骼点（x 12，y 12）连成的直线作为大腿直线l 2 ，将该人员的右腿骨骼点（x 12，y 12）和右脚骨骼点（x 13，y 13）连成的直线作为小腿直线l 4 ，将大腿直线l 2 和小腿直线l 4 内侧的夹角记为α B ；
确定所述红外视频的当前帧中人员的左腰骨骼点坐标（x 8，y 8）和右腰骨骼点坐标（x 11，y 11）之间的中心点C,将该人员的颈部骨骼点坐标（x 1，y 1）与中心点C连成的直线作为脊椎直线l，将大腿直线l 1 和脊椎直线l内侧的夹角记为β A ，大腿直线l 2 和脊椎直线l内侧的夹角记为β B ；
在α A ＜a、β A ＜b、β A ＜c、β B ＜d、且左脚骨骼点（x 10，y 10）和右脚骨骼点（x 13，y 13）越过安全线的情况下，确定矿井下人员具有攀爬的不安全行为，或者，在α A ＜c、β A ＜d、β A ＜a、β B ＜b、且左脚骨骼点（x 10，y 10）和右脚骨骼点（x 13，y 13）越过安全线的情况下，确定矿井下人员具有攀爬的不安全行为，其中，a、b、c、d均为预设角度。
可选地，所述后端处理单元用于通过如下方式确定矿井下人员是否具有推搡的不安全行为：
将人体的第一手部骨骼点（x 4，y 4）与该人体以外的其他人体的第一肩部骨骼点（x 2，y 2）之间的距离作为距离d，或者，将人体的第二手部骨骼点（x 7，y 7）与该人体以外的其他人体的第二肩部骨骼点（x 5，y 5）之间的距离作为距离d；
确定所述其他人体的脊椎长度D ver；
在距离d与脊椎长度D ver之间的比值λ小于预设系数的情况下，确定矿井下人员具有推搡的不安全行为。
可选地，通过如下公式确定比值λ：
可选地，所述轻量级OpenPose网络模型是通过如下方式训练得到的：
每批次向轻量级OpenPose网络模型中输入预设数量张图片，其中，学习率lr设置为0.0001，循环训练epoch设置为60次；
在训练批次达到预设批次的情况下，轻量级OpenPose网络模型输出热力图的损失值和亲和立场的损失值；
在热力图的损失值和亲和立场的损失值未达到设定标准的情况下，继续对轻量级OpenPose网络模型进行训练；
在热力图的损失值和亲和立场的损失值下降到设定标准的情况下，得到训练完成的轻量级OpenPose网络模型。
可选地，所述轻量级OpenPose网络模型是通过如下方式部署在后端处理单元的：
采用TensorFlow将训练完成的轻量级OpenPose网络模型导出为pb格式；
采用Python的tf2onnx模块将pb文件转化为onnx格式模型文件；
采用Python的rknn-toolkit模块将onnx模型量化为u8数据格式的rknn文件，并采用对应接口函数将rknn文件导入后端处理单元中。
通过上述方案，矿井下人员不安全行为检测***可包括数据采集单元、后端处理单元、控制单元、数据存储与优化单元，后端处理单元使用轻量级OpenPose网络模型提取人体的关键骨骼点，效率更高，处理速度更快，并且，ResNet网络采用了残差结构，解决了梯度消失问题，且计算量少，模型的推理时间更快，准确率更高。本方案基于轻量级OpenPose算法的井下人员行为智能检测***，容错率高，充分考虑各种复杂环境下的影响因素，各种人体姿势识别等，对矿井下人员不安全行为的检测准确度高且检测稳定性高。
附图说明
图1是根据一示例性实施例示出的一种矿井下人员不安全行为检测***的框图。
图2是根据一示例性实施例示出的一种人体关键骨骼点的示意图。
图3是根据一示例性实施例示出的一种人员摔倒的示意图。
图4是根据一示例性实施例示出的一种人员攀爬的示意图。
图5是根据一示例性实施例示出的一种人员推搡的示意图。
图6表示热力图的损失随着训练次数的变化。
图7表示亲和力场的损失随着训练次数的变化。
图8是轻量级OpenPose网络模型的部署和检测流程。
图9是示例性示出的摔倒、攀爬、推搡不安全行为的检测效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1是根据一示例性实施例示出的一种矿井下人员不安全行为检测***的框图，如图1所示，该***10可包括数据采集单元11、后端处理单元12、控制单元13、数据存储与优化单元14。
其中，所述数据采集单元，用于采集矿井下的原始数据，并将所述原始数据发送给所述数据存储与优化单元，所述数据采集单元包括红外热成像相机，所述红外热成像相机安装于矿井下被检测区域的上方，用于采集所述被检测区域的红外视频，并将所述红外视频发送给所述后端处理单元。
本发明所获取的图像为红外图像，红外图像的处理与识别相对于彩色图像的复杂程度更高，且准确度更高。
所述后端处理单元，用于接收所述红外视频，采用人体姿态检测模型对所述红外视频中的人体姿态进行估计，以提取所述红外视频中每一人体各自的关键骨骼点，并根据每一人体各自的所述关键骨骼点，确定矿井下人员是否具有不安全行为，并将确定结果发送给所述控制单元和所述数据存储与优化单元，其中，所述人体姿态检测模型为轻量级OpenPose网络模型，所述轻量级OpenPose网络模型采用ResNet作为预处理网络。
其中，本发明采用轻量级Openpose以及ResNet预处理网络结构，帧率更高，速度更快，且为自下而上的轻量级Openpose检测模型，而相关技术中自上而下的检测模型由于采用先检测人物图像，再进行识别骨骼点的方法，增加了检测时间，本发明采用的自下而上的轻量级Openpose检测模型，效率更高，处理速度更快。并且，与现有的轻量级OpenPose网络相比，更改了预处理神经网络，将其中的VGG网络更改为Resnet网络。VGG在提取图像特征的时候可能会出现梯度消失的问题，并且随着网络层的增加，网络的计算量成倍增长。而Resnet网络采用了残差结构，解决了梯度消失问题，并且计算量远比VGG少。在实际的应用过程当中，本发明模型的推理时间更快，准确率更高。
图2是根据一示例性实施例示出的一种人体关键骨骼点的示意图，如图2所示，通过轻量级OpenPose网络模型可实时提取人体眼睛、手臂、膝盖等18个关键骨骼点。
其中，后端处理单元可分三个模块：对外接口协议模块（包括对接web服务器、plc设备等接口通信）、***管理模块（包括平台及设备参数设置、设备启动等）、算法模块。通过***管理模块设置好设备和平台的参数，设备采集的视频图像实时传入算法模块，算法模块处理后输出算法结果，算法结果通过对外接口协议模块输出到plc设备或者其他服务器平台。后端处理单元以RV1126CPU为核心，辅助模拟量输出输入模块、DC24V输入输出模块，内部移植相关应用算法以及交互界面，完成对采集的数据的算法处理。算法结果表达包含模拟量输出，同时兼容Modbus-tcp、TCP、数据库等常见的网络通讯输出。
所述控制单元（一般是plc设备），用于接收矿井下人员是否具有不安全行为的确定结果，并根据所述确定结果对矿井下的设备进行联动控制，以及在所述确定结果表征矿井下人员具有不安全行为的情况下，向监控平台输出报警信号。
其中，后端处理单位输出模拟量信号到控制单元，控制单元进行联动控制或者报警输出。联动控制包括对皮带等设备的控制、对报警设备的控制等，报警信号可传输至监控平台，提醒监控人员是否进行人为介入。
所述数据存储与优化单元，用于接收所述数据采集单元发送的原始数据以及所述后端处理单元发送的矿井下人员是否具有不安全行为的确定结果，并对原始数据和人员的不安全行为数据进行存储。
数据存储与优化单元可将历史的人员不安全行为数据等存储在服务器，可通过数据分析，不断优化算法，提升准确率。
通过上述技术方案，矿井下人员不安全行为检测***可包括数据采集单元、后端处理单元、控制单元、数据存储与优化单元，后端处理单元使用轻量级OpenPose网络模型提取人体的关键骨骼点，效率更高，处理速度更快，并且，ResNet网络采用了残差结构，解决了梯度消失问题，且计算量少，模型的推理时间更快，准确率更高。本方案基于轻量级OpenPose算法的井下人员行为智能检测***，容错率高，充分考虑各种复杂环境下的影响因素，各种人体姿势识别等，对矿井下人员不安全行为的检测准确度高且检测稳定性高。
在一实施例中，在所述红外视频中有一个人员的情况下，所述后端处理单元用于通过如下方式确定矿井下人员是否具有摔倒的不安全行为：
根据所述红外视频的当前帧中该人员的颈部骨骼点坐标（x 1，y 1）、左腰骨骼点坐标（x 8，y 8）、右腰骨骼点坐标（x 11，y 11），确定该人员的人体躯干长度D body；
根据颈部骨骼点坐标（x 1，y 1）、以及在所述当前帧之前的第10帧中该人员的颈部骨骼点坐标（x’1，y’1），确定该人员的移动距离h；
根据移动距离h和人体躯干长度D body，得到移动距离h的归一化数据；
将移动距离h的归一化数据除以摔倒过程时间△t，得到当前帧对应的归一化速度v 1；
对在所述当前帧之前的10帧红外图像各自对应的归一化速度进行均值滤波，得到滤波处理后的速度v 1f ；
在滤波处理后的速度v 1f 超过速度阈值的情况下，确定矿井下人员具有摔倒的不安全行为。
其中，可通过如下公式确定该人员的人体躯干长度D body：
可通过如下公式确定归一化速度v 1：
可通过如下公式确定滤波处理后的速度v 1f ：
其中，j表示当前帧之前的第j帧红外图像，v 1j 表示第j帧对应的归一化速度。
在一实施例中，在所述红外视频中有两个以上人员的情况下，所述后端处理单元用于通过如下方式分别确定矿井下每一人员是否具有摔倒的不安全行为：
确定所述红外视频的当前帧中人员的左腰骨骼点坐标（x 8，y 8）和右腰骨骼点坐标（x 11，y 11）之间的中心点C；
将该人员的颈部骨骼点坐标（x 1，y 1）与中心点C连成的直线作为脊椎直线l；
将该人员的左腰骨骼点坐标（x 8，y 8）和左腿骨骼点（x 9，y 9）连成的直线作为大腿直线l 1 ；
将该人员的右腰骨骼点坐标（x 11，y 11）和右腿骨骼点（x 12，y 12）连成的直线作为大腿直线l 2 ；
将脊椎直线l与水平方向之间的夹角作为γ，将大腿直线l 1 与水平方向之间的夹角作为γ1，将大腿直线l 2 与水平方向之间的夹角作为γ2；
在夹角γ＜γ a 且γ1＜γ b ，或者γ＜γ a 且γ2＜γ b 的情况下，确定矿井下该人员具有摔倒的不安全行为，其中，γ a 和γ b 均为预设角度。示例地，γ a 和γ b 均可设置为30°。
图3是根据一示例性实施例示出的一种人员摔倒的示意图，如图3所示，可通过夹角γ、γ1、γ2判断人员是否摔倒。
在一实施例中，所述后端处理单元用于通过如下方式确定矿井下人员是否具有攀爬的不安全行为：
将该人员的左腰骨骼点坐标（x 8，y 8）和左腿骨骼点（x 9，y 9）连成的直线作为大腿直线l 1 ，将该人员的左腿骨骼点（x 9，y 9）和左脚骨骼点（x 10，y 10）连成的直线作为小腿直线l 3 ，将大腿直线l 1 和小腿直线l 3 内侧的夹角记为α A ；
将该人员的右腰骨骼点坐标（x 11，y 11）和右腿骨骼点（x 12，y 12）连成的直线作为大腿直线l 2 ，将该人员的右腿骨骼点（x 12，y 12）和右脚骨骼点（x 13，y 13）连成的直线作为小腿直线l 4 ，将大腿直线l 2 和小腿直线l 4 内侧的夹角记为α B ；
确定所述红外视频的当前帧中人员的左腰骨骼点坐标（x 8，y 8）和右腰骨骼点坐标（x 11，y 11）之间的中心点C,将该人员的颈部骨骼点坐标（x 1，y 1）与中心点C连成的直线作为脊椎直线l，将大腿直线l 1 和脊椎直线l内侧的夹角记为β A ，大腿直线l 2 和脊椎直线l内侧的夹角记为β B ；
在α A ＜a、β A ＜b、β A ＜c、β B ＜d、且左脚骨骼点（x 10，y 10）和右脚骨骼点（x 13，y 13）越过安全线的情况下，确定矿井下人员具有攀爬的不安全行为，或者，在α A ＜c、β A ＜d、β A ＜a、β B ＜b、且左脚骨骼点（x 10，y 10）和右脚骨骼点（x 13，y 13）越过安全线的情况下，确定矿井下人员具有攀爬的不安全行为，其中，a、b、c、d均为预设角度。示例地，a和b可设置为90°，c和d可设置为150°。
图4是根据一示例性实施例示出的一种人员攀爬的示意图，如图4所示，可通过夹角α A 、α B 、β A 、β B 判断人员是否摔倒。
在一实施例中，所述后端处理单元用于通过如下方式确定矿井下人员是否具有推搡的不安全行为：
将人体的第一手部骨骼点（x 4，y 4）与该人体以外的其他人体的第一肩部骨骼点（x 2，y 2）之间的距离作为距离d，或者，将人体的第二手部骨骼点（x 7，y 7）与该人体以外的其他人体的第二肩部骨骼点（x 5，y 5）之间的距离作为距离d；
确定所述其他人体的脊椎长度D ver；
在距离d与脊椎长度D ver之间的比值λ小于预设系数的情况下，确定矿井下人员具有推搡的不安全行为。
其中，可通过如下公式确定比值λ：
图5是根据一示例性实施例示出的一种人员推搡的示意图，如图5所示，可通过距离d判断人员是否发生推搡。
在一实施例中，所述轻量级OpenPose网络模型是通过如下方式训练得到的：
每批次向轻量级OpenPose网络模型中输入预设数量张图片，其中，学习率lr设置为0.0001，循环训练epoch设置为60次；
在训练批次达到预设批次的情况下，轻量级OpenPose网络模型输出热力图的损失值和亲和立场的损失值；
在热力图的损失值和亲和立场的损失值未达到设定标准的情况下，继续对轻量级OpenPose网络模型进行训练；
在热力图的损失值和亲和立场的损失值下降到设定标准的情况下，得到训练完成的轻量级OpenPose网络模型。
其中，输入的图片的大小可以为432×368，示例地，预设数量可以为16，每个批次输入16张图片，学习率lr设置为0.0001，循环训练epoch设置为60次。每次训练一百个批次就输出一个热力图的损失值和部分亲和立场的损失值。图6和图7分别表示热力图和部分亲和力场的损失随着训练次数的变化。横坐标表示训练批次，纵坐标表示损失值。从图中可以明显的看出，随着训练批次的不断增加，热力图和亲和力场的损失函数不断地下降。
在一实施例中，所述轻量级OpenPose网络模型是通过如下方式部署在后端处理单元的：
采用TensorFlow将训练完成的轻量级OpenPose网络模型导出为pb格式；
采用Python的tf2onnx模块将pb文件转化为onnx格式模型文件；
采用Python的rknn-toolkit模块将onnx模型量化为u8数据格式的rknn文件，并采用对应接口函数将rknn文件导入后端处理单元中。
其中，进行模型转换和量化，可以使整套***具有较高的稳定性。
图8是轻量级OpenPose网络模型的部署和检测流程，如图8所示，模型部署主要分为以下几个部分：（1）将模型放入到RV1126开发板中运行；（2）生成引擎文件；（3）读取红外相机的采集到的视频；（4）检测人体骨骼点；（5）姿态检测和分类。
图9是示例性示出的摔倒、攀爬、推搡不安全行为的检测效果图，如图9所示，可以较好的将骨骼点检测出来，再通过摔倒、攀爬以及推搡姿态算法可以有效的将这三类姿态分类。并且本发明在测试过程中可以实现检测速度达到单路30fps或者双路20fps，***稳定性好，容错率高，不受环境的电磁环境干扰，嵌入式算法移植，支持边缘计算，可大幅降低中心服务器的运算压力，在井下环网出现问题时仍然保持正常工作，提升了***的稳定性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种矿井下人员不安全行为检测***，其特征在于，所述***包括数据采集单元、后端处理单元、控制单元、数据存储与优化单元；
所述数据采集单元，用于采集矿井下的原始数据，并将所述原始数据发送给所述数据存储与优化单元，所述数据采集单元包括红外热成像相机，所述红外热成像相机安装于矿井下被检测区域的上方，用于采集所述被检测区域的红外视频，并将所述红外视频发送给所述后端处理单元；
所述后端处理单元，用于接收所述红外视频，采用人体姿态检测模型对所述红外视频中的人体姿态进行估计，以提取所述红外视频中每一人体各自的关键骨骼点，并根据每一人体各自的所述关键骨骼点，确定矿井下人员是否具有不安全行为，并将确定结果发送给所述控制单元和所述数据存储与优化单元，其中，所述人体姿态检测模型为轻量级OpenPose网络模型，所述轻量级OpenPose网络模型采用ResNet作为预处理网络；
所述控制单元，用于接收矿井下人员是否具有不安全行为的确定结果，并根据所述确定结果对矿井下的设备进行联动控制，以及在所述确定结果表征矿井下人员具有不安全行为的情况下，向监控平台输出报警信号；
所述数据存储与优化单元，用于接收所述数据采集单元发送的原始数据以及所述后端处理单元发送的矿井下人员是否具有不安全行为的确定结果，并对原始数据和人员的不安全行为数据进行存储。
2.根据权利要求1所述的矿井下人员不安全行为检测***，其特征在于，在所述红外视频中有一个人员的情况下，所述后端处理单元用于通过如下方式确定矿井下人员是否具有摔倒的不安全行为：
根据所述红外视频的当前帧中该人员的颈部骨骼点坐标（x 1，y 1）、左腰骨骼点坐标（x 8，y 8）、右腰骨骼点坐标（x 11，y 11），确定该人员的人体躯干长度D body；
根据颈部骨骼点坐标（x 1，y 1）、以及在所述当前帧之前的第10帧中该人员的颈部骨骼点坐标（x’1，y’1），确定该人员的移动距离h；
根据移动距离h和人体躯干长度D body，得到移动距离h的归一化数据；
将移动距离h的归一化数据除以摔倒过程时间△t，得到当前帧对应的归一化速度v 1；
对在所述当前帧之前的10帧红外图像各自对应的归一化速度进行均值滤波，得到滤波处理后的速度v 1f ；
在滤波处理后的速度v 1f 超过速度阈值的情况下，确定矿井下人员具有摔倒的不安全行为。
3.根据权利要求2所述的矿井下人员不安全行为检测***，其特征在于，
通过如下公式确定该人员的人体躯干长度D body：
通过如下公式确定归一化速度v 1：
通过如下公式确定滤波处理后的速度v 1f ：
其中，j表示当前帧之前的第j帧红外图像，v 1j 表示第j帧对应的归一化速度。
4.根据权利要求1所述的矿井下人员不安全行为检测***，其特征在于，在所述红外视频中有两个以上人员的情况下，所述后端处理单元用于通过如下方式分别确定矿井下每一人员是否具有摔倒的不安全行为：
确定所述红外视频的当前帧中人员的左腰骨骼点坐标（x 8，y 8）和右腰骨骼点坐标（x 11，y 11）之间的中心点C；
将该人员的颈部骨骼点坐标（x 1，y 1）与中心点C连成的直线作为脊椎直线l；
将该人员的左腰骨骼点坐标（x 8，y 8）和左腿骨骼点（x 9，y 9）连成的直线作为大腿直线l 1 ；
将该人员的右腰骨骼点坐标（x 11，y 11）和右腿骨骼点（x 12，y 12）连成的直线作为大腿直线l 2 ；
将脊椎直线l与水平方向之间的夹角作为γ，将大腿直线l 1 与水平方向之间的夹角作为γ1，将大腿直线l 2 与水平方向之间的夹角作为γ2；
在夹角γ＜γ a 且γ1＜γ b ，或者γ＜γ a 且γ2＜γ b 的情况下，确定矿井下该人员具有摔倒的不安全行为，其中，γ a 和γ b 均为预设角度。
5.根据权利要求1所述的矿井下人员不安全行为检测***，其特征在于，所述后端处理单元用于通过如下方式确定矿井下人员是否具有攀爬的不安全行为：
将该人员的左腰骨骼点坐标（x 8，y 8）和左腿骨骼点（x 9，y 9）连成的直线作为大腿直线l 1 ，将该人员的左腿骨骼点（x 9，y 9）和左脚骨骼点（x 10，y 10）连成的直线作为小腿直线l 3 ，将大腿直线l 1 和小腿直线l 3 内侧的夹角记为α A ；
将该人员的右腰骨骼点坐标（x 11，y 11）和右腿骨骼点（x 12，y 12）连成的直线作为大腿直线l 2 ，将该人员的右腿骨骼点（x 12，y 12）和右脚骨骼点（x 13，y 13）连成的直线作为小腿直线l 4 ，将大腿直线l 2 和小腿直线l 4 内侧的夹角记为α B ；
确定所述红外视频的当前帧中人员的左腰骨骼点坐标（x 8，y 8）和右腰骨骼点坐标（x 11，y 11）之间的中心点C,将该人员的颈部骨骼点坐标（x 1，y 1）与中心点C连成的直线作为脊椎直线l，将大腿直线l 1 和脊椎直线l内侧的夹角记为β A ，大腿直线l 2 和脊椎直线l内侧的夹角记为β B ；
在α A ＜a、β A ＜b、β A ＜c、β B ＜d、且左脚骨骼点（x 10，y 10）和右脚骨骼点（x 13，y 13）越过安全线的情况下，确定矿井下人员具有攀爬的不安全行为，或者，在α A ＜c、β A ＜d、β A ＜a、β B ＜b、且左脚骨骼点（x 10，y 10）和右脚骨骼点（x 13，y 13）越过安全线的情况下，确定矿井下人员具有攀爬的不安全行为，其中，a、b、c、d均为预设角度。
6.根据权利要求1所述的矿井下人员不安全行为检测***，其特征在于，所述后端处理单元用于通过如下方式确定矿井下人员是否具有推搡的不安全行为：
将人体的第一手部骨骼点（x 4，y 4）与该人体以外的其他人体的第一肩部骨骼点（x 2，y 2）之间的距离作为距离d，或者，将人体的第二手部骨骼点（x 7，y 7）与该人体以外的其他人体的第二肩部骨骼点（x 5，y 5）之间的距离作为距离d；
确定所述其他人体的脊椎长度D ver；
在距离d与脊椎长度D ver之间的比值λ小于预设系数的情况下，确定矿井下人员具有推搡的不安全行为。
7.根据权利要求6所述的矿井下人员不安全行为检测***，其特征在于，通过如下公式确定比值λ：
8.根据权利要求1所述的矿井下人员不安全行为检测***，其特征在于，所述轻量级OpenPose网络模型是通过如下方式训练得到的：
每批次向轻量级OpenPose网络模型中输入预设数量张图片，其中，学习率lr设置为0.0001，循环训练epoch设置为60次；
在训练批次达到预设批次的情况下，轻量级OpenPose网络模型输出热力图的损失值和亲和立场的损失值；
在热力图的损失值和亲和立场的损失值未达到设定标准的情况下，继续对轻量级OpenPose网络模型进行训练；
在热力图的损失值和亲和立场的损失值下降到设定标准的情况下，得到训练完成的轻量级OpenPose网络模型。
9.根据权利要求8所述的矿井下人员不安全行为检测***，其特征在于，所述轻量级OpenPose网络模型是通过如下方式部署在后端处理单元的：
采用TensorFlow将训练完成的轻量级OpenPose网络模型导出为pb格式；
采用Python的tf2onnx模块将pb文件转化为onnx格式模型文件；
采用Python的rknn-toolkit模块将onnx模型量化为u8数据格式的rknn文件，并采用对应接口函数将rknn文件导入后端处理单元中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210258914.2A CN115034280B (zh) | 2022-03-16 | 2022-03-16 | 矿井下人员不安全行为检测*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210258914.2A CN115034280B (zh) | 2022-03-16 | 2022-03-16 | 矿井下人员不安全行为检测*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115034280A true CN115034280A (zh) | 2022-09-09 |
| CN115034280B CN115034280B (zh) | 2023-07-25 |
Family
ID=83118840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210258914.2A Active CN115034280B (zh) | 2022-03-16 | 2022-03-16 | 矿井下人员不安全行为检测*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115034280B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150092978A1 (en) * | 2013-09-27 | 2015-04-02 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for recognition of abnormal behavior |
| CN110327053A (zh) * | 2019-07-12 | 2019-10-15 | 广东工业大学 | 一种基于电梯空间的人体行为安全监测方法、设备及*** |
| CN110363131A (zh) * | 2019-07-08 | 2019-10-22 | 上海交通大学 | 基于人体骨架的异常行为检测方法、***及介质 |
| CN110598536A (zh) * | 2019-07-31 | 2019-12-20 | 杭州连帆科技有限公司 | 一种基于人体骨架运动模型的跌倒检测方法及*** |
| CN110738163A (zh) * | 2019-10-12 | 2020-01-31 | 中国矿业大学 | 一种矿井人员违规动作识别*** |
| CN111709289A (zh) * | 2020-05-18 | 2020-09-25 | 杭州电子科技大学 | 一种用于提高人体解析效果的多任务深度学习模型 |
| US20200394413A1 (en) * | 2019-06-17 | 2020-12-17 | The Regents of the University of California, Oakland, CA | Athlete style recognition system and method |
| CA3094424A1 (en) * | 2019-06-21 | 2020-12-21 | China University Of Mining And Technology | Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator |
| CN113269076A (zh) * | 2021-05-19 | 2021-08-17 | 哈尔滨工业大学 | 基于分布式监控的暴力行为检测***及检测方法 |
| CN113361333A (zh) * | 2021-05-17 | 2021-09-07 | 重庆邮电大学 | 一种非接触式骑行运动状态监测方法及其*** |
| US20210346761A1 (en) * | 2020-05-06 | 2021-11-11 | Agile Human Performance, Inc. | Automated gait evaluation for retraining of running form using machine learning and digital video data |
-
2022
- 2022-03-16 CN CN202210258914.2A patent/CN115034280B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150092978A1 (en) * | 2013-09-27 | 2015-04-02 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for recognition of abnormal behavior |
| US20200394413A1 (en) * | 2019-06-17 | 2020-12-17 | The Regents of the University of California, Oakland, CA | Athlete style recognition system and method |
| CA3094424A1 (en) * | 2019-06-21 | 2020-12-21 | China University Of Mining And Technology | Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator |
| CN110363131A (zh) * | 2019-07-08 | 2019-10-22 | 上海交通大学 | 基于人体骨架的异常行为检测方法、***及介质 |
| CN110327053A (zh) * | 2019-07-12 | 2019-10-15 | 广东工业大学 | 一种基于电梯空间的人体行为安全监测方法、设备及*** |
| CN110598536A (zh) * | 2019-07-31 | 2019-12-20 | 杭州连帆科技有限公司 | 一种基于人体骨架运动模型的跌倒检测方法及*** |
| CN110738163A (zh) * | 2019-10-12 | 2020-01-31 | 中国矿业大学 | 一种矿井人员违规动作识别*** |
| US20210346761A1 (en) * | 2020-05-06 | 2021-11-11 | Agile Human Performance, Inc. | Automated gait evaluation for retraining of running form using machine learning and digital video data |
| CN111709289A (zh) * | 2020-05-18 | 2020-09-25 | 杭州电子科技大学 | 一种用于提高人体解析效果的多任务深度学习模型 |
| CN113361333A (zh) * | 2021-05-17 | 2021-09-07 | 重庆邮电大学 | 一种非接触式骑行运动状态监测方法及其*** |
| CN113269076A (zh) * | 2021-05-19 | 2021-08-17 | 哈尔滨工业大学 | 基于分布式监控的暴力行为检测***及检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| NAOKI KATO, TIANQI LI, KOHEI NISHINO, YUSUKE UCHIDA: ""Improving Multi-Person Pose Estimation using Label Correction"" * |
| 伏娜娜; 刘大铭; 程晓婷; 景云云; 张馨芳: ""基于轻量级OpenPose模型的跌倒检测算法"", vol. 40, no. 11, pages 131 - 138 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115034280B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522793B (zh) | 基于机器视觉的多人异常行为检测与识别方法 | |
| CN110222665B (zh) | 一种基于深度学习和姿态估计的监控中人体动作识别方法 | |
| WO2020253308A1 (zh) | 矿井下皮带运输人员人机交互行为安全监控与预警方法 | |
| CN109819208A (zh) | 一种基于人工智能动态监控的密集人群安防监控管理方法 | |
| CN110147738B (zh) | 一种驾驶员疲劳监测预警方法及*** | |
| CN108764066A (zh) | 一种基于深度学习的快件分拣操作规范检测方法 | |
| CN107451568A (zh) | 使用深度卷积神经网络的姿态检测方法及设备 | |
| CN109886241A (zh) | 基于长短期记忆网络的驾驶员疲劳检测 | |
| CN108509897A (zh) | 一种人体姿态识别方法和*** | |
| CN104038738A (zh) | 一种提取人体关节点坐标的智能监控***及方法 | |
| CN102156537A (zh) | 一种头部姿态检测设备及方法 | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及*** | |
| CN111553229B (zh) | 基于三维骨骼与lstm的工人动作识别方法及装置 | |
| CN110516623A (zh) | 一种人脸识别方法、装置及电子设备 | |
| CN208969808U (zh) | 基于人脸检测和声音检测的婴儿监护器 | |
| CN115984967A (zh) | 基于深度学习的人体跌倒检测方法、装置及*** | |
| CN114550027A (zh) | 基于视觉的运动视频精细分析方法和装置 | |
| CN111985402B (zh) | 一种变电站安全围栏翻越行为识别方法、***及设备 | |
| CN105956549A (zh) | 一种工人作业前安全装备及行为能力检查***及方法 | |
| CN114255508A (zh) | 一种基于OpenPose的学生体态检测分析及效率评估方法 | |
| CN111695520A (zh) | 一种高精度的儿童坐姿检测与矫正方法及装置 | |
| CN115761618A (zh) | 一种重点场所安防监控图像识别方法 | |
| CN113408435B (zh) | 一种安全监控方法、装置、设备和存储介质 | |
| CN113609963B (zh) | 一种实时多人体角度的抽烟行为检测方法 | |
| CN113111733B (zh) | 一种基于姿态流的打架行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |